EP3144929A1 - Synthetische erzeugung eines natürlich klingenden sprachsignals - Google Patents

Synthetische erzeugung eines natürlich klingenden sprachsignals Download PDF

Info

Publication number
EP3144929A1
EP3144929A1 EP15185879.2A EP15185879A EP3144929A1 EP 3144929 A1 EP3144929 A1 EP 3144929A1 EP 15185879 A EP15185879 A EP 15185879A EP 3144929 A1 EP3144929 A1 EP 3144929A1
Authority
EP
European Patent Office
Prior art keywords
speech
signal
synthesis
parameter
speech signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP15185879.2A
Other languages
English (en)
French (fr)
Inventor
Felix Burkhardt
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deutsche Telekom AG
Original Assignee
Deutsche Telekom AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deutsche Telekom AG filed Critical Deutsche Telekom AG
Priority to EP15185879.2A priority Critical patent/EP3144929A1/de
Publication of EP3144929A1 publication Critical patent/EP3144929A1/de
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser

Definitions

  • the invention relates to a solution for automated speech synthesis, which makes it possible to generate speech sequences that sound particularly natural due to the simulation of an emotional speech for a listener addressed by these speech sequences. It refers to a solution which, by including extralinguistic and / or paralinguistic features, goes well beyond the purely linguistic generation of synthetic speech.
  • Objects of the invention are a corresponding method and a system suitable for carrying out this method.
  • One goal in the development of speech synthesis solutions is to include the previously discussed extralinguistic and paralinguistic features in the synthesis and, as a result, to obtain naturally-acting, synthetically generated speech sequences. In doing so, one can be guided by the fact that in this way it is possible to better influence the behavior of people during a dialogue conducted in the course of a human-machine communication, and ultimately also more goal-oriented.
  • average values of the abovementioned feature groups are measured in each case for a specific target emotion, and these feature groups are specifically adapted during the synthesis by changing corresponding parameters. For example, for the emotion "cheering joy", the duration of the voiced fricative is prolonged or the vocal sound is changed from “modal" to "breathy” to achieve a goal emotion “mourning”.
  • the object of the invention is to provide a solution for automated speech synthesis, which leads to speech sequences that act even more natural in their phonetic reproduction in terms of emotion-based speech, as is the case in the prior art.
  • a method and a system suitable for carrying out the method are to be specified.
  • a speech signal generated as part of an automated speech synthesis is influenced to simulate an emotional way of speaking.
  • this is done by a voice raw signal, which is not yet emotionally charged, generated during the speech synthesis, which is specifically modulated with a parameter mixture before the output of the generated speech signal.
  • this parameter mixture comprises parameters of a plurality of feature groups corresponding to melody features, to duration features, to voice features, or to features relating to the articulation accuracy of the language.
  • the parameters set in this respect are parameters from feature groups with which at least two predefined target emotions are associated.
  • a speech raw signal is a signal consisting of phonemes with a parameter grouping that is neutral with regard to the above-mentioned feature groups, that is, in particular with regard to prosody and vocal sound, which does not yet take the form of a having acoustically reproducible audio signal.
  • the system proposed for the solution of the problem and suitable for implementing the method explained above is a specially designed, hardware-based and software-based speech synthesizer.
  • This consists of a phonemeization component encompassed by an input stage of the synthesizer, an emotion simulator and the actual synthesis unit comprised of an output stage equipped with means for the acoustic output of the generated speech signal.
  • Decisive for the solution of the problem is the way in which the aforementioned components, which as such may well be known from the prior art, are brought into operative connection with one another in the speech synthesizer according to the invention.
  • the phonemes generated by the phonemeization component are not transferred to the synthesis unit directly or, with respect to speech parameters, which in particular determine the prosody and / or the vocal sound, only influenced in the direction of a target emotion. Rather, the phonemes provided with the neutral prosody description are modulated for transfer to the synthesis unit by means of a parameter mixture.
  • the corresponding parameter mixture is generated by the emotion simulator associated with the speech synthesizer. This evaluates the information provided to the transferred text, which is to be converted into synthetic speech, into at least two target emotions and influences the parameters of at least two different speech feature groups which are associated with the specifications in accordance with these specifications.
  • the parameters influenced to this extent with regard to their respective characteristics, with which emotions such as joy, grief and anger are associated, are also mixed by the emotion simulator, that is, combined to form a parameter mixture and applied to the speech vocal signal - this modulating.
  • the synthesis component generates according to one of the known methods from the voice raw signal modulated with the parameter mixture and outputs the desired synthetic speech signal.
  • the first example refers to a robot that can express multiple emotions in parallel. It is assumed that a new message has arrived for the owner of this robot. It has a joyful content based on content analysis or sender marking. The robot then uses the ability to express multiple emotions simultaneously, blending "surprise” (over the arrival of the message) with "joy” to prepare the owner for their enjoyable content. For its speech output or for the actual speech synthesis, the robot uses software from the Mbrola project, which is known from the prior art and based on diphone synthesis (see [3]).
  • the Diphonsynthese generates speech by concatenation of single double dahlute (diphones) from a database and subsequent prosody adaptation (influence on Tonmelodie and sound periods) according to the PSOLA method (Pitch Synchronous Overlap and Add).
  • the robot explained by way of example here has three diphone databases for different vocal qualities, namely an inventory each for relaxed, normal and tense speech. The robot actually uses its parameter data for the two target emotions "surprise” and "joy".
  • a phonemization component for example "Mary” (see [4])
  • a voice raw signal as a neutral version of the target utterance (synthetic speech, with the simultaneously expressed emotions “surprise” and “joy” ), consisting of the phonemes to be used and a neutral prosody description.
  • This voice raw signal is then modified or modulated according to the changes described above, for example by means of the "Emofilt” software (see [5]).
  • the synthesizer based on "Mbrola” (see also [3]), as already stated, then transmits the modified speech signal description as well as the reference to the diphone basis to be used and from this generates the speech signal which expresses both surprise and joy.
  • Another embodiment relates to a virtual agent in a game.
  • the user interacts with the agent, inter alia, by voice.
  • its mood changes based on events that happen in the game. For example, the agent learned in the morning that he won the lottery and is generally in a good mood. Now he casts a valuable vase around in a game situation, which breaks and makes a furious exclamation, which is mitigated by the influence of the positive mood.
  • the generation of the mixed emotion expression in the language is to be done here for example by formant synthesis, as described for example in [2].
  • the phonemization component which in turn is based on "Mary” (see [4]), generates a canonic pronunciation variant as well as a neutral prosody description from the text to be spoken as a voice raw signal. This is modified by the Emotionalmaschineskomponente "Emofilt" (see [5]) to the effect that a typical for the emotion "anger” duration and melody progression occurs, that is, the overall fundamental frequency response is increased by 150%, the range (the frequency-related vocal range) is widened by 40% and the contour gets a final increase in frequency. All syllables are accelerated by 30% and the strong ones again by 20%.
  • the role of the synthesizer takes over in this case not “Mbrola” (see [3]), but the “EmoSyn” software (see [2]), which a KlattFormantsynthesizer by a combination of parameter templates for voiced sounds and rules for unvoiced sounds controls. All aspects of the acoustic speech signal can be modeled as a result of a source-filter system, that is, the acoustic nature of the laryngeal excitation signal and mouth-space approach tube can be controlled parametrically.
  • the features of the "articulation accuracy” and “vocal sound” groups are modeled according to the second objective emotion, "satisfaction.” That is, for the vocal sound a rather gushed speech is used, where (according to [1], p. 218) the excitation signal through the Liljencranz-Fant parameter aperture quotient, the spectral attenuation, the bandwidth of the first formant, the amplitude of the voiced portion and the amplitude of the noisy component is adjusted. The formants are raised slightly as this corresponds to a smiling speech. The articulation accuracy is increased, so it is a "Vowel target overshoot" modeled by decentralization of the first two formants.
  • the Fig. 1 shows a first possible embodiment of the system 1 according to the invention, namely a Chattsynthetisierers, in a very simplified schematic representation. All components of the speech synthesizer shown are each software-based and hardware-based components.
  • the speech synthesizer 1 consists essentially as shown in FIG Fig. 1 can be seen from the input stage 2 with the phonemeization component 3, the emotion simulator 4 and the output stage 5 with the actual synthesis unit 6 and with - not shown here - means (for example, speakers) for the acoustic output.
  • the phonemeization component 3 is formed, for example, by the phoneme system "Mary” known therefor.
  • the emotion simulator 4 is based on the software "Emofilt" created for the production of emotional language.
  • the component is based on a database in which parameters for the emotions “joy,”"grief,” and “anger” are kept in four independent sets of features, namely, melody features, duration characteristics, articulation features, and vocal tract characteristics.
  • the relevant parameters are influenced by means of the "Emofilt" software corresponding to at least two target emotions transferred to the system 1 in connection with the transfer of a text to be converted into speech in accordance with adjusted or adjusted parameters by program sequences additionally provided as part of the emotion simulator 4 to form a mixture, by means of which the phonemes generated in the phonemeization component 3 and forming a speech raw signal are modulated 5 is used in the in the Fig. 1 shown embodiment, a component in which the software "Mbrola" is implemented.
  • This component based on “Mbrola”, produces from the one given above modulated voice raw signal with neutral speech signal parameter assignment - that is, from the phonetics anyway neutral (Mary does not provide the phonemes with information or parameters to the vocal sound) phonemes with equally neutral prosody, which were modulated according to the two target emotions - finally by the (not shown) output means of the speech synthesizer 1 to be output synthetic speech signal.
  • the Fig. 2 shows a further embodiment of a designed according to the invention Speech synthesizer 1.
  • Speech synthesizer 1 comprises the basically same components as the speech synthesizer 1 according to the embodiment explained above.
  • the components in question also work together in the same way.
  • speech synthesizer 1 is compared to the embodiment of the Fig. 1 only the speech synthesis unit 5 has been replaced by another embodiment for such a unit.
  • the actual speech synthesis is carried out by means of this component, in which, for example, the software "EmoSyn" has been implemented. This generates a synthetic speech signal according to the principle of formant synthesis.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)

Abstract

Die Erfindung bezieht sich auf eine Lösung Sprachsynthese, nämlich auf die Erzeugung eines synthetischen Sprachsignals in einem automatisierten Ablauf. Zur Erzeugung eines möglichst natürlich klingenden synthetischen Sprachsignals wird vorgeschlagen, dass ein während der Sprachsynthese erzeugtes, noch nicht emotionsbehaftetes Sprachrohsignal mit einem Parametergemisch moduliert wird, welches Parameter mehrerer, mit Melodiemerkmalen, mit Dauermerkmalen, mit Stimmmerkmalen oder mit der Artikulationsgenauigkeit der Sprache korrespondierender Merkmalsgruppen umfasst, die entsprechend mindestens zwei vorgegebenen, mit voneinander verschiedenen der vorgenannten Merkmalsgruppen assoziierten Zielemotionen eingestellt werden. Das dazu vorgeschlagene System (1) besteht insbesondere aus einer Eingangsstufe (2) mit einer Phonemisierungskomponente (3), aus einem Emotionssimulator (4) und aus einer Ausgangsstufe (5) mit einer Syntheseeinheit (6). Die Eingangsstufe (2) ist zur Entgegennahme von Informationen über mindestens zwei Zielemotionen ausgebildet. Der Emotionssimulator (4) ist ausgebildet zur Auswertung dieser Informationen, zur Einstellung der Parametereigenschaften mindestens zweier verschiedener Sprachmerkmalsgruppen entsprechend den Zielemotionen, zum Mischen der eingestellten Parameter und zur Modulation des Sprachrohsignals mit dem Parametergemisch.

Description

  • Die Erfindung betrifft eine Lösung zur automatisierten Sprachsynthese, welche es ermöglicht, Sprachsequenzen zu erzeugen, die aufgrund der Simulation einer emotionalen Sprechweise für einen durch diese Sprachsequenzen angesprochen Zuhörer besonders natürlich klingen. Sie bezieht sich auf eine Lösung, welche durch die Einbeziehung extralinguistischer und/oder paralinguistischer Merkmale deutlich über die rein linguistische Erzeugung synthetischer Sprache hinausgeht. Gegenstände der Erfindung sind ein entsprechendes Verfahren und ein zur Durchführung dieses Verfahrens geeignetes System.
  • Insbesondere zur Verbesserung der Mensch-Maschine-Kommunikation, aber auch der von Mensch-zu-Mensch unter Zwischenschaltung einer Maschine erfolgenden Kommunikation ist es bereits seit längerem bekannt, mittels technischer Einrichtungen, welche auch als Sprachsynthetisierer bezeichnet werden, Sprache künstlich zu erzeugen, also zu synthetisieren. Aus technischer Sicht geht es bei der Sprachsynthese um die künstliche Generierung von Sprachsignalen aus beliebigem Text mittels entsprechender computerbasierter Systeme. Die bekannten Syntheseverfahren lassen sich zumeist einem der vier, nachfolgend in historisch aufsteigender Reihenfolge genannten Hauptverfahren zuordnen:
    • Formant Synthese: Bei diesem Verfahren wird ein Sprachsignal anhand physikalischer Modelle berechnet. Die Resonanz-Frequenzen im Sprechtrakt bezeichnet man hierbei als Formanten. Das Verfahren ist sehr flexibel und hat geringste Ressourcen-Anforderungen. Allerdings klingen auf diese Weise erzeugte Sprachsignale bislang noch sehr unnatürlich.
    • Diphonsynthese: Hierbei wird das Sprachsignal durch Verkettung von Diphonen (Nachbar-Laut Kombinationen) erzeugt. Die Prosodie-Anpassung (Rhythmus und Melodie) geschieht durch Signal-Manipulation, deren Art abhängig von der Kodierung der Diphone ist. Dieses Verfahren benötigt verhältnismäßig wenige Ressourcen und eignet sich damit auch für Embedded Anwendungen. Aber auch nach diesem Verfahren erzeugte Sprachsignale klingen bislang nicht sehr natürlich.
    • Non-uniform unit-selection: Ausgehend von einer sehr großen Datenbasis werden die am besten passenden Sprachteile (units) miteinander zu Ketten variabler Länge (non-uniform) verkettet. Dabei wird eine doppelte Kostenfunktion minimiert: Die Stücke sollen gut aneinander passen (Verkettungs-Kosten) und die Vorgaben der Ziel-Prosodie erfüllen (Target-Kosten). Dies klingt sehr natürlich, nämlich ähnlich dem Originalsprecher, ist aber unflexibel bezüglich Situationen, die nicht in der Datenbasis abgebildet sind. Das Verfahren erfordert große Ressourcen und wird meist bei serverbasierten Anwendungen eingesetzt.
    • HMM Synthese: Hierbei handelt es sich um die Synthese basierend auf dem so genannten Hidden Markov Model. Es handelt sich um ein stochastisches Verfahren zum Modellieren der Übergangswahrscheinlichkeiten akustischer Parameter in Bezug auf die zu erzeugende Sprache. Auf diesem Modell basierende Verfahren lernen auf einem relativ großem Sprachkorpus, brauchen aber für die Synthese nur relativ geringe Ressourcen, da sie nicht direkt auf dem Wellensignal (wave signal) basieren sondern parametrisierte Repräsentationen verwenden (zum Beispiel LPC = Linear predictive coding). Allerdings tendieren entsprechende Verfahren deshalb auch zu Artefakten.
  • Neben Verfahren, die zu den vorgenannten vier Hauptverfahren gehören, sind in neuerer Zeit auch Verfahren bekannt geworden, welche sich künstlicher neuronaler Netze zur Generierung künstlicher Sprachsignale bedienen. Es handelt sich hierbei, ebenso wie bei der HMM Synthese um so genannte statistische Verfahren, bei denen, wollte man sie mit der HMM Synthese vergleichen, die HMM's gewissermaßen durch künstliche neuronale Netze ersetzt werden, indem basierend auf einer sehr großen Trainingsmenge die akustischen Parameter für eine Eingangsmenge an phonetisch-linguistischen Merkmalen gelernt werden.
  • Wenn Menschen miteinander sprechen, geht jedoch die zwischen ihnen auf der sprachlichen Ebene geführte Kommunikation über den rein linguistischen Bedeutungsgehalt der zwischen ihnen ausgetauschten Wörter und Sätze klar hinaus. Beim Sprechen drücken Menschen immer auch Emotionen aus. Bei den entsprechenden, derartige tatsächliche oder gegebenenfalls auch nur scheinbare Emotionen zum Ausdruck bringenden Merkmalen spricht man von extralinguistischen oder paralinguistischen Merkmalen. Die extralinguistischen Merkmale werden dabei durch die Natur beziehungsweise Stimmeigenschaft eines sprechenden Menschen bestimmt. Beispiele hierfür sind unterschiedliche Stimmeigenschaften von Männern und Frauen, aber auch andere, im Grunde unbeeinflussbare Stimmeigenschaften von Menschen, welche sich beispielsweise in einer eher getragenen Sprechweise oder in einer stark akzentuierten Aussprache manifestieren. Entsprechende auffällige Sprechweisen von Menschen können von anderen, sie nicht kennenden Menschen auch als ein Ausdruck vermeintlicher Emotionen angesehen beziehungsweise interpretiert werden. Darüber hinaus werden durch einen Menschen gesprochene Wörter oder Sätze hinsichtlich ihrer Wahrnehmung durch Zuhörer noch durch paralinguistische Merkmale beeinflusst, welche tatsächliche augenblickliche Emotionen, wie Freude, Trauer oder Wut, des Sprechenden vermitteln.
  • Ein Ziel bei der Entwicklung von Lösungen für die Sprachsynthese ist es, auch die zuvor erläuterten extralinguistischen und paralinguistischen Merkmale in die Synthese einzubeziehen und im Ergebnis natürlich wirkende, synthetisch erzeugte Sprachsequenzen zu erhalten. Hierbei lässt man sich davon leiten, dass es auf diese Weise möglich ist, das Verhalten von Menschen während eines im Zuge einer Mensch-Maschine-Kommunikation geführten Dialogs besser und letztlich auch stärker zielorientiert zu beeinflussen.
  • Zur künstlichen Generierung emotionsbehafteter Sprachsignale mittels entsprechender Sprachsynthetisierer werden unterschiedliche Merkmalsgruppen der Sprache moduliert. Hierbei handelt es sich insbesondere um den Tonhöhen- oder Melodieverlauf der Sprache (Melodiemerkmale), um die Dauer der einzelnen Laute (Dauermerkmale), um die Auswahl und Aussprache der einzelnen Laute (Artikulationsgenauigkeit) und um den Stimmklang (Stimmmerkmale). Diese Merkmalsgruppen selbst haben jeweils nicht unbedingt einen Einfluss auf die Bedeutung des Gesprochenen, verleihen aber rein linguistisch betrachteten identischen textlichen Aussagen unter Umständen eine sehr unterschiedliche Wirkung. Daher wird durch eine gezielte Veränderung beziehungsweise Beeinflussung der vorgenannten Merkmalsgruppen im Zusammenhang mit der Sprachsynthese eine emotionsbehaftete Sprechweise simuliert. Nach dem Stand der Technik werden dabei jeweils für eine bestimmte Zielemotion durchschnittliche Ausprägungen der vorgenannten Merkmalsgruppen gemessen und diese Merkmalsgruppen bei der Synthese durch Veränderung entsprechender Parameter gezielt angepasst. Beispielsweise werden für die Emotion "jubelnde Freude" die Lautdauern der stimmhaften Frikative verlängert oder es wird zum Erreichen einer Zielemotion "Trauer" der Stimmklang von "modal" auf "behaucht" verändert.
  • Aber auch insoweit ist die natürliche menschliche Sprechweise erheblich komplexer und vielschichtiger. Die aus dem Stand der Technik bekannt gewordenen Lösungen zur Sprachsynthese zur Erzeugung emotionsbehafteter Sprachsequenzen, welche sich der vier eingangs genannten grundsätzlichen Ansätze der Sprachsynthese bedienen und diese unter Berücksichtigung einer bestimmten Zielemotion beeinflussen, führen zwar bereits zu einer verhältnismäßig natürlich wirkenden Aussprache synthetisch erzeugter Sprachsequenzen, sind aber in dieser Hinsicht immer noch verbesserungsfähig.
  • Bezüglich des Standes der Technik sei in diesem Zusammenhang auf die nachfolgend genannten Dokumente verwiesen:
    1. 1. Felix Burkhardt, "Simulation emotionaler Sprechweise mit Sprachsynthesesystemen", Shaker Verlag, 2001,
    2. 2. Felix Burkhardt und W. F. Sendlmeier, "Verification of Acoustical Correlates of Emotional Speech using Formant-Synthesis", Proceedings ISCA Workshop (ITRW) on Speech and Emotion, Belfast 2000,
    3. 3. T. Dutoit, V. Pagel, N. Pierret, F. Bataille und O. Van der Vreken, "The Mbrola project: Towards a set of high-quality speech synthesizers free of use for non-commercial purposes," Proc. ICSLP'96, Philadelphia, vol. 3, pp. 1393-1396, 1996,
    4. 4. M. Schröder und J. Trouvain, "The German text-to-speech synthesis system mary: A tool for research, development and teaching", International Journal of Speech Technology, pp. 365-377, 2003
    5. 5. Felix Burkhardt, "Emofilt: the Simulation of Emotional Speech by Prosody-Transformation", Interspeech 2005.
  • Aufgabe der Erfindung ist es, eine Lösung für die automatisierte Sprachsynthese bereitzustellen, welche zu Sprachsequenzen führt, die bei ihrer phonetischen Wiedergabe im Hinblick auf eine emotionsbehaftete Sprechweise noch natürlicher wirken, als dies nach dem Stand der Technik der Fall ist. Hierzu sind ein Verfahren und ein zur Durchführung des Verfahrens geeignetes System anzugeben.
  • Die Aufgabe wird durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 gelöst. Ein die Aufgabe lösendes, zur Durchführung des Verfahrens geeignetes System wird durch den ersten Sachanspruch charakterisiert. Vorteilhafte Ausbeziehungsweise Weiterbildungen der Erfindung sind durch die Unteransprüche gegeben.
  • Nach dem zur Lösung der Aufgabe vorgeschlagenen Verfahren wird ein im Rahmen einer automatisierten Sprachsynthese erzeugtes Sprachsignal zur Simulation einer emotionalen Sprechweise beeinflusst. Erfindungsgemäß geschieht dies dadurch, dass ein während der Sprachsynthese erzeugtes Sprachrohsignal, welches noch nicht emotionsbehaftet ist, vor der Ausgabe des generierten Sprachsignals gezielt mit einem Parametergemisch moduliert wird. Dieses Parametergemisch umfasst erfindungsgemäß Parameter mehrerer, mit Melodiemerkmalen, mit Dauermerkmalen, mit Stimmmerkmalen oder mit Merkmalen zur Artikulationsgenauigkeit der Sprache korrespondierender Merkmalsgruppen. Hierbei werden die Parameter zumindest zweier, voneinander verschiedener der vorgenannten Merkmalsgruppen eingestellt und miteinander gemischt. Bei den insoweit eingestellten Parametern handelt es sich um Parameter aus Merkmalsgruppen, mit denen mindestens zwei vorgegebene Zielemotionen assoziiert werden.
  • Gemäß dem der Beschreibung und den Patentansprüchen zugrundeliegenden Verständnis handelt es sich bei einem Sprachrohsignal um ein aus Phonemen bestehendes Signal mit einer bezüglich der vorstehend genannten, Merkmalsgruppen, das heißt insbesondere im Hinblick auf die Prosodie und den Stimmklang neutralen Parameterbelegung, welches noch nicht die Form eines akustisch wiedergebbaren Audiosignals aufweist.
  • Vorzugsweise vollzieht sich bei der Umsetzung des zuvor grundsätzlich charakterisierten Verfahrens folgender Verfahrensablauf:
    • An ein dazu ausgebildetes, hard- und softwarebasiertes System wird ein in Form von synthetisch erzeugter Sprache auszugebender Text übergeben. Mit dem Text werden an das System außerdem Informationen über mindestens zwei für das auszugebende Sprachsignal gewünschte Zielemotionen, wie beispielsweise freudige Erregung oder wütende Trauer, beigefügt.
      Der an ein entsprechendes System übergebene Text wird dann phonemisiert. Die dabei erzeugten, mit einer neutralen Prosodiebeschreibung versehenen Phoneme bilden ein Sprachrohsignal als Grundlage zur Erzeugung eines hinsichtlich seiner linguistischen Bedeutung mit dem vorgegebenen Text korrespondierenden synthetischen Sprachsignals unter Anwendung eines der bekannten Syntheseverfahren, nämlich insbesondere der Diphonesynthese, der Formantsynthese, der HMM Synthese oder eines mittels künstlicher neuronaler Netze umgesetzten statistischen Verfahrens.
    • Mittels eines Emotionssimulators werden die dem übergebenen Text zu den gewünschten Zielemotionen beigefügten Informationen ausgewertet. Unter Rückgriff auf eine entsprechende Datenbasis, vorzugsweise eine Datenbank, werden Parametereigenschaften zweier verschiedener Merkmalsgruppen (Melodiemerkmale, Dauermerkmale, Artikulationsmerkmale oder Stimmklang), mit denen die vorgegebenen Zielemotionen assoziiert werden, entsprechend den vorgegebenen Zielemotionen eingestellt und zu einem Parametergemisch zusammengeführt.
    • Im Zuge seiner Übergabe an die eigentliche, nach einem der vorgenannten Syntheseverfahren arbeitende Syntheseeinheit wird das in der Phonemisierungskomponente erzeugte Sprachrohsignal mit dem die mindestens zwei Zielemotionen abbildenden Parametergemisch aus den Merkmalsgruppen moduliert.
    • In der Syntheseeinheit wird schließlich aus dem mit dem Parametergemisch modulierten Sprachrohsignal das auszugebende synthetische Sprachsignal, beispielsweise im Wege einer Diphonverkettung, erzeugt.
  • Bei dem zur Lösung der Aufgabe vorgeschlagenen und zur Umsetzung des zuvor erläuterten Verfahrens geeigneten System handelt es sich um einen speziell ausgebildeten, hard- und softwarebasierten Sprachsynthetisierer. Dieser besteht aus einer von einer Eingangsstufe des Synthetisierers umfassten Phonemisierungskomponente, aus einem Emotionssimulator sowie aus der eigentlichen, von einer mit Mitteln zur akustischen Ausgabe des erzeugten Sprachsignals ausgestatteten Ausgabestufe umfassten Syntheseeinheit. Entscheidend für die Lösung der Aufgabe ist die Art und Weise, wie die vorgenannten Komponenten, welche als solches aus dem Stand der Technik durchaus bekannt sein können, in dem erfindungsgemäßen Sprachsynthetisierer miteinander in eine Wirkverbindung gebracht sind. Die Ausbildung der vorgenannten Komponenten und die zwischen ihnen zur Umsetzung des vorgeschlagenen Verfahrens bestehende Wirkverbindung wird auf der Grundlage der hard- und softwarebasierten Struktur des Sprachsynthetisierers erreicht, welche insoweit über eine Verarbeitungseinheit verfügt und mit einer Software ausgestattet ist, bei deren Verarbeitung durch die Verarbeitungseinheit die entsprechenden, ineinandergreifenden Funktionen der Komponenten des Synthetisierers bereitgestellt werden.
  • Bei dem vorgeschlagenen System werden die von der Phonemisierungskomponente erzeugten, zunächst mit einer neutralen Prosodiebeschreibung versehenen Phoneme nicht unmittelbar oder, hinsichtlich von Sprachparametern, welche insbesondere die Prosodie und/oder den Stimmklang bestimmen, lediglich in Richtung einer Zielemotion beeinflusst an die Syntheseeinheit übergeben. Vielmehr werden die mit der neutralen Prosodiebeschreibung versehenen Phoneme zur Übergabe an die Syntheseeinheit mittels eines Parametergemisches moduliert. Das entsprechende Parametergemisch wird durch den zu dem Sprachsynthetisierer gehörenden Emotionssimulator erzeugt. Dieser wertet die dem übergebenen Text, welcher in synthetische Sprache umzusetzen ist, beigefügten Informationen zu wenigstens zwei Zielemotionen aus und beeinflusst die Parameter mindestens zweier unterschiedlicher Sprachmerkmalsgruppen, welche mit den Vorgaben assoziiert werden, gemäß diesen Vorgaben. Die insoweit hinsichtlich ihrer jeweiligen Ausprägung beeinflussten Parameter, mit welchen Emotionen wie Freude, Trauer und Wut assoziiert werden, werden durch den Emotionssimulator zudem gemischt, das heißt, zu einem Parametergemisch zusammengefügt und auf das Sprachrohsignal - dieses modulierendend - angewendet. Die Synthesekomponente erzeugt nach einem der bekannten Verfahren aus dem mit dem Parametergemisch modulierten Sprachrohsignal das gewünschte synthetische Sprachsignal und gibt dieses aus.
  • Die Erfindung soll nochmals anhand von zwei Ausführungsbeispielen zu ihren Einsatzmöglichkeiten erläutert werden. Die in den nachfolgenden Erläuterungen enthaltenen Verweise auf den Stand der Technik beziehen sich dabei auf die fünf eingangs genannten Dokumente.
  • Das erste Beispiel bezieht sich auf einen Roboter, der parallel mehrere Emotionen ausdrücken kann. Es sei angenommen, für den Besitzer dieses Roboters ist eine neue Nachricht eingetroffen. Diese hat, basierend auf einer Inhaltsanalyse oder einer Markierung des Absenders, einen freudigen Inhalt. Der Roboter nutzt dann die Möglichkeit mehrere Emotionen gleichzeitig auszudrücken und mischt "Überraschung" (über das Eintreffen der Nachricht) mit "Freude", um den Besitzer auf deren erfreulichen Inhalt vorzubereiten. Der Roboter nutzt für seine Sprachausgabe beziehungsweise für die eigentliche Sprachsynthese eine Software des aus dem Stand der Technik bekannten, auf der Diphonsynthese basierenden Mbrola-Projekts (siehe dazu [3]).
  • Die Diphonsynthese erzeugt Sprache durch Verkettung einzelner Doppellaute (Diphone) aus einer Datenbasis und nachträglicher Prosodie-Anpassung (Beeinflussung von Tonmelodie und Lautdauern) nach dem PSOLA-Verfahren (Pitch Synchronous Overlap and Add). Der an dieser Stelle beispielhaft erläuterte Roboter verfügt über drei Diphon-Datenbasen für unterschiedliche Stimmqualitäten, nämlich über jeweils ein Inventar für entspannte, normale und angespannte Sprechweise. Dabei nutzt der Roboter konkret seine Parameterdaten für die beiden Zielemotionen "Überraschung" und "Freude".
  • Da es im Falle der Diphonsynthese vier manipulierbare Parametergruppen gibt werden jeweils zwei für die Modellierung der ersten und zwei für die der zweiten Zielemotion verwendet. Konkret bedeutet dies:
    • Gemäß der ersten Zielemotion "Überraschung" wird die Merkmalsgruppe "Stimmqualität" so angepasst, dass die Diphonbasis mit angespanntem Stimmklang ausgewählt wird. Die zweite Merkmalsgruppe "Artikulationsgenauigkeit" wird auf "Vowel Target Undershoot" gestellt, das heißt die Aussprache ist eher verschliffen.
    • Gemäß der zweiten Zielemotion "Freude" wird das Melodiemodell mit einem auf die hauptbetonten Silben hin sanft an- und absteigenden Verlauf modelliert. Beim Dauermodell werden die stimmhaften Frikative um 20 % verlängert, da Messungen und Resynthese-Experimente ergeben haben, das die entstehende Sprache dann eher als "freudig" wahrgenommen wird (siehe dazu [1]).
  • Dem Grundgedanken der Erfindung folgend, wird durch eine Phonemisierungskomponente, zum Beispiel "Mary" (siehe dazu [4]), zunächst ein Sprachrohsignal als neutrale Version der Zieläußerung (synthetische Sprache, mit den gleichzeitig zum Ausdruck gebrachten Emotionen "Überraschung" und "Freude") berechnet, bestehend aus den Phonemen die verwendet werden sollen und einer neutralen Prosodiebeschreibung. Dieses Sprachrohsignal wird dann gemäß den zuvor beschriebenen Änderungen modifiziert beziehungsweise moduliert, zum Beispiel mittels der "Emofilt" Software (siehe dazu [5]). Dem, wie bereits angegeben, auf "Mbrola" (siehe dazu [3]) basierenden Synthesizer wird dann die modifizierte Sprachsignalbeschreibung sowie der Hinweis auf die zu verwendende Diphonbasis übergeben und daraus das Sprachsignal erzeugt welches sowohl Überraschung als auch Freude ausdrückt.
  • Ein weiteres Ausführungsbeispiel betrifft einen virtuellen Agenten in einem Spiel. Der Nutzer interagiert mit dem Agenten unter anderem per Sprache. Um das Spiel interessant zu machen und den Agenten lebensähnlicher, wechselt dessen Stimmung basierend auf Ereignissen, die im Spiel geschehen. Der Agent hat zum Beispiel morgens erfahren, dass er im Lotto gewonnen hat und ist grundsätzlich guter Stimmung. Nun wirft er aktuell in einer Spielsituation eine wertvolle Vase um, die dabei zerbricht und macht einen wütenden Ausruf, der allerdings von dem Einfluss der positiven Stimmung gemildert wird.
  • Die Erzeugung des gemischten Emotionsausdrucks in der Sprache soll hierbei zum Beispiel durch Formantsynthese geschehen, wie dies beispielsweise in [2] beschrieben wird. Die wiederum auf "Mary" (siehe dazu [4]) basierende Phonemisierungskomponente erzeugt aus dem zu sprechenden Text als Sprachrohsignal eine kanonische Aussprachevariante sowie eine neutrale Prosodiebeschreibung. Diese wird von der Emotionalisierungskomponente "Emofilt" (siehe dazu [5]) dahingehend modifiziert, dass ein für die Emotion "Wut" typischer Dauer und Melodieverlauf entsteht, das heißt, der gesamte Grundfrequenzverlauf wird um 150 % angehoben, der Range (der frequenzbezogene Stimmumfang) um 40 % verbreitert und die Kontur bekommt einen finalen Anstieg der Frequenz. Alle Silben werden um 30 % beschleunigt und die starkbetonten nochmal um 20 %.
  • Die Rolle des Synthesizers übernimmt in diesem Falle nicht "Mbrola" (siehe dazu [3]), sondern die "EmoSyn" Software (siehe dazu [2]), welche einen KlattFormantsynthesizer durch eine Kombination aus Parametervorlagen für stimmhafte Laute und Regeln für stimmlose Laute ansteuert. Dabei lassen sich sämtliche Aspekte des akustischen Sprachsignals als Ergebnis eines Quelle-Filter Systems modellieren, das heißt die akustische Beschaffenheit von Kehlkopf-Anregungssignal und Mundraum-Ansatzrohr lassen sich parametrisch steuern.
  • Die Merkmale der Gruppen "Artikulationsgenauigkeit" und "Stimmklang" werden gemäß der zweiten Zielemotion, also "Zufriedenheit", modelliert. Das heißt, für den Stimmklang wird eine eher behauchte Sprechweise verwendet, wobei (gemäß [1], S. 218) das Anregungssignal durch den Liljencranz-Fant Parameter Öffnungsquotient, die spektrale Dämpfung, die Bandbreite des ersten Formanten, die Amplitude des stimmhaften Anteils und die Amplitude des rauschhaften Anteils angepasst wird. Die Formanten werden leicht angehoben da dies einer lächelnden Sprechweise entspricht. Die Artikulationsgenauigkeit ist erhöht, es wird also ein "Vowel-Target overshoot" modelliert durch Dezentralisierung der ersten beiden Formanten.
  • Anhand zugehöriger Zeichnungen soll an dieser Stelle noch die grundsätzliche Struktur zweier möglicher Ausbildungsformen des erfindungsgemäßen Systems dargestellt werden. Die Zeichnungen zeigen im Einzelnen:
    • Fig. 1:
    einen erfindungsgemäßen Sprachsynthetisierer mit einer nach dem Prinzip der Diphonverkettung arbeitenden Syntheseeinheit,
    Fig. 2:
    einen Sprachsynthetisierer mit einer das auszugebende Sprachsignal im Wege der Formantsynthese erzeugenden Syntheseeinheit.
  • Die Fig. 1 zeigt eine erste mögliche Ausbildungsform des erfindungsgemäßen Systems 1, nämlich eines Sprachsynthetisierers, in einer sehr stark vereinfachten schematischen Darstellung. Bei allen dargestellten Komponenten des Sprachsynthetisierers handelt es sich jeweils um soft- und hardwarebasierte Komponenten.
  • Demgemäß besteht der Sprachsynthetisierer 1 im Wesentlichen, wie aus der Fig. 1 ersichtlich, aus der Eingangsstufe 2 mit der Phonemisierungskomponente 3, dem Emotionssimulator 4 und der Ausgangsstufe 5 mit der eigentlichen Syntheseeinheit 6 und mit - hier allerdings nicht dargestellten - Mitteln (zum Beispiel Lautsprecher) für die akustische Ausgabe. Bei dem gezeigten Beispiel ist die Phonemisierungskomponente 3 beispielsweise durch das hierfür bekannte Phonemisierungssystem "Mary" ausgebildet. Der Emotionssimulator 4 basiert auf der zur Erzeugung emotionaler Sprache geschaffenen Software "Emofilt". Die Komponente stützt sich auf eine Datenbank ab, in welcher Parameter für die "Emotionen "Freude", "Trauer" und "Wut" in vier voneinander unabhängigen Merkmalsgruppen, nämlich den Melodiemerkmalen, den Dauermerkmalen, den Artikulationsmerkmalen und Merkmalen des Stimmklangs, gehalten werden. Die betreffenden Parameter, nämlich Parameter aus mindestens zwei der vorgenannten Merkmalsgruppen, werden mittels der "Emofilt" Software entsprechend mindestens zweier, an das System 1 im Zusammenhang mit der Übergabe eines in Sprache umzusetzenden Textes übergebener Zielemotionen beeinflusst. Zur Umsetzung des erfindungsgemäßen Verfahrens werden dann die entsprechend eingestellten beziehungsweise eingeregelten Parameter durch dafür als Bestandteil des Emotionssimulators 4 zusätzlich vorgesehene Programmsequenzen zu einem Gemisch zusammengefügt, mittels welchem die in der Phonemisierungskomponente 3 erzeugten, ein Sprachrohsignal bildenden Phoneme moduliert werden. Als Syntheseeinheit 5 dient bei dem in der Fig. 1 gezeigten Ausführungsbeispiel eine Komponente, in welcher die Software "Mbrola" implementiert ist. Diese Komponente, basierend auf "Mbrola", erzeugt aus dem wie zuvor angegeben modulierten Sprachrohsignal mit neutraler Sprachsignalparameterbelegung - also aus den hinsichtlich des Stimmklangs ohnehin neutralen (Mary versieht die Phoneme nicht mit Informationen oder Parametern zum Stimmklang) Phonemen mit gleichfalls neutraler Prosodie, welche entsprechend den zwei Zielemotionen moduliert wurden - im Wege der Diphoneverkettung schließlich das von den (nicht gezeigten) Ausgabemitteln des Sprachsynthetisierers 1 auszugebende synthetische Sprachsignal.
  • Die Fig. 2 zeigt eine weitere Ausführungsform eines gemäß der Erfindung gestalteten Sprachsynthetisierers 1. Dieser umfasst die grundsätzlich gleichen Komponenten wie der Sprachsynthetisierer 1 gemäß dem zuvor erläuterten Ausführungsbeispiel. Die betreffenden Komponenten arbeiten auch in derselben Weise zusammen. Bei dem in der Fig. 2 gezeigten Sprachsynthetisierer 1 ist gegenüber dem Ausführungsbeispiel nach der Fig. 1 lediglich die Sprachsyntheseeinheit 5 durch eine andere Ausbildungsform für eine derartige Einheit ersetzt worden. Die eigentliche Sprachsynthese erfolgt mittels dieser Komponente, in welcher beispielsweise die Software "EmoSyn" implementiert wurde. Diese erzeugt ein synthetisches Sprachsignal nach dem Prinzip der Formantsynthese.

Claims (7)

  1. Verfahren zur Sprachsynthese, nach welchem durch ein dafür ausgebildetes System (1) in einem automatisierten Ablauf ein synthetisches Sprachsignal erzeugt wird, dessen Parametereigenschaften zur Simulation einer emotionalen Sprechweise beeinflusst werden, dadurch gekennzeichnet, dass ein während der Sprachsynthese erzeugtes, noch nicht emotionsbehaftetes Sprachrohsignal zur Generierung des auszugebenden, emotionsbehafteten Sprachsignals mit einem Parametergemisch moduliert wird, welches Parameter mehrerer, mit Melodiemerkmalen, mit Dauermerkmalen, mit Stimmmerkmalen oder mit der Artikulationsgenauigkeit der Sprache korrespondierender Merkmalsgruppen umfasst, die entsprechend mindestens zwei vorgegebenen, mit voneinander verschiedenen der vorgenannten Merkmalsgruppen assoziierten Zielemotionen eingestellt werden.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der automatisierte Ablauf zur Sprachsynthese folgende Verfahrensschritte umfasst:
    a.) Übergabe eines als Audiosprachsignal auszugebenden Textes und von Informationen über mindestens zwei für das als Audiosprachsignal auszugebende synthetische Sprachsignal gewünschte Zielemotionen an das zur Sprachsynthese ausgebildete System (1),
    b.) Erzeugung eines Sprachrohsignals durch Phonemisierung des übergebenen Textes,
    c.) Auswertung der mit dem Text übergebenen Zielemotionen und Einstellung der Parametereigenschaften mindestens zweier verschiedener, mit Melodiemerkmalen, mit Dauermerkmalen, mit Stimmmerkmalen oder mit der Artikulationsgenauigkeit der Sprache korrespondierender Merkmalsgruppen entsprechend den vorgegebenen Zielemotionen,
    d.) Zusammenführen der entsprechend den mindestens zwei Zielemotionen eingestellten Parametereigenschaften zu einem Parametergemisch,
    e.) Modulierung des erzeugten Sprachrohsignals mit dem aus den eingestellten Parametereigenschaften gebildeten Parametergemisch,
    f.) Erzeugung eines synthetischen Sprachsignals aus dem mit dem Parametergemisch modulierten Sprachrohsignal,
    g.) Ausgabe des emotionsbehafteten synthetischen Sprachsignals als Audiosprachsignal durch das System (1).
  3. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Erzeugung des synthetischen Sprachsignals aus dem mit dem Parametergemisch modulierten Sprachrohsignal durch Formatsynthese erfolgt.
  4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Erzeugung des synthetischen Sprachsignals aus dem mit dem Parametergemisch modulierten Sprachrohsignal durch Diphonsynthese erfolgt.
  5. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Erzeugung des synthetischen Sprachsignals aus dem mit dem Parametergemisch modulierten Sprachrohsignal durch HHM-Synthese, nämlich durch Synthese basierend auf dem Hidden Markov Model, erfolgt.
  6. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Erzeugung des synthetischen Sprachsignals aus dem mit dem Parametergemisch modulierten Sprachrohsignal mittels neuronaler Netze erfolgt.
  7. System (1) zur Sprachsynthese, nämlich hard- und softwarebasierter Sprachsynthetisierer zur automatisierten Erzeugung eines eine emotionale Sprechweise simulierenden synthetischen Sprachsignals, bestehend aus einer Eingangsstufe (2) zur Entgegennahme eines als synthetische Sprache auszugebenden Textes mit einer Phonemisierungskomponente (3) zur Erzeugung eines Sprachrohsignals durch Phonemisierung entgegengenommenen Textes, aus einem Emotionssimulator (4) zur Beeinflussung des Sprachrohsignals für die Simulation einer emotionalen Sprechweise und aus einer Ausgangsstufe (5) mit einer Syntheseeinheit (6) zur Erzeugung eines emotionsbehafteten synthetischen Sprachsignals aus dem mittels des Emotionssimulators (4) beeinflussten Sprachrohsignal und mit Mitteln zur akustischen Ausgabe des erzeugten synthetischen Sprachsignals, dadurch gekennzeichnet, dass die Eingangsstufe (2) zur Entgegennahme von Informationen über mindestens zwei Zielemotionen für das zu erzeugende synthetische Sprachsignal ausgebildet ist und dass der Emotionssimulator (4) ausgebildet ist zur Auswertung von der Eingangsstufe (2) entgegengenommener Informationen zu Zielemotionen und zur Einstellung der Parametereigenschaften mindestens zweier verschiedener, mit Melodiemerkmalen, mit Dauermerkmalen, mit Stimmmerkmalen oder mit der Artikulationsgenauigkeit der Sprache korrespondierender Merkmalsgruppen entsprechend den der Auswertung der Informationen ermittelten Zielemotionen sowie zum Mischen der für die Parametereigenschaften des zu erzeugenden Sprachsignals eingestellten Parameter und zur Modulation des Sprachrohsignals mit diesem Parametergemisch.
EP15185879.2A 2015-09-18 2015-09-18 Synthetische erzeugung eines natürlich klingenden sprachsignals Ceased EP3144929A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP15185879.2A EP3144929A1 (de) 2015-09-18 2015-09-18 Synthetische erzeugung eines natürlich klingenden sprachsignals

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP15185879.2A EP3144929A1 (de) 2015-09-18 2015-09-18 Synthetische erzeugung eines natürlich klingenden sprachsignals

Publications (1)

Publication Number Publication Date
EP3144929A1 true EP3144929A1 (de) 2017-03-22

Family

ID=54150328

Family Applications (1)

Application Number Title Priority Date Filing Date
EP15185879.2A Ceased EP3144929A1 (de) 2015-09-18 2015-09-18 Synthetische erzeugung eines natürlich klingenden sprachsignals

Country Status (1)

Country Link
EP (1) EP3144929A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023012116A1 (de) * 2021-08-02 2023-02-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sprachsignalbearbeitungsvorrichtung, sprachsignalwiedergabesystem und verfahren zum ausgeben eines entemotionalisierten sprachsignals
CN121237104A (zh) * 2025-08-12 2025-12-30 呜呦(长沙)智能科技有限公司 一种基于多维情绪模型和个性化声效的ai宠物实现方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6226614B1 (en) * 1997-05-21 2001-05-01 Nippon Telegraph And Telephone Corporation Method and apparatus for editing/creating synthetic speech message and recording medium with the method recorded thereon

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6226614B1 (en) * 1997-05-21 2001-05-01 Nippon Telegraph And Telephone Corporation Method and apparatus for editing/creating synthetic speech message and recording medium with the method recorded thereon

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
FELIX BURKHARDT: "Emofilt: the Simulation of Emotional Speech by Prosody-Transformation", INTERSPEECH, 2005
FELIX BURKHARDT: "Emofilt: the Simulation of Emotional Speech by Prosody-Transformation", PROC. INTERSPEECH, 4 September 2005 (2005-09-04), pages 1 - 4, XP055225958, Retrieved from the Internet <URL:http://felix.syntheticspeech.de/publications/emofiltInterspeech05.pdf> [retrieved on 20151104] *
FELIX BURKHARDT: "Simulation emotionaler Sprechweise mit Sprachsynthesesystemen", 2001, SHAKER VERLAG
FELIX BURKHARDT; W. F. SENDLMEIER: "Verification of Acoustical Correlates of Emotional Speech using Formant-Synthesis", PROCEEDINGS ISCA WORKSHOP (ITRW) ON SPEECH AND EMOTION, 2000
M. SCHRÖDER; J. TROUVAIN: "The German text-to-speech synthesis system mary: A tool for research, development and teaching", INTERNATIONAL JOURNAL OF SPEECH TECHNOLOGY, 2003, pages 365 - 377, XP019207412, DOI: doi:10.1023/A:1025708916924
T. DUTOIT; V. PAGEL; N. PIERRET; F. BATAILLE; O. VAN DER VREKEN: "The Mbrola project: Towards a set of high-quality speech synthesizers free of use for non-commercial purposes", PROC. ICSLP'96, PHILADELPHIA, vol. 3, 1996, pages 1393 - 1396, XP010237942, DOI: doi:10.1109/ICSLP.1996.607874

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023012116A1 (de) * 2021-08-02 2023-02-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sprachsignalbearbeitungsvorrichtung, sprachsignalwiedergabesystem und verfahren zum ausgeben eines entemotionalisierten sprachsignals
CN121237104A (zh) * 2025-08-12 2025-12-30 呜呦(长沙)智能科技有限公司 一种基于多维情绪模型和个性化声效的ai宠物实现方法

Similar Documents

Publication Publication Date Title
DE60112512T2 (de) Kodierung von Ausdruck in Sprachsynthese
DE69821673T2 (de) Verfahren und Vorrichtung zum Editieren synthetischer Sprachnachrichten, sowie Speichermittel mit dem Verfahren
DE60119496T2 (de) Verfahren und Vorrichtung um eine mittels eines Klangs übermittelte Emotion zu synthetisieren
DE69031165T2 (de) System und methode zur text-sprache-umsetzung mit hilfe von kontextabhängigen vokalallophonen
DE19610019C2 (de) Digitales Sprachsyntheseverfahren
DE60118874T2 (de) Prosodiemustervergleich für Text-zu-Sprache Systeme
DE69519328T2 (de) Verfahren und Anordnung für die Umwandlung von Sprache in Text
DE69519887T2 (de) Verfahren und Vorrichtung zur Verarbeitung von Sprachinformation
DE69506037T2 (de) Audioausgabeeinheit und Methode
DE60216069T2 (de) Sprache-zu-sprache erzeugungssystem und verfahren
DE3856146T2 (de) Sprachsynthese
DE69719654T2 (de) Grundfrequenzmuster enthaltende Prosodie-Datenbanken für die Sprachsynthese
DE112020005337T5 (de) Steuerbare, natürliche paralinguistik für text-zu-sprache-synthese
DE2212472A1 (de) Verfahren und Anordnung zur Sprachsynthese gedruckter Nachrichtentexte
DE60108104T2 (de) Verfahren zur Sprecheridentifikation
EP3010014B1 (de) Verfahren zur interpretation von automatischer spracherkennung
EP1105867B1 (de) Verfahren und vorrichtungen zur koartikulationsgerechten konkatenation von audiosegmenten
EP1058235B1 (de) Wiedergabeverfahren für sprachgesteuerte Systeme mit text-basierter Sprachsynthese
DE69318209T2 (de) Verfahren und Anordnung zur Sprachsynthese
DE69816049T2 (de) Vorrichtung und verfahren zur prosodie-erzeugung bei der visuellen synthese
EP3144929A1 (de) Synthetische erzeugung eines natürlich klingenden sprachsignals
DE69817550T2 (de) Verfahren zur sprachsynthese
EP1110203B1 (de) Vorrichtung und verfahren zur digitalen sprachbearbeitung
Gessinger Phonetic accommodation of human interlocutors in the context of human-computer interaction
DE102023107661A1 (de) Verfahren zur Vokaltraktformung zum verbesserten Erlernen einer Fremdsprache

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

17P Request for examination filed

Effective date: 20170922

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

17Q First examination report despatched

Effective date: 20180801

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20190830