EP1960996A1 - Synthese vocale par concatenation d'unites acoustiques - Google Patents

Synthese vocale par concatenation d'unites acoustiques

Info

Publication number
EP1960996A1
EP1960996A1 EP06841948A EP06841948A EP1960996A1 EP 1960996 A1 EP1960996 A1 EP 1960996A1 EP 06841948 A EP06841948 A EP 06841948A EP 06841948 A EP06841948 A EP 06841948A EP 1960996 A1 EP1960996 A1 EP 1960996A1
Authority
EP
European Patent Office
Prior art keywords
text
elementary
processing
operator
synthesized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP06841948A
Other languages
German (de)
English (en)
Other versions
EP1960996B1 (fr
Inventor
Edouard Hinard
Cédric BOIDIN
Laurent Roussarie
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of EP1960996A1 publication Critical patent/EP1960996A1/fr
Application granted granted Critical
Publication of EP1960996B1 publication Critical patent/EP1960996B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/06—Elementary speech units used in speech synthesisers; Concatenation rules

Definitions

  • the present invention relates to a system and method for voice synthesis by concatenation of acoustic units and a computer program for implementing the method.
  • a speech synthesis system based on a text conventionally comprises input means of the text to be synthesized and linguistic processing means of this text to transform it into a series of phonemes accompanied by prosodic indications.
  • These linguistic treatments include syntactic treatments, grapheme-phoneme translations as well as prosodic treatments. They rely on dictionaries as well as rulesets.
  • It also includes concatenation synthesis means of prerecorded elements for generating an acoustic signal according to the sequence of phonemes provided by the linguistic processing.
  • the Lexitool tool that is part of the catalog of the company Elan Speech, allows to manage an exceptional lexicon.
  • the operator enriches the data of the system by adding in the lexicon the words that the system does not pronounce correctly and associating with them the expected pronunciation.
  • the object of the invention is therefore to overcome this drawback by proposing an interactive speech synthesis system and method that is easy to use for an operator.
  • the object of the invention is a voice synthesis system by concatenation of acoustic units comprising:
  • synthesis means by concatenating pre-recorded elements to restore an acoustic signal, as a function of the series of phonemes,
  • the linguistic processing means comprise at least one elementary processing unit generating intermediate results of linguistic processing of said text, said elementary processing unit being associated with an editor of the means of inputting and editing, allowing an operator to modify the results of the elementary processing unit, and said voice synthesis system further comprises means for setting the text to be synthesized according to the results modified by the operator, and said linguistic processing means adapting the linguistic processing of the text according to said parameterization.
  • the text setting includes tags inserted into the text to be synthesized
  • the or each unit of elementary treatment is adapted to perform one of the elementary treatments of all the elementary treatments of: a) validation of the text to be synthesized, b) cutting of the text into sentences, c) cutting of the text in groups of breath, d) - division of text into words, e) - modification of a lexicon of exceptions, f) - phonetization of words, g) - grammatical analysis, h) - prosody.
  • the linguistic processing means comprise elementary processing means for performing all of the elementary treatments of said set of elementary processes.
  • Another object is a method of concatenating acoustic voice synthesis comprising the steps of:
  • the modification of the parameters consists of creating / modifying tags in the text to be synthesized
  • the step of generating intermediate results comprises one of the elementary treatment sub-stages:
  • said method further comprises a step of selecting the elementary treatment substep to be performed from among the set of elementary treatment substeps; it is executed successively 8 times and each time, a different elementary treatment sub-step is selected in the following order:
  • Another object is a computer program comprising program code instructions for performing the steps of the method when said program is executed on a computer.
  • the linguistic processing is decomposed for the operator into a series of elementary processes allowing him to control all the parameters having an impact on the quality of the sound flow produced.
  • the operator Being able to select the elementary step on which he wishes to intervene, the operator advantageously controls the speech synthesis tool in what appears to him to be the detail of its operation.
  • sequence of elementary treatments proposes a logic order of treatment well adapted to the mode of operation of the operator while it does not correspond to the internal operation of the synthesis system.
  • FIG. 1 is a block diagram of a speech synthesis system according to one embodiment of the invention.
  • FIG. 2 is a flow chart of a speech synthesis method according to one embodiment of the invention.
  • FIG. 3 is a variant of the method according to FIG. 2;
  • FIG. 4 is a flow chart of a speech synthesis method using the method of FIG. 3 according to an order of presentation of elementary processes.
  • a voice synthesis system 1 comprises means 2 for inputting a text to be synthesized. This text is stored in a buffer memory 3 in the form of a record comprising the actual coded text, for example, according to the ISO / IEC 10646 standard, as well as linguistic processing aid parameters, for example in the form of tags. SSML.
  • the buffer memory 3 is connected to linguistic processing means 4 of this text. These linguistic processing means 4 are connected to a second buffer 5 in which they store the result of the linguistic processing in the form of a series of phonemes accompanied by prosodic indications.
  • This second memory 5 is connected to synthesis means 6 by concatenation of prerecorded elements to restore an acoustic signal as a function of the sequence of phonemes.
  • the acoustic signal is transformed into sounds by speakers 7.
  • the voice synthesis system 1 comprises means 8 for inputting and editing.
  • These input and edit means 8 comprise keyboard-type input means 9 and a pointing tool 10 such as a mouse. They also comprise a display screen 11 and means 12 for controlling these devices 9, 10, 11.
  • these input and edit means 8 present to an operator of the voice synthesis system 1 a user-friendly graphical interface.
  • the linguistic processing means 4 comprise a unit processing unit chain 4A, 4B, 4C, each of which processes a particular element of the linguistic processing chain such as the division of the text into sentences, the division of the sentences into words, the phonetization of words, grammatical analysis, prosody ...
  • Each unit 4A, 4B, 4C of elementary treatment is connected to a specialized editor 8A, 8B, 8C 8 means of input and editing allowing the operator to intervene on the elementary results of the corresponding unit 4A, 4B, 4C to modify them.
  • Each pair consisting of a unit 4A, 4B, 4C of elementary processing and its editor 8A, 8B, 8C, constitutes a module 13A, 13B, 13C of processing and editing for a determined stage of linguistic processing.
  • the voice synthesis system 1 comprises parameterization means 14 connected to the first buffer memory 3 and to the elementary processing modules 13A, 13B, 13C.
  • These setting means 14 add, modify or delete the linguistic processing aid parameters contained in the recording stored in the buffer memory according to the modifications made by the operator on the elementary results of the unit 4A, 4B 1 4C. of elementary processing so that during a subsequent processing of the recording by the same elementary processing units, the elementary result obtained at the output of each unit is the result modified by the operator.
  • the means 14 are not suitable for acting on the actual parameter setting of the elementary processing units, nor on the synthesis means 6.
  • the speech synthesis system 1 comprises 8 modules corresponding to 8 stages of the linguistic processing of the text.
  • the first module deals with the text itself. It allows the operator to validate that the text to be synthesized suits him. Optionally, this module enriches the text with change of voice tags.
  • this first module is described in the state of the art, for example in the standardization of the W3C SSML language.
  • the second module deals with the division of text into phases.
  • the editor shows the operator which phase boundaries can be deleted, moved or inserted.
  • the third module deals with splitting into breath groups.
  • the publisher highlights breath groups and break times between groups.
  • the operator can change the placement of breaks and their durations.
  • the fourth module deals with the division into words.
  • the publisher highlights the groupings of words that have a link.
  • the operator can separate words or group others to form phrases.
  • the fifth module deals with the lexicon.
  • the operator intervenes on the data by adding, modifying or deleting entries of the exception lexicon.
  • the sixth module deals with the phonetization of words.
  • the editor presents to the operator the phonetic form or forms of each word on which the system is based to vocalize the text.
  • the operator intervenes on the choice of the variants of pronunciation, the connections, the e dumb, ... It should be noted that this module differs from the preceding module on the lexicon in that it does not modify the data but the result of the phonetization process.
  • the seventh module deals with grammatical analysis.
  • the editor presents the operator with the result of the grammar analysis and the rules that resulted in this result.
  • the operator can modify the choice of grammar rules and markers associated with each word or group of words.
  • the eighth module is about prosody.
  • the editor presents the operator with prosodic information in the form of curves or tables of values that the operator can modify.
  • This synthesis 21 comprises successively a linguistic processing step 22 and a concatenation synthesis step 23 as explained above.
  • one of the units 4A 1 4B, 4C of elementary processing generates in 24 intermediate results.
  • the grammatical analysis means generate a grammatical analysis result accompanied by the rules used.
  • the sound result and the intermediate results obtained are presented to the operator at 25.
  • the sound result and / or intermediate results are not in accordance with the expectations of the operator, it modifies the intermediate results in 28 using the corresponding interface module.
  • the improvement process loops until the operator is satisfied with the result obtained.
  • the speech synthesis method further includes a step 30 of selecting the elementary processing module whose intermediate results will be analyzed and possibly modified by the operation.
  • the operator can advantageously choose the type of elementary treatment which he wishes to analyze and modify the results.
  • FIG. 4 the modifications are made in the order of presentation of the following elementary treatment units.
  • the operator starts at 40 by editing the text via the first module associated with the basic processing units of the text itself.
  • the operator launches at 41 the second module for cutting the text into sentences.
  • This embodiment is remarkable in that it follows a logical order for the operator but does not correspond to the organization of the processing within a linguistic analyzer of a conventional speech synthesis system.
  • the operator can also go back to modify the intermediate results of one of the modules already treated, for example because he noticed a mistake late.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)
  • Document Processing Apparatus (AREA)

Abstract

La présente invention concerne un système de synthèse vocale par concaténation d'unités acoustiques comportant: - des moyens (4) de traitement linguistique d'un texte pour le transformer en une suite de phonèmes accompagnés d'indications prosodiques, - des moyens (6) de synthèse par concaténation d'éléments préenregistrés pour restituer un signal acoustique, en fonction de la suite de phonèmes, - des moyens (8) de saisie et d'édition, tel que les moyens (4) de traitement linguistique comportent au moins une unité (4A, 4B, 4C) de traitement élémentaire générant des résultats intermédiaires de traitement linguistique dudit texte, associée à un éditeur (8A, 8B, 8C) des moyens de saisie et d'édition (8), permettant à un opérateur de modifier les résultats intermédiaires et le système de synthèse vocale comporte des moyens (14) de paramétrage du texte en fonction des résultats modifiés par l'opérateur, les moyens (4) de traitement linguistiques adaptant le traitement linguistique du texte en fonction dudit paramétrage.

Description

synthèse vocale par concaténation d'unités acoustiques
La présente invention concerne un système et un procédé de synthèse vocale par concaténation d'unités acoustiques ainsi qu'un programme d'ordinateur pour la mise en œuvre du procédé.
Un système de synthèse vocale à partir d'un texte comporte classiquement des moyens d'entrée du texte à synthétiser et des moyens de traitement linguistique de ce texte pour le transformer en une suite de phonèmes accompagnés d'indications prosodiques. Ces traitements linguistiques comportent des traitements syntaxiques, des traductions graphèmes-phonèmes ainsi que des traitements prosodiques. Ils s'appuient sur des dictionnaires ainsi que sur des jeux de règles.
Il comporte également des moyens de synthèse par concaténation d'éléments préenregistrés pour générer un signal acoustique en fonction de la suite de phonèmes fournis par les traitements linguistiques.
Un tel système est explicité plus en détail dans Gaël Richard, Olivier Cappé « Synthèse de la parole à partir du texte », Techniques de l'ingénieur H 7 288.
De tels systèmes cherchent à atteindre une qualité comparable à celle de la parole naturelle.
Actuellement, une limitation importante dans la qualité de ces systèmes à synthèse vocale réside dans le traitement linguistique. Cette limitation est liée à la perte d'information induite par la transcription et la nature ambiguë de certaines formes textuelles. De ce fait, le recours systématique à la parole synthétique pour des enregistrements statiques ne peut se faire que sous le contrôle d'un opérateur qui pallie les défauts inévitables de ce traitement linguistique.
Dans l'état de la technique, trois méthodes sont connues pour permettre à un opérateur de contrôler le résultat d'un système de synthèse de parole :
- une méthode d'enrichissement du texte par la présence de balises. Cet enrichissement du texte permet de contrôler l'analyse linguistique (phonétisation d'un mot ou son étiquette grammaticale) ou le synthétiseur (volume, hauteur de la voix, vitesse d'élocution). L'utilisation de balises est actuellement, en cours de normalisation par l'organisme W3C. Une première version du langage de balisage SSML (Speech Synthesis Markup Language - langage de balisage pour la synthèse vocale) a été publiée en septembre 2004, via l'url http://www.w3.org/TR/speech-svnthesis/. L'enrichissement du texte d'entrée se fait grâce à un éditeur spécialisé. L'outil « TTS Director » de la société Loquendo est un exemple d'éditeur dédié à la synthèse vocale (http://www.loquendo.com/en/technology/tts director.htm).
- le paramétrage du système. Par exemple, l'outil Lexitool qui fait partie du catalogue de la société Elan Speech, permet de gérer un lexique d'exception. L'opérateur enrichit les données du système en ajoutant dans le lexique les mots que le système ne prononce pas correctement et en leur associant la prononciation attendue.
- la synthèse interactive. Celle-ci est décrite dans l'article de Peter Rutten, Justin Fackrell « The application of interactive speech unit sélection in TTS Systems ». Eurospeech 2003. L'intervention de l'opérateur se fait dans le processus de synthèse après l'exécution d'une étape importante du traitement et conduit à modifier le comportement global du système par la suite en modifiant les paramètres de cette étape de traitement. Par exemple, dans cet article, un opérateur peut modifier localement le paramétrage du synthétiseur, après exécution du traitement de sélection, pour produire une variante de production de synthèse plus proche de ce qui est attendu.
Ces méthodes ont pour inconvénient majeur la faible corrélation entre la modification effectuée par l'opérateur et le résultat final obtenu. Par le terme « faible corrélation », on entend ici que l'opérateur n'a pas une manipulation intuitive du système. Cette manipulation nécessite un apprentissage important avant que l'opérateur soit capable de déterminer le ou les paramètres à modifier pour obtenir un meilleur résultat.
Le but de l'invention est donc de résoudre cet inconvénient en proposant un système et un procédé de synthèse vocale interactif d'utilisation aisée pour un opérateur. L'objet de l'invention est un système de synthèse vocale par concaténation d'unités acoustiques comportant :
- des moyens de mémorisation d'un texte à synthétiser,
- des moyens de traitement linguistique dudit texte pour transformer ledit texte en une suite de phonèmes accompagnés d'indications prosodiques,
- des moyens de synthèse par concaténation d'éléments préenregistrés pour restituer un signal acoustique, en fonction de la suite de phonèmes,
- des moyens de saisie et d'édition, caractérisé en ce que les moyens de traitement linguistique comportent au moins une unité de traitement élémentaire générant des résultats intermédiaires de traitement linguistique dudit texte, ladite unité de traitement élémentaire étant associée à un éditeur des moyens de saisie et d'édition, permettant à un opérateur de modifier les résultats de l'unité de traitement élémentaire, et ledit système de synthèse vocale comporte en outre des moyens de paramétrage du texte à synthétiser en fonction des résultats modifiés par l'opérateur, et lesdits moyens de traitement linguistiques adaptant le traitement linguistique du texte en fonction dudit paramétrage.
D'autres caractéristiques sont :
- le paramétrage du texte comporte des balises insérées dans le texte à synthétiser ;
- la ou chaque unité de traitement élémentaire est adaptée pour effectuer l'un des traitements élémentaires de l'ensemble des traitements élémentaires de : a) - validation du texte à synthétiser, b) - découpage du texte en phrases, c) - découpage du texte en groupes de souffle, d) - découpage du texte en mots, e) - modification d'un lexique d'exceptions, f) - phonétisation des mots, g) - analyse grammaticale, h) - prosodie. - les moyens de traitement linguistique comportent des moyens de traitement élémentaires pour effectuer la totalité des traitements élémentaires dudit ensemble de traitements élémentaires.
Un autre objet est un procédé de synthèse vocale par concaténation d'unités acoustiques comportant les étapes de :
- stockage d'un texte à synthétiser,
- traitement linguistique dudit texte pour transformer ledit texte en une suite de phonèmes accompagnés d'indications prosodiques,
- génération d'un signal sonore et de résultats intermédiaires à partir de ladite suite,
- analyse par un opérateur du signal sonore et des résultats intermédiaires,
- modification par l'opérateur desdits résultats intermédiaires si ledit opérateur établit que la qualité du signal sonore est insuffisante,
- création et/ou modification de paramètres du texte à synthétiser,
- bouclage sur l'étape de traitement linguistique, celle-ci générant une nouvelle suite de phonèmes tenant compte desdits paramètres.
D'autres caractéristiques de cet objet sont
- la modification des paramètres consiste à créer/modifier des balises dans le texte à synthétiser ;
- l'étape de la génération de résultats intermédiaires comporte l'une des sous étapes de traitement élémentaire :
- validation du texte à synthétiser,
- découpage du texte en phrases,
- découpage du texte en groupes de souffle,
- découpage du texte en mots,
- modification d'un lexique d'exceptions,
- phonétisation des mots,
- analyse grammaticale,
- prosodie.
- ledit procédé comporte en outre une étape de sélection de la sous étape de traitement élémentaire à exécuter parmi l'ensemble des sous étapes de traitement élémentaire ; - il est exécuté successivement 8 fois et à chaque fois, une sous étape de traitement élémentaire différente est sélectionnée dans l'ordre suivant :
- validation du texte à synthétiser,
- découpage du texte en phrases,
- découpage du texte en groupes de souffle,
- découpage du texte en mots,
- modification d'un lexique d'exceptions,
- phonétisation des mots,
- analyse grammaticale,
- prosodie.
Un autre objet est un programme d'ordinateur comprenant des instructions de code de programme pour l'exécution des étapes du procédé lorsque ledit programme est exécuté sur un ordinateur.
Avantageusement, le traitement linguistique est décomposé pour l'opérateur en une série de traitements élémentaires lui permettant de maîtriser l'ensemble des paramètres ayant un impact sur la qualité du flux sonore produit.
Pouvant sélectionner l'étape élémentaire sur laquelle il souhaite intervenir, l'opérateur maîtrise avantageusement l'outil de synthèse vocale dans ce qui lui paraît être le détail de son fonctionnement.
De plus, la suite de traitements élémentaires propose un ordre logique de traitement bien adapté au mode de fonctionnement de l'opérateur alors qu'elle ne correspond pas au fonctionnement interne du système de synthèse.
L'invention sera mieux comprise à la lecture de la description qui va suivre, faite uniquement à titre d'exemple, et en relation avec les dessins en annexe dans lesquels :
- la figure 1 est un schéma synoptique d'un système de synthèse vocale selon un mode de réalisation de l'invention ;
- la figure 2 est un ordinogramme d'un procédé de synthèse vocale selon un mode de réalisation de l'invention ;
- la figure 3 est une variante du procédé selon la figure 2 ; et
- la figure 4 est un ordinogramme d'un procédé de synthèse vocale utilisant le procédé de la figure 3 selon un ordre de présentation de traitements élémentaires. En référence à la figure 1 , un système 1 de synthèse vocale comporte des moyens 2 d'entrée d'un texte à synthétiser. Ce texte est stocké dans une mémoire tampon 3 sous la forme d'un enregistrement comprenant le texte proprement dit codé, par exemple, selon la norme ISO/IEC 10646 ainsi que des paramètres d'aide au traitement linguistique, par exemple sous forme de balises SSML.
La mémoire tampon 3 est connectée à des moyens 4 de traitement linguistique de ce texte. Ces moyens 4 de traitement linguistique sont connectés à une seconde mémoire tampon 5 dans laquelle ils stockent le résultat du traitement linguistique sous forme d'une suite de phonèmes accompagnés d'indications prosodiques.
Cette seconde mémoire 5 est connectée à des moyens 6 de synthèse par concaténation d'éléments préenregistrés pour restituer un signal acoustique en fonction de la suite de phonèmes.
Le signal acoustique est transformé en sons par des enceintes 7.
Une description détaillée de ces différents éléments est contenue dans le document de G. Richard et O. Cappé précité.
Le système 1 de synthèse vocale comporte des moyens 8 de saisie et d'édition. Ces moyens 8 de saisie et d'édition comportent des moyens 9 de saisie de type clavier ainsi qu'un outil de pointage 10 tel qu'une souris. Ils comportent également un écran de visualisation 11 et des moyens 12 de pilotage de ces périphériques 9, 10, 11.
De façon avantageuse, ces moyens 8 de saisie et d'édition présentent à un opérateur du système 1 de synthèse vocale une interface graphique conviviale.
Les moyens 4 de traitement linguistique comportent une chaîne d'unités 4A, 4B, 4C de traitement élémentaire, chacune de celle-ci traitant un élément particulier de la chaîne de traitement linguistique tel que le découpage du texte en phrases, le découpage des phrases en mots, la phonétisation des mots, l'analyse grammaticale, la prosodie...
Chaque unité 4A, 4B, 4C de traitement élémentaire est connectée à un éditeur 8A, 8B, 8C spécialisé des moyens 8 de saisie et d'édition permettant à l'opérateur d'intervenir sur les résultats élémentaires de l'unité 4A, 4B, 4C correspondante pour les modifier.
Chaque paire constituée d'une unité 4A, 4B, 4C de traitement élémentaire et de son éditeur 8A, 8B, 8C, constitue un module 13A, 13B, 13C de traitement et d'édition pour une étape déterminée du traitement linguistique.
Le système 1 de synthèse vocale comporte des moyens 14 de paramétrage connectés à la première mémoire-tampon 3 et aux modules 13A, 13B, 13C de traitement élémentaire.
Ces moyens 14 de paramétrage ajoutent, modifient ou suppriment les paramètres d'aide au traitement linguistique contenus dans l'enregistrement stocké dans la mémoire tampon en fonction des modifications apportées par l'opérateur sur les résultats élémentaires de l'unité 4A, 4B1 4C de traitement élémentaire de sorte que lors d'un traitement ultérieur de l'enregistrement par les mêmes unités de traitement élémentaire, le résultat élémentaire obtenu en sortie de chaque unité soit le résultat modifié par l'opérateur. Les moyens 14 ne sont pas propres à agir sur le paramétrage proprement dit des unités de traitement élémentaires, ni sur les moyens de synthèse 6.
Dans un mode de réalisation préféré, le système 1 de synthèse vocale comporte 8 modules correspondant à 8 étapes du traitement linguistique du texte.
Le premier module porte sur le texte lui-même. Il permet à l'opérateur de valider que le texte à synthétiser lui convient. Optionnellement, ce module permet d'enrichir le texte avec des balises de changement de voix.
La technique utilisée par ce premier module est décrite dans l'état de la technique, par exemple dans la standardisation du langage SSML du W3C.
Le deuxième module porte sur le découpage du texte en phases. L'éditeur montre à l'opérateur les frontières de phases qui peuvent ainsi être supprimées, déplacées ou insérées.
Le troisième module porte sur le découpage en groupes de souffle. L'éditeur met en évidence les groupes de souffle et les durées des pauses entre les groupes. L'opérateur peut modifier le placement des pauses et leurs durées. Le quatrième module porte sur le découpage en mots. L'éditeur met en évidence les regroupements de mots qui ont un lien. L'opérateur peut séparer des mots ou en regrouper d'autres pour former des locutions.
Le cinquième module porte sur le lexique. L'opérateur intervient sur les données en ajoutant, modifiant ou supprimant des entrées du lexique d'exception.
Le sixième module porte sur la phonétisation des mots. L'éditeur présente à l'opérateur la ou les formes phonétiques de chaque mot sur lesquels le système se base pour vocaliser le texte. L'opérateur intervient sur le choix des variantes de prononciation, les liaisons, le e muet,... Il est à noter que ce module se différentie du module précédent portant sur le lexique en ce qu'il ne modifie pas les données mais le résultat du processus de phonétisation.
Le septième module porte sur l'analyse grammaticale. L'éditeur présente à l'opérateur le résultat de l'analyse grammaticale et les règles ayant abouti à ce résultat. L'opérateur peut modifier le choix des règles et des marqueurs grammaticaux associés à chacun des mots ou groupe de mots.
Le huitième module porte sur la prosodie. L'éditeur présente à l'opérateur les informations prosodiques sous forme de courbes ou de tableaux de valeurs que l'opérateur peut modifier.
Le fonctionnement de chaque unité de traitement élémentaire et de son module d'interfaçage associé va maintenant être explicité en relation avec la figure 2.
Le texte étant stocké en 20 dans le système 1 de synthèse vocale, une synthèse vocale complète, jusqu'à la génération du signal sonore, est effectuée en 21. L'opérateur a ainsi un signal sonore de référence pour son analyse.
Cette synthèse 21 comporte successivement une étape de traitement linguistique 22 et une étape de synthèse par concaténation 23 comme expliqué précédemment.
Lors de l'étape de traitement linguistique 22, l'une des unités 4A1 4B, 4C de traitement élémentaire génère en 24 des résultats intermédiaires. Par exemple, les moyens d'analyse grammaticale génèrent un résultat d'analyse grammaticale accompagné des règles utilisées. Le résultat sonore ainsi que les résultats intermédiaires obtenus sont présentés à l'opérateur en 25.
Si le résultat sonore est conforme en 26 aux attentes de l'opérateur, celui-ci est validé en 27 ainsi que les résultats intermédiaires.
Si le résultat sonore et/ou les résultats intermédiaires ne sont pas conformes aux attentes de l'opérateur, celui-ci modifie en 28 les résultats intermédiaires en utilisant le module d'interface correspondant.
Ces modifications sont prises en compte en 29 par le système 1 de synthèse vocale sous forme d'une modification des paramètres d'aide au traitement linguistique contenus dans le texte mémorisé. De façon préférentielle, cette prise en compte est faite sous la forme d'un enrichissement ou d'une modification de l'enrichissement du texte à synthétiser.
Puis l'étape 21 de synthèse vocale est exécutée de nouveau en utilisant le nouveau texte enrichi.
Le procédé d'amélioration boucle jusqu'à ce que l'opérateur soit satisfait du résultat obtenu.
On conçoit que pour obtenir un flux sonore ayant toutes les caractéristiques souhaitées par l'opérateur, il peut être nécessaire d'intervenir sur plusieurs traitements élémentaires.
Dans un mode préférentiel de réalisation, figure 3, le procédé de synthèse vocale comporte en outre une étape 30 de sélection du module de traitement élémentaire dont les résultats intermédiaires vont être analysés et, éventuellement, modifiés par l'opération.
Ainsi, l'opérateur peut avantageusement choisir le type de traitement élémentaire dont il souhaite analyser et modifier les résultats.
De manière avantageuse, figure 4 les modifications sont faites dans l'ordre de présentation des unités de traitement élémentaire suivant.
L'opérateur commence en 40 par éditer le texte par l'intermédiaire du premier module associé aux unités de traitement élémentaire du texte lui-même.
Puis, quand il a obtenu un résultat satisfaisant à ce niveau, l'opérateur lance en 41 le deuxième module de découpage du texte en phrases.
Après obtention d'un résultat intermédiaire satisfaisant, il lance en 42 le troisième module de découpage en groupes de souffle, puis en 43 le quatrième module de découpage en mots, puis en 44 le cinquième module du lexique, puis en 45 le sixième module de phonétisation des mots, puis en 46 le septième module d'analyse grammaticale, puis en 47 le huitième module de prosodie.
Ce mode de réalisation est remarquable en ce qu'il suit un ordre logique pour l'opérateur mais qui ne correspond pas à l'organisation des traitements à l'intérieur d'un analyseur linguistique d'un système de synthèse vocale classique.
L'opérateur peut également revenir en arrière pour modifier les résultats intermédiaires d'un des modules déjà traités, par exemple parce qu'il s'est aperçu tardivement d'une erreur.

Claims

REVENDICATIONS
1. Système de synthèse vocale par concaténation d'unités acoustiques comportant :
- des moyens de mémorisation (2) d'un texte à synthétiser,
- des moyens (4) de traitement linguistique dudit texte pour transformer ledit texte en une suite de phonèmes accompagnés d'indications prosodiques,
- des moyens (6) de synthèse par concaténation d'éléments préenregistrés pour restituer un signal acoustique, en fonction de la suite de phonèmes,
- des moyens (8) de saisie et d'édition, caractérisé en ce que les moyens (4) de traitement linguistique comportent au moins une unité (4A, 4B, 4C) de traitement élémentaire générant des résultats intermédiaires de traitement linguistique dudit texte, ladite unité de traitement élémentaire étant associée à un éditeur (8A, 8B, 8C) des moyens de saisie et d'édition (8), permettant à un opérateur de modifier les résultats de l'unité (4A, 4B, 4C) de traitement élémentaire, et en ce que ledit système de synthèse vocale comporte en outre des moyens (14) de paramétrage du texte à synthétiser en fonction des résultats modifiés par l'opérateur, et lesdits moyens (4) de traitement linguistiques adaptant le traitement linguistique du texte en fonction dudit paramétrage.
2. Système de synthèse vocale selon la revendication 1 , caractérisé en ce que le paramétrage du texte comporte des balises insérées dans le texte à synthétiser.
3. Système de synthèse vocale selon la revendication 1 ou 2, caractérisé en ce que la ou chaque unité de traitement élémentaire est adaptée pour effectuer l'un des traitements élémentaires de l'ensemble des traitements élémentaires de : a) - validation du texte à synthétiser, b) - découpage du texte en phrases, c) - découpage du texte en groupes de souffle, d) - découpage du texte en mots, e) - modification d'un lexique d'exceptions, f) - phonétisation des mots, g) - analyse grammaticale, h) - prosodie.
4. Système de synthèse vocale selon la revendication 3, caractérisé en ce que les moyens de traitement linguistique comportent des moyens de traitement élémentaires pour effectuer la totalité des traitements élémentaires dudit ensemble de traitements élémentaires.
5. Procédé de synthèse vocale par concaténation d'unités acoustiques comportant les étapes de :
- stockage (20) d'un texte à synthétiser,
- traitement linguistique (22) dudit texte pour transformer ledit texte en une suite de phonèmes accompagnés d'indications prosodiques,
- génération (23,24) d'un signal sonore et de résultats intermédiaires à partir de ladite suite,
- analyse (25) par un opérateur du signal sonore et des résultats intermédiaires,
- modification (28) par l'opérateur desdits résultats intermédiaires si ledit opérateur établit que la qualité du signal sonore est insuffisante,
- création et/ou modification (29) de paramètres du texte à synthétiser,
- bouclage sur l'étape de traitement linguistique, celle-ci générant une nouvelle suite de phonèmes tenant compte desdits paramètres.
6. Procédé de synthèse vocale selon la revendication 5, caractérisé en ce que la modification des paramètres consiste à créer/modifier des balises dans le texte à synthétiser.
7. Procédé de synthèse vocale selon la revendication 5 ou 6, caractérisé en ce que l'étape de la génération de résultats intermédiaires comporte l'une des sous étapes de traitement élémentaire :
- validation du texte à synthétiser,
- découpage du texte en phrases,
- découpage du texte en groupes de souffle,
- découpage du texte en mots,
- modification d'un lexique d'exceptions,
- phonétisation des mots, - analyse grammaticale,
- prosodie.
8. Procédé de synthèse vocale selon la revendication 7, caractérisé en ce qu'il comporte en outre une étape de sélection (30) de la sous étape de traitement élémentaire à exécuter parmi l'ensemble des sous étapes de traitement élémentaire.
9. Procédé de synthèse vocale caractérisé en ce que le procédé de la revendication 8 est exécuté successivement 8 fois et qu'à chaque fois, une sous étape de traitement élémentaire différente est sélectionnée dans l'ordre suivant :
- validation du texte à synthétiser,
- découpage du texte en phrases,
- découpage du texte en groupes de souffle,
- découpage du texte en mots,
- modification d'un lexique d'exceptions,
- phonétisation des mots,
- analyse grammaticale,
- prosodie.
10. Programme d'ordinateur comprenant des instructions de code de programme pour l'exécution des étapes du procédé selon l'une des revendications 5 à 9 lorsque ledit programme est exécuté sur un ordinateur.
EP06841948A 2005-12-16 2006-12-15 Synthese vocale par concatenation d'untes acoustiques Active EP1960996B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0512854A FR2895133A1 (fr) 2005-12-16 2005-12-16 Systeme et procede de synthese vocale par concatenation d'unites acoustiques et programme d'ordinateur pour la mise en oeuvre du procede.
PCT/FR2006/002745 WO2007071834A1 (fr) 2005-12-16 2006-12-15 Synthese vocale par concatenation d'unites acoustiques

Publications (2)

Publication Number Publication Date
EP1960996A1 true EP1960996A1 (fr) 2008-08-27
EP1960996B1 EP1960996B1 (fr) 2010-02-24

Family

ID=36716805

Family Applications (1)

Application Number Title Priority Date Filing Date
EP06841948A Active EP1960996B1 (fr) 2005-12-16 2006-12-15 Synthese vocale par concatenation d'untes acoustiques

Country Status (4)

Country Link
EP (1) EP1960996B1 (fr)
DE (1) DE602006012540D1 (fr)
FR (1) FR2895133A1 (fr)
WO (1) WO2007071834A1 (fr)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11532312B2 (en) * 2020-12-15 2022-12-20 Microsoft Technology Licensing, Llc User-perceived latency while maintaining accuracy

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5860064A (en) * 1993-05-13 1999-01-12 Apple Computer, Inc. Method and apparatus for automatic generation of vocal emotion in a synthetic text-to-speech system
US6006187A (en) * 1996-10-01 1999-12-21 Lucent Technologies Inc. Computer prosody user interface

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2007071834A1 *

Also Published As

Publication number Publication date
WO2007071834A1 (fr) 2007-06-28
EP1960996B1 (fr) 2010-02-24
DE602006012540D1 (de) 2010-04-08
FR2895133A1 (fr) 2007-06-22

Similar Documents

Publication Publication Date Title
US8825486B2 (en) Method and apparatus for generating synthetic speech with contrastive stress
US10347238B2 (en) Text-based insertion and replacement in audio narration
US9424833B2 (en) Method and apparatus for providing speech output for speech-enabled applications
US7280968B2 (en) Synthetically generated speech responses including prosodic characteristics of speech inputs
US20100312565A1 (en) Interactive tts optimization tool
KR100811568B1 (ko) 대화형 음성 응답 시스템들에 의해 스피치 이해를 방지하기 위한 방법 및 장치
US20170300182A9 (en) Systems and methods for multiple voice document narration
US20130144625A1 (en) Systems and methods document narration
US8914291B2 (en) Method and apparatus for generating synthetic speech with contrastive stress
US20030154080A1 (en) Method and apparatus for modification of audio input to a data processing system
JP2007249212A (ja) テキスト音声合成のための方法、コンピュータプログラム及びプロセッサ
JP2003295882A (ja) 音声合成用テキスト構造、音声合成方法、音声合成装置及びそのコンピュータ・プログラム
EP4710326A1 (fr) Clonage vocal prosodique interlingual dans une pluralite de langues
US7895037B2 (en) Method and system for trimming audio files
GB2444539A (en) Altering text attributes in a text-to-speech converter to change the output speech characteristics
JP2003186489A (ja) 音声情報データベース作成システム，録音原稿作成装置および方法，録音管理装置および方法，ならびにラベリング装置および方法
EP1960996B1 (fr) Synthese vocale par concatenation d'untes acoustiques
JP4409279B2 (ja) 音声合成装置及び音声合成プログラム
JP2009020264A (ja) 音声合成装置及び音声合成方法並びにプログラム
EP1846918B1 (fr) Procede d'estimation d'une fonction de conversion de voix
JP2012163721A (ja) 読み記号列編集装置および読み記号列編集方法
Mac Lochlainn Sintéiseoir 1.0: a multidialectical TTS application for Irish
JP6159436B2 (ja) 読み記号列編集装置および読み記号列編集方法
WO2007028871A1 (fr) Systeme de synthese vocale ayant des parametres prosodiques modifiables par un operateur
JPS63208098A (ja) 音声合成装置および方法

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20080613

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): DE FR GB

17Q First examination report despatched

Effective date: 20081121

DAX Request for extension of the european patent (deleted)
RBV Designated contracting states (corrected)

Designated state(s): DE FR GB

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): DE FR GB

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REF Corresponds to:

Ref document number: 602006012540

Country of ref document: DE

Date of ref document: 20100408

Kind code of ref document: P

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20101125

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 10

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 11

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20251126

Year of fee payment: 20

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20251120

Year of fee payment: 20

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20251120

Year of fee payment: 20