EP1606792A1 - Procede d analyse d informations de frequence fondament ale et procede et systeme de conversion de voix mettant en oeuvre un tel procede d analyse - Google Patents

Procede d analyse d informations de frequence fondament ale et procede et systeme de conversion de voix mettant en oeuvre un tel procede d analyse

Info

Publication number
EP1606792A1
EP1606792A1 EP04716265A EP04716265A EP1606792A1 EP 1606792 A1 EP1606792 A1 EP 1606792A1 EP 04716265 A EP04716265 A EP 04716265A EP 04716265 A EP04716265 A EP 04716265A EP 1606792 A1 EP1606792 A1 EP 1606792A1
Authority
EP
European Patent Office
Prior art keywords
fundamental frequency
samples
determining
spectrum
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP04716265A
Other languages
German (de)
English (en)
Other versions
EP1606792B1 (fr
Inventor
Taoufik En-Najjary
Olivier Rosec
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of EP1606792A1 publication Critical patent/EP1606792A1/fr
Application granted granted Critical
Publication of EP1606792B1 publication Critical patent/EP1606792B1/fr
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90—Pitch determination of speech signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
    • G10L21/013—Adapting to target pitch
    • G10L2021/0135—Voice conversion or morphing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum

Definitions

  • the present invention relates to a method for analyzing fundamental frequency information contained in voice samples, and a method for analyzing voice frequency conversion method and system for converting voice. method and a voice conversion system implementing this analysis method.
  • the production of speech and in particular voiced sounds can involve the vibration of the vocal cords, which manifests itself in the presence in the speech signal, of a periodic structure with a fundamental period, the reverse is called fundamental frequency or "pitch".
  • fundamental frequency the reverse is called fundamental frequency or "pitch”.
  • voice conversion hearing is essential and to obtain an acceptable quality, it is necessary to master the parameters related to prosody and among these, the fundamental frequency.
  • the aim of the present invention is to remedy this problem, by defining a method for analyzing fundamental frequency information of vocal samples, allowing the definition of a configurable representation of the fundamental frequency.
  • the subject of the present invention is a method for analyzing fundamental frequency information contained in voice samples, characterized in that it comprises at least:
  • a step of determining a model representing the common characteristics of spectrum and fundamental frequency of all the samples a step of determining, from this model and the voice samples, a function for predicting the fundamental frequency as a function only of information relating to the spectrum.
  • said analysis step is adapted to deliver said information relating to the spectrum in the form of cepstral coefficients
  • a substep for estimating the spectrum parameters of each frame of samples - It further includes a step of normalizing the fundamental frequency of each frame of samples with respect to the average of the fundamental frequencies of the samples analyzed;
  • step of determining a prediction function is carried out from an estimator of the realization of the fundamental frequency knowing the spectrum information of the samples;
  • step of determining the prediction function of the fundamental frequency comprises a sub-step of determining the conditional expectation of the realization of the fundamental frequency knowing the spectrum information from the posterior probability that the spectrum information are obtained from the model, the conditional expectation forming said estimator.
  • the invention also relates to a method for converting a voice signal pronounced by a source speaker into a converted voice signal whose characteristics resemble those of a target speaker, comprising at least: - a step of determining a transformation function of spectral characteristics of the source speaker into spectral characteristics of the target speaker, carried out from voice samples of the source speaker and the target speaker; and
  • a step of transforming the spectrum information of the voice signal of the source speaker to be converted using said transformation function characterized in that it further comprises:
  • step of determining a transformation function is carried out from an estimator of the achievement of the target spectral characteristics knowing the source spectral characteristics; - said step of determining a transformation function includes:
  • - Said transformation function is a transformation function of the spectral envelope
  • the subject of the invention is also a system for converting a voice signal pronounced by a source speaker into a converted voice signal whose characteristics resemble those of a target speaker, system comprising at least:
  • means for transforming spectrum information of the voice signal of the source speaker to be converted by the application of said transformation function delivered by the means characterized in that it further comprises:
  • means for analyzing the voice signal to be converted adapted to output information relating to the spectrum and to the fundamental frequency of the voice signal to be converted;
  • - synthesis means making it possible to form a converted voice signal from at least the transformed spectrum information delivered by the means and predicted fundamental frequency information delivered by the means;
  • Said means for determining a transformation function are adapted to deliver a transformation function for the spectral envelope
  • - Fig.1 is a flow diagram of an analysis method according to the invention.
  • - Fig.2 is a flow diagram of a voice conversion method implementing the analysis method of the invention.
  • Fig.3 is a functional block diagram of a voice conversion system, allowing the implementation of the method of the invention described in Figure 2.
  • the method of the invention shown in Figure 1 is implemented from a database of voice samples containing natural speech sequences.
  • the method begins with a step 2 of analyzing the samples by grouping them by frame, in order to obtain for each frame of samples, information relating to the spectrum and in particular to the spectral envelope and information relating to the fundamental frequency.
  • this analysis step 2 is based on the use of a model of a sound signal in the form of a sum of a harmonic signal with a noise signal according to a model commonly called "HNM" (in English: Harmonie plus Noise Model).
  • HNM Harmonie plus Noise Model
  • the embodiment described is based on a representation of the spectral envelope by the discrete cepstrum.
  • step 2 of analysis includes a sub-step 4 of modeling each frame of voice signal into a harmonic part representing the periodic component of the signal, consisting of a sum of L harmonic sinusoids of amplitude Ai and phase ⁇ , and a noisy part representing the friction noise and the variation of the glottal excitation.
  • s (n) h (n) + b (n)
  • Step 2 then includes a sub-step 5 for estimating for each frame, frequency parameters and in particular the fundamental frequency, for example by means of an autocorrelation method.
  • this HNM analysis delivers the maximum voicing frequency.
  • this frequency can be arbitrarily fixed or be estimated by other known means.
  • This sub-step 5 is followed by a sub-step 6 of synchronized analysis of each frame on its fundamental frequency, which makes it possible to estimate the parameters of the harmonic part as well as the parameters of the noise of the signal.
  • this synchronized analysis corresponds to the determination of the parameters of the harmonics by minimization of a criterion of weighted least squares between the complete signal and its harmonic decomposition corresponding in the embodiment described, to the estimated noise signal.
  • the criterion noted E is equal to:
  • w (n) is the analysis window and Tj is the fundamental period of the current frame.
  • the analysis window is centered around the mark of the fundamental period and has a duration of twice this period.
  • Step 2 of analysis finally includes a sub-step 7 of estimating the parameters of the components of the spectral envelope of the signal using for example a regularized discrete cepstrum method and a transformation into a Bark scale to reproduce as faithfully as possible. possible the properties of the human ear.
  • the analysis step 2 delivers, for each frame of rank n of speech signal samples, a scalar denoted x n comprising fundamental frequency information and a vector denoted y n comprising spectrum information in the form of a sequence of cepstral coefficients.
  • step 2 of analysis is followed by a step 10 of normalizing the value of the fundamental frequency of each frame with respect to the average fundamental frequency in order to replace for each frame of voice samples, the value of the frequency fundamental by a normalized fundamental frequency value according to the following formula:
  • F m ° y corresponds to the average of the values of
  • This normalization makes it possible to modify the scale of variations of scalars of fundamental frequency in order to make it consistent with the scale of variations of cepstral coefficients.
  • the normalization step 10 is followed by a step 20 of determining a model representing the common cepstrum and fundamental frequency characteristics of all the samples analyzed.
  • N (z; ⁇ ; ⁇ j) is the probability density of the normal law of mean ⁇ i and of covariance matrix ⁇ and the coefficients o are the coefficients of the mixture.
  • the coefficient ⁇ corresponds to the a priori probability that the random variable z is generated by the Gaussian i th of the mixture.
  • Step 20 then includes a sub-step 24 for estimating GMM parameters ( ⁇ , ⁇ , ⁇ ) of the density p (z).
  • This estimation can be carried out, for example, using a conventional algorithm of the type called "EM” (Expectation - Maximization), corresponding to an iterative method leading to obtaining a maximum likelihood estimator between the speech sample data and the Gaussian mixing model.
  • EM Exctation - Maximization
  • the initial parameters of the GMM model are determined using a standard vector quantization technique.
  • the model determination step 20 thus delivers the parameters of a mixture of Gaussian densities representative of the common characteristics of the spectra, represented by the cepstral coefficients, and of the fundamental frequencies of the analyzed vocal samples.
  • the method then comprises a step 30 of determining, from the model and the voice samples, a function of prediction of the fundamental frequency as a function only of spectrum information supplied by the signal cepstrum.
  • This prediction function is determined from an estimator of the realization of the fundamental frequency given the cepstrum of the voice samples, formed in the embodiment described, by the conditional expectation.
  • step 30 includes a sub-step 32 for determining the conditional expectation of the fundamental frequency, knowing the information relating to the spectrum provided by the cepstrum.
  • the conditional expectation is noted F (y) and is determined from the following formulas:
  • Pj (y) corresponds to the posterior probability that the cepstrum vector y is generated by the i th component of the Gaussian mixture of the model, defined during step 20 by the covariance matrix ⁇ j and the normal law ⁇ i ⁇ .
  • the determination of the conditional expectation thus makes it possible to obtain the prediction function of the fundamental frequency from the cepstrum information.
  • the estimator implemented during step 30 can be an a posteriori maximum criterion, called "MAP" and corresponding to the realization of the expectation calculation only for the model best representing the source vector.
  • MAP a posteriori maximum criterion
  • the analysis method of the invention makes it possible, from the model and the voice samples, to obtain a prediction function of the fundamental frequency as a function only of spectrum information provided, in the embodiment described, by the cepstrum.
  • Such a prediction function then makes it possible to determine the value of the fundamental frequency for a speech signal, only on the basis of spectrum information of this signal, thus allowing a relevant prediction of the fundamental frequency in particular for sounds which are not in the voice samples analyzed.
  • Voice conversion consists of modifying the voice signal of a reference speaker called “source speaker” so that the signal produced seems to have been spoken by another speaker named “target speaker”.
  • This method is implemented from a database of voice samples spoken by the source speaker and the target speaker.
  • such a method comprises a step 50 of determining a function for transforming the spectral characteristics of the voice samples of the source speaker to make them resemble the spectral characteristics of the voice samples of the target speaker.
  • this step 50 is based on an HNM type analysis making it possible to determine the relationships existing between the characteristics of the spectral envelope of the speech signals of the source and target speakers.
  • Step 50 includes a sub-step 52 of modeling the voice samples according to an HNM model, of the sum of harmonic signals and of noise.
  • Sub-step 52 is followed by a sub-step 54 of alignment between the source and target signals using for example a conventional alignment algorithm called "DTW" (in English “Dynamic Time Warping”) .
  • DTW a conventional alignment algorithm
  • Step 50 then comprises a sub-step 56 of determining a model such as a GMM type model representing the common characteristics of the spectra of the voice samples of the source and target speakers.
  • a model such as a GMM type model representing the common characteristics of the spectra of the voice samples of the source and target speakers.
  • the estimator can be formed from a posteriori maximum criterion.
  • the function thus defined therefore makes it possible to modify the spectral envelope of a speech signal originating from the source speaker in order to make it resemble the spectral envelope of the target speaker.
  • the parameters of the GMM model representing the common spectral characteristics of the source and the target are initialized, for example, using a vector quantization algorithm.
  • the analysis method of the invention is implemented during a step 60 of analyzing only the vocal samples of the target speaker.
  • the analysis step 60 makes it possible to obtain, for the target speaker, a function of prediction of the fundamental frequency as a function solely of information from spectra.
  • the conversion method then comprises a step 65 of analyzing a voice signal to be converted pronounced by the source speaker, which signal to be converted is different from the voice signals used during steps 50 and 60.
  • This analysis step 65 is carried out, for example, using a decomposition according to the HNM model making it possible to deliver spectrum information in the form of cepstral coefficients, fundamental frequency information as well as phase information and maximum voicing frequency.
  • step 65 is followed by a step 70 of transformation of the spectral characteristics of the voice signal to be converted by the application of the transformation function determined in step 50, to the cepstral coefficients defined during step 65.
  • This step 70 allows in particular the modification of the spectral envelope of the voice signal to be converted.
  • each frame of samples of the signal to be converted from the source speaker is thus associated with transformed spectral information whose characteristics are similar to the spectral characteristics of the samples of the target speaker.
  • the conversion method then comprises a step 80 of predicting the fundamental frequency for the voice samples of the source speaker, by applying the prediction function determined according to the method of the invention during step 60, to the only information transformed spectral associated with the voice signal to be converted from the source speaker.
  • the prediction function defined during step 60 makes it possible to obtain a relevant prediction of the fundamental frequency.
  • the conversion method then comprises a step 90 of synthesis of the output signal carried out, in the example described, by an HNM type synthesis which directly delivers the voice signal converted from the transformed spectral envelope information delivered by step 70, predicted fundamental frequency information originating from step 80 and phase and maximum voicing frequency information delivered by step 65.
  • the conversion method implementing the analysis method of the invention thus makes it possible to obtain a voice conversion carrying out modifications of spectra as well as a prediction of fundamental frequency, so as to obtain a good auditory rendering.
  • the effectiveness of such a method can be evaluated from identical voice samples pronounced by the source speaker and the target speaker.
  • the speech signal spoken by the source speaker is converted using the method as described and the resemblance of the converted signal with the signal spoken by the target speaker is evaluated. For example, this resemblance is calculated as a ratio between the acoustic distance separating the converted signal from the target signal and the acoustic distance separating the target signal from the source signal.
  • the ratio obtained for a signal converted using the method of the invention is l '' from 0.3 to 0.5.
  • FIG. 3 shows a functional block diagram of a voice conversion system implementing the method described with reference to FIG. 2.
  • This system uses as input a database 100 of voice samples spoken by the source speaker and a database 102 containing at least the same voice samples spoken by the target speaker. These two databases are used by a module 104 for determining a function for transforming spectral characteristics of the source speaker into spectral characteristics of the target speaker.
  • This module 104 is suitable for the implementation of step 50 of the method as described with reference to FIG. 2 and therefore allows the determination of a transformation function of the spectral envelope.
  • the system includes a module 106 for determining a fundamental frequency prediction function based solely on information relating to the spectrum.
  • the module 106 therefore receives the voice samples of the single target speaker, contained in the database 102, as input.
  • the module 106 is suitable for implementing step 60 of the method described with reference to FIG. 2 and corresponding to the analysis method of the invention as described with reference to FIG. 1.
  • the function of transformation delivered by the module is suitable for implementing step 60 of the method described with reference to FIG. 2 and corresponding to the analysis method of the invention as described with reference to FIG. 1.
  • the prediction function delivered by the module 106 are stored for later use.
  • the voice conversion system receives as input a voice signal 110 corresponding to a speech signal spoken by the source speaker and intended to be converted.
  • the signal 110 is introduced into a signal analysis module 112, implementing, for example, an HNM type decomposition and making it possible to dissociate spectrum information from the signal 110 in the form of cepstral coefficients and frequency information. fundamental.
  • the module 112 also delivers phase information and maximum voice frequency obtained by applying the HNM model.
  • the module 112 therefore implements step 65 of the method described above.
  • this analysis can be done beforehand and the information is stored for later use.
  • the cepstral coefficients delivered by the module 112 are then introduced into a transformation module 114 adapted to apply the transformation function determined by the module 104.
  • the transformation module 114 implements step 70 of the method described with reference to FIG. 2 and delivers transformed cepstral coefficients whose characteristics are similar to the spectral characteristics of the target speaker.
  • the module 114 thus performs a modification of the spectral envelope of the voice signal 110.
  • the transformed cepstral coefficients " delivered by the module 114, are then introduced into a module 116 for predicting the fundamental frequency suitable for implementing the prediction function determined by the module 106.
  • the module 116 implements step 80 of the method described with reference to FIG. 2 and delivers as output fundamental frequency information predicted from only the transformed spectrum information.
  • the system then includes a synthesis module 118 receiving as input the transformed cepstral coefficients from module 114 and corresponding to the spectral envelope, the predicted fundamental frequency information from module 116, and the phase and maximum voicing frequency information. delivered by module 112.
  • the module 118 thus implements step 90 of the method described with reference to FIG. 2 and delivers a signal 120 corresponding to the voice signal 110 of the source speaker, but whose spectrum and fundamental frequency characteristics have been modified to be similar to that of the target speaker.
  • the system described can be implemented in various ways and in particular using a suitable computer program and connected to hardware means of sound acquisition.
  • HNM and GMM models can be replaced by other techniques and models known to those skilled in the art, such as for example the techniques known as LSF (Line Spectral Frequencies), LPC (Linear Predictive Coding) or still parameters relating to formants.
  • LSF Line Spectral Frequencies
  • LPC Linear Predictive Coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Machine Translation (AREA)

Abstract

Procédé d'analyse d'informations de fréquence fondamentale contenues dans des échantillons vocaux, caractérisé en ce qu'il comporte au moins : - une étape (2) d'analyse des échantillons vocaux regroupés en trames pour obtenir, pour chaque trame d'échantillons, des informations relatives au spectre et des informations relatives à la fréquence fondamentale; - une étape (20) de détermination d'un modèle représentant les caractéristiques communes de spectre et de fréquence fondamentale de tous les échantillons; et - une étape (30) de détermination, à partir de ce modèle et des échantillons vocaux, d'une fonction de prédiction de la fréquence fondamentale en fonction uniquement d'informations relatives au spectre.

Description

Procédé d'analyse d'informations de fréquence fondamentale et procédé et système de conversion de voix mettant en œuyre un tel procédé d'analyse La présente invention concerne un procédé d'analyse d'informations de fréquence fondamentale contenues dans des échantillons vocaux, et un procédé et un système de conversion de voix mettant en œuvre ce procédé d'analyse. Suivant la nature des sons à émettre, la production de la parole et notamment des sons voisés, peut faire intervenir la vibration des cordes vocales, ce qui se manifeste par la présence dans le signal de parole, d'une structure périodique de période fondamentale dont l'inverse est appelé fréquence fondamentale ou "pitch". Dans certaines applications, tels que la conversion de voix, le rendu auditif est primordial et pour obtenir une qualité acceptable, il convient de bien maîtriser les paramètres liés à la prosodie et parmi ces derniers, la fréquence fondamentale.
Ainsi, il existe aujourd'hui de nombreux procédés d'analyse des infor- mations de fréquence fondamentale contenues dans des échantillons vocaux.
Ces analyses permettent de déterminer et de modéliser des caractéristiques de la fréquence fondamentale. Par exemple, il existe des procédés permettant de déterminer la pente, ou encore une échelle d'amplitude de la fréquence fondamentale sur l'ensemble d'une base de données d'échantillons vo- eaux.
La connaissance de ces paramètres permet d'effectuer des modifications de signaux de parole, par exemple par des mises à l'échelle de fréquence fondamentale entre des locuteurs source et cible, de manière à respecter globalement la moyenne et la variation de la fréquence fondamentale du locuteur cible. Cependant, ces analyses ne permettent d'obtenir que des représentations globales et pas de représentations paramétrables de la fréquence fondamentale et ne sont donc pas pertinentes notamment pour des locuteurs dont les styles d'élocution sont différents.
Le but de la présente invention est de remédier à ce problème, en dé- finissant un procédé d'analyse d'informations de fréquence fondamentale d'échantillons vocaux, permettant la définition d'une représentation paramétrable de la fréquence fondamentale. A cet effet, la présente invention a pour objet un procédé d'analyse d'informations de fréquence fondamentale contenues dans des échantillons vocaux, caractérisé en ce qu'il comporte au moins :
- une étape d'analyse des échantillons vocaux regroupés en trames pour obtenir, pour chaque trame d'échantillons, des informations relatives au spectre et des informations relatives à la fréquence fondamentale;
- une étape de détermination d'un modèle représentant les caractéristiques communes de spectre et de fréquence fondamentale de tous les échantillons; et - une étape de détermination, à partir de ce modèle et des échantillons vocaux, d'une fonction de prédiction de la fréquence fondamentale en fonction uniquement d'informations relatives au spectre.
Suivant d'autres caractéristiques de ce procédé d'analyse :
- ladite étape d'analyse est adaptée pour délivrer lesdites informations relatives au spectre sous la forme de coefficients cepstraux ;
- ladite étape d'analyse comporte :
- une sous-étape de modélisation des échantillons vocaux selon une somme d'un signal harmonique et d'un signal de bruit ;
- une sous-étape d'estimation de paramètres de fréquence et au moins de la fréquence fondamentale des échantillons vocaux ;
- une sous-étape d'analyse synchronisée de chaque trame d'échantillons sur sa fréquence fondamentale ; et
- une sous-étape d'estimation des paramètres de spectre de chaque trame d'échantillons ; - il comporte en outre une étape de normalisation de la fréquence fondamentale de chaque trame d'échantillons par rapport à la moyenne des fréquences fondamentales des échantillons analysés ;
- ladite étape de détermination d'un modèle correspond à la détermination d'un modèle par mélange de densités gaussiennes ; - ladite étape de détermination d'un modèle comprend :
- une sous-étape de détermination d'un modèle correspondant à un mélange de densités gaussiennes; et
- une sous-étape d'estimation des paramètres du mélange de densités gaussiennes à partir de l'estimation du maximum de vraisemblance en- tre les informations de spectre et de fréquence fondamentale des échantillons et du modèle ;
- ladite étape de détermination d'une fonction de prédiction est réalisée à partir d'un estimateur de la réalisation de la fréquence fondamentale sachant les informations de spectre des échantillons ;
- ladite étape de détermination de la fonction de prédiction de la fréquence fondamentale comprend une sous-étape de détermination de l'espérance conditionnelle de la réalisation de la fréquence fondamentale sachant les informations de spectre à partir de la probabilité a posteriori que les informations de spectre soient obtenues à partir du modèle, l'espérance conditionnelle formant ledit estimateur.
L'invention a également pour objet un procédé de conversion d'un signal vocal prononcé par un locuteur source en un signal vocal converti dont les caractéristiques ressemblent à celles d'un locuteur cible, comportant au moins : - une étape de détermination d'une fonction de transformation de caractéristiques spectrales du locuteur source en caractéristiques spectrales du locuteur cible, réalisée à partir d'échantillons vocaux du locuteur source et du locuteur cible; et
- une étape de transformation des informations de spectre du signal de voix du locuteur source à convertir à l'aide de ladite fonction de transformation, caractérisé en ce qu'il comporte en outre :
- une étape de détermination d'une fonction de prédiction de la fréquence fondamentale en fonction uniquement d'informations relatives au spectre pour le locuteur cible, ladite fonction de prédiction étant obtenue à l'aide d'un procédé d'analyse tel que défini précédemment ; et
- une étape de prédiction de la fréquence fondamentale du signal de voix à convertir par l'application de ladite fonction de prédiction de la fréquence fondamentale auxdites informations de spectres transformés du signal de voix du locuteur source. Suivant d'autres caractéristiques de ce procédé de conversion :
- ladite étape de détermination d'une fonction de transformation est réalisée à partir d'un estimateur de la réalisation des caractéristiques spectrales cibles sachant les caractéristiques spectrales source ; - ladite étape de détermination d'une fonction de transformation comporte :
- une sous-étape de modélisation des échantillons vocaux source et cible selon un modèle de somme d'un signal harmonique et d'un signal de bruit ;
- une sous-étape d'alignement entre les échantillons source et cible; et
- une sous-étape de détermination de ladite fonction de transformation à partir du calcul de l'espérance conditionnelle de la réalisation des caractéristiques spectrales cibles sachant la réalisation des caractérisations spectrales sources, l'espérance conditionnelle formant ledit estimateur.
- ladite fonction de transformation est une fonction de transformation de l'enveloppe spectrale ;
- il comporte en outre une étape d'analyse du signal de voix à convertir adaptée pour délivrer lesdites informations relatives au spectre et à la fréquence fondamentale ;
- il comporte en outre une étape de synthèse permettant de former un signal de voix converti à partir au moins des informations de spectre transformées et des informations de fréquence fondamentale prédites. L'invention a encore pour objet un système de conversion d'un signal vocal prononcé par un locuteur source en un signal vocal converti dont les caractéristiques ressemblent à celles d'un locuteur cible, système comportant au moins :
- des moyens de détermination d'une fonction de transformation de ca- ractéristiques spectrales du locuteur source en caractéristiques spectrales du locuteur cible, recevant en entrée des échantillons vocaux du locuteur source et du locuteur cible ; et
- des moyens de transformation des informations de spectre du signal de voix du locuteur source à convertir par l'application de ladite fonction de trans- formation délivrée par les moyens, caractérisé en ce qu'il comporte en outre :
- des moyens de détermination d'une fonction de prédiction de la fréquence fondamentale en fonction uniquement d'informations relatives au spectre pour le locuteur cible, adaptés pour la mise en œuvre d'un procédé d'analyse, à partir d'échantillons vocaux du locuteur cible ; et
- des moyens de prédiction de la fréquence fondamentale dudit signal de voix à convertir, par l'application de ladite fonction de prédiction déterminée par lesdits moyens de détermination d'une fonction de prédiction auxdites informations de spectre transformé délivrées par lesdits moyens de transformation. Suivant d'autres caractéristiques de ce système :
- il comporte en outre :
- des moyens d'analyse du signal de voix à convertir, adaptés pour délivrer en sortie des informations relatives au spectre et à la fréquence fondamentale du signal de voix à convertir ; et
- des moyens de synthèse permettant de former un signal de voix converti à partir au moins des informations de spectre transformé délivrées par les moyens et des informations de fréquence fondamentale prédites délivrées par les moyens;
- lesdits moyens de détermination d'une fonction de transformation sont adaptés pour délivrer une fonction de transformation de l'enveloppe spectrale ;
- il est adapté pour la mise en œuvre d'un procédé de conversion de voix tel que défini précédemment.
L'invention sera mieux comprise à la lecture de la description qui va suivre, donnée uniquement à titre d'exemple et faite en se référant aux dessins annexés, sur lesquels :
- la Fig.1 est un organigramme d'un procédé d'analyse selon l'inven- tion ;
- la Fig.2 est un organigramme d'un procédé de conversion de voix mettant en œuvre le procédé d'analyse de l'invention ; et
- la Fig.3 est un schéma bloc fonctionnel d'un système de conversion de voix, permettant la mise en œuvre du procédé de l'invention décrit à la figure 2.
Le procédé de l'invention représenté sur la figure 1 , est mis en œuvre à partir d'une base de données d'échantillons vocaux contenant des séquences de parole naturelle. Le procédé débute par une étape 2 d'analyse des échantillons en les regroupant par trame, afin d'obtenir pour chaque trame d'échantillons, des informations relatives au spectre et notamment à l'enveloppe spectrale et des informations relatives à la fréquence fondamentale. Dans le mode de réalisation décrit, cette étape 2 d'analyse est basée sur l'utilisation d'un modèle d'un signal sonore sous la forme d'une somme d'un signal harmonique avec un signal de bruit selon un modèle communément appelé "HNM" (en anglais : Harmonie plus Noise Model).
En outre, le mode de réalisation décrit est fondé sur une représenta- tion de l'enveloppe spectrale par le cepstre discret.
En effet, une représentation cepstrale permet de séparer, dans le signal de parole, la composante relative au conduit vocal de la composante résultant de la source, correspondant aux vibrations des cordes vocales et caractérisée par la fréquence fondamentale. Ainsi, l'étape 2 d'analyse comporte une sous-étape 4 de modélisation de chaque trame de signal vocal en une partie harmonique représentant la composante périodique du signal, constituée d'une somme de L sinusoïdes harmoniques d'amplitude Ai et de phase φι, et d'une partie bruitée représentant le bruit de friction et la variation de l'excitation glottale. On peut ainsi écrire : s(n)=h(n)+b(n)
Le terme h(n) représente donc l'approximation harmonique du signal s(n). L'étape 2 comporte ensuite une sous-étape 5 d'estimation pour chaque trame, de paramètres de fréquence et notamment de la fréquence fondamentale, par exemple au moyen d'une méthode d'autocorrélation.
De manière classique, cette analyse HNM délivre la fréquence maximale de voisement. En variante, cette fréquence peut être fixée arbitrairement ou être estimée par d'autres moyens connus.
Cette sous-étape 5 est suivie d'une sous-étape 6 d'analyse synchronisée de chaque trame sur sa fréquence fondamentale, qui permet d'estimer les paramètres de la partie harmonique ainsi que les paramètres du bruit du signal. Dans le mode de réalisation décrit, cette analyse synchronisée correspond à la détermination des paramètres des harmoniques par minimisation d'un critère de moindres carrés pondérés entre le signal complet et sa décomposition harmonique correspondant dans le mode de réalisation décrit, au signal de bruit estimé. Le critère noté E est égal à :
Dans cette équation, w (n) est la fenêtre d'analyse et Tj est la période fondamentale de la trame courante.
Ainsi, la fenêtre d'analyse est centrée autour de la marque de la pé- riode fondamentale et a pour durée deux fois cette période.
L'étape 2 d'analyse comporte enfin une sous-étape 7 d'estimation des paramètres des composantes de l'enveloppe spectrale du signal en utilisant par exemple une méthode de cepstre discret régularisé et une transformation en échelle de Bark pour reproduire le plus fidèlement possible les propriétés de l'oreille humaine.
Ainsi, l'étape 2 d'analyse délivre, pour chaque trame de rang n d'échantillons de signal de parole, un scalaire noté xn comprenant des informations de fréquence fondamentale et un vecteur noté yn comprenant des informations de spectre sous la forme d'une séquence de coefficients cepstraux. Avantageusement, l'étape 2 d'analyse est suivie par une étape 10 de normalisation de la valeur de la fréquence fondamentale de chaque trame par rapport à la fréquence fondamentale moyenne afin de remplacer pour chaque trame d'échantillons vocaux, la valeur de la fréquence fondamentale par une valeur de fréquence fondamentale normalisée selon la formule suivante :
Dans cette formule, Fm°y correspond à la moyenne des valeurs des
fréquences fondamentales sur toute la base de données analysée.
Cette normalisation permet de modifier l'échelle des variations des scalaires de fréquence fondamentale afin de la rendre cohérente avec l'échelle des variations des coefficients cepstraux. L'étape 10 de normalisation est suivie d'une étape 20 de détermination d'un modèle représentant les caractéristiques communes de cepstre et de fréquence fondamentale de tous les échantillons analysés.
Dans le mode de réalisation décrit, il s'agit d'un modèle probabiliste de la fréquence fondamentale et du cepstre discret, selon un modèle de mélange de densités gaussiennes couramment noté "GMM", dont les paramètres sont estimés à partir de la densité jointe de la fréquence fondamentale normalisée et du cepstre discret.
De manière classique, la densité de probabilité d'une variable aléatoire notée de manière générale p(z), suivant un modèle de mélange de densités gaussiennes GMM s'écrit mathématiquement de la manière suivante :
Dans cette formule, N(z ; μι ; ∑j) est la densité de probabilité de la loi normale de moyenne μi et de matrice de covariance ∑ι et les coefficients o sont les coefficients du mélange.
Ainsi, le coefficient αι correspond à la probabilité a priori que la variable aléatoire z soit générée par la ie e gaussienne du mélange.
De manière plus particulière, l'étape 20 de détermination du modèle comporte une sous-étape 22 de modélisation de la densité jointe entre le cepstre noté y et la fréquence fondamentale normalisée notée x, de sorte que : p(z) = p(y,x), où z = M
Dans ces équations, x = [xi, x2, ... XN] correspond à la séquence des scalaires contenant les informations de fréquence fondamentale normalisée pour N trames d'échantillons vocaux et y = [y-i, y2,... y^], correspond à la séquence des vecteurs de coefficients cepstraux correspondants.
L'étape 20 comporte ensuite une sous-étape 24 d'estimation de paramètres GMM (α, μ, Σ) de la densité p(z). Cette estimation peut être réalisée, par exemple, à l'aide d'un algorithme classique de type dit "EM" (Expectation - Maximisation), correspondant à une méthode itérative conduisant à l'obtention d'un estimateur de maximum de vraisemblance entre les données des échantillons de parole et le modèle de mélange de gaussienne.
La détermination des paramètres initiaux du modèle GMM est obtenue à l'aide d'une technique classique de quantification vectorielle.
L'étape 20 de détermination de modèle délivre ainsi les paramètres d'un mélange de densités gaussiennes représentatifs des caractéristiques communes des spectres, représentées par les coefficients cepstraux, et des fréquences fondamentales des échantillons vocaux analysés.
Le procédé comporte ensuite une étape 30 de détermination, à partir du modèle et des échantillons vocaux, d'une fonction de prédiction de la fréquence fondamentale en fonction uniquement d'informations de spectre fournies par le cepstre du signal.
Cette fonction de prédiction est déterminée à partir d'un estimateur de la réalisation de la fréquence fondamentale étant donné le cepstre des échantillons vocaux, formé dans le mode de réalisation décrit, par l'espérance conditionnelle.
Pour cela, l'étape 30 comporte une sous-étape 32 de détermination de l'espérance conditionnelle de la fréquence fondamentale sachant les informations relatives au spectre fournies par le cepstre. L'espérance conditionnelle est notée F(y) et est déterminée à partir des formules suivantes :
Dans ces équations, Pj(y) correspond à la probabilité a posteriori que le vecteur y de cepstre soit généré par la ieme composante du mélange de gaussiennes du modèle, défini lors de l'étape 20 par la matrice de covariance ∑j et la loi normale \i\. La détermination de l'espérance conditionnelle permet ainsi d'obtenir la fonction de prédiction de la fréquence fondamentale à partir des informations de cepstre.
En variante, l'estimateur mis en œuvre lors de l'étape 30 peut être un critère de maximum a posteriori, dit "MAP" et correspondant à la réalisation du calcul de l'espérance uniquement pour le modèle représentant le mieux le vecteur source.
Il apparaît donc que le procédé d'analyse de l'invention permet, à partir du modèle et des échantillons vocaux, d'obtenir une fonction de prédiction de la fréquence fondamentale en fonction uniquement d'informations de spectre fournies, dans le mode de réalisation décrit, par le cepstre.
Une telle fonction de prédiction permet ensuite de déterminer la valeur de la fréquence fondamentale pour un signal de parole, uniquement à partir d'informations de spectre de ce signal, permettant ainsi une prédiction pertinente de la fréquence fondamentale notamment pour des sons qui ne sont pas dans les échantillons vocaux analysés.
En référence à la figure 2, on va maintenant décrire l'utilisation d'un procédé d'analyse selon l'invention dans le cadre de la conversion de voix.
La conversion de voix consiste à modifier le signal vocal d'un locuteur de référence appelé " locuteur source " de façon que le signal produit semble avoir été prononcé par un autre locuteur nommé " locuteur cible".
Ce procédé est mis en œuvre à partir d'une base de données d'échantillons vocaux prononcés par le locuteur source et le locuteur cible.
De manière classique, un tel procédé comporte une étape 50 de dé- termination d'une fonction de transformation des caractéristiques spectrales des échantillons vocaux du locuteur source pour les faire ressembler aux caractéristiques spectrales des échantillons vocaux du locuteur cible.
Dans le mode de réalisation décrit, cette étape 50 est basée sur une analyse de type HNM permettant de déterminer les relations existantes entre les caractéristiques de l'enveloppe spectrale des signaux de parole des locuteurs source et cible.
Pour cela, il est nécessaire de disposer d'enregistrements vocaux source et cible correspondant à la réalisation acoustique de la même séquence phonétique. L'étape 50 comporte une sous-étape 52 de modélisation des échantillons vocaux selon un modèle HNM, de somme de signaux harmoniques et de bruit.
La sous-étape 52 est suivie d'une sous-étape 54 d'alignement entre les signaux source et cible à l'aide par exemple d'un algorithme classique d'alignement dit "DTW" (en anglais " Dynamic Time Warping").
L'étape 50 comporte ensuite une sous-étape 56 de détermination d'un modèle tel qu'un modèle de type GMM représentant les caractéristiques communes des spectres des échantillons vocaux des locuteurs source et cible.
Dans le mode de réalisation décrit, on utilise un modèle GMM à 64 composantes et un unique vecteur contenant les paramètres cepstraux de la source et de la cible, de sorte que l'on peut définir une fonction de transformation spectrale correspondant à un estimateur de la réalisation des paramètres spectraux de cible notés t, sachant les paramètres spectraux de source notés s.
Dans le mode de réalisation décrit, cette fonction de transformation notée F(s) se note sous la forme d'une espérance conditionnelle obtenue par la formule suivante :
Q
F(s)=E[t | s]= ∑ft(s)[μ{+Σ* (∑sf) "1(s-μ f)] i=l
La détermination précise de cette fonction est obtenue par la maximi- sation de la vraisemblance entre les paramètres de la source et de la cible, obtenue par un algorithme de type EM.
En variante, l'estimateur peut être formé d'un critère de maximum a posteriori.
La fonction ainsi définie permet donc de modifier l'enveloppe spectrale d'un signal de parole issue du locuteur source afin de la faire ressembler à l'enveloppe spectrale du locuteur cible. Préalablement à cette maximisation, les paramètres du modèle GMM représentant les caractéristiques spectrales communes de la source et de la cible sont initialisés, par exemple, à l'aide d'un algorithme de quantification vectorielle.
Parallèlement, le procédé d'analyse de l'invention est mis en œuvre lors d'une étape 60 d'analyse des seuls échantillons vocaux du locuteur cible.
Ainsi que cela a été décrit à la référence à la figure 1 , l'étape 60 d'analyse selon l'invention permet d'obtenir, pour le locuteur cible, une fonction de prédiction de la fréquence fondamentale en fonction uniquement d'informations de spectres. Le procédé de conversion comporte ensuite une étape 65 d'analyse d'un signal de voix à convertir prononcé par le locuteur source, lequel signal à convertir est différent des signaux vocaux utilisés lors des étapes 50 et 60.
Cette étape d'analyse 65 est réalisée, par exemple, à l'aide d'une décomposition selon le modèle HNM permettant de délivrer des informations de spectre sous la forme de coefficients cepstraux, des informations de fréquence fondamentale ainsi que des informations de phase et de fréquence maximale de voisement.
Cette étape 65 est suivie d'une étape 70 de transformation des caractéristiques spectrales du signal de voix à convertir par l'application de la fonction de transformation déterminée à l'étape 50, aux coefficients cepstraux définis lors de l'étape 65.
Cette étape 70 permet notamment la modification de l'enveloppe spectrale du signal de voix à convertir.
A l'issue de l'étape 70, chaque trame d'échantillons du signal à conver- tir du locuteur source est ainsi associée à des informations spectrales transformées dont les caractéristiques sont similaires aux caractéristiques spectrales des échantillons du locuteur cible.
Le procédé de conversion comporte ensuite une étape 80 de prédiction de la fréquence fondamentale pour les échantillons vocaux du locuteur source, par l'application de la fonction de prédiction déterminée selon le procédé de l'invention lors de l'étape 60, aux seules informations spectrales transformées associées au signal de voix à convertir du locuteur source.
En effet, les échantillons vocaux du locuteur source étant associés à des informations spectrales transformées dont les caractéristiques sont similaires à celles du locuteur cible, la fonction de prédiction définie lors de l'étape 60 permet d'obtenir une prédiction pertinente de la fréquence fondamentale.
De manière classique, le procédé de conversion comporte ensuite une étape 90 de synthèse du signal de sortie réalisée, dans l'exemple décrit, par une synthèse de type HNM qui délivre directement le signal de voix converti à partir des informations d'enveloppe spectrale transformées délivrées par l'étape 70, des informations de fréquence fondamentale prédites issues de l'étape 80 et des informations de phase et de fréquence maximale de voisement délivrées par l'étape 65. Le procédé de conversion mettant en œuvre le procédé d'analyse de l'invention, permet ainsi d'obtenir une conversion de voix réalisant des modifications de spectres ainsi qu'une prédiction de fréquence fondamentale, de manière à obtenir un rendu auditif de bonne qualité.
Notamment, l'efficacité d'un tel procédé peut être évaluée à partir d'échantillons vocaux identiques prononcés par le locuteur source et le locuteur cible.
Le signal vocal prononcé par le locuteur source est converti à l'aide du procédé tel que décrit et la ressemblance du signal converti avec le signal prononcé par le locuteur cible, est évaluée. Par exemple, cette ressemblance est calculée sous la forme d'un ratio entre la distance acoustique séparant le signal converti du signal cible et la distance acoustique séparant le signal cible du signal source.
En calculant la distance acoustique à partir des coefficients cepstraux ou du spectre d'amplitude des signaux obtenu à l'aide de ces coefficients ceps- traux, le ratio obtenu pour un signal converti à l'aide du procédé de l'invention est de l'ordre de 0,3 à 0,5.
Sur la figure 3, on a représenté un schéma bloc fonctionnel d'un système de conversion des voix mettant en œuvre le procédé décrit en référence à la figure 2. Ce système utilise en entrée une base de données 100 d'échantillons vocaux prononcés par le locuteur source et une base de données 102 contenant au moins les mêmes échantillons vocaux prononcés par le locuteur cible. Ces deux bases de données sont utilisées par un module 104 de détermination d'une fonction de transformation de caractéristiques spectrales du locuteur source en caractéristiques spectrales du locuteur cible.
Ce module 104 est adapté pour la mise en œuvre de l'étape 50 du procédé tel que décrit en référence à la figure 2 et permet donc la détermination d'une fonction de transformation de l'enveloppe spectrale.
Par ailleurs, le système comporte un module 106 de détermination d'une fonction de prédiction de la fréquence fondamentale en fonction uniquement d'informations relatives au spectre. Le module 106 reçoit pour cela en en- trée les échantillons vocaux du seul locuteur cible, contenus dans la base de données 102.
Le module 106 est adapté pour la mise en œuvre de l'étape 60 du procédé décrit en référence à la figure 2 et correspondant au procédé d'analyse de l'invention tel que décrit en référence à la figure 1. Avantageusement, la fonction de transformation délivrée par le module
104 et la fonction de prédiction délivrée par le module 106, sont mémorisées en vue d'une utilisation ultérieure.
Le système de conversion de voix reçoit en entrée un signal de voix 110 correspondant à un signal de parole prononcé par le locuteur source et des- tiné à être converti.
Le signal 110 est introduit dans un module 112 d'analyse du signal, mettant en œuvre, par exemple, une décomposition de type HNM et permettant de dissocier des informations de spectre du signal 110 sous la forme de coefficients cepstraux et d'informations de fréquence fondamentale. Le module 112 délivre également des informations de phase et de fréquence maximale de voi- sement obtenues par l'application du modèle HNM.
Le module 112 met donc en œuvre l'étape 65 du procédé décrit précédemment.
Eventuellement cette analyse peut être faite au préalable et les infor- mations sont stockées pour être utilisées ultérieurement.
Les coefficients cepstraux délivrés par le module 112, sont ensuite introduits dans un module 114 de transformation adapté pour appliquer la fonction de transformation déterminée par le module 104. Ainsi, le module 114 de transformation met en œuvre l'étape 70 du procédé décrit en référence à la figure 2 et délivre des coefficients cepstraux transformés dont les caractéristiques sont similaires aux caractéristiques spectrales du locuteur cible. Le module 114 réalise ainsi une modification de l'enveloppe spectrale du signal de voix 110.
Les coefficients cepstraux" transformés délivrés par le module 114, sont ensuite introduits dans un module 116 de prédiction de la fréquence fondamentale adaptés pour mettre en œuvre la fonction de prédiction déterminée par le module 106.
Ainsi, le module 116 met en œuvre l'étape 80 du procédé décrit en référence à la figure 2 et délivre en sortie des informations de fréquence fondamentale prédites à partir uniquement des informations de spectre transformées.
Le système comporte ensuite un module 118 de synthèse recevant en entrée les coefficients cepstraux transformés issus du module 114 et correspondant à l'enveloppe spectrale, les informations de fréquence fondamentale prédites issues du module 116, et les informations de phase et de fréquence maximale de voisement délivrées par le module 112.
Le module 118 met ainsi en œuvre l'étape 90 du procédé décrit en ré- férence à la figure 2 et délivre un signal 120 correspondant au signal de voix 110 du locuteur source, mais dont les caractéristiques de spectre et de fréquence fondamentale ont été modifiées afin d'être similaires à celles du locuteur cible.
Le système décrit peut être mis en œuvre de diverses manières et notamment à l'aide d'un programme informatique adapté et relié à des moyens ma- tériels d'acquisition sonore.
Bien entendu, d'autres modes de réalisation que celui décrit peuvent être envisagés.
Notamment, les modèles HNM et GMM peuvent être remplacés par d'autres techniques et modèles connus de l'homme de l'art, tels que par exemple les techniques dites LSF (Line Spectral Frequencies), LPC (Linear Prédictif Co- ding) ou encore des paramètres relatifs aux formants.

Claims

REVENDICATIONS
1. Procédé d'analyse d'informations de fréquence fondamentale contenues dans des échantillons vocaux, caractérisé en ce qu'il comporte au moins : - une étape (2) d'analyse des échantillons vocaux regroupés en trames pour obtenir, pour chaque trame d'échantillons, des informations relatives au spectre et des informations relatives à la fréquence fondamentale;
- une étape (20) de détermination d'un modèle représentant les caractéristiques communes de spectre et de fréquence fondamentale de tous les échantillons; et
- une étape (30) de détermination, à partir de ce modèle et des échantillons vocaux, d'une fonction de prédiction de la fréquence fondamentale en fonction uniquement d'informations relatives au spectre.
2. Procédé selon la revendication 1 , caractérisé en ce que ladite étape (2) d'analyse est adaptée pour délivrer lesdites informations relatives au spectre sous la forme de coefficients cepstraux.
3. Procédé selon l'une quelconque des revendications 1 ou 2, caractérisé en ce que ladite étape d'analyse (2) comporte :
- une sous-étape (4) de modélisation des échantillons vocaux selon une somme d'un signal harmonique et d'un signal de bruit ;
- une sous-étape (5) d'estimation de paramètres de fréquence et au moins de la fréquence fondamentale des échantillons vocaux;
- une sous-étape (6) d'analyse synchronisée de chaque trame d'échantillons sur sa fréquence fondamentale; et - une sous-étape (7) d'estimation des paramètres de spectre de chaque trame d'échantillons.
4. Procédé selon l'une quelconque des revendications 1 à 3, caractérisé en ce qu'il comporte en outre une étape (10) de normalisation de la fréquence fondamentale de chaque trame d'échantillons par rapport à la moyenne des fré- quences fondamentales des échantillons analysés.
5. Procédé selon l'une quelconque des revendications 1 à 4, caractérisé en ce que ladite étape (20) de détermination d'un modèle correspond à la détermination d'un modèle par mélange de densités gaussiennes.
6. Procédé selon la revendication 5, caractérisé en ce que ladite étape de détermination (20) d'un modèle comprend :
- une sous-étape (22) de détermination d'un modèle correspondant à un mélange de densités gaussiennes; et - une sous-étape (24) d'estimation des paramètres du mélange de densités gaussiennes à partir de l'estimation du maximum de vraisemblance entre les informations de spectre et de fréquence fondamentale des échantillons et du modèle.
7. Procédé selon l'une quelconque des revendications 1 à 6, caractéri- se en ce que ladite étape (30) de détermination d'une fonction de prédiction est réalisée à partir d'un estimateur de la réalisation de la fréquence fondamentale sachant les informations de spectre des échantillons.
8. Procédé selon la revendication 7, caractérisé en ce que ladite étape (30) de détermination de la fonction de prédiction de la fréquence fondamentale comprend une sous-étape (32) de détermination de l'espérance conditionnelle de la réalisation de la fréquence fondamentale sachant les informations de spectre à partir de la probabilité a posteriori que les informations de spectre soient obtenues à partir du modèle, l'espérance conditionnelle formant ledit estimateur.
9. Procédé de conversion d'un signal vocal prononcé par un locuteur source en un signal vocal converti dont les caractéristiques ressemblent à celles d'un locuteur cible, comportant au moins :
- une étape (50) de détermination d'une fonction de transformation de caractéristiques spectrales du locuteur source en caractéristiques spectrales du locuteur cible, réalisée à partir d'échantillons vocaux du locuteur source et du locuteur cible; et
- une étape (70) de transformation des informations de spectre du signal de voix du locuteur source à convertir à l'aide de ladite fonction de transformation, caractérisé en ce qu'il comporte en outre : - une étape (60) de détermination d'une fonction de prédiction de la fréquence fondamentale en fonction uniquement d'informations relatives au spectre pour le locuteur cible, ladite fonction de prédiction étant obtenue à l'aide d'un procédé d'analyse selon l'une quelconque des revendications 1 à 8; et - une étape (80) de prédiction de la fréquence fondamentale du signal de voix à convertir par l'application de ladite fonction de prédiction de la fréquence fondamentale auxdites informations de spectres transformés du signal de voix du locuteur source.
10. Procédé selon la revendication 9, caractérisé en ce que ladite étape (50) de détermination d'une fonction de transformation est réalisée à partir d'un estimateur de la réalisation des caractéristiques spectrales cibles sachant les caractéristiques spectrales source.
11. Procédé selon la revendication 10, caractérisé en ce que ladite étape (50) de détermination d'une fonction de transformation comporte :
- une sous-étape (52) de modélisation des échantillons vocaux source et cible selon un modèle de somme d'un signal harmonique et d'un signal de bruit ;
- une sous-étape (54) d'alignement entre les échantillons source et ci- ble; et
- une sous-étape (56) de détermination de ladite fonction de transformation à partir du calcul de l'espérance conditionnelle de la réalisation des caractéristiques spectrales cibles sachant la réalisation des caractérisations spectrales sources, l'espérance conditionnelle formant ledit estimateur.
12. Procédé selon l'une quelconque des revendications 9 à 11 , caractérisé en ce que ladite fonction de transformation est une fonction de transformation de l'enveloppe spectrale.
13. Procédé selon l'une quelconque des revendications 9 à 12, caractérisé en ce qu'il comporte en outre une étape (65) d'analyse du signal de voix à convertir adaptée pour délivrer lesdites informations relatives au spectre et à la fréquence fondamentale.
14. Procédé selon l'une quelconque des revendications 9 à 13, caractérisé en ce qu'il comporte en outre une étape (90) de synthèse permettant de former un signal de voix converti au moins à partir des informations de spectre transformées et des informations de fréquence fondamentale prédites.
15. Système de conversion d'un signal vocal (110) prononcé par un locuteur source en un signal vocal (120) converti dont les caractéristiques ressemblent à celles d'un locuteur cible, système comportant au moins : - des moyens (104) de détermination d'une fonction de transformation de caractéristiques spectrales du locuteur source en caractéristiques spectrales du locuteur cible, recevant en entrée des échantillons vocaux du locuteur source (100) et du locuteur cible (102) ; et - des moyens (114) de transformation des informations de spectre du signal de voix (110) du locuteur source à convertir par l'application de ladite fonction de transformation délivrée par les moyens (104), caractérisé en ce qu'il comporte en outre :
- des moyens (106) de détermination d'une fonction de prédiction de la fréquence fondamentale en fonction uniquement d'informations relatives au spectre pour le locuteur cible, adaptés pour la mise en œuvre d'un procédé d'analyse selon l'une quelconque des revendications 1 à 8, à partir d'échantillons vocaux (102) du locuteur cible ; et
- des moyens (116) de prédiction de la fréquence fondamentale dudit signal de voix à convertir (110), par l'application de ladite fonction de prédiction déterminée par lesdits moyens (106) de détermination d'une fonction de prédiction auxdites informations de spectre transformé délivrées par lesdits moyens de transformation (114).
16. Système selon la revendication 15, caractérisé en ce qu'il com- porte en outre :
- des moyens (112) d'analyse du signal de voix à convertir (110), adaptés pour délivrer en sortie des informations relatives au spectre et à la fréquence fondamentale du signal de voix à convertir ; et
- des moyens (118) de synthèse permettant de former un signal de voix converti à partir au moins des informations de spectre transformé délivrées par les moyens (114) et des informations de fréquence fondamentale prédites délivrées par les moyens (116).
17. Système selon l'une quelconque des revendications 15 et 16, caractérisé en ce que lesdits moyens (104) de détermination d'une fonction de transformation sont adaptés pour délivrer une fonction de transformation de l'enveloppe spectrale.
18. Système selon l'une quelconque des revendications 15 à 17, caractérisé en ce qu'il est adapté pour la mise en œuvre d'un procédé de conversion de voix selon l'une quelconque des revendications 9 à 12.
EP04716265A 2003-03-27 2004-03-02 Procede d analyse d informations de frequence fondament ale et procede et systeme de conversion de voix mettant en oeuvre un tel procede d analyse Expired - Lifetime EP1606792B1 (fr)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0303790 2003-03-27
FR0303790A FR2853125A1 (fr) 2003-03-27 2003-03-27 Procede d'analyse d'informations de frequence fondamentale et procede et systeme de conversion de voix mettant en oeuvre un tel procede d'analyse.
PCT/FR2004/000483 WO2004088633A1 (fr) 2003-03-27 2004-03-02 Procede d'analyse d'informations de frequence fondamentale et procede et systeme de conversion de voix mettant en oeuvre un tel procede d'analyse

Publications (2)

Publication Number Publication Date
EP1606792A1 true EP1606792A1 (fr) 2005-12-21
EP1606792B1 EP1606792B1 (fr) 2008-05-14

Family

ID=32947218

Family Applications (1)

Application Number Title Priority Date Filing Date
EP04716265A Expired - Lifetime EP1606792B1 (fr) 2003-03-27 2004-03-02 Procede d analyse d informations de frequence fondament ale et procede et systeme de conversion de voix mettant en oeuvre un tel procede d analyse

Country Status (8)

Country Link
US (1) US7643988B2 (fr)
EP (1) EP1606792B1 (fr)
JP (1) JP4382808B2 (fr)
CN (1) CN100583235C (fr)
AT (1) ATE395684T1 (fr)
DE (1) DE602004013747D1 (fr)
FR (1) FR2853125A1 (fr)
WO (1) WO2004088633A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063899A (zh) * 2010-10-27 2011-05-18 南京邮电大学 一种非平行文本条件下的语音转换方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4241736B2 (ja) * 2006-01-19 2009-03-18 株式会社東芝 音声処理装置及びその方法
CN101064104B (zh) * 2006-04-24 2011-02-02 中国科学院自动化研究所 基于语音转换的情感语音生成方法
US20080167862A1 (en) * 2007-01-09 2008-07-10 Melodis Corporation Pitch Dependent Speech Recognition Engine
JP4966048B2 (ja) * 2007-02-20 2012-07-04 株式会社東芝 声質変換装置及び音声合成装置
US8131550B2 (en) * 2007-10-04 2012-03-06 Nokia Corporation Method, apparatus and computer program product for providing improved voice conversion
JP4577409B2 (ja) * 2008-06-10 2010-11-10 ソニー株式会社 再生装置、再生方法、プログラム、及び、データ構造
CN102664003B (zh) * 2012-04-24 2013-12-04 南京邮电大学 基于谐波加噪声模型的残差激励信号合成及语音转换方法
ES2432480B2 (es) * 2012-06-01 2015-02-10 Universidad De Las Palmas De Gran Canaria Método para la evaluación clínica del sistema fonador de pacientes con patologías laríngeas a través de una evaluación acústica de la calidad de la voz
US9570087B2 (en) * 2013-03-15 2017-02-14 Broadcom Corporation Single channel suppression of interfering sources
CN109524023A (zh) * 2016-01-22 2019-03-26 大连民族大学 一种对基频估计实验验证的方法
WO2018138543A1 (fr) * 2017-01-24 2018-08-02 Hua Kanru Procédé probabiliste pour estimation de fréquence fondamentale
CN108766450B (zh) * 2018-04-16 2023-02-17 杭州电子科技大学 一种基于谐波冲激分解的语音转换方法
CN108922516B (zh) * 2018-06-29 2020-11-06 北京语言大学 检测调域值的方法和装置
CN111179902B (zh) * 2020-01-06 2022-10-28 厦门快商通科技股份有限公司 基于高斯模型模拟共鸣腔的语音合成方法、设备及介质
CN112750446B (zh) * 2020-12-30 2024-05-24 标贝(青岛)科技有限公司 语音转换方法、装置和系统及存储介质
CN115148225B (zh) * 2021-03-30 2024-09-03 北京猿力未来科技有限公司 语调评分方法、语调评分系统、计算设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1993018505A1 (fr) * 1992-03-02 1993-09-16 The Walt Disney Company Systeme de transformation vocale
EP0970466B1 (fr) * 1997-01-27 2004-09-22 Microsoft Corporation Conversion de voix

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2004088633A1 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063899A (zh) * 2010-10-27 2011-05-18 南京邮电大学 一种非平行文本条件下的语音转换方法
CN102063899B (zh) * 2010-10-27 2012-05-23 南京邮电大学 一种非平行文本条件下的语音转换方法

Also Published As

Publication number Publication date
JP2006521576A (ja) 2006-09-21
ATE395684T1 (de) 2008-05-15
JP4382808B2 (ja) 2009-12-16
US7643988B2 (en) 2010-01-05
CN1795491A (zh) 2006-06-28
FR2853125A1 (fr) 2004-10-01
US20060178874A1 (en) 2006-08-10
WO2004088633A1 (fr) 2004-10-14
CN100583235C (zh) 2010-01-20
DE602004013747D1 (de) 2008-06-26
EP1606792B1 (fr) 2008-05-14

Similar Documents

Publication Publication Date Title
WO2005106852A1 (fr) Procede et systeme ameliores de conversion d'un signal vocal
EP1730728A1 (fr) Procede et systeme de conversion rapides d'un signal vocal
Viikki et al. Cepstral domain segmental feature vector normalization for noise robust speech recognition
EP1606792B1 (fr) Procede d analyse d informations de frequence fondament ale et procede et systeme de conversion de voix mettant en oeuvre un tel procede d analyse
McLoughlin Line spectral pairs
Geiser et al. Bandwidth extension for hierarchical speech and audio coding in ITU-T Rec. G. 729.1
CN114694632A (zh) 语音处理装置
Prasad et al. Bandwidth extension of speech signals: A comprehensive review
EP1526508B1 (fr) Procédé de sélection d'unités de synthèse
Khonglah et al. Speech enhancement using source information for phoneme recognition of speech with background music
Jokinen et al. Estimating the spectral tilt of the glottal source from telephone speech using a deep neural network
Radfar et al. Monaural speech segregation based on fusion of source-driven with model-driven techniques
Srivastava Fundamentals of linear prediction
Al-Radhi et al. Continuous vocoder applied in deep neural network based voice conversion
Liu et al. Audio bandwidth extension based on temporal smoothing cepstral coefficients
EP1846918B1 (fr) Procede d'estimation d'une fonction de conversion de voix
Liu et al. Audio bandwidth extension based on ensemble echo state networks with temporal evolution
Milivojević et al. Estimation of the fundamental frequency of the speech signal compressed by mp3 algorithm
Xiao et al. Speech intelligibility enhancement by non-parallel speech style conversion using CWT and iMetricGAN based CycleGAN
Gupta et al. A new framework for artificial bandwidth extension using H∞ filtering
Grumiaux et al. Efficient bandwidth extension of musical signals using a differentiable harmonic plus noise model
Park et al. Unsupervised noise reduction scheme for voice-based information retrieval in mobile environments
Kleijn Signal processing representations of speech
Jinachitra Robust structured voice extraction for flexible expressive resynthesis
Li et al. Variable bit-rate sinusoidal transform coding using variable order spectral estimation

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20050921

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL LT LV MK

DAX Request for extension of the european patent (deleted)
RIN1 Information on inventor provided before grant (corrected)

Inventor name: ROSEC, OLIVIER

Inventor name: EN-NAJJARY, TAOUFIK

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RIC1 Information provided on ipc code assigned before grant

Ipc: G10L 21/00 20060101ALN20070817BHEP

Ipc: G10L 11/04 20060101AFI20070817BHEP

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

REF Corresponds to:

Ref document number: 602004013747

Country of ref document: DE

Date of ref document: 20080626

Kind code of ref document: P

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080514

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080514

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080825

NLV1 Nl: lapsed or annulled due to failure to fulfill the requirements of art. 29p and 29m of the patents act
PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080514

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080514

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080514

REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080514

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080514

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080514

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20081014

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080814

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080514

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080514

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20090217

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080814

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080514

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080514

BERE Be: lapsed

Owner name: FRANCE TELECOM

Effective date: 20090331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20090331

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20090331

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20090331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20090331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080815

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20090302

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20081115

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080514

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080514

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20160218

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20160223

Year of fee payment: 13

Ref country code: FR

Payment date: 20160219

Year of fee payment: 13

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 602004013747

Country of ref document: DE

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20170302

REG Reference to a national code

Ref country code: FR

Ref legal event code: ST

Effective date: 20171130

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170331

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20171003

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170302