EP1730729A1 - Procede et systeme ameliores de conversion d'un signal vocal - Google Patents

Procede et systeme ameliores de conversion d'un signal vocal

Info

Publication number
EP1730729A1
EP1730729A1 EP05736936A EP05736936A EP1730729A1 EP 1730729 A1 EP1730729 A1 EP 1730729A1 EP 05736936 A EP05736936 A EP 05736936A EP 05736936 A EP05736936 A EP 05736936A EP 1730729 A1 EP1730729 A1 EP 1730729A1
Authority
EP
European Patent Office
Prior art keywords
speaker
source
fundamental frequency
spectral envelope
converted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP05736936A
Other languages
German (de)
English (en)
Inventor
Touafik En-Najjary
Olivier Rosec
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of EP1730729A1 publication Critical patent/EP1730729A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
    • G10L21/013—Adapting to target pitch
    • G10L2021/0135—Voice conversion or morphing

Definitions

  • the present invention relates to a method for converting a voice signal spoken by a source speaker into a converted voice signal, the acoustic characteristics of which resemble those of a target speaker, and a system for converting a voice signal. corresponding conversion.
  • voice conversion applications such as voice services, human-machine oral dialogue applications or even text-to-speech synthesis, hearing is essential and, in order to obtain acceptable quality, master the acoustic parameters of voice signals.
  • the main acoustic or prosodic parameters modified during voice conversion processes are the parameters relating to the spectral envelope, and for voiced sounds involving the vibration of the vocal cords, the parameters relating to a periodic structure, ie the fundamental period, the reverse of which is called the fundamental frequency or "pitch".
  • Conventional voice conversion methods are essentially based on modifications of the spectral envelope characteristics and global modifications of the fundamental frequency characteristics.
  • the object of the present invention is to solve these problems by defining a simple and more efficient voice conversion method.
  • the subject of the present invention is a method of converting a voice signal pronounced by a source speaker into a converted voice signal whose acoustic characteristics resemble those of a target speaker, comprising: less a function for transforming the acoustic characteristics of the source speaker into acoustic characteristics close to those of the target speaker, from voice samples of the source and target speakers; and - the transformation of acoustic characteristics of the voice signal to be converted from the source speaker, by the application of said at least one transformation function, characterized in that said determination comprises the determination of a joint transformation function of characteristics relating to the spectral envelope and characteristics relating to the fundamental frequency of the source speaker and in that said transformation includes the application of said joint transformation function.
  • the method of the invention allows the simultaneous modification during a single operation of the characteristics of the spectral envelope and of fundamental frequency without creating any dependence between them.
  • - said determination of a joint transformation function comprises: - a step of analyzing the voice samples of the source and target speakers grouped together in frames to obtain, for each frame of samples of a speaker, information relating to the spectral envelope and the fundamental frequency; a step of concatenation of the information relating to the spectral envelope and to the fundamental frequency for each of the source and target speakers; a step of determining a model representing common acoustic characteristics of the voice samples of the source speaker and the target speaker; and a step of determining, from this model and the voice samples, of said joint transformation function; - said steps of analyzing the voice samples of the source and target speakers are adapted to deliver said information relating to the spectral envelope in the form of cepstral coefficients; - said analysis steps each include modeling the voice samples according to a sum of a harmonic signal
  • - Said step of determining a model corresponds to the determination of a model of mixture of densities of Gaussian probabilities;
  • - Said step of determining a model comprises: - a substep of determining a model corresponding to a mixture of density of Gaussian probabilities, and - a substep of estimating the parameters of the mixture of densities of Gaussian probabilities from the estimation of the maximum likelihood between the acoustic characteristics of the samples of the source and target speakers and the model;
  • - Said determination of at least one transformation function further comprises a step of normalization of the fundamental frequency of the sample frames of the source and target speakers respectively with respect to the averages of the fundamental frequencies of the analyzed samples of the source and target speakers;
  • the method comprises a step of temporal alignment of the acoustic characteristics of the source speaker with the acoustic characteristics of the target speaker, this step being carried out before said step of determining a model;
  • the method comprises a step of separating, in the voice samples
  • the subject of the invention is also a system for converting a voice signal pronounced by a source speaker into a converted voice signal whose acoustic characteristics resemble those of a target speaker, comprising: means for determining at least a function for transforming the acoustic characteristics of the source speaker into acoustic characteristics close to the target speaker, from vocal samples spoken by the source and target speakers: and - means for transforming the acoustic characteristics of the voice signal to be converted from the source speaker by the application of said at least one transformation function, characterized in that said means for determining at least one transformation function, comprise a unit for determining a joint transformation function of characteristics relating to the spectral envelope and characteristics relating to the fundamental frequency of the locute ur source and in that said transformation means comprise means for applying said joint transformation function.
  • this system further comprises: means for analyzing the voice signal to be converted, adapted to output information relating to the spectral envelope and the fundamental frequency of the voice signal to be converted; and - synthesis means making it possible to form a converted voice signal from at least said spectral envelope and fundamental frequency information transformed simultaneously;
  • Said means for determining at least one function for transforming acoustic characteristics further comprises a unit for determining a function for transforming the spectral envelope of the unvoiced frames, said unit for determining the joint transformation function being suitable for determining the joint transformation function only for voiced frames.
  • FIG. 1A and 1B form a general flow diagram of a first embodiment of the method of the invention
  • - Figs. 2A and 2B form a general flow diagram of a second embodiment of the method of the invention
  • - Fig. 3 is a graph representing an experimental statement of the performance of the process of the invention
  • - Fig. 4 is a block diagram of a system implementing a method according to the invention.
  • Voice conversion involves modifying the voice signal of a reference speaker called the source speaker, so that the signal produced seems to have been spoken by another speaker, called the target speaker.
  • Such a method comprises first of all the determination of functions for transforming acoustic or prosodic characteristics of the voice signals of the source speaker into acoustic characteristics close to those of the voice signals of the target speaker, from voice samples pronounced by the source speaker and the target speaker. More particularly, determination 1 of. transformation functions is performed on voice sample databases corresponding to the acoustic realization of the same phonetic sequences pronounced respectively by the source and target speakers. This determination is designated in FIG. 1A by the general reference numeral 1 and is also commonly called "learning”. The method then comprises a transformation of the acoustic characteristics of a voice signal to be converted pronounced by the source speaker using the function or functions previously determined. This transformation is designated by the general reference numeral 2 in FIG. 1 B.
  • the method begins with steps 4X and 4Y for analyzing the vocal samples pronounced respectively by the source and target speakers. These steps make it possible to group the samples by frames, in order to obtain for each frame of samples, information relating to the spectral envelope and information relating to the fundamental frequency.
  • the analysis steps 4X and 4Y are based on the use of a sound signal model in the form of a sum of a harmonic signal with a noise signal according to a model commonly called "HNM" (in English: Harmonie plus Noise Model).
  • the HNM model includes the modeling of each voice signal frame into a harmonic part representing the periodic component of the signal, consisting of a sum of L harmonic sinusoids of amplitude Ai and phase ⁇ , and a noisy part representing the noise friction and variation of glottal excitation.
  • h (n) therefore represents the harmonic approximation of signal s (n).
  • the embodiment described is based on a representation of the spectral envelope by the discrete cepstrum.
  • Steps 4X and 4Y comprise sub-steps 8X and 8Y of estimation for each frame, of the fundamental frequency, for example by means of an autocorrelation method.
  • Sub-steps 8X and 8Y are each followed by a sub-step 10X and 10Y of synchronized analysis of each frame on its fundamental frequency, which makes it possible to estimate the parameters of the harmonic part as well as the parameters of the signal noise and in particular the maximum voicing frequency.
  • this frequency can be arbitrarily fixed or be estimated by other known means.
  • this synchronized analysis corresponds to the determination of the parameters of the harmonics by minimization of a criterion of weighted least squares between the complete signal and its harmonic decomposition corresponding in the embodiment described, to the estimated noise signal.
  • the criterion noted E is equal to:
  • w (n) is the analysis window and T ⁇ is the fundamental period of the current frame.
  • T ⁇ is the fundamental period of the current frame.
  • these analyzes are made asynchronously with a fixed analysis step and a window of fixed size.
  • the analysis steps 4X and 4Y finally include sub-steps 12X and 12Y for estimating the parameters of the spectral envelope of the signals by using for example a regularized discrete cepstrum method and a transformation into a Bark scale to reproduce the most faithfully possible the properties of the human ear.
  • the analysis steps 4X and 4Y respectively deliver for the vocal samples pronounced by the source and target speakers, for each frame of rank n of samples of the speech signals, a scalar denoted F n representing the fundamental frequency and a vector denoted c n comprising spectral envelope information in the form of a sequence of cepstral coefficients.
  • the method of calculating cepstral coefficients corresponds to a procedure known from the state of the art and, for this reason, will not be described in more detail.
  • the steps 4X and 4Y of analysis are each followed by a step 14 X and 14Y of normalization of the value of the fundamental frequency of each frame with respect respectively to the fundamental frequencies of the source and target speakers in order to replace, for each frame of voice samples, the value of the fundamental frequency by a value of fundamental frequency normalized according to the following formula:
  • step 16X makes it possible to define for each frame n a vector denoted x n grouping the cepstral coefficients c x (n) and the normalized fundamental frequency g x (n) according to the following equation:
  • T designates the transposition operator.
  • step 16Y makes it possible to form for each frame n, a vector y n incorporating the cepstral coefficients c y (n) and the normalized fundamental frequency g y (n) according to the following equation:
  • Steps 16 X and 16Y are followed by a step 18 of alignment between the source vector x n and the target vector y n , so as to form a pairing between these vectors obtained by a conventional algorithm of dynamic temporal alignment known as " DTW ”(in English: Dynamic Time Warping).
  • the alignment step 18 is implemented only from the cepstral coefficients without using the fundamental frequency information.
  • the alignment step 18 therefore delivers a couple vector formed of pairs of cepstral coefficients and of fundamental frequency information from the source and target speakers, aligned in time.
  • the alignment step 18 is followed by a step 20 of determining a model representing the common acoustic characteristics of the source speaker and the target speaker from the spectral envelope and fundamental frequency information of all the samples analyzed.
  • a model representing the common acoustic characteristics of the source speaker and the target speaker from the spectral envelope and fundamental frequency information of all the samples analyzed.
  • it is a probabilistic model of the acoustic characteristics of the target speaker and the source speaker, according to a model of Gaussian probability density densities, commonly noted "GMM", the parameters of which are estimated at starting from the source and target vectors containing, for each speaker, the normalized fundamental frequency and the discrete cepstrum.
  • GMM Gaussian probability density densities
  • Q denotes the number of components of the model
  • N (z; ⁇ , ⁇ ) is the probability density of the normal distribution of mean ⁇ and covariance matrix ⁇ i
  • the coefficients ai are the coefficients of the mixture.
  • the coefficient ctj corresponds to the a priori probability that the random variable z will be generated by the i th Gaussian component of the mixture.
  • step 20 of determining the model includes a sub-step 22 of modeling the joint density p (z) of the source vectors noted x and target noted y, so that: " TT Zn-
  • Step 20 then comprises a sub-step 24 for estimating GMM parameters ( ⁇ , ⁇ , ⁇ ) of the density p (z) .
  • This estimation can be carried out, for example, using an algorithm classic type called "EM" (Expectation -
  • the initial parameters of the GMM model are determined using a standard vector quantization technique.
  • the model determination step 20 thus delivers the parameters of a mixture of Gaussian densities, representative of the common acoustic characteristics and in particular of the spectral envelope and of fundamental frequency, of the voice samples of the source speaker and of the target speaker.
  • the method then comprises a step 30 of determining from the model and the voice samples, a joint function of transformation of the fundamental frequency and of the spectral envelope provided by the cepstrum, of the signal from the source speaker to the target speaker.
  • step 30 includes a sub-step 32 for determining the conditional expectation of the acoustic characteristics of the target speaker knowing the acoustic characteristic information of the source speaker.
  • h ⁇ (x) corresponds to the posterior probability that the source vector x is generated by the i th component of the mixture model of Gaussian densities of the model.
  • the determination of the conditional expectation thus makes it possible to obtain the function of joint transformation of the characteristics of the spectral envelope and of fundamental frequency between the source speaker and the target speaker. It therefore appears that the analysis method of the invention makes it possible, from the model and the voice samples, to obtain a function of joint transformation of the acoustic characteristics of fundamental frequency and spectral envelope. Referring to FIG.
  • the conversion method then comprises the transformation 2 of a voice signal to be converted pronounced by the source speaker, which signal to be converted may be different from the voice signals used previously.
  • This transformation 2 begins with an analysis step 36 carried out, in the embodiment described, using a decomposition according to the HNM model similar to those carried out in steps 4X and 4Y described previously.
  • This step 36 makes it possible to deliver spectral envelope information in the form of cepstral coefficients, fundamental frequency information as well as phase and maximum voicing frequency information.
  • Step 36 is followed by a step 38 of formatting the acoustic characteristics of the signal to be converted by normalization of the fundamental frequency and concatenation with the cepstral coefficients in order to form a single vector.
  • This single vector is used during a step 40 of transformation of the acoustic characteristics of the voice signal to be converted by the application of the transformation function determined in step 30, to the cepstral coefficients of the signal to convert defined in step 36, as well as the fundamental frequency information.
  • each frame of samples of the signal to be converted from the source speaker is thus associated with spectral envelope and fundamental frequency information transformed simultaneously, the characteristics of which are similar to those of the speaker samples. target.
  • the method then comprises a step 42 of denormalization of the transformed fundamental frequency information.
  • F 0 [F (x)] corresponds to the denormalized transformed fundamental frequency, F 0 avg (y) to the average of the values of the fundamental frequencies of the target speaker and F [g x (n)] to the transform of the fundamental frequency source speaker standard.
  • the conversion method then comprises a step 44 of synthesis of the output signal carried out, in the example described, by an HNM type synthesis which directly delivers the converted voice signal from the information of the spectral envelope and of transformed fundamental frequency delivered by step 40 and phase and maximum voicing frequency information delivered by step 36.
  • the conversion method implementing the analysis method of the invention thus makes it possible to obtain a conversion of voices jointly performing spectral envelope and fundamental frequency modifications, so as to obtain a good quality auditory rendering.
  • FIG. 2A we will now describe the general flowchart of a second embodiment of the method of the invention. As before, this method includes the determination 1 of functions for transforming the acoustic characteristics of the source speaker into acoustic characteristics close to those of the target speaker.
  • This determination 1 begins with the implementation of steps 4X and 4Y of analysis of the voice samples spoken respectively by the source speaker and the target speaker. These steps 4X and 4Y are based on the use of the HNM model as described above and each deliver a scalar denoted F (n) representing the fundamental frequency and a vector denoted c (n) comprising spectral envelope information. in the form of a sequence of cepstral coefficients.
  • these analysis steps 4X and 4Y are followed by a step 50 of alignment of the vectors of cepstral coefficients resulting from the analysis of the frames of the source speaker and of the frames of the target speaker. This step 50 is implemented by an algorithm such as the DTW algorithm, similarly to step 18 of the first embodiment.
  • the method has a pair vector formed of pairs of cepstral coefficients of the source speaker and the target speaker, aligned in time.
  • This torque vector is also associated with the fundamental frequency information.
  • the alignment step 50 is followed by a step 54 of separation, in the couple vector, of the voiced frames and of the unvoiced frames. Indeed, only the voiced frames have a fundamental frequency and a sorting can be carried out by considering whether or not fundamental frequency information exists for each pair of the pair vector.
  • This separation step 54 then makes it possible to carry out the determination 56 of a joint transformation function of the spectral envelope and fundamental frequency characteristics of the voiced frames and the determination 58 of a transformation function of the only spectral envelope characteristics of the unvoiced frames.
  • the determination 56 of a function of transformation of the voiced frames begins with steps 60X and 60Y of normalization of the fundamental frequency information respectively for the source and target speakers. These steps 60X and 60Y are carried out in a similar manner to steps 14X and 14Y of the first embodiment and result in obtaining, for each voiced frame, of the frequency standardized for the source speaker noted g x (n) and that of the target speaker noted g y (n). These normalization steps 60X and 60Y are each followed by a step 62X and 62Y of concatenation of the cepstral coefficients c x and c y of the source speaker and the target speaker respectively with the normalized frequencies g x and
  • steps 62X and 62Y are performed in a similar manner to steps 16X and 16Y and make it possible to deliver a vector x n containing spectral envelope and fundamental frequency information for the voiced frames of the source speaker and a vector y n containing normalized spectral envelope and fundamental frequency information for the voiced frames of the target speaker.
  • the alignment between these two vectors is preserved as obtained at the end of step 50, the modifications occurring during steps 60X and 60Y for normalization and 62X and 62Y for concatenation being carried out directly inside. of the vector delivered by the alignment step 50.
  • the method then includes a step 70 of determining a model representing the common characteristics of the source speaker and the target speaker. Unlike step 20 described with reference to FIG.
  • this step 70 is implemented on the basis of the fundamental frequency and spectral envelope information of the only analyzed samples analyzed.
  • this step 70 is based on a probabilistic model according to a mixture of Gaussian density called GMM.
  • Step 70 thus comprises a sub-step 72 of modeling the density joined between the vectors X and Y produced in a similar manner to sub-step 22 described above.
  • This sub-step 72 is followed by a sub-step 74 for estimating the GMM parameters (a, ⁇ and ⁇ ) of the density p (z).
  • this estimation is carried out using an “EM” type algorithm allowing obtaining a maximum likelihood estimator between the data of the speech samples and the model.
  • Gaussian mixture is carried out using an “EM” type algorithm allowing obtaining a maximum likelihood estimator between the data of the speech samples and the model. Gaussian mixture.
  • Step 70 therefore delivers the parameters of a mixture of Gaussian densities, representative of the common acoustic characteristics of the spectral envelope and of the fundamental frequency of the voice samples voiced by the source speaker and the target speaker.
  • Step 70 is followed by a step 80 of determining a joint function for transforming the fundamental frequency and the spectral envelope of the voice samples voiced from the source speaker to the target speaker.
  • This step 80 is implemented in a similar manner to step 30 of the first embodiment and in particular also includes a sub-step 82 for determining the conditional expectation of the acoustic characteristics of the target speaker knowing the acoustic characteristics of the source speaker , this sub-step being implemented according to the same formulas as above, applied to the voiced samples only.
  • Step 80 thus leads to the obtaining of a joint transformation function of the characteristics of the spectral envelope and of fundamental frequency between the source speaker and the target speaker, applicable to voiced frames.
  • the determination 58 of a transformation function of the only characteristics of the spectral envelope of the unvoiced frames is also implemented.
  • the determination 58 includes a step 90 of determining a filtering function defined globally on the spectral envelope parameters, from pairs of unvoiced frames. This step 90 is carried out in a conventional manner by determining a GMM model or else any other suitable and known technique.
  • a function for transforming the spectral envelope characteristics of the unvoiced frames is obtained.
  • the method then comprises the transformation 2 of the acoustic characteristics of a voice signal to be converted.
  • this transformation 2 begins with a step of analysis 36 of the voice signal to be converted carried out according to an HNM model and a step 38 of formatting.
  • these steps 36 and 38 make it possible to deliver, in the form of a single vector, the information of spectral envelope and of normalized fundamental frequency.
  • step 36 delivers phase information and maximum voicing frequency.
  • step 38 is followed by a step 100 of separating, in the analyzed signal to be converted, voiced frames and unvoiced frames. This separation is carried out using a criterion based on the presence of non-zero fundamental frequency information.
  • Step 100 is followed by a step 102 of transformation of the acoustic characteristics of the voice signal to be converted by the application of the transformation functions determined during steps 80 and 90. More particularly, this step 102 comprises a sub-step 104 d application of the joint transformation function of the spectral envelope and fundamental frequency information, determined in step 80, to the only voiced frames as separated at the end of step 100. At the same time, step 102 comprises a sub-step 106 of applying the function of transforming only the spectral envelope information, determined in step 90, to only unvoiced frames as separated during step 100.
  • Sub-step 104 thus delivers for each frame of voiced samples of the signal to be converted from the source speaker, spectral envelope and fundamental frequency information transformed simultaneously and whose characteristics are similar to those of voiced samples from the target speaker.
  • Sub-step 106 delivers, for each frame of unvoiced samples of the signal to be converted from the source speaker, transformed spectral envelope information whose characteristics are similar to those of the unvoiced samples of the target speaker.
  • the method further comprises a step 108 of denormalizing the transformed fundamental frequency information, implemented on the information delivered by the sub-step 104 of transformation, in a similar manner to step 42 described with reference to FIG. 1 B.
  • the conversion method then comprises a step 110 of synthesis of the output signal carried out, in the example described, by a synthesis of HNM type which delivers the converted voice signal from the transformed spectral envelope and fundamental frequency information as well as phase and maximum voicing frequency information for the voiced frames and from the transformed spectral envelope information for the frames not seen.
  • the method of the invention therefore makes it possible, in this embodiment, to carry out a separate processing on the voiced frames and the unvoiced frames, the voiced frames undergoing a simultaneous transformation of the spectral envelope and fundamental frequency characteristics and the unvoiced frames undergoing a transformation of their only spectral envelope characteristics.
  • Such an embodiment allows a more precise transformation than the previous embodiment while retaining a limited complexity.
  • the efficiency of a conversion process can be assessed from identical voice samples spoken by the source speaker and the target speaker.
  • the voice signal pronounced by the source speaker is converted using the method of the invention and the resemblance of the converted signal with the signal pronounced by the target speaker is evaluated.
  • this resemblance is calculated as a ratio between the acoustic distance separating the converted signal from the target signal and the acoustic distance separating the target signal from the source signal.
  • FIG. 3 represents a graph of results obtained in the case of a conversion from male voice to female voice, the transformation functions being obtained from learning databases each containing 5 minutes of speech sampled at 16 kHz , the cepstral vectors used being of size 20 and the GMM model being with 64 components.
  • This graph represents on the abscissa the frame numbers and on the ordinate the frequency in hertz of the signal. The results shown are characteristic for voiced frames which extend approximately from frames 20 to 85.
  • the curve Cx represents the fundamental frequency characteristics of the source signal and the curve Cy those of the target signal.
  • the curve Ci represents the fundamental frequency characteristics of a signal obtained by a conventional linear conversion. It appears that this signal has the same general shape as that of the source signal represented by the curve Cx.
  • the curve C 2 represents the fundamental frequency characteristics of a signal converted using the method of the invention as described with reference to Figures 2A and 2B. It is obvious that the fundamental frequency curve of the signal converted using the method of the invention has a general shape very close to the target fundamental frequency curve Cy.- In FIG.
  • a diagram has been represented. functional block of a voice conversion system implementing the method described with reference to FIGS. 2A and 2B.
  • This "system uses as input a 120 voice samples database spoken by the source speaker and a database 122 containing at least the same speech samples uttered by the target speaker.
  • These two databases are used by a module 124 for determining functions for transforming the acoustic characteristics of the source speaker into the acoustic characteristics of the target speaker.
  • This module 124 is suitable for the implementation of steps 56 and 58 of the method as described with reference to FIG. 2 and therefore allows the determination of a transformation function of the spectral envelope of the unvoiced frames and of a function of joint transformation of the spectral envelope and the fundamental frequency of the voiced frames.
  • the module 124 includes a unit 126 for determining the joint transformation function of the spectral envelope and the fundamental frequency of the voiced frames and a unit 128 for determining the transformation function of the envelope spectral of unvoiced frames.
  • the voice conversion system receives as input a voice signal 130 corresponding to a speech signal spoken by the source speaker and intended to be converted.
  • the signal 130 is introduced into a signal analysis module 132, implementing, for example, an HNM type decomposition making it possible to dissociate spectral envelope information from the signal 130 in the form of cepstral coefficients and frequency information. fundamental.
  • the module 132 also delivers phase information and maximum voicing frequency obtained by the application of the HNM model.
  • the module 132 therefore implements step 36 of the method described above and advantageously step 38.
  • this analysis can be done beforehand and the information is stored for later use.
  • the system then comprises a module 134 for separating voiced frames and unvoiced frames in the analyzed speech signal to be converted.
  • the voiced frames, separated by the module 134 are transmitted to a transformation module 136 adapted to apply the joint transformation function determined by the unit 126.
  • the transformation module 136 implements step 104 described with reference in Figure 2B.
  • the module 136 also implements the denormalization step 108.
  • the unvoiced frames, separated by the module 134, are transmitted to a transformation module 138 adapted to apply the transformation function determined by the unit 128 so as to transform the cepstral coefficients of the unvoiced frames.
  • the module 138 for transforming unvoiced frames implements step 106 described in FIG. 2B.
  • the system also includes a synthesis module 140 receiving as input, for the voiced frames the spectral envelope and fundamental frequency information transformed jointly and the phase and maximum voicing frequency information delivered by the module 136.
  • the module 140 receives also the cepstral coefficients of the unvoiced frames transformed and delivered by the module 138.
  • the module 140 thus implements step 110 of the method described with reference to FIG. 2B and delivers a signal 150 corresponding to the voice signal
  • the system described can be implemented in various ways and in particular using adapted computer programs and connected to hardware means of sound acquisition.
  • the system comprises in module 124, a single unit for determining a joint transformation function of the envelope spectral and fundamental frequency.
  • the modules 134 for separation and 138 for applying the transformation function of the unvoiced frames are not necessary.
  • the module 136 therefore makes it possible to apply the only joint transformation function to all the frames of the voice signal to be converted and delivers the transformed frames to the synthesis module 140.
  • the system is suitable for the implementation of all the steps of the methods described with reference to FIGS. 1 and 2.
  • the system can also be implemented on specific databases in order to form databases of converted signals ready for use.
  • the analysis is done in deferred time and the parameters of the HNM analysis are stored for later use in steps 40 or 100 by the module 134.
  • the method of the invention and the corresponding system can be implemented in real time.
  • the HNM and GMM models can be replaced by other techniques and models known to those skilled in the art.
  • the analysis is carried out using techniques called LPC (Linear Predictive Coding), sinusoidal models or MBE (Multi Band Excited), the spectral parameters are parameters called LSF (Line Spectrum Frequencies), or parameters related to formants or to a glottic signal.
  • LPC Linear Predictive Coding
  • MBE Multi Band Excited
  • the spectral parameters are parameters called LSF (Line Spectrum Frequencies), or parameters related to formants or to a glottic signal.
  • the GMM model is replaced by a vector quantization (Fuzzy VQ.).
  • the estimator implemented during step 30 is an a posteriori maximum criterion, called "MAP" and corresponding to the realization of the computation of • expectation only for the model best representing the pair of vectors target source.
  • MAP a posteriori maximum criterion
  • the determination of a joint transformation function is carried out using a so-called least squares technique instead of the estimation of the joint density described.
  • the determination of a transformation function comprises modeling the probability density of the source vectors using a GMM model and then determining the parameters of the model using an EM algorithm.
  • the modeling thus takes into account the speech segments of the source speaker whose correspondents spoken by the target speaker are not available.
  • the determination then includes the minimization of a least squares criterion between target and source parameters to obtain the transformation function. It should be noted that the estimator of this function is always expressed in the same way but that the parameters are estimated differently and that additional data are taken into account.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Complex Calculations (AREA)
  • Stereophonic System (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

Ce procédé de conversion d'un signal vocal prononcé par un locuteur source en un signal vocal converti dont les caractéristiques acoustiques ressemblent à celles d'un locuteur cible, comprend : - la détermination (1) d'au moins une fonction de transformation de caractéristiques acoustiques du locuteur source en caractéristiques acoustiques proches de celles du locuteur cible ; et - la transformation de caractéristiques acoustiques du signal vocal à convertir, par ladite au moins une fonction de transformation. Il est caractérisé en ce que ladite détermination (1) comprend la détermination (1) d'une fonction de transformation conjointe de caractéristiques relatives à l'enveloppe spectrale et de caractéristiques relatives à la fréquence fondamentale du locuteur source et en ce que ladite transformation comprend l'application de ladite fonction de transformation conjointe.

Description

Procédé et système améliorés de conversion d'un signal vocal La présente invention concerne un procédé de conversion d'un signal vocal prononcé par un locuteur source en un signal vocal converti dont les caractéristiques acoustiques ressemblent à celles d'un locuteur cible et un système de conversion correspondant. Dans le cadre d'applications de conversion de voix, telles que les services vocaux, les applications de dialogue oral homme-machine ou encore la synthèse vocale de textes, le rendu auditif est primordial et, pour obtenir une qualité acceptable, il convient de bien maîtriser les paramètres acoustiques des signaux vocaux. De manière classique, les principaux paramètres acoustiques ou prosodiques modifiés lors de procédés de conversion de voix sont les paramètres relatifs à l'enveloppe spectrale, et pour les sons voisés faisant intervenir la vibration des cordes vocales, les paramètres relatifs à une structure périodique, soit la période fondamentale dont l'inverse est appelé fréquence fondamentale ou « pitch ». Les procédés de conversion de voix classiques sont essentiellement fondés sur des modifications des caractéristiques d'enveloppe spectrale et des modifications globales des caractéristiques de fréquence fondamentale. Une étude plus récente, publiée à l'occasion de la conférence EUROSPEECH 2003 sous le titre « A new method for pitch prédiction from spectral envelope and its application in voice conversion » par Taoufik En- Najjary, Olivier Rosec and Thierry Chonavel, prévoit la possibilité d'affiner la modification des caractéristiques de fréquence fondamentale en définissant une fonction de prédiction de ces caractéristiques, en fonction de caractéristiques d'enveloppe spectrale. Ainsi, ce procédé permet de modifier les caractéristiques d'enveloppe spectrale, et en fonction de celles-ci, de modifier les caractéristiques de fréquence fondamentale. Ce procédé présente toutefois l'inconvénient important de rendre la modification des caractéristiques de fréquence fondamentale dépendantes de la modification des caractéristiques d'enveloppe spectrale. Ainsi une erreur de transformation de l'enveloppe spectrale se répercute automatiquement sur la prédiction de fréquence fondamentale. De plus, la mise en œuvre d'un tel procédé requiert deux étapes importantes de calcul, soit la modification des caractéristiques d'enveloppe spectrale et la prédiction de la fréquence fondamentale, aboutissant ainsi à doubler la complexité du système dans son ensemble. Le but de la présente invention est de résoudre ces problèmes en définissant un procédé de conversion de voix simple et plus efficace. A cet effet, la présente invention a pour objet un procédé de conversion d'un signal vocal prononcé par un locuteur source en un signal vocal converti dont les caractéristiques acoustiques ressemblent à celles d'un locuteur cible, comprenant : - la détermination d'au moins une fonction de transformation de caractéristiques acoustiques du locuteur source en caractéristiques acoustiques proches de celles du locuteur cible, à partir d'échantillons vocaux des locuteurs source et cible ; et - la transformation de caractéristiques acoustiques du signal vocal à convertir du locuteur source, par l'application de ladite au moins une fonction de transformation, caractérisé en ce que ladite détermination comprend la détermination d'une fonction de transformation conjointe de caractéristiques relatives à l'enveloppe spectrale et de caractéristiques relatives à la fréquence fondamentale du locuteur source et en ce que ladite transformation comprend l'application de ladite fonction de transformation conjointe. Ainsi, le procédé de l'invention permet la modification simultanée au cours d'une seule opération des caractéristiques d'enveloppe spectrale et de fréquence fondamentale sans créer de dépendance entre celles-ci. . Suivant d'autres caractéristiques de l'invention : - ladite détermination d'une fonction de transformation conjointe comprend : - une étape d'analyse des échantillons vocaux des locuteurs source et cible regroupés en trames pour obtenir, pour chaque trame d'échantillons d'un locuteur, des informations relatives à l'enveloppe spectrale et à la fréquence fondamentale ; - une étape de concaténation des informations relatives à l'enveloppe spectrale et à la fréquence fondamentale pour chacun des locuteurs source et cible ; - une étape de détermination d'un modèle représentant des caractéristiques acoustiques communes des échantillons vocaux du locuteur source et du locuteur cible ; et - une étape de détermination, à partir de ce modèle et des échantillons vocaux, de ladite fonction de transformation conjointe ; - lesdites étapes d'analyse des échantillons vocaux des locuteurs source et cible sont adaptées pour délivrer lesdites informations relatives à l'enveloppe spectrale sous la forme de coefficients cepstraux ; - lesdites étapes d'analyse comprennent chacune la modélisation des échantillons vocaux selon une somme d'un signal harmonique et d'un signal de bruit qui comprend : - une sous-étape d'estimation de la fréquence fondamentale des échantillons vocaux ; - une sous-étape d'analyse synchronisée de chaque trame d'échantillons sur sa fréquence fondamentale ; et - une sous-étape d'estimation de paramètres d'enveloppe spectrale de chaque trame d'échantillons. - ladite étape de détermination d'un modèle correspond à la détermination d'un modèle de mélange de densités de probabilités gaussiennes; - ladite étape de détermination d'un modèle comprend : - une sous-étape de détermination d'un modèle correspondant à un mélange de densité de probabilités gaussiennes, et - une sous-étape d'estimation des paramètres du mélange de densités de probabilités gaussiennes à partir de l'estimation du maximum de vraisemblance entre les caractéristiques acoustiques des échantillons des locuteurs source et cible et le modèle ; - ladite détermination d'au moins une fonction de transformation, comporte en outre une étape de normalisation de la fréquence fondamentale des trames d'échantillons des locuteurs source et cible respectivement par rapport aux moyennes des fréquences fondamentales des échantillons analysés des locuteurs source et cible ; - le procédé comporte une étape d'alignement temporel des caractéristiques acoustiques du locuteur source avec les caractéristiques acoustiques du locuteur cible, cette étape étant réalisée avant ladite étape de détermination d'un modèle ; - le procédé comporte une étape de séparation dans les échantillons vocaux du locuteur source et du locuteur cible, des trames à caractère voisé et des trames à caractère non voisé, ladite détermination d'une fonction de transformation conjointe des caractéristiques relatives à l'enveloppe spectrale et à la fréquence fondamentale étant réalisée uniquement à partir desdites trames voisées et le procédé comportant une détermination d'une fonction de transformation des seules caractéristiques d'enveloppe spectrale uniquement à partir desdites trames non voisées ; - ladite détermination d'au moins une fonction de transformation comprend uniquement ladite étape de détermination d'une fonction de transformation conjointe ; - ladite détermination d'une fonction de transformation conjointe est réalisée à partir d'un estimateur de la réalisation des caractéristiques acoustiques du locuteur cible sachant les caractéristiques acoustiques du locuteur source ; - ledit estimateur est formé de l'espérance conditionnelle de la réalisation des caractéristiques acoustiques du locuteur cible sachant la réalisation des caractéristiques acoustiques du locuteur source ; - ladite transformation de caractéristiques acoustiques du signal vocal à convertir, comporte : - une étape d'analyse de ce signal vocal, regroupé en trames pour obtenir, pour chaque trame d'échantillons, des informations relatives à l'enveloppe spectrale et à la fréquence fondamentale ; - une étape de formatage des informations acoustiques relatives à l'enveloppe spectrale et à la fréquence fondamentale du signal vocal à convertir ; et - une étape de transformation des informations acoustiques formatées du signal vocal à convertir à l'aide de ladite fonction de transformation conjointe ; - le procédé comporte une étape de séparation, dans ledit signal vocal à convertir, des trames voisées et des trames non voisées, ladite étape de transformation comprenant : - une sous-étape d'application de ladite fonction de transformation conjointe aux seules trames voisées dudit signal à convertir ; et - une sous-étape d'application de ladite fonction de transformation des seules caractéristiques d'enveloppe spectrale auxdites trames non voisées dudit signal à convertir ; - ladite étape de transformation comprend l'application de ladite fonction de transformation conjointe aux caractéristiques acoustiques de toutes les trames dudit signal vocal à convertir ; - le procédé comporte en outre une étape de synthèse permettant de former un signal vocal converti à partir des dites informations acoustiques transformées. L'invention a également pour objet un système de conversion d'un signal vocal prononcé par un locuteur source en un signal vocal converti dont les caractéristiques acoustiques ressemblent à celles d'un locuteur cible, comprenant : - des moyens de détermination d'au moins une fonction de transformation des caractéristiques acoustiques du locuteur source en caractéristiques acoustiques proches du locuteur cible, à partir d'échantillons vocaux prononcés par les locuteurs source et cible : et - des moyens de transformation des caractéristiques acoustiques du signal vocal à convertir du locuteur source par l'application de ladite au moins une fonction de transformation, caractérisé en ce que lesdits moyens de détermination d'au moins une fonction de transformation, comprennent une unité de détermination d'une fonction de transformation conjointe de caractéristiques relatives à l'enveloppe spectrale et de caractéristiques relatives à la fréquence fondamentale du locuteur source et en ce que lesdits moyens de transformation comportent des moyens d'application de ladite fonction de transformation conjointe. Selon d'autres caractéristiques de ce système : - il comporte en outre : - des moyens d'analyse du signal vocal à convertir, adaptés pour délivrer en sortie des informations relatives à l'enveloppe spectrale et à la fréquence fondamentale du signal vocal à convertir ; et - des moyens de synthèse permettant de former un signal vocal converti à partir au moins desdites informations d'enveloppe spectrale et de fréquence fondamentale transformées simultanément ; - lesdits moyens de détermination d'au moins une fonction de transformation de caractéristiques acoustiques comportent en outre une unité de détermination d'une fonction de transformation de l'enveloppe spectrale des trames non voisées, ladite unité de détermination de la fonction de transformation conjointe étant adaptée pour la détermination de la fonction de transformation conjointe uniquement pour les trames voisées. L'invention sera mieux comprise à la lecture de la description qui va suivre, donnée uniquement à titre d'exemple et faite en se référant aux dessins annexés, sur lesquels : - les Figs. 1A et 1 B forment un organigramme général d'un premier mode de réalisation du procédé de l'invention ; - les Figs. 2A et 2B forment un organigramme général d'un second mode de réalisation du procédé de l'invention ; - la Fig. 3 est un graphique représentant un relevé expérimental des performances du procédé de l'invention ; et - la Fig. 4 est un schéma synoptique d'un système mettant en œuvre un procédé selon l'invention. La conversion de voix consiste à modifier le signal vocal d'un locuteur de référence appelé locuteur source, de telle sorte que le signal produit semble avoir été prononcé par un autre locuteur, nommé locuteur cible. Un tel procédé comporte tout d'abord la détermination de fonctions de transformation de caractéristiques acoustiques ou prosodiques des signaux vocaux du locuteur source en caractéristiques acoustiques proches de celles des signaux vocaux du locuteur cible, à partir d'échantillons vocaux prononcés par le locuteur source et le locuteur cible. Plus particulièrement, la détermination 1 de . fonctions de transformation est réalisée sur des bases de données d'échantillons vocaux correspondant à la réalisation acoustique de mêmes séquences phonétiques prononcées respectivement par les locuteurs source et cible. Cette détermination est désignée sur la figure 1A par la référence numérique générale 1 et est également couramment appelée « apprentissage ». Le procédé comporte ensuite une transformation des caractéristiques acoustiques d'un signal vocal à convertir prononcé par le locuteur source à l'aide de la ou des fonctions déterminées précédemment. Cette transformation est désignée par la référence numérique générale 2 sur la figure 1 B. Le procédé débute par des étapes 4X et 4Y d'analyse des échantillons vocaux prononcés respectivement par les locuteurs source et cible. Ces étapes permettent de regrouper les échantillons par trames, afin d'obtenir pour chaque trame d'échantillons, des informations relatives à l'enveloppe spectrale et des informations relatives à la fréquence fondamentale. Dans le mode de réalisation décrit, les étapes 4X et 4Y d'analyse sont fondées sur l'utilisation d'un modèle de signal sonore sous la forme d'une somme d'un signal harmonique avec un signal de bruit selon un modèle communément appelé "HNM" (en anglais : Harmonie plus Noise Model). Le modèle HNM comprend la modélisation de chaque trame de signal vocal en une partie harmonique représentant la composante périodique du signal, constituée d'une somme de L sinusoïdes harmoniques d'amplitude Ai et de phase φι, et d'une partie bruitée représentant le bruit de friction et la variation de l'excitation glottale. On peut ainsi écrire : s(n)=h(n)+b(n) L avec h(n)= TAι(n)cos(φι(n)) 1=1 Le terme h(n) représente donc l'approximation harmonique du signal s(n). En outre, le mode de réalisation décrit est fondé sur une représentation de l'enveloppe spectrale par le cepstre discret. Les étapes 4X et 4Y comportent des sous-étapes 8X et 8Y d'estimation pour chaque trame, de la fréquence fondamentale, par exemple au moyen d'une méthode d'autocorrélation. Les sous-étapes 8X et 8Y sont chacune suivies d'une sous-étape 10X et 10Y d'analyse synchronisée de chaque trame sur sa fréquence fondamentale, qui permet d'estimer les paramètres de la partie harmonique ainsi que les paramètres du bruit du signal et notamment la fréquence maximale de voisement. En variante, cette fréquence peut être fixée arbitrairement ou être estimée par d'autres moyens connus. Dans le mode de réalisation décrit, cette analyse synchronisée correspond à la détermination des paramètres des harmoniques par minimisation d'un critère de moindres carrés pondérés entre le signal complet et sa décomposition harmonique correspondant dans le mode de réalisation décrit, au signal de bruit estimé. Le critère noté E est égal à : Dans cette équation, w (n) est la fenêtre d'analyse et T\ est la période fondamentale de la trame courante. Ainsi, la fenêtre d'analyse est centrée autour de la marque de la période fondamentale et a pour durée deux fois cette période. En variante, ces analyses sont faites de manière asynchrone avec un pas fixe d'analyse et une fenêtre de taille fixe. Les étapes 4X et 4Y d'analyse comportent enfin des sous-étapes 12X et 12Y d'estimation des paramètres de l'enveloppe spectrale des signaux en utilisant par exemple une méthode de cepstre discret régularisé et une transformation en échelle de Bark pour reproduire le plus fidèlement possible les propriétés de l'oreille humaine. Ainsi, les étapes 4X et 4Y d'analyse délivrent respectivement pour les échantillons vocaux prononcés par les locuteurs source et cible, pour chaque trame de rang n d'échantillons des signaux de parole, un scalaire noté Fn représentant la fréquence fondamentale et un vecteur noté cn comprenant des informations d'enveloppe spectrale sous la forme d'une séquence de coefficients cepstraux. Le mode de calcul des coefficients cepstraux correspond à un mode opératoire connu de l'état de la technique et, pour cette raison, ne sera pas décrit plus en détail. Avantageusement, les étapes 4X et 4Y d'analyse sont suivies chacune par une étape 14 X et 14Y de normalisation de la valeur de la fréquence fondamentale de chaque trame par rapport respectivement aux fréquences fondamentales des locuteurs source et cible afin de remplacer, pour chaque trame d'échantillons vocaux, la valeur de la fréquence fondamentale par une valeur de fréquence fondamentale normalisée selon la formule suivante :
Dans cette formule, Fm°y correspond aux moyennes des valeurs des
fréquences fondamentales sur chaque base de données analysée, soit sur la base de données d'échantillons vocaux du locuteur source et du locuteur cible. Cette normalisation permet de modifier, pour chaque locuteur, l'échelle de variations des scalaires de fréquence fondamentale afin de la rendre cohérente avec l'échelle des variations des coefficients cepstraux. Pour chaque trame n, on note gx(n) la fréquence fondamentale normalisée pour le locuteur source et gy(n) celle du locuteur cible. Le procédé de l'invention comporte ensuite des étapes 16X et 16Y de concaténation pour chaque locuteur source et cible, des informations d'enveloppe spectrale et de fréquence fondamentale sous la forme d'un unique vecteur. Ainsi, l'étape 16X permet de définir pour chaque trame n un vecteur noté xn regroupant les coefficients cepstraux cx(n) et la fréquence fondamentale normalisée gx(n) selon l'équation suivante : Dans cette équation, T désigne l'opérateur de transposition. De manière similaire, l'étape 16Y permet de former pour chaque trame n, un vecteur yn reprenant les coefficients cepstraux cy(n) et la fréquence fondamentale normalisée gy(n) selon l'équation suivante : Les étapes 16 X et 16Y sont suivies d'une étape 18 d'alignement entre le vecteur source xn et le vecteur cible yn, de manière à former un appariement entre ces vecteurs obtenu par un algorithme classique d'alignement temporel dynamique dit « DTW » (en anglais : Dynamic Time Warping). En variante, l'étape 18 d'alignement est mise en œuvre uniquement à partir des coefficients cepstraux sans utiliser les informations de fréquence fondamentale. L'étape 18 d'alignement délivre donc un vecteur couple formé de couples de coefficients cepstraux et d'informations de fréquence fondamentale des locuteurs source et cible, alignés temporellement. L'étape 18 d'alignement est suivie d'une étape 20 de détermination d'un modèle représentant les caractéristiques acoustiques communes du locuteur source et du locuteur cible à partir des informations d'enveloppe spectrale et de fréquence fondamentale de tous les échantillons analysés. Dans le mode de réalisation décrit, il s'agit d'un modèle probabiliste des caractéristiques acoustiques du locuteur cible et du locuteur source, selon un modèle de mélange de densités de probabilités gaussiennes, couramment noté "GMM", dont les paramètres sont estimés à partir des vecteurs source et cible contenant, pour chaque locuteur, la fréquence fondamentale normalisée et le cepstre discret. De manière classique, la densité de probabilité d'une variable aléatoire notée de manière générale p(z), suivant un modèle de mélange de densités gaussiennes GMM s'écrit mathématiquement de la manière suivante : Q avec Tα,. = 1 , o<αι<1 ι=l Dans cette formule, Q désigne le nombre de composantes du modèle, N(z ; μι, ∑ι) est la densité de probabilité de la loi normale de moyenne μι et de matrice de covariance ∑i et les coefficients ai sont les coefficients du mélange. Ainsi, le coefficient ctj correspond à la probabilité a priori que la variable aléatoire z soit générée par la ie e composante gaussienne du mélange. De manière plus particulière, l'étape 20 de détermination du modèle comporte une sous-étape 22 de modélisation de la densité jointe p(z) des vecteurs source noté x et cible noté y, de sorte que : " T T Zn-|xn Υn , L'étape 20 comporte ensuite une sous-étape 24 d'estimation de paramètres GMM (α, μ, Σ) de la densité p(z). Cette estimation peut être réalisée, par exemple, à l'aide d'un algorithme classique de type dit "EM" (Expectation -
Maximisation), correspondant à une méthode itérative conduisant à l'obtention d'un estimateur de maximum de vraisemblance entre les données des échantillons de parole et le modèle de mélange de gaussiennes. La détermination des paramètres initiaux du modèle GMM est obtenue à l'aide d'une technique classique de quantification vectorielle. L'étape 20 de détermination de modèle délivre ainsi les paramètres d'un mélange de densités gaussiennes, représentatif des caractéristiques acoustiques communes et en particulier d'enveloppe spectrale et de fréquence fondamentale, des échantillons vocaux du locuteur source et du locuteur cible. Le procédé comporte ensuite une étape 30 de détermination à partir du modèle et des échantillons vocaux, d'une fonction conjointe de transformation de la fréquence fondamentale et de l'enveloppe spectrale fournie par le cepstre, du signal du locuteur source vers le locuteur cible. Cette fonction de transformation est déterminée à partir d'un estimateur de la réalisation des caractéristiques acoustiques du locuteur cible étant donné les caractéristiques acoustiques du locuteur source, formé dans le mode de réalisation décrit, par l'espérance conditionnelle. Pour cela, l'étape 30 comporte une sous-étape 32 de détermination de l'espérance conditionnelle des caractéristiques acoustiques du locuteur cible sachant les informations caractéristiques acoustiques du locuteur source. L'espérance conditionnelle est notée F(x) et est déterminée à partir des formules suivantes : i V VX XX A X F(x)=E[y \ x]=∑hi(x)[μγ + Σy (Σ . ) "1(x-μ .)] 7~ι i i i i Dans ces équations, hι(x) correspond à la probabilité a posteriori que le vecteur source x soit généré par la ieme composante du modèle de mélange de densités gaussiennes du modèle. La détermination de l'espérance conditionnelle permet ainsi d'obtenir la fonction de transformation conjointe des caractéristiques d'enveloppe spectrale et de fréquence fondamentale entre le locuteur source et le locuteur cible. Il apparaît donc que le procédé d'analyse de l'invention permet, à partir du modèle et des échantillons vocaux, d'obtenir une fonction de transformation conjointe des caractéristiques acoustiques de fréquence fondamentale et d'enveloppe spectrale. En référence à la figure 1 B, le procédé de conversion comporte ensuite la transformation 2 d'un signal vocal à convertir prononcé par le locuteur source, lequel signal à convertir peut être différent des signaux vocaux utilisés précédemment. Cette transformation 2 débute par une étape d'analyse 36 réalisée, dans le mode de réalisation décrit, à l'aide d'une décomposition selon le modèle HNM similaire à celles réalisées dans les étapes 4X et 4Y décrites précédemment. Cette étape 36 permet de délivrer des informations d'enveloppe spectrale sous la forme de coefficients cepstraux, des informations de fréquence fondamentale ainsi que des informations de phase et de fréquence maximale de voisement. L'étape 36 est suivie d'une étape 38 de formatage des caractéristiques acoustiques du signal à convertir par normalisation de la fréquence fondamentale et concaténation avec les coefficients cepstraux afin de former un unique vecteur. Cet unique vecteur est utilisé lors d'une étape 40 de transformation des caractéristiques acoustiques du signal vocal à convertir par l'application de la fonction de transformation déterminée à l'étape 30, aux coefficients cepstraux du signal à convertir définis lors de l'étape 36, ainsi qu'aux informations de fréquence fondamentale. A l'issue de l'étape 40, chaque trame d'échantillons du signal à convertir du locuteur source est ainsi associée à des informations d'enveloppe spectrale et de fréquence fondamentale transformées simultanément, dont les caractéristiques sont similaires à celles des échantillons du locuteur cible. Le procédé comporte ensuite une étape 42 de dénormalisation des informations de fréquence fondamentale transformées. Cette étape 42 permet de ramener les informations de fréquence fondamentale transformées sur une échelle propre au locuteur cible selon l'équation suivante : K{F(x)} = Fm°y(y) .e ^(n)} o Dans cette équation F0[F(x)] correspond à la fréquence fondamentale transformée dénormalisée, F0 moy(y) à la moyenne des valeurs des fréquences fondamentales du locuteur cible et F[gx(n)] à la transformée de la fréquence fondamentale normalisée du locuteur source. De manière classique, le procédé de conversion comporte ensuite une étape 44 de synthèse du signal de sortie réalisée, dans l'exemple décrit, par une synthèse de type HNM qui délivre directement le signal vocal converti à partir des informations d'enveloppe spectrale et de fréquence fondamentale transformées délivrées par l'étape 40 et des informations de phase et de fréquence maximale de voisement délivrées par l'étape 36. Le procédé de conversion mettant en œuvre le procédé d'analyse de l'invention permet ainsi d'obtenir une conversion de voix réalisant conjointement des modifications d'enveloppe spectrales et de fréquence fondamentale, de manière à obtenir un rendu auditif de bonne qualité. En référence à la figure 2A, on va maintenant décrire l'organigramme général d'un second mode de réalisation du procédé de l'invention. De même que précédemment, ce procédé comporte la détermination 1 de fonctions de transformation de caractéristiques acoustiques du locuteur source en caractéristiques acoustiques proches de celles du locuteur cible. Cette détermination 1 débute par la mise en œuvre des étapes 4X et 4Y d'analyse des échantillons vocaux prononcés respectivement par le locuteur source et le locuteur cible. Ces étapes 4X et 4Y sont fondées sur l'utilisation du modèle HNM ainsi que cela a été décrit précédemment et délivrent chacune un scalaire noté F(n) représentant la fréquence fondamentale et un vecteur noté c(n) comprenant des informations d'enveloppe spectrale sous la forme d'une séquence de coefficients cepstraux. Dans ce mode de réalisation, ces étapes 4X et 4Y d'analyse sont suivies d'une étape 50 d'alignement des vecteurs de coefficients cepstraux issus de l'analyse des trames du locuteur source et des trames du locuteur cible. Cette étape 50 est mise en œuvre par un algorithme tel que l'algorithme DTW, de manière similaire à l'étape 18 du premier mode de - réalisation. A l'issue de l'étape 50 d'alignement, le procédé dispose d'un vecteur couple formé de couples de coefficients cepstraux du locuteur source et du locuteur cible, alignés temporellement. Ce vecteur couple est également associé aux informations de fréquence fondamentale. L'étape 50 d'alignement est suivie d'une étape 54 de séparation, dans le vecteur couple, des trames voisées et des trames non voisées. En effet, seules les trames voisées présentent une fréquence fondamentale et un tri peut être effectué en considérant si oui ou non des informations de fréquence fondamentale existent pour chaque couple du vecteur couple. Cette étape de séparation 54 permet ensuite de réaliser la détermination 56 d'une fonction de transformation conjointe des caractéristiques d'enveloppe spectrale et de fréquence fondamentale des trames voisées et la détermination 58 d'une fonction de transformation des seules caractéristiques d'enveloppe spectrale des trames non voisées. La détermination 56 d'une fonction de transformation des trames voisées débute par des étapes 60X et 60Y de normalisation des informations de fréquence fondamentale respectivement pour les locuteurs source et cible. Ces étapes 60X et 60Y sont réalisées de manière similaire aux étapes 14X et 14Y du premier mode de réalisation et aboutissent à l'obtention, pour chaque trame voisée, de la fréquence normalisée pour le locuteur source notée gx(n) et de celle du locuteur cible notée gy(n). Ces étapes 60X et 60Y de normalisation sont suivies chacune d'une étape 62X et 62Y de concaténation des coefficients cepstraux cx et cy du locuteur source et du locuteur cible respectivement avec les fréquences normalisées gx et
9y Ces étapes 62X et 62Y de concaténation sont réalisées de manière similaire aux étapes 16X et 16Y et permettent de délivrer un vecteur xn contenant des informations d'enveloppe spectrale et de fréquence fondamentale pour les trames voisées du locuteur source et un vecteur yn contenant des informations d'enveloppe spectrale et de fréquence fondamentale normalisées pour les trames voisées du locuteur cible. De plus, l'alignement entre ces deux vecteurs est conservé tel qu'obtenu à l'issue de l'étape 50, les modifications survenues lors des étapes 60X et 60Y de normalisation et 62X et 62Y de concaténation étant réalisées directement à l'intérieur du vecteur délivré par l'étape 50 d'alignement. Le procédé comporte ensuite une étape 70 de détermination d'un modèle représentant les caractéristiques communes du locuteur source et du locuteur cible. A la différence de l'étape 20 décrite en référence à la figure 1A, cette étape 70 est mise en œuvre à partir des informations de fréquence fondamentale et d'enveloppe spectrale des seuls échantillons voisés analysés. Dans ce mode de réalisation, cette étape 70 est fondée sur un modèle probabiliste selon un mélange de densité gaussienne dit GMM. L'étape 70 comporte ainsi une sous-étape 72 de modélisation de la densité jointe entre les vecteurs X et Y réalisés de manière similaire à la sous- étape 22 décrite précédemment. Cette sous-étape 72 est suivie d'une sous-étape 74 d'estimation des paramètres GMM (a , μ et Σ) de la densité p(z). De même que dans le mode de réalisation décrit précédemment, cette estimation est réalisée à l'aide d'un algorithme de type « EM » permettant l'obtention d'un estimateur de maximum de vraisemblance entre les données des échantillons de paroles et le modèle de mélange de gaussienne. L'étape 70 délivre donc les paramètres d'un mélange de densités gaussiennes, représentatif des caractéristiques acoustiques communes d'enveloppe spectrale et de fréquence fondamentale des échantillons vocaux voisés du locuteur source et du locuteur cible. L'étape 70 est suivie d'une étape 80 de détermination d'une fonction conjointe de transformation de la fréquence fondamentale et de l'enveloppe spectrale des échantillons vocaux voisés du locuteur source vers le locuteur cible. Cette étape 80 est mise en œuvre de manière similaire à l'étape 30 du premier mode de réalisation et en particulier comporte également une sous-étape 82 de détermination de l'espérance conditionnelle des caractéristiques acoustiques du locuteur cible sachant les caractéristiques acoustiques du locuteur source, cette sous-étape étant mise en œuvre selon les mêmes formules que précédemment, appliquées aux seuls échantillons voisés. L'étape 80 aboutit ainsi à i'obtention d'une fonction de transformation conjointe des caractéristiques d'enveloppe spectrale et de fréquence fondamentale entre le locuteur source et le locuteur cible, applicable aux trames voisées. Parallèlement à la détermination 56 de cette fonction de transformation des trames voisées, la détermination 58 d'une fonction de transformation des seules caractéristiques d'enveloppe spectrale des trames non voisées est également mise en œuvre. Dans le mode de réalisation décrit, la détermination 58 comporte une étape 90 de détermination d'une fonction de filtrage définie de manière globale sur les paramètres d'enveloppe spectrale, à partir des couples de trames non voisées. Cette étape 90 est réalisée de manière classique par la détermination d'un modèle GMM ou encore de tout autre technique adaptée et connue. A l'issue de la détermination 58, une fonction de transformation des caractéristiques d'enveloppe spectrale des trames non voisées est obtenue. En référence à la figure 2B, le procédé comporte ensuite la transformation 2 des caractéristiques acoustiques d'un signal vocal à convertir. De même que dans le mode de réalisation précédent, cette transformation 2 débute par une étape d'analyse 36 du signal vocal à convertir réalisée selon un modèle HNM et une étape 38 de formatage. Ainsi que cela a été dit précédemment, ces étapes 36 et 38 permettent de délivrer, sous la forme d'un unique vecteur, les informations d'enveloppe spectrale et de fréquence fondamentale normalisée. De plus, l'étape 36 délivre des informations de phase et de fréquence maximale de voisement. Dans le mode de réalisation décrit, l'étape 38 est suivie d'une étape 100 de séparation, dans le signal à convertir analysé, des trames voisées et des trames non voisées. Cette séparation est réalisée à l'aide d'un critère fondé sur la présence d'une information de fréquence fondamentale non nulle. L'étape 100 est suivie d'une étape 102 de transformation des caractéristiques acoustiques du signal vocal à convertir par l'application des fonctions de transformation déterminées lors des étapes 80 et 90. Plus particulièrement, cette étape 102 comporte une sous-étape 104 d'application de la fonction de transformation conjointe des informations d'enveloppe spectrale et de fréquence fondamentale, déterminée à l'étape 80, aux seules trames voisées telles que séparées à l'issue de l'étape 100. Parallèlement, l'étape 102 comporte une sous-étape 106 d'application de la fonction de transformation des seules informations d'enveloppe spectrale, déterminée à l'étape 90, aux seules trames non voisées telles que séparées lors de l'étape 100. La sous-étape 104 délivre ainsi pour chaque trame d'échantillons voisés du signal à convertir du locuteur source, des informations d'enveloppe spectrale et de fréquence fondamentale transformées simultanément et dont les caractéristiques sont similaires à celles des échantillons voisés du locuteur cible. La sous-étape 106 délivre quant à elle pour chaque trame d'échantillons non voisés du signal à convertir du locuteur source, des informations d'enveloppe spectrale transformées dont les caractéristiques sont similaires à celles des échantillons non voisés du locuteur cible. Dans le mode de réalisation décrit, le procédé comprend en outre une étape 108 de dénormalisation des informations de fréquence fondamentale transformées, mise en œuvre sur les informations délivrées par la sous-étape 104 de transformation, d'une manière similaire à l'étape 42 décrite en référence à la figure 1 B. Le procédé de conversion comporte ensuite une étape 110 de synthèse du signal de sortie réalisée, dans l'exemple décrit, par une synthèse de type HNM qui délivre le signal vocal converti à partir des informations d'enveloppe spectrale et de fréquence fondamentale transformées ainsi que des informations de phase et de fréquence maximale de voisement pour les trames voisées et à partir des informations d'enveloppe spectrale transformées pour les trames non voisées. Le procédé de l'invention permet donc, dans ce mode de réalisation, d'effectuer un traitement distinct sur les trames voisées et les trames non voisées, les trames voisées subissant une transformation simultanée des caractéristiques d'enveloppe spectrale et de fréquence fondamentale et les trames non voisées subissant une transformation de leurs seules caractéristiques d'enveloppe spectrale. Un tel mode de réalisation permet une transformation plus précise que le mode de réalisation précédent tout en conservant une complexité limitée. L'efficacité d'un procédé de conversion peut être évaluée à partir d'échantillons vocaux identiques prononcés par le locuteur source et le locuteur cible. Ainsi, le signal vocal prononcé par le locuteur source est converti à l'aide du procédé de l'invention et la ressemblance du signal converti avec le signal prononcé par le locuteur cible est évaluée. Par exemple, cette ressemblance est calculée sous la forme d'un rapport entre la distance acoustique séparant le signal converti du signal cible et la distance acoustique séparant le signal cible du signal source. La figure 3 représente un graphique de résultats obtenu dans le cas d'une conversion de voix d'homme en une voix de femme, les fonctions de transformation étant obtenues à partir de bases d'apprentissage contenant chacune 5 minutes de parole échantillonnées à 16 kHz, les vecteurs cepstraux utilisés étant de taille 20 et le modèle GMM étant à 64 composantes. Ce graphique représente en abscisse les numéros de trames et en ordonnée la fréquence en hertz du signal. Les résultats représentés sont caractéristiques pour les trames voisées qui s'étendent approximativement des trames 20 à 85. Sur ce graphique, la courbe Cx représente les caractéristiques de fréquence fondamentale du signal source et la courbe Cy celles du signal cible. La courbe Ci représente les caractéristiques de fréquence fondamentale d'un signal obtenu par une conversion linéaire classique. Il apparaît que ce signal présente la même forme générale que celle du signal source représentée par la courbe Cx. A l'inverse, la courbe C2 représente les caractéristiques de fréquence fondamentale d'un signal converti à l'aide du procédé de l'invention tel que décrit en référence aux figures 2A et 2B. Il transparaît de manière flagrante que la courbe de fréquence fondamentale du signal converti à l'aide du procédé de l'invention présente une forme générale très proche de la courbe de fréquence fondamentale cible Cy.- Sur la figure 4, on a représenté un schéma bloc fonctionnel d'un système de conversion de voix mettant en œuvre le procédé décrit en référence aux figures 2A et 2B. Ce' système utilise en entrée une base de données 120 d'échantillons vocaux prononcés par le locuteur source et une base de données 122 contenant au moins les mêmes échantillons vocaux prononcés par le locuteur cible. Ces deux bases de données sont utilisées par un module 124 de détermination de fonctions de transformation de caractéristiques acoustiques du locuteur source en caractéristiques acoustiques du locuteur cible. Ce module 124 est adapté pour la mise en œuvre des étapes 56 et 58 du procédé telles que décrites en référence à la figure 2 et permet donc la détermination d'une fonction de transformation de l'enveloppe spectrale des trames non voisées et d'une fonction de transformation conjointe de l'enveloppe spectrale et de la fréquence fondamentale des trames voisées. De manière générale, on considère que le module 124 comporte une unité 126 de détermination de la fonction de transformation conjointe de l'enveloppe spectrale et de la fréquence fondamentale des trames voisées et une unité 128 de détermination de la fonction de transformation de l'enveloppe spectrale des trames non voisées. Le système de conversion de voix reçoit en entrée un signal vocal 130 correspondant à un signal de parole prononcé par le locuteur source et destiné à être converti. Le signal 130 est introduit dans un module 132 d'analyse du signal, mettant en œuvre, par exemple, une décomposition de type HNM permettant de dissocier des informations d'enveloppe spectrale du signal 130 sous la forme de coefficients cepstraux et des informations de fréquence fondamentale. Le module 132 délivre également des informations de phase et de fréquence maximale de voisement obtenues par l'application du modèle HNM. Le module 132 met donc en œuvre l'étape 36 du procédé décrit précédemment et avantageusement l'étape 38. Eventuellement cette analyse peut être faite au préalable et les informations sont stockées pour être utilisées ultérieurement. Le système comporte ensuite un module 134 de séparation des trames voisées et des trames non voisées dans le signal vocal à convertir analysé. Les trames voisées, séparées par le module 134, sont transmises à un module 136 de transformation adapté pour appliquer la fonction de transformation conjointe déterminée par l'unité 126. Ainsi, le module 136 de transformation met en œuvre l'étape 104 décrite en référence à la figure 2B. Avantageusement, le module 136 met également en œuvre l'étape 108 de dénormalisation. Les trames non voisées, séparées par le module 134, sont transmises à un module 138 de transformation adapté pour appliquer la fonction de transformation déterminée par l'unité 128 de manière à transformer les coefficients cepstraux des trames non voisées. Ainsi, le module 138 de transformation des trames non voisées met en œuvre l'étape 106 décrite à la figure 2B. Le système comporte également un module 140 de synthèse recevant en entrée, pour les trames voisées les informations d'enveloppe spectrale et de fréquence fondamentale transformées conjointement et les informations de phase et de fréquence maximale de voisement délivrées par le module 136. Le module 140 reçoit également les coefficients cepstraux des trames non voisées transformés et délivrés par le module 138. Le module 140 met ainsi en œuvre l'étape 110 du procédé décrit en référence à la figure 2B et délivre un signal 150 correspondant au signal vocal
130 du locuteur source mais dont les caractéristiques d'enveloppe spectrale et de fréquence fondamentale ont été modifiées afin d'être similaires à celles du locuteur cible. Le système décrit peut être mis en œuvre de diverses manières et notamment à l'aide des programmes informatiques adaptés et reliés à des moyens matériels d'acquisition sonores. Dans le cadre de l'application du procédé de l'invention, tel que décrit en référence aux figures 1A et 1 B, le système comporte dans le module 124, une unique unité de détermination d'une fonction de transformation conjointe de l'enveloppe spectrale et de la fréquence fondamentale. Dans un tel mode de réalisation, les modules 134 de séparation et 138 d'application de la fonction de transformation des trames non voisées, ne sont pas nécessaires. Le module 136 permet donc l'application de la seule fonction de transformation conjointe à toutes les trames du signal vocal à convertir et délivre les trames transformées au module 140 de synthèse. De manière générale, le système est adapté pour la mise en œuvre de toutes les étapes des procédés décrits en référence aux figures 1 et 2. Dans tous les cas, le système peut également être mis en œuvre sur des bases de données déterminées afin de former des bases de données de signaux convertis prêts à être utilisés. Par exemple, l'analyse est faite en temps différé et les paramètres de l'analyse HNM sont mémorisés en vue d'une utilisation ultérieure lors des étapes 40 ou 100 par le module 134. Enfin, en fonction de la complexité des signaux et de la qualité souhaitée, le procédé de l'invention et le système correspondant peuvent être mis en œuvre en temps réel. Bien entendu d'autres modes de réalisation que ceux décrits peuvent être envisagés. Notamment, les modèles HNM et GMM peuvent être remplacés par d'autres techniques et modèles connus de l'homme de l'art. Par exemple, l'analyse est réalisée à l'aide de techniques dites LPC (Linear Prédictive Coding), de modèles sinusoïdaux ou MBE (Multi Band Excited), les paramètres spectraux sont des paramètres dits LSF (Line Spectrum Frequencies), ou encore des paramètres liés aux formants ou à un signal glottique. En variante, le modèle GMM est remplacé par une quantification vectorielle (Fuzzy VQ.). En variante, l'estimateur mis en œuvre lors de l'étape 30 est un critère de maximum a posteriori, dit "MAP" et correspondant à la réalisation du calcul de • l'espérance uniquement pour le modèle représentant le mieux le couple de vecteurs source-cible. Dans une autre variante, la détermination d'une fonction de transformation conjointe est réalisée à l'aide d'une technique dite des moindres carrés au lieu de l'estimation de la densité jointe décrite. Dans cette variante, la détermination d'une fonction de transformation comprend la modélisation de la densité de probabilité des vecteurs source à l'aide d'un modèle GMM puis la détermination des paramètres du modèle à l'aide d'un algorithme EM. La modélisation prend ainsi en compte des segments de parole du locuteur source dont les correspondants prononcés par le locuteur cible ne sont pas disponibles. La détermination comprend ensuite la minimisation d'un critère des moindres carrés entre paramètres cible et source pour obtenir la fonction de transformation. Il est à noter que l'estimateur de cette fonction s'exprime toujours de la même manière mais que les paramètres sont estimés différemment et que des données supplémentaires sont prises en compte.

Claims

REVENDICATIONS 1. Procédé de conversion d'un signal vocal (130) prononcé par un locuteur source en un signal vocal converti (150) dont les caractéristiques acoustiques ressemblent à celles d'un locuteur cible, comprenant : - la détermination (1 ) d'au moins une fonction de transformation de caractéristiques acoustiques du locuteur source en caractéristiques acoustiques proches de celles du locuteur cible, à partir d'échantillons vocaux des locuteurs source et cible ; et - la transformation (2) de caractéristiques acoustiques du signal vocal à convertir (130) du locuteur source, par l'application de ladite au moins une fonction de transformation, caractérisé en ce que ladite détermination (1 ) comprend la détermination (1 ; 56) d'une fonction de transformation conjointe de caractéristiques relatives à l'enveloppe spectrale et de caractéristiques relatives à la fréquence fondamentale du locuteur source et en ce que ladite transformation
(2) comprend l'application de ladite fonction de transformation conjointe.
2. Procédé selon la revendication 1 , caractérisé en ce que ladite détermination (1 ; 56) d'une fonction de transformation conjointe comprend : - une étape (4X, 4Y) d'analyse des échantillons vocaux des locuteurs source et cible regroupés en trames pour obtenir, pour chaque trame d'échantillons d'un locuteur, des informations relatives à l'enveloppe spectrale et à la fréquence fondamentale ; - une étape (16X, 16Y ; 62X, 62Y) de concaténation des informations relatives à l'enveloppe spectrale et à la fréquence fondamentale pour chacun des locuteurs source et cible ; - une étape (20 ; 70) de détermination d'un modèle représentant des caractéristiques acoustiques communes des échantillons vocaux du locuteur source et du locuteur cible ; et - une étape (30 ; 80) de détermination, à partir de ce modèle et des échantillons vocaux, de ladite fonction de transformation conjointe.
3, Procédé selon la revendication 2, caractérisé en ce que lesdites étapes d'analyse (4X.4Y) des échantillons vocaux des locuteurs source et cible sont adaptées pour délivrer lesdites informations relatives à l'enveloppe spectrale sous la forme de coefficients cepstraux.
4. Procédé selon la revendication 2 ou 3, caractérisé en ce que lesdites étapes (4X, 4Y) d'analyse comprennent chacune la modélisation des échantillons vocaux selon une somme d'un signal harmonique et d'un signal de bruit qui comprend : - une sous-étape (8X, 8Y) d'estimation de la fréquence fondamentale des échantillons vocaux ; - une sous-étape (10X, 10Y) d'analyse synchronisée de chaque trame d'échantillons sur sa fréquence fondamentale ; et - une sous-étape (12X, 12Y) d'estimation de paramètres d'enveloppe spectrale de chaque trame d'échantillons.
5. Procédé selon l'une quelconque des revendications 2 à 4, caractérisé en ce que ladite étape (20 ; 70) de détermination d'un modèle correspond à la détermination d'un modèle de mélange de densités de probabilités gaussiennes.
6. Procédé selon la revendication 5, caractérisé en ce que ladite étape de détermination (20 ; 70) d'un modèle comprend : - une sous-étape (22, 72) de détermination d'un modèle correspondant à un mélange de densités de probabilités gaussiennes, et - une sous-étape (24, 74) d'estimation des paramètres du mélange de densités de probabilités gaussiennes à partir de l'estimation du maximum de vraisemblance entre les caractéristiques acoustiques des échantillons des locuteurs source et cible et le modèle.
7. Procédé selon l'une quelconque des revendications 2 à 6,. caractérisé en ce que ladite détermination (1 : 56) d'au moins une fonction de transformation, comporte en outre une étape (14X, 14Y ; 60X, 60Y) de normalisation de la fréquence fondamentale des trames d'échantillons des locuteurs source et cible respectivement par rapport aux moyennes des fréquences fondamentales des échantillons analysés des locuteurs source et cible.
8. Procédé selon l'une quelconque des revendications 2 à 7, caractérisé en ce qu'il comporte une étape (18 ; 50) d'alignement temporel des caractéristiques acoustiques du locuteur source avec les caractéristiques acoustiques du locuteur cible, cette étape (18 ; 50) étant réalisée avant ladite étape (20 ; 70) de détermination d'un modèle conjoint.
9. Procédé selon l'une quelconque des revendications 1 à 8, caractérisé en ce qu'il comporte une étape (54) de séparation dans les échantillons vocaux du locuteur source et du locuteur cible, des trames à caractère voisé et des trames à caractère non voisé, ladite détermination (56) d'une fonction de transformation conjointe des caractéristiques relatives à l'enveloppe spectrale et à la fréquence fondamentale étant réalisée uniquement à partir desdites trames voisées et le procédé comportant une détermination (58) d'une fonction de transformation des seules caractéristiques d'enveloppe spectrale uniquement à partir desdites trames non voisées.
10. Procédé selon l'une quelconque des revendications 1 à 8, caractérisé en ce que ladite détermination (1 ) d'au moins une fonction de transformation comprend uniquement ladite étape (1 ) de détermination d'une fonction de transformation conjointe.
11. Procédé selon l'une quelconque des revendications 1 à 10, caractérisé en ce que ladite détermination (1 ; 56) d'une fonction de transformation conjointe est réalisée à partir d'un estimateur de la réalisation des caractéristiques acoustiques du locuteur cible sachant les caractéristiques acoustiques du locuteur source.
12. Procédé selon la revendication 11 , caractérisé en ce que ledit estimateur est formé de l'espérance conditionnelle de la réalisation des caractéristiques acoustiques du locuteur cible sachant la réalisation des caractéristiques acoustiques du locuteur source.
13. Procédé selon l'une quelconque des revendications 1 à 12, caractérisé en ce que ladite transformation (2) de caractéristiques acoustiques du signal vocal à convertir (130), comporte : - une étape (36) d'analyse de ce signal vocal (130), regroupé en trames pour obtenir, pour chaque trame d'échantillons, des informations relatives à l'enveloppe spectrale et à la fréquence fondamentale ; - une étape (38) de formatage des informations acoustiques relatives à l'enveloppe spectrale et à la fréquence fondamentale du signal vocal à convertir ; et - une étape (40 ; 102) de transformation des informations acoustiques formatées du signal vocal à convertir (130) à l'aide de ladite fonction de transformation conjointe.
14. Procédé selon les revendications 9 et 13 prises ensemble, caractérisé en ce qu'il comporte une étape (100) de séparation, dans ledit signal vocal à convertir (130), des trames voisées et des trames non voisées, ladite étape de transformation comprenant : - une sous-étape (104) d'application de ladite fonction de transformation conjointe aux seules trames voisées dudit signal à convertir (130) ; et - une sous-étape (106) d'application de ladite fonction de transformation des seules caractéristiques d'enveloppe spectrale auxdites trames non voisées dudit signal à convertir (130).
15. Procédé selon les revendications 10 et 13 prises ensemble, caractérisé en ce que ladite étape de transformation comprend l'application de ladite fonction de transformation conjointe aux caractéristiques acoustiques de toutes les trames dudit signal vocal à convertir (130).
16. Procédé selon l'une quelconque des revendications 1 à 15, caractérisé en ce qu'il comporte en outre une étape (44 ; 110) de synthèse permettant de former un signal vocal converti (150) à partir des dites informations acoustiques transformées.
17. Système de conversion d'un signal vocal (130) prononcé par un locuteur source en un signal vocal converti (150) dont les caractéristiques acoustiques ressemblent à celles d'un locuteur cible, comprenant : - des moyens (124) de détermination d'au moins une fonction de transformation des caractéristiques acoustiques du locuteur source en caractéristiques acoustiques proches du locuteur cible, à partir d'échantillons vocaux prononcés par les locuteurs source et cible : et - des moyens (136, 138) de transformation des caractéristiques acoustiques du signal vocal à convertir (130) du locuteur source par l'application de ladite au moins une fonction de transformation, caractérisé en ce que lesdits moyens (124) de détermination d'au moins une fonction de transformation, comprennent une unité (126) de détermination d'une fonction de transformation conjointe de caractéristiques relatives à l'enveloppe spectrale et de caractéristiques relatives à la fréquence fondamentale du locuteur source et en ce que lesdits moyens de transformation comportent des moyens (136) d'application de ladite fonction de transformation conjointe.
18. Système selon la revendication 17, caractérisé en ce qu'il comporte en outre : - des moyens (132) d'analyse du signal vocal à convertir (130), adaptés pour délivrer en sortie des informations relatives à l'enveloppe spectrale et à la fréquence fondamentale du signal vocal à convertir (130) ; et - des moyens (140) de synthèse permettant de former un signal vocal converti à partir au moins desdites informations d'enveloppe spectrale et de fréquence fondamentale transformées simultanément.
19. Système selon l'une quelconque des revendications 17 et 18, caractérisé en ce que lesdits moyens (124) de détermination d'au moins une fonction de transformation de caractéristiques acoustiques comportent en outre une unité (128) de détermination d'une fonction de transformation de l'enveloppe spectrale des trames non voisées, ladite unité (126) de détermination de la ' fonction de transformation conjointe étant adaptée pour la détermination de la fonction de transformation conjointe uniquement pour les trames voisées.
EP05736936A 2004-03-31 2005-03-09 Procede et systeme ameliores de conversion d'un signal vocal Withdrawn EP1730729A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0403403A FR2868586A1 (fr) 2004-03-31 2004-03-31 Procede et systeme ameliores de conversion d'un signal vocal
PCT/FR2005/000564 WO2005106852A1 (fr) 2004-03-31 2005-03-09 Procede et systeme ameliores de conversion d'un signal vocal

Publications (1)

Publication Number Publication Date
EP1730729A1 true EP1730729A1 (fr) 2006-12-13

Family

ID=34944344

Family Applications (1)

Application Number Title Priority Date Filing Date
EP05736936A Withdrawn EP1730729A1 (fr) 2004-03-31 2005-03-09 Procede et systeme ameliores de conversion d'un signal vocal

Country Status (4)

Country Link
US (1) US7765101B2 (fr)
EP (1) EP1730729A1 (fr)
FR (1) FR2868586A1 (fr)
WO (1) WO2005106852A1 (fr)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006099467A2 (fr) * 2005-03-14 2006-09-21 Voxonic, Inc. Systeme et procede de selection et de classement automatique de donneur pour la conversion vocale
JP4241736B2 (ja) * 2006-01-19 2009-03-18 株式会社東芝 音声処理装置及びその方法
US7480641B2 (en) * 2006-04-07 2009-01-20 Nokia Corporation Method, apparatus, mobile terminal and computer program product for providing efficient evaluation of feature transformation
JP4966048B2 (ja) * 2007-02-20 2012-07-04 株式会社東芝 声質変換装置及び音声合成装置
JP5088030B2 (ja) * 2007-07-26 2012-12-05 ヤマハ株式会社 演奏音の類似度を評価する方法、装置およびプログラム
US8224648B2 (en) * 2007-12-28 2012-07-17 Nokia Corporation Hybrid approach in voice conversion
EP2104096B1 (fr) * 2008-03-20 2020-05-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Appareil et procédé de conversion d'un signal audio en une représentation paramétrée, appareil et procédé de modification d'une représentation paramétrée, appareil et procédé de synthèse d'une représentation paramétrée d'un signal audio
US8140326B2 (en) * 2008-06-06 2012-03-20 Fuji Xerox Co., Ltd. Systems and methods for reducing speech intelligibility while preserving environmental sounds
JP5038995B2 (ja) * 2008-08-25 2012-10-03 株式会社東芝 声質変換装置及び方法、音声合成装置及び方法
WO2010070584A1 (fr) * 2008-12-19 2010-06-24 Koninklijke Philips Electronics N.V. Procédé et système d'adaptation de communications
JP4705203B2 (ja) * 2009-07-06 2011-06-22 パナソニック株式会社 声質変換装置、音高変換装置および声質変換方法
JP5961950B2 (ja) * 2010-09-15 2016-08-03 ヤマハ株式会社 音声処理装置
US8719930B2 (en) * 2010-10-12 2014-05-06 Sonus Networks, Inc. Real-time network attack detection and mitigation infrastructure
TWI413104B (zh) * 2010-12-22 2013-10-21 Ind Tech Res Inst 可調控式韻律重估測系統與方法及電腦程式產品
US8682670B2 (en) * 2011-07-07 2014-03-25 International Business Machines Corporation Statistical enhancement of speech output from a statistical text-to-speech synthesis system
US9984700B2 (en) * 2011-11-09 2018-05-29 Speech Morphing Systems, Inc. Method for exemplary voice morphing
WO2013077843A1 (fr) * 2011-11-21 2013-05-30 Empire Technology Development Llc Interface audio
JP5772739B2 (ja) * 2012-06-21 2015-09-02 ヤマハ株式会社 音声処理装置
US9922641B1 (en) * 2012-10-01 2018-03-20 Google Llc Cross-lingual speaker adaptation for multi-lingual speech synthesis
US9195656B2 (en) 2013-12-30 2015-11-24 Google Inc. Multilingual prosody generation
JP6271748B2 (ja) 2014-09-17 2018-01-31 株式会社東芝 音声処理装置、音声処理方法及びプログラム
JP6446993B2 (ja) * 2014-10-20 2019-01-09 ヤマハ株式会社 音声制御装置およびプログラム
US10643636B2 (en) * 2015-08-20 2020-05-05 Sony Corporation Information processing apparatus, information processing method, and program
US20180018973A1 (en) 2016-07-15 2018-01-18 Google Inc. Speaker verification
US10706867B1 (en) * 2017-03-03 2020-07-07 Oben, Inc. Global frequency-warping transformation estimation for voice timbre approximation
US11410684B1 (en) * 2019-06-04 2022-08-09 Amazon Technologies, Inc. Text-to-speech (TTS) processing with transfer of vocal characteristics
WO2021127985A1 (fr) * 2019-12-24 2021-07-01 深圳市优必选科技股份有限公司 Procédé, système et dispositif de conversion de voix et support de stockage
CN113643687B (zh) * 2021-07-08 2023-07-18 南京邮电大学 融合DSNet与EDSR网络的非平行多对多语音转换方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61252596A (ja) * 1985-05-02 1986-11-10 株式会社日立製作所 文字音声通信方式及び装置
JPH02239292A (ja) * 1989-03-13 1990-09-21 Canon Inc 音声合成装置
IT1229725B (it) * 1989-05-15 1991-09-07 Face Standard Ind Metodo e disposizione strutturale per la differenziazione tra elementi sonori e sordi del parlato
WO1993018505A1 (fr) * 1992-03-02 1993-09-16 The Walt Disney Company Systeme de transformation vocale
US5504834A (en) * 1993-05-28 1996-04-02 Motrola, Inc. Pitch epoch synchronous linear predictive coding vocoder and method
US5574823A (en) * 1993-06-23 1996-11-12 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Communications Frequency selective harmonic coding
US5572624A (en) * 1994-01-24 1996-11-05 Kurzweil Applied Intelligence, Inc. Speech recognition system accommodating different sources
EP0970466B1 (fr) * 1997-01-27 2004-09-22 Microsoft Corporation Conversion de voix
US6029124A (en) * 1997-02-21 2000-02-22 Dragon Systems, Inc. Sequential, nonparametric speech recognition and speaker identification
US6041297A (en) * 1997-03-10 2000-03-21 At&T Corp Vocoder for coding speech by using a correlation between spectral magnitudes and candidate excitations
US6336092B1 (en) * 1997-04-28 2002-01-01 Ivl Technologies Ltd Targeted vocal transformation
US6098037A (en) * 1998-05-19 2000-08-01 Texas Instruments Incorporated Formant weighted vector quantization of LPC excitation harmonic spectral amplitudes
US6199036B1 (en) * 1999-08-25 2001-03-06 Nortel Networks Limited Tone detection using pitch period
US6879952B2 (en) * 2000-04-26 2005-04-12 Microsoft Corporation Sound source separation using convolutional mixing and a priori sound source knowledge
US7412377B2 (en) * 2003-12-19 2008-08-12 International Business Machines Corporation Voice model for speech processing based on ordered average ranks of spectral features

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2005106852A1 *

Also Published As

Publication number Publication date
WO2005106852A1 (fr) 2005-11-10
US7765101B2 (en) 2010-07-27
FR2868586A1 (fr) 2005-10-07
US20070208566A1 (en) 2007-09-06

Similar Documents

Publication Publication Date Title
EP1730729A1 (fr) Procede et systeme ameliores de conversion d&#39;un signal vocal
EP2415047B1 (fr) Classification du bruit de fond contenu dans un signal sonore
McLoughlin Line spectral pairs
Geiser et al. Bandwidth extension for hierarchical speech and audio coding in ITU-T Rec. G. 729.1
EP1730728A1 (fr) Procede et systeme de conversion rapides d&#39;un signal vocal
Mowlaee et al. Interspeech 2014 special session: Phase importance in speech processing applications
EP1606792B1 (fr) Procede d analyse d informations de frequence fondament ale et procede et systeme de conversion de voix mettant en oeuvre un tel procede d analyse
EP1593116B1 (fr) Procédé pour le traitement numérique différencié de la voix et de la musique, le filtrage de bruit, la création d&#39;effets spéciaux et dispositif pour la mise en oeuvre dudit procédé
JPH075892A (ja) 音声認識方法
EP3040989B1 (fr) Procédé de séparation amélioré et produit programme d&#39;ordinateur
Guglani et al. Automatic speech recognition system with pitch dependent features for Punjabi language on KALDI toolkit
EP1526508B1 (fr) Procédé de sélection d&#39;unités de synthèse
Lim et al. Robust low rate speech coding based on cloned networks and wavenet
EP1846918B1 (fr) Procede d&#39;estimation d&#39;une fonction de conversion de voix
FR2627887A1 (fr) Systeme de reconnaissance de parole et procede de formation de modeles pouvant etre utilise dans ce systeme
Kato et al. HMM-based speech enhancement using sub-word models and noise adaptation
Gupta et al. A new framework for artificial bandwidth extension using H∞ filtering
Srivastava Fundamentals of linear prediction
Falk Blind estimation of perceptual quality for modern speech communications
MohanKumar et al. Voice Conversion: Transformation Through Deep Learning
En-Najjary et al. Fast GMM-based voice conversion for text-to-speech synthesis systems.
EP1194923B1 (fr) Procedes et dispositifs d&#39;analyse et de synthese audio
EP1605440A1 (fr) Procédé de séparation de signaux sources à partir d&#39;un signal issu du mélange
WO2008081141A2 (fr) Codage d&#39;unites acoustiques par interpolation
Grekas On Speaker Interpolation and Speech Conversion for parallel corpora.

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20060915

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU MC NL PL PT RO SE SI SK TR

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20110520

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: ORANGE

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20171003