EP1316087B1 - Dissimulation d'erreurs de transmission dans un signal audio - Google Patents

Dissimulation d'erreurs de transmission dans un signal audio Download PDF

Info

Publication number
EP1316087B1
EP1316087B1 EP01969857A EP01969857A EP1316087B1 EP 1316087 B1 EP1316087 B1 EP 1316087B1 EP 01969857 A EP01969857 A EP 01969857A EP 01969857 A EP01969857 A EP 01969857A EP 1316087 B1 EP1316087 B1 EP 1316087B1
Authority
EP
European Patent Office
Prior art keywords
signal
samples
synthesis
decoded
voiced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
EP01969857A
Other languages
German (de)
English (en)
Other versions
EP1316087A1 (fr
Inventor
Balazs Kovesi
Dominique Massaloux
David Deleam
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of EP1316087A1 publication Critical patent/EP1316087A1/fr
Application granted granted Critical
Publication of EP1316087B1 publication Critical patent/EP1316087B1/fr
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm

Definitions

  • the present invention relates to techniques for concealing consecutive transmission errors in transmission systems using any type of digital coding of the speech and / or sound signal.
  • the coded values are then transformed into a bit stream which will be transmitted on a transmission channel.
  • disturbances may affect the transmitted signal and produce errors on the bitstream received by the decoder. These errors may occur in isolation in the bit stream but occur very frequently in bursts. It is then a packet of bits corresponding to a complete portion of signal which is erroneous or not received. This type of problem occurs for example for transmissions on mobile networks. It is also found in transmission on packet networks and in particular on Internet-type networks.
  • a general object of the invention is to improve, for any compression system of speech and sound, the subjective quality of the speech signal restored to the decoder when due to a poor quality of the transmission channel or as a result of the loss or non-receipt of a packet in a packet transmission system, a set of consecutive encoded data has been lost.
  • Most predictive coding algorithms provide erased frame retrieval techniques ([GSM-FR], [REC G.723.1A], [SALAMI], [HONKANEN], [COX-2], [CHEN-2] ], [CHEN-3], [CHEN-4], [CHEN-5], [CHEN-6], [CHEN-7], [KROON-2], [WATKINS]).
  • the decoder is informed of the occurrence of an erased frame in one way or another, for example in the case of mobile radio systems by the transmission of the frame erase information from the channel decoder.
  • the purpose of the erased frame recovery devices is to extrapolate the parameters of the erased frame from the last (or more) previous frames considered valid.
  • Some parameters manipulated or coded by the predictive coders have a strong inter-frame correlation (case of the short-term prediction parameters, also called “LPC” of "Linear Predictive Coding” (see [RABINER]) which represent the spectral envelope, and long-term prediction parameters for voiced sounds, for example). Because of this correlation, there is much it is more advantageous to reuse the parameters of the last valid frame to synthesize the erased frame than to use erroneous or random parameters.
  • the procedures for concealing erased frames are strongly related to the decoder and use modules of this decoder, such as the signal synthesis module. They use also intermediate signals available within this decoder as the excitation signal passed and stored during the processing of valid frames preceding the erased frames.
  • the techniques for reconstructing erased frames are also based on the coding structure used: the algorithms, such as [PICTEL, MAHIEUX-2], aim at regenerating the transformed coefficients lost from the values taken by these transformers. coefficients before deletion.
  • the energy of the synthesis signal thus generated is controlled by means of a gain calculated and adapted sample by sample.
  • the gain for the control of the synthesis signal is advantageously calculated as a function of at least one of the following parameters: energy values previously stored for the samples corresponding to valid data, fundamental period for the voiced sounds, or any parameter characterizing the frequency spectrum.
  • the gain applied to the synthesis signal decreases progressively as a function of the time during which the synthesis samples are generated.
  • stationary and non-stationary sounds are discriminated in the valid data and adaptation laws of this gain (eg decreasing speed) are used, different on the one hand for the generated samples. as a result of valid data corresponding to stationary sounds and secondly for the samples generated as a result of valid data corresponding to nonstationary sounds.
  • the contents of the memories used for the decoding process are updated according to the generated synthesis samples.
  • the synthesized samples is implemented with a coding analogous to that implemented at the transmitter, optionally followed by a (possibly partial) decoding operation, the data obtained being used to regenerate the decoder memories.
  • this possibly partial coding-decoding operation can be advantageously used to regenerate the first erased frame because it makes it possible to exploit the contents of the decoder memories before the cutoff, when these memories contain information not provided by the last valid samples decoded (eg in the case of overlap-transform transform coders, see paragraph 5.2.2.2.1 point 10).
  • the input of the short-term prediction operator is generated by an excitation signal which, in a voiced area, is the sum of a harmonic component and a weakly harmonic component or non-harmonic, and in voiced area limited to the non-harmonic component.
  • the harmonic component is advantageously obtained by implementing a filtering by means of the long-term prediction operator applied to a residual signal calculated by implementing inverse short-term filtering on the stored samples.
  • the other component can be determined using a long-term prediction operator to which disturbances (eg perturbation of gain, or period), pseudo-random, are applied.
  • disturbances eg perturbation of gain, or period
  • the harmonic component represents the low frequencies of the spectrum, while the other component the high frequency portion.
  • the long-term prediction operator is determined from the stored valid frame samples, with a number of samples used for this estimate varying between a minimum value and a value equal to at least two times the fundamental period estimated for voiced sound.
  • the residual signal is advantageously modified by nonlinear type of processing to eliminate amplitude peaks.
  • the voice activity is detected by estimating noise parameters when the signal is considered as non-active, and parameters of the synthesized signal are adjusted to those of the estimated noise.
  • the spectral envelope of the noise of the decoded samples is estimated valid and generates a synthesized signal evolving towards a signal having the same spectral envelope.
  • the invention also proposes a method for processing sound signals, characterized in that it implements a discrimination between the speech and the musical sounds and when musical sounds are detected, a method of the aforementioned type is implemented. without estimating a long-term prediction operator, the excitation signal being limited to a non-harmonic component obtained for example by generating a uniform white noise.
  • the invention further relates to a transmission error concealment device in an audio-digital signal which receives as input a decoded signal transmitted to it by a decoder and which generates missing or erroneous samples in this decoded signal, characterized in that it comprises processing means capable of implementing the aforementioned method.
  • It also relates to a transmission system comprising at least one encoder, at least one transmission channel, a module able to detect that transmitted data has been lost or is highly erroneous, at least one decoder and an error concealment device which receives the decoded signal, characterized in that this error concealment device is a device of the aforementioned type.
  • FIG. 1 presents a device for coding and decoding the digital audio signal, comprising an encoder 1, a transmission channel 2, a module 3 making it possible to detect that data transmitted has been lost or is highly erroneous, a decoder 4, and a module 5 for concealing errors or lost packets according to a possible embodiment of the invention.
  • this module in addition to the indication of erased data, receives the decoded signal in valid period and transmits to the decoder signals used for its update.
  • the memory of the decoded samples containing a sufficient number of samples for the regeneration of any erased periods in the following, is updated.
  • the memory of the decoded samples containing a sufficient number of samples for the regeneration of any erased periods in the following, is updated.
  • the energy of the valid frames is also calculated and the energies corresponding to the last valid processed frames (typically of the order of 5 s) are stored in memory.
  • This spectral envelope is calculated as an LPC [RABINER] [KLEIJN] filter.
  • the analysis is carried out by conventional methods ([KLEIJN]) after winding the samples stored in valid period.
  • an LPC analysis (step 10) is used to obtain the parameters of a filter A (z), the inverse of which is used for the LPC filtering (step 11). Since the coefficients thus calculated do not have to be transmitted, a high order can be used for this analysis, which makes it possible to obtain good performances on the musical signals.
  • a method for detecting voiced sounds (processing 12 of FIG. 3: V / NV detection, for "voiced / unvoiced") is used on the last stored data.
  • V / NV detection for "voiced / unvoiced"
  • the normalized correlation [KLEIJN]
  • the criterion presented in the following exemplary embodiment can be used for this purpose.
  • LTP filter When the signal is declared voiced, the parameters enabling the generation of a long-term synthesis filter, also called LTP filter ([KLEIJN]) are calculated (FIG. 3: LTP analysis, the inverse filter is defined by B (Z). Calculated LTP).
  • LTP filter is generally represented by a period corresponding to the fundamental period and a gain. The accuracy of this filter can be improved by the use of fractional pitch or a multi-coefficient structure [KROON].
  • the length of the analysis window varies between a minimum value and a value related to the fundamental period of the signal.
  • a residual signal is calculated by LPC inverse filtering (processing 10) of the last stored samples. This signal is then used to generate an excitation signal of the LPC synthesis filter 11 (see below).
  • the synthesis of the replacement samples is carried out by introducing an excitation signal (calculated at 13 from the signal at the output of the inverse LPC filter) in the LPC synthesis filter 11 (1 / A (z)) calculated in 1.
  • This excitation signal is generated in two different ways depending on whether the signal is voiced or unvoiced:
  • the excitation signal is the sum of two signals, one strongly harmonic component and the other less harmonic or not at all.
  • the strongly harmonic component is obtained by LTP filtering (processing module 14) using the parameters calculated in 2, of the residual signal mentioned in 3.
  • the second component can also be obtained by LTP filtering but made non-periodic by random modifications of the parameters, by generating a pseudo-random signal.
  • the residual signal used for generating the excitation is processed to eliminate the amplitude peaks significantly above the average.
  • the energy of the synthesis signal is controlled using a calculated and adapted sample gain per sample. In the case where the erasure period is relatively long, it is necessary to gradually lower the energy of the synthesis signal.
  • the gain adaptation law is calculated according to different parameters: stored energy values before the deletion (see in 1), fundamental period, and local stationarity of the signal at the time of the cut.
  • the system includes a module that discriminates between stationary (such as music) and non-stationary sounds (such as speech), different adaptation laws may also be used.
  • the first half of the memory of the last correctly received frame contains fairly accurate information about the first half of the first lost frame (its weight in addition-overlap is greater than that of the current frame). This information can also be used for calculating adaptive gain.
  • the system is coupled to a voice activity detection device with estimation of the noise parameters (such as [REC-G.723.1A], [SALAMI-2], [BENYASSINE]), it is particularly interesting to make the parameters for generating the signal to be reconstructed towards those of the estimated noise: in particular at the level of the spectral envelope (interpolation of the LPC filter with that of the estimated noise, the interpolation coefficients evolving over time until the filter is obtained noise) and energy (level gradually evolving towards that of noise, for example by windowing).
  • the noise parameters such as [REC-G.723.1A], [SALAMI-2], [BENYASSINE]
  • the present invention performs time domain weighting with interpolation between replacement samples prior to restoration of communication and valid decoded samples following the erased period. This operation is a priori independent of the type of encoder used.
  • this desynchronization can cause audible impairments that can persist for a long time or even increase over time if there are instabilities in the structure. In this case, it is therefore important to try to resynchronize the encoder and the decoder, ie to make an estimation of the decoder memories as close as possible to those of the encoder.
  • resynchronization techniques depend on the coding structure used. One will be presented whose principle is general in the present patent, but whose complexity is potentially important.
  • One possible method consists in introducing into the decoder on reception a coding module of the same type as that present at the transmission, making it possible to perform the coding-decoding of the samples of the signal produced by the techniques mentioned in the preceding paragraph during the periods deleted. In this way the memories necessary to decode the next samples are completed with data a priori close (subject to a certain stationarity during the erased period) of those which have been lost. In the event that this assumption of stationarity is not respected, after a long erased period for example, we do not have any information sufficient to do better.
  • This update can be done at the time of the production of the replacement samples, which distributes the complexity over the entire erasure zone, but is cumulative with the synthesis procedure described above.
  • the above procedure can also be limited to an intermediate zone at the beginning of the valid data period after an erased period, the updating procedure then being combined with the decoding operation. .
  • TDAC-type digital transform coding / decoding system TDAC-type digital transform coding / decoding system.
  • Wide band encoder (50-7000 Hz) at 24 kb / s or 32 kb / s.
  • a bit frame contains the encoded parameters obtained by the TDAC transformation on a window. After decoding these parameters, doing the inverse TDAC transformation, we obtain an output frame of 20 ms which is the sum of the second one. half of the previous window and the first half of the current window. In Figure 4, it was marked in bold the two parts of windows used for the reconstruction of the frame n (in time). Thus, a lost binary frame disrupts the reconstruction of two consecutive frames (the current one and the next one, figure 5). On the other hand, by correctly replacing the lost parameters, it is possible to recover the parts of the information coming from the preceding and following bit frame (FIG. 6), for the reconstruction of these two frames.
  • the memory of the decoded samples is updated.
  • This memory is used for the LPC and LTP analyzes of the signal passed in the case of erasure of a bit frame.
  • the LPC analysis is done over a 20 ms signal period (320 samples).
  • LTP analysis requires more samples to memorize.
  • the number of stored samples is twice the maximum value of the pitch. For example, if the maximum MaxPitch pitch is 320 samples (50 Hz, 20 ms), the last 640 samples will be stored (40 ms of the signal).
  • This spectral envelope is calculated as an LPC [RABINER] [KLEIJN] filter.
  • the analysis is carried out by conventional methods ([KLEIJN]). After windowing of the samples stored in valid period, an LPC analysis is used to calculate an LPC A (Z) filter (step 19). For this analysis, a high order (> 100) is used to obtain good performances on musical signals.
  • the synthesis of the replacement samples is carried out by introducing an excitation signal into the LPC synthesis filter (1 / A (z)) calculated in step 19.
  • This excitation signal - calculated in a step 20 - is a white noise whose amplitude is chosen to obtain a signal having the same energy as that of the last N samples stored in valid period.
  • the filtering step is referenced 21.
  • this gain G can be calculated as follows:
  • the Durbin algorithm gives the energy of the residual signal. Also knowing the energy of the signal to modeled one estimates the gain G LPC of the filter LPC as the ratio of these two energies.
  • the target energy is estimated as equal to the energy of the last N samples stored in valid period (N is typically ⁇ the length of the signal used for the LPC analysis).
  • the energy of the synthesized signal is the product of the white noise energy by G 2 and G LPC .
  • G we choose G so that this energy is equal to the target energy.
  • the energy of the synthesis signal is controlled using a calculated and adapted sample gain per sample. In the case where the erasure period is relatively long, it is necessary to gradually lower the energy of the synthesis signal.
  • the gain adaptation law can be calculated according to various parameters such as energy values stored before the erasure, and local stationarity of the signal at the time of the cutoff.
  • the system is coupled to a voice activity detection device or musical signals with estimation of noise parameters (such as [REC-G.723.1A], [SALAMI-2], [BENYASSINE]), it will be of particular interest to make the parameters of generation of the signal to be reconstructed tend towards those of the estimated noise: in particular at the level of the spectral envelope (interpolation of the LPC filter with that of the estimated noise, the interpolation coefficients evolving over time until to obtain the noise filter) and energy (level gradually evolving towards that of the noise, for example by windowing).
  • noise parameters such as [REC-G.723.1A], [SALAMI-2], [BENYASSINE]
  • the technique which has just been described has the advantage of being usable with any type of encoder; in particular, it makes it possible to remedy the problems of lost bit packets for time or transform coders, on speech and music signals with good performances: in fact in the present technique, the only signals stored during the periods when the data transmitted are valid are the samples from the decoder, information that is available regardless of the coding structure used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Input Circuits Of Receivers And Coupling Of Receivers And Audio Equipment (AREA)
  • Automobile Manufacture Line, Endless Track Vehicle, Trailer (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)

Description

    1. DOMAINE TECHNIQUE
  • La présente invention concerne les techniques de dissimulation d'erreurs de transmission consécutives dans des systèmes de transmission utilisant n'importe quel type de codage numérique du signal de la parole et/ou du son.
  • On distingue classiquement deux grandes catégories de codeurs :
    • les codeurs dits temporels, qui effectuent la compression des échantillons de signal numérisé échantillon par échantillon (cas des codeurs MIC ou MICDA [DAUMER][MAITRE] par exemple)
    • et les codeurs paramétriques qui analysent des trames successives d'échantillons du signal à coder pour extraire, à chacune de ces trames, un certain nombre de paramètres qui sont ensuite codés et transmis (cas des vocodeurs [TREMAIN], des codeurs IMBE [HARDWICK], ou des codeurs par transformée [BRANDENBURG]).
  • Il existe des catégories intermédiaires qui complètent le codage des paramètres représentatifs des codeurs paramétriques par le codage d'une forme d'onde temporelle résiduelle. Pour simplifier, ces codeurs peuvent être rangés dans la catégorie des codeurs paramétriques.
  • Dans cette catégorie on trouve les codeurs prédictifs et notamment la famille des codeurs à analyse par synthèse tels le RPE-LTP ([HELLWIG]) ou les CELP ([ATAL]).
  • Pour tous ces codeurs, les valeurs codées sont ensuite transformées en un train binaire qui sera transmis sur un canal de transmission. Selon la qualité de ce canal et le type de transport, des perturbations peuvent affecter le signal transmis et produire des erreurs sur le train binaire reçu par le décodeur. Ces erreurs peuvent intervenir de manière isolée dans le train binaire mais se produisent très fréquemment par rafales. C'est alors un paquet de bits correspondant à une portion complète de signal qui est erroné ou non reçu. Ce type de problèmes se rencontre par exemple pour les transmissions sur les réseaux mobiles. Il se rencontre aussi dans les transmissions sur les réseaux par paquets et en particulier sur les réseaux de type internet.
  • Lorsque le système de transmission ou les modules chargés de la réception permettent de détecter que les données reçues sont fortement erronées (par exemple sur les réseaux mobiles), ou qu'un bloc de données n'a pas été reçu (cas de systèmes à transmission par paquets par exemple), des procédures de dissimulation des erreurs sont alors mises en oeuvre. Ces procédures permettent d'extrapoler au décodeur les échantillons du signal manquant à partir des signaux et données disponibles issus des trames précédant et éventuellement suivant les zones effacées.
  • De telles techniques ont été mises en oeuvre principalement dans le cas des codeurs paramétriques (techniques de récupération des trames effacées). Elles permettent de limiter fortement la dégradation subjective du signal perçue au décodeur en présence de trames effacées. La plupart des algorithmes développés reposent sur la technique utilisée pour le codeur et le décodeur, et constituent en fait une extension du décodeur.
    Un but général de l'invention est d'améliorer, pour tout système de compression de la parole et du son, la qualité subjective du signal de parole restitué au décodeur lorsque, à cause d'une mauvaise qualité du canal de transmission ou par suite de la perte ou non réception d'un paquet dans un système à transmission par paquets, un ensemble de données codées consécutives ont été perdues.
  • Elle propose à cet effet une technique permettant de dissimuler les erreurs de transmission successives (paquets d'erreur) quelle que soit la technique de codage utilisée, la technique proposée pouvant être utilisée par exemple dans le cas des codeurs temporels dont la structure se prête moins bien a priori à la dissimulation des paquets d'erreurs.
    • 2. ETAT DE LA TECHNIQUE ANTERIEURE
  • La plupart des algorithmes de codage de type prédictif proposent des techniques de récupération de trames effacées ([GSM-FR], [REC G.723.1A], [SALAMI], [HONKANEN], [COX-2], [CHEN-2], [CHEN-3], [CHEN-4], [CHEN-5], [CHEN-6], [CHEN-7], [KROON-2], [WATKINS]). Le décodeur est informé de l'occurrence d'une trame effacée d'une manière ou d'une autre, par exemple dans le cas des systèmes radiomobiles par la transmission de l'information d'effacement de trame provenant du décodeur canal. Les dispositifs de récupération de trames effacées ont pour objectif d'extrapoler les paramètres de la trame effacée à partir de la (ou des) dernières trames précédentes considérées comme valides. Certains paramètres manipulés ou codés par les codeurs prédictifs présentent une forte corrélation inter-trames (cas des paramètres de prédiction à court terme, encore dénommés "LPC" de "Linear Prédictive Coding" (voir [RABINER]) qui représentent l'enveloppe spectrale, et des paramètres de prédiction à long terme pour les sons voisés, par exemple). Du fait de cette corrélation, il est beaucoup plus avantageux de réutiliser les paramètres de la dernière trame valide pour synthétiser la trame effacée que d'utiliser des paramètres erronés ou aléatoires.
  • Pour l'algorithme de codage CELP(de "Code Excited Linear Prédiction" , se reporter à [RABINER]), les paramètres de la trame effacée sont classiquement obtenus de la manière suivante :
    • le filtre LPC est obtenu à partir des paramètres LPC de la dernière trame valide soit par recopie des paramètres ou avec introduction d'un certain amortissement (cf. codeur G723.1 [REC G.723.1A]).
    • on détecte le voisement pour déterminer le degré d'harmonicité du signal au niveau de la trame effacée ([SALAMI], cette détection se intervenant de la façon suivante :
      • ■ dans le cas d'un signal non voisé :
        • un signal d'excitation est généré de manière aléatoire (tirage d'un mot de code et gain de l'excitation passée légèrement amorti [SALAMI], sélection aléatoire dans l'excitation passée [CHEN], usage des codes transmis éventuellement totalement erronés [HONKANEN],...)
      • ■ dans le cas d'un signal voisé :
        • le délai LTP est généralement le délai calculé à la trame précédente, éventuellement avec une légère "gigue" ([SALAMI]), le gain LTP étant pris très voisin de 1 ou égal à 1. Le signal d'excitation est limité à la prédiction à long terme effectuée à partir de l'excitation passée.
  • Dans tous les exemples cités précédemment, les procédures de dissimulation des trames effacées sont fortement liées au décodeur et utilisent des modules de ce décodeur, comme le module de synthèse du signal. Ils utilisent aussi des signaux intermédiaires disponibles au sein de ce décodeur comme le signal d'excitation passé et mémorisé lors du traitement des trames valides précédant les trames effacées.
  • La plupart des méthodes utilisées pour dissimuler les erreurs produites par des paquets perdus lors du transport de données codées par des codeurs de type temporel font appel à des techniques de substitution de formes d'ondes telles celles présentées dans [GOODMAN], [ERDÖL], [AT&T]. Les méthodes de ce type reconstituent le signal en sélectionnant des portions du signal décodé avant la période perdue et ne font pas appel à des modèles de synthèse. Des techniques de lissage sont également mises en oeuvre pour éviter les artefacts produits par la concaténation des différents signaux.
  • Pour les codeurs par transformée, les techniques de reconstruction des trames effacées s'appuient également sur la structure de codage utilisée : les algorithmes, tels [PICTEL, MAHIEUX-2], visent à régénérer les coefficients transformés perdus à partir des valeurs prises par ces coefficients avant l'effacement.
  • La méthode décrite dans [PARIKH] peut s'appliquer à tout type de signaux; elle repose sur la construction d'un modèle sinusoïdal à partir du signal valide décodé précédant l'effacement, pour régénérer la partie du signal perdue.
  • Enfin, il existe une famille de techniques de dissimulation des trames effacées développées conjointement avec le codage canal. Ces méthodes, telle celle décrite dans [FINGSCHEIDT], se servent d'informations fournies par le décodeur canal, par exemple d'informations concernant le degré de fiabilité des paramètres reçus. Elles sont fondamentalement différentes de la présente invention qui ne présuppose pas l'existence d'un codeur canal.
  • Un art antérieur qui peut être considéré comme le plus proche de la présente invention est celui qui est décrit dans [COMBESCURE], qui proposait une méthode de dissimulation des trames effacées équivalente à celle utilisée dans les codeurs CELP pour un codeur par transformée. Les inconvénients de la méthode proposée étaient l'introduction de distorsions spectrales audibles (voix "synthétique", résonances parasites,...), dus notamment à l'usage de filtres de synthèse à long terme mal contrôlés (composante harmonique unique en sons voisés, génération du signal d'excitation limitée à l'usage de portions du signal résiduel passé). En outre, le contrôle d'énergie s'effectuait dans [COMBESCURE] au niveau du signal d'excitation, la cible énergétique de ce signal était maintenue constante pendante toute la durée de l'effacement, ce qui engendrait également des artefacts gênants. Les mêmes remarques s'appliquent au document US5884010 .
    • 3. PRESENTATION DE L'INVENTION
  • L'invention telle que définie dans les revendications 1, 17 et 18 permet quant à elle la dissimulation des trames effacées sans distorsion marquée à des taux d'erreurs plus élevés et/ou pour des intervalles effacés plus longs.
  • Elle propose notamment un procédé de dissimulation d'erreur de transmission dans un signal audio-numérique selon lequel on reçoit un signal décodé après transmission, on mémorise les échantillons décodés lorsque les données transmises sont valides, on estime au moins un opérateur de prédiction à court terme et au moins un opérateur de prédiction à long terme en fonction des échantillons valides mémorisés et on génère d'éventuels échantillons manquants ou erronés dans le signal décodé à l'aide des opérateurs ainsi estimés.
  • Selon un premier aspect particulièrement avantageux de l'invention, on contrôle l'énergie du signal de synthèse ainsi généré à l'aide d'un gain calculé et adapté échantillon par échantillon.
  • Ceci contribue en particulier à améliorer les performances de la technique sur des zones d'effacement d'une durée plus longue.
  • Notamment, le gain pour le contrôle du signal de synthèse est avantageusement calculé en fonction d'au moins un des paramètres suivantes : valeurs d'énergie préalablement mémorisées pour les échantillons correspondant à des données valides, période fondamentale pour les sons voisés, ou tout paramètre caractérisant le spectre de fréquences.
  • De façon avantageuse également, le gain appliqué au signal de synthèse décroît progressivement en fonction de la durée pendant laquelle les échantillons de synthèse sont générés.
  • De façon préférée également, on discrimine dans les données valides les sons stationnaires et les sons non stationnaires et on met en oeuvre des lois d'adaptation de ce gain (vitesse de décroissante, par exemple), différentes d'une part pour les échantillons générés à la suite de données valides correspondant à des sons stationnaires et d'autre part pour les échantillons générés à la suite de données valides correspondants à des sons non stationnaires.
  • Selon un autre aspect indépendant de l'invention, on met à jour en fonction des échantillons de synthèse générés le contenu des mémoires utilisées pour le traitement de décodage.
  • De cette façon, d'une part on limite l'éventuelle désynchronisation du codeur et du décodeur (voir paragraphe 5.1.4 ci-après), et on évite les brusques discontinuités entre la zone effacée reconstruite selon l'invention et les échantillons suivant cette zone.
  • Notamment, on met en oeuvre au moins partiellement sur les échantillons synthétisés un codage analogue à celui mis en oeuvre à l'émetteur suivi éventuellement d'une opération (éventuellement partielle) de décodage, les données obtenues servant à régénérer les mémoires du décodeur.
  • En particulier, cette opération de codage-décodage éventuellement partielle peut être avantageusement utilisée pour régénérer la première trame effacée car elle permet d'exploiter le contenu des mémoires du décodeur avant la coupure, lorsque ces mémoires contiennent des informations non fournies par les derniers échantillons valides décodés (par exemple dans le cas des codeurs par transformée à addition-recouvrement, voir paragraphe 5.2.2.2.1 point 10).
  • Selon un aspect encore différent de l'invention, on génère en entrée de l'opérateur de prédiction à court terme un signal d'excitation qui, en zone voisée, est la somme d'une composante harmonique et d'une composante faiblement harmonique ou non harmonique, et en zone voisée limité à la composante non harmonique.
  • Notamment, la composante harmonique est avantageusement obtenue en mettant en oeuvre un filtrage au moyen de l'opérateur de prédiction à long terme appliqué sur un signal résiduel calculé en mettant en oeuvre un filtrage à court terme inverse sur les échantillons mémorisés.
  • L'autre composante peut être déterminée l'aide d'un opérateur de prédiction à long terme auquel on applique des perturbations (par exemple perturbation du gain, ou de la période), pseudo-aléatoires.
  • De façon particulièrement préférée, pour la génération d'un signal d'excitation voisé, la composante harmonique représente les basses fréquences du spectre, tandis que l'autre composante la partie haute fréquence.
  • Selon un autre aspect encore, l'opérateur de prédiction à long terme est déterminé à partir des échantillons de trames valides mémorisés, avec un nombre d'échantillons utilisés pour cette estimation variant entre une valeur minimale et une valeur égale à au moins deux fois la période fondamentale estimée pour le son voisé.
  • Par ailleurs, le signal résiduel est avantageusement modifié par des traitements de type non linéaire pour éliminer des pics d'amplitude.
  • Egalement, selon un autre aspect avantageux, on détecte l'activité vocale en estimant des paramètres de bruit lorsque le signal est considéré comme non actif, et on fait tendre des paramètres du signal synthétisé vers ceux du bruit estimé.
  • De façon préférentielle encore, on estime l'enveloppe spectrale du bruit des échantillons décodés valides et on génère un signal synthétisé évoluant vers un signal possédant la même enveloppe spectrale.
  • L'invention propose également un procédé de traitement de signaux de sons, caractérisé en ce qu'on met en oeuvre une discrimination entre la parole et les sons musicaux et lorsqu'on détecte des sons musicaux, on met en oeuvre un procédé du type précité sans estimation d'un opérateur de prédiction à long terme, le signal d'excitation étant limité à une composante non harmonique obtenue par exemple en générant un bruit blanc uniforme.
  • L'invention concerne en outre un dispositif de dissimulation d'erreur de transmission dans un signal audio-numérique qui reçoit en entrée un signal décodé que lui transmet un décodeur et qui génère des échantillons manquants ou erronés dans ce signal décodé, caractérisé en ce qu'il comporte des moyens de traitement aptes à mettre en oeuvre le procédé précité.
  • Elle concerne également un système de transmission comportant au moins un codeur, au moins un canal de transmission, un module apte à détecter que des données transmises ont été perdues ou sont fortement erronées, au moins un décodeur et un dispositif de dissimulation d'erreurs qui reçoit le signal décodé, caractérisé en ce que ce dispositif de dissimulation d'erreurs est un dispositif du type précité.
    • 4. PRESENTATION DES FIGURES
  • D'autres caractéristiques et avantages de l'invention ressortiront encore de la description qui suit, laquelle est purement illustrative et non limitative et doit être lue en regard des dessins annexés sur lesquels :
    • la figure 1 est un schéma synoptique illustrant un système de transmission conforme à un mode de réalisation possible de l'invention ;
    • la figure 2 et la figure 3 sont des schémas synoptiques illustrant une mise en oeuvre conforme à un mode possible de l'invention ;
    • les figures 4 à 6 illustrent schématiquement les fenêtres utilisées avec le procédé de dissimulation d'erreurs conforme à un mode de mise en oeuvre possible de l'invention ;
    • les figures 7 et 8 sont des représentations schématiques illustrant un mode de mise en oeuvre possible de l'invention dans le cas de signaux musicaux.
    5. DESCRIPTION D'UN OU PLUSIEURS MODES DE REALISATIONS POSSIBLE DE L'INVENTION 5.1 Principe d'un mode de réalisation possible
  • La figure 1 présente un dispositif de codage et décodage du signal audio numérique, comprenant un codeur 1, un canal de transmission 2, un module 3 permettant de détecter que des données transmises ont été perdues ou sont fortement erronées, un décodeur 4, et un module 5 de dissimulation des erreurs ou paquets perdus conforme à un mode de réalisation possible de l'invention.
  • On notera que ce module 5, outre l'indication de données effacées, reçoit le signal décodé en période valide et transmet au décodeur des signaux utilisés pour sa mise à jour.
  • Plus précisément, le traitement mis en oeuvre par le module 5 repose sur :
    1. 1. la mémorisation des échantillons décodés lorsque les données transmises sont valides (traitement 6);
    2. 2. durant un bloc de données effacées, la synthèse des échantillons correspondant aux données perdues (traitement 7) ;
    3. 3. lorsque la transmission est rétablie, le lissage entre les échantillons de synthèse produits pendant la période effacée et les échantillons décodés (traitement 8);
    4. 4. la mise à jour des mémoires du décodeur (traitement 9) (mise à jour qui s'effectue soit pendant la génération des échantillons effacés, soit au moment du rétablissement de la transmission).
    5.1.1 En période valide
  • Après décodage des données valides, on met à jour la mémoire des échantillons décodés, contenant un nombre d'échantillons suffisant pour la régénération des éventuelles périodes effacées dans la suite. Typiquement, on mémorise de l'ordre de 20 à 40 ms de signal. On calcule également l'énergie des trames valides et on retient en mémoire les énergies correspondant aux dernières trames valides traitées (typiquement de l'ordre de 5 s).
    • 5.1.2 Pendant un bloc de données effacées.
  • On effectue les opérations suivantes, illustrées par la figure 3 :
    • 1. Estimation de l'enveloppe spectrale courante :
  • On calcule cette enveloppe spectrale sous la forme d'un filtre LPC [RABINER][KLEIJN]. L'analyse est effectuée par des méthodes classiques ([KLEIJN]) après fenêtrage des échantillons mémorisés en période valide. Notamment, on met en oeuvre une analyse LPC (étape 10) pour obtenir les paramètres d'un filtre A(z), dont l'inverse est utilisé pour le filtrage LPC (étape 11). Comme les coefficients ainsi calculés n'ont pas à être transmis, on peut utiliser pour cette analyse un ordre élevé, ce qui permet d'obtenir de bonnes performances sur les signaux musicaux.
    • 2. Détection des sons voisés et calcul des paramètres LTP:
  • Une méthode de détection des sons voisés (traitement 12 de la figure 3 : détection V/NV, pour "voisé/non voisé") est utilisée sur les dernières données mémorisées. Par exemple on peut utiliser pour cela la corrélation normalisée ([KLEIJN]), ou le critère présenté dans l'exemple de réalisation qui suit.
  • Lorsque le signal est déclaré voisé, on calcule les paramètres permettant la génération d'un filtre de synthèse à long terme, encore dénommé filtre LTP ([KLEIJN]) (figure 3 : analyse LTP, on définit par B (Z) le filtre inverse LTP calculé). Un tel filtre est généralement représenté par une période correspondant à la période fondamentale et un gain. La précision de ce filtre peut être améliorée par l'usage de pitch fractionnaire ou d'une structure multi-coefficients [KROON].
  • Lorsque le signal est déclaré non voisé, une valeur particulière est attribuée au filtre de synthèse LTP (voir paragraphe 4).
  • Il est particulièrement intéressant dans cette estimation du filtre de synthèse LTP de restreindre la zone analysée à la fin de la période précédant l'effacement. La longueur de la fenêtre d'analyse varie entre une valeur minimale et une valeur liée à la période fondamentale du signal.
    • 3. Calcul d'un signal résiduel :
  • On calcule un signal résiduel par filtrage inverse LPC (traitement 10) des derniers échantillons mémorisés. Ce signal est ensuite utilisé pour générer un signal d'excitation du filtre de synthèse LPC 11 (voir ci-dessous).
    • 4. Synthèse des échantillons manquants :
  • La synthèse des échantillons de remplacement s'effectue en introduisant un signal d'excitation (calculé en 13 à partir du signal en sortie du filtre LPC inverse) dans le filtre de synthèse LPC 11 (1/A(z)) calculé en 1. Ce signal d'excitation est engendré de deux façons différentes suivant que le signal est voisé ou non voisé:
    • 4.1 En zone voisée :
  • Le signal d'excitation est la somme de deux signaux , une composante fortement harmonique et l'autre moins harmonique ou pas du tout.
  • La composante fortement harmonique est obtenue par filtrage LTP (module de traitement 14) à l'aide des paramètres calculés en 2, du signal résiduel mentionné en 3.
  • La seconde composante peut être obtenue également par filtrage LTP mais rendu non périodique par des modifications aléatoires des paramètres, par génération d'un signal pseudo-aléatoire.
  • Il est particulièrement intéressant de limiter la bande passante de la première composante aux basses fréquences du spectre. De même il sera intéressant de limiter aux plus hautes fréquences la seconde composante.
    • 4.2 En zone non voisée :
  • Lorsque le signal est non voisé, un signal d'excitation non harmonique est engendré. Il est intéressant d'utiliser une méthode de génération similaire à celle utilisée pour les sons voisés, avec des variations de paramètres (période, gain, signes) permettant de la rendre non harmonique.
    • 4.3 Contrôle de l'amplitude du signal résiduel :
  • Lorsque le signal est non voisé, ou faiblement voisé, le signal résiduel utilisé pour la génération de l'excitation est traité pour éliminer les pics d'amplitude significativement au dessus de la moyenne.
    • 5. Contrôle de l'énergie du signal de synthèse
  • L'énergie du signal de synthèse est contrôlée à l'aide d'un gain calculé et adapté échantillon par échantillon. Dans le cas où la période d'effacement est relativement longue, il est nécessaire de faire baisser progressivement l'énergie du signal de synthèse. La loi d'adaptation du gain est calculée en fonction de différents paramètres : valeurs d'énergies mémorisées avant l'effacement (voir en 1), période fondamentale, et stationnarité locale du signal au moment de la coupure.
  • Si le système comprend un module permettant la discrimination des sons stationnaires (comme la musique) et non stationnaires (comme la parole), des lois d'adaptation différentes peuvent aussi être utilisées.
  • Dans le cas de codeurs par transformée avec addition-recouvrement, la première moitié de la mémoire de la dernière trame correctement reçue contient des informations assez précises sur la première moitié de la première trame perdue (son poids dans l'addition-recouvrement est plus important que celui de la trame actuelle). Cette information peut être également utilisée pour le calcul du gain adaptatif.
    • 6. Evolution de la procédure de synthèse au cours du temps :
  • Dans le cas de période d'effacement relativement longues, on peut également faire évoluer les paramètres de synthèse. Si le système est couplé à un dispositif de détection d'activité vocale avec estimation des paramètres du bruit (tel [REC-G.723.1A], [SALAMI-2], [BENYASSINE]), il est particulièrement intéressant de faire tendre les paramètres de génération du signal à reconstruire vers ceux du bruit estimé: en particulier au niveau de l'enveloppe spectrale (interpolation du filtre LPC avec celui du bruit estimé, les coefficients de l'interpolation évoluant au cours du temps jusqu'à obtention du filtre du bruit) et de l'énergie (niveau évoluant progressivement vers celui du bruit, par exemple par fenêtrage).
    • 5.1.3 Au rétablissement de la transmission
  • Au rétablissement de la transmission, il est particulièrement important d'éviter les ruptures brutales entre la période effacée que l'on a reconstruite selon les techniques définies aux paragraphes précédents et les périodes qui suivent, au cours desquelles on dispose de toute l'information transmise pour décoder le signal. La présente invention effectue une pondération dans le domaine temporel avec interpolation entre les échantillons de remplacement précédent le rétablissement de la communication et les échantillons décodés valides suivant la période effacée. Cette opération est a priori indépendante du type du codeur employé.
  • Dans le cas de codeurs par transformée avec addition-recouvrement, cette opération est commune avec la mise à jour des mémoires décrite au paragraphe suivant (voir exemple de réalisation).
    • 5.1.4 Mise à jour des mémoires du décodeur
  • Lorsque le décodage des échantillons valides reprend après une période effacée, il peut y avoir une dégradation lorsque le décodeur utilise des données normalement produites aux trames précédentes et mémorisées. Il est important de mettre à jour proprement ces mémoires pour éviter ces artefacts.
  • Ceci est particulièrement important pour les structures de codage utilisant des procédés récursifs, qui pour un échantillon ou une séquence d'échantillons, se servent d'informations obtenues après décodage des échantillons précédents. Ce sont par exemple des prédictions ([KLEIJN]) qui permettent d'extraire de la redondance du signal. Ces informations sont normalement disponibles à la fois au codeur, qui doit pour cela avoir effectué pour ces échantillons précédents une forme de décodage local, et au décodeur distant présent à la réception. Dés que le canal de transmission est perturbé et que le décodeur distant ne dispose plus des mêmes informations que le décodeur local présent à l'émission, il y a désynchronisation entre le codeur et le décodeur. Dans le cas de systèmes de codage fortement récursifs, cette désynchronisation peut provoquer des dégradations audibles qui peuvent perdurer longtemps voir même s'amplifier au cours du temps s'il existe des instabilités dans la structure. Dans ce cas, il est donc important de s'efforcer de resynchroniser le codeur et le décodeur, c'est à dire de faire une estimation des mémoires du décodeur la plus proche possible de celles du codeur. Cependant les techniques de resynchronisation dépendent de la structure de codage utilisée. On en présentera une dont le principe est général dans le présent brevet, mais dont la complexité est potentiellement importante.
  • Une méthode possible consiste à introduire dans le décodeur à la réception un module de codage du même type que celui présent à l'émission, permettant d'effectuer le codage-décodage des échantillons du signal produit par les techniques mentionnées au paragraphe précédent pendant les périodes effacées. De cette façon les mémoires nécessaires pour décoder les échantillons suivant sont complétées avec des données a priori proches (sous réserve d'une certaine stationnarité pendant la période effacée) de celles qui ont été perdues. Dans le cas où cette hypothèse de stationnarité ne serait pas respectée, après une longue période effacée par exemple, on ne dispose pas de toute façon d'informations suffisantes pour faire mieux.
  • En fait il n'est généralement pas nécessaire d'effectuer le codage complet de ces échantillons, on se limite aux modules nécessaires pour mettre à jour les mémoires.
  • Cette mise à jour peut s'effectuer au moment de la production des échantillons de remplacement, ce qui répartit la complexité sur toute la zone d'effacement, mais se cumule avec la procédure de synthèse décrite précédemment.
  • Lorsque la structure de codage le permet, on peut aussi limiter la procédure ci-dessus à une zone intermédiaire au début de la période de données valides succédant à une période effacée, la procédure de mise à jour se cumulant alors avec l'opération de décodage.
    • 5.2. Description d'exemples de réalisation particuliers
  • Des exemples particuliers de mise en oeuvre possible sont donnés ci-après. Le cas des codeurs par transformée de type TDAC ou TCDM ([MAHIEUX]) est en particulier abordé.
    • 5.2.1 Description du dispositif
  • Système de codage/décodage numérique par transformée de type TDAC.
  • Codeur en bande élargie (50-7000 Hz) à 24 kb/s ou 32 kb/s.
  • Trame de 20 ms (320 échantillons).
  • Fenêtres de 40 ms (640 échantillons) avec addition-recouvrements de 20 ms. Une trame binaire contient les paramètres codés obtenus par la transformation TDAC sur une fenêtre. Après le décodage de ces paramètres, en faisant la transformation inverse TDAC, on obtient une trame de sortie de 20 ms qui est la somme de la deuxième moitié de la fenêtre précédente et la première moitié de la fenêtre actuelle. Sur la figure 4, il a été marqué en gras les deux parties de fenêtres utilisées pour la reconstruction de la trame n (en temporel). Ainsi, une trame binaire perdue perturbe la reconstruction de deux trames consécutives (l'actuelle et la suivante, figure 5). Par contre, en faisant correctement le remplacement des paramètres perdus, on peut récupérer les parties de l'information provenant de la trame binaire précédente et suivante (figure 6), pour la reconstruction de ces deux trames.
    • 5.2.2 Mise en oeuvre
  • Toutes les opérations décrites ci-dessous sont mises en oeuvre à la réception, conformément aux figures 1 et 2, soit au sein du module de dissimulation des trames effacées qui communique avec le décodeur, soit dans le décodeur lui même (mise à jour des mémoires du décodeur).
    • 5.2.2.1 En période valide
  • Correspondant au paragraphe 5.1.2, on met à jour la mémoire des échantillons décodés. Cette mémoire est utilisée pour les analyses LPC et LTP du signal passé dans le cas d'un effacement d'une trame binaire. Dans l'exemple présenté ici, l'analyse LPC est faite sur une période de signal de 20 ms (320 échantillons). En général, l'analyse LTP nécessite plus d'échantillons à mémoriser. Dans notre exemple, pour pouvoir faire l'analyse LTP correctement, le nombre des échantillons mémorisés est égal à deux fois la valeur maximale du pitch. Par exemple, si la valeur maximale du pitch MaxPitch est fixée à 320 échantillons (50 Hz, 20 ms), les derniers 640 échantillons seront mémorisés (40 ms du signal). On calcule également l'énergie des trames valides et on les stocke dans un tampon circulaire de longueur de 5 s. Lorsqu'une trame effacée est détectée, on compare l'énergie de la dernière trame valide au maximum et au minimum de ce tampon circulaire pour connaître son énergie relative.
    • 5.2.2.2 Pendant un bloc de données effacées
  • Lorsqu'une trame binaire est perdue, on distingue deux cas différents :
    • 5.2.2.2.1 Première trame binaire perdue après une période valide
  • D'abord, on fait une analyse du signal mémorisé pour estimer les paramètres du modèle servant à synthétiser le signal regénéré. Ce modèle nous permet ensuite de synthétiser 40 ms de signal, ce qui correspond à la fenêtre de 40 ms perdue. En faisant la transformation TDAC suivie de la transformation inverse TDAC sur ce signal synthétisé (sans codage - décodage des paramètres), on obtient le signal de sortie de 20 ms. Grâce à ces opérations TDAC - TDAC inverse, on exploite l'information provenant de la fenêtre précédente correctement reçue (voir figure 6). En même temps, on met à jour les mémoires du décodeur. Ainsi, la trame binaire suivante, si elle est bien reçue, peut être décodée normalement, et les trames décodées seront automatiquement synchronisées (figure 6).
  • Les opérations à effectuer sont les suivantes :
    1. 1. Fenêtrage du signal mémorisé. Par exemple, on peut utiliser une fenêtre asymétrique de Hamming de 20 ms.
    2. 2. Calcul de la fonction d'autocorrélation sur le signal fenêtré.
    3. 3. Détermination des coefficients du filtre LPC. Pour cela, classiquement on utilise l'algorithme itératif de Levinson-Durbin. L'ordre d'analyse peut être élevé, surtout lorsque le codeur est utilisé pour coder des séquences de musique.
    4. 4. Détection de voisement et analyse à long terme du signal mémorisé pour la modélisation de l'éventuelle périodicité du signal (sons voisés). Dans la réalisation présentée, les inventeurs ont limité l'estimation de la période fondamentale Tp aux valeurs entières, et calculé une estimation du degré de voisement sous la forme du coefficient de corrélation MaxCorr (voir ci-dessous) évalué à la période sélectionnée. Soit Tm = max(T, Fs/200), où Fs est la fréquence d'échantillonnage, donc Fs/200 échantillons correspondent à une durée de 5 ms. Pour mieux modéliser l'évolution du signal à la fin de la trame précédente, on calcule les coefficients de corrélation Corr(T) correspondant à un retard T en n'utilisant que 2*Tm échantillons à la fin du signal mémorisé : Corr T = 2 ∑ i = Lmem - 2 ⁢ T m + T Lmem - 1 m i ⁢ m i - T ∑ i = Lmem - 2 ⁢ T m Lmem - 1 m i 2 + ∑ i = Lmem - 2 ⁢ T m + T Lmem - 1 - T m i 2
      Figure imgb0001
      où m 0···m Lmem-1 est la mémoire du signal décodé précédemment. De cette formule, on voit que la longueur de cette mémoire Lmem doit être au moins 2 fois la valeur maximale de la période fondamentale (encore appelée "pitch") MaxPitch.
      On a également fixé la valeur minimale de la période fondamentale MinPitch correspondant à une fréquence de 600 Hz (26 échantillons à Fs = 16 kHz).
      On calcule Corr(T) pour T = 2,
      Figure imgb0002
      , MaxPitch. Si T' est le plus petit retard tel que Corr(T')<0 (on élimine ainsi les corrélations à très court terme), alors on cherche MaxCorr, maximum de Corr(T) pour T'<T<=MaxPitch. Soit Tp la période correspondant à MaxCorr ( Corr(Tp) = MaxCorr). On cherche également MaxCorrMP, maximum de Corr(T) pour T'<T<=0.75*MinPitch,. Si Tp<MinPitch ou MaxCorrMP > 0.7*MaxCorr et si l'énergie de la dernière trame valide est relativement faible, on décide que la trame est non voisée, car en utilisant la prédiction LTP on risquerait d'obtenir une résonance dans les hautes fréquences très gênante. Le pitch choisi est Tp=MaxPitch/2, et le coefficient de corrélation MaxCorr fixé à une valeur faible (0.25).
      On considère également la trame comme non-voisée lorsque plus de 80% de son énergie se concentre dans les derniers MinPitch échantillons. Il s'agit donc d'un démarrage de la parole, mais le nombre d'échantillons n'est pas suffisant pour estimer la période fondamentale éventuelle, il vaut mieux le traiter comme trame non voisée, et même diminuer plus rapidement l'énergie du signal synthétisé (pour signaler cela, on met DiminFlag=1).
      Dans le cas où MaxCorr > 0.6, on vérifie que l'on n'a pas trouvé un multiple (4, 3 ou 2 fois) de la période fondamentale. Pour cela, on cherche le maximum local de la corrélation autour de Tp/4, Tp/3 et Tp/2. Notons T1 la position de ce maximum, et MaxCorrL = Corr(T1). Si T1 > MinPitch et MaxCorrL > 0.75* MaxCorr, on choisit T1 comme nouvelle période fondamentale.
      Si Tp est inférieur à MaxPitch/2, on peut vérifier s'il s'agit vraiment d'une trame voisée en cherchant le maximum local de la corrélation autour de 2*TP (TPP) et en vérifiant si Corr(TPP)>0.4. Si Corr(TPP)<0.4 et si l'énergie du signal diminue, on met DiminFlag=1 et on diminue la valeur de MaxCorr, sinon on cherche le maximum local suivant entre le TP actuel et MaxPitch.
      Un autre critère de voisement consiste à vérifier si au moins dans 2/3 des cas le signal retardé par la période fondamentale a le même signe que le signal non retardé.
      On vérifie cela sur une longueur égale au maximum entre 5ms et 2*TP.
      On vérifie également si l'énergie du signal a tendance à diminuer ou non. Si oui, on met DiminFlag=1 et on fait décroître la valeur de MaxCorr en fonction de degré de diminution.
      La décision de voisement tient compte également de l'énergie du signal: si l'énergie est forte, on augmente la valeur de MaxCorr, ainsi il est plus probable que la trame soit décidée voisée. Par contre, si l'énergie est très faible, on diminue la valeur de MaxCorr.
      Finalement, on prend la décision de voisement en fonction de la valeur de MaxCorr: la trame est non voisée si et seulement si MaxCorr < 0.4. La période fondamentale Tp d'une trame non voisée est bornée, elle doit être inférieure ou égale à MaxPitch/2.
    5. 5. Calcul du signal résiduel par filtrage inverse LPC des derniers échantillons mémorisés. Ce signal résiduel est stocké dans la mémoire ResMem.
    6. 6. Egalisation de l'énergie du signal résiduel. Dans le cas d'un signal non voisé ou faiblement voisé (MaxCorr < 0.7), l'énergie du signal résiduel stocké dans ResMem peut changer brusquement d'une partie à l'autre. La répétition de cette excitation entraîne une perturbation périodique très désagréable dans le signal synthétisé. Pour éviter cela, on s'assure qu'aucun pic d'amplitude important ne se présente dans l'excitation d'une trame faiblement voisée. Comme l'excitation est construite à partir des derniers Tp échantillons du signal résiduel, on traite ce vecteur de Tp échantillons. La méthode utilisée dans notre exemple est la suivante :
      • ■ On calcule la moyenne MeanAmpl des valeurs absolues des derniers Tp échantillons du signal résiduel.
      • ■ Si le vecteur d'échantillons à traiter contient n passages à zéro, on le coupe en n+1 sous-vecteurs, le signe du signal dans chaque sous-vecteur étant donc invariant.
      • ■ On cherche l'amplitude maximale MaxAmplSv de chaque sous-vecteur. Si MaxAmplSv>1.5*MeanAmpl , on multiplie le sous-vecteur par 1.5*MeanAmpl/MaxAmplSv.
    7. 7. Préparation du signal d'excitation d'une longueur de 640 échantillons correspondant à la longueur de la fenêtre TDAC. On distingue 2 cas selon le voisement :
      • Figure imgb0003
        Le signal d'excitation est la somme de deux signaux, une composante fortement harmonique limitée en bande aux basses fréquences du spectre excb et une autre moins harmonique limitée aux plus hautes fréquences exch.

      La composante fortement harmonique est obtenue par filtrage LTP d'ordre 3 du signal résiduel : excb i = 0.15 * exc ⁢ i - Tp - 1 + 0.7 * exc ⁢ i - Tp + 0.15 * exc ⁢ i - Tp + 1
      Figure imgb0004
      Les coefficients [0.15, 0.7, 0.15] correspondent à un filtre FIR passe-bas de 3 dB d'atténuation à Fs/4.
      La seconde composante est obtenue également par un filtrage LTP rendu non périodique par la modification aléatoire de sa période fondamentale Tph. Tph est choisie comme la partie entière d'une valeur réelle aléatoire Tpa. La valeur initiale de Tpa est égale à Tp puis elle est modifiée échantillon par échantillon en l'additionnant une valeur aléatoire dans [-0.5, 0.5]. De plus, ce filtrage LTP est combiné avec un filtrage IIR passe haut : exch i = - 0.0635 * exc ⁢ i - Tph - 1 + exc ⁢ i - Tph + 1 + 0.1182 * exc ⁢ i - Tph - 0.9926 * exch ⁢ i - 1 - 0.7679 * exch ⁢ i - 2
      Figure imgb0005
      L'excitation voisée est alors la somme de ces 2 composante : Exc i = excb i + exch i
      Figure imgb0006
      • ■ Dans le cas d'une trame non voisée, le signal d'excitation exc est obtenu également par filtrage LTP d'ordre 3 avec les coefficients [0.15, 0.7, 0.15] mais il est rendu non périodique par augmentation de la période fondamentale d'une valeur égale à 1 tous les 10 échantillons, et inversion du signe avec une probabilité de 0.2.
    8. 8. Synthèse des échantillons de remplacement en introduisant le signal d'excitation exc dans le filtre LPC calculé en 3.
    9. 9. Contrôle du niveau de l'énergie du signal de synthèse. L'énergie tend progressivement vers un niveau fixé par avance dès la première trame de remplacement synthétisée. Ce niveau peut être défini, par exemple, comme l'énergie de la trame de sortie la plus faible trouvée durant les 5 dernières secondes précédant l'effacement. Nous avons défini deux lois d'adaptation du gain qui sont choisies en fonction du drapeau DiminFlag calculé en 4. La vitesse de diminution de l'énergie dépend également de la période fondamentale. Il existe une troisième loi d'adaptation plus radicale qui est utilisée quand on détecte que le début du signal généré ne correspond pas bien au signal originel, comme expliqué ultérieurement (voir point 11).
    10. 10. Transformation TDAC sur le signal synthétisé en 8, comme expliqué au début de ce chapitre. Les coefficients TDAC obtenus remplacent les coefficients TDAC perdus. Ensuite, en faisant la transformation inverse TDAC, on obtient la trame de sortie. Ces opérations ont trois buts :
      • ■ Dans le cas de la première fenêtre perdue, de cette façon on exploite l'information de la fenêtre précédente correctement reçue qui contient la moitié des données nécessaires pour reconstruire la première trame perturbée (figure 6).
      • ■ On met à jour la mémoire du décodeur pour le décodage de la trame suivante (synchronisation du codeur et du décodeur, voir paragraphe 5.1.4).
      • ■ On assure automatiquement la transition continue (sans rupture) du signal de sortie lorsque la première trame binaire correctement reçue arrive après une période effacée que l'on a reconstruite selon les techniques présentées ci-dessus (voir paragraphe 5.1.3).
    11. 11. La technique d'addition-recouvrement permet de vérifier si le signal voisé synthétisé correspond bien au signal d'origine ou non car pour la première moitié de la première trame perdue le poids de la mémoire de dernière fenêtre correctement reçue est plus important (figure 6). Donc en prenant la corrélation entre la première moitié de la première trame synthétisée et la première moitié de la trame obtenue après les opérations TDAC
      Figure imgb0007
      TDAC inverse, on peut estimer la similitude entre la trame perdue et la trame de remplacement. Une corrélation faible (< 0.65) signale que le signal originel est assez différent de celui obtenu par la méthode de remplacement, et il vaut mieux diminuer l'énergie de ce dernier rapidement vers le niveau minimal.
    5.2.2.2.2 Trames perdues suivant la première trame d'une zone effacée
  • Dans le paragraphe précédent, les points 1-6 concernent l'analyse du signal décodé précédant la première trame effacée et permettant la construction d'un modèle de synthèse (LPC et éventuellement LTP) de ce signal. Pour les trames effacées suivantes, on ne refait pas l'analyse, le remplacement du signal perdu est basé sur les paramètres (coefficients LPC, pitch, MaxCorr, ResMem) calculés lors de première trame effacée. On fait donc uniquement les opérations correspondant à la synthèse du signal et à la synchronisation du décodeur, avec les modifications suivantes par rapport à la première trame effacée :
    • ■ Dans la partie synthèse (points 7 et 8), on génère uniquement 320 nouveaux échantillons, car la fenêtre de la transformation TDAC couvre les derniers 320 échantillons générés lors de la trame effacée précédente et ces nouveaux 320 échantillons.
    • ■ Dans le cas où la période d'effacement serait relativement longue, il est important de faire évoluer les paramètres de synthèse vers les paramètres d'un bruit blanc ou vers ceux du bruit de fond (voir point 5 dans paragraphe 3.2.2.2). Comme le système présenté dans cet exemple ne comprend pas de VAD /CNG, nous avons, par exemple, la possibilité de faire une ou plusieurs des modifications suivantes :
    • ■ Interpolation progressive du filtre LPC avec un filtre plat pour rendre le signal synthétisé moins coloré.
    • ■ Augmentation progressive de la valeur du pitch.
    • ■ En mode voisé, on bascule en mode non-voisé après un certain temps (par exemple quand l'énergie minimale est atteinte).
  • 5.3 Traitement spécifique pour les signaux musicaux. Si le système comprend un module permettant la discrimination parole/musique, on peut alors, après sélection d'un mode de synthèse de musique mettre en oeuvre un traitement spécifique au signaux musicaux. Sur la figure 7, le module de synthèse de musique a été référencé par 15, celui de synthèse de parole par 16 et le commutateur parole/musique par 17.
  • Un tel traitement met par exemple en oeuvre pour le module de synthèse de musique les étapes suivantes, illustrées sur la figure 8 :
    • 1. Estimation de l'enveloppe spectrale courante :
  • On calcule cette enveloppe spectrale sous la forme d'un filtre LPC [RABINER][KLEIJN]. L'analyse est effectuée par des méthodes classiques ([KLEIJN]). Après fenêtrage des échantillons mémorisés en période valide, on met en oeuvre une analyse LPC pour calculer un filtre LPC A(Z) (étape 19). On utilise pour cette analyse un ordre élevé (>100) afin d'obtenir de bonnes performances sur les signaux musicaux.
    • 2. Synthèse des échantillons manquants :
  • La synthèse des échantillons de remplacement s'effectue en introduisant un signal d'excitation dans le filtre de synthèse LPC (1/A(z)) calculé à l'étape 19. Ce signal d'excitation - calculé dans une étape 20 - est un bruit blanc dont l'amplitude est choisie pour obtenir un signal ayant la même énergie que celle des derniers N échantillons mémorisés en période valide. Sur la figure 8, l'étape de filtrage est référencée par 21.
    • Exemple du contrôle de l'amplitude du signal résiduel :
  • Si l'excitation se présente comme un bruit blanc uniforme multiplié par un gain, on peut calculer ce gain G comme suit :
    • Estimation du gain du filtre LPC:
  • L'algorithme de Durbin donne l'énergie du signal résiduel. Connaissant également l'énergie du signal à modélisé on estime le gain GLPC du filtre LPC comme le rapport de ces deux énergies.
    • Calcul de l'énergie cible :
  • On estime l'énergie cible égale à l'énergie des derniers N échantillons mémorisés en période valide (N est typiquement < la longueur du signal utilisé pour l'analyse LPC).
  • L'énergie du signal synthétisé est le produit de l'énergie du bruit blanc par G2 et GLPC. On choisi G pour que cette énergie soit égale à l'énergie cible.
    • 3. Contrôle de l'énergie du signal de synthèse
  • Comme pour les signaux de parole, sauf que la vitesse de diminution de l'énergie du signal de synthèse et beaucoup plus lente, et qu'elle ne dépend pas de période fondamentale (inexistante) :
  • L'énergie du signal de synthèse est contrôlée à l'aide d'un gain calculé et adapté échantillon par échantillon. Dans le cas où la période d'effacement est relativement longue, il est nécessaire de faire baisser progressivement l'énergie du signal de synthèse. La loi d'adaptation du gain peut être calculée en fonction de différents paramètres comme les valeurs d'énergies mémorisées avant l'effacement, et stationnarité locale du signal au moment de la coupure.
    • 6. Evolution de la procédure de synthèse au cours du temps : Comme pour les signaux de parole :
  • Dans le cas de périodes d'effacement relativement longues, on peut également faire évoluer les paramètres de synthèse. Si le système est couplé à un dispositif de détection d'activité vocale ou de signaux musicaux avec estimation des paramètres du bruit (tel [REC-G.723.1A], [SALAMI-2], [BENYASSINE]), il sera particulièrement intéressant de faire tendre les paramètres de génération du signal à reconstruire vers ceux du bruit estimé: en particulier au niveau de l'enveloppe spectrale (interpolation du filtre LPC avec celui du bruit estimé, les coefficients de l'interpolation évoluant au cours du temps jusqu'à obtention du filtre du bruit) et de l'énergie (niveau évoluant progressivement vers celui du bruit, par exemple par fenêtrage).
    • 6. REMARQUE GENERALE
  • Comme on l'aura compris, la technique qui vient d'être décrite présente l'avantage d'être utilisable avec tout type de codeur ; en particulier elle permet de remédier aux problèmes des paquets de bits perdus pour les codeurs temporels ou par transformée, sur des signaux de parole et musique avec de bonnes performances : en effet dans la présente technique, les seuls signaux mémorisés lors des périodes où les données transmises sont valides sont les échantillons issus du décodeur, information qui est disponible quelle que soit la structure de codage utilisée.
    • 7. REFÉRENCES BIBLIOGRAPHIQUES

Claims (18)

  1. Procédé de dissimulation d'erreur de transmission dans un signal audio-numérique dans lequel à la détection (3) d'échantillons manquants ou erronés dans un signal, on génère des échantillons de synthèse (5) à l'aide d'au moins un opérateur de prédiction à court terme et au moins pour les sons voisés un opérateur de prédiction à long terme estimé en fonction d'échantillons décodés d'un signal décodé passé, lesdits échantillons décodés étant mémorisés (6) précédemment lorsque les données transmises dudit signal passé sont valides, caractérisé en ce qu'on contrôle l'énergie du signal de synthèse ainsi généré à l'aide d'un gain calculé et adapté échantillon par échantillon selon une loi d'adaptation dépendant d'au moins un paramètre desdits échantillons décodés mémorisés.
  2. Procédé selon la revendication 1, caractérisé en ce que le gain pour le contrôle du signal de synthèse est calculé en fonction d'au moins un des paramètres suivants : valeurs d'énergie préalablement mémorisées pour les échantillons correspondant à des données valides, période fondamentale pour les sons voisés, ou tout paramètre caractérisant le spectre de fréquences.
  3. Procédé selon l'une des revendications précédentes, caractérisé en ce que le gain appliqué au signal de synthèse décroît progressivement en fonction de la durée pendant laquelle les échantillons de synthèse sont générés.
  4. Procédé selon l'une des revendications précédentes, caractérisé en ce qu'on discrimine dans les données valides les sons stationnaires et les sons non stationnaires et on met en oeuvre des lois d'adaptation du gain permettant de contrôler le signal de synthèse différentes d'une part pour les échantillons générés à la suite de données valides correspondant à des sons stationnaires et d'autre part pour les échantillons générés à la suite de données valides correspondants à des sons non stationnaires.
  5. Procédé selon l'une des revendications précédentes, caractérisé en ce qu'on met à jour en fonction des échantillons de synthèse générés le contenu de mémoires utilisées pour le traitement de décodage.
  6. Procédé selon la revendication 5, caractérisé en ce qu'on met en oeuvre au moins partiellement sur les échantillons synthétisés un codage analogue à celui mis en oeuvre à l'émetteur suivi éventuellement d'une opération de décodage au moins partielle, les données obtenues servant à régénérer les mémoires du décodeur.
  7. Procédé selon la revendication 6, caractérisé en ce qu'on régénère la première trame effacée au moyen de cette opération de codage-décodage, en exploitant le contenu des mémoires du décodeur avant la coupure, lorsque lesdites mémoires contiennent des informations exploitables dans cette opération.
  8. Procédé selon l'une des revendications précédentes, caractérisé en ce qu'on génère en entrée de l'opérateur de prédiction à court terme un signal d'excitation qui, en zone voisée, est la somme d'une composante harmonique et d'une composante faiblement harmonique ou non harmonique, et en zone non voisée, limitée à une composante non harmonique.
  9. Procédé selon la revendication 8 , caractérisé en ce que la composante harmonique est obtenue en mettant en oeuvre un filtrage au moyen de l'opérateur de prédiction à long terme appliqué sur un signal résiduel calculé en mettant en oeuvre un filtrage à court terme inverse sur les échantillons mémorisés.
  10. Procédé selon la revendication 9, caractérisé en ce que l'autre composante est déterminée à l'aide d'un opérateur de prédiction à long terme auquel on applique des perturbations pseudo-aléatoires.
  11. Procédé selon l'une des revendications 8 à 10, caractérisé en ce que pour la génération d'un signal d'excitation voisé, la composante harmonique est limitée aux basses fréquences du spectre, tandis que l'autre composante est limitée aux hautes fréquences.
  12. Procédé selon l'une des revendications précédentes, caractérisé en ce que l'opérateur de prédiction à long terme est déterminé à partir des échantillons de trames valides mémorisés, avec un nombre d'échantillons utilisés pour cette estimation variant entre une valeur minimale et une valeur égale à au moins deux fois la période fondamentale estimée pour le son voisé.
  13. Procédé selon l'une des revendications précédentes, caractérisé en ce que le signal résiduel est traité de manière non linéaire pour éliminer des pics d'amplitude.
  14. Procédé selon l'une des revendications précédentes, caractérisé en ce qu'on détecte l'activité vocale en estimant des paramètres de bruit et en ce qu'on fait tendre des paramètres du signal synthétisé vers ceux du bruit estimé.
  15. Procédé selon la revendication 14, caractérisé en ce qu'on estime l'enveloppe spectrale du bruit des échantillons décodés valides et on génère un signal synthétisé évoluant vers un signal possédant la même enveloppe spectrale.
  16. Procédé de traitement de signaux de sons, caractérisé en ce qu'on met en oeuvre une discrimination entre les sons voisés et les sons musicaux et lorsqu'on détecte des sons musicaux, on met en oeuvre un procédé selon l'une des revendications précédentes sans estimation d'un opérateur de prédiction à long terme.
  17. Dispositif de dissimulation d'erreur de transmission dans un signal audio-numérique qui reçoit en entrée un signal décodé que lui transmet un décodeur et qui génère des échantillons manquants ou erronés dans ce signal décodé, caractérisé en ce qu'il comporte des moyens de traitement aptes à mettre en oeuvre le procédé selon l'une des revendications précédentes.
  18. Système de transmission comportant au moins un codeur, au moins un canal de transmission, un module apte à détecter que des données transmises ont été perdues ou sont fortement erronées, au moins un décodeur et un dispositif de dissimulation d'erreurs qui reçoit le signal décodé, caractérisé en ce que ce dispositif de dissimulation d'erreurs est un dispositif selon la revendication 17.
EP01969857A 2000-09-05 2001-09-05 Dissimulation d'erreurs de transmission dans un signal audio Expired - Lifetime EP1316087B1 (fr)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0011285A FR2813722B1 (fr) 2000-09-05 2000-09-05 Procede et dispositif de dissimulation d'erreurs et systeme de transmission comportant un tel dispositif
FR0011285 2000-09-05
PCT/FR2001/002747 WO2002021515A1 (fr) 2000-09-05 2001-09-05 Dissimulation d'erreurs de transmission dans un signal audio

Publications (2)

Publication Number Publication Date
EP1316087A1 EP1316087A1 (fr) 2003-06-04
EP1316087B1 true EP1316087B1 (fr) 2008-01-02

Family

ID=8853973

Family Applications (1)

Application Number Title Priority Date Filing Date
EP01969857A Expired - Lifetime EP1316087B1 (fr) 2000-09-05 2001-09-05 Dissimulation d'erreurs de transmission dans un signal audio

Country Status (11)

Country Link
US (2) US7596489B2 (fr)
EP (1) EP1316087B1 (fr)
JP (1) JP5062937B2 (fr)
AT (1) ATE382932T1 (fr)
AU (1) AU2001289991A1 (fr)
DE (1) DE60132217T2 (fr)
ES (1) ES2298261T3 (fr)
FR (1) FR2813722B1 (fr)
HK (1) HK1055346A1 (fr)
IL (2) IL154728A0 (fr)
WO (1) WO2002021515A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2679228C2 (ru) * 2013-09-30 2019-02-06 Конинклейке Филипс Н.В. Передискретизация звукового сигнала для кодирования/декодирования с малой задержкой

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030163304A1 (en) * 2002-02-28 2003-08-28 Fisseha Mekuria Error concealment for voice transmission system
FR2849727B1 (fr) * 2003-01-08 2005-03-18 France Telecom Procede de codage et de decodage audio a debit variable
DE60327371D1 (de) 2003-01-30 2009-06-04 Fujitsu Ltd EINRICHTUNG UND VERFAHREN ZUM VERBERGEN DES VERSCHWINDENS VON AUDIOPAKETEN, EMPFANGSENDGERuT UND AUDIOKOMMUNIKAITONSSYSTEM
US7835916B2 (en) * 2003-12-19 2010-11-16 Telefonaktiebolaget Lm Ericsson (Publ) Channel signal concealment in multi-channel audio systems
KR100587953B1 (ko) * 2003-12-26 2006-06-08 한국전자통신연구원 대역-분할 광대역 음성 코덱에서의 고대역 오류 은닉 장치 및 그를 이용한 비트스트림 복호화 시스템
JP4761506B2 (ja) * 2005-03-01 2011-08-31 国立大学法人北陸先端科学技術大学院大学 音声処理方法と装置及びプログラム並びに音声システム
CA2574468C (fr) * 2005-04-28 2014-01-14 Siemens Aktiengesellschaft Procede et dispositif pour attenuer le bruit
US7831421B2 (en) * 2005-05-31 2010-11-09 Microsoft Corporation Robust decoder
US8620644B2 (en) * 2005-10-26 2013-12-31 Qualcomm Incorporated Encoder-assisted frame loss concealment techniques for audio coding
US7805297B2 (en) 2005-11-23 2010-09-28 Broadcom Corporation Classification-based frame loss concealment for audio signals
US8417185B2 (en) 2005-12-16 2013-04-09 Vocollect, Inc. Wireless headset and method for robust voice data communication
WO2007077841A1 (fr) * 2005-12-27 2007-07-12 Matsushita Electric Industrial Co., Ltd. Dispositif et procede de decodage audio
US7773767B2 (en) 2006-02-06 2010-08-10 Vocollect, Inc. Headset terminal with rear stability strap
US7885419B2 (en) 2006-02-06 2011-02-08 Vocollect, Inc. Headset terminal with speech functionality
EP2051243A4 (fr) * 2006-07-27 2010-12-22 Nec Corp Dispositif de décodage de données audio
US8015000B2 (en) * 2006-08-03 2011-09-06 Broadcom Corporation Classification-based frame loss concealment for audio signals
ATE536613T1 (de) 2006-10-20 2011-12-15 France Telecom Dämpfung von stimmüberlagerung, im besonderen zur erregungserzeugung bei einem decoder in abwesenheit von informationen
EP1921608A1 (fr) * 2006-11-13 2008-05-14 Electronics And Telecommunications Research Institute Procédé d'insertion d'informations de vecteurs pour estimer les données vocales dans une période de resynchronisation clé, procédé de transmission de vecteur, et procédé d'estimation de données vocales dans une resynchronisation clé utilisant des informations vectorielles
KR100862662B1 (ko) * 2006-11-28 2008-10-10 삼성전자주식회사 프레임 오류 은닉 방법 및 장치, 이를 이용한 오디오 신호복호화 방법 및 장치
JP4504389B2 (ja) * 2007-02-22 2010-07-14 富士通株式会社 隠蔽信号生成装置、隠蔽信号生成方法および隠蔽信号生成プログラム
EP3301672B1 (fr) * 2007-03-02 2020-08-05 III Holdings 12, LLC Dispositif de codage audio et procédé de codage audio
US7853450B2 (en) * 2007-03-30 2010-12-14 Alcatel-Lucent Usa Inc. Digital voice enhancement
US8126707B2 (en) * 2007-04-05 2012-02-28 Texas Instruments Incorporated Method and system for speech compression
JP5302190B2 (ja) * 2007-05-24 2013-10-02 パナソニック株式会社 オーディオ復号装置、オーディオ復号方法、プログラム及び集積回路
KR100906766B1 (ko) * 2007-06-18 2009-07-09 한국전자통신연구원 키 재동기 구간의 음성 데이터 예측을 위한 음성 데이터송수신 장치 및 방법
EP2203915B1 (fr) * 2007-09-21 2012-07-11 France Telecom Dissimulation d'erreur de transmission dans un signal numerique avec repartition de la complexite
FR2929466A1 (fr) * 2008-03-28 2009-10-02 France Telecom Dissimulation d'erreur de transmission dans un signal numerique dans une structure de decodage hierarchique
CN101588341B (zh) * 2008-05-22 2012-07-04 华为技术有限公司 一种丢帧隐藏的方法及装置
KR20090122143A (ko) * 2008-05-23 2009-11-26 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
MX2011000375A (es) * 2008-07-11 2011-05-19 Fraunhofer Ges Forschung Codificador y decodificador de audio para codificar y decodificar tramas de una señal de audio muestreada.
USD605629S1 (en) 2008-09-29 2009-12-08 Vocollect, Inc. Headset
JP2010164859A (ja) * 2009-01-16 2010-07-29 Sony Corp オーディオ再生装置、情報再生システム、オーディオ再生方法、およびプログラム
CN101609677B (zh) 2009-03-13 2012-01-04 华为技术有限公司 一种预处理方法、装置及编码设备
US8160287B2 (en) 2009-05-22 2012-04-17 Vocollect, Inc. Headset with adjustable headband
US8438659B2 (en) 2009-11-05 2013-05-07 Vocollect, Inc. Portable computing device and headset interface
PL2515299T3 (pl) * 2009-12-14 2018-11-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Urządzenie do kwantyzacji wektorowej, urządzenie do kodowania głosu, sposób kwantyzacji wektorowej i sposób kodowania głosu
AU2012217269B2 (en) 2011-02-14 2015-10-22 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for processing a decoded audio signal in a spectral domain
AR085361A1 (es) 2011-02-14 2013-09-25 Fraunhofer Ges Forschung Codificacion y decodificacion de posiciones de los pulsos de las pistas de una señal de audio
TWI476760B (zh) 2011-02-14 2015-03-11 Fraunhofer Ges Forschung 用以使用暫態檢測及品質結果將音訊信號的部分編碼之裝置與方法
JP5712288B2 (ja) 2011-02-14 2015-05-07 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 重複変換を使用した情報信号表記
AR085218A1 (es) * 2011-02-14 2013-09-18 Fraunhofer Ges Forschung Aparato y metodo para ocultamiento de error en voz unificada con bajo retardo y codificacion de audio
EP2676266B1 (fr) 2011-02-14 2015-03-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Système de codage basé sur la prédiction linéaire utilisant la mise en forme du bruit dans le domaine spectral
US8849663B2 (en) * 2011-03-21 2014-09-30 The Intellisis Corporation Systems and methods for segmenting and/or classifying an audio signal from transformed audio information
US9142220B2 (en) 2011-03-25 2015-09-22 The Intellisis Corporation Systems and methods for reconstructing an audio signal from transformed audio information
US9026434B2 (en) * 2011-04-11 2015-05-05 Samsung Electronic Co., Ltd. Frame erasure concealment for a multi rate speech and audio codec
US8548803B2 (en) 2011-08-08 2013-10-01 The Intellisis Corporation System and method of processing a sound signal including transforming the sound signal into a frequency-chirp domain
US8620646B2 (en) 2011-08-08 2013-12-31 The Intellisis Corporation System and method for tracking sound pitch across an audio signal using harmonic envelope
US9183850B2 (en) 2011-08-08 2015-11-10 The Intellisis Corporation System and method for tracking sound pitch across an audio signal
CN107103910B (zh) 2011-10-21 2020-09-18 三星电子株式会社 帧错误隐藏方法和设备以及音频解码方法和设备
EP3611728A1 (fr) * 2012-03-21 2020-02-19 Samsung Electronics Co., Ltd. Procédé et appareil de codage/décodage haute fréquence pour extension de bande passante
US9123328B2 (en) * 2012-09-26 2015-09-01 Google Technology Holdings LLC Apparatus and method for audio frame loss recovery
EP2926339A4 (fr) * 2012-11-27 2016-08-03 Nokia Technologies Oy Appareil pour scènes audio partagées
US9437203B2 (en) * 2013-03-07 2016-09-06 QoSound, Inc. Error concealment for speech decoder
FR3004876A1 (fr) * 2013-04-18 2014-10-24 France Telecom Correction de perte de trame par injection de bruit pondere.
PL3285256T3 (pl) 2013-10-31 2020-01-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dekoder audio i sposób dostarczania zdekodowanej informacji audio z wykorzystaniem ukrywania błędów na bazie sygnału pobudzenia w dziedzinie czasu
SG10201609186UA (en) 2013-10-31 2016-12-29 Fraunhofer Ges Forschung Audio Decoder And Method For Providing A Decoded Audio Information Using An Error Concealment Modifying A Time Domain Excitation Signal
US9437211B1 (en) * 2013-11-18 2016-09-06 QoSound, Inc. Adaptive delay for enhanced speech processing
EP2922055A1 (fr) 2014-03-19 2015-09-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Appareil, procédé et programme d'ordinateur correspondant pour générer un signal de dissimulation d'erreurs au moyen de représentations LPC de remplacement individuel pour les informations de liste de codage individuel
EP2922054A1 (fr) * 2014-03-19 2015-09-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Appareil, procédé et programme d'ordinateur correspondant permettant de générer un signal de masquage d'erreurs utilisant une estimation de bruit adaptatif
EP2922056A1 (fr) * 2014-03-19 2015-09-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Appareil,procédé et programme d'ordinateur correspondant pour générer un signal de masquage d'erreurs utilisant une compensation de puissance
TWI602172B (zh) 2014-08-27 2017-10-11 弗勞恩霍夫爾協會 使用參數以加強隱蔽之用於編碼及解碼音訊內容的編碼器、解碼器及方法
EP3230980B1 (fr) * 2014-12-09 2018-11-28 Dolby International AB Dissimulation d'erreurs dans le domaine mdct
US9842611B2 (en) 2015-02-06 2017-12-12 Knuedge Incorporated Estimating pitch using peak-to-peak distances
US9922668B2 (en) 2015-02-06 2018-03-20 Knuedge Incorporated Estimating fractional chirp rate with multiple frequency representations
US9870785B2 (en) 2015-02-06 2018-01-16 Knuedge Incorporated Determining features of harmonic signals
EP3427258B1 (fr) * 2016-03-07 2021-03-31 Fraunhofer Gesellschaft zur Förderung der Angewand Unité de dissimulation d'erreur, décodeur audio et procédé et programme informatique associés utilisant des caractéristiques d'une représentation décodée d'une trame audio correctement décodée
CA3016949C (fr) * 2016-03-07 2021-08-31 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Unite de dissimulation d'erreur, decodeur audio, et procede et programme informatique associes permettant d'attenuer une trame audio dissimulee en fonction de differents facteurs d'amortissement pour differentes bandes de frequence
EP3553777B1 (fr) * 2018-04-09 2022-07-20 Dolby Laboratories Licensing Corporation Dissimulation de perte de paquets à faible complexité pour des signaux audio transcodés
US10763885B2 (en) 2018-11-06 2020-09-01 Stmicroelectronics S.R.L. Method of error concealment, and associated device
WO2020164751A1 (fr) 2019-02-13 2020-08-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Décodeur et procédé de décodage pour masquage lc3 comprenant un masquage de perte de trame complète et un masquage de perte de trame partielle
CN111063362B (zh) * 2019-12-11 2022-03-22 中国电子科技集团公司第三十研究所 一种数字语音通信噪音消除和语音恢复方法及装置
CN111554309A (zh) * 2020-05-15 2020-08-18 腾讯科技（深圳）有限公司 一种语音处理方法、装置、设备及存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2746033B2 (ja) * 1992-12-24 1998-04-28 日本電気株式会社 音声復号化装置
CA2142391C (fr) * 1994-03-14 2001-05-29 Juin-Hwey Chen Reduction de la complexite des calculs durant l'effacement des trames ou les pertes de paquets
US5574825A (en) * 1994-03-14 1996-11-12 Lucent Technologies Inc. Linear prediction coefficient generation during frame erasure or packet loss
US5699485A (en) * 1995-06-07 1997-12-16 Lucent Technologies Inc. Pitch delay modification during frame erasures
US5732389A (en) * 1995-06-07 1998-03-24 Lucent Technologies Inc. Voiced/unvoiced classification of speech for excitation codebook selection in celp speech decoding during frame erasures
CA2177413A1 (fr) * 1995-06-07 1996-12-08 Yair Shoham Affaiblissement du gain durant l'effacement des blocs
IL136722A0 (en) * 1997-12-24 2001-06-14 Mitsubishi Electric Corp A method for speech coding, method for speech decoding and their apparatuses
FR2774827B1 (fr) * 1998-02-06 2000-04-14 France Telecom Procede de decodage d'un flux binaire representatif d'un signal audio
US6240386B1 (en) * 1998-08-24 2001-05-29 Conexant Systems, Inc. Speech codec employing noise classification for noise compensation
US6188980B1 (en) * 1998-08-24 2001-02-13 Conexant Systems, Inc. Synchronized encoder-decoder frame concealment using speech coding parameters including line spectral frequencies and filter coefficients
US6556966B1 (en) * 1998-08-24 2003-04-29 Conexant Systems, Inc. Codebook structure for changeable pulse multimode speech coding
US6449590B1 (en) * 1998-08-24 2002-09-10 Conexant Systems, Inc. Speech encoder using warping in long term preprocessing
JP3365360B2 (ja) * 1999-07-28 2003-01-08 日本電気株式会社 音声信号復号方法および音声信号符号化復号方法とその装置
US7590525B2 (en) * 2001-08-17 2009-09-15 Broadcom Corporation Frame erasure concealment for predictive speech coding based on extrapolation of speech waveform

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2679228C2 (ru) * 2013-09-30 2019-02-06 Конинклейке Филипс Н.В. Передискретизация звукового сигнала для кодирования/декодирования с малой задержкой
US10566004B2 (en) 2013-09-30 2020-02-18 Koninklijke Philips N.V. Resampling an audio signal for low-delay encoding/decoding

Also Published As

Publication number Publication date
AU2001289991A1 (en) 2002-03-22
US20100070271A1 (en) 2010-03-18
ATE382932T1 (de) 2008-01-15
WO2002021515A1 (fr) 2002-03-14
DE60132217D1 (de) 2008-02-14
JP2004508597A (ja) 2004-03-18
ES2298261T3 (es) 2008-05-16
HK1055346A1 (en) 2004-01-02
JP5062937B2 (ja) 2012-10-31
DE60132217T2 (de) 2009-01-29
US20040010407A1 (en) 2004-01-15
FR2813722A1 (fr) 2002-03-08
US8239192B2 (en) 2012-08-07
US7596489B2 (en) 2009-09-29
EP1316087A1 (fr) 2003-06-04
FR2813722B1 (fr) 2003-01-24
IL154728A0 (en) 2003-10-31
IL154728A (en) 2008-07-08

Similar Documents

Publication Publication Date Title
EP1316087B1 (fr) Dissimulation d&#39;erreurs de transmission dans un signal audio
EP2277172B1 (fr) Dissimulation d&#39;erreur de transmission dans un signal audionumerique dans une structure de decodage hierarchique
DK1509903T3 (en) METHOD AND APPARATUS FOR EFFECTIVELY HIDDEN FRAMEWORK IN LINEAR PREDICTIVE-BASED SPEECH CODECS
JP5149198B2 (ja) 音声コーデック内の効率的なフレーム消去隠蔽の方法およびデバイス
EP2026330B1 (fr) Dispositif et procede pour dissimulation de trames perdues
EP2080195B1 (fr) Synthèse de blocs perdus d&#39;un signal audionumérique
EP1051703B1 (fr) Procede decodage d&#39;un signal audio avec correction des erreurs de transmission
EP3175444B1 (fr) Gestion de la perte de trame dans un contexte de transition fd/lpd
EP2080194B1 (fr) Attenuation du survoisement, notamment pour la generation d&#39;une excitation aupres d&#39;un decodeur, en absence d&#39;information
KR100216018B1 (ko) 배경음을 엔코딩 및 디코딩하는 방법 및 장치
EP2347411B1 (fr) Attenuation de pre-echos dans un signal audionumerique
WO2015166175A1 (fr) Correction de perte de trame perfectionnée avec information de voisement
Tosun Dynamically adding redundancy for improved error concealment in packet voice coding
FR2830970A1 (fr) Procede et dispositif de synthese de trames de substitution, dans une succession de trames representant un signal de parole
MX2008008477A (es) Metodo y dispositivo para ocultamiento eficiente de borrado de cuadros en codec de voz
KR19990024266A (ko) 코드여기 선형예측 부호화기에서 무성음 검출에 의한 전송률 감소 방시규

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20030324

AK Designated contracting states

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

AX Request for extension of the european patent

Extension state: AL LT LV MK RO SI

APBN Date of receipt of notice of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA2E

APBR Date of receipt of statement of grounds of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA3E

APBV Interlocutory revision of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNIRAPE

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REF Corresponds to:

Ref document number: 60132217

Country of ref document: DE

Date of ref document: 20080214

Kind code of ref document: P

GBT Gb: translation of ep patent filed (gb section 77(6)(a)/1977)

Effective date: 20080408

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2298261

Country of ref document: ES

Kind code of ref document: T3

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080102

NLV1 Nl: lapsed or annulled due to failure to fulfill the requirements of art. 29p and 29m of the patents act
PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080102

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080102

REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1055346

Country of ref document: HK

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080602

REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080402

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080102

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080102

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20081003

BERE Be: lapsed

Owner name: FRANCE TELECOM

Effective date: 20080930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20080930

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080102

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20080930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20080930

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20080930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20080905

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080102

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20080403

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 16

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 17

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 18

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20200819

Year of fee payment: 20

Ref country code: GB

Payment date: 20200819

Year of fee payment: 20

Ref country code: DE

Payment date: 20200819

Year of fee payment: 20

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20200824

Year of fee payment: 20

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: ES

Payment date: 20201001

Year of fee payment: 20

REG Reference to a national code

Ref country code: DE

Ref legal event code: R071

Ref document number: 60132217

Country of ref document: DE

REG Reference to a national code

Ref country code: GB

Ref legal event code: PE20

Expiry date: 20210904

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION

Effective date: 20210904

REG Reference to a national code

Ref country code: ES

Ref legal event code: FD2A

Effective date: 20211228

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION

Effective date: 20210906