EP2080194A2 - Attenuation du survoisement, notamment pour la generation d'une excitation aupres d'un decodeur, en absence d'information - Google Patents

Attenuation du survoisement, notamment pour la generation d'une excitation aupres d'un decodeur, en absence d'information

Info

Publication number
EP2080194A2
EP2080194A2 EP07858612A EP07858612A EP2080194A2 EP 2080194 A2 EP2080194 A2 EP 2080194A2 EP 07858612 A EP07858612 A EP 07858612A EP 07858612 A EP07858612 A EP 07858612A EP 2080194 A2 EP2080194 A2 EP 2080194A2
Authority
EP
European Patent Office
Prior art keywords
samples
signal
blocks
block
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP07858612A
Other languages
German (de)
English (en)
Other versions
EP2080194B1 (fr
Inventor
David Virette
Balazs Kovesi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of EP2080194A2 publication Critical patent/EP2080194A2/fr
Application granted granted Critical
Publication of EP2080194B1 publication Critical patent/EP2080194B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90—Pitch determination of speech signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/09—Long term prediction, i.e. removing periodical redundancies, e.g. by using adaptive codebook or pitch predictor

Definitions

  • the present invention relates to the processing of digital audio signals, such as speech signals in telecommunications, in particular to the decoding of such signals.
  • a speech signal can be predicted from its recent past (for example from 8 to 12 samples at 8 kHz) using parameters evaluated on short windows (10 to 20 ms in this example). These short-term prediction parameters, representative of the transfer function of the vocal tract (for example to pronounce consonants), are obtained by LPC (for Linear Prediction Coding) analysis methods. A longer-term correlation is also used to determine the periodicities of voiced sounds (eg vowels) due to the vibration of the vocal cords. It is therefore a question of determining at least the fundamental frequency of the voiced signal which varies typically from 60 Hz (deep voice) to 600 Hz
  • a LTP (Long Term Prediction) analysis determines the LTP parameters of a long-term predictor, and in particular the inverse of the fundamental frequency, often called the pitch period.
  • F e / F 0 or its integer part
  • the LTP long-term prediction parameters including the pitch period, represent the fundamental vibration of the speech signal (when it is voiced), while the LPC short-term prediction parameters represent the spectral envelope. of this signal.
  • blocks are transmitted in blocks to a peer decoder, via one or more telecommunication networks, to then restore the initial speech signal.
  • the loss of one or more consecutive blocks may occur.
  • the term "block” is understood to mean a succession of signal data which may be, for example, a frame in radiomobile communication, or else a packet for example in communication over IP (for "Internet Protocol"), or others.
  • most predictive synthesis coding techniques and particularly CELP coding (for Code Excited Linear Predictive), propose solutions for recovering erased frames.
  • the decoder is informed of the occurrence of an erased frame, for example by transmitting frame erase information from the channel decoder.
  • the purpose of recovering erased frames is to extrapolate the parameters of the erased frame from one or more previous frames considered valid.
  • Some parameters manipulated or coded by the predictive coders have a strong correlation between frames. These are typically long-term LTP prediction parameters, for voiced sounds for example, and LPC short-term prediction parameters. Because of this correlation, it is much more advantageous to reuse the parameters of the last valid frame to synthesize the erased frame, than to use random or even erroneous parameters.
  • the LPC parameters of a frame to be reconstructed are obtained from the LPC parameters of the last valid frame, by simple copy of the parameters or with introduction of a certain damping (technique used for example in the standardized encoder G723.1). Then, a voicing or non-voicing in the speech signal is detected to determine a degree of harmonicity of the signal at the erased frame. If the signal is unvoiced, an excitation signal can be generated randomly (by drawing a codeword from the past excitation, by a slight damping of the gain of past excitation, by random selection in the past excitation, or by still using transmitted codes which can be totally erroneous).
  • the pitch period (also called “LTP delay”) is generally the one calculated for the previous frame, possibly with a slight “jitter” (increase of the value of the LTP delay for consecutive error frames, Gain
  • the excitation signal is therefore limited to the long-term prediction made from a past excitation.
  • the means for hiding erased frames, at decoding are generally strongly related to the structure of the decoder and may be common to modules of this decoder, such as for example the signal synthesis module. These means also use intermediate signals available within the decoder, such as the excitation signal passed and stored during the processing of valid frames preceding the erased frames.
  • Certain techniques used to conceal the errors produced by lost packets during the transport of coded data in time-type coding often use waveform substitution techniques. Such techniques seek to reconstruct the signal by selecting portions of the decoded signal before the lost period and do not use synthesis models. Smoothing techniques are also implemented to avoid the artifacts produced by the concatenation of the different signals.
  • the techniques for reconstructing erased frames generally rely on the coding structure used. Some techniques aim at regenerating the transformed coefficients lost from the values taken by these coefficients before the erasure.
  • Document FR-2,813,722 has proposed a technique for concealing erased frames, generating no more distortion at higher error rates and / or for longer erased intervals. This technique aims to avoid excessive periodicity for voiced sounds and to better control the generation of unvoiced excitation.
  • the excitation signal if it is voiced
  • the strongly harmonic component is obtained by LTP filtering.
  • the second component is also obtained by LTP filtering made non-periodic by the random modification of its fundamental period.
  • the main problem of the error concealment techniques previously used in CELP encoders is the generation of voiced excitation which, when several consecutive frames have been lost, may result in an over-event effect due to the repetition of the same period. pitch on several frames.
  • the present invention improves the situation.
  • the method according to the invention comprises the following steps: a) selecting a selected number of samples forming a succession in at least one last valid block preceding the invalid block, b) breaking up the succession of samples into groups of samples, and in at least a portion of the groups, inverting samples according to predetermined rules, c) re-concatenating the groups of which at least some of the samples have been inverted in step b), to form at least a portion of the block of replacement, and d) if said part obtained in step c) does not fill all the replacement block, copy said part into the replacement block and reapply steps a), b), c) to said copied part .
  • the invention advantageously applies to the case where the digital audio signal is a voiced speech signal, and, more particularly, slightly voiced because the simple copy of pitch period gives poor results in this case.
  • a degree of voicing is detected in the speech signal and steps a) to d) are applied if the signal is at least slightly voiced.
  • step a) a1) a tone is detected in the digital audio signal, and a2) said selected number of samples selected in step a) corresponds to the number of samples that comprises a period corresponding to the opposite of a fundamental frequency of the detected tone.
  • the operation al) may consist of detecting a voicing and the operation al) would aim, if the speech signal is voiced, to select a number of samples which extends over a whole pitch period (inverse of a fundamental frequency of a voice tone).
  • this embodiment may also target a signal other than a speech signal, in particular a musical signal, if a fundamental frequency specific to a global tone of music can be detected therein.
  • the fragmentation of step b) is carried out in groups of two samples, and the positions of the samples of the same group are reversed with each other.
  • the pitch period (or more generally the inverse period of the fundamental frequency) comprises an even or odd number of samples.
  • the number of samples that comprises the period of the detected tone is an even number
  • an odd number of samples (preferably a single sample) is advantageously added or removed from the samples of said period to form the selection of the step a).
  • the predetermined rules of inversion which can be chosen according to the characteristics of the signal received, in particular impose the number of samples in groups in step b) and the manner of inverting the samples in a group.
  • groups of two samples and a simple inversion of the respective positions of these two samples are provided.
  • the inversion rules can also set the number of groups in which inversion is performed.
  • One particular achievement is to randomize the sample inversion occurrences in each group and set a probability threshold to invert or not the samples of a group.
  • This probability threshold may have a fixed value or a variable value and advantageously depend on a correlation function relating to the pitch period. In this case, the formal determination of the pitch period, itself, is not necessary.
  • the treatment in the sense of the invention can be carried out also if the valid signal received is simply not voiced, in which case there is not really a detectable pitch period.
  • the present invention thus proposing over-attenuation attenuation, offers the following advantages: the speech synthesized during a loss of block has practically no more phenomenon of over-harmonicity or over-propagation, and the complexity necessary to generate a voiced excitation is very small, as will be seen in the embodiment described in detail below.
  • FIG. 1 illustrates the principle of a generating excitation to mitigate the over-over effect, by incorporating a random sample inversion, on blocks of two samples and with a probability of 50% in the example shown, over an entire pitch period
  • FIG. 2 illustrates the principle of an excitation generation integrating a sample inversion, here systematically, on blocks of two samples in the example shown and over an entire pitch period
  • FIG. 3a illustrates the application of FIG.
  • FIG. 3b represents, for purely illustrative purposes, the application of inversion systemat 2 of a signal for which a pitch period having an even number of samples has been estimated
  • FIG. 3c illustrates the application of the systematic inversion of FIG. 2, with here a correction by addition of a sample at the duration corresponding to the pitch period, to make this duration odd in terms of the number of samples that it comprises
  • FIG. 4 schematically illustrates the main steps of a method according to the invention
  • FIG. 5 very schematically illustrates the structure of an apparatus for receiving a digital audio signal comprising a synthesis device for implementing the method within the meaning of the invention. Reference is first made to FIG.
  • test 50 the loss of one or more consecutive blocks is detected (test 50). If no block loss is found (arrow O at the output of the test 50), no problem arises, of course, and the processing of Figure 4 is completed.
  • the lost blocks are replaced for example by a white noise, audible, called “comfort noise” 52, and the gain 61 of the samples of the blocks is adjusted thus reconstructed.
  • a white noise, audible called “comfort noise” 52
  • the gain 61 of the samples of the blocks is adjusted thus reconstructed.
  • the voiced signals on the one hand and the weakly or unvoiced signals, on the other hand.
  • the advantage of this variant is that the generation of the unvoiced signal will be identical to the weakly voiced synthesis.
  • the "pitch period" used for the unvoiced signals is a random value, preferably quite large (for example two hundred samples).
  • the preceding signal is non-harmonic, by applying the processing in the sense of the invention to a sufficiently large period, it is ensured that the signal thus generated remains non-harmonic.
  • the nature of the signal will advantageously be preserved, which would not be the case using a randomly generated signal (for example a white noise).
  • the lost blocks are replaced by copying the pitch period T.
  • the pitch period T identified in the last still valid part of the received signal Se is determined ( by a technique 53 any that can be known per se).
  • the samples of this pitch period T are then copied into the lost blocks (reference 54).
  • An appropriate gain 61 is then applied to the samples thus replaced (for example to perform attenuation or "fading").
  • the method is applied in the sense of the invention (arrow M at the output of the test 51 on the degree of voicing).
  • the principle of the invention consists in collecting the samples of the last valid blocks received, in groups of at least two samples. In the example of FIGS. 1 and 2, these samples are effectively grouped by two. However, they could be grouped by more than two samples, in which case the rules for inversion of samples per group and for taking into account the parity in the number of samples of the pitch period T, described in detail below, would be slightly adapted.
  • groups A, B, C, D of two samples in the last valid blocks received are copied and concatenated to the last received samples.
  • the values of the two samples in each group were inverted (or kept their value and inverted their respective positions).
  • the group A becomes the group A ', with its two samples inverted with respect to the group A (according to the two arrows of the group A' in FIG. 2).
  • Group B becomes group B ', with its two samples inverted with respect to group B, and so on.
  • the copy and concatenation of the groups A ', B', C, D ' is advantageously carried out while respecting the pitch period T.
  • the group A' consisting of the inverted samples of the group A
  • the group B ' is separated from the group B by a duration corresponding to the pitch period T, and so on.
  • the inversion of samples by group is systematic.
  • the occurrence of this inversion can be randomized. It can even be expected to set a probability threshold p to reverse or not the samples of a group.
  • the threshold p is set at 50% so that only two groups B ', C, out of four, have their samples inverted. It may also be planned to make the probability threshold p variable, in particular to make it depend on a correlation function relating to the pitch period T, as will be seen below.
  • FIG. 3a shows the last samples of the last valid blocks received in the signal Se and which have been stored in a decoder.
  • the pitch period T of the voiced signal (by means known per se) was determined and the last samples 10, 11, were collected. .., 22 of the signal Se, which extend over the duration of the pitch period T.
  • the first two samples 10 and 11 are inverted in the signal to be reconstructed, denoted S.
  • the third and fourth samples 12 and 13 are reversed. also, and so on. We then obtain a succession T of samples 11, 10, 13, 12, ... which extends over the same duration as the pitch period. If several blocks extending over several pitch periods fail to decode, the reconstruction of the signal Ss is continued by taking the succession T and restarting the inversion of the two by two samples of the succession T, to obtain a new succession T " , And so on.
  • the number of samples per periods T, T, T is equal to the same odd number (thirteen samples in the example represented), which makes it possible to obtain a gradual mixing of the samples as the reconstruction progresses of the signal Ss, and from there, an effective attenuation of the over-harmonicity (or, in other words, the overwriting of the reconstructed signal).
  • This problem can be overcome by modifying the number of samples to be inverted per group (and for example taking an odd number of samples per group).
  • FIG. 3c Another embodiment has been illustrated in FIG. 3c.
  • This embodiment simply consists, when the pitch period comprises an even number of samples and when the inversions aim at even numbers of samples per group, to add an odd number of samples to the pitch period of the signal to be reconstructed.
  • the last detected pitch period T comprises twelve samples 31, 32,..., 42.
  • a sample is then added to the pitch period and a period T + 1 having an odd number of samples is obtained.
  • the sample 30 becomes the first sample of the memory from which the two-by-two sample inversion is applied as illustrated in FIG. 2 (or FIG. at).
  • the pitch period is firstly calculated from one or a few previous frames. Then, the reduced harmonic excitation is generated as illustrated in Figure 2, with systematic inversion. However, in the variant illustrated in FIG. 1, it can be generated with random inversion. This irregular inversion of the samples of the voiced excitation advantageously makes it possible to attenuate the over-harmonicity. This advantageous embodiment is described below.
  • T is the estimated pitch period and g ltp is a chosen LTP gain.
  • the voiced excitation is calculated by group of two samples and with random inversion according to the treatment below.
  • the correlation function Corr (T) is calculated using only 2 * T m samples at the end of the memorized signal, and:
  • Corr (T) Lmem - f cl - ⁇ -. + Lrmem-l-T ⁇ -Lmem-2T m ⁇ -Lmem-2T m + T / c ⁇
  • m Q - - - m Lmem _ ⁇ are the last samples of the previously decoded signal, and are still available in the decoder memory.
  • the length of this memory L mem (in number of stored samples) must be at least twice the maximum value of the pitch period duration (in number of samples).
  • the number of samples to be stored can be of the order of 300, for a low sampling rate in narrow band, and more than 300 for higher sampling rates.
  • the correlation function corr (T) given by the formula (5), reaches a maximum value when the variable T corresponds to the pitch period To and this maximum value gives an indication of the degree of voicing. Typically, if this maximum value is very close to 1, then the signal is strongly voiced. If it is close to 0, the signal is not voiced.
  • the prior determination of the pitch period is not necessary to build the groups of samples to be reversed.
  • the determination of the pitch period T 0 can be carried out together with the constitution of the groups within the meaning of the invention, by application of formula (5) above.
  • the probability p will be very large, and the voicing will be preserved according to the calculation according to the formula (1). If, on the other hand, the voicing of the signal Se is not too marked, the probability p will be lower and the equations (2) and (3) will advantageously be used.
  • equation (1) it is also possible to calculate the harmonic excitation according to predefined classes. For highly voiced classes, equation (1) will be used instead.
  • equations (2) and (3) will be used instead.
  • equations (2) and (3) will also be used with a sufficiently large arbitrary pitch period.
  • the present invention is not limited to the embodiments described above by way of example; it extends to other variants.
  • the generation of excitation in predictive synthesis coding CELP aims to avoid overwriting in the context of the concealment of frame transmission errors. Nevertheless, it is possible to use the principles of the invention for band extension. It is then possible to use the generation of an expanded band excitation in a band extension system (with or without information transmission), based on a CELP type model (or CELP subband). The excitation of the high band can then be calculated as previously described, which then limits the over-harmonicity of this excitation.
  • the implementation of the invention is particularly suited to the transmission of signals over packet networks, or else by packets, for example "voice over IP” (for "Internet Protocol”) packets, so as to provide acceptable quality when losing such packets over IP, while still ensuring limited complexity.
  • packets for example "voice over IP” (for "Internet Protocol”) packets, so as to provide acceptable quality when losing such packets over IP, while still ensuring limited complexity.
  • the inversion of the samples can be carried out on groups of samples larger than two.
  • the present invention also relates to a computer program intended to be stored in memory of a device for synthesizing a digital audio signal.
  • This program then comprises instructions for implementing the method in the sense of the invention, when it is executed by a processor of such a synthesis device.
  • Figure 4 described above can illustrate a flowchart of such a computer program.
  • the present invention also provides a device for synthesizing a digital audio signal consisting of a succession of blocks.
  • This device could also include a memory storing the aforementioned computer program.
  • this device SYN comprises: an input E for receiving blocks of the signal Se, preceding at least one current block to be synthesized, and an output S for delivering the synthesized signal Ss and comprising at least this block current to synthesize.
  • the synthesis device SYN within the meaning of the invention comprises means such as a working memory MEM (or storage of the aforementioned computer program) and a PROC processor cooperating with this memory MEM, for the implementation of the method within the meaning of the invention, and thus to synthesize the current block from at least one of the preceding blocks of the signal Se.
  • a working memory MEM or storage of the aforementioned computer program
  • PROC processor cooperating with this memory MEM, for the implementation of the method within the meaning of the invention, and thus to synthesize the current block from at least one of the preceding blocks of the signal Se.
  • the present invention also provides an apparatus for receiving a digital audio signal consisting of a succession of blocks, such as a decoder of such a signal for example.
  • this apparatus may advantageously comprise an invalid block detector DET, as well as the device SYN within the meaning of the invention for synthesizing invalid blocks detected by the detector DET.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

Atténuation du survoisement, notamment pour la génération d'une excitation auprès d'un décodeur, en absence d'information
La présente invention concerne le traitement de signaux audionumériques, tels que des signaux de parole en télécommunication, en particulier au décodage de tels signaux.
On rappelle rapidement qu'un signal de parole peut être prédit à partir de son passé récent (par exemple de 8 à 12 échantillons à 8 kHz) au moyen de paramètres évalués sur des fenêtres courtes (10 à 20 ms dans cet exemple). Ces paramètres de prédiction à court terme, représentatifs de la fonction de transfert du conduit vocal (par exemple pour prononcer des consonnes), sont obtenus par des méthodes d'analyse LPC (pour "Linear Prédiction Coding"). On met en œuvre aussi une corrélation à plus long terme pour déterminer des périodicités de sons voisés (par exemple les voyelles) dues à la vibration des cordes vocales. Il s'agit donc de déterminer au moins la fréquence fondamentale du signal voisé qui varie typiquement de 60 Hz (voix grave) à 600 Hz
(voix aiguë) selon les locuteurs. On détermine alors, par une analyse LTP (pour "Long Term Prédiction"), les paramètres LTP d'un prédicteur à long terme, et en particulier l'inverse de la fréquence fondamentale, appelée souvent "période de pitch". On définit alors le nombre d'échantillons dans une période de pitch par le rapport Fe/F0 (ou sa partie entière), où :
- Fe est la cadence d'échantillonnage, et
- Fo est la fréquence fondamentale.
On retiendra donc que les paramètres de prédiction à long terme LTP, dont la période de pitch, représentent la vibration fondamentale du signal de parole (lorsqu'il est voisé), tandis que les paramètres de prédiction à court terme LPC représentent l'enveloppe spectrale de ce signal.
L'ensemble de ces paramètres LPC et LTP, résultant donc d'un codage de parole, est transmis par blocs vers un décodeur homologue, via un ou plusieurs réseaux de télécommunication, pour restituer ensuite le signal de parole initial. Dans le cadre de la communication de tels signaux par blocs, la perte d'un ou de plusieurs blocs consécutifs peut survenir. On entend par le terme "bloc" une succession de données de signal qui peut être par exemple une trame en communication radiomobile, ou encore un paquet par exemple en communication sur IP (pour "Internet Protocol"), ou autres.
En communication radiomobile par exemple, la plupart des techniques de codage par synthèse prédictive, et notamment le codage de type CELP (pour "Code Excited Linear Prédictive"), proposent des solutions pour récupérer des trames effacées. Le décodeur est informé de l'occurrence d'une trame effacée, par exemple par la transmission d'une information d'effacement de trame provenant du décodeur canal. La récupération de trames effacées a pour objectif d'extrapoler les paramètres de la trame effacée à partir d'une ou plusieurs trames précédentes considérées comme valides. Certains paramètres manipulés ou codés par les codeurs prédictifs présentent une forte corrélation entre trames. Il s'agit typiquement des paramètres de prédiction à long terme LTP, pour les sons voisés par exemple, et des paramètres de prédiction à court terme LPC. Du fait de cette corrélation, il est beaucoup plus avantageux de réutiliser les paramètres de la dernière trame valide pour synthétiser la trame effacée, que d'utiliser des paramètres aléatoires, voire erronés.
En génération d'excitation CELP, les paramètres de la trame effacée sont classiquement obtenus comme suit.
Les paramètres LPC d'une trame à reconstruire sont obtenus à partir des paramètres LPC de la dernière trame valide, par simple recopie des paramètres ou encore avec introduction d'un certain amortissement (technique utilisée par exemple dans le codeur normalisé G723.1). Ensuite, on détecte un voisement ou un non voisement dans le signal de parole pour déterminer un degré d'harmonicité du signal au niveau de la trame effacée. Si le signal est non voisé, un signal d'excitation peut être généré de manière aléatoire (par tirage d'un mot de code de l'excitation passée, par léger amortissement du gain de l'excitation passée, par sélection aléatoire dans l'excitation passée, ou en utilisant encore des codes transmis qui peuvent être totalement erronés).
Si le signal est voisé, la période de pitch (appelée aussi "délai LTP") est généralement celle calculée pour la trame précédente, éventuellement avec une légère "gigue" (augmentation de la valeur du délai LTP pour les trames d'erreur consécutive, le gain
LTP étant pris très voisin de 1 ou égal à 1). Le signal d'excitation est donc limité à la prédiction à long terme effectuée à partir d'une excitation passée.
Les moyens de dissimulation des trames effacées, au décodage, sont généralement fortement liés à la structure du décodeur et peuvent être communs à des modules de ce décodeur, comme par exemple le module de synthèse du signal. Ces moyens utilisent aussi des signaux intermédiaires disponibles au sein du décodeur, comme par exemple le signal d'excitation passé et mémorisé lors du traitement des trames valides précédant les trames effacées.
Certaines techniques utilisées pour dissimuler les erreurs produites par des paquets perdus lors du transport de données codées selon un codage de type temporel font souvent appel à des techniques de substitution de formes d'ondes. De telles techniques visent à reconstituer le signal en sélectionnant des portions du signal décodé avant la période perdue et ne font pas appel à des modèles de synthèse. Des techniques de lissage sont également mises en œuvre pour éviter les artefacts produits par la concaténation des différents signaux.
Pour les décodeurs opérant sur des signaux codés par codage par transformée, les techniques de reconstruction des trames effacées s'appuient généralement sur la structure de codage utilisée. Certaines techniques visent à régénérer les coefficients transformés perdus à partir des valeurs prises par ces coefficients avant l'effacement.
D'autres techniques de dissimulation des trames effacées ont été développées conjointement avec le codage canal. Elles se servent d'informations fournies par le décodeur canal, par exemple d'informations concernant le degré de fiabilité des paramètres reçus. On indique ici qu'au contraire, l'objet de la présente invention ne présuppose pas l'existence d'un codeur canal.
On a proposé, dans le document Combescure et al. : "A 16,24,32 kbit/s Wideband Speech Codée Based on ATCELP", P.Combescure,
J.Schnitzler, K.Ficher, R.Kirchherr, C.Lamblin, A.Le Guyader, D.Massaloux, C.Quinquis, J.Stegmann, P.Vary, Proceedings Conférence ICASSP (1998), l'usage d'une méthode de dissimulation des trames effacées équivalente à celle utilisée dans les codeurs CELP pour un codeur par transformée. Les inconvénients de cette méthode étaient l'introduction de distorsions spectrales audibles (voix "synthétique" , résonances parasites, etc.). Ces inconvénients étaient dus notamment à l'usage de filtres de synthèse à long terme mal contrôlés (composante harmonique unique en sons voisés, usage de portions du signal résiduel passé en sons non voisés). En outre, le contrôle d'énergie s'effectue ici au niveau du signal d'excitation et la cible énergétique de ce signal est maintenue constante pendant toute la durée de l'effacement, ce qui engendre également des artefacts audibles et gênants.
Dans le document FR-2,813,722, on a proposé une technique de dissimulation des trames effacées, ne générant pas plus de distorsion à des taux d'erreurs plus élevés et/ou pour des intervalles effacés plus longs. Cette technique vise à éviter l'excès de périodicité pour les sons voisés et à mieux contrôler la génération de l'excitation non voisée. Pour ce faire, on considère le signal d'excitation (s'il est voisé) comme la somme de deux signaux : une composante fortement harmonique limitée en bande aux basses fréquences du spectre total, et une autre composante moins harmonique et limitée aux plus hautes fréquences. La composante fortement harmonique est obtenue par filtrage LTP. La seconde composante est obtenue aussi par un filtrage LTP rendu non périodique par la modification aléatoire de sa période fondamentale. Le problème principal des techniques de dissimulation d'erreur utilisées jusque là dans les codeurs CELP réside dans la génération de l'excitation voisée qui, lorsque plusieurs trames consécutives ont été perdues, peuvent entraîner un effet de survoisement dû à la répétition de la même période de pitch sur plusieurs trames.
La présente invention vient améliorer la situation.
Elle propose à cet effet un procédé de synthèse d'un signal audionumérique représenté par des blocs consécutifs d'échantillons, dans lequel, à la réception d'un tel signal, pour remplacer au moins un bloc invalide, on génère un bloc de remplacement à partir des échantillons d'au moins un bloc valide, précédant le bloc invalide.
Le procédé selon l'invention comporte les étapes suivantes : a) sélectionner un nombre choisi d'échantillons formant une succession dans au moins un dernier bloc valide précédant le bloc invalide, b) fragmenter la succession d'échantillons en groupes d'échantillons, et, dans au moins une partie des groupes, inverser des échantillons selon des règles prédéterminées, c) re-concaténer les groupes dont les échantillons de certains au moins ont été inversés à l'étape b), pour former une partie au moins du bloc de remplacement, et d) si ladite partie obtenue à l'étape c) ne remplit pas tout le bloc de remplacement, recopier ladite partie dans le bloc de remplacement et appliquer à nouveau les étapes a), b), c) à ladite partie recopiée.
Cette inversion d'échantillons, qui consiste donc en une manipulation d'échantillons très simple et peu coûteuse en termes de calcul et de moyens de traitement, a pour but de "casser" une sur-harmonicité qui aurait pu être présente si une simple recopie de période de pitch avait été mise en œuvre.
Ainsi, parmi les avantages qu'offre la présente invention, sa mise en œuvre ne nécessite qu'un très faible coût de calcul. L'invention s'applique avantageusement au cas où le signal audionumérique est un signal de parole voisé, et, plus particulièrement, faiblement voisé car la simple recopie de période de pitch donne des résultats médiocres dans ce cas. Ainsi, selon une caractéristique avantageuse, on détecte un degré de voisement dans le signal de parole et on applique les étapes a) à d) si le signal est au moins faiblement voisé.
La présente invention s'appuie avantageusement sur la fréquence fondamentale du signal audionumérique pour constituer les groupes à l'étape b). Ainsi, avantageusement, à l'étape a) : al) on détecte un ton dans le signal audionumérique, et a2) ledit nombre choisi d'échantillons sélectionnés à l'étape a) correspond au nombre d'échantillons que comporte une période correspondant à l'inverse d'une fréquence fondamentale du ton détecté. Bien entendu, dans le cas d'un signal de parole, l'opération al) peut consister à détecter un voisement et l'opération al) viserait, si le signal de parole est voisé, à sélectionner un nombre d'échantillons qui s'étend sur toute une période de pitch (inverse d'une fréquence fondamentale d'un ton de voix). Néanmoins, on relèvera que cette réalisation peut aussi viser un signal autre qu'un signal de parole, notamment un signal musical, si une fréquence fondamentale propre à un ton global de musique peut y être détectée.
Dans un mode de réalisation, la fragmentation de l'étape b) s'effectue par groupes de deux échantillons, et on inverse les positions des échantillons d'un même groupe l'une avec l'autre.
Toutefois, dans ce mode de réalisation, il convient de distinguer le cas où la période de pitch (ou plus généralement la période inverse de la fréquence fondamentale) comporte un nombre d'échantillons pair ou impair. En particulier, si le nombre d'échantillons que comporte la période du ton détecté est un nombre pair, un nombre impair d'échantillons (préférentiellement un seul échantillon) est avantageusement ajouté ou retranché aux échantillons de ladite période pour former la sélection de l'étape a). II convient de préciser aussi ce que l'on entend par les "règles prédéterminées d'inversion". Ces règles, qui peuvent être choisies selon les caractéristiques du signal reçu, imposent notamment le nombre d'échantillons par groupes à l'étape b) et la manière d'inverser les échantillons dans un groupe. Dans le mode de réalisation ci- avant, on prévoit des groupes de deux échantillons et une simple inversion des positions respectives de ces deux échantillons. Toutefois, d'autres configurations sont possibles (groupes comportant plus de deux échantillons et permutation de tous les échantillons de tels groupes). Par ailleurs, les règles d'inversion peuvent fixer aussi le nombre de groupes dans lesquels l'inversion est effectuée. Une réalisation particulière consiste à rendre aléatoires les occurrences d'inversion d'échantillons dans chaque groupe et fixer un seuil de probabilité pour inverser ou non les échantillons d'un groupe. Ce seuil de probabilité peut avoir une valeur fixe, ou encore une valeur variable et dépendre avantageusement d'une fonction de corrélation portant sur la période de pitch. Dans ce cas, la détermination formelle de la période de pitch, elle- même, n'est pas nécessaire. D'ailleurs, plus généralement, le traitement au sens de l'invention peut être effectué aussi si le signal valide reçu n'est simplement pas voisé, auquel cas il n'existe pas réellement de période de pitch détectable. Dans ce cas, il peut être prévu de fixer un nombre donné d'échantillons arbitraire (par exemple deux cents échantillons) et réaliser le traitement au sens de l'invention sur ce nombre d'échantillons. Il est aussi possible de prendre la valeur correspondant au maximum de la fonction de corrélation en limitant la recherche dans un intervalle de valeur (par exemple entre MAX PITCH/2 et MAX PITCH, où MAX PITCH est la valeur maximale dans la recherche de période de pitch).
La présente invention, proposant ainsi l'atténuation de survoisement, offre les avantages suivants : la parole synthétisée lors d'une perte de bloc ne présente pratiquement plus de phénomène de sur-harmonicité ou de survoisement, et la complexité nécessaire pour générer une excitation voisée est très faible, comme on le verra dans l'exemple de réalisation décrit en détail ci-après.
D'ailleurs, d'autres avantages et caractéristiques de l'invention apparaîtront à l'examen de la description détaillée, donnée à titre d'exemple ci-après, et des dessins annexés sur lesquels : la figure 1 illustre le principe d'une génération d'excitation permettant d'atténuer l'effet de survoisement, en intégrant une inversion aléatoire d'échantillons, sur des blocs de deux échantillons et avec une probabilité de 50% dans l'exemple représenté, sur toute une période de pitch, la figure 2 illustre le principe d'une génération d'excitation intégrant une inversion d'échantillons, ici systématique, sur des blocs de deux échantillons dans l'exemple représenté et sur toute une période de pitch, la figure 3a illustre l'application de l'inversion systématique de la figure 2 sur un signal dont on a estimé une période de pitch comportant un nombre d'échantillons impair, la figure 3b représente, à titre purement illustratif, l'application de l'inversion systématique de la figure 2 sur un signal dont on a estimé une période de pitch comportant un nombre d'échantillons pair, - la figure 3c illustre l'application de l'inversion systématique de la figure 2, avec ici une correction par ajout d'un échantillon à la durée correspondant à la période de pitch, pour rendre cette durée impaire en termes de nombre d'échantillons qu'elle comporte, la figure 4 illustre schématiquement les étapes principales d'un procédé au sens de l'invention, au décodage, la figure 5 illustre très schématiquement la structure d'un appareil de réception d'un signal audionumérique comportant un dispositif de synthèse pour la mise en œuvre du procédé au sens de l'invention. On se réfère tout d'abord à la figure 4 pour illustrer le contexte de mise en œuvre de la présente invention. Sur réception d'un signal d'entrée Se au décodage, on détecte (test 50) la perte d'un ou plusieurs blocs consécutifs. Si aucune perte de bloc n'est constatée (flèche O en sortie du test 50), aucun problème ne se pose, bien entendu, et le traitement de la figure 4 s'achève.
En revanche, si la perte d'un ou plusieurs blocs consécutifs est constatée (flèche N en sortie du test 50), on détecte alors le degré de voisement (test 51) du signal.
Si le signal n'est pas voisé (flèche N en sortie du test 51), on remplace les blocs perdus par exemple par un bruit blanc, audible, dit "bruit de confort" 52, et on ajuste le gain 61 des échantillons des blocs ainsi reconstruits. On peut réaliser par exemple un contrôle sur l'énergie du signal reconstruit Ss, avec adaptation de la loi d'évolution, et/ou faire évoluer des paramètres du modèle vers un signal de repos tel que le bruit de confort 52.
Dans une variante de la présente invention, on ne considère que deux classes de signaux, les signaux voisés d'une part, et les signaux faiblement ou non voisés d'autre part. L'avantage de cette variante est que la génération du signal non voisé sera identique à la synthèse faiblement voisée. Comme indiqué précédemment, la "période de pitch" utilisée pour les signaux non voisés est une valeur aléatoire, de préférence assez grande (par exemple deux cents échantillons). Dans un bloc non voisé, le signal précédent est non harmonique, en appliquant le traitement au sens de l'invention à une période suffisamment grande, on garantit que le signal ainsi généré reste non harmonique. La nature du signal sera avantageusement conservée, ce qui ne serait pas le cas en utilisant un signal aléatoirement généré (par exemple un bruit blanc).
Si le signal est fortement voisé (flèche O en sortie du test 51), on remplace les blocs perdus par recopie de la période de pitch T. On détermine donc la période de pitch T identifiée dans la dernière partie encore valide du signal reçu Se (par une technique 53 quelconque qui peut être connue en soi). On recopie ensuite les échantillons de cette période de pitch T dans les blocs perdus (référence 54). On applique ensuite un gain approprié 61 aux échantillons ainsi replacés (pour effectuer par exemple une atténuation ou "fading").
Dans l'exemple décrit, si le signal est moyennement voisé (ou, dans une variante moins sophistiquée mais plus générale, si le signal est simplement voisé), on applique le procédé au sens de l'invention (flèche M en sortie du test 51 sur le degré de voisement). En référence aux figures 1 et 2, le principe de l'invention consiste à rassembler les échantillons des derniers blocs valides reçus, par groupes d'au moins deux échantillons. Dans l'exemple des figures 1 et 2, on a regroupé effectivement ces échantillons par deux. On pourrait néanmoins les regrouper par plus de deux échantillons, auquel cas les règles d'inversion d'échantillons par groupe et de prise en compte de la parité en nombre d'échantillons de la période de pitch T, décrites en détail ci-après, seraient légèrement adaptées.
En se référant en particulier à la figure 2, les groupes A, B, C, D, de deux échantillons dans les derniers blocs valides reçus sont recopiés et concaténés aux derniers échantillons reçus. Toutefois, dans ces groupes recopiés, référencés A', B', C, D', on a inversé les valeurs des deux échantillons dans chaque groupe (ou conservé leur valeur et inversé leurs positions respectives). Ainsi, le groupe A devient le groupe A', avec ses deux échantillons inversés par rapport au groupe A (conformément aux deux flèches du groupe A' sur la figure 2). Le groupe B devient le groupe B', avec ses deux échantillons inversés par rapport au groupe B, et ainsi de suite. La recopie et concaténation des groupes A', B', C, D', s'effectue avantageusement en respectant la période de pitch T. Ainsi, le groupe A', constitué des échantillons inversés du groupe A, est séparé du groupe A d'un nombre d'échantillons correspondant à la durée de la période de pitch T. De même, le groupe B' est séparé du groupe B par une durée correspondant à la période de pitch T, et ainsi de suite. Sur la figure 2, l'inversion des échantillons par groupe est systématique. Dans une variante telle que représentée sur la figure 1, on peut rendre aléatoire l'occurrence de cette inversion. Il peut même être prévu de fixer un seuil p de probabilité pour inverser ou non les échantillons d'un groupe. Dans l'exemple représenté sur la figure 1, le seuil p est fixé à 50% de sorte que seuls deux groupes B', C, sur quatre, ont leurs échantillons inversés. Il peut être prévu aussi de rendre variable le seuil p de probabilité, en particulier de le faire dépendre d'une fonction de corrélation portant sur la période de pitch T, comme on le verra plus loin.
En reprenant la description du mode de réalisation illustré sur la figure 2, où l'on applique une inversion systématique des échantillons par groupe, on obtient, en référence maintenant à la figure 3 a, une nouvelle succession d'échantillons T, de durée correspondant à la période de pitch T, mais avec inversion des échantillons deux à deux. On a représenté sur la figure 3a les derniers échantillons des derniers blocs valides reçus dans le signal Se et qui ont été mémorisés dans un décodeur. Ici, comme l'inversion est systématique et non pas aléatoire avec estimation d'une corrélation, on a déterminé la période de pitch T du signal voisé (par un moyen connu en soi) et on a recueilli les derniers échantillons 10,11,..., 22 du signal Se, qui s'étendent sur la durée de la période de pitch T. Les deux premiers échantillons 10 et 11 sont inversés dans le signal à reconstruire, noté Ss. Les troisième et quatrième échantillons 12 et 13 sont inversés aussi, et ainsi de suite. On obtient alors une succession T d'échantillons 11, 10, 13, 12, ... qui s'étend sur une même durée que la période de pitch. Si plusieurs blocs s'étendant sur plusieurs périodes de pitch manquent au décodage, on continue la reconstruction du signal Ss en prenant la succession T et en recommençant l'inversion des échantillons deux à deux de la succession T, pour obtenir une nouvelle succession T", et ainsi de suite.
Dans le cas de la figure 3 a, le nombre d'échantillons par périodes T, T, T" est égal à un même nombre impair (treize échantillons dans l'exemple représenté), ce qui permet d'obtenir un mélange progressif des échantillons au fur et à mesure de la reconstruction du signal Ss, et de là, une atténuation efficace de la sur-harmonicité (ou, autrement dit, du survoisement du signal reconstruit).
En revanche, dans le cas illustré sur la figure 3b où le nombre d'échantillons par périodes T, T, T" est un nombre pair (douze échantillons dans l'exemple représenté), en pratiquant deux fois une inversion (de la période T à la période T, puis de la période T à la période T") des échantillons, pris deux à deux, de la période de pitch T, on retrouve exactement la même succession que la période de pitch T dans la succession T", ce qui génère alors une sur-harmonicité.
Ce problème peut être surmonté en modifiant le nombre d'échantillons à inverser par groupe (et prendre par exemple un nombre impair d'échantillons par groupe).
On a toutefois illustré un autre mode de réalisation sur la figure 3c. Ce mode de réalisation consiste simplement, lorsque la période de pitch comporte un nombre pair d'échantillons et lorsque les inversions visent des nombres pairs d'échantillons par groupe, à ajouter un nombre impair d'échantillons à la période de pitch du signal à reconstruire. Sur la figure 3c, la dernière période de pitch détectée T comporte douze échantillons 31, 32, ..., 42. On ajoute alors un échantillon à la période de pitch et on obtient une période T+\ comportant un nombre impair d'échantillons. Ainsi, dans l'exemple illustré sur la figure 3 c, l'échantillon 30 devient le premier échantillon de la mémoire à partir de laquelle on applique l'inversion d'échantillons deux à deux comme illustré sur la figure 2 (ou la figure 3 a). On obtient une période T du signal reconstruit Ss, comportant un nombre d'échantillons impair, à laquelle on applique encore l'inversion d'échantillons deux à deux pour obtenir la période T", comportant encore un nombre d'échantillons impair, et ainsi de suite. On notera alors que la succession d'échantillons 33, 30, 35, 32, 34, ...de la période T" est bien différente, cette fois, de la succession d'échantillons 30, 31, 32, 33, ... de la période de pitch initiale T.
En référence à nouveau à la figure 4 mettant en œuvre, dans l'exemple représenté, le mode de réalisation illustré sur les figures 2, 3a et 3c, lorsque le signal Se est moyennement voisé (flèche M en sortie du test 51), on détermine la période de pitch T sur les derniers échantillons du signal Se valablement reçus (par une technique 56 qui peut être connue en soi). On détecte si le nombre d'échantillons dans la période de pitch T est pair ou impair. Si ce nombre est impair (flèche N en sortie du test 57), on applique directement l'inversion des échantillons deux à deux (étape 58) comme décrit ci-avant en référence à la figure 3a. Si le nombre d'échantillons dans la période de pitch T est pair (flèche O en sortie du test 57), on ajoute un échantillon à la période de pitch T (étape 59) et on applique ensuite l'inversion des échantillons deux à deux (étape 58), conformément au traitement décrit ci-avant en référence à la figure 3c. Ensuite, on applique éventuellement un gain choisi 61 à la succession d'échantillons ainsi obtenue pour former le signal finalement reconstruit Ss.
Comme indiqué ci-avant en référence à la figure 4, la période de pitch est tout d'abord calculée à partir d'une ou de quelques trames précédentes. Ensuite, l'excitation à harmonicité réduite est générée de la manière illustrée sur la figure 2, avec inversion systématique. Toutefois, dans la variante illustrée sur la figure 1, elle peut être générée avec inversion aléatoire. Cette inversion irrégulière des échantillons de l'excitation voisée permet avantageusement d'atténuer la sur-harmonicité. On détaille ci-après cette réalisation avantageuse.
Habituellement, en simple recopie de période de pitch, l'excitation voisée est calculée selon une formule du type : s(n) = gltp.s(n -T) (1)
où T la période de pitch estimée et gltp est un gain LTP choisi.
Dans une forme de réalisation de l'invention, l'excitation voisée est calculée par groupe de deux échantillons et avec inversion aléatoire selon le traitement ci-après.
Tout d'abord, on génère un nombre aléatoire x dans l'intervalle [0 ; I]. Ensuite, en fonction de la valeur de x :
• si x < p, s(n) et s(n+l) sont calculés à partir de l'équation (1)
• si x > p, s(n) et s(n+l) sont calculés selon les équations (2) et (3) suivantes : s(n) = 8to-s(n -T + ï)
(2) s(n + \) = glw.s(n -T)
(3)
La valeur p représente la probabilité d'inverser les deux échantillons s(n) et s(n+l). Par exemple, on peut fixer la valeur p telle que p = 50%.
Dans une variante avantageuse, on peut aussi choisir une probabilité variable, par exemple de la forme : p = corr (4) où la variable corr correspond à la valeur maximum de la fonction de corrélation sur la période de pitch, notée Corr(T). Pour une période de pitch T, la fonction de corrélation Corr{T) est calculée en n'utilisant que 2*Tm échantillons à la fin du signal mémorisé, et :
Lmem-l
Σ m m ι-T
Corr(T) = Lmem -—fcl —≈-.+ Lrmem—l—T ι-Lmem-2Tm ι-Lmem-2Tm+T /c\
où mQ - - - mLmem_γ sont les derniers échantillons du signal décodé précédemment, et sont encore disponibles dans la mémoire du décodeur.
De cette formule, on comprendra que la longueur de cette mémoire Lmem (en nombre d'échantillons stockés) doit être égale à au moins deux fois la valeur maximale de la durée de période de pitch (en nombre d'échantillons). Pour tenir compte des voix les plus graves (plus basse fréquence fondamentale de l'ordre de 50 Hz), le nombre d'échantillons à stocker peut être de l'ordre de 300, pour un faible taux d'échantillonnage en bande étroite, et de plus de 300 pour des taux d'échantillonnage plus élevés. La fonction de corrélation corr(T), donnée par la formule (5), atteint une valeur maximale lorsque la variable T correspond à la période de pitch To et cette valeur maximale donne une indication du degré de voisement. Typiquement, si cette valeur maximale est très proche de 1, alors le signal est fortement voisé. Si elle est proche de 0, le signal n'est pas voisé.
On comprendra ainsi que dans cette réalisation, la détermination préalable de la période de pitch n'est pas nécessaire pour construire les groupes d'échantillons à inverser. En particulier, la détermination de la période de pitch T0 peut être effectuée conjointement avec la constitution des groupes au sens de l'invention, par application de la formule (5) ci-avant.
Si le signal est très voisé, alors la probabilité p sera très grande, et le voisement sera conservé conformément au calcul selon la formule (1). Si, en revanche, le voisement du signal Se n'est pas trop marqué, la probabilité p sera plus faible et on utilisera avantageusement les équations (2) et (3).
Bien entendu, d'autres calculs de corrélations peuvent aussi être utilisés.
Par exemple, il est aussi possible de calculer l'excitation harmonique en fonction de classes prédéfinies. Pour les classes très voisées, l'équation (1) sera plutôt utilisée.
Pour les classes moyennement ou faiblement voisées, les équations (2) et (3) seront plutôt utilisées. Pour les classes non voisées, aucune excitation harmonique n'est générée et l'excitation peut alors être générée à partir d'un bruit blanc. Toutefois, dans la variante décrite précédemment, les équations (2) et (3) seront aussi utilisées avec une période de pitch arbitraire suffisamment grande.
De manière plus générale, la présente invention ne se limite pas aux formes de réalisation décrites ci-avant à titre d'exemple ; elle s'étend à d'autres variantes. Dans le contexte de réalisation de l'invention décrite en détail ci-avant, la génération d'excitation en codage par synthèse prédictive CELP vise à éviter le survoisement dans le contexte de la dissimulation d'erreurs de transmissions de trames. Il peut être prévu néanmoins d'utiliser les principes de l'invention pour de l'extension de bande. On peut alors utiliser la génération d'une excitation en bande élargie dans un système d'extension de bande (avec ou sans transmission d'informations), basée sur un modèle de type CELP (ou sous-bande CELP). L'excitation de la bande haute peut être alors calculée comme décrit précédemment, ce qui permet de limiter alors la sur-harmonicité de cette excitation.
Par ailleurs, la mise en œuvre de l'invention est particulièrement adaptée à la transmission de signaux sur réseaux par trames, ou encore par paquets, par exemple des paquets de "voix sur IP" (pour "Internet Protocol"), de manière à fournir une qualité acceptable lors de la perte de tels paquets sur IP, tout en garantissant néanmoins une complexité limitée.
Bien entendu, l'inversion des échantillons peut être menée sur des groupes d'échantillons de taille supérieure à deux.
Par ailleurs, on a décrit ci-avant la génération d'un bloc de remplacement d'un bloc invalide à partir des échantillons d'un bloc valide, précédant le bloc invalide. Dans une variante, on peut s'appuyer plutôt sur un bloc valide succédant le bloc invalide pour réaliser la synthèse du bloc invalide (synthèse a posteriori). Cette réalisation peut être avantageuse notamment pour synthétiser plusieurs blocs invalides successifs et, en particulier, pour synthétiser : des blocs invalides succédant immédiatement des blocs valides précédents, à partir de ces blocs précédents, puis des blocs invalides précédant immédiatement des blocs valides suivants, à partir de ces blocs suivants.
La présente invention vise aussi un programme d'ordinateur destiné à être stocké en mémoire d'un dispositif de synthèse d'un signal audionumérique. Ce programme comporte alors des instructions pour la mise en œuvre du procédé au sens de l'invention, lorsqu'il est exécuté par un processeur d'un tel dispositif de synthèse. D'ailleurs, la figure 4 décrite ci-avant peut illustrer un organigramme d'un tel programme d'ordinateur.
Par ailleurs, la présente invention vise aussi un dispositif de synthèse d'un signal audionumérique constitué d'une succession de blocs. Ce dispositif pourrait comporter d'ailleurs une mémoire stockant le programme d'ordinateur précité. En référence à la figure 5, ce dispositif SYN, comporte : - une entrée E pour recevoir des blocs du signal Se, précédant au moins un bloc courant à synthétiser, et une sortie S pour délivrer le signal synthétisé Ss et comportant au moins ce bloc courant à synthétiser.
Le dispositif de synthèse SYN au sens de l'invention comporte des moyens tels qu'une mémoire de travail MEM (ou de stockage du programme d'ordinateur précité) et un processeur PROC coopérant avec cette mémoire MEM, pour la mise en œuvre du procédé au sens de l'invention, et pour synthétiser ainsi le bloc courant à partir d'au moins un des blocs précédents du signal Se.
La présente invention vise aussi un appareil de réception d'un signal audionumérique constitué d'une succession de blocs, tel qu'un décodeur d'un tel signal par exemple. En référence encore à la figure 5, cet appareil peut comporter avantageusement un détecteur de blocs invalides DET, ainsi que le dispositif SYN au sens de l'invention pour synthétiser des blocs invalides détectés par le détecteur DET.

Claims

REVENDICATIONS
1. Procédé de synthèse d'un signal audionumérique représenté par des blocs consécutifs d'échantillons, dans lequel, à la réception d'un tel signal, pour remplacer au moins un boc invalide, on génère un bloc de remplacement à partir des échantillons d'au moins un bloc valide précédant le bloc invalide, caractérisé en ce qu'il comporte les étapes suivantes : a) sélectionner un nombre choisi (T) d'échantillons formant une succession dans au moins un dernier bloc valide précédant le bloc invalide, b) fragmenter la succession d'échantillons en groupes d'échantillons (A,B,C,D), et, dans au moins une partie des groupes, inverser des échantillons selon des règles prédéterminées, c) re-concaténer les groupes (A',B',C',D') dont les échantillons de certains au moins ont été inversés à l'étape b), pour former une partie (T) au moins du bloc de remplacement, et d) si ladite partie obtenue à l'étape c) ne remplit pas tout le bloc de remplacement, recopier ladite partie (T) dans le bloc de remplacement et appliquer à nouveau les étapes a), b), c) à ladite partie recopiée.
2. Procédé selon la revendication 1, dans lequel le signal audionumérique est un signal de parole, caractérisé en ce que l'on détecte un degré de voisement (51) dans le signal de parole et on applique les étapes a) à d) si le signal est au moins faiblement voisé.
3. Procédé selon l'une des revendications 1 et 2, dans lequel le signal audionumérique est un signal de parole, caractérisé en ce que l'on détecte un degré de voisement (51) dans le signal de parole et on applique les étapes a) à d) si le signal est faiblement voisé ou non voisé.
4. Procédé selon l'une des revendications précédentes, caractérisé en ce que, pour mener l'étape a) : al) on détecte un ton dans le signal audionumérique (56), et a2) ledit nombre choisi d'échantillons sélectionnés à l'étape a) correspond au nombre d'échantillons que comporte une période (T) correspondant à l'inverse d'une fréquence fondamentale du ton détecté.
5. Procédé selon l'une des revendications précédentes, caractérisé en ce que la fragmentation de l'étape b) s'effectue par groupes de deux échantillons, et on inverse les positions des échantillons d'un même groupe (B', C) l'une avec l'autre.
6. Procédé selon la revendication 5, prise en combinaison avec la revendication 4, caractérisé en ce que, si le nombre d'échantillons que comporte la période (T) du ton détecté est un nombre pair, un nombre impair d'échantillons (30) est ajouté ou retranché aux échantillons de ladite période (T) pour former la sélection de l'étape a).
7. Procédé selon l'une des revendications précédentes, caractérisé en ce que lesdites règles prédéterminées imposent de rendre aléatoires les occurrences d'inversion d'échantillons dans chaque groupe et fixent un seuil de probabilité (p) pour inverser ou non les échantillons d'un groupe.
8. Procédé selon la revendication 7, prise en combinaison avec la revendication 4, caractérisé en ce que le seuil de probabilité (p) est variable et dépend d'une fonction de corrélation portant sur ladite période (T).
9. Programme d'ordinateur destiné à être stocké en mémoire d'un dispositif de synthèse d'un signal audionumérique, caractérisé en ce qu'il comporte des instructions pour la mise en œuvre du procédé selon l'une des revendications 1 à 8 lorsqu'il est exécuté par un processeur d'un tel dispositif de synthèse.
10. Dispositif de synthèse d'un signal audionumérique constitué d'une succession de blocs, comportant :
- une entrée pour recevoir des blocs du signal (Se), précédant au moins un bloc courant à synthétiser, et - une sortie pour délivrer le signal synthétisé (Ss) et comportant au moins ledit bloc courant, caractérisé en ce qu'il comporte des moyens (MEM, PROC) pour la mise en œuvre du procédé selon l'une des revendications 1 à 8, pour synthétiser le bloc courant à partir d'au moins un desdits blocs précédents.
11. Appareil de réception d'un signal audionumérique constitué d'une succession de blocs, comportant un détecteur de blocs invalides (DET), caractérisé en ce qu'il comporte en outre un dispositif (SYN) selon la revendication 10, pour synthétiser des blocs invalides.
EP07858612A 2006-10-20 2007-10-17 Attenuation du survoisement, notamment pour la generation d'une excitation aupres d'un decodeur, en absence d'information Active EP2080194B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0609225 2006-10-20
PCT/FR2007/052188 WO2008047051A2 (fr) 2006-10-20 2007-10-17 Attenuation du survoisement, notamment pour la generation d'une excitation aupres d'un decodeur, en absence d'information

Publications (2)

Publication Number Publication Date
EP2080194A2 true EP2080194A2 (fr) 2009-07-22
EP2080194B1 EP2080194B1 (fr) 2011-12-07

Family

ID=38011219

Family Applications (1)

Application Number Title Priority Date Filing Date
EP07858612A Active EP2080194B1 (fr) 2006-10-20 2007-10-17 Attenuation du survoisement, notamment pour la generation d'une excitation aupres d'un decodeur, en absence d'information

Country Status (11)

Country Link
US (1) US8417520B2 (fr)
EP (1) EP2080194B1 (fr)
JP (1) JP5289319B2 (fr)
KR (1) KR101409305B1 (fr)
CN (1) CN101573751B (fr)
AT (1) ATE536613T1 (fr)
BR (1) BRPI0718423B1 (fr)
ES (1) ES2378972T3 (fr)
MX (1) MX2009004212A (fr)
RU (1) RU2437170C2 (fr)
WO (1) WO2008047051A2 (fr)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL196146A (en) * 2008-12-23 2014-01-30 Elta Systems Ltd Signal transmission system and method back to the source of transmission
GB0920729D0 (en) * 2009-11-26 2010-01-13 Icera Inc Signal fading
CN105976830B (zh) 2013-01-11 2019-09-20 华为技术有限公司 音频信号编码和解码方法、音频信号编码和解码装置
FR3004876A1 (fr) * 2013-04-18 2014-10-24 France Telecom Correction de perte de trame par injection de bruit pondere.
SG11201510353RA (en) 2013-06-21 2016-01-28 Fraunhofer Ges Forschung Apparatus and method realizing a fading of an mdct spectrum to white noise prior to fdns application
PL3336839T3 (pl) 2013-10-31 2020-02-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dekoder audio i sposób dostarczania zdekodowanej informacji audio z wykorzystaniem maskowania błędów modyfikującego sygnał pobudzenia w dziedzinie czasu
EP3285254B1 (fr) 2013-10-31 2019-04-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Décodeur audio et procédé pour fournir des informations audio décodées au moyen d'un masquage d'erreur basé sur un signal d'excitation de domaine temporel
EP2980798A1 (fr) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Commande dépendant de l'harmonicité d'un outil de filtre d'harmoniques

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0139803B1 (fr) * 1983-10-28 1987-10-14 International Business Machines Corporation Procédé de reconstitution d'informations perdues dans un système de transmission numérique de la voix et système de transmission utilisant ledit procédé
DE69419515T2 (de) * 1994-11-10 2000-01-20 Ericsson Telefon Ab L M Verfahren und Einrichtung zur Tonwiederherstellung während Auslöschungen
GB2360178B (en) * 2000-03-06 2004-04-14 Mitel Corp Sub-packet insertion for packet loss compensation in Voice Over IP networks
FR2813722B1 (fr) 2000-09-05 2003-01-24 France Telecom Procede et dispositif de dissimulation d'erreurs et systeme de transmission comportant un tel dispositif
EP1217613A1 (fr) * 2000-12-19 2002-06-26 Koninklijke Philips Electronics N.V. Reconstitution de trames manquantes ou mauvaises en téléphonie cellulaire
US7711563B2 (en) * 2001-08-17 2010-05-04 Broadcom Corporation Method and system for frame erasure concealment for predictive speech coding based on extrapolation of speech waveform
DE10219133B4 (de) * 2002-04-29 2007-02-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Verschleiern eines Fehlers
JP4445328B2 (ja) * 2004-05-24 2010-04-07 パナソニック株式会社 音声・楽音復号化装置および音声・楽音復号化方法
AU2006208529B2 (en) * 2005-01-31 2010-10-28 Microsoft Technology Licensing, Llc Method for weighted overlap-add
US7930176B2 (en) * 2005-05-20 2011-04-19 Broadcom Corporation Packet loss concealment for block-independent speech codecs
US7805297B2 (en) * 2005-11-23 2010-09-28 Broadcom Corporation Classification-based frame loss concealment for audio signals
US8255207B2 (en) * 2005-12-28 2012-08-28 Voiceage Corporation Method and device for efficient frame erasure concealment in speech codecs

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2008047051A3 *

Also Published As

Publication number Publication date
ES2378972T3 (es) 2012-04-19
RU2437170C2 (ru) 2011-12-20
KR20090090312A (ko) 2009-08-25
KR101409305B1 (ko) 2014-06-18
WO2008047051A2 (fr) 2008-04-24
CN101573751A (zh) 2009-11-04
ATE536613T1 (de) 2011-12-15
EP2080194B1 (fr) 2011-12-07
US20100324907A1 (en) 2010-12-23
US8417520B2 (en) 2013-04-09
JP2010507120A (ja) 2010-03-04
RU2009118918A (ru) 2010-11-27
BRPI0718423B1 (pt) 2020-03-10
MX2009004212A (es) 2009-07-02
JP5289319B2 (ja) 2013-09-11
CN101573751B (zh) 2013-09-25
WO2008047051A3 (fr) 2008-06-12
BRPI0718423A2 (pt) 2013-11-12

Similar Documents

Publication Publication Date Title
EP2277172B1 (fr) Dissimulation d&#39;erreur de transmission dans un signal audionumerique dans une structure de decodage hierarchique
EP1316087B1 (fr) Dissimulation d&#39;erreurs de transmission dans un signal audio
EP2080195B1 (fr) Synthèse de blocs perdus d&#39;un signal audionumérique
EP2026330B1 (fr) Dispositif et procede pour dissimulation de trames perdues
EP2080194B1 (fr) Attenuation du survoisement, notamment pour la generation d&#39;une excitation aupres d&#39;un decodeur, en absence d&#39;information
EP1051703B1 (fr) Procede decodage d&#39;un signal audio avec correction des erreurs de transmission
EP3175444A1 (fr) Gestion de la perte de trame dans un contexte de transition fd/lpd
EP2347411B1 (fr) Attenuation de pre-echos dans un signal audionumerique
EP3138095B1 (fr) Correction de perte de trame perfectionnée avec information de voisement
EP2203915B1 (fr) Dissimulation d&#39;erreur de transmission dans un signal numerique avec repartition de la complexite
EP1665234B1 (fr) Procede de transmission d un flux d information par insertion a l&#39;interieur d&#39;un flux de donnees de parole, et codec parametrique pour sa mise en oeuvre
EP2232833A2 (fr) Traitement d&#39;erreurs binaires dans une trame binaire audionumerique

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20090415

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC MT NL PL PT RO SE SI SK TR

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20100720

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC MT NL PL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602007019242

Country of ref document: DE

Effective date: 20120301

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20111207

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2378972

Country of ref document: ES

Kind code of ref document: T3

Effective date: 20120419

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20111207

LTIE Lt: invalidation of european patent or patent extension

Effective date: 20111207

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20111207

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120308

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20111207

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20111207

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20111207

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20111207

REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20111207

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20111207

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20111207

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20111207

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120407

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120307

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20111207

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20111207

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120409

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 536613

Country of ref document: AT

Kind code of ref document: T

Effective date: 20111207

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20111207

26N No opposition filed

Effective date: 20120910

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602007019242

Country of ref document: DE

Effective date: 20120910

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20111207

BERE Be: lapsed

Owner name: FRANCE TELECOM

Effective date: 20121031

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20121031

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20111207

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20121031

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20121031

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20121031

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20111207

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20111207

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20121017

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20071017

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 9

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 10

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 11

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20230920

Year of fee payment: 17

Ref country code: GB

Payment date: 20230920

Year of fee payment: 17

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20230920

Year of fee payment: 17

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: ES

Payment date: 20231102

Year of fee payment: 17

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20230920

Year of fee payment: 17