EP2162883B1 - Limitation de distorsion introduite par un post-traitement au decodage d'un signal numerique - Google Patents

Limitation de distorsion introduite par un post-traitement au decodage d'un signal numerique Download PDF

Info

Publication number
EP2162883B1
EP2162883B1 EP08806164A EP08806164A EP2162883B1 EP 2162883 B1 EP2162883 B1 EP 2162883B1 EP 08806164 A EP08806164 A EP 08806164A EP 08806164 A EP08806164 A EP 08806164A EP 2162883 B1 EP2162883 B1 EP 2162883B1
Authority
EP
European Patent Office
Prior art keywords
post
signal
amplitude
value
pcm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP08806164A
Other languages
German (de)
English (en)
Other versions
EP2162883A2 (fr
Inventor
Balazs Kovesi
Stéphane RAGOT
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of EP2162883A2 publication Critical patent/EP2162883A2/fr
Application granted granted Critical
Publication of EP2162883B1 publication Critical patent/EP2162883B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26Pre-filtering or post-filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation

Definitions

  • the present invention relates to signal processing, in particular digital signals in the telecommunications field, these signals being, for example, speech, music, video signals, or other signals.
  • the rate needed to pass an audio and / or video signal with sufficient quality is an important parameter in telecommunications.
  • audio coders have been developed in particular to compress the amount of information necessary to transmit a signal.
  • Some encoders achieve particularly high information compression rates. Such coders generally use advanced information modeling and quantification techniques. Thus, these encoders only transmit models or partial data of the signal.
  • the decoded signal although it is not identical to the original signal (since part of the information has not been transmitted because of the quantization operation), nevertheless remains very close to the signal of origin (at least from the point of view of perception).
  • Quantization noise The difference, in the mathematical sense, between the decoded signal and the original signal is then called "quantization noise".
  • Another treatment family is the conventional noise reduction treatments that distinguish the wanted signal from the spurious noises and that can be applied as post-processing to reduce the quantization noise after decoding.
  • This type of processing originally makes it possible to reduce the noise related to the environment of the signal capture and is often used for speech signals. However, it is impossible to make transparent the processing vis-à-vis the noise related to the environment of the sound recording, which poses a problem for music signal coding, in particular.
  • a threshold post-processing described in US 2009/214054 at least not applied to a noise treatment of quantifications.
  • the present invention improves the situation.
  • a delay line is provided to ensure a temporal correspondence between the current amplitude of the post-processed signal and the corresponding current amplitude of the decoded signal.
  • the present invention proposes not to deviate from the decoded signal, beyond a certain tolerance, during the post-processing of the decoded signal.
  • scalar quantization coding is the so-called "pulse modulation coding" coding, delivering a coded index.
  • pulse modulation coding coding
  • a correspondence table can be provided, giving, for a current received index, a corresponding quantized value and a corresponding quantization step half, from which the current values of the lower and upper bounds can then be determined.
  • the present invention is advantageously involved in the context of coding / decoding of the scalar quantization type.
  • coding / decoding of the scalar quantization type.
  • each input sample is coded individually, without prediction.
  • the principle of such a codec is recalled with reference to the figure 1 .
  • This type of coding compresses signals sampled at 8 kHz, typically defined in a minimum frequency band of 300 to 3400 Hz, by a logarithmic curve which allows obtaining an almost constant signal-to-noise ratio for wide signal dynamics.
  • the quantization step is approximately proportional to the amplitude of the signals.
  • the finally decoded signal S' Mic is obtained at the output of the inverse quantizer 12.
  • an original sample of the signal S to be encoded has an amplitude equal to -75. Therefore, this amplitude is in the range [-80, -65] of line 123 (or "level" 123) of the table.
  • the coding of this information consists in delivering a final coded index, referenced I ' Mic on the figure 1 and in Table 1, which is equal to 0x51.
  • VQ 32256 to all samples whose initial amplitude was in the interval [31744, 32767], that is, a total of 1024 possible values, which corresponds to a quantization step of 1024.
  • the quantization step is multiplied by two (16, 32, 64, ...) in the transition from one segment to the next, and this, from the second segment.
  • This encoding law therefore makes it possible to have a quantization precision of 12 bits (with a quantization step of 16) on the first two index segments 0 and 1 (Table 2). Then, the accuracy decreases by 1 bit each increment of the segment index (the quantization step being multiplied by two at each increment), as shown in Table 2 below.
  • Table 3 below is the equivalent of Table 2, but for the G.711 standard as practiced in particular in the United States of America or in Japan (called " ⁇ law"), with in particular the no quantization and the maximum possible deviations E MAX between the quantized value VQ and the real value of the amplitude of the original sample.
  • Table 3 ⁇ / u> ID-SEG Lower threshold Upper threshold No quantification E MAX 0 0 123 8 4 1 124 379 16 8 2 380 891 32 16 3 892 1915 64 32 4 1916 3963 128 64 5 3964 8059 256 128 6 8060 16251 512 256 7 16252 32635 1024 512
  • the decoded signal S ' Mic is then subjected to post-processing filtering 16 (for example a denoising or the application of a perceptual post-filter).
  • post-processing filtering 16 for example a denoising or the application of a perceptual post-filter.
  • the resulting signal S POST is then processed by a module 20 within the meaning of the invention.
  • the post-processing 16 (even if it is generally linear phase to preserve the waveform) may be too aggressive and alter the natural appearance of a speech signal.
  • the decoder there is information on the original signal that can be used, within the meaning of the present invention, to limit the difference between the decoded and post-filtered signal S POST , on the one hand, and the original signal S, on the other hand.
  • a possible exemplary embodiment, described in detail below, is to impose that the distortion introduced by the post-processing 16 with respect to the decoded signal S ' Mic can not be greater than the maximum amplitude of the coding error. E MAX . It is then ensured that the post-filtered signal remains in the same quantization interval as the original signal.
  • the overall distortion due to the processing coding / decoding and post-processing is limited, and in particular very close to the maximum distortion of the E MAX coding. This measurement also ensures that the energy distribution between successive samples and the overall waveform are well preserved.
  • FIG. 2 An example of implementation of the invention is illustrated in the figure 2 .
  • the module 21 calculates the decoded sample S' Mic by inverse quantization of the index I ' Mic received.
  • the module 22 performs the aforementioned post-processing. It will also be remembered that this operation generally introduces a delay.
  • provision is made for a treatment in the sense of the invention which advantageously begins with a delay line (module 23) to which the received index I ' Mic is also applied .
  • the delay is set so that the delayed index I ' Mic_DEL is time-aligned with the current sample delivered by the output S POST of the post-processing 22.
  • the module 25 determines the quantized value QV and the corresponding maximum coding error E MAX , for example from a table 24 which may comprise data from Table 1 above. .
  • Table 4 shows the data in Table 1 that can be used to determine the QV and E MAX parameters operated by the module 25. ⁇ u> Table 4 ⁇ / u> Received index I ' Mic Quantified value QV Maximum error E MAX 0x2a -32,256 512 0x2b -31,232 512 ... ... ...
  • Table 4 changes according to the quantized value QV to show that Table 4 is taken from Table 1 given above.
  • Table 24 which, at the input, lists the indices received and delayed I ' Mic_DEL and, at the output, gives the corresponding QV and E MAX parameters.
  • Table 5 below contains the same data as Table 4, but it is ranked according to the index values I ' Mic_DEL .
  • Table 5 presents the respective parameters QV and E MAX according to a given index I ' Mic_DEL and can therefore constitute, for the standard G.711-law A, the contents of the table 24 of the figure 2 .
  • Table 5 ⁇ / u> Index received and delayed I ' Mic_DEL Quantified value QV Maximum error E MAX 0x00 -5504 128 0x01 -5248 128 ... ... ...
  • Table 7 shows the data that may comprise a table 24 in a treatment of the type shown in FIG. figure 2 , in the context of coding according to the law ⁇ .
  • Table 7 ⁇ / u> Index received and delayed I ' Mic_DEL Quantified value QV Maximum error E MAX 0x00 -32,124 512 0x01 -31,100 512 ... ... ...
  • the table 24 (which can therefore include the data of the tables 5 or 7) can be stored permanently in a memory of a module 20 (FIG. figure 1 ) within the meaning of the invention.
  • the parameters E MAX and QV are calculated directly from the received index, without using a table 24, as follows.
  • the module 26 checks whether the difference between the post-processed sample S POST and the sample just decoded without post-processing S ' Mic does not exceed the value of the parameter E MAX found, in which case the post-processing has induced distortions that should be limited.
  • the value of the sample S POST is then brought back to a value closer to the quantified value QV, so that the difference between the values S POST and QV remains below an authorized threshold.
  • the output signal S OUT always remains in the same quantization interval as the original signal S.
  • the output signal is strictly brought back into the quantization interval of the original signal, delimited by: Not signed Mic - E MAX , Not signed Mic + E MAX - 1 .
  • the distortion of the post-processing is limited compared to the decoded signal, and not necessarily compared to the original signal, depending on the type of coding / decoding used.
  • an optional prior step 38 (illustrated in dashed lines for this purpose), to prevent the limitation of distortion due to post-processing is applied systematically. In certain cases, it is indeed advantageous to inhibit the treatment of figure 2 .
  • the signal-to-noise ratio (noted RSB hereafter), obtained by the PCM coding / decoding, is substantially constant (at a level of about 38 dB) for wide signal dynamics.
  • the RSB ratio is low and can even be negative at the beginning of the segment of the amplitude compression law.
  • the output of the PCM decoder is then very "noisy" for low amplitude signals (for example in the case of silence between two sentences of a speech signal).
  • One solution is often to modify the postprocessing of very small amplitude signals by greatly reducing the amplitude of the decoded signal.
  • the amplitude of the signal resulting from this type of post-processing is absolutely not faithful, then, to the amplitude of the original signal. Under these conditions, it is preferable to inhibit the distortion limitation due to the post-treatment and the steps 32 to 35 of the treatment within the meaning of the invention ( figure 3 ) are then avoided.
  • the steps 32 to 35 are not implemented and the amplitude of the output samples S OUT directly takes the value of the amplitude of the post-filtered samples S POST (step 37).
  • the value of the threshold S e is equal to 24 (in the scale, of course, tables given above).
  • the treatment aimed at limiting the distortion is applied.
  • the method in the sense of the invention is finally implemented only for decoded and post-processed S POST signals whose amplitude is greater than the predetermined threshold value Se.
  • the distortion limitation module 20 is shown on the figure 1 downstream of the post-processing module 16. As a variant, it can be integrated directly into the post-processing module 16. Furthermore, this variant can be advantageous especially in the context of using recursive filters with infinite impulse response (or IIR for "Infinite Impulse Response"). in English). In fact, in the case of using an IIR filter, the filter output sample depends on the previous outputs of this filter. Thus, by integrating a module within the meaning of the invention in a post-processing using type IIR filtering, the output of the IIR filtering can directly take into account the values that were immediately modified by the module within the meaning of the invention.
  • intervals were defined around the decoded value S '(which may be the quantized value QV in the case of scalar quantization coding / decoding of the type described herein. -before).
  • this embodiment was described by way of non-limiting example. It can be provided, alternatively, to assign to the amplitude of the output signal S OUT the average (or more generally a weighted average) between the decoded value S 'and the post-processed amplitude value S POST , while allowing the direct assignment of the post-processed amplitude value S POST if, for example, this last S POST is still in a chosen range.
  • the present invention applies to any type of coding / decoding, beyond a coding according to the G.711 standard, and for example the embodiment described in detail above can be applied in particular to case of scalar quantization coding / decoding with any number of levels, followed by decoding of a linear phase postprocessing.
  • the present invention also aims at a processing module 20 of a digital signal, this signal being decoded by an upstream decoder 14 ( figure 1 ) and subjected to a noise reduction after-treatment 16.
  • This processing module 20 within the meaning of the invention then comprises means 23, 24, 25, 26 ( figure 2 ) for implementing the method of limiting a distortion introduced by the post-processing.
  • this module 20 within the meaning of the invention typically comprises, with reference to the figure 4 , a ⁇ P processor cooperating with a memory block BM including a storage and / or working memory, as well as the aforementioned memory MEM as a means for carrying out, in an exemplary embodiment, the delay line 23 and providing the index delayed I ' Mic_DEL .
  • the memory block BM may further comprise a storage means (preferably in read-only memory) of the correspondence table 24 of the figure 2 , or else a computer program for directly calculating the decoded value and the corresponding interval from the delayed index I ' Mic_DEL , according to the chosen embodiment.
  • the module 20 may be independent or integrated in a noise reduction post-processing module.
  • a storage memory of such a module 20 may advantageously also include a computer program comprising instructions for implementing the method in the sense of the invention, when these instructions are executed by a ⁇ P processor of the module 20.
  • the figure 3 can illustrate a flowchart representing the algorithm of such a computer program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Analogue/Digital Conversion (AREA)

Description

  • La présente invention concerne un traitement de signal, en particulier de signaux numériques dans le domaine des télécommunications, ces signaux pouvant être par exemple des signaux de parole, de musique, des signaux vidéo, ou autres.
  • Généralement, le débit nécessaire pour faire transiter un signal audio et/ou vidéo avec une qualité suffisante est un paramètre important en télécommunications. Afin de réduire ce paramètre et d'augmenter alors le nombre de communications possibles via un même réseau, des codeurs audio ont été développés notamment pour compresser la quantité d'informations nécessaire pour transmettre un signal.
  • Certains codeurs permettent d'atteindre des taux de compression de l'information particulièrement élevés. De tels codeurs utilisent en général des techniques avancées de modélisation et de quantification de l'information. Ainsi, ces codeurs ne transmettent que des modèles ou des données partielles du signal.
  • Le signal décodé, bien qu'il ne soit pas identique au signal d'origine (puisqu'une partie de l'information n'a pas été transmise du fait de l'opération de quantification), reste néanmoins très proche du signal d'origine (au moins du point de vue de la perception). La différence, au sens mathématique, entre le signal décodé et le signal d'origine est alors appelée « bruit de quantification ».
  • Les traitements en compression de signaux sont souvent conçus de manière à minimiser le bruit de quantification et, en particulier, à rendre ce bruit de quantification le moins audible possible lorsqu'il s'agit de traiter un signal audio. Il existe alors des techniques prenant en compte les caractéristiques psycho-acoustiques de l'audition, dans le but de « masquer » ce bruit. Toutefois, pour obtenir des débits les plus faibles possibles, le bruit de quantification peut être parfois difficile (voire impossible) à masquer totalement, ce qui, dans certaines circonstances, dégrade l'intelligibilité et/ou la qualité du signal.
  • Afin de réduire ce bruit de quantification et donc améliorer la qualité, deux familles de techniques peuvent être utilisées au décodage.
  • Il est possible, tout d'abord, d'utiliser un post-filtre adaptatif, du type décrit dans l'article de Chen et Gersho :
    • " Adaptive postfiltering for quality enhancement of coded speech" , IEEE Transactions on Speech and Audio Processing, vol. 3, no. 1, Jan. 1995, pages 59 - 71,
    • et employé notamment dans les décodeurs de parole de type CELP (pour « Code Excited Linear Prediction »).
  • Il s'agit d'effectuer un filtrage qui améliore la qualité subjective en atténuant le signal dans les zones où le bruit de quantification est le plus audible (notamment entre les formants et les harmonique de période fondamentale ou "pitch"). Les post-filtres adaptatifs actuels procurent de bons résultats pour des signaux de parole, mais de moins bons résultats pour d'autres types de signaux (signaux de musique, par exemple).
  • Une autre famille de traitement vise les traitements classiques de réduction de bruit qui distinguent le signal utile des bruits parasites et qui peuvent être appliqués comme post-traitement pour réduire le bruit de quantification après décodage. Ce type de traitement permet à l'origine de réduire le bruit lié à l'environnement de la capture du signal et il est souvent utilisé pour des signaux de parole. Toutefois, il est impossible de rendre transparent le traitement vis-à-vis du bruit lié à l'environnement de la prise de son, ce qui pose problème pour du codage de signal de musique, notamment. Ainsi, en codage/décodage, on peut vouloir transmettre le bruit d'ambiance et il est alors souhaitable que la réduction de bruit ne s'applique pas à ce type de bruit d'ambiance mais uniquement au bruit de quantification, en particulier dans le contexte du post-traitement au décodage visant à réduire le bruit de quantification.
  • Néanmoins, ces différents types de procédés de réduction de bruit de quantification déforment plus ou moins le signal. Par exemple, l'utilisation d'un post-filtre (débruitage) qui serait trop agressive pour le signal de parole permettrait d'éliminer complètement le bruit de quantification mais le son de voix obtenu semblerait moins naturel et/ou étouffé. L'optimisation de ces différents types de procédés est donc difficile et il convient systématiquement de trouver un compromis entre :
    • l'efficacité de suppression du bruit de quantification, et
    • la conservation des propriétés du signal initial, notamment en termes d'aspect naturel ou non.
  • On connait par ailleurs un post-traitement par seuillage décrit dans US 2009/214054 , néamoins aucunement appliqué à un traitement de bruit de quantifications.
  • La présente invention vient améliorer la situation.
  • Elle propose à cet effet un procédé conforme à la revendication 1.
  • Avantageusement, une ligne à retard est prévue pour assurer une correspondance temporelle entre l'amplitude courante du signal post-traité et l'amplitude courante correspondante du signal décodé.
  • Dans une réalisation particulière, le procédé comporte les étapes :
    • définition d'un intervalle d'amplitudes admises, l'intervalle comportant une borne inférieure et une borne supérieure qui sont fonctions d'une valeur d'amplitude courante du signal décodé (mais non post-traité), et
    • pour une amplitude courante correspondante du signal post-traité, affectation d'une valeur d'amplitude courante au signal de sortie, égale à la valeur de :
      • • la borne inférieure si l'amplitude courante du signal post-traité est inférieure à la valeur de la borne inférieure,
      • • la borne supérieure si l'amplitude courante du signal post-traité est supérieure à la valeur de la borne supérieure,
      • • l'amplitude courante du signal post-traité si la valeur de l'amplitude courante du signal post-traité est incluse dans ledit intervalle.
  • Ainsi, la présente invention propose de ne pas s'écarter du signal décodé, au-delà d'une certaine tolérance, lors du post-traitement du signal décodé.
  • On peut alors, dans une réalisation, affecter une plage de valeurs d'amplitude à chaque valeur possible d'amplitude du signal décodé pour définir quantitativement cette tolérance, de sorte que les bornes inférieure et supérieure précitées sont choisies pour que la différence entre la borne supérieure et la borne inférieure soit égale à cette plage de valeurs.
  • Cette réalisation peut avantageusement être mise en oeuvre dans le cas où le signal reçu a été codé par un codage à quantification scalaire, le décodeur délivrant des valeurs d'amplitude quantifiées qui varient entre elles de façon discrète, les écarts successifs entre les valeurs quantifiées définissant des pas successifs de quantification. Ainsi :
    • la borne supérieure peut être donnée par l'addition de sensiblement la moitié du pas de quantification à la valeur quantifiée affectée à l'amplitude courante du signal décodé, et
    • la borne inférieure peut être donnée par la soustraction de sensiblement la moitié du pas de quantification à la valeur quantifiée affectée à l'amplitude courante du signal décodé.
  • Un exemple de codage à quantification scalaire est le codage dit « à modulation par impulsion et codage », délivrant un indice codé. Dans ce cas, il est possible de déterminer des valeurs courantes respectives des bornes inférieure et supérieure simplement sur la base de l'indice codé courant, reçu au décodeur. On peut prévoir d'ailleurs une table de correspondance donnant, pour un indice reçu courant, une valeur quantifiée correspondante et une moitié de pas de quantification correspondant, à partir desquelles peuvent être alors sont déterminées les valeurs courantes respectives des bornes inférieure et supérieure.
  • D'autres caractéristiques et avantages de l'invention apparaîtront à l'examen de la description détaillée ci-après, et des dessins annexés sur lesquels :
    • la figure 1 illustre très schématiquement la structure générale d'un codec à quantification scalaire, dont le décodeur est suivi d'un post-traitement et d'un module, au sens de l'invention, de limitation de distorsion introduite par le post-traitement,
    • la figure 2 illustre schématiquement la structure du module de limitation de distorsion de la figure 1 et son interaction avec le module de post-traitement,
    • la figure 3 illustre schématiquement des étapes de limitation de distorsion au sens de l'invention,
    • la figure 4 illustre très schématiquement la structure matérielle d'un module de limitation de distorsion au sens de l'invention.
  • La présente invention intervient avantageusement dans le contexte d'un codage/décodage du type à quantification scalaire. Par exemple, dans le cas du codage de type MIC (pour "Modulation par Impulsion et Codage" - dit aussi PCM en anglais, pour « Pulse Code Modulation »), chaque échantillon d'entrée est codé individuellement, sans prédiction. On rappelle le principe d'un tel codec en référence à la figure 1.
  • Ce type de codage, au sens de la norme ITU-T G.711, réalise une compression des signaux échantillonnés à 8 kHz, typiquement définis dans une bande de fréquences minimale de 300 à 3400 Hz, par une courbe logarithmique qui permet d'obtenir un rapport signal à bruit à peu près constant pour une large dynamique de signaux.
  • Plus précisément, le pas de quantification est approximativement proportionnel à l'amplitude des signaux. Le signal initial S est d'abord codé (module 10) dans un codeur 13 et la séquence d'indices résultante IMIC est représentée sur 8 bits par échantillon (voir la référence 15 de la figure 1), ce qui correspond donc à 256 niveaux (28=256) de quantification. Dans le réseau téléphonique commuté 11, ces 8 bits sont transmis à une fréquence de 8 kHz pour donner un débit de 8x8=64 kbit/s. Au décodeur 14, sur réception du signal I'Mic que délivre le réseau 11, le signal finalement décodé S'Mic est obtenu à la sortie du quantificateur inverse 12. En pratique, si la quantification inverse est contrôlée par une table, elle consiste simplement en un pointage d'un index dans une table comportant 256 valeurs quantifiées et reprises dans le tableau 1 ci-après. Ce tableau 1 est établi pour la norme ITU-T G.711 telle qu'elle est mise en oeuvre en Europe (pratique dite « loi A »).
  • Par exemple, un échantillon d'origine du signal S à coder a une amplitude égale à -75. Par conséquent, cette amplitude est comprise dans l'intervalle [-80, -65] de la ligne 123 (ou « niveau » 123) du tableau. Le codage de cette information consiste à délivrer un indice final codé, référencé I'Mic sur la figure 1 et sur le tableau 1, qui est égal à 0x51. Au décodage, l'opération de quantification inverse consiste donc à récupérer l'indice I'Mic = 0x51 et à lui faire correspondre une valeur quantifiée VQ, telle que VQ = -72. Par conséquent, le décodage affecte à l'amplitude de l'échantillon correspondant, du signal décodé S'Mic, cette valeur -72. On relèvera que l'on affecterait cette même valeur VQ = -72 à tous les échantillons à décoder et dont l'amplitude initiale avait une valeur dans l'intervalle [-80, -65], soit en tout 16 valeurs possibles dans l'intervalle, ce qui correspond au pas de quantification ici de 16. En revanche, on relèvera que l'on affecterait la même valeur VQ = 32256 à tous les échantillons dont l'amplitude initiale était dans l'intervalle [31744, 32767], soit en tout 1024 valeurs possibles, ce qui correspond à un pas de quantification de 1024. Tableau 1
    Niveau Seuil inférieur Seuil supérieur I'Mic Valeur quantifiée (VQ)
    0 -32768 -31745 0x2a -32256
    1 -31744 -30721 0x2b -31232
    ... ... ... ... ...
    122 -96 -81 0x50 -88
    123 -80 -65 0x51 -72
    124 -64 -49 0x56 -56
    125 -48 -33 0x57 -40
    126 -32 -17 0x54 -24
    127 -16 -1 0x55 -8
    128 0 15 0xd5 8
    129 16 31 0xd4 24
    130 32 47 0xd7 40
    131 48 63 0xd6 56
    132 64 79 0xd1 72
    133 80 95 0xd0 88
    ... ... ... ... ...
    254 30720 31743 0xab 31232
    255 31744 32767 0xaa 32256
  • Pour faciliter sa mise en oeuvre, la compression MIC est réalisée par une compression d'amplitude linéaire par segments. Dans la norme ITU-T G.711, les 8 bits caractérisant 256 valeurs quantifiées sont ainsi répartis de la façon suivante :
    • 1 bit de signe (0 pour une valeur négative ; et 1 sinon), portant la référence sgn sur la figure 1,
    • 3 bits pour indiquer un identifiant de segment de 0 à 7 (tableaux 2 et 3), portant la référence ID-SEG sur la figure 1, et
    • 4 bits pour préciser l'emplacement d'un niveau sur un segment courant, portant la référence ID-POS sur la figure 1.
  • Dans la norme G.711 selon la loi A en particulier, le pas de quantification est multiplié par deux (16, 32, 64, ...) au passage d'un segment au suivant, et ce, à partir du deuxième segment. Cette loi de codage permet donc d'avoir une précision de quantification de 12 bits (avec un pas de quantification de 16) sur les deux premiers segments d'indices 0 et 1 (tableau 2). Puis, la précision diminue de 1 bit à chaque incrémentation de l'indice de segment (le pas de quantification étant multiplié par deux à chaque incrémentation), comme le montre le tableau 2 ci-après. Tableau 2
    ID-SEG Seuil inférieur Seuil supérieur Pas de quantification Position bit poids plus fort EMAX
    0 0 255 16 <8 8
    1 256 511 16 8 8
    2 512 1023 32 9 16
    3 1024 2047 64 10 32
    4 2048 4095 128 11 64
    5 4096 8191 256 12 128
    6 8192 16383 512 13 256
    7 16384 32767 1024 14 512
  • Le tableau 2 s'interprète comme suit. A titre d'exemple, si l'amplitude d'un échantillon d'origine vaut -30000 :
    • l'indice du segment associé « 7 » est codé sur 3 bits,
    • le signe « - » est codé sur 1 bit (à 0), et
    • les 4 bits restants (13, 12, 11 et 10) définissent le niveau d'amplitude dans le segment d'indice 7.
  • De même, si l'amplitude d'un échantillon d'origine vaut +4000 :
    • l'indice du segment associé « 4 » est codé sur 3 bits,
    • le signe « + » est codé sur 1 bit (à 1), et
    • les 4 bits restants (3, 2, 1 et 0) définissent le niveau d'amplitude dans le segment d'indice 4.
  • Le tableau 3 ci-après est l'équivalent du tableau 2, mais pour la norme G.711 telle qu'elle est pratiquée notamment aux Etats-Unis d'Amérique ou au Japon (dite « loi µ »), avec en particulier les pas de quantification et les écarts maximums possibles EMAX entre la valeur quantifiée VQ et la valeur réelle de l'amplitude de l'échantillon d'origine. Tableau 3
    ID-SEG Seuil inférieur Seuil supérieur Pas de quantification EMAX
    0 0 123 8 4
    1 124 379 16 8
    2 380 891 32 16
    3 892 1915 64 32
    4 1916 3963 128 64
    5 3964 8059 256 128
    6 8060 16251 512 256
    7 16252 32635 1024 512
  • En reprenant alors la ligne 123 du tableau 1, toutes les 16 valeurs de l'intervalle [-80, -65] sont représentées par le mot de code de 0x51 qui, une fois décodé, donne la valeur quantifiée -72. Toutefois, il convient de relever qu'inversement, en obtenant une valeur décodée -72, il est sûr que la valeur d'origine qui a été codée était dans l'intervalle [-80, -65]. On sait donc que l'amplitude maximale de l'erreur de codage pour cet échantillon est EMAX = 8, ce qui correspond à la moitié du pas de quantification.
  • Pour ce qui suit, on retiendra que l'indice final I'Mic reçu au décodeur permet de déterminer, d'une part, la valeur quantifiée VQ et, d'autre part, l'indice de segment ID-SEG à partir duquel peut être déduit le pas de quantification et, de là, l'amplitude maximale de l'erreur de codage EMAX. On notera aussi que l'indice du segment ID-SIG peut être trouvé également en fonction de la position du bit de poids le plus fort de l'amplitude du signal dans le cas d'un codage G.711 selon la loi A (tableau 2). En règle générale, on retiendra aussi qu'une spécificité du codage MIC est que l'échantillon d'origine et l'échantillon décodé ont toujours leur amplitude dans un même intervalle de quantification :
    • pour l'échantillon d'origine, à une position quelconque dans l'intervalle,
    • et pour l'échantillon décodé, systématiquement au milieu de l'intervalle.
  • En référence à nouveau à la figure 1, le signal décodé S'Mic subit ensuite un filtrage de post-traitement 16 (par exemple un débruitage ou l'application d'un post-filtre perceptuel). Le signal résultant SPOST est alors traité par un module 20 au sens de l'invention.
  • En effet, comme indiqué précédemment, le post-traitement 16 (même s'il est en général à phase linéaire pour préserver la forme d'onde) peut être trop agressif et altérer notamment l'aspect naturel d'un signal de parole. Au décodeur, on dispose néanmoins d'une information sur le signal d'origine qui peut être exploitée, au sens de la présente invention, pour limiter l'écart entre le signal décodé et post-filtré SPOST, d'une part, et le signal d'origine S, d'autre part. C'est ainsi que le module 20 (figure 1) permet, au sens de l'invention, de limiter la distorsion engendrée par le post-traitement mis en oeuvre au décodage.
  • Un exemple de réalisation possible, décrit en détail plus loin, est d'imposer que la distorsion introduite par le post-traitement 16 par rapport au signal décodé S'Mic ne puisse pas être supérieure à l'amplitude maximale de l'erreur du codage EMAX. On assure alors que le signal post-filtré reste dans le même intervalle de quantification que le signal d'origine. La distorsion globale due au traitement codage/décodage et post-traitement est limitée, et en particulier très proche de la distorsion maximale du codage EMAX. Cette mesure assure aussi que la répartition d'énergie entre échantillons successifs et la forme d'onde globale soient bien conservées.
  • Un exemple de mise en oeuvre de l'invention est illustré sur la figure 2. Sur réception d'un indice final codé I'Mic, le module 21 calcule l'échantillon décodé S'Mic par quantification inverse de l'indice I'Mic reçu. Le module 22 effectue le post-traitement susmentionné. On retiendra aussi que cette opération introduit, en général, un retard. En parallèle, on prévoit un traitement au sens de l'invention qui commence avantageusement par une ligne à retard (module 23) à laquelle on applique aussi l'indice reçu I'Mic. En particulier, le retard est réglé de sorte que l'indice retardé I'Mic_DEL soit aligné dans le temps avec l'échantillon courant que délivre la sortie SPOST du post-traitement 22.
  • Un exemple de réalisation de la ligne de retard 23 peut être le suivant. En supposant que le post-traitement 22 introduise un retard de 16 échantillons, le module 23 comporte alors, de façon avantageuse, une mémoire MEM de 16 échantillons, à registre de décalage. Par exemple, l'indice 0 de cette mémoire correspond à l'échantillon le plus ancien, alors que l'indice 15 correspond au dernier échantillon mémorisé. Ainsi, lorsqu'un nouvel indice arrive à l'entrée du module 23, les opérations suivantes sont réalisées :
    • la sortie du module 23 contentant le plus ancien échantillon mémorisé est maintenant telle que : I Mic_DEL = MEM 0 ,
      Figure imgb0001
    • on applique un décalage de mémoire : MEM(i) = MEM(i +1), pour i = 0, ... 14,
    • on mémorise le nouvel échantillon arrivé : MEM(15) = I'Mic.
  • A partir de l'indice retardé I'Mic_DEL, le module 25 détermine la valeur quantifiée QV et l'erreur maximale de codage EMAX correspondants, par exemple à partir d'une table 24 qui peut comporter des données du tableau 1 ci-avant. On a retracé sur le tableau 4 ci-après les données du tableau 1 qui peuvent être utilisées pour la détermination des paramètres QV et EMAX opérée par le module 25. Tableau 4
    Indice reçu I'Mic Valeur quantifiée QV Erreur maximale EMAX
    0x2a -32256 512
    0x2b -31232 512
    ... ... ...
    0x50 -88 8
    0x51 -72 8
    0x56 -56 8
    0x57 -40 8
    0x54 -24 8
    0x55 -8 8
    0xd5 8 8
    0xd4 24 8
    0xd7 40 8
    0xd6 56 8
    0xd1 72 8
    0xd0 88 8
    ... ... ...
    0xab 31232 512
    0xaa 32256 512
  • Ici, les informations que donne le tableau 4 évoluent en fonction de la valeur quantifiée QV pour montrer que ce tableau 4 est tiré du tableau 1 donné ci-avant. Toutefois, en pratique et comme expliqué plus loin, il est préférable d'utiliser une table 24 qui, en entrée, répertorie les indices reçus et retardés I'Mic_DEL et, en sortie, donne les paramètres QV et EMAX correspondants. Le tableau 5 ci-après contient les mêmes données que le tableau 4, mais il est rangé selon les valeurs d'indice I'Mic_DEL.
  • Le tableau 5 présente alors les paramètres respectifs QV et EMAX en fonction d'un indice I'Mic_DEL donné et peut donc constituer, pour la norme G.711-loi A, le contenu de la table 24 de la figure 2. Tableau 5
    Indice reçu et retardé I'Mic_DEL Valeur quantifiée QV Erreur maximale EMAX
    0x00 -5504 128
    0x01 -5248 128
    ... ... ...
    0x7a -1008 16
    0x7b -976 16
    0x7c -816 16
    0x7d -784 16
    0x7e -880 16
    0x7f -848 16
    0x80 5504 128
    0x81 5248 128
    0x82 6016 128
    0x83 5760 128
    0x84 4480 128
    0x85 4224 128
    ... ... ...
    0xfe 880 16
    0xff 848 16
  • Bien entendu, on pourrait, en variante, présenter à l'entrée de la ligne de retard 23 le signal S'Mic décodé (avant post-traitement) et, à partir de la valeur quantifiée VQ affectée à chaque échantillon, en déduire le paramètre EMAX correspondant. On utiliserait alors une table 24 mise en forme selon le tableau 4 donné ci-avant.
  • Toutefois, cette réalisation est moins avantageuse en particulier dans le codage selon la loi µ, dont on donne ci-après, en tableau 6, l'équivalent du tableau 1 donné pour la loi A.
  • On relèvera en effet sur le tableau 6 qu'une même valeur quantifiée QV = 0 est affectée pour des indices reçus différents : I'Mic = 0x7f et I'Mic = 0xff. Ainsi, dans le cas d'un codage selon la loi µ, lorsque le module 25 opère sur la base de l'indice reçu (et non sur la base de la valeur quantifiée), les bornes des intervalles dans lesquels pouvait se situer l'amplitude d'un échantillon d'origine peuvent être plus finement déterminées. Tableau 6
    Niveau Seuil inférieur Seuil supérieur Indice final I'Mic Valeur quantifiée QV
    0 -32768 -31613 0x00 -32124
    1 -31612 -30589 0x01 -31100
    ... ... ... ... ...
    122 -44 -37 0x7a -40
    123 -36 -29 0x7b -32
    124 -28 -21 0x7c -24
    125 -20 -13 0x7d -16
    126 -12 -5 0x7e -8
    127 -4 -1 0x7f 0
    128 0 3 0xff 0
    129 4 11 0xfe 8
    130 12 19 Oxfd 16
    131 20 27 0xfc 24
    132 28 35 0xfb 32
    133 36 43 0xfa 40
    ... ... ... ... ...
    254 30588 31611 0x81 31100
    255 31612 32767 0x80 32124
  • On a représenté alors sur le tableau 7 ci-après les données que peuvent comporter une table 24 dans un traitement du type représenté sur la figure 2, en contexte de codage selon la loi µ. Tableau 7
    Indice reçu et retardé I'Mic_DEL Valeur quantifiée QV Erreur maximale EMAX
    0x00 -32124 512
    0x01 -31100 512
    ... ... ...
    0x7a -40 4
    0x7b -32 4
    0x7c -24 4
    0x7d -16 4
    0x7e -8 4
    0x7f 0 2
    0x80 32124 512
    0x81 31100 512
    0x82 30076 512
    0x83 29052 512
    0x84 28028 512
    0x85 27004 512
    ... ... ...
    0xfe 8 4
    0xff 0 2
  • La table 24 (pouvant donc inclure les données des tableaux 5 ou 7) peut être stockée en dur dans une mémoire d'un module 20 (figure 1) au sens de l'invention. Toutefois, dans une variante de réalisation, moins coûteuse en mémoire, on calcule, directement à partir de l'indice reçu, les paramètres EMAX et QV, sans avoir recours à une table 24, comme suit.
  • En effet, l'identifiant du segment ID-SEG est codé sur trois bits dans l'indice reçu et retardé I'Mic_DEL (bits 1, 2, 3 de la figure 1). Ainsi, le module 25 peut calculer l'erreur maximale de codage EMAX liée à ce segment d'identifiant ID-SEG, à partir d'une fonction de simple correspondance entre l'identifiant ID-SEG et le paramètre EMAX, cette fonction pouvant être construite à partir :
    • de la fonction existante liant l'identifiant ID-SEG au pas de quantification
    • et de la fonction existante liant le pas de quantification à l'erreur maximale de codage EMAX,
    conformément aux tableaux 2 et 3 donnés précédemment.
  • Ensuite, le module 26 vérifie si l'écart entre l'échantillon post-traité SPOST et l'échantillon juste décodé sans post-traitement S'Mic n'excède pas la valeur du paramètre EMAX trouvée, auquel cas le post-traitement a induit des distorsions qu'il convient de limiter. Dans un exemple de réalisation, on ramène alors la valeur de l'échantillon SPOST à une valeur plus proche de la valeur quantifiée QV, de sorte que l'écart entre les valeurs SPOST et QV reste inférieure à un seuil autorisé.
  • Pour ce faire, le module 26 opère, comme suit, sur la base :
    • d'un échantillon courant post-traité SPOST,
    • de la valeur quantifiée QV de l'échantillon correspondant juste décodé sans post-traitement, et
    • de l'erreur maximale de codage EMAX trouvée avec cette valeur quantifiée QV.
  • La figure 3 détaille les opérations du module 26 de la figure 2 sous la forme d'un organigramme. Les entrées de ce module sont donc les échantillons post-traité SPOST, les valeurs quantifiées QV correspondantes et les erreurs maximales de codage EMAX correspondantes (étape 31). Aux étapes 32 et 33, on détermine les limites, respectivement inférieure LimINF et supérieure LimSUP de l'intervalle de quantification autour de la valeur quantifiée courante QV. A l'étape 34, on vérifie si l'échantillon post-traité SPOST a une amplitude inférieure à limite inférieure LimINF. Ainsi, la variable temporaire Tmp est fixée :
    • soit à la valeur d'amplitude de l'échantillon SPOST,
    • soit à celle de la limite inférieure autorisée LimINF (si l'amplitude SPOST est inférieure à la limite LimINF).
  • La même vérification est effectuée à l'étape 35, mais pour la limite supérieure LimSUP. Finalement la sortie SOUT donne :
    • soit la valeur inchangée de l'amplitude de l'échantillon SPOST (si elle était déjà dans l'intervalle délimité par les limites LimINF et LimSUP),
    • soit la limite inférieure LimINF (si l'amplitude de l'échantillon SPOST était inférieure à cette dernière LimINF),
    • ou encore la limite supérieure LimSUP (si l'amplitude de l'échantillon SPOST était supérieure à cette dernière LimSUP).
  • Ainsi le signal de sortie SOUT reste toujours dans le même intervalle de quantification que le signal d'origine S.
  • Dans cet exemple de réalisation, le signal de sortie est strictement ramené dans l'intervalle de quantification du signal d'origine, délimité par : Mic - E MAX , Mic + E MAX - 1 .
    Figure imgb0002
  • Bien entendu, on pourrait définir autrement l'intervalle dans lequel il est souhaité de conserver l'amplitude du signal de sortie par rapport à la valeur quantifiée trouvée. On peut prévoir par exemple :
    • • un intervalle du type [S'Mic - EMAX, S'Mic + EMAX], légèrement agrandi pour le rendre symétrique, ou encore
    • • un intervalle du type [S'Mic - α EMAX, S'Mic + α EMAX], où la valeur du terme α peut être supérieure à 1 pour agrandir encore l'intervalle et tolérer plus d'écart par rapport à la valeur quantifiée QV, ou encore
    • • un intervalle du type [S' Mic - f1, S' Mic + f2] déterminé par des fonctions f1 et f2 par exemple du paramètre EMAX et/ou du paramètre QV, ou autre, ou encore
    • • un intervalle du type [S' - EMAX, S' + EMAX], où S' peut être la sortie d'un décodeur quelconque, de sorte que la distorsion du post-traitement serait limitée comme s'il s'agissait d'un signal décodé par un décodeur MIC (l'identifiant de segment serait déterminé dans ce cas, en l'absence de l'indice reçu I'Mic comme dans le codage MIC de la norme G.711, simplement à partir de la position du bit de poids le plus fort de l'amplitude du signal (tableau 2)), ou encore
    • • un intervalle du type [S' - β.|S'|, S' + β.|S'|], où S' est la sortie d'un décodeur quelconque et les bornes de l'intervalle sont proportionnelles à l'amplitude du signal (par exemple avec P inférieur à 1).
  • Dans les deux derniers exemples, la distorsion du post-traitement est limitée par rapport au signal décodé, et non pas forcément par rapport au signal d'origine, selon le type de codage/décodage employé.
  • Dans l'exemple de réalisation illustré sur la figure 3, il peut être prévu une étape préalable 38, optionnelle (illustrée en traits pointillés à cet effet), pour éviter que la limitation de distorsion due au post-traitement soit appliquée de façon systématique. Dans certain cas, il est en effet avantageux d'inhiber le traitement de la figure 2.
  • Le rapport signal à bruit (noté RSB ci-après), obtenu par le codage/décodage MIC, est sensiblement constant (d'un niveau d'environ 38 dB) pour une large dynamique de signaux. Par contre, pour les faibles niveaux de signal (dans le premier segment d'identifiant 0 typiquement) le rapport RSB est faible et peut même être négatif en début de segment de la loi de compression d'amplitude. La sortie du décodeur MIC est alors très « bruyante » pour les signaux de faible amplitude (par exemple dans les cas de silence entre deux phrases d'un signal de parole). Par ailleurs, il est difficile de supprimer le bruit de codage/décodage MIC simplement avec un post-filtre, compte tenu du très faible rapport RSB. Une solution consiste souvent à modifier le post-traitement de signaux de très faible amplitude en diminuant fortement l'amplitude du signal décodé. L'amplitude du signal résultant de ce type de post-traitement n'est absolument pas fidèle, alors, à l'amplitude du signal d'origine. Dans ces conditions, il est préférable d'inhiber la limitation de distorsion due au post-traitement et les étapes 32 à 35 du traitement au sens de l'invention (figure 3) sont alors évitées.
  • Ainsi, en référence à la figure 3, pour des échantillons post-filtrés SPOST dont l'amplitude est inférieure ou égale à un seuil donné (sortie n du test 38 de comparaison avec le seuil Se), les étapes 32 à 35 ne sont pas mises en oeuvre et l'amplitude des échantillons de sortie SOUT prend directement la valeur de l'amplitude des échantillons post-filtrés SPOST (étape 37). Dans un exemple de mise en oeuvre de cette réalisation, la valeur du seuil Se est égale à 24 (dans l'échelle, bien entendu, des tableaux donnés ci-avant). En revanche, si l'amplitude des échantillons post-filtrés reste supérieure au seuil Se (sortie o du test 38), on applique le traitement visant une limitation de la distorsion (étapes 32 à 35 décrites précédemment). Ainsi, le procédé au sens de l'invention n'est finalement mis en oeuvre que pour des signaux décodés et post-traités SPOST dont l'amplitude est supérieure à la valeur seuil prédéterminée Se.
  • Bien entendu, la présente invention ne se limite pas à la forme de réalisation décrite ci-avant à titre d'exemple ; elle s'étend à d'autres variantes.
  • Par exemple, le module 20 de limitation de distorsion est représenté sur la figure 1 en aval du module 16 de post-traitement. En variante, il peut être intégré directement dans le module de post-traitement 16. D'ailleurs, cette variante peut être avantageuse notamment dans le cadre d'une utilisation de filtres récursif à réponse impulsionnelle infinie (ou IIR pour « Infinite Impulse Response » en anglais). En effet, dans le cas d'une utilisation d'un filtre IIR, l'échantillon de sortie du filtre dépend des sorties précédentes de ce filtre. Ainsi, en intégrant un module au sens de l'invention dans un post-traitement utilisant un filtrage de type IIR, la sortie du filtrage IIR peut tenir compte directement des valeurs qui ont immédiatement été modifiées par le module au sens de l'invention.
  • Par ailleurs, on a décrit ci-avant un exemple de réalisation dans lequel étaient définis des intervalles autour de la valeur décodée S' (qui peut être la valeur quantifiée QV dans le cas d'un codage/décodage à quantification scalaire du type décrit ci-avant). Toutefois, cette réalisation était décrite à titre d'exemple non limitatif. Il peut être prévu, en variante, d'affecter à l'amplitude du signal de sortie SOUT la moyenne (ou plus généralement une moyenne pondérée) entre la valeur décodée S' et la valeur d'amplitude post-traitée SPOST, tout en s'autorisant l'affectation directe de la valeur d'amplitude post-traitée SPOST si, par exemple, cette dernière SPOST est encore dans un intervalle choisi. Ainsi, en définissant des limites inférieure LimINF et supérieure LimSUP d'intervalles, ou en définissant des moyennes (éventuellement pondérées) entre la valeur décodée S' et l'amplitude post-traitée SPOST, on définit toujours une valeur intermédiaire possible que peut prendre le signal de sortie SOUT, corrigé au sens de l'invention.
  • Plus généralement, la présente invention s'applique à tout type de codage/décodage, au-delà d'un codage selon la norme G.711, et par exemple le mode de réalisation décrit en détail ci-avant peut s'appliquer notamment au cas d'un codage/décodage à quantification scalaire avec un nombre quelconque de niveaux, suivi, au décodage, d'un post-traitement à phase linéaire.
  • La présente invention vise aussi un module de traitement 20 d'un signal numérique, ce signal étant décodé par un décodeur amont 14 (figure 1) et subissant un post-traitement de réduction de bruit 16. Ce module de traitement 20 au sens de l'invention comporte alors des moyens 23, 24, 25, 26 (figure 2) pour la mise en oeuvre du procédé de limitation d'une distorsion introduite par le post-traitement. Matériellement, ce module 20 au sens de l'invention comporte typiquement, en référence à la figure 4, un processeur µP coopérant avec un bloc mémoire BM incluant une mémoire de stockage et/ou de travail, ainsi que la mémoire MEM précitée en tant que moyen pour réaliser, dans un exemple de réalisation, la ligne à retard 23 et fournir l'indice retardé I'Mic_DEL. Le bloc mémoire BM peut comporter en outre un moyen de stockage (préférentiellement en mémoire morte) de la table de correspondance 24 de la figure 2, ou encore un programme informatique pour calculer directement la valeur décodée et l'intervalle correspondant à partir de l'indice retardé I'Mic_DEL, selon le mode de réalisation retenu. Comme indiqué ci-avant, le module 20 peut être indépendant ou intégré dans un module de post-traitement de réduction de bruit.
  • Une mémoire de stockage d'un tel module 20 peut avantageusement comporter aussi un programme informatique comprenant des instructions pour la mise en oeuvre du procédé au sens de l'invention, lorsque ces instructions sont exécutées par un processeur µP du module 20. Typiquement, la figure 3 peut illustrer un organigramme représentant l'algorithme d'un tel programme informatique.

Claims (8)

  1. Procédé de traitement d'un signal numérique, issu d'un décodeur (14) et d'un post-traitement (16) de réduction de bruit,
    dans lequel :
    - un signal reçu (I' Mic ) est décodé pour délivrer un signal décodé (S'Mic),
    - le signal décodé (S'Mic) est post-traité pour délivrer un signal post-traité (SPOST),
    le procédé comportant une limitation (26) d'une distorsion introduite par le post-traitement pour délivrer un signal de sortie corrigé (SOUT), en affectant audit signal de sortie corrigé (SOUT) :
    - une amplitude courante ayant une valeur intermédiaire entre une valeur d'amplitude courante du signal post-traité (SPOST) et une valeur d'amplitude courante correspondante du signal décodé (S'Mic), si l'écart entre les valeurs d'amplitude respectives du signal post-traité (SPOST) et du signal décodé (S'Mic) est supérieur à un seuil (EMAX),
    - ou l'amplitude courante du signal post-traité (SPOST), sinon,
    selon les valeurs respectives d'amplitude courante du signal décodé (S'Mic) et du signal post-traité (SPOST),
    le procédé comportant les étapes :
    - définition (32,33) d'un intervalle d'amplitudes admises, l'intervalle comportant une borne inférieure (LimINF) et une borne supérieure (LimSUP) qui sont fonctions d'une valeur d'amplitude courante (S'Mic) du signal décodé, et
    - pour une amplitude courante correspondante du signal post-traité (SPOST), affectation (34,35) d'une valeur d'amplitude courante au signal de sortie (SOUT), égale à la valeur de :
    • la borne inférieure si l'amplitude courante du signal post-traité est inférieure à la valeur de la borne inférieure,
    • la borne supérieure si l'amplitude courante du signal post-traité est supérieure à la valeur de la borne supérieure,
    • l'amplitude courante du signal post-traité si la valeur de l'amplitude courante du signal post-traité est incluse dans ledit intervalle,
    une plage de valeurs d'amplitude étant affectée à chaque valeur possible d'amplitude du signal décodé (S'Mic), les bornes inférieure et supérieure étant choisies de sorte que la différence entre la borne supérieure et la borne inférieure soit égale à ladite plage de valeurs,
    le procédé, dans lequel le post-traitement (16) vise une réduction de bruit de quantification, le signal reçu ayant été codé par un codage à quantification scalaire, le décodeur délivrant des valeurs d'amplitude quantifiées (QV), qui varient entre elles de façon discrète, les écarts successifs entre les valeurs quantifiées définissant des pas de quantification,
    caractérisé en ce que :
    - la borne supérieure est donnée par l'addition d'un paramètre fonction du pas de quantification (EMAX) à la valeur quantifiée (QV) affectée à l'amplitude courante du signal décodé (S' Mic ), et
    - la borne inférieure est donnée par la soustraction d'un paramètre fonction du pas de quantification (EMAX) à la valeur quantifiée (QV) affectée à l'amplitude courante du signal décodé (S' Mic ).
  2. Procédé selon la revendication 1, dans lequel le signal reçu a été codé par un codage à modulation par impulsion et codage délivrant un indice codé (IMic ), caractérisé en ce que des valeurs courantes respectives des bornes inférieure et supérieure sont déterminées (25) sur la base d'un indice codé courant (I'Mic_DEL), reçu au décodeur.
  3. Procédé selon la revendication 2, caractérisé en ce que l'on prévoit une table de correspondance (24) donnant, pour un indice reçu courant (I'Mic_DEL ), une valeur quantifiée correspondante (QV) et une moitié de pas de quantification correspondant (EMAX), à partir desquelles sont déterminées (25) les valeurs courantes respectives des bornes inférieure et supérieure.
  4. Procédé selon l'une des revendications précédentes, caractérisé en ce qu'une ligne à retard (23) est prévue pour assurer une correspondance temporelle entre ladite amplitude courante du signal post-traité (SPOST) et ladite amplitude courante correspondante du signal décodé (S' Mic ).
  5. Procédé selon l'une des revendications précédentes, caractérisé en ce qu'il est mis en oeuvre pour des signaux décodés et post-traités (SPOST) dont l'amplitude est supérieure à une valeur seuil prédéterminée (Se).
  6. Module de traitement d'un signal numérique, le signal étant décodé (14) et subissant un post-traitement de réduction de bruit (16), caractérisé en ce qu'il comporte des moyens (23, 24, 25, 26) pour la mise en oeuvre du procédé selon l'une des revendications précédentes, en vue d'une limitation d'une distorsion introduite par le post-traitement.
  7. Module selon la revendication 6, caractérisé en ce qu'il est intégré dans un module (16) de post-traitement de réduction de bruit.
  8. Programme informatique destiné à être stocké dans une mémoire d'un module (20) selon l'une des revendications 6 et 7, caractérisé en ce qu'il comporte des instructions pour la mise en oeuvre du procédé selon l'une des revendications 1 à 5, lorsqu'elles sont exécutées par un processeur dudit module (20).
EP08806164A 2007-07-06 2008-07-04 Limitation de distorsion introduite par un post-traitement au decodage d'un signal numerique Active EP2162883B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0704901 2007-07-06
PCT/FR2008/051246 WO2009010672A2 (fr) 2007-07-06 2008-07-04 Limitation de distorsion introduite par un post-traitement au decodage d'un signal numerique

Publications (2)

Publication Number Publication Date
EP2162883A2 EP2162883A2 (fr) 2010-03-17
EP2162883B1 true EP2162883B1 (fr) 2012-09-05

Family

ID=39027290

Family Applications (1)

Application Number Title Priority Date Filing Date
EP08806164A Active EP2162883B1 (fr) 2007-07-06 2008-07-04 Limitation de distorsion introduite par un post-traitement au decodage d'un signal numerique

Country Status (6)

Country Link
US (1) US8571856B2 (fr)
EP (1) EP2162883B1 (fr)
JP (1) JP5179578B2 (fr)
KR (1) KR101470940B1 (fr)
CN (1) CN101816041B (fr)
WO (1) WO2009010672A2 (fr)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101730356B1 (ko) 2010-07-02 2017-04-27 돌비 인터네셔널 에이비 선택적인 베이스 포스트 필터

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005004114A1 (fr) * 2003-07-07 2005-01-13 Koninklijke Philips Electronics N.V. Systeme et procede pour le traitement des signaux audio
WO2006095736A1 (fr) * 2005-03-07 2006-09-14 Toa Corporation Appareil d'elimination du bruit

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5042069A (en) * 1989-04-18 1991-08-20 Pacific Communications Sciences, Inc. Methods and apparatus for reconstructing non-quantized adaptively transformed voice signals
JPH03116197A (ja) * 1989-09-29 1991-05-17 Matsushita Electric Ind Co Ltd 音声復号化装置
JP3071800B2 (ja) * 1990-02-23 2000-07-31 株式会社東芝 適応ポストフィルタ
US5491514A (en) * 1993-01-28 1996-02-13 Matsushita Electric Industrial Co., Ltd. Coding apparatus, decoding apparatus, coding-decoding apparatus for video signals, and optical disks conforming thereto
WO2001028092A1 (fr) * 1999-10-08 2001-04-19 Kabushiki Kaisha Kenwood Procede et dispositif d'interpolation d'un signal numerique
AU2003242921A1 (en) * 2002-07-01 2004-01-19 Koninklijke Philips Electronics N.V. Stationary spectral power dependent audio enhancement system
US20060025993A1 (en) * 2002-07-08 2006-02-02 Koninklijke Philips Electronics Audio processing
US6839010B1 (en) * 2002-12-27 2005-01-04 Zilog, Inc. Sigma-delta analog-to-digital converter with reduced quantization noise
JP4311034B2 (ja) * 2003-02-14 2009-08-12 沖電気工業株式会社 帯域復元装置及び電話機
WO2005041170A1 (fr) * 2003-10-24 2005-05-06 Nokia Corpration Postfiltrage dependant du bruit
US6950048B1 (en) * 2004-04-02 2005-09-27 Tektronix, Inc. Dither system for a quantizing device
US7787563B2 (en) * 2004-12-08 2010-08-31 Texas Instruments Incorporated Transmitter for wireless applications incorporation spectral emission shaping sigma delta modulator
US20060217970A1 (en) 2005-03-28 2006-09-28 Tellabs Operations, Inc. Method and apparatus for noise reduction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005004114A1 (fr) * 2003-07-07 2005-01-13 Koninklijke Philips Electronics N.V. Systeme et procede pour le traitement des signaux audio
WO2006095736A1 (fr) * 2005-03-07 2006-09-14 Toa Corporation Appareil d'elimination du bruit
US20090214054A1 (en) * 2005-03-07 2009-08-27 Toa Corporation Noise Eliminating Apparatus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAZUHIRO YAMATO ET AL: "Post-Processing Noise Suppressor with Adaptive Gain-Flooring for Cell-Phone Handsets and IC Recorders", CONSUMER ELECTRONICS, 2007. ICCE 2007. DIGEST OF TECHNICAL PAPERS. INT ERNATIONAL CONFERENCE ON, IEEE, PI, 1 January 2007 (2007-01-01), pages 1 - 2, XP031071497, ISBN: 978-1-4244-0762-0, DOI: DOI:10.1109/ICCE.2007.341512 *

Also Published As

Publication number Publication date
CN101816041A (zh) 2010-08-25
EP2162883A2 (fr) 2010-03-17
WO2009010672A2 (fr) 2009-01-22
KR20100042251A (ko) 2010-04-23
US8571856B2 (en) 2013-10-29
JP2010532875A (ja) 2010-10-14
KR101470940B1 (ko) 2014-12-09
US20100241427A1 (en) 2010-09-23
JP5179578B2 (ja) 2013-04-10
CN101816041B (zh) 2012-12-26
WO2009010672A3 (fr) 2009-03-05

Similar Documents

Publication Publication Date Title
EP1907812B1 (fr) Procede de commutation de debit en decodage audio scalable en debit et largeur de bande
EP0782128B1 (fr) Procédé d&#39;analyse par prédiction linéaire d&#39;un signal audiofréquence, et procédés de codage et de décodage d&#39;un signal audiofréquence en comportant application
CA2874965C (fr) Attenuation efficace de pre-echos dans un signal audionumerique
EP2153438B1 (fr) Post-traitement de reduction du bruit de quantification d&#39;un codeur, au decodage
EP1047045A2 (fr) Matériel sain etméthode de synthesisation
WO2007099244A2 (fr) Procede de limitation de gain d&#39;excitation adaptative dans un decodeur audio
FR2961980A1 (fr) Controle d&#39;une boucle de retroaction de mise en forme de bruit dans un codeur de signal audionumerique
EP2005424A2 (fr) Procede de post-traitement d&#39;un signal dans un decodeur audio
EP3192073B1 (fr) Discrimination et atténuation de pré-échos dans un signal audionumérique
EP2347411A1 (fr) Attenuation de pre-echos dans un signal audionumerique
EP2162883B1 (fr) Limitation de distorsion introduite par un post-traitement au decodage d&#39;un signal numerique
EP2652735B1 (fr) Codage perfectionne d&#39;un etage d&#39;amelioration dans un codeur hierarchique
WO2015166175A1 (fr) Correction de perte de trame perfectionnée avec information de voisement
FR2702590A1 (fr) Dispositif de codage et de décodage numériques de la parole, procédé d&#39;exploration d&#39;un dictionnaire pseudo-logarithmique de délais LTP, et procédé d&#39;analyse LTP.
EP2171713B1 (fr) Codage de signaux audionumériques
ES2394738T3 (es) Limitación de distorsión introducida por un post-tratamiento en la decodificación de una señal digital
CN115428069A (zh) 低音后置滤波器的低成本适配
WO2014199055A1 (fr) Controle du traitement d&#39;attenuation d&#39;un bruit de quantification introduit par un codage en compresssion
EP2232833A2 (fr) Traitement d&#39;erreurs binaires dans une trame binaire audionumerique
FR2987931A1 (fr) Modification des caracteristiques spectrales d&#39;un filtre de prediction lineaire d&#39;un signal audionumerique represente par ses coefficients lsf ou isf.
KR20110124528A (ko) 음성 부호화기에서의 고품질 부호화를 위한 신호 전처리 방법 및 장치

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20091229

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA MK RS

17Q First examination report despatched

Effective date: 20110315

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

DAX Request for extension of the european patent (deleted)
GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 574430

Country of ref document: AT

Kind code of ref document: T

Effective date: 20120915

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602008018599

Country of ref document: DE

Effective date: 20121025

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 574430

Country of ref document: AT

Kind code of ref document: T

Effective date: 20120905

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20120905

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120905

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120905

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121205

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120905

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120905

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120905

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2394738

Country of ref document: ES

Kind code of ref document: T3

Effective date: 20130205

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

Effective date: 20120905

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121206

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120905

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120905

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120905

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130105

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120905

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120905

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120905

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120905

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120905

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130107

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120905

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121205

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120905

26N No opposition filed

Effective date: 20130606

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602008018599

Country of ref document: DE

Effective date: 20130606

BERE Be: lapsed

Owner name: FRANCE TELECOM

Effective date: 20130731

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120905

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130731

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130731

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130731

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130704

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 8

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120905

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120905

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130704

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20080704

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 9

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 10

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 11

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20230620

Year of fee payment: 16

Ref country code: FR

Payment date: 20230621

Year of fee payment: 16

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20230620

Year of fee payment: 16

Ref country code: ES

Payment date: 20230801

Year of fee payment: 16

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20230620

Year of fee payment: 16