EP1997103B1 - Method of coding a source audio signal, corresponding coding device, decoding method and device, signal, computer program products - Google Patents

Method of coding a source audio signal, corresponding coding device, decoding method and device, signal, computer program products Download PDF

Info

Publication number
EP1997103B1
EP1997103B1 EP07731731A EP07731731A EP1997103B1 EP 1997103 B1 EP1997103 B1 EP 1997103B1 EP 07731731 A EP07731731 A EP 07731731A EP 07731731 A EP07731731 A EP 07731731A EP 1997103 B1 EP1997103 B1 EP 1997103B1
Authority
EP
European Patent Office
Prior art keywords
quantization step
representative
encoding
step profile
audio signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP07731731A
Other languages
German (de)
French (fr)
Other versions
EP1997103A1 (en
Inventor
Pierrick Philippe
Christophe Veaux
Patrice Collen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of EP1997103A1 publication Critical patent/EP1997103A1/en
Application granted granted Critical
Publication of EP1997103B1 publication Critical patent/EP1997103B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032Quantisation or dequantisation of spectral components
    • G10L19/035Scalar quantisation

Abstract

A method is provided for coding a source audio signal. The method includes the following steps: coding a quantization profile of coefficients representative of at least one transform of the source audio signal, according to at least to distinct coding techniques, delivering at least two sets of data representative of a quantization profile; selecting one of the sets of data representative of a quantization profile, as a function of a predetermined selection criterion; transmitting and/or storing the set of data representative of a selected quantization profile and an indicator representative of the corresponding coding technique.

Description

1. Domaine de l'invention1. Field of the invention

Le domaine de l'invention est celui du codage et du décodage de signaux audionumériques, tels que des signaux de musique ou de parole numérisée.The field of the invention is that of encoding and decoding digital audio signals, such as music or digitized speech signals.

Plus particulièrement, l'invention concerne la quantification des coefficients spectraux de signaux audio, en mettant en oeuvre un codage perceptif.More particularly, the invention relates to the quantization of the spectral coefficients of audio signals, by implementing a perceptual coding.

L'invention s'applique notamment, mais non exclusivement, aux systèmes mettant en oeuvre un codage hiérarchique de données audionumériques, du type du système de codage/décodage « scalable » (ou « échelonnable ») de données proposé dans le cadre du standard MPEG Audio (ISO/IEC 14496-3).The invention applies in particular, but not exclusively, to systems implementing a hierarchical encoding of digital audio data, of the type of the "scalable" (or "scalable") coding / decoding system proposed as part of the MPEG standard. Audio (ISO / IEC 14496-3).

Plus généralement, l'invention trouve des applications dans le domaine de la quantification des sons et de la musique de façon efficace, pour leur stockage, leur compression ainsi que leur transmission à travers des canaux de transmission,par exemple hertzien ou câblé.More generally, the invention finds applications in the field of sound and music quantization in an efficient manner, for storage, compression and transmission through transmission channels, for example wireless or hard-wired.

2. Solution de l'art antérieur2. Solution of the prior art 2.1 Codage perceptif avec transmission d'une courbe de masquage 2.1 Perceptual coding with transmission of a masking curve 2.1.1 compression audio et quantification2.1.1 audio compression and quantification

La compression audio est souvent basée sur certaines capacités d'audition de l'oreille humaine. Le codage et la quantification d'un signal audio prennent souvent en compte cette caractéristique. On parle de codage perceptuel, ou de codage selon un modèle psycho-acoustique de l'oreille humaine.Audio compression is often based on certain hearing abilities of the human ear. The coding and quantization of an audio signal often takes this characteristic into account. We speak of perceptual coding, or coding according to a psycho-acoustic model of the human ear.

L'oreille est notamment incapable de séparer deux composantes d'un signal émises à des fréquences proches, ainsi que dans un intervalle de temps réduit. Cette propriété est appelée masquage auditif. De plus, l'oreille présente un seuil d'audition, en ambiance calme, en dessous duquel aucun son émis ne sera perçu. Le niveau de ce seuil varie en fonction de la fréquence de l'onde sonore.In particular, the ear is unable to separate two components of a signal transmitted at close frequencies, as well as in a reduced time interval. This property is called auditory masking. In addition, the ear has a hearing threshold, in a quiet environment, below which no sound will be perceived. The level of this threshold varies according to the frequency of the sound wave.

Dans le cadre de la compression et/ou de la transmission de signaux audionumériques, on cherche à déterminer un nombre de bits de quantification à utiliser pour quantifier des coefficients spectraux composant le signal, sans introduire un bruit de quantification trop important, et ainsi nuire à la qualité du signal codé. L'objectif étant généralement de réduire le nombre de bits de quantification, de façon à obtenir une compression du signal efficace, il s'agit donc de trouver un compromis entre la qualité sonore et le niveau de compression du signal.In the context of compression and / or transmission of digital audio signals, it is sought to determine a number of quantization use to quantize spectral coefficients composing the signal, without introducing excessive quantization noise, and thus adversely affect the quality of the coded signal. The objective is generally to reduce the number of quantization bits, so as to obtain an effective compression of the signal, it is therefore a question of finding a compromise between the sound quality and the level of compression of the signal.

Dans les techniques classiques de l'état de l'art, les principes de quantification utilisent alors un seuil de masquage induit par l'oreille humaine et la propriété de masquage pour déterminer la quantité de bruit de quantification maximum qu'il est acceptable d'injecter dans le signal sans que celui-ci ne soit perçu par l'oreille lors de la restitution du signal audio, c'est-à-dire sans introduire une distorsion trop importante.In standard state-of-the-art techniques, the quantization principles then use a human ear-induced masking threshold and the masking property to determine the amount of maximum quantization noise that is acceptable to inject into the signal without it being perceived by the ear when the audio signal is restored, that is to say without introducing too much distortion.

2.1.2 Codage audio perceptif par transformée2.1.2 Perceptive audio coding by transform

Pour une description exhaustive du codage audio par transformée, on peut notamment se référer au document Jayant, Johnson and Safranek, « Signal Compression Based on Method of Human Perception », Proc. Of IEEE, Vol. 81, No. 10, PP. 1385-1422, October 1993 .For an exhaustive description of transform audio coding, it is possible to refer in particular to the document Jayant, Johnson and Safranek, "Signal Compression Based on the Method of Human Perception", Proc. Of IEEE, Vol. 81, No. 10, PP. 1385-1422, October 1993 .

Cette technique exploite le modèle de masquage fréquentiel de l'oreille illustré par la figure 1, qui présente un exemple de représentation fréquentielle d'un signal audio et le seuil de masquage de l'oreille. L'axe des abscisses 10 représente les fréquences f, en Hz, l'axe des ordonnées 11 celui de l'intensité sonore I, en dB. L'oreille décompose le spectre d'un signal x(t) en bandes critiques 120, 121, 122, 123 dans le domaine fréquentiel selon l'échelle des Barks. La bande critique 120 d'indice n du signal x(t) et d'énergie E n engendre alors un masque 13 à l'intérieur de la bande d'indice n et dans les bandes critiques voisines 122 et 123. Le seuil de masquage 13 associé est proportionnel à l'énergie E n de la composante 120 « masquante » et décroissant pour les bandes critiques d'indices inférieurs et supérieurs à n.This technique exploits the model of frequency masking of the ear illustrated by the figure 1 , which presents an example of frequency representation of an audio signal and the threshold of masking of the ear. The abscissa axis 10 represents the frequencies f, in Hz, the ordinate axis 11 that of the sound intensity I, in dB. The ear breaks down the spectrum of a signal x ( t ) into critical bands 120, 121, 122, 123 in the frequency domain according to the Barks scale. The critical band 120 of index n of the signal x (t) and energy E n then generates a mask 13 inside the band of index n and in the neighboring critical bands 122 and 123. The masking threshold 13 is proportional to the energy E n of the component 120 "masking" and decreasing for the critical bands of indices lower and greater than n .

Les composantes 122 et 123 sont masquées dans l'exemple de la figure 1. De plus, la composante 121 est elle aussi masquée puisqu'elle se situe en dessous de seuil d'audition absolu 14. On obtient alors une courbe de masquage globale, par combinaison du seuil d'audition absolu 14 et des seuils de masquage associés à chacune des composantes du signal audio x(t) analysé en bandes critiques. Cette courbe de masquage représente la densité spectrale de bruit de quantification maximum qu'il est possible de superposer au signal, lors de son codage, sans que celui-ci soit perceptible par l'oreille humaine. On met alors en forme un profil de pas de quantification, appelé aussi, par abus de langage, profil de bruit injecté, lors de la quantification des coefficients spectraux issus de la transformée en fréquence du signal audio source.Components 122 and 123 are hidden in the example of figure 1 . In addition, component 121 is also hidden because it is below Absolute hearing threshold 14. An overall masking curve is thus obtained, by combining the absolute hearing threshold 14 and the masking thresholds associated with each of the components of the audio signal x (t) analyzed in critical bands. This masking curve represents the spectral density of maximum quantization noise that can be superimposed on the signal, during its coding, without it being perceptible by the human ear. A quantization step profile, also called, by abuse of language, injected noise profile, is then shaped during the quantization of the spectral coefficients resulting from the frequency transform of the source audio signal.

La figuré 2 est un organigramme illustrant le principe d'un codeur perceptif classique. Un signal audio source x(t) temporel est transformé dans le domaine des fréquence par un bloc 20 de transformée temps-fréquence. Un spectre du signal source, composé de coefficients spectraux Xn est alors obtenu, qui est analysé par un modèle 21 psycho-acoustique, lequel a pour rôle de déterminer la courbe de masquage C globale du signal, en fonction du seuil d'audition absolu ainsi que des seuils de masquage de chaque composante spectrale du signal. La courbe de masquage obtenue permet de connaître la quantité de bruit de quantification qu'il est possible d'injecter et donc de déterminer le nombre de bits à utiliser pour quantifier les coefficients spectraux, ou échantillons. Cette étape de détermination du nombre de bits est réalisée par un bloc 22 d'allocation binaire, qui délivre un profil de pas de quantification Δ n pour chaque coefficient Xn. L'allocation binaire cherche à atteindre le débit cible en réglant les pas de quantification sous la contrainte de mise en forme donnée par la courbe de masquage C. Les pas de quantification Δ n sont codés, sous forme de facteurs d'échelle F notamment, par ce bloc 22 d'allocation binaire, pour être transmis comme information annexe dans le train binaire T.Figure 2 is a flowchart illustrating the principle of a classical perceptual coder. A time source audio signal x (t) is transformed in the frequency domain by a time-frequency transform block. A spectrum of the source signal, composed of spectral coefficients X n is then obtained, which is analyzed by a psychoacoustic model 21, whose role is to determine the overall masking curve C of the signal, as a function of the absolute hearing threshold. as well as masking thresholds of each spectral component of the signal. The masking curve obtained makes it possible to know the quantity of quantization noise that can be injected and thus to determine the number of bits to be used for quantizing the spectral coefficients, or samples. This step of determining the number of bits is performed by a binary allocation block 22, which delivers a quantization step profile Δ n for each coefficient X n . The bit allocation seeks to reach the target bit rate by adjusting the quantization steps under the shaping constraint given by the masking curve C. The quantization pitches Δ n are coded, in the form of scale factors F in particular, by this block 22 of binary allocation, to be transmitted as additional information in the bit stream T.

Un bloc 23 de quantification reçoit les coefficients spectraux Xn ainsi que les pas de quantification Δ n déterminés, et délivre alors des coefficients quantifiés n .A quantization block 23 receives the spectral coefficients X n as well as the quantization steps Δ n determined, and then delivers quantized coefficients X n .

Enfin, un bloc 24 de codage et de formation de train binaire centralise les coefficients spectraux quantifiés n et les facteurs d'échelle F, pour les coder et former ainsi un train binaire contenant les donnés utiles relatives au signal audio source codé ainsi que les données représentatives des facteurs d'échelle.Finally, a block 24 for coding and forming a bitstream centralizes the quantized spectral coefficients X n and the scale factors F, to code them and thus to form a bit stream containing the useful data relating to the coded source audio signal as well as the data representative of scale factors.

2.2 Construction hiérarchique des courbes de masquage 2.2 Hierarchical construction of masking curves

On présente ci-après les inconvénients de l'art antérieur dans le cadre d'un codage hiérarchique de données audionumériques. Cependant, l'invention s'applique à tous les types de codeurs de signaux audionumériques, mettant un oeuvre une quantification basée sur le modèle psycho-acoustique de l'oreille. Ces derniers ne sont pas nécessairement hiérarchiques.The disadvantages of the prior art are presented below in the context of a hierarchical coding of digital audio data. However, the invention applies to all types of digital audio signal coders, implementing a quantification based on the psycho-acoustic model of the ear. These are not necessarily hierarchical.

Le codage hiérarchique consiste à mettre en cascade plusieurs étages de codeurs, le premier étage générant la version codée au plus bas débit à laquelle les étages suivants apportent des améliorations successives pour des débits graduellement croissants. Dans le cas particulier du codage de signaux audio, les étages d'amélioration sont classiquement basés sur un codage perceptif par transformée tel que décrit dans la section précédente.Hierarchical coding consists in cascading several stages of coders, the first stage generating the coded version at the lowest rate at which the subsequent stages bring successive improvements for gradually increasing flows. In the particular case of coding audio signals, the improvement stages are conventionally based on transform perceptual coding as described in the previous section.

Cependant, un inconvénient du codage perceptif par transformée dans une telle approche hiérarchique réside dans le fait que les facteurs d'échelle obtenus doivent être transmis dès le premier niveau, ou niveau de base. Ils représentent alors une part importante du débit alloué au niveau bas débit, par rapport aux données utiles.However, a disadvantage of transform perceptual coding in such a hierarchical approach lies in the fact that the scale factors obtained must be transmitted from the first level, or base level. They then represent a significant part of the bit rate allocated to the low bit rate, compared to the useful data.

Pour pallier cet inconvénient, et donc économiser la transmission du profil de bruit de quantification injecté, c'est-à-dire les facteurs d'échelle, une technique de masquage dite « implicite » a été proposée par J.Li dans le document "Embedded Audio Coding (EAC) With Implicit Auditory Masking", ACM Multimedia 2002 . Une telle technique s'appuie sur la structure hiérarchique du système de codage-décodage pour estimer récursivement la courbe de masquage à chaque niveau de raffinement, en exploitant une approximation de cette courbe, s'affinant de niveau en niveau.To overcome this drawback, and thus save the transmission of the injected quantification noise profile, that is to say the scale factors, a so-called "implicit" masking technique has been proposed by J.Li in the document "Embedded Audio Coding (EAC) With Implicit Auditory Masking", ACM Multimedia 2002 . Such a technique relies on the hierarchical structure of the coding-decoding system to recursively estimate the masking curve at each refinement level, using an approximation of this curve, which is refined from level to level.

La mise à jour de la courbe de masquage est ainsi réitérée à chaque niveau hiérarchique, à partir des coefficients de la transformée quantifiés au niveau précédent.The update of the masking curve is thus repeated at each hierarchical level, from the transform coefficients quantized at the previous level.

Du fait que l'estimation de la courbe de masquage est basée sur les valeurs quantifiées des coefficients de la transformée temps-fréquence, elle peut être effectuée de façon identique au niveau du codeur et du décodeur : ceci présente l'avantage d'éviter de transmettre le profil du pas de quantification, ou bruit de quantification, au décodeur.Since the estimation of the masking curve is based on the quantized values of the coefficients of the time-frequency transform, it can be performed identically at the level of the encoder and the decoder: this has the advantage of avoiding transmit the profile of the quantization step, or quantization noise, to the decoder.

2.3 Inconvénients de la technique antérieure 2.3 Disadvantages of the prior art

Même si la technique de masquage implicite, basée sur un codage hiérarchique, permet d'éviter de transmettre la courbe de masquage, et ainsi de gagner en terme de débit par rapport au codage perceptuel classique selon lequel le profil du pas de quantification est transmis, les inventeurs ont constaté qu'elle présentait néanmoins plusieurs inconvénients.Even if the implicit masking technique, based on hierarchical coding, makes it possible to avoid transmitting the masking curve, and thus to gain in terms of bit rate compared to the conventional perceptual encoding according to which the profile of the quantization step is transmitted, the inventors have found that it nevertheless has several disadvantages.

En effet, le modèle de masquage mis en oeuvre simultanément au codeur et au décodeur est nécessairement figé, et ne peut donc pas être adapté précisément à la nature du signal. Par exemple, un facteur de masquage unique est utilisé, indépendamment du caractère tonal ou non des composantes du spectre à coder.Indeed, the masking model implemented simultaneously with the encoder and the decoder is necessarily fixed, and therefore can not be adapted precisely to the nature of the signal. For example, a single masking factor is used, regardless of the tonal character or not of the components of the spectrum to be encoded.

De plus, les courbes de masquage sont calculées sous une hypothèse de stationnarité du signal, et s'appliquent mal aux portions transitoires et aux attaques sonores.In addition, masking curves are calculated under a hypothesis of stationarity of the signal, and poorly applied to transient portions and sound attacks.

Par ailleurs, les courbes de masquage étant obtenues à chaque niveau à partir des coefficients ou des résidus de coefficients quantifiés aux niveaux précédents, la courbe de masquage des premiers niveaux est incomplète, du fait que certaines portions du spectre ne sont pas encore codées. Cette courbe incomplète ne représente pas nécessairement une forme optimale du profil du pas de quantification pour le niveau hiérarchique considéré.Moreover, since the masking curves are obtained at each level from the coefficients or coefficient residues quantized at the previous levels, the masking curve of the first levels is incomplete, since certain portions of the spectrum are not yet coded. This incomplete curve does not necessarily represent an optimal form of the profile of the quantization step for the hierarchical level considered.

3. Exposé de l'invention3. Presentation of the invention

L'invention concerne un procédé de codage d'un signal audio source, selon la revendication 1.The invention relates to a method for coding a source audio signal according to claim 1.

L'invention repose ainsi sur une approche nouvelle et inventive du codage des coefficients d'un signal audio source, permettant de réduire le débit alloué à la transmission des pas de quantification tout en gardant un profil de bruit de quantification injecté le plus proche possible de celui donné par une courbe de masquage calculée à partir de la connaissance complète du signal.The invention thus relies on a new and inventive approach to coding the coefficients of a source audio signal, making it possible to reduce the bit rate allocated to the transmission of quantization steps while keeping a quantization noise profile injected as close as possible to that given by a masking curve calculated from the complete knowledge of the signal.

L'invention propose une sélection entre différents modes possibles de calcul du profil de pas de quantification. Il peut ainsi effectuer une sélection entre plusieurs gabarits de profil de pas de quantification, ou profils de bruit injectés. Ce choix est signalé par un indicateur, par exemple une signalisation contenue dans le train binaire formé par le codeur et transmise au système de restitution du signal audio, le décodeur.The invention proposes a selection between different possible modes of calculating the quantization step profile. It can thus make a selection between several quantization step profile templates, or injected noise profiles. This choice is indicated by an indicator, for example a signal contained in the bitstream formed by the encoder and transmitted to the system for reproducing the audio signal, the decoder.

Le critère de sélection peut prendre en compte notamment l'efficacité de chaque profil de pas de quantification et le débit nécessaire pour coder l'ensemble de données correspondant.The selection criterion can take into account, in particular, the efficiency of each quantization step profile and the bit rate required to code the corresponding data set.

On réalise ainsi un compromis entre le débit nécessaire pour transporter les données représentatives du signal, et la distorsion affectant le signal.Thus, a compromise is made between the bit rate necessary to transport the data representative of the signal, and the distortion affecting the signal.

La quantification est donc optimisée, tout en minimisant le débit nécessaire à la transmission de données représentatives du profil du pas de quantification, et n'apportant pas une information directe sur le signal audio en lui-même.The quantization is optimized, while minimizing the bit rate necessary for the transmission of data representative of the profile of the quantization step, and not providing direct information on the audio signal itself.

En d'autres termes, au codeur, le choix d'un mode de quantification s'effectue par comparaison d'une courbe de masquage de référence, estimée à partir du signal audio à coder, avec les profils de bruit associés à chacun des modes de quantification.In other words, at the encoder, the choice of a quantization mode is made by comparing a reference masking curve, estimated from the audio signal to be encoded, with the noise profiles associated with each of the modes. of quantification.

Il résulte de la technique de l'invention une meilleure efficacité de compression par rapport aux techniques antérieures, et donc une qualité perçue augmentée.It results from the technique of the invention a better compression efficiency compared to prior techniques, and therefore increased perceived quality.

Pour au moins une première des techniques de codage, l'ensemble de données peut correspondre à une représentation paramétrique du profil de pas de quantification.For at least a first of the coding techniques, the data set may correspond to a parametric representation of the quantization step profile.

En d'autres termes, parmi les techniques proposées pour quantifier les coefficients d'un signal audio transformé, il est possible de représenter le profil de pas de quantification de façon paramétrique.In other words, among the proposed techniques for quantizing the coefficients of a transformed audio signal, it is possible to represent the quantization step profile parametrically.

Dans un mode de réalisation particulier, la représentation paramétrique est formée d'au moins un segment de droite, caractérisé par une pente et une valeur à l'origine.In a particular embodiment, the parametric representation is formed of at least one line segment, characterized by a slope and a value at the origin.

Une deuxième des techniques de codage peut délivrer un profil de pas de quantification constant.A second of the coding techniques can deliver a constant quantization step profile.

Ce mode de codage propose donc de coder le profil de pas de quantification en se basant sur un rapport signal à bruit (SNR), et non sur une courbe de masquage du signal.This encoding mode therefore proposes to code the quantization step profile based on a signal-to-noise ratio (SNR), and not on a signal masking curve.

Selon une troisième technique avantageuse de codage, le profil de pas de quantification correspond à un seuil d'audition absolue.According to a third advantageous coding technique, the quantization step profile corresponds to an absolute hearing threshold.

En d'autres termes, l'ensemble de données représentatives du profil de pas de quantification peut être vide et aucune donnée relative au profil de pas de quantification n'est transmise du codeur vers le décodeur. Le seuil d'audition absolue est connu du décodeur.In other words, the set of data representative of the quantization step profile may be empty and no data relating to the quantization step profile is transmitted from the encoder to the decoder. The threshold of absolute hearing is known to the decoder.

Selon une quatrième technique de codage, l'ensemble de données représentatives du profil de pas de quantification peut comprendre l'ensemble des pas de quantification mis en oeuvre.According to a fourth coding technique, the set of data representative of the quantization step profile can comprise all the quantization steps implemented.

Cette quatrième technique de codage correspond au cas où le profil de pas de quantification est déterminé en fonction de la courbe de masquage du signal, connue uniquement au codeur, et entièrement transmise au décodeur. Le débit demandé est important, mais la qualité de restitution du signal est optimale.This fourth coding technique corresponds to the case where the quantization step profile is determined as a function of the signal masking curve, known only to the encoder, and fully transmitted to the decoder. The requested bit rate is important, but the signal quality is optimal.

Selon un mode de réalisation particulier, le codage met en oeuvre un traitement hiérarchique délivrant au moins deux niveaux de codage hiérarchiques, comprenant un niveau de base et au moins un niveau de raffinement comprenant des informations de raffinement par rapport au niveau de base ou à un niveau de raffinement précédent.According to a particular embodiment, the coding implements a hierarchical processing delivering at least two hierarchical coding levels, comprising a basic level and at least one level of refinement comprising refinement information with respect to the basic level or at least one level of refinement. previous refinement level.

Dans ce cas, une cinquième technique de codage prévoit que l'ensemble de données représentatives du profil de pas de quantification s'obtient, à un niveau de raffinement donné, en tenant compte de données construites au niveau hiérarchique précédent.In this case, a fifth coding technique provides that the set of data representative of the quantization step profile is obtained, at a given level of refinement, taking into account data constructed at the previous hierarchical level.

L'invention s'applique ainsi efficacement au codage hiérarchique, et propose de coder le profil de pas de quantification selon une technique consistant à affiner celui-ci à chaque niveau hiérarchique.The invention thus effectively applies to hierarchical coding, and proposes to code the quantization step profile according to a technique of refining it at each hierarchical level.

L'étape de sélection peut être mise en oeuvre à chaque niveau de codage hiérarchique.The selection step can be implemented at each level of hierarchical coding.

Dans le cas où le procédé de codage délivre des trames de coefficients, l'étape de sélection peut être mise en oeuvre pour chacune des trames.In the case where the coding method delivers frames of coefficients, the selection step can be implemented for each of the frames.

La signalisation peut ainsi être effectuée non seulement pour chaque trame de traitement, mais, dans l'application particulière d'un codage hiérarchique des données, pour chaque niveau de raffinement.The signaling can thus be carried out not only for each processing frame, but, in the particular application of a hierarchical coding of the data, for each level of refinement.

Dans d'autres cas, le codage peut être mis en oeuvre sur des groupes de trames, de tailles prédéfinies ou variables. On peut également prévoir que le profil courant reste inchangé tant qu'un nouvel indicateur n'a pas été transmis.In other cases, the coding can be implemented on groups of frames, of predefined or variable sizes. It can also be expected that the current profile remains unchanged until a new indicator has been transmitted.

L'invention concerne par ailleurs un dispositif de codage d'un signal audio source, comprenant des moyens de mise en oeuvre d'un tel procédé.The invention also relates to a coding device for a source audio signal, comprising means for implementing such a method.

L'invention concerne encore un produit programme d'ordinateur pour la mise en oeuvre du procédé de codage tel que décrit précédemment.The invention also relates to a computer program product for implementing the coding method as described above.

L'invention concerne également un signal codé représentatif d'un signal audio source selon la revendication 10.The invention also relates to a coded signal representative of a source audio signal according to claim 10.

Un tel signal peut notamment comprendre des données relatives à au moins deux niveaux hiérarchiques obtenus par un traitement hiérarchique, comprenant un niveau de base et au moins un niveau de raffinement comprenant des informations de raffinement par rapport au niveau de base ou à un niveau de raffinement précédent, et comprend un indicateur représentatif d'une technique de codage pour chacun des niveaux.Such a signal may in particular comprise data relating to at least two hierarchical levels obtained by a hierarchical processing, comprising a basic level and at least one level of refinement comprising refinement information relative to the basic level or to a level of refinement. previous, and includes an indicator representative of a coding technique for each level.

Lorsque le signal selon l'invention est organisé en trames de coefficients successives, il peut comprendre un indicateur représentatif de la technique de codage utilisée pour chacune des trames.When the signal according to the invention is organized in frames of successive coefficients, it may comprise an indicator representative of the coding technique used for each of the frames.

L'invention concerne par ailleurs un procédé de décodage d'un tel signal, selon la revendication 14.The invention furthermore relates to a method for decoding such a signal, according to claim 14.

Un tel procédé de décodage comprend également une étape de construction d'un signal audio reconstruit, représentatif du signal audio source, en tenant compte du profil de pas de quantification reconstruit.Such a decoding method also comprises a step of constructing a reconstructed audio signal, representative of the source audio signal, taking into account the reconstructed quantization step profile.

Pour au moins une première des techniques de codage, l'ensemble de données peut correspondre à une représentation paramétrique du profil de pas de quantification, et l'étape de reconstruction délivre un profil de pas de quantification reconstruit sous la forme d'au moins un segment de droite.For at least a first of the coding techniques, the data set can correspond to a parametric representation of the quantization step profile, and the reconstruction step delivers a reconstructed quantization step profile in the form of at least one right segment.

Pour au moins une seconde des techniques de codage, l'ensemble de données peut être vide et l'étape de reconstruction délivre un profil de pas de quantification constant.For at least one second of the coding techniques, the data set may be empty and the reconstruction step delivers a constant quantization step profile.

Pour au moins une troisième des techniques de codage, l'ensemble de données peut être vide, et l'étape de reconstruction délivre un profil de pas de quantification correspondant à un seuil d'audition absolue.For at least a third of the coding techniques, the data set may be empty, and the reconstruction step outputs a quantization step profile corresponding to an absolute hearing threshold.

Pour au moins une quatrième des techniques de codage, l'ensemble de données peut comprendre l'ensemble des pas de quantification mis en oeuvre lors du procédé de codage décrit précédemment, et l'étape de construction délivre un profil de pas de quantification sous la forme d'un ensemble des pas de quantification mis en oeuvre lors du procédé de codage.For at least a fourth of the coding techniques, the data set may comprise all the quantization steps implemented during the coding method described above, and the construction step delivers a quantization step profile under the form of a set of quantization steps implemented during the coding process.

Dans un mode de réalisation particulier, le procédé de décodage peut mettre en oeuvre un traitement hiérarchique délivrant deux niveaux de décodage hiérarchiques, comprenant un niveau de base et au moins un niveau de raffinement comprenant des informations de raffinement par rapport au niveau de base ou à un niveau de raffinement précédent.In a particular embodiment, the decoding method may implement hierarchical processing delivering two hierarchical decoding levels, comprising a base level and at least one refinement level comprising refinement information with respect to the base level or a previous level of refinement.

Pour au moins une cinquième des techniques de codage, l'étape de reconstruction délivre un profil de pas de quantification obtenu, à un niveau de raffinement donné, en tenant compte de données construites au niveau hiérarchique précédent.For at least one fifth of the coding techniques, the reconstruction step delivers a quantization step profile obtained, at a level of given refinement, taking into account data built at the previous hierarchical level.

L'invention concerne également un dispositif de décodage d'un signal codé représentatif d'un signal audio source, comprenant des moyens de mise en oeuvre du procédé de décodage décrit ci-dessus.The invention also relates to a device for decoding a coded signal representative of a source audio signal, comprising means for implementing the decoding method described above.

L'invention concerne aussi un produit programme d'ordinateur pour la mise en oeuvre du procédé de décodage tel que décrit précédemment.The invention also relates to a computer program product for implementing the decoding method as described above.

4. Liste des figures4. List of figures

D'autres caractéristiques et avantages de l'invention apparaîtront plus clairement à la lecture de la description suivante d'un mode de réalisation particulier, donné à titre de simple exemple illustratif et non limitatif, et des dessins annexés, parmi lesquels :

  • la figure 1 illustre le seuil de masquage fréquentiel ;
  • la figure 2 est un organigramme simplifié du codage perceptif par transformée selon l'état de la technique ;
  • la figure 3 illustre un exemple de signal selon l'invention ;
  • la figure 4 est un organigramme simplifié du procédé de codage selon l'invention ;
  • la figure 5 est un organigramme simplifié du procédé de décodage selon l'invention ;
  • les figures 6A et 6B illustrent schématiquement un dispositif de codage et un dispositif de décodage mettant en oeuvre l'invention.
Other features and advantages of the invention will appear more clearly on reading the following description of a particular embodiment, given as a simple illustrative and nonlimiting example, and the appended drawings, among which:
  • the figure 1 illustrates the frequency masking threshold;
  • the figure 2 is a simplified flowchart of perceptual coding by transform according to the state of the art;
  • the figure 3 illustrates an example signal according to the invention;
  • the figure 4 is a simplified flowchart of the coding method according to the invention;
  • the figure 5 is a simplified flowchart of the decoding method according to the invention;
  • the Figures 6A and 6B schematically illustrate a coding device and a decoding device embodying the invention.

5. Description d'un mode de réalisation de l'invention5. Description of an embodiment of the invention 5.1 Structure du codeur 5.1 Structure of the encoder

On décrit ci-après un mode de réalisation de l'invention dans l'application particulière d'un codage hiérarchique. On rappelle que, dans ce schéma, le codage hiérarchique met en cascade des étapes de quantifications perceptives en sortie d'une transformée temps-fréquence (par exemple une MDCT pour « Modified Discrete Cosine Transform » en anglais, ou transformée en cosinus discret modifiée) du signal audio source à coder.An embodiment of the invention is described below in the particular application of a hierarchical coding. It is recalled that, in this scheme, the coding hierarchical cascading perceptive quantization steps out of a time-frequency transform (for example an MDCT for "Modified Discrete Cosine Transform" in English, or modified discrete cosine transform) of the source audio signal to be encoded.

Un codeur selon ce mode de réalisation de l'invention est décrit en relation avec la figure 4. Un signal x(t) audio source est destiné à être transformé dans le domaine des fréquences, directement ou indirectement. En effet, optionnellement, le signal x(t) peut tout d'abord être codé dans une étape de codage 40. Une telle étape est mise en oeuvre par un codeur « coeur ». Dans ce cas, cette première étape de codage correspond à un premier niveau hiérarchique de codage, c'est-à-dire le niveau de base. Un tel codeur « coeur » peut mettre en oeuvre une étape 401 de codage, et une étape 402 de décodage local. Elle délivre alors un premier train binaire 46 représentatif des données du signal audio codé au niveau de raffinement le plus faible. Différentes techniques de codage peuvent être envisagées pour obtenir le niveau bas débit, comme des codages paramétriques tels que le codage sinusoïdal décrit dans le document B. den Brinker, E.Schuijers and W.Oomen, "Parametric coding for high-quality audio", in Proc. 112nd AES Convention, Munich, Germany, 2002 ou le codage par analyse-synthèse de type CELP (pour Code-Excited Linear Prediction en anglais) décit dans le document M. Schroeder and B. Atal, "Code-excited linear prediction (CELP): high quality speech at very low bit rates", in Proc. IEEE Int. Conf. Acoust., Speech, Signal Processing, Tampa, pp. 937-940, 1985 .An encoder according to this embodiment of the invention is described in connection with the figure 4 . A source audio signal x ( t ) is intended to be transformed in the frequency domain directly or indirectly. Indeed, optionally, the signal x ( t ) may first be coded in a coding step 40. Such a step is implemented by a "core" coder. In this case, this first coding step corresponds to a first hierarchical level of coding, that is to say the basic level. Such a "core" coder can implement a coding step 401, and a local decoding step 402. It then delivers a first bitstream 46 representative of the data of the coded audio signal at the lowest level of refinement. Different coding techniques can be envisaged to obtain the low bit rate, such as parametric coding such as the sinusoidal coding described in the document. B. den Brinker, E. Schuijers and W. Oomen, "Parametric coding for high-quality audio", in Proc. 112nd AES Convention, Munich, Germany, 2002 or coding by analysis-synthesis type CELP (for Code-Excited Linear Prediction in English) decit in the document M. Schroeder and B. Atal, "Code-excited linear prediction (CELP): High quality speech at very low bit rates", in Proc. IEEE Int. Conf. Acoust., Speech, Signal Processing, Tampa, pp. 937-940, 1985 .

Une soustraction 403 est effectuée entre les échantillons décodés par le décodeur local 402 et les valeurs réelles de x(t), de façon à obtenir un signal de résidu r(t) dans le domaine temporel.A subtraction 403 is performed between the decoded samples by the local decoder 402 and the actual values of x ( t ), so as to obtain a time domain residue signal r ( t ).

C'est alors ce signal de résidu en sortie du codeur bas-débit 40 (ou codeur « coeur ») qui est transformé de l'espace temps vers l'espace des fréquences à l'étape 41. On obtient des coefficients spectraux R k 1 ,

Figure imgb0001
dans le domaine fréquentiel, représentatifs des résidus délivrés par le codeur « coeur » 40, pour chaque bande critique d'indice k et pour le premier niveau hiérarchique.It is then this residual signal at the output of the low-rate encoder 40 (or "core" encoder) that is transformed from the time space to the frequency space in step 41. Spectral coefficients are obtained R k 1 ,
Figure imgb0001
in the frequency domain, representative of the residues delivered by the "core" coder 40, for each critical band of index k and for the first hierarchical level.

L'étage 42 de niveau de codage suivant contient une étape 421 de codage des résidus R k 1 ,

Figure imgb0002
associée à une mise en oeuvre 422 d'un modèle psycho-acoustique, chargé de déterminer une première courbe de masquage pour le premier niveau de raffinement. On obtient alors en sortie de l'étape 421 de codage des coefficients de résidus quantifiés R ^ k 1 ,
Figure imgb0003
lesquels sont soustraits (423) aux coefficients R k 1
Figure imgb0004
d'origine issus de l'étape 40 de codage « coeur». De nouveaux coefficients R k 2
Figure imgb0005
sont obtenus, qui sont eux-mêmes quantifiés et codés à l'étape 431 de codage du niveau 43 suivant. Là encore, un modèle 432 psycho-acoustique est mis en oeuvre et met à jour le seuil de masquage en fonction des coefficients R ^ k 1
Figure imgb0006
de résidus quantifiés précédemment.The next coding level stage 42 contains a residue coding step 421 R k 1 ,
Figure imgb0002
associated with an implementation 422 of a psychoacoustic model, responsible for determining a first masking curve for the first level of refinement. At the output of the coding step 421, quantized residual coefficients are thus obtained. R ^ k 1 ,
Figure imgb0003
which are subtracted (423) from the coefficients R k 1
Figure imgb0004
origin from step 40 coding "heart". New coefficients R k 2
Figure imgb0005
are obtained, which are themselves quantized and coded at the next level 431 encoding step 431. Here again, a psychoacoustic model 432 is implemented and updates the masking threshold as a function of the coefficients. R ^ k 1
Figure imgb0006
previously quantified residues.

En résumé, l'étape 40 de codage de base (codeur « coeur ») permet la transmission et le décodage, dans un terminal, d'une version bas débit du signal audio. Les étages successifs 42, 43 de quantification des résidus dans le domaine transformé constituent des couches d'amélioration, permettant de construire un train binaire hiérarchique depuis le niveau bas débit jusqu'à un débit maximum souhaité.In summary, the basic coding step 40 ("core" coder) allows the transmission and decoding, in a terminal, of a low bit rate version of the audio signal. The successive stages 42, 43 of quantization of the residues in the transformed domain constitute improvement layers, making it possible to construct a hierarchical bit stream from the low rate level to a desired maximum rate.

Selon l'invention, comme illustré par la figure 4, un indicateur ψ(1), ψ(2) est associé à chaque modèle psycho-acoustique 422, 432 de chaque niveau de codage, pour chacun des étages de quantification. La valeur de cet indicateur est spécifique à chaque étage et contrôle le mode de calcul du profil du pas de quantification. Elle est placée en en-tête 441 et 451 des trames de coefficients spectraux quantifiés 442, 452 dans les trains binaires 44, 45 associés et formés à chaque niveau de codage 42, 43 amélioré.According to the invention, as illustrated by figure 4 an indicator ψ (1) , ψ (2) is associated with each psychoacoustic model 422, 432 of each coding level, for each of the quantization stages. The value of this indicator is specific to each stage and controls the calculation mode of the quantization step profile. It is placed in the header 441 and 451 quantized spectral coefficient frames 442, 452 in the bitstreams 44, 45 associated and formed at each coding level 42, 43 improved.

Un exemple de structure d'un signal obtenu selon cette technique de codage est illustré par la figure 3. Le signal est organisé en blocs ou en trames de données 31 comprenant chacun un en-tête 32 et un champ de données 33. Un bloc correspond par exemple aux données (contenues dans le champ 33) d'un niveau hiérarchique pour un intervalle de temps prédéterminé. L'en-tête 32 peut comprendre plusieurs informations de signalisation, d'aide au décodage... Elle comprend au moins, selon l'invention, l'information Ψ.An example structure of a signal obtained according to this coding technique is illustrated by the figure 3 . The signal is organized into blocks or frames of data 31 each comprising a header 32 and a data field 33. A block corresponds for example to the data (contained in the field 33) of a hierarchical level for a time interval predetermined. The header 32 may include several signaling information, decoding assistance ... It comprises at least, according to the invention, the information Ψ.

5.2 Structure du décodeur 5.2 Structure of the decoder

En relation avec la figure 5, on décrit le procédé de décodage mis en oeuvre selon l'invention, dans le cas d'un décodage hiérarchique du signal de la figure 3.In relation to the figure 5 , the decoding method implemented according to the invention is described, in the case of a hierarchical decoding of the signal of the figure 3 .

De façon similaire au procédé de codage présenté en relation avec la figure 4, le décodage comprend plusieurs niveaux 50, 51, 52 de raffinement de décodage.Similar to the coding method presented in connection with the figure 4 , the decoding comprises several levels 50, 51, 52 of decoding refinement.

Une première étape 501 de décodage reçoit un train binaire 53 contenant les données 530 représentatives de l'indicateur ψ(1) du premier niveau, déterminé lors de la première étape de codage et transmis au décodeur. Le train binaire contient de plus les données 531 représentatives des coefficients spectraux du signal audio.A first decoding step 501 receives a bit stream 53 containing the data 530 representative of the indicator ψ (1) of the first level, determined during the first coding step and transmitted to the decoder. The bitstream further contains the data 531 representative of the spectral coefficients of the audio signal.

Selon les coefficients quantifiés, ou les résidus de coefficients quantifiés, et la valeur de ψ(1) reçu, un modèle psycho-acoustique est mis en oeuvre dans une première étape 502, pour déterminer une première estimation de la courbe de masquage, et ainsi un profil de pas de quantification qui est utilisé pour traiter les résidus des coefficients spectraux dont dispose le décodeur à ce stade du procédé de décodage.According to the quantized coefficients, or the quantized coefficient residues, and the value of ψ (1) received, a psychoacoustic model is implemented in a first step 502, to determine a first estimate of the masking curve, and thus a quantization step profile that is used to process the residuals of the spectral coefficients available to the decoder at this stage of the decoding process.

Les résidus de coefficients spectraux obtenus R ^ k 1

Figure imgb0007
pour chaque bande critique d'indice k permettent une mise à jour du modèle psycho-acoustique au niveau 51 suivant, dans une étape 512, qui affine alors la courbe de masquage et donc le profil des pas de quantification. Ce raffinement prend donc en compte la valeur de l'indicateur ψ(2) pour le niveau 2, contenu en en-tête 540 du train binaire 54 transmis par le codeur correspondant, les résidus quantifiés au niveau précédent ainsi que des données 541 quantifiées relatives aux résidus de niveau 2, comprises dans le train binaire 54.Spectral coefficient residues obtained R ^ k 1
Figure imgb0007
for each critical band of index k allow an update of the psycho-acoustic model at the next level 51, in a step 512, which then refines the masking curve and thus the profile of the quantization steps. This refinement therefore takes into account the value of the indicator ψ (2) for the level 2, contained in the header 540 of the bit stream 54 transmitted by the corresponding coder, the residues quantized at the previous level as well as the quantized data 541 relating to level 2 residues included in bit stream 54.

Les résidus R ^ k 2

Figure imgb0008
quantifiés sont obtenus en sortie du second niveau 51 de décodage. Ils sont additionnés (56) aux résidus R ^ k 1
Figure imgb0009
du niveau précédent, mais aussi injectés au niveau 52 suivant, qui, de façon similaire, affinera la précision sur les coefficients spectraux ainsi que sur le profil des pas de quantification, à partir d'une étape 521 de décodage, et de la mise en oeuvre d'un modèle psycho-acoustique dans une étape 522. Ce niveau reçoit de plus un train binaire 55· envoyé par le codeur contenant la valeur de l'indicateur 55 ψ(3) et le spectre quantifié 551.Residues R ^ k 2
Figure imgb0008
quantized are obtained at the output of the second decoding level 51. They are added (56) to the residues R ^ k 1
Figure imgb0009
of the previous level, but also injected at the next level 52, which similarly will fine-tune the accuracy of the spectral coefficients as well as the profile of the quantization steps, from a decoding step 521, and the implementation of a psychoacoustic model in a step 522. This level further receives a bit stream 55 · sent by the encoder containing the value of the indicator 55 ψ (3) and the quantified spectrum 551.

Les résidus R ^ k 3

Figure imgb0010
quantifiés obtenus sont additionnés aux résidus R ^ k 2 ,
Figure imgb0011
et ainsi de suite.Residues R ^ k 3
Figure imgb0010
quantified data are added to the residuals R ^ k 2 ,
Figure imgb0011
And so on.

En résumé, le modèle psycho-acoustique est mis à jour au fur et à mesure du décodage des coefficients par les niveaux de raffinement successifs. La lecture de l'indicateur Ψ transmis par le codeur permet alors de reconstruire le profil de bruit (ou de quantification) par chaque étage de quantification.In summary, the psychoacoustic model is updated as the coefficients are decoded by the successive refinement levels. Reading the indicator Ψ transmitted by the encoder then makes it possible to reconstruct the noise profile (or quantization) by each quantization stage.

On décrit ci-après en détail les étapes de mise à jour du modèle psycho-acoustique, et de quantification des coefficients spectraux, communes au procédé de codage et au procédé de décodage, selon un mode de réalisation particulier. L'étape de détermination de la valeur de l'indicateur ψ, réalisée au codage est ensuite détaillée, suivie de l'étape de reconstruction des pas de quantification au niveau du décodeur.The steps of updating the psychoacoustic model and quantifying the spectral coefficients common to the coding method and to the decoding method according to a particular embodiment are described below in detail. The step of determining the value of the indicator ψ, carried out at the coding, is then detailed, followed by the step of reconstructing the quantization steps at the decoder.

5.3 Mise à jour du modèle psycho-acoustique 5.3 Update of the psychoacoustic model

On rappelle qu'un modèle psycho-acoustique prend en compte les sous-bandes dans lesquelles l'oreille décompose un signal audio et détermine ainsi des seuils de masquage en utilisant les informations psycho-acoustiques. Ces seuils sont utilisés pour déterminer le pas de quantification des coefficients spectraux.It is recalled that a psycho-acoustic model takes into account the sub-bands in which the ear breaks down an audio signal and thus determines masking thresholds by using psychoacoustic information. These thresholds are used to determine the quantization step of the spectral coefficients.

Dans le cadre de la présente invention, l'étape (mise en oeuvre dans les étapes 422, 432 du procédé de codage et dans les étapes 502, 512, 522 du procédé de décodage) de mise à jour de la courbe de masquage par le modèle psycho-acoustique demeure inchangée quelle que soit la valeur de l'indicateur ψ sur le choix du profil du pas de quantification.In the context of the present invention, the step (implementation in steps 422, 432 of the coding method and in the steps 502, 512, 522 of the decoding method) of updating the masking curve by the psycho-acoustic model remains unchanged regardless of the value of the indicator ψ on the choice of the profile of the quantization step.

En revanche, c'est la façon dont est employée cette courbe de masquage mise à jour par le modèle psycho-acoustique qui est conditionnée par la valeur de l'indication Ψ pour définir le profil du pas de quantification mis en oeuvre pour quantifier les coefficients spectraux (ou les coefficients résiduels déterminés à un niveau de raffinement précédent).On the other hand, it is the way in which this masking curve updated by the psychoacoustic model is used which is conditioned by the value of the indication Ψ to define the profile of the quantization step implemented for quantify the spectral coefficients (or residual coefficients determined at a previous refinement level).

Le modèle psycho-acoustique utilise à chaque niveau de quantification (dans l'application particulière d'un système de codage-décodage hiérarchique) d'indice l, le spectre estimé X ^ k l

Figure imgb0012
d'un signal audio x(t), où k représente l'indice fréquentiel de la transformée temps-fréquence. Ce spectre est initialisé au premier niveau de raffinement de quantification, par les données disponibles en sortie de l'étape de codage mise en oeuvre par le codeur coeur. Aux niveaux de quantification suivants, le spectre X ^ k l
Figure imgb0013
est actualisé à partir des coefficients résiduels R ^ k l - 1
Figure imgb0014
quantifiés en sortie du niveau de raffinement précédent selon la formule suivante : X ^ k l = X ^ k l - 1 + R ^ k l - 1 ,
Figure imgb0015
avec k = 0,...,N - 1, où N est la taille de la transformée dans le domaine fréquentiel.The psychoacoustic model uses at each quantization level (in the particular application of a hierarchical coding-decoding system) index 1 , the estimated spectrum X ^ k l
Figure imgb0012
an audio signal x ( t ), where k represents the frequency index of the time-frequency transform. This spectrum is initialized at the first level of quantization refinement, by the data available at the output of the coding step implemented by the core coder. At the following quantification levels, the spectrum X ^ k l
Figure imgb0013
is updated from the residual coefficients R ^ k l - 1
Figure imgb0014
quantized at the output of the preceding refinement level according to the following formula: X ^ k l = X ^ k l - 1 + R ^ k l - 1 ,
Figure imgb0015
with k = 0, ..., N - 1, where N is the size of the transform in the frequency domain.

Par convolution du spectre X ^ k l

Figure imgb0016
avec le motif de masquage obtenu par le modèle psycho-acoustique, on peut construire un seuil de masquage associé au signal x(t).By convolution of the spectrum X ^ k l
Figure imgb0016
with the masking pattern obtained by the psycho-acoustic model, we can build a masking threshold associated with the signal x ( t ).

La courbe de masquage M ^ k l

Figure imgb0017
estimée à l'étage de quantification d'indice l s'obtient alors comme le maximum entre le seuil de masquage associé au signal x(t) et la courbe d'audition absolue.The masking curve M ^ k l
Figure imgb0017
estimated at the index quantization stage l is then obtained as the maximum between the masking threshold associated with the signal x ( t ) and the absolute auditory curve.

Par ailleurs, les procédés de codage et de décodage comprennent chacun une étape d'initialisation Init du modèle psycho-acoustique lors de sa première mise en oeuvre (étape 422 du procédé de codage et étape 502 du procédé de décodage), à partir des données transmises par le codeur coeur.Moreover, the coding and decoding methods each comprise an initialization step Init of the psycho-acoustic model during its first implementation (step 422 of the coding method and step 502 of the decoding method), from the data transmitted by the heart coder.

Plusieurs scénarios sont envisageables selon le type de codeur « coeur» mis en oeuvre, dont quelques exemples sont décrits en annexe.Several scenarios are possible according to the type of "core" encoder implemented, some examples of which are described in the appendix.

5.4 Quantification des coefficients spectraux 5.4 Quantification of the spectral coefficients

Avant de décrire précisément une technique de détermination de la meilleure valeur de l'indicateur Ψ qui conditionne le choix du profil de pas de quantification, on détaille en premier lieu la façon dont est calculé le nombre de bits à allouer pour quantifier chaque coefficient spectral du signal audio, c'est-à-dire une fois que le profil du pas de quantification est connu.Before describing precisely a technique for determining the best value of the indicator Ψ which determines the choice of the quantization step profile, we first detail the way in which the number of bits to be allocated is calculated in order to quantify each spectral coefficient of the quantization step. audio signal, that is to say once the profile of the quantization step is known.

5.4.1 Allocation binaire5.4.1 Binary allocation

On se place ici dans le cas général d'une loi de quantification Q, qui peut par exemple correspondre à l'arrondi à l'entier le plus proche. Les valeurs quantifiées R ^ k l

Figure imgb0018
des coefficients résiduels R k l
Figure imgb0019
en entrée de l'étage de quantification d'indice l s'obtiennent à partir du profil de pas de quantification, noté Δ n l
Figure imgb0020
selon les équations suivantes : rq k l = Q g l R k l Δ n l pour kOffset n k kOffset n + 1
Figure imgb0021
et R ^ k l = Δ n l g l Q - 1 rq k l pour kOffset n k kOffset n + 1
Figure imgb0022
rq k l
Figure imgb0023
sont des coefficients à valeurs entières et kOffset(n) désigne l'indice fréquentiel initial de la bande critique d'indice n.We are here in the general case of a quantization law Q, which may for example correspond to the rounding to the nearest integer. Quantified values R ^ k l
Figure imgb0018
residual coefficients R k l
Figure imgb0019
at the input of the quantization stage of index l are obtained from the quantization step profile, noted Δ not l
Figure imgb0020
according to the following equations: rq k l = Q boy Wut l R k l Δ not l for kOffset not k kOffset not + 1
Figure imgb0021
and R ^ k l = Δ not l boy Wut l Q - 1 rq k l for kOffset not k kOffset not + 1
Figure imgb0022
or rq k l
Figure imgb0023
are integer coefficients and kOffset ( n ) denotes the initial frequency index of the critical band of index n .

Le coefficient gl correspond quant à lui à un gain constant permettant d'ajuster le niveau du bruit de quantification injecté parallèlement au profil donné par Δ n l .

Figure imgb0024
The coefficient g l corresponds to a constant gain making it possible to adjust the level of the quantization noise injected parallel to the profile given by Δ not l .
Figure imgb0024

Selon une première approche, ce gain gl est déterminé par une boucle d'allocation afin d'atteindre un débit cible assigné à chaque niveau de quantification d'indice l. Il est alors transmis au décodeur dans le train binaire en sortie de l'étage de quantification.According to a first approach, this gain g l is determined by an allocation loop in order to reach a target bit rate assigned to each quantization level of index l . It is then transmitted to the decoder in the bitstream at the output of the quantization stage.

Selon une seconde approche, le gain gl est fonction du seul niveau de raffinement d'indice l et cette fonction est connue du décodeur.According to a second approach, the gain g l is a function of the single index refinement level l and this function is known to the decoder.

5.4.2 Profils de pas de quantification5.4.2 Quantization step profiles

Les procédés de codage et de décodage selon l'invention proposent alors de déterminer un profil Δ n l

Figure imgb0025
de pas de quantification à partir d'un choix entre plusieurs techniques de codage, ou modes de calculs de ce profil. La sélection est indiquée par la valeur de l'indicateur ψ, transmis dans le train binaire. Selon la valeur de cet indicateur, le profil du pas de quantification est soit totalement transmis, soit partiellement, soit pas du tout. Dans ce dernier cas, le profil du pas de quantification est estimé au niveau du décodeur.The coding and decoding methods according to the invention then propose to determine a profile Δ not l
Figure imgb0025
no quantization from a choice between several coding techniques, or modes of calculation of this profile. The selection is indicated by the value of the indicator ψ transmitted in the bit stream. Depending on the value of this indicator, the quantization step profile is either fully transmitted, partially, or not at all. In the latter case, the profile of the quantization step is estimated at the decoder.

Le profil Δ n l

Figure imgb0026
de pas de quantification utilisé par l'étage de quantification d'indice l est calculé à partir de la courbe de masquage disponible à cet étage et de l'indicateur ψ(l) en entrée.The profile Δ not l
Figure imgb0026
The quantization step used by the index quantization stage 1 is calculated from the masking curve available at this stage and from the input indicator ψ ( 1 ) .

Dans un mode de réalisation particulier, l'indicateur ψ(l) est codé sur 3 bits, pour indiquer cinq techniques de codage différentes du profil du pas de quantification.In a particular embodiment, the indicator ψ ( 1 ) is coded on 3 bits, to indicate five coding techniques different from the profile of the quantization step.

Pour une valeur de l'indicateur ψ(l) = 0 , la courbe de masquage estimée par le modèle psycho-acoustique n'est pas utilisée et le profil des pas de quantification est uniforme selon la formule Δ n l = cte .

Figure imgb0027
On dit qu'on quantifie au sens du rapport signal sur bruit (SNR).For a value of the indicator ψ ( l ) = 0, the masking curve estimated by the psychoacoustic model is not used and the profile of the quantization steps is uniform according to the formula Δ not l = coast .
Figure imgb0027
We say that we quantify in the sense of the signal-to-noise ratio (SNR).

Pour une valeur de l'indicateur ψ(l) = 1, le profil de pas de quantification est défini uniquement à partir du seuil d'audition absolue selon l'équation Δ n l = k = kOffset n kOffset n + 1 - 1 Q k ,

Figure imgb0028
Qk désigne le seuil d'audition absolu.For a value of the indicator ψ ( l ) = 1, the quantization step profile is defined only from the absolute hearing threshold according to the equation Δ not l = Σ k = kOffset not kOffset not + 1 - 1 Q k ,
Figure imgb0028
where Q k denotes the absolute hearing threshold.

Dans ce cas de figure, le codeur ne transmet au décodeur aucune information relative au pas de quantification.In this case, the encoder transmits to the decoder no information relating to the quantization step.

Pour une valeur de l'indicateur ψ(l) = 2, c'est la courbe de masquage M ^ k l

Figure imgb0029
estimée par le modèle psycho-acoustique à l'étage d'indice l qui est utilisée pour définir le profil des pas de quantification selon l'équation Δ n l = k = kOffset n kOffset n + 1 - 1 M ^ k l .
Figure imgb0030
On note que ce mode n'est possible que dans l'application particulière où une construction hiérarchique de la courbe de masquage est mise en oeuvre dans le système de codage-décodage du signal audio.For a value of the indicator ψ ( l ) = 2, it is the masking curve M ^ k l
Figure imgb0029
estimated by the psycho-acoustic model at the index stage l which is used to define the profile of the quantization steps according to the equation Δ not l = Σ k = kOffset not kOffset not + 1 - 1 M ^ k l .
Figure imgb0030
Note that this mode is only possible in the particular application where a hierarchical construction of the masking curve is implemented in the encoding-decoding system of the audio signal.

Pour une valeur de l'indicateur ψ(l) = 3, le profil des pas de quantification est alors défini à partir d'un prototype de courbe paramétrable et connu au décodeur. Selon une application particulière, mais non exclusive, ce protoype est une droite affine, en dB pour chaque bande critique d'indice n, de pente α. On note Dn (α), avec : log2 (Dn (α)) = αn + K,K est une constante.For a value of the indicator ψ ( l ) = 3, the profile of the quantization steps is then defined from a prototype of a parameterizable curve known to the decoder. According to a particular application, but not exclusively, this protoype is an affine straight line, in dB for each critical band of index n , of slope α. We denote D n (α), with: log 2 ( D n (α)) = α n + K, where K is a constant.

La valeur de la pente α est choisie par corrélation avec la courbe de masquage de référence, calculée au codeur à partir d'une analyse spectrale du signal à coder. Sa valeur quantifiée α̂ est alors transmise au décodeur et utilisée pour définir le profil des pas de quantification selon la formule : Δ n l = D n α ^ .

Figure imgb0031
The value of the slope α is chosen by correlation with the reference masking curve, calculated at the encoder from a spectral analysis of the signal to be coded. Its quantified value α is then transmitted to the decoder and used to define the profile of the quantization steps according to the formula: Δ not l = D not α ^ .
Figure imgb0031

Enfin, pour une valeur de l'indicateur ψ(l) = 4 , le profil des pas de quantification Δ n l

Figure imgb0032
déterminé à l'étape de codage est entièrement transmis au décodeur. Les pas de quantification sont par exemple définis à partir de la courbe de masquage de référence Mk calculée au codeur à partir du signal audio source à coder. On a alors : Δ n l = k = kOffset n kOffset n + 1 - 1 M k .
Figure imgb0033
Finally, for a value of the indicator ψ ( l ) = 4, the profile of the quantization steps Δ not l
Figure imgb0032
determined at the coding step is fully transmitted to the decoder. The quantization steps are for example defined from the reference masking curve M k calculated at the encoder from the source audio signal to be encoded. We then have: Δ not l = Σ k = kOffset not kOffset not + 1 - 1 M k .
Figure imgb0033

5.5 Détermination de la valeur de l'indicateur ψ5.5 Determination of the value of the indicator ψ

L'invention propose une technique particulière pour choisir judicieusement la valeur de l'indicateur ψ, et donc le profil de pas de quantification à appliquer pour coder et décoder un signal audio. Ce choix s'effectue à l'étape de codage, pour chaque niveau de quantification (dans le cas d'un codage hiérarchique) d'indice l.The invention proposes a particular technique for judiciously choosing the value of the indicator ψ, and therefore the quantization step profile to be applied for coding and decoding an audio signal. This choice is made at the coding step, for each quantization level (in the case of a hierarchical coding) of index l .

En effet, on sait qu'à un étage de quantification donné, le profil de pas de quantification optimal vis-à-vis de la distorsion perçue entre le signal à coder et le signal reconstruit est obtenu à partir du calcul de la courbe de masquage de référence, basée sur le modèle psycho-acoustique et donné par la formule : Δ n l = k = kOffset n kOffset n + 1 - 1 M k l .

Figure imgb0034
Le choix d'une valeur de l'indicateur ψ consiste à trouver le meilleur compromis entre l'optimalité du profil de pas de quantification, vis-à-vis de la distorsion perçue, et la minimisation du débit alloué à la transmission du profil des pas de quantification.Indeed, it is known that at a given quantization stage, the optimal quantization pitch profile with respect to the perceived distortion between the signal to be encoded and the reconstructed signal is obtained from the calculation of the masking curve. reference, based on the psycho-acoustic model and given by the formula: Δ not l = Σ k = kOffset not kOffset not + 1 - 1 M k l .
Figure imgb0034
The choice of a value of the indicator ψ consists of finding the best compromise between the optimality of the quantization step profile, with respect to the perceived distortion, and the minimization of the bit rate allocated to the transmission of the profile of the no quantification.

Une fonction de coût est introduite, pour obtenir un tel compromis : C ψ = d Δ n l ψ , Δ n l ψ = 4 + θ ψ avec ψ = 0 , 1 , 2 , 3 , 4.

Figure imgb0035
A cost function is introduced, to obtain such a compromise: VS ψ = d Δ not l ψ , Δ not l ψ = 4 + θ ψ with ψ = 0 , 1 , 2 , 3 , 4.
Figure imgb0035

Cette fonction permet de prendre en compte l'efficacité de chacune des techniques de codage du profil du pas de quantification.This function makes it possible to take into account the efficiency of each of the coding techniques of the quantization step profile.

Le premier terme d Δ n l ψ , Δ n l ψ = 4

Figure imgb0036
est une mesure de distance entre le profil de pas de quantification associé à chacune des valeurs de l'indicateur ψ(ψ = 0,1,2,3,4) considérées et le profil optimal (associé à la valeur de l'indicateur Ψ = 4, correspondant à la transmission de la courbe de masquage de référence). Cette distance peut se mesurer comme le surcoût, en bits, associé à l'utilisation d'un profil de masquage « sous optimal ». Cette fonction coût est calculée selon la formule : d Δ n l ψ , Δ n l ψ = 4 = n log 2 Δ n l ψ - log 2 Δ n l ψ = 4 - log 2 G 1 G 2
Figure imgb0037
avec : G 1 = n Δ n l ψ
Figure imgb0038
et G 2 = n Δ n l ψ = 4 .
Figure imgb0039
The first term d Δ not l ψ , Δ not l ψ = 4
Figure imgb0036
is a measure of the distance between the quantization step profile associated with each of the values of the indicator ψ (ψ = 0,1,2,3,4) considered and the optimal profile (associated with the value of the indicator Ψ = 4, corresponding to the transmission of the reference masking curve). This distance can be measured as the additional cost, in bits, associated with the use of a "suboptimal" masking profile. This cost function is calculated according to the formula: d Δ not l ψ , Δ not l ψ = 4 = Σ not log 2 Δ not l ψ - log 2 Δ not l ψ = 4 - log 2 BOY WUT 1 BOY WUT 2
Figure imgb0037
with: BOY WUT 1 = Σ not Δ not l ψ
Figure imgb0038
and BOY WUT 2 = Σ not Δ not l ψ = 4 .
Figure imgb0039

Le rapport des gains G 1 et G 2 permet de normaliser les profils de pas de quantification l'un par rapport à l'autre.The ratio of the gains G 1 and G 2 makes it possible to standardize the profiles of the quantization step with respect to each other.

Le second terme θ(ψ) représente le surcoût en bits associé à la transmission du profil Δ n l ψ

Figure imgb0040
des pas de quantification. En d'autres termes, il représente le nombre de bits additionnels (hormis ceux codant l'indicateur Ψ) devant être transmis au décodeur pour permettre la reconstruction des pas de quantification. Soit :

  • θ(ψ) est nul pour ψ = 0,1,2 (correspondant respectivement aux techniques de codage de quantification constante, de seuil d'audition absolu et de courbe de masquage ré estimée lors de l'étape de décodage) ;
  • θ(ψ) représente le nombre de bits codant α̂ lorsque ψ = 3 (correspondant à la technique de codage paramétrique du profil de pas de quantification) ;
  • θ(ψ) est le nombre de bits codant les pas de quantification Δ n l
    Figure imgb0041
    définis à partir de la courbe de référence, lorsque ψ = 4 (correspondant à la transmission complète des pas de quantification du codeur vers le décodeur).
The second term θ (ψ) represents the additional cost in bits associated with the transmission of the profile Δ not l ψ
Figure imgb0040
quantization steps. In other words, it represents the number of additional bits (except those encoding the indicator Ψ) to be transmitted to the decoder to allow the reconstruction of quantization steps. Is :
  • θ (ψ) is zero for ψ = 0,1,2 (corresponding respectively to the constant quantization, absolute hearing threshold and masking curve re estimation techniques during the decoding step);
  • θ (ψ) represents the number of bits encoding α when ψ = 3 (corresponding to the parametric coding technique of the quantization step profile);
  • θ (ψ) is the number of bits coding the quantization steps Δ not l
    Figure imgb0041
    defined from the reference curve, when ψ = 4 (corresponding to the complete transmission of quantization steps from the encoder to the decoder).

5.6 Reconstruction des pas de quantification lors du procédé de décodage 5.6 Reconstruction of quantization steps in the decoding process

La reconstruction du profil des pas de quantification à un étage de quantification d'indice l est effectuée en fonction des données transmises par le décodeur.The reconstruction of the quantization step profile at an index quantization stage 1 is performed according to the data transmitted by the decoder.

Tout d'abord, quelle que soit la technique de codage du pas de quantification choisie, c'est-à-dire la valeur de l'indicateur Ψ(l), le décodeur décode la valeur de cet indicateur présent en en-tête du train binaire reçu pour chaque trame, puis lis la valeur du gain d'ajustement gl . On distingue ensuite les cas selon la valeur de l'indicateur :

  • si ψ(l) = 4, le décodeur lit l'ensemble des pas de quantification Δ n l ;
    Figure imgb0042
  • si ψ(l) = 3, le paramètre α̂ est lu et le profil du pas de quantification est calculé au décodeur selon la formule précédemment introduite : Δ n l = D n α ^ ;
    Figure imgb0043
  • si Ψ(l) = 2, le décodeur calcule le profil du pas de quantification selon la formule précédemment introduite : Δ n l = k = kOffset n kOffset n + 1 - 1 M ^ k l
    Figure imgb0044
    à partir de la courbe de masquage M ^ k l
    Figure imgb0045
    reconstruite à l'étage d'indice l (construction récursive) ;
  • si ψ(l) = 1, le décodeur calcule le profil du pas de quantification selon la formule précédemment introduite : Δ n l = k = kOffset n kOffset n + 1 - 1 Q k
    Figure imgb0046
    basée sur le seuil d'audition absolu ;
  • si ψ(l) = 0 , le décodeur calcule le profil du pas de quantification selon la formule précédemment introduite : Δ n l = cte .
    Figure imgb0047
First, whatever the coding technique of the quantization step chosen, that is to say the value of the indicator Ψ ( 1 ) , the decoder decodes the value of this indicator present in the header of the bit stream received for each frame, then read the value of the gain of adjustment g l . We then distinguish cases according to the value of the indicator:
  • if ψ ( l ) = 4, the decoder reads all the quantization steps Δ not l ;
    Figure imgb0042
  • if ψ ( l ) = 3, the parameter α is read and the profile of the quantization step is calculated at the decoder according to the formula previously introduced: Δ not l = D not α ^ ;
    Figure imgb0043
  • if Ψ ( l ) = 2, the decoder calculates the profile of the quantization step according to the previously introduced formula: Δ not l = Σ k = kOffset not kOffset not + 1 - 1 M ^ k l
    Figure imgb0044
    from the masking curve M ^ k l
    Figure imgb0045
    rebuilt on the floor of index l (recursive construction);
  • if ψ ( l ) = 1, the decoder calculates the profile of the quantization step according to the formula previously introduced: Δ not l = Σ k = kOffset not kOffset not + 1 - 1 Q k
    Figure imgb0046
    based on the absolute hearing threshold;
  • if ψ ( l ) = 0, the decoder calculates the profile of the quantization step according to the formula previously introduced: Δ not l = coast .
    Figure imgb0047

Une fois que les pas de quantification sont calculés à l'étape de décodage, et que les coefficients précédemment introduits rq k l

Figure imgb0048
transmis dans le train binaire sont décodés (relatifs aux données utiles des coefficients spectraux ou de leurs résiduels), les valeurs quantifiées R ^ k l
Figure imgb0049
des coefficients résiduels à l'étage d'indice l s'obtiennent selon les formules introduites au paragraphe 5.5.1 de la présente description, relatif à l'allocation binaire.Once the quantization steps are calculated at the decoding step, and the previously introduced coefficients rq k l
Figure imgb0048
transmitted in the bitstream are decoded (relative to the useful data of the spectral coefficients or their residuals), the quantified values R ^ k l
Figure imgb0049
residual coefficients at the stage of index l are obtained according to the formulas introduced in paragraph 5.5.1 of the present description, relating to the binary allocation.

5.7 Dispositifs de mise en oeuvre 5.7 Implementing devices

Le procédé de l'invention peut être mis en oeuvre un dispositif de codage, dont la structure est présentée en relation avec la figure 6A.The method of the invention can be implemented a coding device, whose structure is presented in relation to the Figure 6A .

Un tel dispositif comprend une mémoire M 600, une unité de traitement 601, équipée par exemple d'un microprocesseur, et pilotée par le programme d'ordinateur Pg 602. A l'initialisation, les instructions de code du programme d'ordinateur 602 sont par exemple chargées dans une mémoire RAM avant d'être exécutées par le processeur de l'unité de traitement 601. L'unité de traitement 601 reçoit en entrée un signal audio source à coder 603. Le microprocesseur µP de l'unité de traitement 601 met en oeuvre le procédé de codage décrit ci-dessus, selon les instructions du programme Pg 602. L'unité de traitement 601 délivre en sortie un train binaire 604 comprenant notamment des données quantifiées représentatives du signal audio source codé, des données représentatives d'un profil de pas de quantification, et enfin des données représentatives de l'indicateur ψ.Such a device comprises a memory M 600, a processing unit 601, equipped for example with a microprocessor, and controlled by the computer program Pg 602. At initialization, the code instructions of the computer program 602 are for example loaded into a RAM memory before being executed by the processor of the processing unit 601. The processing unit 601 receives as input a source audio signal to be coded 603. The microprocessor μP of the processing unit 601 implements the coding method described above, according to the instructions of the program Pg 602. The processing unit 601 outputs a bitstream 604 including in particular quantized data representative of the coded source audio signal, data representative of a quantization step profile, and finally representative data of the ψ indicator.

L'invention concerne également un dispositif de décodage d'un signal codé représentatif d'un signal audio source selon l'invention, dont la structure générale simplifiée est illustrée schématiquement par la figure 6B. Il comprend une mémoire M 610, une unité de traitement 611, équipée par exemple d'un microprocesseur, et pilotée par le programme d'ordinateur Pg 612. A l'initialisation, les instructions de code du programme d'ordinateur 612 sont par exemple chargées dans une mémoire RAM avant d'être exécutées par le processeur de l'unité de traitement 611. L'unité dé traitement 611 reçoit en entrée un train binaire 613, comprenant des données représentatives d'un signal audio source codé, des données représentatives d'un profil de pas de quantification et des données représentatives de l'indicateur Ψ. Le microprocesseur µP de l'unité de traitement 611 met en oeuvre le procédé de décodage selon les instructions du programme Pg 612, pour délivrer un signal audio reconstruit 612.The invention also relates to a device for decoding a coded signal representative of a source audio signal according to the invention, whose simplified overall structure is schematically illustrated by the Figure 6B . It comprises a memory M 610, a processing unit 611, equipped for example with a microprocessor, and controlled by the computer program Pg 612. At initialization, the code instructions of the computer program 612 are for example loaded into a RAM before being executed by the processor of the processing unit 611. The processing unit 611 receives as input a bitstream 613, comprising data representative of a coded source audio signal, representative data a quantization step profile and representative data of the Ψ indicator. The microprocessor μP of the processing unit 611 implements the decoding method according to the instructions of the program Pg 612, to deliver a reconstructed audio signal 612.

ANNEXEANNEX

Le modèle psycho-acoustique peut être initialisé de plusieurs façons, selon le type de codeur « coeur » mis en oeuvre à l'étape de codage du niveau de base.The psychoacoustic model can be initialized in several ways, depending on the type of "core" coder implemented in the base level coding step.

1 Initialisation à partir des paramètres transmis par un codeur sinusoïdal 1 Initialization from the parameters transmitted by a sinusoidal encoder

Un codeur sinusoïdal modélise le signal audio par une somme de sinusoïdes de fréquences et d'amplitudes variables dans le temps. Les valeurs quantifiées des fréquences et amplitudes sont transmises au décodeur. A partir de ces valeurs, on peut construire le spectre X ^ k 0

Figure imgb0050
des composantes sinusoïdales du signal.A sinusoidal encoder models the audio signal by a sum of sinusoids of varying frequencies and amplitudes over time. The quantized values of the frequencies and amplitudes are transmitted to the decoder. From these values, we can build the spectrum X ^ k 0
Figure imgb0050
sinusoidal components of the signal.

2 Initialisation à partir des paramètres transmis par un codeur CELP 2 Initialization from the parameters transmitted by a CELP encoder

A partir des coefficients LPC (pour « linear prediction coding » en anglais) α m quantifiés et transmis par un codeur CELP (pour « Code-excited linear prediction » en anglais), on peut déduire un spectre d'enveloppe selon l'équation suivante : X ^ k 0 = 1 1 - m = 1 P a m exp - j 2 πmk N 2

Figure imgb0051
N est la taille de la transformée et P est le nombre de coefficients LPC transmis par le codeur CELP.From the linear prediction coding (LPC) coefficients α m quantized and transmitted by a coder CELP (for "Code-excited linear prediction"), it is possible to deduce an envelope spectrum according to the following equation : X ^ k 0 = 1 1 - Σ m = 1 P at m exp - j 2 πmk NOT 2
Figure imgb0051
where N is the size of the transform and P is the number of LPC coefficients transmitted by the CELP coder.

3 Initialisation à partir du signal décodé en sortie du codeur coeur 3 Initialization from the decoded signal at the output of the core encoder

Le spectre initial X ^ k 0

Figure imgb0052
peut être simplement estimé à partir d'une analyse spectrale court-terme du signal décodé en sortie du codeur coeur.The initial spectrum X ^ k 0
Figure imgb0052
can be simply estimated from a short-term spectral analysis of the decoded signal at the output of the core coder.

Une combinaison de ces méthodes d'initialisation est également envisageable. Par exemple, le spectre initial X ^ k 0

Figure imgb0053
peut être obtenu par addition du spectre d'enveloppe LPC défini selon l'équation précédente, et du spectre à court terme estimé à partir du résidu codé par un codeur CELP.A combination of these initialization methods is also possible. For example, the initial spectrum X ^ k 0
Figure imgb0053
can be obtained by adding the LPC envelope spectrum defined according to the preceding equation, and the estimated short-term spectrum from the coded residue by a CELP coder.

Claims (15)

  1. Method for encoding a source audio signal, characterized in that it comprises the following steps:
    - encoding of a quantization step profile of coefficients representative of at least one transform of said source audio signal, according to at least two distinct encoding techniques, delivering at least two data sets representative of the quantization step profile;
    - selection of one of the data sets representative of the quantization step profile, as a function of a selection criterion making a compromise between a perceived distortion between said source audio signal to be encoded and signals reconstructed respectively on the basis of said data sets, and the bit rate necessary to encode said data sets, said selection criterion being obtained by comparison of a reference masking curve estimated on the basis of the audio signal to be encoded, with said data sets;
    - transmission and/or storage of said data set representative of the selected quantization step profile and of an indicator representative of the corresponding encoding technique.
  2. Encoding method according to Claim 1, characterized in that said parametric representation is formed of at least one line segment, characterized by a slope and a value at the origin.
  3. Encoding method according to either one of Claims 1 and 2, characterized in that a second of said encoding techniques delivers a constant quantization step profile.
  4. Encoding method according to any one of Claims 1 to 3, characterized in that, according to a third encoding technique, said quantization step profile corresponds to an absolute hearing threshold.
  5. Encoding method according to any one of Claims 1 to 4, characterized in that, according to a fourth encoding technique, said data set representative of the quantization step profile comprises all the quantization steps used.
  6. Encoding method according to any one of Claims 1 to 5, characterized in that said encoding uses a hierarchical process delivering at least two hierarchical levels of encoding, comprising a base level and at least one refinement level comprising refinement information relative to said base level or to a previous refinement level.
  7. Encoding method according to Claim 6, characterized in that, according to a fifth encoding technique, said data set representative of the quantization step profile is obtained, at a given refinement level, taking account of data constructed at the previous hierarchical level.
  8. Device for encoding a source audio signal, characterized in that it comprises:
    - means for encoding a quantization step profile of coefficients representative of at least one transform of said source audio signal, delivering at least two data sets representative of the quantization step profile;
    - means for selecting one of said data sets representative of the quantization step profile, according to a selection criterion making a compromise between a perceived distortion between said source audio signal to be encoded and signals reconstructed respectively on the basis of said data sets and on the bit rate necessary to encode said data sets, said selection criterion being obtained by comparison of a reference masking curve, estimated on the basis of the audio signal to be encoded, with said data sets;
    - means for the transmission and/or storage of said data set representative of the selected quantization step profile and of an indicator representative of the corresponding encoding technique.
  9. Computer program product that can be downloaded from a communication network and/or stored on a medium that can be read by computer and/or that can be executed by a microprocessor, characterized in that it comprises program code instructions for executing the encoding method according to at least one of Claims 1 to 7.
  10. Encoded signal representative of a source audio signal, comprising data representative of a quantization step profile,
    characterized in that it comprises:
    - an indicator representative of a technique for encoding the quantization step profile used, chosen on the encoding from at least two available techniques, according to a selection criterion making a compromise between a perceived distortion between said source audio signal to be encoded and signals reconstructed respectively on the basis of the encoded quantization step profile according to said techniques and on the bit rate necessary to encode the quantization step profile according to said techniques, said selection criterion being obtained on the basis of a reference masking curve, estimated on the basis of the audio signal to be encoded;
    - a data set representative of said corresponding quantization step profile.
  11. Signal according to Claim 10, characterized in that it comprises data relating to at least two hierarchical levels obtained by a hierarchical process, comprising a base level and at least one refinement level comprising refinement information relative to said base level or to a preceding refinement level,
    and in that it comprises an indicator representative of an encoding technique for each of said levels.
  12. Signal according to either one of Claims 10 and 11, characterized in that it is organized into successive frames of coefficients, and in that it comprises an indicator representative of an encoding technique for each of said frames.
  13. Method for decoding an encoded signal representative of a source audio signal, comprising data representative of quantization step profile, characterized in that it comprises the following steps:
    - extraction from said encoded signal:
    - of an indicator representative of a technique for encoding a quantization step profile used, chosen on encoding from at least two available techniques, according to a selection criterion making a compromise between a perceived distortion between said source audio signal to be encoded and signals reconstructed respectively on the basis of the encoded quantization step profile according to said techniques and on the bit rate necessary to encode the quantization step profile according to said techniques, said selection criterion being obtained on the basis of a reference masking curve estimated on the basis of the audio signal to be encoded;
    - of a data set representative of said corresponding quantization step profile;
    - reconstruction of said reconstructed quantization step profile, according to said data set and to the encoding technique designated by said indicator.
  14. Device for decoding an encoded signal representative of a source audio signal, comprising data representative of a quantization step profile, characterized in that it comprises:
    - means for extracting from said encoded signal:
    - of an indicator representative of a technique for encoding a quantization step profile used, chosen on encoding from at least two available techniques, according to a selection criterion making a compromise between a perceived distortion between said source audio signal to be encoded and signals reconstructed respectively on the basis of the encoded quantization step profile according to said techniques and on the bit rate necessary to encode the quantization step profile according to said techniques, said selection criterion being obtained on the basis of a reference masking curve estimated on the basis of the audio signal to be encoded;
    - of a data set representative of said corresponding quantization step profile;
    - means for reconstructing said reconstructed quantization step profile according to said data set and the encoding technique designated by said indicator.
  15. Computer program product that can be downloaded from a communication network and/or that can be stored on a medium that can be read by computer and/or that can be executed by a microprocessor, characterized in that it comprises program code instructions for executing the decoding method according to Claim 13.
EP07731731A 2006-03-13 2007-03-12 Method of coding a source audio signal, corresponding coding device, decoding method and device, signal, computer program products Active EP1997103B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0602179A FR2898443A1 (en) 2006-03-13 2006-03-13 AUDIO SOURCE SIGNAL ENCODING METHOD, ENCODING DEVICE, DECODING METHOD, DECODING DEVICE, SIGNAL, CORRESPONDING COMPUTER PROGRAM PRODUCTS
PCT/FR2007/050915 WO2007104889A1 (en) 2006-03-13 2007-03-12 Method of coding a source audio signal, corresponding coding device, decoding method and device, signal, computer program products

Publications (2)

Publication Number Publication Date
EP1997103A1 EP1997103A1 (en) 2008-12-03
EP1997103B1 true EP1997103B1 (en) 2011-09-14

Family

ID=36996146

Family Applications (1)

Application Number Title Priority Date Filing Date
EP07731731A Active EP1997103B1 (en) 2006-03-13 2007-03-12 Method of coding a source audio signal, corresponding coding device, decoding method and device, signal, computer program products

Country Status (7)

Country Link
US (1) US8224660B2 (en)
EP (1) EP1997103B1 (en)
JP (1) JP5192400B2 (en)
CN (1) CN101432804B (en)
AT (1) ATE524808T1 (en)
FR (1) FR2898443A1 (en)
WO (1) WO2007104889A1 (en)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2852172A1 (en) * 2003-03-04 2004-09-10 France Telecom Audio signal coding method, involves coding one part of audio signal frequency spectrum with core coder and another part with extension coder, where part of spectrum is coded with both core coder and extension coder
CN102081927B (en) * 2009-11-27 2012-07-18 中兴通讯股份有限公司 Layering audio coding and decoding method and system
DE112010005020B4 (en) * 2009-12-28 2018-12-13 Mitsubishi Electric Corporation Speech signal recovery device and speech signal recovery method
US9450812B2 (en) 2014-03-14 2016-09-20 Dechnia, LLC Remote system configuration via modulated audio
US9911427B2 (en) * 2014-03-24 2018-03-06 Nippon Telegraph And Telephone Corporation Gain adjustment coding for audio encoder by periodicity-based and non-periodicity-based encoding methods
CN106653035B (en) * 2016-12-26 2019-12-13 广州广晟数码技术有限公司 method and device for allocating code rate in digital audio coding
US10455335B1 (en) * 2018-07-20 2019-10-22 Mimi Hearing Technologies GmbH Systems and methods for modifying an audio signal using custom psychoacoustic models
US10966033B2 (en) 2018-07-20 2021-03-30 Mimi Hearing Technologies GmbH Systems and methods for modifying an audio signal using custom psychoacoustic models
EP3614380B1 (en) 2018-08-22 2022-04-13 Mimi Hearing Technologies GmbH Systems and methods for sound enhancement in audio systems
CN110265043B (en) * 2019-06-03 2021-06-01 同响科技股份有限公司 Adaptive lossy or lossless audio compression and decompression calculation method
CN113904900A (en) * 2021-08-26 2022-01-07 北京空间飞行器总体设计部 Real-time remote-measuring information source hierarchical relative coding method

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2240252T3 (en) * 1991-06-11 2005-10-16 Qualcomm Incorporated VARIABLE SPEED VOCODIFIER.
EP0559348A3 (en) * 1992-03-02 1993-11-03 AT&T Corp. Rate control loop processor for perceptual encoder/decoder
JP3341474B2 (en) * 1994-07-28 2002-11-05 ソニー株式会社 Information encoding method and decoding method, information encoding device and decoding device, and information recording medium
JP3304739B2 (en) * 1996-02-08 2002-07-22 松下電器産業株式会社 Lossless encoder, lossless recording medium, lossless decoder, and lossless code decoder
KR100261254B1 (en) * 1997-04-02 2000-07-01 윤종용 Scalable audio data encoding/decoding method and apparatus
KR100335609B1 (en) * 1997-11-20 2002-10-04 삼성전자 주식회사 Scalable audio encoding/decoding method and apparatus
US6115689A (en) * 1998-05-27 2000-09-05 Microsoft Corporation Scalable audio coder and decoder
US6499010B1 (en) * 2000-01-04 2002-12-24 Agere Systems Inc. Perceptual audio coder bit allocation scheme providing improved perceptual quality consistency
JP2003195894A (en) * 2001-12-27 2003-07-09 Mitsubishi Electric Corp Encoding device, decoding device, encoding method, and decoding method
KR100467617B1 (en) * 2002-10-30 2005-01-24 삼성전자주식회사 Method for encoding digital audio using advanced psychoacoustic model and apparatus thereof
WO2005004113A1 (en) * 2003-06-30 2005-01-13 Fujitsu Limited Audio encoding device
US7383180B2 (en) * 2003-07-18 2008-06-03 Microsoft Corporation Constant bitrate media encoding techniques
JP4091506B2 (en) * 2003-09-02 2008-05-28 日本電信電話株式会社 Two-stage audio image encoding method, apparatus and program thereof, and recording medium recording the program
DE102004009955B3 (en) * 2004-03-01 2005-08-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Device for determining quantizer step length for quantizing signal with audio or video information uses longer second step length if second disturbance is smaller than first disturbance or noise threshold hold
JP4301092B2 (en) * 2004-06-23 2009-07-22 日本ビクター株式会社 Acoustic signal encoding device
CN1731694A (en) * 2004-08-04 2006-02-08 上海乐金广电电子有限公司 Digital audio frequency coding method and device
WO2006054583A1 (en) * 2004-11-18 2006-05-26 Canon Kabushiki Kaisha Audio signal encoding apparatus and method
US7668715B1 (en) * 2004-11-30 2010-02-23 Cirrus Logic, Inc. Methods for selecting an initial quantization step size in audio encoders and systems using the same
KR100851970B1 (en) * 2005-07-15 2008-08-12 삼성전자주식회사 Method and apparatus for extracting ISCImportant Spectral Component of audio signal, and method and appartus for encoding/decoding audio signal with low bitrate using it
JP2007183528A (en) * 2005-12-06 2007-07-19 Fujitsu Ltd Encoding apparatus, encoding method, and encoding program
US7835904B2 (en) * 2006-03-03 2010-11-16 Microsoft Corp. Perceptual, scalable audio compression

Also Published As

Publication number Publication date
JP2009530653A (en) 2009-08-27
EP1997103A1 (en) 2008-12-03
US8224660B2 (en) 2012-07-17
JP5192400B2 (en) 2013-05-08
ATE524808T1 (en) 2011-09-15
CN101432804B (en) 2013-01-16
WO2007104889A1 (en) 2007-09-20
US20090083043A1 (en) 2009-03-26
FR2898443A1 (en) 2007-09-14
CN101432804A (en) 2009-05-13

Similar Documents

Publication Publication Date Title
EP1997103B1 (en) Method of coding a source audio signal, corresponding coding device, decoding method and device, signal, computer program products
KR101251790B1 (en) Noise filler, noise filling parameter calculator, method for providing a noise-filled spectral representation of an audio signal, method for providing a noise filling parameter, storage medium
AU2008346515B2 (en) Audio encoder and decoder
EP2691952B1 (en) Allocation, by sub-bands, of bits for quantifying spatial information parameters for parametric encoding
CN110189760B (en) Apparatus for performing noise filling on spectrum of audio signal
US20030233236A1 (en) Audio coding system using characteristics of a decoded signal to adapt synthesized spectral components
EP1692689B1 (en) Optimized multiple coding method
EP1987513B1 (en) Method and device for the hierarchical coding of a source audio signal and corresponding decoding method and device, programs and signal
US20060122828A1 (en) Highband speech coding apparatus and method for wideband speech coding system
EP2452336B1 (en) Improved coding /decoding of digital audio signals
US9546924B2 (en) Transform audio codec and methods for encoding and decoding a time segment of an audio signal
FR2947945A1 (en) BIT ALLOCATION IN ENCODING / DECODING ENHANCEMENT OF HIERARCHICAL CODING / DECODING OF AUDIONUMERIC SIGNALS
EP2080194B1 (en) Attenuation of overvoicing, in particular for generating an excitation at a decoder, in the absence of information
EP3175444A1 (en) Frame loss management in an fd/lpd transition context
US7603271B2 (en) Speech coding apparatus with perceptual weighting and method therefor
EP2347411B1 (en) Pre-echo attenuation in a digital audio signal
EP2171713B1 (en) Coding of digital audio signals
EP2589045B1 (en) Adaptive linear predictive coding/decoding
EP1982330A2 (en) Method for coding a source audio signal and corresponding computer program products, coding device, decoding method, signal and data medium
Koh et al. Application of auditory masking in improved multiband excitation model

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20080930

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC MT NL PL PT RO SE SI SK TR

17Q First examination report despatched

Effective date: 20100927

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC MT NL PL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602007017186

Country of ref document: DE

Effective date: 20111124

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20110914

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110914

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110914

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110914

LTIE Lt: invalidation of european patent or patent extension

Effective date: 20110914

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110914

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110914

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20111215

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110914

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110914

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 524808

Country of ref document: AT

Kind code of ref document: T

Effective date: 20110914

REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110914

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110914

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120114

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110914

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110914

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120116

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110914

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110914

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110914

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110914

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110914

26N No opposition filed

Effective date: 20120615

BERE Be: lapsed

Owner name: FRANCE TELECOM

Effective date: 20120331

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602007017186

Country of ref document: DE

Effective date: 20120615

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120331

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120331

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120331

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20111225

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20111214

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110914

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20110914

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20120312

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20070312

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 10

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 11

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20230222

Year of fee payment: 17

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20230222

Year of fee payment: 17

Ref country code: DE

Payment date: 20230221

Year of fee payment: 17