EP2347411A1 - Attenuation de pre-echos dans un signal audionumerique - Google Patents
Attenuation de pre-echos dans un signal audionumeriqueInfo
- Publication number
- EP2347411A1 EP2347411A1 EP09747881A EP09747881A EP2347411A1 EP 2347411 A1 EP2347411 A1 EP 2347411A1 EP 09747881 A EP09747881 A EP 09747881A EP 09747881 A EP09747881 A EP 09747881A EP 2347411 A1 EP2347411 A1 EP 2347411A1
- Authority
- EP
- European Patent Office
- Prior art keywords
- sub
- signal
- attenuation
- block
- blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 55
- 230000007704 transition Effects 0.000 claims abstract description 41
- 238000002592 echocardiography Methods 0.000 claims abstract description 30
- 230000002123 temporal effect Effects 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000009499 grossing Methods 0.000 claims description 10
- 230000002401 inhibitory effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 230000001052 transient effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 16
- 230000009466 transformation Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 7
- 238000001914 filtration Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000013139 quantization Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 230000002238 attenuated effect Effects 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003292 diminished effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000009527 percussion Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/26—Pre-filtering or post-filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
- G10L19/025—Detection of transients or attacks for time/frequency resolution switching
Definitions
- the attenuation factor is determined according to the temporal envelope of said sub-block, the maximum of the temporal envelope of the sub-block comprising said transition and the temporal envelope. of the reconstructed signal of the previous frame.
- smoothing functions are possible, such as, for example, a linear transition between the two factor values, either with a constant slope (for example in steps of 0.05) or with a fixed length (for example, on 16 samples).
- the frame that precedes the pre-echo frame has a homogeneous energy that corresponds to the energy of the background noise at that time. According to the experience it is not useful or even desirable that the signal energy becomes lower than the average energy of the previous frame after pre-echo processing.
- the factor 1 value must be assigned to the last samples of the frame.
- the problem is that on the concatenated signal the position of the attack can not be determined with certainty due to the symmetry of this part of the concatenated signal which in fact reflects the well-known "time folding" property of the MDCT transform .
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
L'invention porte sur un procédé d'atténuation de pré-échos dans un signal audionumérique engendré à partir d'un codage par transformée, dans lequel, au décodage, pour une trame courante de ce signal audionumérique, le procédé comporte une étape de définition (CONC) d'un signal concaténé, à partir au moins du signal reconstruit de la trame courante, une étape de division (DIV, 301) dudit signal concaténé en sous-blocs d'échantillons de longueur déterminée, une étape de calcul (ENV, 302) d'enveloppe temporelle du signal concaténé, une étape de détection (DETECT, 304) de transition de l'enveloppe temporelle vers une zone à forte énergie, une étape de détermination (DETECT, 304) des sous-blocs de basse énergie précédant un sous-bloc dans lequel une transition a été détectée et une étape d'atténuation (ATT) dans les sous-blocs déterminés. Le procédé est tel que l'atténuation s'effectue selon un facteur d'atténuation calculé pour chacun des sous- blocs déterminés, en fonction de l'enveloppe temporelle du signal concaténé. L'invention vise également un dispositif mettant en œuvre le procédé ainsi qu'un décodeur comportant un tel dispositif.
Description
Atténuation de pré-échos dans un signal audionumérique
L'invention concerne un procédé et un dispositif d'atténuation des pré-échos lors du décodage d'un signal audionumérique.
Pour le transport des signaux audionumériques sur les réseaux de transmission, qu'il s'agisse par exemple de réseaux fixes ou mobiles, ou pour le stockage des signaux, on fait appel à des processus de compression (ou codage source) mettant en œuvre des systèmes de codage du type codage temporel ou codage fréquentiel par transformée.
Le procédé et le dispositif, objets de l'invention, ont ainsi comme domaine d'application la compression des signaux sonores, en particulier les signaux audionumériques codés par transformée fréquentielle.
La figure 1 représente à titre illustratif, un schéma de principe du codage et du décodage, d'un signal audio numérique par transformée incluant une analyse- synthèse par addition/recouvrement selon l'art antérieur.
Certaines séquences musicales, telles que les percussions et certains segments de parole comme les plosives (IkJ, /t/, ...), sont caractérisées par des attaques extrêmement brusques qui se traduisent par des transitions très rapides et une variation très forte de la dynamique du signal en l'espace de quelques échantillons. Un exemple de transition est donné à la figure 1 à partir de l'échantillon 410.
Pour le traitement de codage/décodage, le signal d'entrée est découpé en blocs d'échantillons de longueur L (représentés ici par des traits verticaux en pointillés). Le signal d'entrée est noté x(n). La découpe en blocs successifs conduit à définir les blocs xN = f x(N.L) ... x(N.L+L-l) ] = [ xN(0) ... XN(L- I)], OÙ N est l'indice de la trame, L est la longueur de la trame. A la figure 1 on a L=160 échantillons. Dans le cas de la transformée modulée en cosinus modifiée MDCT (pour "Modified Discrète Cosine Transform" en anglais), deux blocs XN(Π) et XN+ I(Π) sont analysés conjointement pour donner un bloc de coefficients transformés associés à la trame d'indice N.
La division en blocs, aussi appelés trames, opérée par le codage par transformée est totalement indépendante du signal sonore et les transitions apparaissent donc en un point quelconque de la fenêtre d'analyse. Or après décodage par transformée, le signal reconstruit est entaché de "bruit" (ou distorsion) engendré par l'opération quantification (Q)-quantification inverse (Q"1). Ce bruit de codage est réparti temporellement de façon relativement uniforme sur tout le support temporel du bloc transformé, c'est-à-dire sur toute la longueur de la fenêtre de longueur 2L d'échantillons (avec recouvrement de L échantillons). L'énergie du bruit de codage est en général proportionnelle à l'énergie du bloc et est fonction du débit de décodage.
Pour un bloc comportant une attaque (comme le bloc 320-340 de la figure 1) l'énergie du signal est élevée, le bruit est donc également de niveau élevé.
En codage par transformée, le niveau du bruit de codage est inférieur à celui du signal pour les échantillons de forte énergie qui suivent immédiatement la transition, mais le niveau est supérieur à celui du signal pour les échantillons d'énergie plus faible, notamment sur la partie précédant la transition (échantillons 160 - 410 de la figure 1). Pour la partie précitée, le rapport signal à bruit est négatif et la dégradation résultante, peut apparaître très gênante à l'écoute. On appelle pré-écho le bruit de codage antérieur à la transition et post-écho le bruit postérieur à la transition.
On peut observer sur la figure 1 que le pré-écho affecte la trame précédant la transition ainsi que la trame où se produit la transition.
Les expériences psycho-acoustiques ont montré que l'oreille humaine effectue un pré-masquage temporel des sons assez limité, de l'ordre de quelques millisecondes. Le bruit précédant l'attaque, ou pré-écho, est audible lorsque la durée du pré-écho est supérieure à la durée du pré-masquage.
L'oreille humaine effectue également un post-masquage d'une durée plus longue, de 5 à 60 millisecondes, lors du passage de séquences de forte énergie à des séquences de faible énergie. Le taux ou niveau de gêne acceptable pour les postéchos est donc plus important que pour les pré-échos.
Le phénomène des pré-échos, plus critique, est d'autant plus gênant que la longueur des blocs en nombre d'échantillons est importante. Or, en codage par transformée, il est nécessaire d'avoir une résolution fidèle des zones fréquentielles les plus significatives. A fréquence d'échantillonnage fixée et à débit fixé, si on augmente le nombre de points de la fenêtre on disposera de plus de bits pour coder les raies fréquentielles jugées utiles par le modèle psycho acoustique, d'où l'avantage d'utiliser des blocs de grande longueur. Le codage MPEG AAC (Advanced Audio Coding), par exemple, utilise une fenêtre de grande longueur qui contient un nombre fixe d'échantillons, 2048, soit sur une durée de 64 ms à une fréquence d'échantillonnage de 32 kHz. Les codeurs par transformée utilisés pour les applications conversationnelles utilisent souvent une fenêtre de durée 40 ms à 16 kHz et une durée de renouvellement de trame de 20 ms.
Dans le but de réduire l'effet gênant précité du phénomène des pré-échos différentes solutions ont jusqu'ici été proposées.
Une première solution consiste à appliquer un filtrage adaptatif. Dans la zone précédant la transmission due à l'attaque, le signal reconstitué est en fait constitué du signal original et du bruit de quantification superposé au signal.
Une technique de filtrage correspondante a été décrite dans l'article intitulé High Quality Audio Transform Coding at 64 kbits, IEEE Trans. on Communications Vol 42, No. 11, November 1994, publié par Y. Mahieux et J. P. Petit.
La mise en œuvre d'un tel filtrage nécessite la connaissance de paramètres dont certains sont estimés au décodeur à partir des échantillons bruités. Par contre, des informations telles que l'énergie du signal d'origine ne peuvent être connues qu'au codeur et doivent par conséquent être transmises. Lorsque le bloc reçu contient une variation brusque de dynamique, le traitement de filtrage lui est appliqué.
Le processus de filtrage précité ne permet pas de retrouver le signal d'origine, mais procure une forte réduction des pré-échos. Il nécessite toutefois de transmettre les paramètres auxiliaires supplémentaires au décodeur.
Une technique qui ne nécessite pas la transmission de paramètres auxiliaires est décrite dans la demande de brevet français FR 06 01466. La méthode décrite
permet de discriminer la présence des pré-échos et d'atténuer les pré-échos d'un signal audionumérique engendré par codage hiérarchique (générant un train binaire multicouches) à partir d'un codage par transformée, générant du pré-écho, et d'un codage temporel, ne générant pas de pré-échos.
Cette demande de brevet décrit plus précisément la détection au décodeur d'une zone de basse énergie précédant une transition vers une zone de forte énergie, l'atténuation des pré-échos dans les zones de basse énergie détectées et l'inhibition de l'atténuation des pré-échos dans la zone de forte énergie. Le traitement permettant d'atténuer les pré-échos est basé sur une comparaison entre le signal issu d'un décodage par transformée (générant des pré-échos) et un signal issu d'un décodage temporel (non générateur d'échos).
Cette technique ne nécessite pas de transmission d'information auxiliaire spécifique venant du codeur mais nécessite la présence d'un signal de référence issu d'un décodage temporel.
Tous les décodeurs utilisant un décodage par transformée ne dispose pas nécessairement d'un signal de référence issu d'un décodage temporel. De plus, dans le cas où un tel signal de référence est disponible au décodeur, il n'est pas toujours adapté pour calculer l'atténuation des pré-échos.
Un codeur scalable stéréo, par exemple l'extension en stéréo de la norme UIT-T G.729.1, peut fonctionner de la manière décrite ci-après.
Le codeur calcule la moyenne des deux canaux gauche et droit du signal stéréo, puis code cette moyenne par le codeur G.729.1, et enfin transmet des paramètres supplémentaires d'extension stéréo. Le train binaire transmis au décodeur comporte donc une couche G.729.1 avec des couches supplémentaires d'extension stéréo. Par exemple, une première couche supplémentaire comporte des paramètres reflétant la différence d'énergie par sous-bande (dans le domaine transformé) entre les deux canaux du signal stéréo. Une seconde couche comporte par exemple les coefficients transformés du signal résiduel, défini comme la différence entre le signal original et le signal décodé à partir du train binaire G.729.1 et de la première couche.
Le décodeur G.729.1 en mode étendu, décode d'abord le signal mono et retrouve en fonction des paramètres transmis, les coefficients transformés des deux canaux gauche et droit.
Le décodage du signal mono par un décodeur de type G.729.1 apporte un signal de référence basé sur la moyenne des deux canaux. Dans le cas où la différence de niveaux entre les deux canaux est grande, l'enveloppe temporelle du signal mono sera alors faible par rapport à la sortie de la transformée inverse du canal de plus grand niveau et fort par rapport à la sortie de la transformée inverse du canal de plus faible niveau.
L'utilisation d'une référence comme la sortie du décodeur G.729.1 pour atténuer les pré-échos ne sera donc pas efficace pour le décodage stéréo : Dans le canal de plus grand niveau on détectera à tort trop de pré-écho et on supprimera donc du signal utile tandis que dans le canal de plus faible niveau on ne détectera ni ne supprimera tous les pré-échos.
Il existe donc un besoin d'une technique d'atténuation précise de pré-échos au décodage, dans le cas où un signal issu d'un décodage temporel n'est pas disponible ou n'est pas performant et où aucune information auxiliaire n'est transmise par le codeur. Cette technique doit, de plus, pouvoir fonctionner pour le codage mono et stéréo.
A cet effet, la présente invention traite d'un procédé d'atténuation de prééchos dans un signal audionumérique engendré à partir d'un codage par transformée, dans lequel, au décodage, pour une trame courante de ce signal audionumérique, le procédé comporte:
- une étape de définition d'un signal concaténé, à partir au moins du signal reconstruit de la trame courante;
- une étape de division dudit signal concaténé en sous-blocs d'échantillons de longueur déterminée;
- une étape de calcul d'enveloppe temporelle du signal concaténé;
- une étape de détection de transition de l'enveloppe temporelle vers une zone à forte énergie;
- une étape de détermination des sous-blocs de basse énergie précédant un sous-bloc dans lequel une transition a été détectée; et
- une étape d'atténuation dans les sous-blocs déterminés, le procédé étant caractérisé en ce que l'atténuation s'effectue selon un facteur d'atténuation calculé pour chacun des sous-blocs déterminés, en fonction de l'enveloppe temporelle du signal concaténé.
Ainsi, le facteur d'atténuation est défini sur des caractéristiques propres au signal décodé qui ne nécessitent pas de transmission d'information du codeur ni de signal issu d'un décodage non générateur d'échos.
Un facteur adapté à chaque sous-bloc de la trame courante et calculé à partir du signal reconstruit permet d'améliorer la qualité du traitement d'atténuation des prééchos.
Le signal concaténé peut être défini à partir du signal reconstruit de la trame courante et de la deuxième partie de la trame courante tel que défini ultérieurement en référence à la figure 2. Dans ce cas, la méthode n'introduit pas de retard temporel.
Dans le cas où on s'autorise un retard temporel, le signal concaténé est défini comme le signal reconstruit de la trame courante et de la trame suivante.
Le signal concaténé peut être physiquement stocké à différents endroits par sous-blocs.
Les différents modes particuliers de réalisation mentionnés ci-après peuvent être ajoutés indépendamment ou en combinaison les uns avec les autres, aux étapes du procédé défini ci-dessus.
Ainsi, dans un mode particulier de réalisation, une valeur minimale est fixée pour une valeur d'atténuation du facteur en fonction de l'enveloppe temporelle du signal reconstruit de la trame précédente.
Ceci permet d'éviter une trop grande différence d'atténuation d'une trame à une autre en particulier sur le niveau de bruit de fond et ainsi d'éviter des artefacts audibles.
L'enveloppe temporelle du signal reconstruit de la trame précédente peut par exemple être déterminée par le calcul de l'énergie minimale par sous-bloc ou encore par le calcul de l'énergie moyenne ou tout autre calcul.
Dans un mode particulier de réalisation de l'invention, le facteur d'atténuation est déterminé en fonction de l'enveloppe temporelle dudit sous-bloc, du maximum de l'enveloppe temporelle du sous-bloc comprenant ladite transition et de l'enveloppe temporelle du signal reconstruit de la trame précédente.
Dans un exemple de réalisation, l'enveloppe temporelle est déterminée par un calcul d'énergie par sous-blocs.
Avantageusement, le procédé comporte en outre une étape de calcul et de mémorisation de l'enveloppe temporelle de la trame courante après l'étape d'atténuation dans les sous-blocs déterminés.
Ce calcul d'enveloppe temporelle sera donc utilisé pour traiter la trame suivante. Ce calcul est précis puisque le signal n'est plus perturbé par les pré-échos.
Avantageusement, un facteur d'atténuation de valeur 1 est attribué aux échantillons dudit sous-bloc comportant la transition ainsi qu'aux échantillons des sous-blocs suivants dans la trame courante.
L'atténuation est donc inhibée dans ces sous-blocs qui ne comportent pas de pré-échos.
Dans un mode de réalisation particulier, le facteur d'atténuation est déterminé par sous-bloc déterminé selon les étapes suivantes:
- calcul du rapport de l'énergie maximale déterminée dans le sous-bloc comportant une transition sur l'énergie du sous-bloc courant;
- comparaison du rapport à un premier seuil;
- dans le cas où le rapport est inférieur ou égal au premier seuil, attribution d'une valeur inhibant l'atténuation au facteur d'atténuation;
- dans le cas où le rapport est supérieur au premier seuil:
. comparaison du rapport à un deuxième seuil;
. dans le cas où le rapport est inférieur ou égal au deuxième seuil, attribution d'une valeur d'atténuation faible au facteur d'atténuation;
. dans le cas où le rapport est supérieur au deuxième seuil, attribution d'une valeur d'atténuation forte au facteur d'atténuation.
Ce mode de réalisation particulier s'est révélé particulièrement efficace et est simple à mettre en œuvre.
Avantageusement, le procédé prévoit la détermination d'une fonction de lissage entre les facteurs calculés échantillon par échantillon.
Ceci permet également d'éviter des artefacts audibles lors d'une variation trop brusque des valeurs d'atténuation.
Dans une variante de mise en œuvre, une correction de facteur est effectuée pour le sous-bloc précédant le sous-bloc comportant une transition, en appliquant une valeur d'atténuation inhibant l'atténuation, au facteur d'atténuation appliqué à un nombre prédéterminé d'échantillons du sous-bloc précédant le sous-bloc comportant une transition.
Ceci permet donc de ne pas diminuer l'amplitude de l'attaque par la fonction de lissage définie pour les valeurs d'atténuation.
La présente invention vise également un dispositif d'atténuation de prééchos dans un signal audionumérique engendré à partir d'un codeur par transformée, dans lequel, le dispositif associé à un décodeur comprend pour traiter une trame courante de ce signal audionumérique:
- un module de définition d'un signal concaténé, à partir au moins du signal reconstruit de la trame courante;
- un module de division dudit signal concaténé en sous-blocs d'échantillons de longueur déterminée;
- un module de calcul d'enveloppe temporelle du signal concaténé;
- un module de détection de transition de l'enveloppe temporelle vers une zone à forte énergie;
- un module de détermination des sous-blocs de basse énergie précédant un sous-bloc dans lequel une transition a été détectée; et
- un module d'atténuation dans les sous-blocs déterminés.
Le dispositif est tel que le module d'atténuation effectue l'atténuation selon un facteur d'atténuation calculé pour chacun des sous-blocs déterminés, en fonction de l'enveloppe temporelle du signal concaténé.
L'invention vise un décodeur d'un signal audionumérique comportant un dispositif tel que décrit précédemment.
Un tel décodeur peut par exemple être un décodeur de type G.729.1- SWB/stéréo étudié à la question 23 de l'UIT-T, commission 16.
L'invention peut être intégrée à un tel décodeur en mode stéréo ou en mode SWB (pour "super Wide Band" anglais).
Enfin, l'invention vise un programme informatique comportant des instructions de code pour la mise en œuvre des étapes du procédé d'atténuation tel que décrit, lorsque ces instructions sont exécutées par un processeur.
D'autres caractéristiques et avantages de l'invention apparaîtront plus clairement à la lecture de la description suivante, donnée uniquement à titre d'exemple non limitatif, et faite en référence aux dessins annexés, sur lesquels:
- la figure 1 décrite précédemment illustre un système de codage-décodage par transformée selon l'état de l'art;
- la figure 2 illustre la configuration du signal reconstruit par rapport à la trame courante d'un signal;
- la figure 3 illustre un dispositif d'atténuation de pré-échos dans un décodeur de signal audionumérique;
- la figure 4a représente le signal concaténé lorsqu'une transition se trouve dans la deuxième partie de la trame courante;
- la figure 4b représente le signal concaténé lorsqu'une transition se trouve dans le signal reconstruit de la trame courante;
- la figure 5 illustre un organigramme représentant un mode de réalisation général des étapes du calcul du facteur d'atténuation selon de l'invention;
- la figure 6 illustre un organigramme détaillé de la mise en œuvre du procédé d'atténuation selon un mode de réalisation de l'invention;
- la figure 7 illustre un mode de réalisation particulier du calcul du facteur d'atténuation selon l'invention;
- la figure 8a illustre un exemple de signal audionumérique pour lequel l'invention selon un mode de réalisation est mis en œuvre;
- la figure 8b illustre le même signal audionumérique pour lequel l'invention selon une variante de réalisation est mise en œuvre;
- la figure 9 illustre le signal concaténé lorsque l'attaque se situe dans le deuxième sous-bloc de la deuxième partie de la trame courante;
- la figure 10 illustre le signal concaténé lorsque l'attaque se situe dans le troisième sous-bloc de la deuxième partie de la trame courante;
- la figure 11 illustre le signal concaténé lorsque l'attaque se situe dans le premier sous-bloc de la deuxième partie de la trame courante;
- la figure 12 illustre le signal concaténé lorsque l'attaque se situe dans le quatrième sous-bloc de la deuxième partie de la trame courante;
- les figures 13a et 13b illustrent respectivement un codeur et un décodeur de type G.729.1SWB/stéréo, le décodeur comportant un dispositif d'atténuation selon l'invention;
- les figures 14a et 14b illustrent respectivement un codeur et un décodeur de type G.729.1 SWB, le décodeur comportant un dispositif d'atténuation selon l'invention;
- la figure 15 illustre un exemple d'un dispositif d'atténuation selon l'invention.
La figure 2 représente une trame du signal décodé ainsi que la configuration du signal reconstruit par addition recouvrement tel que décrit en référence à la figure 1. Dans la suite, la notation suivante est utilisée en référence à la figure 2 et à l'équation suivante :
Xrec,N («) = hin + L) X,r,NAn + L) + H") X,r.N («) POUr «<= [0, L - l] où N est l'indice de la trame, L est la longueur de la trame, xrec,N est le signal reconstruit de la trame N, X^N est le signal de longueur 2L issu de la transformation
inverse MDCT de la trame N. Sans rentrer dans les détails de la MDCT et de la transformation inverse MDCT, on définit le signal intermédiaire XU-.N de longueur 2L pour la trame N comme:
-v* ]
où yr(n) et y,(n) sont des signaux intermédiaires qui ne sont pas détaillés ici. Alors on peut montrer que le signal reconstruit Xrec.N de la trame N est donné par: xrec,N {n) = h(n + L)xtr N_, {n + L) + h{n)xtr N (n) pour nφ,L -\]
La reconstruction s'effectue donc par addition-recouvrement.
On remarque que le signal intermédiaire comprend une partie antisymétrique et une partie symétrique. Lors du décodage de la trame N, on reçoit le train binaire qui permet de trouver xtr,N ; on peut donc reconstruire xrec,N(n), n=0...L-I. Par contre on ne dispose que de la « moitié » de l'information sur la trame future d'indice N+l, c'est-à-dire XU-.N , n=L...2L-l, sur la trame future d'indice N+l. Il est important de noter que pour toutes les variantes de réalisation de la MDCT (et de son inverse) on peut toujours définir un signal intermédiaire XQ-.N de la forme définie ci-dessus. Cependant dans certaines réalisations le signal xtr,N n'est pas explicite en tant que tel, seuls les signaux intermédiaires yr(n) et y,(n), comprenant du « repliement temporel », sont disponibles.
Ainsi, dans un décodeur par transformée, le signal reconstruit de la trame courante (xreC:N(n), n = 0 à L-I) est obtenu par addition pondérée de la deuxième partie de la sortie de la transformée inverse des coefficients MDCT de la trame précédente {xtr,N-i(n), n - L à 2L- 1) et de la première partie de la sortie de la transformée inverse des coefficients MDCT de la trame courante (xtr^n), n = 0 à L- 1). La deuxième partie de la sortie de la transformée inverse des coefficients MDCT de la trame courante (x,r^(n), n = L à 2L- 1) sera gardée en mémoire et deviendra xtrN- i(n), n = L à 2L-I pour être exploitée pour obtenir le signal reconstruit de la trame suivante. Pour simplifier, dans la suite, les termes "première partie de la trame courante", "deuxième partie de la trame courante", "signal reconstruit de la trame
courante" seront utilisés. Dans la trame suivante, la deuxième partie de la trame courante devient donc la deuxième partie de la trame précédente.
Pour encore simplifier les figures on introduit également la notation suivante pour la deuxième partie de la trame courante mis à niveau, c'est-à-dire multiplié par la valeur maximale de la fenêtre de synthèse de la transformée MDCT:
Xcur2h,N(n) = h(L)-Xtr,N(L+n), H = O a L-I
En particulier, pour une attaque située dans la trame courante, en première ou deuxième partie, le procédé d'atténuation des pré-échos selon un mode de réalisation de l'invention génère un signal concaténé [xrec,N(0) ... xrec,N(L-l) xCUr2h,N(0) • • • Xcur2h,N(L-l)], à partir du signal reconstruit de la trame courante xrec,N(n) et du signal de la deuxième partie de la trame courante mis à niveau xCUr2h,N(n).
Ce signal concaténé est divisé en sous-blocs d'échantillons de longueur déterminée, ici un nombre pair.
Le procédé détermine les sous-blocs du bloc courant nécessitant une atténuation de pré-échos.
Le procédé d'atténuation comporte également une étape de calcul du facteur d'atténuation à appliquer aux sous-blocs déterminés. Le calcul s'effectue pour chacun des sous-blocs en fonction de l'enveloppe temporelle du signal concaténé.
Ce calcul peut aussi s'effectuer en fonction en outre de l'enveloppe temporelle du signal reconstruit de la trame précédente.
Ainsi en référence à la figure 3, un dispositif d'atténuation 100 comporte un module 101 de définition d'un signal concaténé, un module 102 de division du signal concaténé en sous-blocs, un module 103 de calcul d'enveloppe temporelle du signal concaténé, un module 104 de détection de transition de l'enveloppe temporelle vers une zone à forte énergie et de détermination des sous-blocs de basse énergie précédant un sous-bloc dans lequel une transition a été détectée et un module 105 d'atténuation dans les sous-blocs déterminés. Le module d'atténuation est apte à appliquer un facteur d'atténuation aux sous-blocs déterminés par le module 104, le facteur d'atténuation étant déterminé par le module d'atténuation en fonction de l'enveloppe temporelle du signal concaténé.
En référence à la figure 3, le dispositif d'atténuation est compris dans un décodeur comportant un module 110 de quantification inverse (Q"1), un module 120 de transformée inverse (MDCT1), un module 130 de reconstruction du signal par addition/recouvrement (add/rec) comme décrit en référence à la figure 1 et délivrant un signal reconstruit au dispositif d'atténuation selon l'invention.
Les figures 4a et 4b illustrent des exemples de signaux comportant des transitions ou attaques dans le signal. Le phénomène de pré-écho existe lorsque l'énergie d'une partie du signal dans une fenêtre MDCT est nettement supérieure (attaque) à celle des autres parties. Le pré-écho est alors observé dans les parties à basse énergie avant l'attaque. C'est donc dans cette partie qu'il faut atténuer les prééchos.
Deux cas sont possibles: l'attaque ou la transition du signal se trouve dans la trame courante (L premiers échantillons) ou dans la trame suivante (L échantillons suivants) correspondant à la deuxième partie de la trame courante comme représenté en figure 2.
La figure 4a représente un signal concaténé avec une attaque du signal dans la deuxième partie de la trame courante. On peut voir sur cette figure la découpe en K2 sous-blocs k de longueur N2 échantillons avec N2=IVK2 , K2=4. Les L premiers échantillons représentent le signal reconstruit de la trame courante xrec,N(n), n=0, ..., L-I. Les L échantillons suivants (L à 2L- 1) représentent la deuxième partie de la trame courante
n=0, ..., L-I. Dans la trame suivante, cette deuxième partie devient la première partie de la trame précédente.
A noter que la deuxième partie de la trame courante est symétrique par propriété de la transformée inverse MDCT. En effet selon l'invention les pré-échos sont atténués sans introduire de retard supplémentaire dans le décodage par transformée. Lors du décodage de la trame courante, le décodeur synthétise les échantillons xtr>N (n), n=0, ..., 2L- 1, mais ne peut utiliser que les échantillons xtr N (n), n=0, ..., L-I pour reconstruire xrec,N (n), n=0, ..., L-I.
On voit que l'attaque ou transition se trouve dans la trame suivante (mais sans pouvoir donner encore sa position), il faut donc atténuer le pré-écho pour les L premiers échantillons de la trame courante du signal reconstruit.
La figure 4b représente le même signal une trame plus tard, cette fois l'attaque se trouve dans la trame courante du signal reconstruit, dans le troisième sous-bloc (k=2). Il faut donc atténuer le pré-écho dans les deux premiers sous-blocs.
Le procédé d'atténuation des pré-échos selon l'invention délivre des facteurs d'atténuation du pré-écho pour chaque échantillon de la trame. Ce procédé va maintenant être décrit en référence aux figures 5 et 6.
L'organigramme représenté en figure 5 illustre les différentes étapes de calcul du facteur d'atténuation selon l'invention pour une trame courante.
A l'étape 201, l'enveloppe temporelle du signal reconstruit de la trame courante est calculée et à l'étape 202, l'enveloppe temporelle de la deuxième partie de la trame courante mise à niveau est calculée.
L'enveloppe temporelle est par exemple obtenue par le calcul de l'énergie par sous-blocs comme décrit en référence à la figure 6. Elle peut être obtenue par d'autres méthodes, en calculant par exemple la moyenne des valeurs absolues du signal par sous-blocs, ou encore la valeur maximale ou la valeur médiane de chaque sous-bloc. L'enveloppe peut également être obtenue par exemple comme un opérateur de type Teager-Kaiser suivi par un filtrage passe-bas. Dans tous les cas on suppose ici, sans perte de généralité, que l'enveloppe temporelle est définie avec une résolution temporelle d'une valeur par sous-bloc, la taille des sous-blocs étant flexible.
A l'étape 203, une fonction de facteur d'atténuation est définie à partir des enveloppes de la trame courante définie aux étapes 201 et 202 et à partir de l'enveloppe du signal reconstruit de la trame précédente (Tenv(Xrec,N-i(n)).
L'étape 204 optionnelle, définie une fonction de lissage sur les valeurs obtenues du facteur d'atténuation afin d'éviter les discontinuités qui pourrait se révéler dans le signal traité.
En référence à la figure 6, le procédé d'atténuation dans un mode de réalisation détaillé de l'invention va maintenant être décrit.
Ainsi, à l'étape 301, comme illustré en figure 4a ou 4b, le signal est découpé en sous-blocs de longueur N2 = L/ K2. On obtient ainsi 2 K2 sous-blocs.
A l'étape 302, l'énergie En(k) des K2 sous-blocs du signal reconstruit xrec N (n) est calculée.
A l'étape 303, l'énergie de chaque sous-bloc de la deuxième partie de la trame courante mise à niveau xCur2h,N(n), est calculée. Seules K1 /2 valeurs sont différentes du fait de la symétrie de cette partie du signal comme représenté en figure 4a.
Le maximum des énergies des sous-blocs de signal xrec N(n) et xcuroh(n) est calculé à l'étape 304 sur les K2 + K2 / 2 = 3 K2Il blocs et son indice est mémorisé dans indi.
La valeur de l'énergie maximale maxen ainsi calculée est également mémorisée.
A l'étape 305 un compteur de boucle est initialisé. Dans la boucle des étapes 306 à 309, on détermine en 307, pour chaque sous-bloc précédent le sous-bloc d'indice indl un facteur d'atténuation g(k) en fonction de son énergie En(k), de l'énergie maximale maxen et de l'énergie moyenne du signal reconstruit de la trame précédente xrec,N-i et on attribue ce facteur en 308 à tous les échantillons du sous- bloc.
A l'étape 310 on calcule l'indice du premier échantillon du sous-bloc à l'énergie maximale. A l'étape 311 on vérifie s'il est inférieur à la longueur de la trame. Si oui, le sous-bloc d'énergie maximale est dans la trame courante et on attribue le facteur 1, c'est-à-dire une valeur inhibant l'atténuation, à tous les échantillons à partir du début du sous-bloc jusqu'à la fin de la trame dans la boucle des étapes 311-312-313.
A l'étape 314 l'énergie moyenne de la trame courante reconstruite, c'est à dire des K2 premiers blocs du signal reconstruit xrec N (n) , est calculée et
mémorisée. Elle sera utilisée dans la trame suivante pour le calcul des nouveaux facteurs. Dans une variante on peut remplacer l'équation de cette étape par une autre qui tient compte également de l'atténuation des pré-échos, par exemple par l'équation suivante :
K, -l
EnPrev = — ∑ En(k) - g2 (k)
Ainsi, on prend en compte le signal traité qui n'est plus perturbé par des prééchos.
Aux étapes 315 et 316, une fonction de lissage des facteurs est déterminée et appliquée échantillon par échantillon pour éviter des variations trop brusques du facteur.
Cette fonction de lissage est par exemple définie par les équations suivantes: gpre(O) = αgoid +(l-α)gpre'(0) gpre(i) = αgpre(i-l) +(l-α)gpre'(i), i = 1,...,L-I où on pondère le facteur défini pour l'échantillon précédent et le facteur de l'échantillon courant pour obtenir le facteur lissé.
Le dernier facteur d'atténuation obtenu pour le dernier sous-bloc à atténuer de la trame courante est mémorisé pour une utilisation dans la trame suivante à l'étape 315.
D'autres fonctions de lissage sont possibles comme par exemple une transition linéaire entre les deux valeurs de facteur, soit avec une pente constante (par exemple par pas de 0.05), soit avec une longueur fixe (par exemple sur 16 échantillons).
Une fois les facteurs ainsi calculés, l'atténuation de pré-écho est faite sur le signal reconstruit de la trame courante en multipliant chaque échantillon par le facteur correspondant : x,ecg N(Π) = g(n) xιec N(n) , n = 0 à L-l
L'étape 307 de calcul du facteur d'atténuation pour un sous-bloc, est maintenant détaillée dans un mode de réalisation particulier de l'invention en référence à la figure 7.
Dans ce mode de réalisation, on calcule d'abord à l'étape 401, le rapport maxen / En(k) de l'énergie maximale déterminée à l'étape 304 sur l'énergie du sous- bloc traité.
En pratique, ce rapport peut être inversé et les seuils adaptés en conséquence.
On teste à l'étape 402 si ce rapport est inférieur ou égal à un premier seuil Sl. La valeur de Sl est fixée à 16 dans l'exemple, cette valeur étant optimisée expérimentalement.
Si oui, la variation de l'énergie par rapport à l'énergie maximale est faible pour produire un pré-écho gênant, aucune atténuation n'est alors nécessaire. Le facteur est alors fixé à l'étape 403, à une valeur d'atténuation inhibant l'atténuation, c'est-à-dire 1.
Sinon, on teste à l'étape 404 si le rapport r est inférieur ou égal à un deuxième seuil S2. La valeur de S2 est fixée à 32 dans l'exemple, cette valeur étant optimisée expérimentalement.
Si oui, cela veut dire que l'on peut avoir un petit pré-écho gênant qui est à atténuer légèrement en fixant le facteur à l'étape 405, à une valeur d'atténuation faible, par exemple à 0,5. Quand le rapport est supérieur à ce deuxième seuil, le risque de pré-écho est alors maximal et on applique à l'étape 406 une valeur d'atténuation forte au facteur, par exemple 0,1.
Dans la plupart des cas, surtout quand le pré-écho est gênant, la trame qui précède la trame de pré-écho a une énergie homogène qui correspond à l'énergie du bruit de fond à ce moment. Selon l'expérience il n'est pas utile ni même souhaitable que l'énergie du signal devienne inférieure à l'énergie moyenne de la trame précédente après le traitement de pré-écho.
A l'étape 407 on calcule donc une valeur limite du facteur limr avec lequel on obtient pour le sous-bloc donné exactement la même énergie que l'énergie moyenne de la trame précédente. Puis à l'étape 408, on limite cette valeur à un maximum de 1 puisqu'on s'intéresse ici aux valeurs d'atténuation.
La valeur limg ainsi obtenue sert comme limite inférieure dans le calcul final du facteur d'atténuation à l'étape 409.
Dans une variante de réalisation du calcul du facteur d'atténuation, une caractéristique de débit du signal transmis peut-être pris en compte. En effet, dans une transmission à bas débit, le bruit de quantification est en général important, ce qui augmente le risque de pré-écho gênant. A l'opposé, à très haut débit, la qualité de codage peut être très bonne et aucune atténuation de pré-écho n'est alors nécessaire.
Dans le cas d'un codage/décodage multi-débit, l'information de débit peut donc être prise en compte pour déterminer le facteur d'atténuation.
Les figures 8a et 8b illustrent la mise en œuvre du procédé d'atténuation de l'invention sur un exemple typique.
Dans cet exemple le signal est échantillonné à 8 kHz, la longueur de la trame est de 160 échantillons et chaque trame est divisée en 4 sous-blocs de 40 échantillons.
Dans la partie a.) de la figure 8a, 3 trames du signal original correspondant à la partie bande étroite (0-4000Hz) du canal gauche d'un signal stéréo échantillonné à 16 kHz, sont représentées. Une attaque ou transition dans le signal est située dans le sous-bloc commençant à l'indice 360. Ce signal à été codé par exemple par une extension stéréo du codeur G.729.1.
Dans la partie b.) de la figure 8a, le résultat du décodage (uniquement le canal gauche) sans traitement de pré-écho est illustré. On peut observer le pré-écho à partir de l'échantillon 160 (début de la trame précédant la trame avec l'attaque).
La partie c.) montre l'évolution du facteur d'atténuation de pré-écho (ligne continue) obtenu par la mise en œuvre du procédé selon l'invention. La ligne pointillée représente le facteur avant lissage.
La partie d.) illustre le résultat du décodage après application du traitement de pré-écho (multiplication du signal b.) avec le signal c.)). On voit que le pré-écho a bien été supprimé.
La figure 8b illustre le même exemple typique pour lequel une mise en œuvre d'une variante de réalisation du procédé d'atténuation selon l'invention est effectuée.
Si on observe bien la figure 8a on s'aperçoit que le facteur lissé ne remonte pas à 1 au moment de l'attaque, ce qui implique une diminution de l'amplitude de l'attaque. L'impact perceptible de cette diminution est très faible mais peut néanmoins être évité.
Pour cela, on peut par exemple affecter, avant lissage, la valeur de facteur 1 aux quelques derniers échantillons du sous-bloc précédant le sous-bloc où se situe l'attaque. La partie c.) de la figure 8b donne un exemple d'une telle correction. Dans cet exemple on a affecté la valeur de facteur 1 aux 16 derniers échantillons du sous- bloc précédent le sous-bloc avec l'attaque, à partir de l'indice 344.
Ainsi la fonction de lissage accroit progressivement le facteur pour avoir une valeur proche de 1 au moment de l'attaque. L'amplitude de l'attaque est alors préservée.
La difficulté de cette méthode est de savoir, dans la trame qui précède la trame comportant l'attaque, si l'attaque se situe dans le premier sous-bloc ou non.
Si l'attaque se situe dans le premier sous-bloc, alors la valeur de facteur 1 doit être affectée aux derniers échantillons de la trame. Le problème est que sur le signal concaténé on ne peut pas déterminer avec certitude la position de l'attaque, à cause de la symétrie de cette partie du signal concaténé qui reflète en fait la propriété bien connue de " repliement temporel " de la transformée MDCT.
Les figures 9 et 10 illustrent le signal concaténé correspondant à la deuxième trame des figures 8a et 8b.
On peut en effet voir que l'attaque est dans le sous-bloc k=5 du signal concaténé. Cette attaque sera donc soit dans le deuxième soit dans le troisième sous bloc du signal reconstruit de la trame suivante. Elle ne sera donc pas dans le premier sous-bloc de la trame suivante. Il n'est alors pas nécessaire d'affecter la valeur de facteur à 1 aux derniers échantillons de la trame courante. Ceci est valable que le
signal ait effectivement l'attaque dans le deuxième sous-bloc de la trame suivante (cas de la figure 9) ou dans le troisième sous-bloc (cas de la figure 10).
Par contre, comme représenté en figure 11 ou 12, quand l'attaque est dans le 1er ou dans le 4ème sous-bloc de la trame suivante, on détecte l'attaque dans le sous- bloc k=4 du signal concaténé à cause de la symétrie de cette partie du signal concaténé.
Or si l'attaque est dans le premier sous-bloc, il faut affecter la valeur de facteur à 1 aux derniers échantillons de la trame mais cela n'est pas nécessaire quand l'attaque est dans le 4ème sous-bloc.
Une solution est de toujours affecter la valeur de facteur à 1 aux derniers échantillons de la trame si l'attaque est détectée dans le 4eme sous-bloc du signal concaténé. Si dans la trame suivante, l'attaque est dans le premier sous-bloc (cas de la figure 11) le fonctionnement est alors optimal. Par contre quand l'attaque est dans le 4ème sous-bloc (cas de la figure 12), l'atténuation est sous-optimale car autour de la fin de la trame, le facteur d'atténuation de pré-écho augmente vers 1 pour quelques échantillons puis redescend vers le niveau correct d'atténuation au début de la trame suivante. L'impact subjectif de cette sous-optimalité est faible car quand l'attaque se trouve dans le 4ème sous-bloc de la trame suivante son amplitude est bien diminuée par le fenêtrage d'analyse. Le pré-écho provoqué par cette attaque est faible.
Les figures 9 à 12 ont été obtenues avec le même signal d'entrée, en le décalant de la longueur d'un sous-bloc pour déplacer la position de l'attaque dans la trame. On peut observer en comparant les figures 11 et 12 par exemple, la différence de niveau de pré-écho en fonction de la position de l'attaque : quand l'attaque se trouve dans le 4eme sous-bloc le pré-écho est nettement plus faible.
Le procédé objet de l'invention utilise un exemple particulier de calcul du début de l'attaque (recherche du maximum d'énergie par sous-bloc) mais peut fonctionner avec toute autre méthode de détermination du début de l'attaque.
Le procédé objet de l'invention précitée s'appliquent à l'atténuation des prééchos dans tout codeur par transformée qui utilise un banc de filtre MDCT ou tout banc de filtres à reconstruction parfaite à valeur réelle ou complexe, ou les bancs de
filtres à reconstruction presque parfaite ainsi que les bancs de filtres utilisant la transformée de Fourier ou la transformée en ondelettes.
Il est à noter que dans le cas où un retard d'une trame est tolérable au décodeur, les problèmes de localisation de transitoire (attaque) dans la seconde partie du signal concaténé peuvent être évités. Le procédé de réduction des pré-échos s'applique alors directement au signal reconstruit et non plus au signal concaténé qui est hybride entre signal reconstruit / signal intermédiaire avec repliement temporel. Les moyens de détection de transition, de calcul de facteur d'atténuation et de réduction de pré-échos décrits précédemment s'appliquent.
Par ailleurs, dans le cas où le signal concaténé n'est pas défini explicitement, il est toujours possible d'utiliser le signal reconstruit à la trame courante et un signal intermédiaire de la MDCT inverse pour réaliser les opérations décrites précédemment.
Des exemples d'application de l'invention sont donnés ci-après.
Un exemple de codeur de signal stéréo est décrit en référence à la figure 13a. Un décodeur adapté comportant un dispositif d'atténuation selon l'invention est décrit en référence à la figure 13b.
La figure 13a montre un exemple de codeur, pour lequel des informations stéréo sont transmises par bande de fréquences et sont décodées dans le domaine fréquentiel.
Un signal mono M est calculé à partir des signaux d'entrée de la voie gauche L et droite R par des moyens de matriçage 500.
Le codeur intègre également des moyens de transformation temps-fréquence 502, 503 et 504 apte à réaliser une transformée, par exemple une transformée de Fourier discrète ou DFT (de l'anglais « Discrète Fourier Transform »), une transformée MDCT (de l'anglais « Modified Discrète Cosine Transform »), une transformée MCLT (de l'anglais « Modulated Complex Lapped Transform »).
On obtient ainsi, à partir des valeurs L, R et M correspondant aux signaux temporels gauche et droit, et mono, des valeurs de signaux fréquentiels gauche L et
droit R, et mono M. On utilisera pour décrire les figures 13 et 14 les caractères en italique pour des signaux dans le domaine fréquentiel.
Le signal mono M est également quantifié et codé par les moyens 501 par exemple par le codeur G.729.1 normalisé à l'UIT-T. Ce module délivre le train binaire de cœur bsti et également le signal mono décodé M transformé dans le domaine fréquentiel.
Le module 505 effectue le codage paramétrique stéréo à partir des signaux fréquentiels L, R, et M et du signal décodé M . Il délivre la première couche d'extension optionnelle du train binaire bst2 et les deux canaux du signal stéréo décodé L et R qu'on obtient en décodant les deux couche bsti et bst2.
Le signal résiduel stéréo dans le domaine fréquentiel est calculé par les moyens 506 et 507 et encodé par le moyen de codage 508 et on obtient la deuxième couche d'extension optionnelle du train binaire bst3.
Le signal encodé de cœur bsti et les couches d'extension optionnelles bst2 et bst3 sont transmis au décodeur.
La figure 13b montre un exemple de décodeur susceptible de recevoir le signal encodé de cœur bsti et les couches d'extension optionnelles bst2 et bst3.
Des moyens de décodage 600 permettent de décoder le train binaire cœur bsti et d'obtenir le signal décodé mono M . Si la première couche d'extension optionnelle bst2 est disponible elle peut être décodée par les moyens de décodage stéréo paramétrique 601 pour construire le signal stéréo décodé L et R à partir du signal décodé mono M . Sinon, L et R seront égale a M .
Quand la deuxième couche d'extension optionnelle bst3 est également disponible elle est décodée par les moyens de décodage 602 pour obtenir le signal résiduel stéréo dans le domaine fréquentiel. Ceci s'ajoute au signal stéréo décodé L et R pour augmenter la précision de la représentation fréquentielle du signal. Sinon, quand cette deuxième couche d'extension n'est pas disponible L et R restent inchangés.
Ces deux signaux subissent une transformation inverse fréquence-temps par les modules 605 et 606, une reconstruction par addition/recouvrement par les modules respectifs 607 et 608. Une réduction des pré-échos selon l'invention est alors effectuée par les modules d'atténuation 609 et 610 tels que décrit en référence à la figure 3, pour obtenir les deux canaux du signal stéréo temporel décodé L et R .
Un autre exemple de décodeur comportant un dispositif selon l'invention est maintenant décrit en référence aux figures 14a et 14b.
La figure 14a montre un exemple de codeur de l'extension en bande superélargie d'un codeur bande élargie de type G.729.1. Le signal d'entrée en bande superélargie S32 est sous-échantillonné par les moyens de sous-échantillonnage 700 pour obtenir un signal en bande élargie Si6. Ce signal est quantifié et codé par les moyens 701 par exemple par le codeur ITU G.729.1. Ce module délivre le train binaire de cœur bsti et également le signal bande élargie décodé S16 dans le domaine fréquentiel.
Le signal d'entrée en bande super-élargie S32 est transformé dans le domaine fréquentiel par les moyens de transformation 704. Les fréquences de la bande haute (bande 7000 -14000Hz) non codées dans la partie bande élargie seront encodées par les moyens de codage 704. Ce codage est basé sur le spectre du signal bande élargie décodé S16 . Les paramètres codés constituent la première extension optionnelle du train binaire bst2.
Une deuxième couche optionnelle du train binaire bst3 fourni par les moyens de codage 705, contient les paramètres pour améliorer la qualité de la bande élargie (50-7000 Hz).
Le décodeur de la figure 14b représente un décodeur en bande super-élargie (50-14000 Hz) correspondant à l'encodeur de la figure 14a. Le train binaire de cœur bsti est décodé par un codeur en bande élargie de type G.729.1 (module 800). On obtient donc le spectre du signal décodé en bande élargie. Ce spectre est éventuellement amélioré par le décodage en 801 de la deuxième couche d'extension
optionnelle bst3- Le module 801 comprend également la transformation fréquence- temps du signal bande élargie. La présente invention n'intervient pas dans cette transformation fréquence-temps pour réduire les pré-échos car ici on dispose des signaux temporels sans écho (composants CELP et TDBWE du codeur G.729.1) et donc la technique décrit dans la demande de brevet français FR 06 01466 peut être appliquée. Le signal bande élargie décodé est ensuite sur-échantillonné par un facteur de 2 dans les moyennes de sur-échantillonnage 802.
Quand la première couche d'extension optionnelle bst2 est disponible au décodeur, elle est décodée par les moyens de décodage 803.
Ce décodage est basé sur le spectre du signal bande élargie décodé S16 . Le spectre ainsi obtenu contient les valeurs non-nulles uniquement dans la zone de fréquence 7000-14000 Hz non codée par la partie en bande élargie. Dans cette configuration, entre 7000 et 14000 Hz, on ne dispose donc pas de signaux de référence sans pré-écho. Le dispositif d'atténuation selon l'invention est donc mis en œuvre.
Le signal temporel est obtenu par transformation inverse fréquence-temps par le module 504. Le module de reconstruction par addition/recouvrement fourni un signal reconstruit. La réduction des pré-échos selon la présente invention est effectué par le module d'atténuation 807 tel que décrit en référence à la figure 3.
A noter que pour cette application, le signal après transformation inverse MDCT ne contient que des fréquences supérieures à 7000 Hz. L'enveloppe temporelle de ce signal peut donc être déterminée avec une très grande précision, ce qui augmente l'efficacité de l'atténuation des pré-échos par le procédé d'atténuation de l'invention.
Un exemple de réalisation d'un dispositif d'atténuation selon l'invention est maintenant décrit en référence à la figure 15.
Matériellement, ce dispositif 100 au sens de l'invention comporte typiquement, un processeur μP coopérant avec un bloc mémoire BM incluant une mémoire de stockage et/ou de travail, ainsi qu'une mémoire tampon MEM précitée en tant que moyen pour mémoriser par exemple l'enveloppe temporelle de la trame
courante, le facteur d'atténuation calculé pour le dernier échantillon de la trame courante, l'énergie des sous-blocs de la trame courante ou toutes autres données nécessaire à la mise en oeuvre du procédé d'atténuation tel que décrit en référence aux figures 5 à 7. Ce dispositif reçoit en entrée des trames successives du signal numérique Se et délivre le signal Sa reconstruit avec atténuation de pré-échos le cas échéant.
Le bloc mémoire BM peut comporter un programme informatique comportant les instructions de code pour la mise en œuvre des étapes du procédé selon l'invention lorsque ces instructions sont exécutées par un processeur μP du dispositif et notamment une étape de définition d'un signal concaténé, à partir au moins du signal reconstruit de la trame courante, une étape de division dudit signal concaténé en sous-blocs d'échantillons de longueur déterminée, une étape de calcul d'enveloppe temporelle du signal concaténé, une étape de détection de transition de l'enveloppe temporelle vers une zone à forte énergie, une étape de détermination des sous-blocs de basse énergie précédant un sous-bloc dans lequel une transition a été détectée et une étape d'atténuation dans les sous-blocs déterminés. L'atténuation s'effectue selon un facteur d'atténuation calculé pour chacun des sous- blocs déterminés, en fonction de l'enveloppe temporelle du signal concaténé.
Les figures 5 à 7 peuvent illustrer l'algorithme d'un tel programme informatique.
Ce dispositif d'atténuation selon l'invention peut être indépendant ou intégré dans un décodeur de signal numérique.
Claims
1. Procédé d'atténuation de pré-échos dans un signal audionumérique engendré à partir d'un codage par transformée, dans lequel, au décodage, pour une trame courante de ce signal audionumérique, le procédé comporte:
- une étape de définition (CONC) d'un signal concaténé, à partir au moins du signal reconstruit de la trame courante;
- une étape de division (DIV, 301) dudit signal concaténé en sous-blocs d'échantillons de longueur déterminée;
- une étape de calcul (ENV, 302) d'enveloppe temporelle du signal concaténé;
- une étape de détection (DETECT, 304) de transition de l'enveloppe temporelle vers une zone à forte énergie;
- une étape de détermination (DETECT, 304) des sous-blocs de basse énergie précédant un sous-bloc dans lequel une transition a été détectée; et
- une étape d'atténuation (ATT) dans les sous-blocs déterminés, le procédé étant caractérisé en ce que l'atténuation s'effectue selon un facteur d'atténuation calculé pour chacun des sous-blocs déterminés, en fonction de l'enveloppe temporelle du signal concaténé.
2. Procédé selon la revendication 1, caractérisé en ce qu'une valeur minimale est fixée pour une valeur d'atténuation du facteur en fonction de l'enveloppe temporelle du signal reconstruit de la trame précédente.
3. Procédé selon la revendication 1, caractérisé en ce que le facteur d'atténuation est déterminé en fonction de l'enveloppe temporelle dudit sous-bloc, du maximum de l'enveloppe temporelle du sous-bloc comprenant ladite transition et de l'enveloppe temporelle du signal reconstruit de la trame précédente.
4. Procédé selon l'une des revendications 1 à 3, caractérisé en ce que l'enveloppe temporelle est déterminée par un calcul d'énergie par sous-blocs.
5. Procédé selon la revendication 1, caractérisé en ce qu'il comporte en outre une étape de calcul et de mémorisation de l'enveloppe temporelle de la trame courante après l'étape d'atténuation dans les sous-blocs déterminés.
6. Procédé selon la revendication 1, caractérisé en ce qu'un facteur d'atténuation de valeur 1 est attribué aux échantillons dudit sous-bloc comportant la transition ainsi qu'aux échantillons des sous-blocs suivants dans la trame courante.
7. Procédé selon la revendication 4, caractérisé en ce que le facteur d'atténuation est déterminé par sous-bloc déterminé selon les étapes suivantes:
- calcul du rapport de l'énergie maximale déterminée dans le sous-bloc comportant une transition sur l'énergie du sous-bloc courant;
- comparaison du rapport à un premier seuil;
- dans le cas où le rapport est inférieur ou égal au premier seuil, attribution d'une valeur inhibant l'atténuation au facteur d'atténuation;
- dans le cas où le rapport est supérieur au premier seuil:
. comparaison du rapport à un deuxième seuil;
. dans le cas où le rapport est inférieur ou égal au deuxième seuil, attribution d'une valeur d'atténuation faible au facteur d'atténuation;
. dans le cas où le rapport est supérieur au deuxième seuil, attribution d'une valeur d'atténuation forte au facteur d'atténuation.
8. Procédé selon la revendication 1 caractérisé en ce qu'une fonction de lissage est déterminée entre les facteurs calculés échantillon par échantillon.
9. Procédé selon la revendication 1, caractérisé en ce qu'une correction de facteur est effectuée pour le sous-bloc précédant le sous-bloc comportant une transition, en appliquant une valeur d'atténuation inhibant l'atténuation, au facteur d'atténuation appliqué à un nombre prédéterminé d'échantillons du sous-bloc précédant le sous-bloc comportant une transition
10. Dispositif d'atténuation de pré-échos dans un signal audionumérique engendré à partir d'un codeur par transformée, dans lequel, le dispositif associé à un décodeur comprend pour traiter une trame courante de ce signal audionumérique'
- un module (101) de définition d'un signal concaténé, à partir au moins du signal reconstruit de la trame courante;
- un module (102) de division dudit signal concaténé en sous-blocs d'échantillons de longueur déterminée;
- un module (103) de calcul d'enveloppe temporelle du signal concaténé;
- un module (104) de détection de transition de l'enveloppe temporelle vers une zone à forte énergie;
- un module (104) de détermination des sous-blocs de basse énergie précédant un sous-bloc dans lequel une transition a été détectée; et
- un module (105) d'atténuation dans les sous-blocs déterminés, le dispositif étant caractérisé en ce que le module d'atténuation effectue l'atténuation selon un facteur d'atténuation calculé pour chacun des sous-blocs déterminés, en fonction de l'enveloppe temporelle du signal concaténé.
11. Décodeur d'un signal audionumérique comportant un dispositif selon la revendication 10
12 Programme informatique comportant des instructions de code pour la mise en œuvre des étapes du procédé selon l'une des revendications 1 à 9, lorsque ces instructions sont exécutées par un processeur
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0856248 | 2008-09-17 | ||
| PCT/FR2009/051724 WO2010031951A1 (fr) | 2008-09-17 | 2009-09-15 | Attenuation de pre-echos dans un signal audionumerique |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| EP2347411A1 true EP2347411A1 (fr) | 2011-07-27 |
| EP2347411B1 EP2347411B1 (fr) | 2012-12-05 |
Family
ID=40174728
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| EP09747881A Active EP2347411B1 (fr) | 2008-09-17 | 2009-09-15 | Attenuation de pre-echos dans un signal audionumerique |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US8676365B2 (fr) |
| EP (1) | EP2347411B1 (fr) |
| JP (1) | JP5295372B2 (fr) |
| KR (1) | KR101655913B1 (fr) |
| CN (1) | CN102160114B (fr) |
| ES (1) | ES2400987T3 (fr) |
| RU (1) | RU2481650C2 (fr) |
| WO (1) | WO2010031951A1 (fr) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| BR122020024236B1 (pt) * | 2009-10-20 | 2021-09-14 | Fraunhofer - Gesellschaft Zur Förderung Der Angewandten Forschung E. V. | Codificador de sinal de áudio, decodificador de sinal de áudio, método para prover uma representação codificada de um conteúdo de áudio, método para prover uma representação decodificada de um conteúdo de áudio e programa de computador para uso em aplicações de baixo retardamento |
| FR2992766A1 (fr) * | 2012-06-29 | 2014-01-03 | France Telecom | Attenuation efficace de pre-echos dans un signal audionumerique |
| FR3000328A1 (fr) * | 2012-12-21 | 2014-06-27 | France Telecom | Attenuation efficace de pre-echos dans un signal audionumerique |
| EP2830061A1 (fr) | 2013-07-22 | 2015-01-28 | Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. | Appareil et procédé permettant de coder et de décoder un signal audio codé au moyen de mise en forme de bruit/ patch temporel |
| FR3025923A1 (fr) * | 2014-09-12 | 2016-03-18 | Orange | Discrimination et attenuation de pre-echos dans un signal audionumerique |
| WO2016142002A1 (fr) | 2015-03-09 | 2016-09-15 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Codeur audio, décodeur audio, procédé de codage de signal audio et procédé de décodage de signal audio codé |
| US10354667B2 (en) * | 2017-03-22 | 2019-07-16 | Immersion Networks, Inc. | System and method for processing audio data |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2674710B1 (fr) * | 1991-03-27 | 1994-11-04 | France Telecom | Procede et systeme de traitement des preechos d'un signal audio-numerique code par transformee frequentielle. |
| DE19736669C1 (de) * | 1997-08-22 | 1998-10-22 | Fraunhofer Ges Forschung | Verfahren und Vorrichtung zum Erfassen eines Anschlags in einem zeitdiskreten Audiosignal sowie Vorrichtung und Verfahren zum Codieren eines Audiosignals |
| EP1449212B1 (fr) * | 2001-11-16 | 2021-09-29 | Nagravision S.A. | Inclusion de donnees supplementaires dans un signal d'information |
| JP4290917B2 (ja) * | 2002-02-08 | 2009-07-08 | 株式会社エヌ・ティ・ティ・ドコモ | 復号装置、符号化装置、復号方法、及び、符号化方法 |
| CN1458646A (zh) * | 2003-04-21 | 2003-11-26 | 北京阜国数字技术有限公司 | 一种滤波参数矢量量化和结合量化模型预测的音频编码方法 |
| DE10324438A1 (de) * | 2003-05-28 | 2004-12-16 | Knorr-Bremse Systeme für Schienenfahrzeuge GmbH | Bremsvorrichtung eines Schienenfahrzeugs |
| SE527670C2 (sv) * | 2003-12-19 | 2006-05-09 | Ericsson Telefon Ab L M | Naturtrogenhetsoptimerad kodning med variabel ramlängd |
| RU2351024C2 (ru) * | 2005-04-28 | 2009-03-27 | Сименс Акциенгезелльшафт | Способ и устройство для подавления шумов |
| DE502006004136D1 (de) * | 2005-04-28 | 2009-08-13 | Siemens Ag | Verfahren und vorrichtung zur geräuschunterdrückung |
| DE102005019863A1 (de) * | 2005-04-28 | 2006-11-02 | Siemens Ag | Verfahren und Vorrichtung zur Geräuschunterdrückung |
| CN101228574A (zh) * | 2005-09-08 | 2008-07-23 | 北京阜国数字技术有限公司 | 一种控制前回声的编码和解码装置及方法 |
| FR2897733A1 (fr) * | 2006-02-20 | 2007-08-24 | France Telecom | Procede de discrimination et d'attenuation fiabilisees des echos d'un signal numerique dans un decodeur et dispositif correspondant |
| KR100880995B1 (ko) * | 2007-01-25 | 2009-02-03 | 후지쯔 가부시끼가이샤 | 오디오 부호화 장치 및 오디오 부호화 방법 |
-
2009
- 2009-09-15 US US13/063,002 patent/US8676365B2/en active Active
- 2009-09-15 ES ES09747881T patent/ES2400987T3/es active Active
- 2009-09-15 JP JP2011527373A patent/JP5295372B2/ja active Active
- 2009-09-15 WO PCT/FR2009/051724 patent/WO2010031951A1/fr active Application Filing
- 2009-09-15 RU RU2011115003/08A patent/RU2481650C2/ru active
- 2009-09-15 EP EP09747881A patent/EP2347411B1/fr active Active
- 2009-09-15 CN CN2009801363279A patent/CN102160114B/zh active Active
- 2009-09-15 KR KR1020117008793A patent/KR101655913B1/ko active IP Right Grant
Non-Patent Citations (1)
| Title |
|---|
| See references of WO2010031951A1 * |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2011115003A (ru) | 2012-10-27 |
| CN102160114B (zh) | 2012-08-29 |
| JP2012503214A (ja) | 2012-02-02 |
| WO2010031951A1 (fr) | 2010-03-25 |
| EP2347411B1 (fr) | 2012-12-05 |
| US8676365B2 (en) | 2014-03-18 |
| CN102160114A (zh) | 2011-08-17 |
| KR20110076936A (ko) | 2011-07-06 |
| ES2400987T3 (es) | 2013-04-16 |
| JP5295372B2 (ja) | 2013-09-18 |
| RU2481650C2 (ru) | 2013-05-10 |
| US20110178617A1 (en) | 2011-07-21 |
| KR101655913B1 (ko) | 2016-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2277172B1 (fr) | Dissimulation d'erreur de transmission dans un signal audionumerique dans une structure de decodage hierarchique | |
| EP2002428B1 (fr) | Procede de discrimination et d'attenuation fiabilisees des echos d'un signal numerique dans un decodeur et dispositif correspondant | |
| EP2080195B1 (fr) | Synthèse de blocs perdus d'un signal audionumérique | |
| EP2867893B1 (fr) | Atténuation efficace de pré-échos dans un signal audionumérique | |
| EP1316087B1 (fr) | Dissimulation d'erreurs de transmission dans un signal audio | |
| EP2586133B1 (fr) | Contrôle d'une boucle de rétroaction de mise en forme de bruit dans un codeur de signal audionumérique | |
| EP2347411B1 (fr) | Attenuation de pre-echos dans un signal audionumerique | |
| EP3020043B1 (fr) | Facteur d'échelle optimisé pour l'extension de bande de fréquence dans un décodeur de signaux audiofréquences | |
| EP2936488B1 (fr) | Atténuation efficace de pré-échos dans un signal audionumérique | |
| WO2011004098A1 (fr) | Allocation de bits dans un codage/décodage d'amélioration d'un codage/décodage hiérarchique de signaux audionumériques | |
| EP2080194B1 (fr) | Attenuation du survoisement, notamment pour la generation d'une excitation aupres d'un decodeur, en absence d'information | |
| EP3192073B1 (fr) | Discrimination et atténuation de pré-échos dans un signal audionumérique | |
| WO2007107670A2 (fr) | Procede de post-traitement d'un signal dans un decodeur audio | |
| EP2203915B1 (fr) | Dissimulation d'erreur de transmission dans un signal numerique avec repartition de la complexite | |
| WO2007006958A2 (fr) | Procédé et dispositif d'atténuation des échos d'un signal audionumérioue issu d'un codeur multicouches | |
| WO2014009657A1 (fr) | Traitement d'amelioration de la qualite des signaux audiofrequences | |
| FR3018942A1 (fr) | Estimation d'un bruit de codage introduit par un codage en compression de type micda |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
| 17P | Request for examination filed |
Effective date: 20110412 |
|
| AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR |
|
| AX | Request for extension of the european patent |
Extension state: AL BA RS |
|
| DAX | Request for extension of the european patent (deleted) | ||
| 17Q | First examination report despatched |
Effective date: 20120127 |
|
| GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
| RIN1 | Information on inventor provided before grant (corrected) |
Inventor name: KOVESI, BALAZS Inventor name: RAGOT, STEPHANE |
|
| RAP1 | Party data changed (applicant data changed or rights of an application transferred) |
Owner name: FRANCE TELECOM |
|
| GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
| GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
| AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR |
|
| REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D Free format text: NOT ENGLISH |
|
| REG | Reference to a national code |
Ref country code: CH Ref legal event code: EP |
|
| REG | Reference to a national code |
Ref country code: AT Ref legal event code: REF Ref document number: 587641 Country of ref document: AT Kind code of ref document: T Effective date: 20121215 |
|
| REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D Free format text: LANGUAGE OF EP DOCUMENT: FRENCH |
|
| REG | Reference to a national code |
Ref country code: DE Ref legal event code: R096 Ref document number: 602009011741 Country of ref document: DE Effective date: 20130131 |
|
| REG | Reference to a national code |
Ref country code: AT Ref legal event code: MK05 Ref document number: 587641 Country of ref document: AT Kind code of ref document: T Effective date: 20121205 |
|
| REG | Reference to a national code |
Ref country code: ES Ref legal event code: FG2A Ref document number: 2400987 Country of ref document: ES Kind code of ref document: T3 Effective date: 20130416 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20121205 Ref country code: NO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20130305 Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20121205 Ref country code: HR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20121205 Ref country code: LT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20121205 |
|
| REG | Reference to a national code |
Ref country code: NL Ref legal event code: VDEP Effective date: 20121205 |
|
| REG | Reference to a national code |
Ref country code: LT Ref legal event code: MG4D |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20130306 Ref country code: LV Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20121205 Ref country code: SI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20121205 Ref country code: PL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20121205 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20121205 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20130305 Ref country code: CZ Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20121205 Ref country code: IS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20130405 Ref country code: EE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20121205 Ref country code: SK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20121205 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: PT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20130405 Ref country code: NL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20121205 Ref country code: RO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20121205 |
|
| REG | Reference to a national code |
Ref country code: CH Ref legal event code: PUE Owner name: ORANGE, FR Free format text: FORMER OWNER: FRANCE TELECOM, FR |
|
| RAP2 | Party data changed (patent owner data changed or rights of a patent transferred) |
Owner name: ORANGE |
|
| PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: DK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20121205 |
|
| 26N | No opposition filed |
Effective date: 20130906 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CY Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20121205 |
|
| REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 602009011741 Country of ref document: DE Effective date: 20130906 |
|
| BERE | Be: lapsed |
Owner name: FRANCE TELECOM Effective date: 20130930 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MC Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20121205 |
|
| REG | Reference to a national code |
Ref country code: CH Ref legal event code: PL |
|
| REG | Reference to a national code |
Ref country code: IE Ref legal event code: MM4A |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LI Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20130930 Ref country code: BE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20130930 Ref country code: IE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20130915 Ref country code: CH Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20130930 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SM Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20121205 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20121205 Ref country code: TR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20121205 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LU Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20130915 Ref country code: HU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO Effective date: 20090915 Ref country code: MK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20121205 |
|
| REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 8 |
|
| REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 9 |
|
| REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 10 |
|
| PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: IT Payment date: 20230822 Year of fee payment: 15 |
|
| PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: ES Payment date: 20231002 Year of fee payment: 15 |
|
| PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: DE Payment date: 20240820 Year of fee payment: 16 |
|
| PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: GB Payment date: 20240822 Year of fee payment: 16 |
|
| PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: FR Payment date: 20240820 Year of fee payment: 16 |