EP1756806B1 - Procede de quantification d'un codeur de parole a tres bas debit - Google Patents

Procede de quantification d'un codeur de parole a tres bas debit Download PDF

Info

Publication number
EP1756806B1
EP1756806B1 EP05733605A EP05733605A EP1756806B1 EP 1756806 B1 EP1756806 B1 EP 1756806B1 EP 05733605 A EP05733605 A EP 05733605A EP 05733605 A EP05733605 A EP 05733605A EP 1756806 B1 EP1756806 B1 EP 1756806B1
Authority
EP
European Patent Office
Prior art keywords
voicing
mode
bits
pitch
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP05733605A
Other languages
German (de)
English (en)
Other versions
EP1756806A1 (fr
Inventor
François CAPMAN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales SA
Original Assignee
Thales SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales SA filed Critical Thales SA
Priority to PL05733605T priority Critical patent/PL1756806T3/pl
Publication of EP1756806A1 publication Critical patent/EP1756806A1/fr
Application granted granted Critical
Publication of EP1756806B1 publication Critical patent/EP1756806B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/087—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters using mixed excitation models, e.g. MELP, MBE, split band LPC or HVXC
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/09—Long term prediction, i.e. removing periodical redundancies, e.g. by using adaptive codebook or pitch predictor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L2019/0001—Codebooks
    • G10L2019/0004—Design or structure of the codebook
    • G10L2019/0005—Multi-stage vector quantisation

Definitions

  • the invention relates to a speech coding method. It applies in particular to the realization of vocoders very low bit rate, of the order of 600 bits per second.
  • the method is for example implemented in satellite communications, internet telephony, static answering machines, voice pagers, etc.
  • the objective of these vocoders is to reconstruct a signal that is as close as possible, in the sense of the perception by the human ear, of the original speech signal, using the lowest possible bit rate.
  • vocoders use a fully parameterized model of the speech signal.
  • the parameters used concern: the voicing that describes the harmonic character of the voiced sounds or the stochastic character of the unvoiced sounds, the fundamental frequency of the voiced sounds still known under the Anglo-Saxon term "PITCH", the temporal evolution of the energy as well as the spectral envelope of the signal to excite and parameterize the synthesis filters.
  • the spectral parameters used are the LSF (Line Spectral Frequencies) coefficients derived from a linear prediction analysis, LPC Linear Predictive Coding (Anglo-Saxon Linear Predictive Coding). The analysis is done for a conventional rate of 2400 bit / sec every 22.5 ms.
  • the ULPU document SINERVO and AL discloses a method for quantifying the spectral coefficients.
  • a multi-frame matrix quantizer is used to exploit the correlation between the LSF parameters of the adjacent frames.
  • the STACHURSKI document concerns a coding technique for bit rates around 4 kbit / s.
  • the coding technique uses a MELP model in which complex coefficients are used in speech synthesis. This document analyzes the importance of the parameters.
  • the object of the present invention is, in particular, to extend the MELP model at a rate of 600bits / sec.
  • the parameters selected are, for example, the pitch, the LSF spectral coefficients, the gains and the voicing.
  • the frames are grouped for example in a super frame of 90 ms, that is to say 4 consecutive frames of 22.5 ms of the initial scheme (scheme usually used).
  • a bit rate of 600 bits / sec is obtained from an optimization of the quantization scheme of the various parameters (pitch, coefficient LSF, gain, voicing).
  • the classification is for example developed using the information on the sequence in terms of voicing existing on 2 consecutive elementary frames.
  • the method according to the invention advantageously makes it possible to offer reliable coding for low flow rates.
  • the following detailed example by way of illustration and in no way limiting, relates to a MELP coder adapted to the bit rate of 600 bits / sec.
  • the method according to the invention relates in particular to the encoding of the parameters which make it possible to reproduce at best with a minimum of bitrate all the complexity of the speech signal.
  • the parameters selected are example: the pitch, the spectral coefficients LSF, the gains and the voicing.
  • the method uses, in particular, a vector quantization procedure with classification.
  • the figure 1 schematizes overall the various implementations at the level of a speech coder.
  • the process according to the invention takes place in 7 main steps.
  • Step 1 analyzes the signal using a MELP type algorithm known to those skilled in the art.
  • a voicing decision is made for each 22.5 ms frame and for 5 predefined frequency subbands.
  • step 2 the method groups the selected parameters: voicing, pitch, gains and LSF coefficients on N consecutive frames of 22.5 ms to form a superframe of 90 ms.
  • the value N 4 is chosen for example to form a compromise between the possible reduction of the bit rate and the delay introduced by the quantization method (compatible with current interleaving and error correction coding techniques).
  • Quantization step of the voicing information detailed at figure 2
  • the voicing information is thus represented by a binary component matrix (0: unvoiced, 1: voiced) of size (5 * 4), 5 MELP sub-bands, 4 frames.
  • the distance used is a weighted Euclidean distance in order to favor the bands located at low frequencies.
  • a weighting vector [1.0; 1.0; 0.7; 0.4; 0.1].
  • Quantized voicing information can identify sound classes for which rate allocation and associated dictionaries will be optimized. This voicing information is then put for the vector quantization of spectral parameters and gains with pre-classification.
  • the method may include a step of applying constraints.
  • the method makes use, for example, of the following 4 vectors [0,0,0,0,0], [1,0,0,0,0], [1,1,1,0 , 0], [1,1,1,1,1] indicating the voicing of the low band towards the high band.
  • Each column of the voicing matrix, associated with the voicing of one of the 4 frames constituting the superframe, is compared to each of these 4 vectors, and replaced by the nearest vector for learning the dictionary.
  • the classification information is therefore available at the level of the decoder without additional cost in terms of bit rate.
  • the method defines for example 6 classes of voicing over a horizon of 2 elementary frames:
  • the classification is for example determined using the information on the sequence in terms of voicing existing on a sub-multiple of N consecutive elementary frames, for example. example on 2 consecutive elementary frames.
  • Each super frame is thus represented on 2 classes of voicing.
  • the 6 classes of voicing thus defined are for example: Classroom Characteristics of the class 1st class UU Two consecutive unvoiced frames 2nd class UV An unvoiced frame followed by a voiced frame 3rd class VU A voiced frame followed by an unvoiced frame 4th class VV 1 Two consecutive voiced frames, with at least one weak voicing frame (1,0,0,0,0), the other frame voicing greater than or equal to 5th class VV 2 Two consecutive voiced frames, with at least one mean voicing frame (1,1,1,0,0), the other frame voicing greater than or equal to 6th class VV 3 Two consecutive voiced frames, where each frame is strongly voiced, ie where only the last subband can be unvoiced (1,1,1,1, x)
  • a dictionary is optimized for each level of voicing.
  • the dictionaries obtained are estimated in this case over a horizon of 2 elementary frames.
  • the method defines 6 quantization modes determined according to the sequence of the classes of voicing: Fashion Clash of classes 1st mode Unvoiced classes (UU) 2nd mode Unvoiced class (UU) and mixed class (UV, VU) 3rd Mode Mixed classes (UV, VU) 4th fashion Voiced Classes (VV) and Unvoiced Classes (UU) 5th Mode Voiced classes (VV) and mixed classes (UV, VU) 6th Mode Voiced Classes (V)
  • Table 1 groups the different quantization modes according to the class of voicing and Table 2 the voicing information for each of the 6 quantization modes.
  • the method implements a multi-stage type of quantification method, such as the multi-stage Vector Quantization (MSVQ) method known to man. of career.
  • MSVQ multi-stage Vector Quantization
  • a superframe consists of 4 vectors of 10 LSF coefficients and the vector quantization is applied for each grouping of 2 elementary frames (2 sub-vectors of 20 coefficients).
  • the figure 4 schematizes the evolution profile of the pitch.
  • the transmitted pitch value, its position and the evolution profile are determined by minimizing a least squares criterion on the estimated pitch trajectory of the analysis.
  • the trajectories considered are obtained for example by linear interpolation between the last pitch value of the previous super-frame and the pitch value that will be transmitted. If the value of transmitted pitch is not positioned on the last frame, the indicator of the evolution profile makes it possible to complete the trajectory either while maintaining the reached value, or by returning towards the value of "initial pitch" (the last pitch value of the previous super-frame).
  • the set of positions are considered, as well as all the pitch values between the quantized pitch value immediately below the estimated minimum pitch on the superframe and the quantized pitch value immediately greater than the estimated maximum pitch on the superframe.
  • Table 3 gives the rate allocation for the spectral parameters for each of the quantization modes. The flow distribution for each floor is given in parentheses.
  • bit rate is allocated primarily to the higher voicing class, the notion of higher voicing corresponding to a greater or equal number of voiced sub-bands.
  • the two consecutive unvoiced frames will be represented from the dictionary (6, 4, 4) while the two consecutive voiced frames will be represented by the dictionary (7, 5, 4).
  • the two consecutive mixed frames are represented by the dictionary (7,5,4) and the two consecutive frames unvoiced by the dictionary (6,4,4).
  • Table 4 contains the memory size associated with the dictionaries.
  • m can take any value, and is used to limit the complexity of finding the best vector in the dictionary.
  • the method uses vector quantization with pre-classification.
  • Table 5 groups the bit rates and the memory size associated with the dictionaries.
  • the VQ abstract corresponds to vector quantization and MSVQ the multistage vector quantization method.
  • Table 6 groups the allocation of the bit rate for the realization of the speech coder type MELP at 600 bit / sec a super frame of 54 bits (90 ms).
  • Table 6 Fashion voicing LSF pitch Gain 1 (54 bits) 5 bits (6,4,4,4) + (6,4,4,4) 32 bits 0 (7.6) 13 bits 2 (54 bits) 5 bits (6,4,4) + (7,5,4) 30 bits 6 bits (7.6) 13 bits 3 (54 bits) 5 bits (6,5,4) + (6,5,4) 30 bits 8 bits (6.5) 11 bits 4 (54 bits) 5 bits (6,4,4) + (7,5,4) 30 bits 8 bits (6.5) 11 bits 5 (54 bits) 5 bits (6,5,4) + (6,5,4) 30 bits 8 bits (6.5) 11 bits 5 (54 bits) 5 bits (6,5,4) + (6,5,4) 30 bits 8 bits (6.5) 11 bits 6 (54 bits) 5 bits (7,5,4) + (6,5,4) 32 bits 8 bits 9 bits
  • the figure 8 represents the schema at the decoding part of the vocoder.
  • the voicing index transmitted by the coder part is used to generate the quantization modes.
  • the voicing, pitch quantization, gain and LSF spectral parameters transmitted by the coder portion are de-quantized using the quantization modes obtained.
  • the different steps are performed according to a scheme similar to that described for the encoder part of the system.
  • the different de-quantized parameters are then grouped before being transmitted to the synthesis part of the decoder to restore the speech signal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Description

  • L'invention concerne un procédé de codage de la parole. Elle s'applique notamment à la réalisation de vocodeurs à très bas débit, de l'ordre de 600 bits par seconde.
  • Elle est utilisée par exemple pour le codeur MELP, (codeur à excitation mixte en anglo-saxon Mixed Excitation Linear Prediction), décrit par exemple dans l'une des références [1,2,3,4].
  • Le procédé est par exemple mis en oeuvre dans les communications par satellite, la téléphonie sur internet, les répondeurs statiques, les pageurs vocaux, etc.
  • L'objectif de ces vocodeurs est de reconstruire un signal qui soit le plus proche possible, au sens de la perception par l'oreille humaine, du signal de parole d'origine, en utilisant un débit binaire le plus faible possible.
  • Pour atteindre cet objectif, la plupart des vocodeurs utilisent un modèle totalement paramétré du signal de parole. Les paramètres utilisés concernent : le voisement qui décrit le caractère harmonique des sons voisés ou le caractère stochastique des sons non voisés, la fréquence fondamentale des sons voisés encore connue sous le vocable anglo-saxon « PITCH », l'évolution temporelle de l'énergie ainsi que l'enveloppe spectrale du signal pour exciter et paramétrer les filtres de synthèse.
  • Dans le cas du codeur MELP, les paramètres spectraux utilisés sont les coefficients LSF (en anglo-saxon Line Spectral Frequencies) dérivés d'une analyse par prédiction linéaire, LPC codage prédictif linéaire (en anglo-saxon Linear Predictive Coding). L'analyse se fait pour un débit classique de 2400 bit/sec toutes les 22.5 ms.
  • Les informations supplémentaires extraites lors de la modélisation sont :
    • o la fréquence fondamentale ou pitch,
    • o les gains,
    • o l'information de voisement en sous-bande,
    • o les coefficients de Fourier calculés sur le signal résiduel après prédiction linéaire.
  • Le document de ULPU SINERVO et AL divulgue une méthode permettant de quantifier les coefficients spectraux. Dans la méthode proposée, un quantificateur de matrice multi-trames est utilisé pour exploiter la corrélation entre les paramètres LSF des trames adjacentes.
  • Le document de STACHURSKI concerne une technique de codage pour des débits autour de 4 kbits/s. La technique de codage utilise un modèle MELP dans lequel les coefficients complexes sont utilisés dans la synthèses de parole. Dans ce document on analyse l'importance des paramètres.
  • L'objet de la présente invention est, notamment, d'étendre le modèle MELP au débit de 600bits/sec. Les paramètres retenus sont par exemple, le pitch, les coefficients spectraux LSF, les gains et le voisement. Les trames sont regroupées par exemple en une super trame de 90 ms, c'est-à-dire 4 trames consécutives de 22.5 ms du schéma initial (schéma habituellement utilisé).
  • Un débit de 600 bits/sec est obtenu à partir d'une optimisation du schéma de quantification des différents paramètres (pitch, coefficient LSF, gain, voisement).
  • L'invention comme definie dans la revendication 1 concerne un procédé de codage et de décodage de la parole pour les communications vocales utilisant un vocodeur à très bas débit, 600 bits par seconde, comportant une partie analyse pour le codage et la transmission des paramètres du signal de parole, tels que l'information de voisement par sous-bande, le pitch, les gains, les paramètres spectraux LSF et une partie synthèse pour la réception et le décodage des paramètres transmis et la reconstruction du signal de parole. Il est caractérisé en ce qu'il comporte au moins les étapes suivantes :
    • regrouper les paramètres voisement, pitch, gains, coefficients LSF sur N trames consécutives pour former une super-trame, avec N = 4,
    • effectuer une quantification vectorielle de l'information de voisement pour chaque super-trame en élaborant une classification utilisant les informations sur l'enchaînement en termes de voisement existant sur un sous-multiple de N, sur 2, trames élémentaires consécutives, l'information de voisement permet en effet d'identifier des classes de sons pour lesquels l'allocation du débit et les dictionnaires associés seront optimisés,
    • coder le pitch, les gains et les coefficients LSF en utilisant la classification obtenue.
  • La classification est par exemple élaborée en utilisant les informations sur l'enchaînement en termes de voisement existant sur 2 trames élémentaires consécutives.
  • Le procédé selon l'invention permet avantageusement d'offrir un codage fiable pour des faibles débits.
  • D'autres caractéristiques et avantages de la présente invention apparaîtront mieux à la lecture de la description d'un exemple de réalisation donné à titre illustratif, annexé des figures qui représentent :
    • o La figure 1 un schéma général du procédé selon l'invention pour la partie codeur,
    • o La figure 2 le schéma fonctionnel de la quantification vectorielle de l'information de voisement,
    • o Les figures 3 et 4 le schéma fonctionnel de la quantification vectorielle du pitch,
    • o La figure 5 le schéma fonctionnel de la quantification vectorielle des paramètres spectraux (coefficients LSF),
    • o La figure 6 le schéma fonctionnel de quantification vectorielle multi-étages,
    • o La figure 7 le schéma fonctionnel de la quantification vectorielle des gains,
    • o La figure 8 un schéma appliqué à la partie décodeur.
  • L'exemple détaillé ci-après, à titre illustratif et nullement limitatif, concerne un codeur MELP adapté au débit de 600 bits/sec.
  • Le procédé selon l'invention porte notamment sur l'encodage des paramètres qui permettent de reproduire au mieux avec un minimum de débit toute la complexité du signal de parole. Les paramètres retenus sont par exemple : le pitch, les coefficients spectraux LSF, les gains et le voisement. Le procédé fait notamment appel à une procédure de quantification vectorielle avec classification.
  • La figure 1 schématise globalement les différentes mises en oeuvre au niveau d'un codeur de la parole. Le procédé selon l'invention se déroule en 7 étapes principales.
    • Etape d'analyse du signal de parole
  • L'étape 1 analyse le signal au moyen d'un algorithme de type MELP connu de l'Homme du métier. Dans le modèle MELP, une décision de voisement est prise pour chaque trame de 22.5 ms et pour 5 sous-bandes de fréquences prédéfinies.
    • Etape de regroupement des paramètres
  • Pour l'étape 2, le procédé regroupe les paramètres sélectionnés : voisement, pitch, gains et coefficients LSF sur N trames consécutives de 22.5 ms pour former une supertrame de 90 ms. La valeur N=4 est choisie par exemple pour former un compromis entre la réduction possible du débit binaire et le retard introduit par le procédé de quantification (compatible avec les techniques d'entrelacement et de codage correcteur d'erreurs actuelles). Etape de quantification de l'information de voisement - détaillée à la figure 2
  • A l'horizon d'une supertrame, l'information de voisement est donc représentée par une matrice à composantes binaires (0 : non voisé ; 1 : voisé) de taille (5*4), 5 sous-bandes MELP, 4 trames.
  • Le procédé utilise une procédure de quantification vectorielle sur n bits, avec par exemple n=5. La distance utilisée est une distance euclidienne pondérée afin de favoriser les bandes situées en basses fréquences. On utilise par exemple comme vecteur de pondération [1.0 ; 1.0 ; 0.7 ; 0.4 ; 0.1].
  • L'information de voisement quantifiée permet d'identifier des classes de sons pour lesquels l'allocation du débit et les dictionnaires associés seront optimisés. Cette information de voisement est ensuite mise en oeuvre pour la quantification vectorielle des paramètres spectraux et des gains avec pré-classification.
  • Le procédé peut comporter une étape d'application de contraintes. Lors de la phase d'apprentissage, le procédé fait par exemple appel aux 4 vecteurs suivants [0,0,0,0,0], [1,0,0,0,0], [1,1,1,0,0], [1,1,1,1,1] indiquant le voisement de la bande basse vers la bande haute. Chaque colonne de la matrice de voisement , associée au voisement d'une des 4 trames constitutant la supertrame, est comparée à chacun de ces 4 vecteurs, et remplacée par le vecteur le plus proche pour l'apprentissage du dictionnaire.
  • Lors du codage, on applique la même contrainte (choix des 4 vecteurs précédents) et on réalise la quantification vectorielle QV en appliquant le dictionnaire trouvé précédemment. On obtient ainsi les indices de voisement.
  • Dans le cas du modèle MELP, l'information de voisement faisant partie des paramètres à transmettre, l'information de classification est donc disponible au niveau du décodeur sans surcoût en terme de débit.
  • En fonction de l'information de voisement quantifiée, des dictionnaires sont optimisés. Pour cela le procédé définit par exemple 6 classes de voisement sur un horizon de 2 trames élémentaires: La classification est par exemple déterminée en utilisant les informations sur l'enchaînement en termes de voisement existant sur un sous-multiple de N trames élémentaires consécutives, par exemple sur 2 trames élémentaires consécutives.
  • Chaque super trame est donc représentée sur 2 classes de voisement. Les 6 classes de voisement ainsi définies sont par exemple :
    Classe Caractéristiques de la classe
    1ère classe UU Deux trames consécutives non voisées
    2ème classe UV Une trame non voisée suivie d'une trame voisée
    3ème classe VU Une trame voisée suivie d'une trame non voisée
    4ème classe VV1 Deux trames consécutives voisées, avec au moins une trame de voisement faible (1,0,0,0,0), l'autre trame étant de voisement supérieur ou égal
    5ème classe VV2 Deux trames consécutives voisées, avec au moins une trame de voisement moyen (1,1,1,0,0), l'autre trame étant de voisement supérieur ou égal
    6ème classe VV3 Deux trames consécutives voisées, où chacune des trames est fortement voisée, c'est-à-dire où seule la dernière sous-bande peut être non voisée (1,1,1,1,x)
  • Un dictionnaire est optimisé pour chaque niveau de voisement. Les dictionnaires obtenus sont estimés dans ce cas sur un horizon de 2 trames élémentaires.
  • Les vecteurs obtenus sont donc de taille 20=2*10 coefficients LSF, selon l'ordre de l'analyse par prédiction linéaire dans le modèle MELP initial.
    • Etape de définition des modes de quantification détaillée à la figure 1
  • A partir des ces différentes classes de quantification, le procédé définit 6 modes de quantification déterminés selon l'enchaînement des classes de voisement :
    Mode Enchaînement des classes
    1er mode Classes non voisées (UU)
    2ème mode Classe non voisée (UU) et classe mixte (UV, VU)
    3ème mode Classes mixtes (UV, VU)
    4ème mode Classes voisées (VV) et classes non voisées (UU)
    5ème mode Classes voisées (VV) et classes mixtes (UV, VU)
    6ème mode Classes voisées (VV)
  • La table 1 regroupe les différents modes de quantification en fonction de la classe de voisement et la table 2 l'information de voisement pour chacun des 6 modes de quantification. Table 1
    Classe 1 : UU Classe 2 : UV Classe 3 : VU Classe 4,5,6 : VV
    Classe 1 : UU 1 2 2 4
    Classe 2 : UV 2 3 3 5
    Classe 3 : VU 2 3 3 5
    Classe 4,5,6 : VV 4 5 5 6
    Table 2
    Information de voisement
    Mode 1 (UU|UU)
    Mode 2 (UU|UV), (UU|VU), (UV|UU), (VU|UU)
    Mode 3 (UV|UV), (UV|VU), (VU|UV), (VU|VU)
    Mode 4 (VV|UU), (UU|VV)
    Mode 5 (VV|UV), (VV|VU), (UV|VV), (VU|VV)
    Mode 6 (VV|VV)
  • Afin de limiter la taille des dictionnaires et de réduire la complexité de recherche, le procédé met en oeuvre une méthode de quantification de type multi-étages, telle que la méthode MSVQ (en anglo-saxon Multi Stage Vector Quantisation) connue de l'Homme du métier.
  • Dans l'exemple donné, une supertrame est constituée de 4 vecteurs de 10 coefficients LSF et la quantification vectorielle est appliquée pour chaque regroupement de 2 trames élémentaires (2 sous-vecteurs de 20 coefficients).
  • Il y a donc au moins 2 quantifications vectorielles multiétages dont les dictionnaires sont déduits de la classification (table 1).
    • Etape de quantification du pitch figures 3 et 4
  • Le pitch est quantifié de façon différente selon le mode.
    • ο Dans le cas du mode 1 (non voisé, nombre de trames voisées égal à 0), aucune information de pitch n'est transmise.
    • ο Dans le cas du mode 2, une seule trame est considérée comme voisée et identifiée par l'information de voisement. Le pitch est alors représenté sur 6 bits (quantification scalaire de la période de pitch après compression logarithmique).
    • ο Dans les autres modes :
      • ο 5 bits sont utilisés pour transmettre une valeur de pitch (quantification scalaire de la période de pitch après compression logarithmique),
      • ο 2 bits sont utilisés pour positionner la valeur de pitch sur une des 4 trames
      • ο 1 bit est utilisé pour caractériser le profil d'évolution.
  • La figure 4 schématise le profil d'évolution du pitch. La valeur de pitch transmise, sa position et le profil d'évolution sont déterminés en minimisant un critère des moindres carrés sur la trajectoire de pitch estimée à l'analyse. Les trajectoires considérées sont obtenues par exemple par interpolation linéaire entre la dernière valeur de pitch de la super trame précédente et la valeur de pitch qui sera transmise. Si la valeur de pitch transmise n'est pas positionnée sur la dernière trame, l'indicateur du profil d'évolution permet de compléter la trajectoire soit en maintenant la valeur atteinte, soit en retournant vers la valeur de « pitch initiale » (la dernière valeur de pitch de la super trame précédente). L'ensemble des positions sont considérées, ainsi que toutes les valeurs de pitch comprises entre la valeur de pitch quantifiée immédiatement inférieure au pitch minimal estimé sur la super trame et la valeur de pitch quantifiée immédiatement supérieure au pitch maximal estimé sur la super trame.
    • Etape de quantification des paramètres spectraux, des coefficients LSF détaillée aux figures 5, 6
  • La table 3 donne l'allocation du débit pour les paramètres spectraux pour chacun des modes de quantification. La répartition du débit pour chaque étage est donnée entre parenthèses. Table 3
    Mode de quantification Allocation du débit (MSVQ)
    Mode 1 (6,4,4,4) + (6,4,4,4) = 36 bits
    Mode 2 (6,4,4) + (7,5,4) = 30 bits
    Mode 3 (6,5,4) + (6,5,4) = 30 bits
    Mode 4 (6,4,4) + (7,5,4) = 30 bits
    Mode 5 (6,5,4) + (6,5,4) = 30 bits
    Mode 6 (7,5,4) + (7,5,4) = 32 bits
  • Dans chacun des 6 modes, le débit est alloué prioritairement à la classe de voisement supérieur, la notion de voisement supérieur correspondant à un nombre de sous-bandes voisées supérieur ou égal.
  • Par exemple, dans le mode 4, les deux trames consécutives non voisées seront représentées à partir du dictionnaire (6, 4, 4) tandis que les deux trames consécutives voisées seront représentées par le dictionnaire (7, 5, 4). Dans le mode 2 les deux trames consécutives mixtes sont représentées par le dictionnaire (7,5,4) et les deux trames consécutives non voisées par le dictionnaire (6,4,4).
  • La table 4 regroupe la taille mémoire associée aux dictionnaires. Table 4
    Classe Mode MSVO type Nombre de vecteurs Taille mémoire
    UU Mode 1 MSVQ (6,4,4,4) (64+16+16+16) 2240 mots
    UU Modes 2,4 MSVQ (6,4,4) Inclus dans (6,4,4,4) 0
    UV Mode 2 MSVQ (7,5,4) (128+32+16) 3520 mots
    UV Mode 3,5 MSVQ (6,5,4) (64 + 32 +16) 2240 mots
    VU Mode 2 MSVO (7,5,4) (128+32+16) 3520 mots
    VU Mode 3,5 MSVQ (6,5,4) (64 + 32 +16) 2240 mots
    VV Mode 4,6 MSVQ (7,5,4) (128+32+16)* 3 10560 mots
    VV Mode 5 MSVQ (6,5,4) (64 + 32 +16)* 3 6720 mots
    TOTAL = 31040 mots
    • Etape de quantification du paramètre gains détaillée à la figure 7
  • Un vecteur de m gains avec m=8 est par exemple calculé pour chaque supertrame (2 gains par trame de 22.5 ms, schéma utilisé habituellement pour le MELP). m peut prendre n'importe quelle valeur, et est utilisé pour limiter la complexité de la recherche du meilleur vecteur dans le dictionnaire.
  • Le procédé utilise une quantification vectorielle avec pré-classification. La table 5 regroupe les débits et la taille mémoire associée aux dictionnaires.
  • Le procédé calcule les gains, puis il regroupe les gains sur N trames, avec N= 4 dans cet exemple. Il utilise ensuite la quantification vectorielle et le mode de classification prédéfini (à partir de l'information de voisement) pour obtenir les indices associés aux gains. Les indices étant ensuite transmis vers la partie décodeur du système. Table 5
    Mode Allocation du débit MSVOEVQ MSVQ type Nombre de vecteurs Taille mémoire
    Modes 1,2 (7,6) =13 bits MSVQ (7,6) (128+64) 1536 mots
    Modes 3,4,5 (6,5) = 11 bits MSVQ (6,5) (64+32) 768 mots
    Mode 6 (9) = 9 bits VQ (9) 512 4096 mots
    TOTAL = 6400 mots
  • L'abrégé VQ correspond à la quantification vectorielle et MSVQ la méthode de quantification vectorielle multiétages.
    • Evaluation du débit
  • La table 6 regroupe l'allocation du débit pour la réalisation du codeur de parole de type MELP à 600 bit/sec une super trame de 54 bits (90ms). Table 6
    Mode Voisement LSF Pitch Gain
    1 (54 bits) 5 bits (6,4,4,4) + (6,4,4,4) 32 bits 0 (7,6) 13 bits
    2 (54 bits) 5 bits (6,4,4) + (7,5,4) 30 bits 6 bits (7,6) 13 bits
    3 (54 bits) 5 bits (6,5,4) + (6,5,4) 30 bits 8 bits (6,5) 11 bits
    4 (54 bits) 5 bits (6,4,4) + (7,5,4) 30 bits 8 bits (6,5) 11 bits
    5 (54 bits) 5 bits (6,5,4) + (6,5,4) 30 bits 8 bits (6,5) 11 bits
    6 (54 bits) 5 bits (7,5,4) + (7,5,4) 32 bits 8 bits 9 bits
  • La figure 8 représente le schéma au niveau de la partie décodage du vocodeur. L'indice de voisement transmis par la partie codeur est utilisé pour générer les modes de quantification. Les indices de voisement, de quantification du pitch, des gains et des paramètres spectraux LSF transmis par la partie codeur sont dé-quantifiés en utilisant les modes de quantification obtenus. Les différentes étapes sont effectuées selon un schéma semblable à celui décrit pour la partie codeur du système. Les différents paramètres dé-quantifiés sont ensuite regroupés avant d'être transmis à la partie synthèse du décodeur pour restituer le signal de parole.
    • Références :
    1. 1 - « A Mixed Excitation LPC Vocoder Model for Low Bit Rate Speech Coding », A.V. McCree, T.P. Barnwell III, IEEE Transactions on Speech and Audio Processing, Vol. 3, n°4, pp 242-250, July 1995.
    2. 2 - « A 2.4 kbits/s MELP Coder Candidate for the New US Federal Standard », A.V. McCree, K. Truong, E.B. George, T.P. Barnwell III, Viswanathan V., Proceedings of IEEE ICASSP, pp 200-203, 1996.
    3. 3 - « MELP : The New Federal Standard at 2400 BPS », L.Supplee, R. Cohn, J. Collura, A.V. McCree, Proceedings of IEEE ICASSP, pp 1591-1594, 1997.
    4. 4 - « The 1200 and 2400 bit/s NATO Interoperable Narrow Band Voice Coder », NATO STANAG n ° 4591.

Claims (12)

  1. Procédé de codage et de décodage de la parole pour les communications vocales utilisant un vocodeur à très bas débit de 600 bits/s comportant une partie analyse pour le codage et la transmission des paramètres du signal de parole, tels que l'information de voisement par sous-bande, le pitch, les gains, les paramètres spectraux LSF et une partie synthèse pour la réception et le décodage des paramètres transmis et la reconstruction du signal de parole caractérisé en ce qu'il comporte au moins les étapes suivantes :
    • regrouper les paramètres voisement, pitch, gains, coefficients LSF sur N trames consécutives pour former une super-trame, avec N = 4,
    • effectuer une quantification vectorielle de l'information de voisement pour chaque super-trame en élaborant une classification utilisant les informations sur l'enchaînement en termes de voisement existant sur 2 trames élémentaires consécutives, l'information de voisement permet en effet d'identifier des classes de sons pour lesquels l'allocation du débit et les dictionnaires associés seront optimisés,
    • les classes sont au nombre de 6 et définies de la manière suivante : Classe Caractéristiques de la classe 1ère classe UU Deux trames consécutives non voisées 2ème classe UV Une trame non voisée suivie d'une trame voisée 3ème classe VU Une trame voisée suivie d'une trame non voisée 4ème classe VV1 Deux trames consécutives voisées, avec au moins une trame de voisement faible (1,0,0,0,0), l'autre trame étant de voisement supérieur ou égal 5ème classe VV2 Deux trames consécutives voisées, avec au moins une trame de voisement moyen (1,1,1,0,0), l'autre trame étant de voisement supérieur ou égal 6ème classe VV3 Deux trames consécutives voisées, où chacune des trames est fortement voisée, c'est-à-dire où seule la dernière sous-bande peut être non voisée (1,1,1,1,x)
    • coder le pitch, les gains et les coefficients LSF en utilisant la classification obtenue.
  2. Procédé selon la revendication 1, caractérisé en ce qu'il définit 6 modes de quantification selon l'enchaînement des classes de voisement.
  3. Procédé selon la revendication 2, caractérisé en ce que N=4 et les modes de quantification sont les suivants : Information de voisement Mode 1 (UU|UU) Mode 2 (UU|UV), (UU|VU), (UV|UU), (VU|UU) Mode 3 (UV|UV), (UV|VU), (VU|UV), (VU|VU) Mode 4 (VV|UU), (UU|VV) Mode 5 (VV|UV), (VV|VU), (UV|VV), (VU|VV) Mode 6 (VV|VV)
  4. Procédé selon l'une des revendications 1 à 3, caractérisé en ce qu'il utilise une méthode de quantification de type multi-étages pour limiter la taille des dictionnaires et réduire la complexité de recherche.
  5. Procédé selon la revendication 1, caractérisé en ce que pour quantifier les paramètres spectraux LSF, le débit est alloué prioritairement à la classe de voisement supérieur.
  6. Procédé selon la revendication 3, caractérisé en ce que l'allocation du débit pour chacun des modes de quantification est le suivant : Mode de quantification Allocation du débit (MSVQ) Mode 1 (6,4,4,4) + (6,4,4,4) = 36 bits Mode 2 (6,4,4) + (7,5,4) = 30 bits Mode 3 (6,5,4) + (6,5,4) = 30 bits Mode 4 (6,4,4) + (7,5,4) = 30 bits Mode 5 (6,5,4) + (6,5,4) = 30 bits Mode 6 (7,5,4) + (7,5,4) = 32 bits
  7. Procédé selon la revendication 1, caractérisé en ce que pour quantifier le paramètre gain un vecteur de au moins 8 gains est calculé pour chaque supertrame.
  8. Procédé selon la revendication 7, caractérisé en ce que l'allocation du débit pour un codeur de type MELP à 600 bits/s et pour une super-trame de 54 bits est le suivant : Mode Allocation du débit MSVQ/VQ Modes 1,2 (7,6) = 13 bits Modes 3,4,5 (6,5) = 11 bits Mode 6 (9) = 9 bits
  9. Procédé selon la revendication 1, caractérisé en ce que pour la quantification du pitch, il comporte au moins les étapes suivantes :
    ○ si toutes les trames sont non voisées, aucune information de pitch n'est transmise,
    ○ si une trame est voisée, sa position est identifiée par l'information de voisement et sa valeur est codée,
    ○ si le nombre de trames voisées est supérieur ou égal à 2, une valeur de pitch est transmise, on positionne la valeur de pitch sur une des N trames, on caractérise le profil d'évolution.
  10. Procédé selon la revendication 9, caractérisé en ce que l'on détermine la valeur de pitch transmise, sa position et le profil d'évolution en utilisant un critère des moindres carrés sur la trajectoire de pitch estimée à l'analyse.
  11. Procédé selon la revendication 10, caractérisé en ce que on détermine les trajectoires par interpolation linéaire entre la dernière valeur de pitch de la super trame précédente et la valeur de pitch qui sera transmise, si la valeur de pitch transmise n'est pas positionnée sur la dernière trame, alors on complète la trajectoire en maintenant la valeur atteinte ou bien en retournant vers la dernière valeur de pitch de la super trame précédente.
  12. Utilisation du procédé selon une des revendications 1 à 11 à un codeur de parole de type MELP à 600 bits/s.
EP05733605A 2004-04-19 2005-04-14 Procede de quantification d'un codeur de parole a tres bas debit Active EP1756806B1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PL05733605T PL1756806T3 (pl) 2004-04-19 2005-04-14 Sposób kwantyzacji kodera mowy o bardzo małej przepływności

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0404105A FR2869151B1 (fr) 2004-04-19 2004-04-19 Procede de quantification d'un codeur de parole a tres bas debit
PCT/EP2005/051661 WO2005114653A1 (fr) 2004-04-19 2005-04-14 Procede de quantification d'un codeur de parole a tres bas debit

Publications (2)

Publication Number Publication Date
EP1756806A1 EP1756806A1 (fr) 2007-02-28
EP1756806B1 true EP1756806B1 (fr) 2009-12-30

Family

ID=34945858

Family Applications (1)

Application Number Title Priority Date Filing Date
EP05733605A Active EP1756806B1 (fr) 2004-04-19 2005-04-14 Procede de quantification d'un codeur de parole a tres bas debit

Country Status (9)

Country Link
US (1) US7716045B2 (fr)
EP (1) EP1756806B1 (fr)
AT (1) ATE453909T1 (fr)
CA (1) CA2567162C (fr)
DE (1) DE602005018637D1 (fr)
ES (1) ES2338801T3 (fr)
FR (1) FR2869151B1 (fr)
PL (1) PL1756806T3 (fr)
WO (1) WO2005114653A1 (fr)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008092473A1 (fr) * 2007-01-31 2008-08-07 Telecom Italia S.P.A. Procédé et système personnalisables de reconnaissance d'émotions
PT2313887T (pt) * 2008-07-10 2017-11-14 Voiceage Corp Dispositivo e método de quantificação de filtro de lpc de taxa de bits variável e quantificação inversa
CN114333862B (zh) * 2021-11-10 2024-05-03 腾讯科技（深圳）有限公司 音频编码方法、解码方法、装置、设备、存储介质及产品

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995010760A2 (fr) * 1993-10-08 1995-04-20 Comsat Corporation Codeurs vocaux a bas debit binaire ameliores et procedes pour leur utilisation
US6263307B1 (en) * 1995-04-19 2001-07-17 Texas Instruments Incorporated Adaptive weiner filtering using line spectral frequencies
US5774837A (en) * 1995-09-13 1998-06-30 Voxware, Inc. Speech coding system and method using voicing probability determination
US5806027A (en) * 1996-09-19 1998-09-08 Texas Instruments Incorporated Variable framerate parameter encoding
US6081776A (en) * 1998-07-13 2000-06-27 Lockheed Martin Corp. Speech coding system and method including adaptive finite impulse response filter
US6377915B1 (en) * 1999-03-17 2002-04-23 Yrp Advanced Mobile Communication Systems Research Laboratories Co., Ltd. Speech decoding using mix ratio table
US7315815B1 (en) * 1999-09-22 2008-01-01 Microsoft Corporation LPC-harmonic vocoder with superframe structure
US6475145B1 (en) * 2000-05-17 2002-11-05 Baymar, Inc. Method and apparatus for detection of acid reflux

Also Published As

Publication number Publication date
DE602005018637D1 (de) 2010-02-11
WO2005114653A1 (fr) 2005-12-01
US7716045B2 (en) 2010-05-11
FR2869151B1 (fr) 2007-01-26
EP1756806A1 (fr) 2007-02-28
PL1756806T3 (pl) 2010-06-30
CA2567162A1 (fr) 2005-12-01
CA2567162C (fr) 2013-07-23
FR2869151A1 (fr) 2005-10-21
US20070219789A1 (en) 2007-09-20
ATE453909T1 (de) 2010-01-15
ES2338801T3 (es) 2010-05-12

Similar Documents

Publication Publication Date Title
USRE49363E1 (en) Variable bit rate LPC filter quantizing and inverse quantizing device and method
EP1222659B1 (fr) Vocodeur harmonique a codage predictif lineaire (lpc) avec structure a supertrame
CN101180676B (zh) 用于谱包络表示的向量量化的方法和设备
US8515767B2 (en) Technique for encoding/decoding of codebook indices for quantized MDCT spectrum in scalable speech and audio codecs
US8069040B2 (en) Systems, methods, and apparatus for quantization of spectral envelope representation
US6260009B1 (en) CELP-based to CELP-based vocoder packet translation
US10194151B2 (en) Signal encoding method and apparatus and signal decoding method and apparatus
KR100487943B1 (ko) 음성 코딩
US6463407B2 (en) Low bit-rate coding of unvoiced segments of speech
JP2004310088A (ja) 半レート・ボコーダ
JP2004517348A (ja) 非音声のスピーチの高性能の低ビット速度コード化方法および装置
EP4293666A2 (fr) Procédé et appareil de codage de signal ainsi que procédé et appareil de décodage de signal
WO1999016050A1 (fr) Codec a geometrie variable et integree pour signaux de parole et de son
US6260017B1 (en) Multipulse interpolative coding of transition speech frames
EP1597721B1 (fr) Transcodage 600 bps a prediction lineaire avec excitation mixte (melp)
EP1756806B1 (fr) Procede de quantification d'un codeur de parole a tres bas debit
JPH09508479A (ja) バースト励起線形予測
EP1187337A1 (fr) Codeur de parole, processeur de parole et procede de traitement de la parole
US20100094623A1 (en) Encoding device and encoding method
Marie Docteur en Sciences
De Martin 58 8 kbit/s LD-CELP Coding for Mobile Radio Ezio Biglieri
JPH04243300A (ja) 音声符号化方式

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20061026

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU MC NL PL PT RO SE SI SK TR

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20090223

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU MC NL PL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

REF Corresponds to:

Ref document number: 602005018637

Country of ref document: DE

Date of ref document: 20100211

Kind code of ref document: P

REG Reference to a national code

Ref country code: SE

Ref legal event code: TRGR

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091230

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20091230

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2338801

Country of ref document: ES

Kind code of ref document: T3

LTIE Lt: invalidation of european patent or patent extension

Effective date: 20091230

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091230

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091230

REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100430

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091230

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091230

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091230

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100330

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091230

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091230

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100331

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091230

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091230

BERE Be: lapsed

Owner name: THALES

Effective date: 20100430

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100430

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

26N No opposition filed

Effective date: 20101001

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091230

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100430

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100701

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100414

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: TR

Payment date: 20160318

Year of fee payment: 12

Ref country code: ES

Payment date: 20160330

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20160413

Year of fee payment: 12

Ref country code: DE

Payment date: 20160405

Year of fee payment: 12

Ref country code: FI

Payment date: 20160411

Year of fee payment: 12

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: PL

Payment date: 20160404

Year of fee payment: 12

Ref country code: IT

Payment date: 20160418

Year of fee payment: 12

Ref country code: SE

Payment date: 20160412

Year of fee payment: 12

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 13

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 602005018637

Country of ref document: DE

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20170414

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20171103

Ref country code: FI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170414

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170415

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170414

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 14

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170414

REG Reference to a national code

Ref country code: ES

Ref legal event code: FD2A

Effective date: 20180705

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170415

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170414

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170414

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20230328

Year of fee payment: 19

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230517