EP2951813A1 - Correction perfectionnée de perte de trame au décodage d'un signal - Google Patents

Correction perfectionnée de perte de trame au décodage d'un signal

Info

Publication number
EP2951813A1
EP2951813A1 EP14705848.1A EP14705848A EP2951813A1 EP 2951813 A1 EP2951813 A1 EP 2951813A1 EP 14705848 A EP14705848 A EP 14705848A EP 2951813 A1 EP2951813 A1 EP 2951813A1
Authority
EP
European Patent Office
Prior art keywords
signal
segment
frame
spectral components
synthesis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP14705848.1A
Other languages
German (de)
English (en)
Other versions
EP2951813B1 (fr
Inventor
Julien Faure
Stéphane RAGOT
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
Orange SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange SA filed Critical Orange SA
Publication of EP2951813A1 publication Critical patent/EP2951813A1/fr
Application granted granted Critical
Publication of EP2951813B1 publication Critical patent/EP2951813B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/093—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters using sinusoidal excitation models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L2019/0001—Codebooks
    • G10L2019/0016—Codebook for LPC parameters

Definitions

  • the present invention relates to a signal correction, in particular in a decoder, in the event of loss of frame upon reception of the signal by this decoder.
  • the signal is in the form of a succession of samples, divided into successive frames and "frame" is then understood to mean a signal segment composed of one or more samples (an embodiment where a frame comprises a single sample being possible if the signal is in the form of a series of samples, for example in ITU-T Recommendation G.711 codecs).
  • the invention lies in the field of digital signal processing, in particular but not exclusively in the field of coding / decoding of an audio signal.
  • Frame loss occurs when communication (either real-time transmission or storage for later transmission) using an encoder and a decoder is disturbed by channel conditions (because of radio problems, access network congestion, etc.).
  • the decoder uses frame loss correction mechanisms (or “masking”) to try to substitute the missing signal with a reconstituted signal, using the information available within the decoder (for example the already decoded signal or parameters received in previous frames). This technique maintains a good quality of service despite degraded channel performance.
  • Frame loss correction techniques are most often very dependent on the type of coding used.
  • the frame loss correction exploits in particular the CELP model.
  • the solution to replace a lost frame is to prolong the use of a long-term prediction gain by attenuating it, and to extend the use of each ISF parameter (for "Imittance Spectral Frequency") by making them tend towards their respective averages.
  • the pitch of the speech signal (or "pitch", parameter designated “LTP lag") is also repeated.
  • the decoder of the random values of parameters characterizing "innovation" (excitation in CELP coding).
  • the most used technique for correcting frame loss in the case of transform coding is to repeat the decoded spectrum in the last received frame.
  • the modified modulated lapped transform is equivalent to a modified discrete cosine transform (MDCT) with a 50% overlap and sinusoidal analysis / synthesis windows, ensures a transition (between the last lost frame and the repeated frame) which is slow enough to erase the artifacts related to the simple repetition of the spectrum; typically, if more than one frame is lost, the repeated spectrum is set to zero.
  • this masking method does not require additional delay since it exploits the overlap-addition between the reconstituted signal and the passed signal to achieve a sort of "crossfade” (with time folding due to the MLT transform). This is a very inexpensive technique in terms of resources.
  • the present invention improves the situation. To this end, it proposes a method of processing a signal comprising a succession of samples distributed in successive frames, the method being implemented during a decoding of said signal to replace at least one lost signal frame at decoding.
  • the method comprises the steps:
  • frame is understood to mean a block of at least one sample. In most codecs, these frames consist of several samples. However, in particular PCM type codes (for "Puise Code Modulation"), for example according to the G.711 recommendation, the signal consists simply of a succession of samples (a "frame” within the meaning of the invention with only one sample). The invention can then also be applied to this type of codec.
  • the valid signal may consist of the last valid frames received before the frame loss.
  • the samples of the valid signal that are used can be directly those of the frames, and possibly those which correspond to the memory of the transform and which typically contain a folding (or "aliasing") in the case of a transforming decoding with type MLT or MDCT overlay.
  • the invention then provides an advantageous solution to the loss of frame correction (s), especially in the case where an additional delay to the decoder is prohibited, for example when using a decoder transform with windows not allowing have a sufficiently large overlap between the substitution signal and the signal from the time unfolding (typical case of low delay windows for MDCT or MLT, as shown in Figure 1B).
  • the invention offers a particular advantage for an overlap, because of the use of the spectral components on the last valid frames received to construct a synthesis signal comprising the spectral coloring of these last valid frames. Nevertheless, the invention applies of course to any type of coding / decoding (by transform, CELP, PCM, or other).
  • the method comprises searching, by correlation in the valid signal, of a repetition period, the duration of the aforementioned segment then comprising at least one repetition period.
  • Such a "repetition period” corresponds for example to a pitch period in the case of a voiced speech signal (inverse of the fundamental frequency of the signal).
  • the signal may also be derived from a music signal, for example, having a global tone associated with a fundamental frequency, as well as a fundamental period that could correspond to the aforementioned repetition period.
  • the signal duration on which the spectral analysis is performed can be determined as being: a duration corresponding to a repetition period (if a signal tone is clearly identifiable),
  • the aforementioned repetition period corresponds to a duration for which the correlation exceeds a predetermined threshold value.
  • the duration of the signal is identified as soon as the correlation exceeds a predetermined threshold value for this duration.
  • the duration thus identified corresponds to one or more periods associated with a frequency of the above-mentioned overall tone.
  • the method further comprises a determination of the respective phases associated with these spectral components and the construction of the synthesis signal then comprises the phases of the spectral components.
  • the construction of the signal then integrates these phases, as will be seen later, for an optimization of the connection of the synthesis signal to the last valid frames and, in most natural cases, to the following valid frames.
  • the method further comprises a determination of respective amplitudes associated with the spectral components, and the construction of the synthesis signal comprises these amplitudes of the spectral components (for their inclusion in the construction of the synthesis signal).
  • the spectral components of the highest amplitudes may be those selected for the construction of the synthesis signal. It is also possible to select, in addition or alternatively, those whose amplitude forms a peak in the frequency spectrum.
  • noise is added to the synthesis signal to compensate for a loss of energy relative to spectral components not selected for the construction of the synthesis signal.
  • the aforementioned noise is obtained by a weighted (temporally) residual between the segment signal and the synthesis signal. For example, it may be weighted by overlapping windows, as in the case of overlap transformation encoding / decoding.
  • the spectral analysis of the segment comprises a Fast Fourier Transform (FFT) sinusoidal analysis, preferably of length 2 A k, where k is greater than or equal to log 2 (P), where P is the number of samples in the signal.
  • FFT Fast Fourier Transform
  • P log 2
  • MCLT Modulated Complex Lapped Transform
  • the present invention finds an advantageous but in no way limiting application to the context of decoding by transform with overlap.
  • the synthesis signal may be constructed (repeated) over a period of at least two frames, so as to cover also the parts having an aliasing beyond one frame.
  • the synthesis signal can be constructed over two frame times and still an additional duration corresponding to a delay introduced by a resampling filter (in particular in the embodiment described above and where a resampling is planned).
  • a jitter buffer in certain embodiments. In the case where the frame loss correction is carried out jointly with the management of a jitter buffer, the invention can then be applied under these conditions by adapting the duration of the synthesis signal.
  • the method further comprises a separation in a high frequency band and a low frequency band, of the signal coming from the valid frame (s), and the spectral components are selected in the band of low frequencies.
  • the replacement frame can be synthesized by addition:
  • the second signal being obtained by successive duplication of at least one valid half-frame and its version returned temporally.
  • the present invention also relates to a computer program comprising instructions for implementing the method (of which, for example, a general flowchart may be the general diagram of FIG. 2, and possibly the particular flowcharts of FIGS. 5 and / or 8 in FIG. some embodiments).
  • the present invention also relates to a device for decoding a signal comprising a succession of samples distributed in successive frames, the device comprising means for replacing at least one lost signal frame, comprising:
  • a) search means in a valid signal available at decoding, of a signal segment, of duration corresponding to a determined period as a function of said valid signal
  • spectral analysis means of the segment for a determination of spectral components of the segment
  • Such a device can take the physical form of, for example, a processor and possibly a working memory, typically in a communication terminal.
  • FIG. 1A illustrates an overlap with conventional windows in the context of an MLT transform
  • FIG. 1B illustrates an overlap with low delay windows, in comparison with the representation of FIG. 1A,
  • FIG. 2 represents an example of general treatment in the sense of the invention
  • FIG. 3 illustrates the determination of a signal segment corresponding to a fundamental period
  • FIG. 4 illustrates the determination of a signal segment corresponding to a fundamental period, with, in this exemplary embodiment, an offset of the correlation search
  • FIG. 5 represents an embodiment of a spectral analysis of the signal segment.
  • FIG. 6 illustrates an exemplary embodiment for copying, at high frequencies, a valid frame replacing several lost frames,
  • FIG. 7 illustrates the reconstruction of the signal of the lost frames, with the weighting by the synthesis windows
  • FIG. 8 illustrates an example of application of the method in the sense of the present invention, to the decoding of a signal
  • FIG. 9 schematically represents a device comprising means for implementing the method within the meaning of the invention.
  • a treatment in the sense of the invention is illustrated in Figure 2. It is implemented with a decoder.
  • the decoder can be of any type, the processing being generally independent of the nature of the coding / decoding. In the example described, the processing applies to a received audio signal. However, it can be applied more generally to any type of signal analyzed by time windowing and transformation, with harmonization to ensure with one or more replacement frames during a recovery-addition synthesis.
  • N audio samples are stored successively in a buffer or "buffer" (for example FIFO type).
  • the buffer may contain only a part of the samples available at the decoder, leaving, for example, the last D samples for the recovery-addition ( of step S 10 of Figure 2).
  • This filtering is preferably a filtering without delay.
  • Step S3 applied to the low frequency band, consists in then searching for a loop point and a segment P corresponding to the fundamental period (or "pitch" period) within the buffer b (n) resampled with the frequency Fc.
  • a standard correlation corr (n) between:
  • this segment being of size Ns between N'-Ns and N'-1 (of a duration for example of 6 ms), and
  • the sliding segment, search is prior to the target segment, as shown in Figure 3.
  • the first sample of the target segment corresponds to the last sample of the search segment.
  • at least one pitch period (with the same sinusoidal intensity for example) flows between the point of temporal index me and the temporal index sample mc + P.
  • at least one pitch period is passed between the sample of index mc + Ns (loopback point, of index pb) and the last sample of buffer N '.
  • a variant of this embodiment consists of an autocorrelation on the buffer, returning to find an average period P identified in the buffer.
  • the segment serving for the synthesis comprises the last P samples of the buffer.
  • a self-correlation calculation on a large segment can be complex and require more computing resource than a simple correlation of the type described above.
  • another variant of this embodiment consists in not necessarily seeking the maximum correlation over the entire search segment, but simply looking for a segment where the correlation with the target segment is greater than a chosen threshold (for example 70 %).
  • a chosen threshold for example 70 %.
  • Such an embodiment does not give precisely a single pitch period P (but possibly several successive periods), but nevertheless the complexity related to the processing of a long synthetic segment (of several pitch periods) requires as much or less resource, as the search for maximum correlation across the entire search segment.
  • the next step S4 consists of breaking down the segment p (n) into a sum of sines.
  • a conventional way of breaking down a signal into a sum of sines is to calculate the discrete Fourier transform (or DFT in English) of the signal over a duration corresponding to the length of the signal. This gives the frequency, the phase and the amplitude of each of the sinusoidal components that make up the signal.
  • this analysis is done by a Fast Fourier Transform FFT, of size 2 A k (with k greater than or equal to log 2 (P)).
  • step S4 is decomposed into three operations, with, with reference to FIG.
  • step S5 of FIG. 2 the sinusoidal components are selected so as to keep only the most important components.
  • the selection of the components amounts to:
  • the spectral component selection method is not limited to the examples presented above. It is susceptible of variants. It can in particular be based on any criterion making it possible to identify spectral components useful for the synthesis of the signal (for example subjective criteria related to masking, criteria related to the harmonicity of the signal, or others).
  • the next step S6 is a sinusoidal synthesis.
  • it consists in generating a segment s (n) of length at least equal to the size of a lost frame (T).
  • a length equal to 2 frames is generated so as to be able to perform a "cross-fade" sound mix (as a transition) between the synthesized signal (by loss correction). a frame) and the decoded signal to the next valid frame when such a frame is received again correctly.
  • the synthesis signal s (n) is calculated as a sum of the selected sinusoidal components: h 2T + -
  • k is the index of K selected components of step S5.
  • Step S7 of FIG. 2 consists in injecting noise so as to compensate for the energy loss linked to the omission of certain frequency components in the low frequency band.
  • the signal s (n) is then mixed (added with possibly weighting) to the signal r (n).
  • the noise generation method (to obtain a natural background noise) is not limited to the example above and admits variants.
  • step S 8 consists in processing the high frequency band simply by repeating the signal. For example, it may be to repeat a frame length T.
  • Such an embodiment advantageously makes it possible to avoid audible artifacts by setting the intensity levels at the beginning and the end to the same level of frames.
  • the frame of size T ' may be weighted so as to avoid certain artifacts when the contents are particularly energetic in the high frequency band.
  • the weighting (noted W in FIG. 6) can for example take the form of a sinusoidal half-window of 1 ms at the beginning and at the end of the frame of size T / 2.
  • the successive frames can also be overlapped.
  • a step S9 the signal is synthesized by resampling the low frequency band at its original frequency Fc, and adding it to the signal from the repetition of step S8 in the high frequency band.
  • step S 10 a recovery-addition is carried out which ensures a continuity between the signal before the loss of frame and the synthesized signal.
  • the L samples located between the beginning of the "aliased" portion (the remaining folded portion) of the transform are used.
  • MDCT and three quarters of the size of the window with for example a temporal folding axis of windows as usually in the context of an MDCT transform).
  • these samples are already covered by the synthesis window W1 of the MDCT transform.
  • the samples are divided by the window W1 (which is already known to the decoder), then multiplied by the window W2.
  • the signal S (n) synthesized by the implementation of steps S1 to S9 described above is expressed as follows:
  • this delay time can be used to overlap with the synthesized portion, using any appropriate weighting for the overlay.
  • step S2 separation in high and low frequency bands in step S2 is optional.
  • the signal from the buffer (step S1) is not separated into two subbands and steps S3 to S10 remain identical to those described above. Nevertheless, the processing of the spectral components in the low frequencies only advantageously makes it possible to limit their complexity.
  • the invention can be implemented in a conversational decoder, in the case of a frame loss.
  • a circuit for decoding typically in a telephony terminal.
  • a circuit CIR may comprise or be connected to a processor PROC, as illustrated in FIG. 9, and may comprise a working memory MEM, programmed with computer program instructions according to the invention to execute the method -before.
  • the invention can be implemented in a real-time transform decoder.
  • the decoder sends requests to obtain an audio frame in a frame buffer (step S81). If the frame is available (OK output of the test), the decoder decodes the frame (S82) to obtain a signal in the transformed domain, operates an IMDCT inverse transform (S 83) which then makes it possible to obtain "aliased" time samples , and proceeds to a final step S84 of windowing (through a synthesis window) and overlapping to obtain temporal samples free of aliasing which will then be sent to a digital analogue converter for reproduction.
  • IMDCT inverse transform S inverse transform
  • the decoder When a frame is missing (KO output of the test), the decoder then uses the already decoded signal as well as the "aliased" part of the previous frame (step S85), in the frame loss correction method according to the invention. 'invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Error Detection And Correction (AREA)

Abstract

L'invention concerne un traitement de signal, le signal comportant une succession d'échantillons répartis en trames successives. Le traitement est mis en œuvre pendant un décodage d'un tel signal pour remplacer au moins une trame de signal perdue au décodage, et comporte en particulier les étapes : a) recherche (S3), dans un signal valide disponible au décodage, d'un segment de signal, de durée correspondant à une période déterminée en fonction dudit signal valide, b) analyse spectrale du segment (S4), pour une détermination de composantes spectrales du segment, c) synthèse (S6) d'au moins une trame de remplacement de la trame perdue, par construction d'un signal de synthèse à partir d'une partie au moins des composantes spectrales.

Description

Correction perfectionnée de perte de trame au décodage d'un signal
La présente invention concerne une correction de signal, notamment dans un décodeur, en cas de perte de trame à la réception du signal par ce décodeur.
Le signal se présente sous la forme d'une succession d'échantillons, découpée en trames successives et on entend alors par « trame » un segment de signal composé d'un ou plusieurs échantillons (une réalisation où une trame comporte un échantillon unique étant possible si le signal se présente sous la forme d'une succession d'échantillons, comme par exemple dans les codées selon la recommandation UIT-T G.711).
L'invention se situe dans le domaine du traitement numérique du signal, notamment mais non exclusivement dans le domaine du codage/décodage d'un signal audio. Les pertes de trames interviennent lorsqu'une communication (soit par transmission en temps-réel, soit par stockage en vue d'une transmission ultérieure) utilisant un codeur et un décodeur, est perturbée par les conditions de canal (à cause de problèmes radio, de congestion de réseau d'accès, etc.).
Dans ce cas, le décodeur utilise des mécanismes de correction (ou « masquage ») de perte de trames pour tenter de substituer le signal manquant par un signal reconstitué, en utilisant les informations disponibles au sein du décodeur (par exemple le signal déjà décodé ou les paramètres reçus dans des trames précédentes). Cette technique permet de maintenir une bonne qualité de service malgré des performances de canal dégradées.
Les techniques de correction de perte de trames sont le plus souvent très dépendantes du type de codage utilisé.
Dans le cas du codage d'un signal de parole basé sur des technologies de type CELP (pour « Code Excited Linear Prédiction »), la correction de perte de trame exploite en particulier le modèle CELP. Par exemple, dans un codage selon la recommandation UIT-T G.722.2, la solution pour remplacer une trame perdue (ou un «paquet») consiste à prolonger l'utilisation d'un gain de prédiction à long terme en l'atténuant, ainsi qu'à prolonger l'utilisation de chaque paramètre ISF (pour « Imittance Spectral Frequency ») en les faisant tendre vers leurs moyennes respectives. La hauteur tonale du signal de parole (ou « pitch », paramètre désigné « LTP lag ») est aussi répétée. Par ailleurs, on fournit au décodeur des valeurs aléatoires de paramètres caractérisant « l'innovation » (l'excitation dans le codage CELP).
Il convient de noter déjà que l'application de ce type de méthode, pour des codages par transformée ou des codages de forme d'ondes de type « PCM » ou « ADPCM », nécessite un une analyse paramétrique de type CELP du signal passé au niveau du décodeur, ce qui introduit une complexité supplémentaire.
Dans la recommandation UIT-T G.711 correspondant à un codeur de forme d'ondes, un exemple informatif de traitement de correction de perte de trame (donné dans la partie Appendice I du texte de cette recommandation) consiste à trouver une période de pitch dans le signal de parole déjà décodé et à répéter la dernière période de pitch par recouvrement-addition (ou « overlap-add » en anglais) entre le signal déjà décodé et le signal répété (reconstruit par masquage). Ce traitement permet de « gommer » les artefacts audio mais nécessite un délai supplémentaire au décodeur (délai correspondant à la durée du recouvrement) .
La technique la plus employée pour corriger la perte de trame dans le cas d'un codage par transformée consiste à répéter le spectre décodé dans la dernière trame reçue. Par exemple, dans le cas du codage selon la recommandation UIT-T G.722.1, la transformée MLT (pour « modulated lapped transform »), équivalente à une transformée en cosinus discrète modifiée (ou MDCT pour « modified discrète cosine transform ») avec un recouvrement de 50% et des fenêtres d'analyse/synthèse de forme sinusoïdale, permet d'assurer une transition (entre la dernière trame perdue et la trame répétée) qui est suffisamment lente pour gommer les artefacts liés à la simple répétition du spectre ; typiquement, si plus d'une trame est perdue, le spectre répété est mis à zéro.
Avantageusement, cette méthode de masquage ne nécessite pas de délai supplémentaire puisqu'elle exploite le recouvrement-addition entre le signal reconstitué et le signal passé pour réaliser une sorte de « fondu enchaîné » (avec repliement temporel dû à la transformée MLT). Il s'agit d'une technique très peu coûteuse en termes de ressources.
Toutefois, elle présente un défaut lié à l'incohérence temporelle entre le signal juste avant la perte de trame et le signal répété. Il en résulte une discontinuité (ou incohérence) de phase, qui peut produire des artefacts audio importants si la durée de recouvrement entre les signaux associés à deux trames est réduite (comme c'est le cas en particulier lorsque des fenêtres MDCT dites « à faible retard » sont utilisées). On a illustré cette situation de durée courte de recouvrement sur la figure 1B dans le cas d'une transformée MLT à faible retard, en comparaison de la situation habituelle de la figure 1A dans laquelle des fenêtres longues en sinus sont utilisées selon la recommandation G.722.1 (offrant alors une grande durée de recouvrement ZRA, avec une modulation très progressive). Il apparaît qu'une modulation par une fenêtre à faible retard produit un déphasage qui est audible du fait d'une zone de recouvrement courte ZRB, comme représenté sur la figure 1B.
Dans ce cas, quand bien même une solution combinant une recherche de pitch (cas du décodage selon la recommandation G.711 App. I) et un recouvrement- addition produit pas la fenêtre d'une transformée MDCT serait mise en œuvre, elle ne serait pas suffisante pour supprimer les artefacts audio liés notamment au déphasage entre différentes composantes fréquentielles.
La présente invention vient améliorer la situation. Elle propose à cet effet un procédé de traitement d'un signal comportant une succession d'échantillons répartis en trames successives, le procédé étant mis en œuvre pendant un décodage dudit signal pour remplacer au moins une trame de signal perdue au décodage. En particulier, le procédé comporte les étapes :
a) recherche, dans un signal valide disponible au décodage, d'un segment de signal, de durée correspondant à une période déterminée en fonction dudit signal valide,
b) analyse spectrale du segment, pour une détermination de composantes spectrales du segment, c) synthèse d'au moins une trame de remplacement de la trame perdue, par construction d'un signal de synthèse à partir d'une partie au moins des composantes spectrales. On entend ici par « trame » un bloc d'au moins un échantillon. Dans la plupart des codées, ces trames sont constituées de plusieurs échantillons. Toutefois, dans des codées notamment de type PCM (pour « Puise Code Modulation »), par exemple selon la recommandation G.711, le signal est constitué simplement d'une succession d'échantillons (une « trame » au sens de l'invention ne comportant alors qu'un unique échantillon). L'invention peut alors aussi s'appliquer à ce type de codées.
Par exemple, le signal valide peut être constitué des dernières trames valides reçues avant la perte de trame. Eventuellement, on peut avoir recours aussi à une ou quelques trames valides suivantes, reçues après la trame perdue (bien qu'une telle réalisation entraîne un retard au décodage). Les échantillons du signal valide qui sont utilisés peuvent être directement ceux des trames, et éventuellement ceux qui correspondent à la mémoire de la transformée et qui contiennent typiquement un repliement (ou « aliasing ») dans le cas d'un décodage par transformée avec recouvrement de type MLT ou MDCT.
L'invention apporte alors une solution avantageuse à la correction de perte de trame(s), notamment dans le cas où un retard supplémentaire au décodeur est proscrit, par exemple lorsque l'on utilise un décodeur par transformée avec des fenêtres ne permettant pas d'avoir un recouvrement suffisamment grand entre le signal de substitution et le signal issu du dépliement temporel (cas typique des fenêtres à faible retard pour une MDCT ou une MLT, comme représenté sur la figure 1B). L'invention offre un avantage particulier pour un recouvrement, du fait de l'utilisation des composantes spectrales sur les dernières trames valides reçues pour construire un signal de synthèse comportant la coloration spectrale des ces dernières trames valides. Néanmoins, l'invention s'applique bien entendu à tout type de codage/décodage (par transformée, CELP, PCM, ou autres).
Dans un mode de réalisation, le procédé comporte une recherche, par corrélation dans le signal valide, d'une période de répétition, la durée du segment précitée comportant alors au moins une période de répétition.
Une telle « période de répétition » correspond par exemple à une période de pitch dans le cas d'un signal de parole voisé (inverse de la fréquence fondamentale du signal). Néanmoins, le signal peut être aussi issu d'un signal de musique par exemple, présentant une tonalité globale à laquelle est associée une fréquence fondamentale, ainsi qu'une période fondamentale qui pourrait correspondre à la période de répétition précitée.
On peut par exemple avoir recours à une recherche de période de répétition liée à la tonalité du signal. Par exemple, on peut constituer un premier buffer (ou « mémoire tampon » en français) des quelques derniers échantillons valablement reçus et chercher par corrélation dans un deuxième buffer de plus grande taille, les quelques échantillons du deuxième buffer qui correspondent le mieux dans leur succession à ceux du premier buffer. L'écart temporel entre ces échantillons identifiés du deuxième buffer et ceux du premier buffer peut constituer une période de répétition ou un multiple de cette période (selon la finesse de la recherche par corrélation). On peut noter que le fait de prendre un multiple de la période de répétition ne dégrade pas la mise en œuvre de l'invention, car, dans ce cas, l'analyse spectrale se fait simplement sur une longueur couvrant plusieurs périodes au lieu d'une seule, ce qui contribue à augmenter la finesse de l'analyse. Ainsi, on peut déterminer la durée de signal sur laquelle on effectue l'analyse spectrale comme étant : une durée correspondant à une période de répétition (si une tonalité du signal est bien identifiable),
une durée correspondant à plusieurs périodes de répétition (cycles de pitch par exemple), si la corrélation donne un premier résultat de corrélation supérieur à un seuil prédéterminé, comme expliqué dans un mode de réalisation optionnel ci-après,
une durée arbitraire de signal (par exemple quelques dizaines d'échantillons), si une telle tonalité n'est pas identifiable (signal comportant essentiellement du bruit). Dans une réalisation particulière, la période de répétition précitée correspond à une durée pour laquelle la corrélation dépasse une valeur seuil prédéterminée. Ainsi, dans cette réalisation, on identifie la durée du signal dès que la corrélation dépasse une valeur seuil prédéterminée pour cette durée. La durée ainsi identifiée correspond à une ou plusieurs périodes associées à une fréquence de la tonalité globale précitée. Une telle réalisation permet avantageusement de limiter la complexité de la recherche par corrélation (par exemple, en fixant un seuil de corrélation à 60 ou 70%), même si en réalité on détecte non pas une seule, mais plusieurs périodes de pitch (par exemple entre deux et cinq périodes de pitch). D'une part, la complexité de la recherche par corrélation est alors plus basse. D'autre part, l'analyse spectrale sur plusieurs périodes est plus fine et les composantes spectrales obtenues sont plus finement analysées.
Concernant l'obtention des composantes spectrales par analyse du segment (par exemple par transformée de Fourier rapide, ou « FFT »), le procédé comporte en outre une détermination des phases respectives associées à ces composantes spectrales et la construction du signal de synthèse comporte alors les phases des composantes spectrales. La construction du signal intègre alors ces phases, comme on le verra plus loin, pour une optimisation du raccordement du signal de synthèse aux dernières trames valides et, dans la plupart des cas naturels, aux trames valides suivantes.
Dans une réalisation particulière aussi, le procédé comporte en outre une détermination d'amplitudes respectives associées aux composantes spectrales, et la construction du signal de synthèse comporte ces amplitudes des composantes spectrales (pour leur prise en compte dans la construction du signal de synthèse).
Dans une réalisation particulière, il est possible de sélectionner des composantes issues de l'analyse pour la construction du signal de synthèse. Par exemple, dans une réalisation où le procédé comporte une détermination d'amplitudes respectives associées aux composantes spectrales, les composantes spectrales d'amplitudes les plus élevées peuvent être celles sélectionnées pour la construction du signal de synthèse. On peut sélectionner aussi, en complément ou en variante, celles dont l'amplitude forme un pic dans le spectre des fréquences.
Dans le cas où seule une partie des composantes spectrales est sélectionnée, dans une réalisation particulière, on ajoute du bruit au signal de synthèse pour compenser une perte d'énergie relative à des composantes spectrales non sélectionnées pour la construction du signal de synthèse. Dans une réalisation, le bruit précité est obtenu par un résidu pondéré (temporellement) entre le signal du segment et le signal de synthèse. Il peut par exemple être pondéré par des fenêtres de recouvrement, comme dans le cadre d'un codage/décodage par transformation avec recouvrement.
L'analyse spectrale du segment comporte une analyse sinusoïdale par transformée de Fourier rapide (FFT), préférentiellement de longueur 2Ak, où k est supérieur ou égal à log2(P), P étant le nombre d'échantillons dans le segment de signal. Une telle réalisation permet de réduire la complexité du traitement, comme détaillé plus loin. On peut noter que d'autres transformées sont possibles, par exemple une transformée de type Modulated Complex Lapped Transform (MCLT) en tant qu'alternative possible à la transformée FFT.
En particulier, on peut prévoir, dans l'étape d'analyse spectrale :
une interpolation des échantillons du segment pour obtenir un deuxième segment comportant un nombre d'échantillons 2Aceil(log2(P)), où ceil(x) est l'entier supérieur ou égal à x, un calcul de la transformée de Fourier du deuxième segment ; et
- après détermination des composantes spectrales, identification de fréquences associées aux composantes, et construction du signal de synthèse par ré-échantillonnage avec modification desdites fréquences en fonction du ré-échantillonnage.
La présente invention trouve une application avantageuse mais aucunement limitative au contexte de décodage par transformée avec recouvrement. Dans un tel contexte, il peut être avantageux que le signal de synthèse soit construit (répété) sur une durée d'au moins deux trames, de manière à couvrir aussi les parties comportant un repliement temporel (aliasing) au-delà d'une seule trame. Dans une réalisation particulière, le signal de synthèse peut être construit sur deux durées de trame et encore une durée supplémentaire correspondant à un délai introduit par un filtre de ré-échantillonnage (notamment dans la réalisation exposée ci-avant et où un ré-échantillonnage est prévu). II peut être avantageux de gérer un buffer de gigue dans certaines réalisations. Dans le cas où la correction de perte de trames est réalisée conjointement avec la gestion d'un buffer de gigue, l'invention peut alors être appliquée dans ces conditions en adaptant la durée du signal synthèse.
Dans une réalisation, le procédé comporte en outre une séparation en une bande de fréquences hautes et une bande de fréquences basses, du signal issu de la ou des trame(s) valide(s), et les composantes spectrales sont sélectionnées dans la bande de fréquences basses. Une telle réalisation permet de limiter la complexité du traitement essentiellement à la bande de fréquences basses, les hautes fréquences apportant peu de richesse spectrale au signal de synthèse et pouvant être répétées de façon plus simple.
Dans cette réalisation, la trame de remplacement peut être synthétisée par addition :
d'un premier signal construit à partir de composantes spectrales sélectionnées dans la bande de fréquences basses, et
d'un deuxième signal issu d'un filtrage dans la bande de fréquences hautes,
le deuxième signal étant obtenu par duplication successive d'au moins une demi-trame valide et sa version retournée temporellement.
La présente invention vise aussi un programme informatique comportant des instructions pour la mise en œuvre du procédé (dont, par exemple, un organigramme général peut être le schéma général de la figure 2, et éventuellement des organigrammes particuliers des figures 5 et/ou 8 dans certains modes de réalisation).
La présente invention vise aussi un dispositif de décodage d'un signal comportant une succession d'échantillons répartis en trames successives, le dispositif comportant des moyens pour remplacer au moins une trame de signal perdue, comportant :
a) des moyens de recherche, dans un signal valide disponible au décodage, d'un segment de signal, de durée correspondant à une période déterminée en fonction dudit signal valide,
b) des moyens d'analyse spectrale du segment, pour une détermination de composantes spectrales du segment, c) des moyens de synthèse d'au moins une trame de remplacement de la trame perdue, par construction d'un signal de synthèse à partir d'une partie au moins des composantes spectrales.
Un tel dispositif peut prendre la forme matérielle par exemple d'un processeur et éventuellement d'une mémoire de travail, typiquement dans un terminal de communication.
D'autres avantages et caractéristiques de l'invention apparaîtront à la lecture de la description détaillée ci-après d'exemples de réalisation de l'invention et à l'examen des dessins sur lesquels :
la figure 1A illustre un recouvrement avec des fenêtres classiques dans le cadre d'une transformée MLT,
la figure 1B illustre un recouvrement avec des fenêtres à faible retard, en comparaison de la représentation de la figure 1A,
la figure 2 représente un exemple de traitement général au sens de l'invention,
la figure 3 illustre la détermination d'un segment de signal correspondant à une période fondamentale,
la figure 4 illustre la détermination d'un segment de signal correspondant à une période fondamentale, avec, dans cet exemple de réalisation, un décalage la recherche de corrélation, la figure 5 représente un mode de réalisation d'une analyse spectrale du segment de signal, la figure 6 illustre un exemple de réalisation pour recopier, dans les hautes fréquences, une trame valide en remplacement de plusieurs trames perdues,
la figure 7 illustre la reconstruction du signal des trames perdues, avec la pondération par les fenêtres de synthèse,
la figure 8 illustre un exemple d'application du procédé au sens de la présente invention, au décodage d'un signal,
- la figure 9 représente schématiquement un dispositif comportant des moyens de mise en œuvre du procédé au sens de l'invention.
Un traitement au sens de l'invention est illustré sur la figure 2. Il est mis en œuvre auprès d'un décodeur. Le décodeur peut être de type quelconque, le traitement étant globalement indépendant de la nature du codage/décodage. Dans l'exemple décrit, le traitement s'applique à un signal audio reçu. Il peut s'appliquer toutefois de façon plus générale à tout type de signal analysé par fenêtrage temporel et transformation, avec une harmonisation à assurer avec une ou plusieurs trames de remplacement lors d'une synthèse par recouvrement-addition. Au cours d'une première étape SI du traitement de la figure 2, N échantillons audio sont stockés successivement dans une mémoire tampon ou « buffer » (par exemple de type FIFO). Le buffer audio b(n) peut être ainsi constitué par exemple de 47 ms de signal, soit par exemple de 2,35=47/20 trames audio de 20 ms chacune, à une fréquence d'échantillonnage Fe donnée, par exemple Fe=32 kHz. Ces échantillons correspondent à des échantillons déjà décodés et donc accessibles au moment du traitement de correction de perte de trame(s). Si le premier échantillon à synthétiser est l'échantillon d'indice temporel N (d'une ou plusieurs trames consécutives perdues), le buffer audio b(n) correspond alors aux N échantillons précédents d'indices temporels 0 à N-l. Dans le cas d'un codeur par transformée, le buffer audio correspond aux échantillons déjà décodés dans la trame passée (et sont donc non modifiables). Si l'ajout d'un retard supplémentaire au décodeur est possible (par exemple de D échantillons), le buffer peut ne contenir qu'une partie seulement des échantillons disponibles au décodeur, laissant par exemple les D derniers échantillons pour le recouvrement-addition (de l'étape S 10 de la figure 2). A l'étape de filtrage S2, le buffer audio b(n) est ensuite séparé en deux bandes de fréquences, une bande de fréquences basses BB et une bande de fréquences hautes BH avec une fréquence de séparation notée Fc ci-après, avec par exemple Fc=4kHz. Ce filtrage est préférentiellement un filtrage sans délai. La taille du buffer audio définie précédemment correspond alors préférentiellement, avec cette fréquence Fc, maintenant à N' = N Fc/Fe.
L'étape S3, appliquée sur la bande de fréquences basses, consiste à rechercher ensuite un point de bouclage et un segment P correspondant à la période fondamentale (ou période de « pitch ») au sein du buffer b(n) ré-échantillonné avec la fréquence Fc. A cet effet, on calcule dans un exemple de réalisation une corrélation normalisée corr(n) entre :
- un segment cible du buffer (référence CIB de la figure 3), ce segment étant de taille Ns comprise entre N'-Ns et N'-l (d'une durée par exemple de 6ms), et
un segment glissant de taille Ns qui commence à un échantillon occupant une position entre l'échantillon 0 et l'échantillon Ne (avec Nc>N'-Ns ; Ne correspondant pas exemple à une durée de 35 ms),
avec : ifflTUtj = s £ I L*; A' J En référence à la figure 3, si le maximum de corrélation est trouvé pour l'échantillon d'indice temporel n=mc, le point de bouclage avec une période de pitch, d'indice n=pb, correspond à l'échantillon mc+Ns et le segment noté p(n) qui suit sur la figure 3 correspond à une période de pitch de taille P=N'- Ns-mc, défini entre les échantillons n=pb et n=N'-l.
Le segment glissant, de recherche, est antérieur au segment cible, comme représenté sur la figure 3. En particulier, le premier échantillon du segment cible correspond au dernier échantillon du segment de recherche. Si le maximum de corrélation avec le segment cible CIB est trouvé antérieurement dans le segment de recherche en un point d'indice me, alors il s'écoule au moins une période de pitch (avec une même intensité de sinusoïde par exemple) entre le point d'indice temporel me et l'échantillon d'indice temporel mc+P. Il s'écoule de la même manière au moins une période de pitch entre l'échantillon d'indice mc+Ns (point de bouclage, d'indice pb) et le dernier échantillon du buffer N'.
Il convient de noter qu'une variante de cette réalisation consiste en une auto-corrélation sur le buffer, revenant à trouver une période moyenne P identifiée dans le buffer. Dans ce cas, le segment servant pour la synthèse comporte les P derniers échantillons du buffer. Toutefois, un calcul d'auto-corrélation sur un grand segment peut être complexe et nécessiter plus de ressource informatique qu'une simple corrélation du type décrit ci-avant. D'ailleurs, une autre variante de cette réalisation consiste à ne pas rechercher nécessairement le maximum de corrélation sur tout le segment de recherche, mais à rechercher simplement un segment où la corrélation avec le segment cible est supérieure à un seuil choisi (par exemple 70%). Une telle réalisation ne donne pas précisément une seule période de pitch P (mais possiblement plusieurs périodes successives), mais néanmoins la complexité liée au traitement d'un long segment de synthèse (de plusieurs périodes de pitch) nécessite autant, voire moins de ressource, que la recherche d'un maximum de corrélation sur tout le segment de recherche.
Dans ce qui suit, on présume qu'une seule période de pitch P sert à la synthèse du signal, mais il convient de noter toutefois que le principe du traitement s'applique aussi bien pour un segment s'étendant sur plusieurs périodes fondamentales. Les résultats s'avèrent même meilleurs avec plusieurs périodes de pitch, en termes de précision sur la transformée FFT et de richesse sur les composantes spectrales obtenues. Dans le cas où des transitoires seraient présentes dans le signal audio contenu dans le buffer (pics d'intensité très courts temporellement, dans le signal audio), il est possible d'adapter la zone de recherche de corrélation, par exemple en décalant la recherche de corrélation (en la faisant commencer typiquement 20 ms après le début du buffer audio comme illustré à titre d'exemple sur la figure 4, ou en effectuant la recherche de corrélation dans une zone temporelle commençant après la fin d'un transitoire).
L'étape suivante S4 consiste à décomposer le segment p(n) en une somme de sinus. Une façon classique pour décomposer un signal en une somme de sinus consiste à calculer la transformée de Fourier discrète (ou DFT en anglais) du signal sur une durée correspondant à la longueur du signal. On obtient ainsi la fréquence, la phase et l'amplitude de chacune des composantes sinusoïdales qui composent le signal. Dans un mode de réalisation particulier de l'invention, pour des raisons de réduction de complexité, cette analyse est faite par une transformée de Fourier rapide FFT, de taille 2Ak (avec k supérieur ou égal à log2(P)).
Dans ce mode particulier, l'étape S4 est décomposée en trois opérations, avec, en référence à la figure 5 :
l'opération S41 où les échantillons du segment p(n) sont interpolés de manière à obtenir un segment p'(n) composé de P' échantillons avec P = 2!- °",lOSïiP)-' > P ; Qù ceil(x) est l'entier supérieur ou égal à x (on peut par exemple et de manière non restrictive utiliser une interpolation linéaire ou encore de type « spline cubique ») ;
l'opération S42 avec le calcul de la transformée FFT de p'(n) : ïl{k) = FFT{p! i i )'); et l'opération S43 dans laquelle, à partir de la transformée FFT, on obtient directement les phases i (,%:}et amplitudes Â(k) des composantes sinusoïdales, les fréquences normalisées entre 0 et 1 étant données par :
K 0;
A l'étape S5 de la figure 2, les composantes sinusoïdales sont sélectionnées de manière à ne garder uniquement que les composantes les plus importantes. Dans un mode de réalisation particulier, la sélection des composantes revient à :
- sélectionner tout d'abord les amplitudes A(k) pour lesquelles A(k)>A(k-l) et A(k)>A(k+l) avec - ensuite, parmi les amplitudes de cette première sélection, on sélectionne les composantes, par exemple par ordre décroissant d'amplitude, de manière à ce que l'amplitude cumulée des pics sélectionnés soit d'au moins x% (par exemple x=70%) de l'amplitude cumulée du demi-spectre. II est aussi possible en plus, de limiter le nombre de composantes (par exemple à 20) de manière à rendre la synthèse moins complexe. De façon alternative, une recherche d'un nombre prédéterminé des pics les plus importants peut être utilisée.
Bien entendu, la méthode de sélection des composantes spectrales ne se limite pas aux exemples présentés ci-dessus. Elle est susceptible de variantes. Elle peut notamment se baser sur tout critère permettant d'identifier des composantes spectrales utiles à la synthèse du signal (par exemple des critères subjectifs liés au masquage, des critères liés l'harmonicité du signal, ou autres).
L'étape suivante S6 vise une synthèse sinusoïdale. Dans un exemple de réalisation, elle consiste à générer un segment s(n) de longueur au moins égale à la taille d'une trame perdue (T). Dans un mode de réalisation particulier, une longueur égale à 2 trames (par exemple 40 ms) est générée de manière à pouvoir effectuer un mixage sonore de type « fondu enchaîné » (comme une transition) entre le signal synthétisé (par correction de perte d'une trame) et le signal décodé à la trame valide suivante lorsqu'une telle trame est à nouveau reçue correctement.
Pour anticiper le ré-échantillonnage de la trame (longueur d'échantillons notée LF), le nombre d'échantillons à synthétiser peut être augmenté de la moitié de la taille du filtre de ré-échantillonnage (LF). Le signal de synthèse s(n) est calculé comme une somme des composantes sinusoïdales sélectionnées : h 2T +—
2 .
où k est l'indice des K composantes sélectionnées de l'étape S5. Plusieurs méthodes classiques pour réaliser cette synthèse sinusoïdale sont possibles.
L'étape S7 de la figure 2 consiste à injecter du bruit de manière à compenser la perte d'énergie liée à l'omission de certaines composantes fréquentielles dans la bande de fréquences basses. Un mode de réalisation particulier consiste à calculer le résidu r(n)=p(n)-s(n) entre le segment correspondant au pitch p(n) et le signal synthétisé s(n), avec : n e P ~ LF
27* -ί-—
Ce résidu de taille P est répété de manière à ce qu'il atteigne une taille 2 '
Le signal s(n) est ensuite mixé (additionné avec éventuellement une pondération) au signal r(n).
Bien entendu, la méthode de génération du bruit (pour obtenir un bruit de fond naturel) n'est pas limitée à l'exemple ci-avant et admet des variantes. Par exemple, il est possible aussi de calculer le résidu dans le domaine fréquentiel (en supprimant les composantes spectrales sélectionnées du spectre orignal) et d'obtenir un bruit de fond par transformée inverse.
Parallèlement, l'étape S 8 consiste à traiter la bande des hautes fréquences simplement en répétant le signal. Par exemple, il peut s'agir de répéter une longueur de trame T. Dans une réalisation plus sophistiquée, la synthèse de la bande BH est obtenue en prenant les derniers échantillons avant la perte de trame (avec par exemple T'=N/2), et en les retournant temporellement, puis en les répétant sans les retourner, et ainsi de suite, comme illustré sur la figure 6. Une telle réalisation permet avantageusement d'éviter des artefacts audibles en mettant à même niveau les intensités en début et fin de trames.
Dans un mode de réalisation particulier, la trame de taille T' peut être pondérée de manière à éviter certain artefacts lorsque les contenus sont particulièrement énergétiques dans la bande de fréquences hautes. La pondération (notée W sur la figure 6) peut par exemple prendre la forme d'une demi-fenêtre sinusoïdale de 1 ms au début et à la fin de la trame de taille T/2. Les trames successives peuvent aussi se recouvrir.
Dans une étape S9, le signal est synthétisé en ré-échantillonnant la bande des basses fréquences à sa fréquence Fc d'origine, et en l'additionnant au signal issu de la répétition de l'étape S8 dans la bande des fréquences hautes.
A l'étape S 10, on procède à un recouvrement-addition qui permet d'assurer une continuité entre le signal avant la perte de trame et le signal synthétisé. Par exemple, dans le cas d'un codage par transformée à bas délai, on utilise pour la mise en œuvre de cette étape S 10, les L échantillons situés entre le début de la partie « aliasée » (partie repliée restante) de la transformée MDCT et les trois- quarts de la taille de la fenêtre (avec par exemple un axe de repliement temporel des fenêtres comme habituellement dans le cadre d'une transformée MDCT). En référence à la figure 7, ces échantillons sont déjà recouverts par la fenêtre de synthèse Wl de la transformée MDCT. De manière à pouvoir leur appliquer une fenêtre de recouvrement W2, les échantillons sont divisés par la fenêtre Wl (laquelle est déjà connue du décodeur), puis multipliés par la fenêtre W2. Le signal S(n) synthétisé par la mise en œuvre des étapes SI à S9 décrites précédemment s'exprime ainsi :
W3(rù
S(n) = ; + S(nW2(n) n £ [G; L - l]
i.\yi
avec par exemple, et de manière non limitative, des fonctions de recouvrement définies par : Wlin) = sm{ — } et WM = 1 _ W2{ny n G [ô? L _ t]
Comme décrit précédemment, si l'on autorise un délai au niveau du décodeur, cette durée du délai peut être utilisée pour faire un recouvrement avec la partie synthétisée, en utilisant toute pondération appropriée au recouvrement-addition.
Bien entendu, la présente invention ne se limite pas à la forme de réalisation décrite ci-avant ; elle s'étend à d'autres variantes. Ainsi par exemple, la séparation en bandes de fréquences hautes et basses à l'étape S2 est optionnelle. Dans une variante de réalisation, le signal issu du buffer (étape SI) n'est pas séparé en deux sous- bandes et les étapes S3 à S10 restent identiques à celles décrites ci-avant. Néanmoins, le traitement des composantes spectrales dans les basses fréquences seulement permet avantageusement d'en limiter la complexité.
L'invention peut être mise en œuvre dans un décodeur conversationnel, dans le cas d'une perte de trame. Matériellement, elle peut être mise en œuvre dans un circuit pour le décodage, dans un terminal de téléphonie typiquement. A cet effet, un tel circuit CIR peut comporter ou être connecté à un processeur PROC, comme illustré sur la figure 9, et peut comporter une mémoire de travail MEM, programmée avec des instructions de programme informatique selon l'invention pour exécuter le procédé ci-avant.
Par exemple, l'invention peut être mise en œuvre dans un décodeur par transformée temps réel. En référence à la figure 8, le décodeur envoie des requêtes pour obtenir une trame audio dans un buffer de trames (étape S81). Si la trame est disponible (sortie OK du test), le décodeur décode la trame (S82) pour obtenir un signal dans le domaine transformé, opère une transformé inverse IMDCT (S 83) qui permet alors d'obtenir des échantillons temporels « aliasés », et procède à une dernière étape S84 de fenêtrage (par une fenêtre de synthèse) et de recouvrement pour obtenir des échantillons temporels exempts d' aliasing qui seront ensuite envoyés à un convertisseur numérique analogique pour restitution.
Lorsqu'une trame est manquante (sortie KO du test), le décodeur utilise alors le signal déjà décodé ainsi que la partie « aliasée » de la trame précédente (étape S85), dans le procédé de correction de perte de trames au sens de l'invention.

Claims

REVENDICATIONS
1. Procédé de traitement d'un signal comportant une succession d'échantillons répartis en trames successives, le procédé étant mis en œuvre pendant un décodage dudit signal pour remplacer au moins une trame de signal perdue au décodage,
le procédé comportant les étapes :
a) recherche (S3), dans un signal valide disponible au décodage, d'un segment de signal, de durée correspondant à une période déterminée en fonction dudit signal valide,
b) analyse spectrale du segment (S4), pour une détermination de composantes spectrales du segment, c) synthèse (S6) d'au moins une trame de remplacement de la trame perdue, par construction d'un signal de synthèse à partir d'une partie au moins des composantes spectrales.
2. Procédé selon la revendication 1, comportant une recherche, par corrélation dans ledit signal valide, d'une période de répétition, la durée du segment comportant au moins une répétition
3. Procédé selon la revendication 2, dans lequel la période de répétition correspond à une durée pour laquelle la corrélation dépasse une valeur seuil prédéterminée.
4. Procédé selon l'une des revendications précédentes, comportant en outre une détermination de phases respectives associées aux composantes spectrales, et dans lequel la construction du signal de synthèse comporte lesdites phases des composantes spectrales.
5. Procédé selon l'une des revendications précédentes, comportant en outre une détermination d'amplitudes respectives associées aux composantes spectrales, et dans lequel la construction du signal de synthèse comporte lesdites amplitudes des composantes spectrales.
6. Procédé selon l'une des revendications précédentes, comportant en outre une détermination d'amplitudes respectives associées aux composantes spectrales, et dans lequel les composantes spectrales d'amplitudes les plus élevées sont sélectionnées (S5) pour la construction du signal de synthèse.
7. Procédé selon l'une des revendications précédentes, dans lequel on ajoute du bruit (S7) au signal de synthèse pour compenser une perte d'énergie relative à des composantes spectrales non sélectionnées pour la construction du signal de synthèse.
8. Procédé selon la revendication 7, dans lequel le bruit est obtenu par un résidu pondéré entre le signal du segment et le signal de synthèse.
9. Procédé selon l'une des revendications précédentes, dans lequel l'analyse spectrale du segment comporte une analyse sinusoïdale par transformée de Fourier rapide de longueur 2Ak, où k est supérieur ou égal à log2(P), P étant le nombre d'échantillons dans le segment de signal.
10. Procédé selon la revendication 9, dans lequel l'analyse spectrale comporte :
- une interpolation (S41) des échantillons du segment pour obtenir un deuxième segment comportant un nombre d'échantillons 2Aceil(log2(P)), où ceil(x) est l'entier supérieur ou égal à x,
un calcul (S42) de la transformée de Fourier du deuxième segment ; et
après détermination des composantes spectrales, identification de fréquences associées aux composantes, et construction du signal de synthèse par ré-échantillonnage avec modification desdites fréquences en fonction du ré-échantillonnage.
11. Procédé selon l'une des revendications précédentes, appliqué dans un contexte de décodage par transformée avec recouvrement, dans lequel le signal de synthèse est construit sur au moins deux durées de trame.
12. Procédé selon les revendications 10 et 11, dans lequel le signal de synthèse est construit sur deux durées de trame et une durée supplémentaire correspondant à un délai introduit par un filtre de rééchantillonnage.
13. Procédé selon l'une des revendications précédentes, comportant en outre une séparation (S2) en une bande de fréquences hautes et une bande de fréquences basses, d'un signal issu de ladite ou desdites trames valides, et dans lequel les composantes spectrales sont sélectionnées dans la bande de fréquences basses.
14. Procédé selon la revendication 13, dans lequel la trame de remplacement est synthétisée par addition :
d'un premier signal construit à partir de composantes spectrales sélectionnées dans la bande de fréquences basses, d'un deuxième signal issu d'un filtrage dans la bande de fréquences hautes, le deuxième signal étant obtenu par duplication successive (S 8) d'au moins une demi -trame valide et sa version retournée temporellement.
15. Programme informatique comportant des instructions pour la mise en œuvre du procédé selon l'une des revendications 1 à 14.
16. Dispositif de décodage d'un signal comportant une succession d'échantillons répartis en trames successives, le dispositif comportant des moyens (MEM, PROC) pour remplacer au moins une trame de signal perdue, comportant :
a) des moyens de recherche, dans un signal valide disponible au décodage, d'un segment de signal, de durée correspondant à une période déterminée en fonction dudit signal valide,
b) des moyens d'analyse spectrale du segment, pour une détermination de composantes spectrales du segment,
c) des moyens de synthèse d'au moins une trame de remplacement de la trame perdue, par construction d'un signal de synthèse à partir d'une partie au moins des composantes spectrales.
EP14705848.1A 2013-01-31 2014-01-30 Correction perfectionnée de perte de trame au décodage d'un signal Active EP2951813B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1350845A FR3001593A1 (fr) 2013-01-31 2013-01-31 Correction perfectionnee de perte de trame au decodage d'un signal.
PCT/FR2014/050166 WO2014118468A1 (fr) 2013-01-31 2014-01-30 Correction perfectionnée de perte de trame au décodage d'un signal

Publications (2)

Publication Number Publication Date
EP2951813A1 true EP2951813A1 (fr) 2015-12-09
EP2951813B1 EP2951813B1 (fr) 2016-12-07

Family

ID=48901064

Family Applications (1)

Application Number Title Priority Date Filing Date
EP14705848.1A Active EP2951813B1 (fr) 2013-01-31 2014-01-30 Correction perfectionnée de perte de trame au décodage d'un signal

Country Status (11)

Country Link
US (1) US9613629B2 (fr)
EP (1) EP2951813B1 (fr)
JP (1) JP6426626B2 (fr)
KR (1) KR102398818B1 (fr)
CN (1) CN105122356B (fr)
BR (1) BR112015018102B1 (fr)
CA (1) CA2899438C (fr)
FR (1) FR3001593A1 (fr)
MX (1) MX350634B (fr)
RU (1) RU2652464C2 (fr)
WO (1) WO2014118468A1 (fr)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3020732A1 (fr) 2014-04-30 2015-11-06 Orange Correction de perte de trame perfectionnee avec information de voisement
FR3023646A1 (fr) * 2014-07-11 2016-01-15 Orange Mise a jour des etats d'un post-traitement a une frequence d'echantillonnage variable selon la trame
CN108922551B (zh) * 2017-05-16 2021-02-05 博通集成电路（上海）股份有限公司 用于补偿丢失帧的电路及方法
WO2018211050A1 (fr) 2017-05-18 2018-11-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Gestion de dispositif de réseau
US10663040B2 (en) 2017-07-27 2020-05-26 Uchicago Argonne, Llc Method and precision nanopositioning apparatus with compact vertical and horizontal linear nanopositioning flexure stages for implementing enhanced nanopositioning performance
WO2019091576A1 (fr) 2017-11-10 2019-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Codeurs audio, décodeurs audio, procédés et programmes informatiques adaptant un codage et un décodage de bits les moins significatifs
EP3483886A1 (fr) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sélection de délai tonal
EP3483879A1 (fr) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Fonction de fenêtrage d'analyse/de synthèse pour une transformation chevauchante modulée
EP3483880A1 (fr) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Mise en forme de bruit temporel
EP3483883A1 (fr) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Codage et décodage de signaux audio avec postfiltrage séléctif
EP3483882A1 (fr) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Contrôle de la bande passante dans des codeurs et/ou des décodeurs
EP3483878A1 (fr) * 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Décodeur audio supportant un ensemble de différents outils de dissimulation de pertes
EP3483884A1 (fr) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Filtrage de signal
CN109525373B (zh) * 2018-12-25 2021-08-24 荣成歌尔科技有限公司 数据处理方法、数据处理装置和播放设备
ES3021337T3 (en) * 2019-02-21 2025-05-26 Ericsson Telefon Ab L M Spectral shape estimation from mdct coefficients
US12437770B2 (en) 2019-03-25 2025-10-07 Razer (Asia-Pacific) Pte. Ltd. Method and apparatus for using incremental search sequence in audio error concealment
ES3017157T3 (en) 2019-06-13 2025-05-12 Ericsson Telefon Ab L M Time reversed audio subframe error concealment
US12337473B2 (en) 2021-06-14 2025-06-24 Uchicago Argonne, Llc Method and mechanical design of a flexure interface for ultra-high-vacuum nanopositioning Invar base near-zero-length feedthrough

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7272556B1 (en) * 1998-09-23 2007-09-18 Lucent Technologies Inc. Scalable and embedded codec for speech and audio signals
US6754630B2 (en) * 1998-11-13 2004-06-22 Qualcomm, Inc. Synthesis of speech from pitch prototype waveforms by time-synchronous waveform interpolation
US6138089A (en) * 1999-03-10 2000-10-24 Infolio, Inc. Apparatus system and method for speech compression and decompression
US7054453B2 (en) * 2002-03-29 2006-05-30 Everest Biomedical Instruments Co. Fast estimation of weak bio-signals using novel algorithms for generating multiple additional data frames
KR100954668B1 (ko) * 2003-04-17 2010-04-27 주식회사 케이티 손실 전/후 패킷정보를 이용한 패킷손실 은닉 방법
JP2006174028A (ja) * 2004-12-15 2006-06-29 Matsushita Electric Ind Co Ltd 音声符号化方法、音声復号化方法、音声符号化装置および音声復号化装置
FR2907586A1 (fr) * 2006-10-20 2008-04-25 France Telecom Synthese de blocs perdus d'un signal audionumerique,avec correction de periode de pitch.
BRPI0718300B1 (pt) * 2006-10-24 2018-08-14 Voiceage Corporation Método e dispositivo para codificar quadros de transição em sinais de fala.
US20110022924A1 (en) * 2007-06-14 2011-01-27 Vladimir Malenovsky Device and Method for Frame Erasure Concealment in a PCM Codec Interoperable with the ITU-T Recommendation G. 711
WO2010086342A1 (fr) * 2009-01-28 2010-08-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encodeur audio, décodeur audio, procédé d'encodage d'informations audio d'entrée, procédé de décodage d'informations audio d'entrée et programme d'ordinateur utilisant des tables de codage améliorées
US9031834B2 (en) * 2009-09-04 2015-05-12 Nuance Communications, Inc. Speech enhancement techniques on the power spectrum
US20110196673A1 (en) * 2010-02-11 2011-08-11 Qualcomm Incorporated Concealing lost packets in a sub-band coding decoder

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2014118468A1 *

Also Published As

Publication number Publication date
RU2652464C2 (ru) 2018-04-26
BR112015018102A2 (pt) 2017-07-18
KR20150113161A (ko) 2015-10-07
EP2951813B1 (fr) 2016-12-07
US20150371647A1 (en) 2015-12-24
CA2899438C (fr) 2021-02-02
BR112015018102B1 (pt) 2022-03-22
JP2016511432A (ja) 2016-04-14
MX350634B (es) 2017-09-12
RU2015136540A (ru) 2017-03-06
MX2015009964A (es) 2016-06-02
JP6426626B2 (ja) 2018-11-21
FR3001593A1 (fr) 2014-08-01
CA2899438A1 (fr) 2014-08-07
CN105122356B (zh) 2019-12-20
US9613629B2 (en) 2017-04-04
WO2014118468A1 (fr) 2014-08-07
KR102398818B1 (ko) 2022-05-17
CN105122356A (zh) 2015-12-02

Similar Documents

Publication Publication Date Title
EP2951813B1 (fr) Correction perfectionnée de perte de trame au décodage d'un signal
EP1989706B1 (fr) Dispositif de ponderation perceptuelle en codage/decodage audio
CA2909401C (fr) Correction de perte de trame par injection de bruit pondere
EP3161659A1 (fr) Ré-échantillonnage par interpolation d'un signal audio pour un codage /décodage à bas retard
WO2008096084A1 (fr) Synthèse de blocs perdus d'un signal audionumérique, avec correction de période de pitch
WO2007007001A2 (fr) Dispositif de codage/decodage hierarchique
CA2839971A1 (fr) Fenetres de ponderation en codage/decodage par transformee avec recouvrement, optimisees en retard
EP3175443B1 (fr) Détermination d'un budget de codage d'une trame de transition lpd/fd
FR2984580A1 (fr) Procede de detection d'une bande de frequence predeterminee dans un signal de donnees audio, dispositif de detection et programme d'ordinateur correspondant
EP3138095B1 (fr) Correction de perte de trame perfectionnée avec information de voisement
WO2007107670A2 (fr) Procede de post-traitement d'un signal dans un decodeur audio
EP3167447B1 (fr) Mise a jour des états d'un post-traitement a une fréquence d'échantillonnage variable selon la trame
FR2990552A1 (fr) Traitement d'amelioration de la qualite des signaux audiofrequences
FR3164561A1 (fr) Post-traitement d’un signal audio selon un modèle de post-traitement issu d’un entrainement optimisé
FR2980620A1 (fr) Traitement d'amelioration de la qualite des signaux audiofrequences decodes

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20150722

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RIC1 Information provided on ipc code assigned before grant

Ipc: G10L 19/02 20130101ALI20160616BHEP

Ipc: G10L 19/005 20130101AFI20160616BHEP

INTG Intention to grant announced

Effective date: 20160714

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

Ref country code: AT

Ref legal event code: REF

Ref document number: 852358

Country of ref document: AT

Kind code of ref document: T

Effective date: 20161215

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602014005356

Country of ref document: DE

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 4

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161207

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20161207

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170307

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161207

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170308

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161207

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 852358

Country of ref document: AT

Kind code of ref document: T

Effective date: 20161207

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161207

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161207

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161207

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170131

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161207

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161207

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161207

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161207

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170407

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161207

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161207

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161207

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161207

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161207

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161207

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170407

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170307

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602014005356

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161207

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170131

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170131

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

26N No opposition filed

Effective date: 20170908

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161207

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161207

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170130

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 5

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20170131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170130

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161207

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20140130

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161207

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161207

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161207

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20161207

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20251220

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20251217

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20251217

Year of fee payment: 13