EP3175444A1 - Gestion de la perte de trame dans un contexte de transition fd/lpd - Google Patents

Gestion de la perte de trame dans un contexte de transition fd/lpd

Info

Publication number
EP3175444A1
EP3175444A1 EP15757533.3A EP15757533A EP3175444A1 EP 3175444 A1 EP3175444 A1 EP 3175444A1 EP 15757533 A EP15757533 A EP 15757533A EP 3175444 A1 EP3175444 A1 EP 3175444A1
Authority
EP
European Patent Office
Prior art keywords
frame
digital signal
segment
coded
additional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP15757533.3A
Other languages
German (de)
English (en)
Other versions
EP3175444B1 (fr
Inventor
Julien Faure
Stéphane RAGOT
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
Orange SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange SA filed Critical Orange SA
Publication of EP3175444A1 publication Critical patent/EP3175444A1/fr
Application granted granted Critical
Publication of EP3175444B1 publication Critical patent/EP3175444B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding

Definitions

  • the present invention relates to the field of coding / decoding of digital signals in particular for the loss of frame correction.
  • the invention is advantageously applied to the coding / decoding of sounds that can contain speech and music mixed or alternately.
  • CELP Code Excited Linear Prediction
  • transform coding techniques are preferred.
  • CELP coders are predictive coders. They aim to model the production of speech from various elements: a short-term linear prediction to model the vocal tract, a long-term prediction to model the vibration of vocal cords in voiced period, and an excitation derived from a fixed dictionary (white noise, algebraic excitation) to represent ⁇ "innovation" which could not be modeled.
  • Transformers such as MPEG AAC, AAC-LD, AAC-ELD or ITU-T
  • G.722.1 Annex C use critical-sampling transforms to compact the signal in the transformed domain.
  • a "critical-sampling transform” is a transform for which the number of coefficients in the transformed domain is equal to the number of time samples in each frame analyzed.
  • One solution for efficiently coding a mixed speech / music content signal consists in selecting, over time, the best technique between at least two coding modes, one of the CELP type, the other of the transformed type.
  • RMO Model 0 Reference
  • LPD Linear Predictive Domain
  • a mode TCX for "Transform Coded eXcitation” in English
  • wLPT for "weighted Linear Predictive Transform”
  • MDCT (unlike the AMR-WB + codec) that uses an FFT transform.
  • FD mode for "Frequency Domain” in English
  • MDCT for "Modified Discrete Cosine Transform” in English
  • MPEG AAC type for "Advanced Audio Coding" out of 1024 samples.
  • the MDCT transformation is typically divided into three steps, the signal being cut into frames of M samples before MDCT coding:
  • MDCT window of length 2M
  • the MDCT window is divided into 4 adjacent portions of equal lengths M / 2, here called "quarters".
  • the signal is multiplied by the analysis window and folds are made: the first quarter (windowed) is folded (ie inverted in time and overlapped) on the second quarter and the fourth quarter is folded on the third.
  • the temporal folding from one quarter to another is done in the following way: the first sample of the first quarter is added (or subtracted) to the last sample of the second quarter, the second sample of the first quarter is added (or subtracted ) second-last sample of the second quarter, and so on until the last sample of the first quarter that is added (or subtracted) to the first sample of the second quarter.
  • the folded two quarters are then coded together after DCT (Type IV) transformation.
  • DCT Type IV transformation
  • the third and fourth quarters of the previous frame then become the first and second quarters of the current frame.
  • the decoded version of these folded signals is thus obtained.
  • Two consecutive frames contain the result of 2 different folds of the same quarters, that is to say for each pair of samples one has the result of 2 linear combinations with different but known weights: an equation system is thus solved to obtain the decoded version of the input signal, the time folding can be thus removed using 2 consecutive decoded frames.
  • implementation variants of the MDCT transformation exist, in particular on the definition of the DCT transform, on how to fold the block to be transformed temporarily (for example, the signs applied to the folded quarters can be reversed). left and right, or fold the second and third quarter over the first and fourth quarters respectively), etc. These variants do not change the principle of the MDCT analysis-synthesis with the reduction of the sample block by windowing, temporal folding then transformation and finally windowing, folding and addition-recovery.
  • the transition frame is defined as the transform-encoded current frame that succeeds a previous frame encoded by predictive coding.
  • a part of the transition frame for example a subframe of 5 ms, in the case of a CELP core coding at 12.8 kHz, and two additional CELP frames of 4 ms each, in the case of a CELP core coding at 16 kHz, are coded by a predictive coding restricted with respect to the predictive coding of the previous frame.
  • Restricted predictive coding consists in using the stable parameters of the preceding frame coded by a predictive coding, such as the coefficients of the linear prediction filter and coding only a few minimum parameters for the additional subframe in the transition frame.
  • the aforementioned patent application WO2012 / 085451 also proposes modifying the first half of the MDCT window so as not to have time folding in the first quarter normally folded. It is also proposed to integrate an addition-recovery part (also called “fade-in” or “overlap-add” in English) between the decoded CELP frame and the decoded MDCT frame by modifying the coefficients of the analysis window. /synthesis.
  • the mixed lines lines alternating points and lines
  • the bold lines separate the frames of new samples at the input of the encoder.
  • the coding of a new MDCT frame can be started when a so-defined frame of new input samples is fully available. It is important to note that these lines in bold at the coder do not correspond to the current frame but to the block of new samples arriving for each frame: the current frame is in fact delayed by 5 ms which correspond to an anticipation, called "lookahead" in English.
  • the bold lines separate the decoded frames at the output of the decoder.
  • the transition window is zero to the point of folding.
  • the portion between the folding point and the end of the CELP transition subframe (TR) corresponds to a (half) sinusoidal window.
  • the same window is applied to the signal.
  • the coefficients of the window correspond to a window of form sin 2 .
  • coded audio signal frames may be lost on the channel between the encoder and the decoder.
  • the frame loss correction is often related to the speech model.
  • ITU-T Standard G.722.2 proposes to replace a lost packet by extending the long-term prediction gain by attenuating it, and by extending the spectral line frequencies (ISF in English).
  • ISF spectral line frequencies
  • "Immitance Spectral Frequencies” representing the coefficients A (z) of the LPC filter, making them tend towards their respective averages.
  • the fundamental period (or "pitch") is also repeated.
  • the contribution of the fixed dictionary is filled with random values. Applying such methods for transform or PCM decoders would require CELP analysis at the decoder, which would introduce significant additional complexity. It should also be noted that more advanced methods of frame loss correction during CELP decoding are described in ITU-T G.718 for both 8 and 12 kbit / s rates as well as interoperable decoding rates with AMR-WB.
  • a common technique for correcting a frame loss is to repeat the last frame received.
  • Such a technique is implemented in several standardized coders / decoders (G.719, G.722.1 and G.722.1C in particular).
  • G.719, G.722.1 and G.722.1C standardized coders / decoders
  • an MLT transform for "Modulated Lapped Transform”
  • MDCT transform equivalent to an MDCT transform
  • Such a technique is inexpensive but its main defect is the inconsistency between the signal just before the loss of frame and the repeated signal. This results in a phase discontinuity that can introduce important audio artifacts if the overlap time between the two frames is low, as is the case when the windows used for the MLT are so-called low delay windows.
  • a replacement frame is generated by using a suitable packet loss masking algorithm (for "Packet Loss Concealment").
  • a packet may contain several frames, so the term PLC may be ambiguous, and it is here taken to indicate the correction of the current frame lost.
  • a PLC-based replacement frame adapted to CELP encoding is used, exploiting the CELP encoder memories.
  • a replacement frame based on a PLC adapted to the MDCT encoding is generated.
  • the transition frame is composed of a CELP subframe (which is at the same sampling rate as the previous CELP frame) and a MDCT frame with a modified MDCT window canceling the folding "left", there are situations for which existing techniques provide no solution.
  • a previous CELP frame has been correctly received and decoded, a current transition frame is lost, and the next frame is an MDCT frame.
  • the PLC algorithm after receiving the CELP frame, does not know that the lost frame is a transition frame and therefore generates a replacement CELP frame.
  • the first folded portion of the next MDCT frame can not be compensated and the delay between the two types of encoder can not be bridged with the CELP subframe contained in the transition frame (which is lost with the transition frame). There is no known solution to deal with this situation.
  • a previous CELP frame at 12.8 kHz is correctly received and decoded, a current CELP frame at 16 kHz is lost, and the next frame is a transition frame.
  • the PLC algorithm then generates a CELP frame at the frequency of the last correctly received frame, ie 12.8 kHz, and the CELP transition subframe (partially coded from CELP parameters of the 16 kHz CELP frame lost ) can not be decoded.
  • the present invention improves this situation.
  • a first aspect of the invention relates to a method for decoding a coded digital signal according to a predictive coding and according to a transform coding, comprising the following steps:
  • an additional segment of digital signal is available each time a replacement CELP frame is generated.
  • the predictive decoding of the previous frame includes the predictive decoding of a correctly received CELP frame or the generation of a replacement CELP frame by a CELP-adapted PLC algorithm.
  • this additional segment makes possible a transition between a CELP coding and a transform coding, even in the case of a frame loss.
  • the transition with the next MDCT frame can be provided by the additional segment.
  • the additional segment may be added to the next MDCT frame to compensate for the first folded portion of this MDCT frame by cross-fading the area containing the non-canceled time folding.
  • the decoding of the transition frame is made possible by the use of the additional segment. Indeed, if it is not possible to decode the transition CELP subframe (unavailability of CELP parameters of the previous frame coded at 16 kHz), it is possible to replace it with the additional segment as described above. after.
  • the calculations relating to the management of the frame loss and the transition are distributed over time. Indeed, the additional segment is generated and stored for each generated replacement CELP frame. The transition segment is therefore generated as soon as a frame loss is detected, without waiting for a transition to be subsequently detected. The transition is therefore anticipated at each frame loss, which avoids having to manage a "complexity peak" at the moment when a new correct frame is received and decoded.
  • the method further comprises the following steps:
  • decoding the next frame comprising an overlap adding sub-step between the additional digital signal segment and the transform coded segment.
  • the overlapping addition sub-step makes it possible to cross-fade the output signal.
  • Such a dissolve limits the appearance of sound artifacts (for example of the "metallic noise” type) and ensures an energy coherence of the signal.
  • next frame is fully coded according to transform coding and the lost current frame is a transition frame between the predecessor coded predictive coding frame and the transform coded next frame.
  • the preceding frame is coded according to a predictive coding by a predictive coder core operating at a first frequency.
  • the following frame is a transition frame comprising at least one sub-frame coded according to a predictive coding by a predictive coding core operating at a second frequency distinct from the first frequency.
  • the following transition frame may comprise a bit indicating the frequency of the predictive coding core used.
  • the CELP encoding type (12.8 or 16 kHz) used in the transition CELP subframe can be indicated in the bitstream of the transition frame.
  • the invention thus provides to add a systematic indication (one bit) in a transition frame, in order to allow the detection of a CELP coding / decoding frequency difference between the transition CELP subframe and the previous CELP frame.
  • the overlap addition is given by applying the following formula implementing a linear weighting:
  • r is a coefficient representative of the length of the additional segment generated
  • T (i) the amplitude of the additional digital signal segment, for sample i.
  • the overlap addition can therefore be made from linear combinations and operations that are simple to implement. The time required for the decoding is thus reduced while requiring less the processor (s) used for these calculations.
  • other forms of cross-fade can be implemented without changing the principle of the invention.
  • the step of generating by prediction of the replacement frame further comprising an update of internal memories of the decoder, the step of generating by prediction of an additional segment of digital signal may comprise the sub-frames. -following steps :
  • the internal memories of the decoder are not updated for the generation of the additional segment. Therefore, the generation of the additional signal segment does not impact the decoding of the next frame, in the event that the next frame is a CELP frame.
  • the internal memories of the decoder must correspond to the states of the decoder at the end of the replacement frame.
  • the step of generating by prediction of an additional segment of digital signal comprises the following substeps:
  • the efficiency of the method is further improved because the temporary calculation data used for the generation of the replacement CELP frame is directly available for the generation of the additional CELP frame.
  • the registers and caches, on which the temporary calculation data are stored may not be updated in order to reuse these data directly for the generation of the additional CELP frame.
  • a second aspect of the invention is directed to a computer program comprising instructions for implementing the method according to the first aspect of the invention, when these instructions are executed by a processor.
  • a third aspect of the invention provides a decoder of a coded digital signal according to a predictive coding and a transform coding, comprising:
  • a predictive decoder comprising a processor arranged to perform the following operations: Predictive decoding of a previous frame of the digital signal coded by a set of predictive coding parameters;
  • the decoder according to the third aspect of the invention further comprises a transform decoder comprising a processor arranged to perform the following operations:
  • decoding the next frame comprising an overlap adding sub-step between the additional digital signal segment and the transform coded segment.
  • the invention may include inserting in the transition frame an information bit on the CELP core used for encoding the transition subframe.
  • FIG. 1 illustrates an audio decoder according to an embodiment of the invention
  • FIG. 2 illustrates a CELP decoder of an audio decoder, such as the decoder audio of Figure 1, according to one embodiment of the invention.
  • FIG. 3 is a diagram illustrating the steps of a decoding method, implemented by the audio decoder of FIG. 1, according to one embodiment of the invention
  • FIG. 4 illustrates a computing device according to one embodiment of the invention.
  • Figure 1 illustrates an audio decoder 100 according to one embodiment of the invention.
  • the coded digital audio signal received by the decoder according to the invention may be derived from an encoder able to encode an audio signal in the form of CELP frames, MDCT frames and CELP / MDCT transition frames, such as the encoder described in the application WO2012 / 085451.
  • a transition-coded transition frame may furthermore comprise a segment (a sub-frame for example) coded by a predictive coding.
  • the encoder may further add a bit in the transition frame to identify the frequency of the CELP core used.
  • the CELP coding example is given for illustrative purposes to describe any type of predictive coding.
  • the MDCT coding example is given for illustrative purposes to describe any type of transform coding.
  • the decoder 100 comprises a reception unit 101 of a coded digital audio signal.
  • the digital signal is encoded as CELP frames, MDCT frames and CELP / MDCT transition frames.
  • CELP coding may be replaced by another type of predictive coding
  • MDCT coding may be replaced by another type of transform coding.
  • the decoder 100 further comprises a classification unit 102 capable of determining - generally by simple reading of the bitstream and interpretation of the indications received from the coder - whether a current frame is a CELP frame, an MDCT frame, or a transition frame. Depending on the classification of the current frame, the latter may be transmitted to a CELP decoder 103 or to an MDCT decoder 104 (or both, in the case of a transition frame, the transition CELP subframe being transmitted to a decoding unit 105 described below).
  • the classification unit 102 may determine the CELP encoding type used in the additional CELP subframe - this type of encoding is indicated as an output bit rate of the encoder.
  • a reception unit 201 which may include a demultiplexing function, is able to receive CELP coding parameters of the current frame. These parameters can include excitation parameters (gain vectors, fixed dictionary vector, adaptive dictionary vector for example) transmitted to a decoding unit 202 capable of generating an excitation.
  • the CELP coding parameters may comprise LPC coefficients represented in the form of LSF or ISF, for example. The LPC coefficients are decoded by a decoding unit 203 capable of supplying the LPC coefficients to a synthetic LPC filter 205.
  • the CELP decoder 103 may comprise a low-frequency post-processing 207 (or "bass-post filter" in English) similar to that described in the ITU-T G.718 standard.
  • the CELP decoder 103 further comprises a resampling 208 of the signal synthesized at the output frequency (the output frequency of the MDCT decoder 104), and an output interface 209.
  • post-processing additional CELP synthesis can be implemented before or after resampling.
  • the CELP decoder 103 may comprise a high frequency decoding unit 204, the low frequency signal being decoded by the units 202 to 208 described.
  • CELP synthesis may involve updating internal CELP coder states (or updating internal memories), such as:
  • the decoder further comprises a frame loss management unit 108 and a temporary memory 107.
  • the decoder 100 further comprises a decoding unit 105 able to receive the transition CELP subframe and the decoded transition frame by transforming the output of the MDCT decoder 104, in order to decode the frame of the decoder. addition-based transition with recovery of the received signals.
  • the decoder 100 may further comprise an output interface 106.
  • FIG. 3 is a diagram showing the steps of a method according to one embodiment of the invention.
  • a coded digital audio signal current frame may or may not be received by the reception unit 101 from an encoder. It is considered that the previous audio signal frame is a correctly received and decoded frame or a frame of replacement.
  • the classification unit 102 determines whether the coded current frame is a CELP frame.
  • the method comprises a step 304 of decoding and resampling the coded CELP frame, by the decoder CELP 103.
  • the aforementioned internal memories of the CELP decoder 103 can then be set in step 305.
  • the decoded and resampled signal is outputted from the decoder 100.
  • the excitation parameters of the current frame, as well as the LPC coefficients, can be stored in the memory 107. .
  • the current frame comprises at least one segment coded according to a transform coding (MDCT frame or transition frame). It is then checked at a step 307 if the coded current frame is an MDCT frame. If this is the case, the current frame is decoded at a step 308 by the MDCT decoder 104 and the decoded signal is transmitted at the output of the decoder 100 in step 306.
  • MDCT frame or transition frame transform coding
  • the current frame is not an MDCT frame
  • it is a transition frame which is decoded at a step 309 by decoding both the CELP transition subframe and the MDCT transformed current frame and by effecting addition with recovery of the signals from the decoder CELP and the decoder MDCT to obtain a digital signal transmitted at the output of the decoder 100 in step 306.
  • a PLC algorithm adapted to the MDCT implemented in the lossy frame management unit 108 generates a replacement frame MDCT decoded by the decoder MDCT 104 in order to obtain a signal digital output, at a step 311.
  • a PLC algorithm adapted to the CELP is implemented by the frame loss management unit 108 and the CELP decoder 103 to generate a replacement CELP frame at a step 312.
  • the PLC algorithm can include the following steps:
  • deemphasizing the synthesized signal using the de-emphasis unit 206 and updating, in step 313, the memory of the deemphasis unit 206;
  • post-processing 207 of the synthesized signal by updating, in step 313, the memory of the post-processing - it may be noted that the post-processing can be deactivated during the frame loss correction because the information that they use are not reliable because simply extrapolated, in this case the memories of the postprocessing must nevertheless be updated to allow a normal operation to the next received frame;
  • the memories thus updated can be copied into the temporary memory 107.
  • the decoded replacement CELP frame is transmitted at the output of the decoder at a step 315.
  • Step 316 the method according to the invention provides the generation by prediction of an additional segment of digital signal, by implementing a PLC algorithm adapted to CELP.
  • Step 316 may include the following substeps:
  • the interpolation estimation can be implemented according to the same method as that used for the interpolation estimation for the replacement frame described above (without updating the memories of the LSF quantizers);
  • the excitation can be determined by the same method as that used to determine the excitation for the replacement frame (without the update of the adaptive gain and fixed gain values);
  • postprocessing of the signal synthesized by using the post-processing memory 207 optionally, postprocessing of the signal synthesized by using the post-processing memory 207;
  • the invention provides for storing in temporary variables the states of the CELP decoding that are modified at each step, before performing these steps, so that the predetermined states can be restored. their stored values after generating the temporary segment.
  • the additional signal segment generated is stored in the memory 107 at a step 317.
  • a next digital signal frame is received by the reception unit 101. It is verified in a step 319 that the next frame is an MDCT frame or a transition frame.
  • next frame is a CELP frame and is decoded by the CELP decoder 103 at a step 320.
  • the additional segment synthesized in step 316 is not used and can be deleted. the memory 107.
  • next frame is an MDCT frame or a transition frame
  • it is decoded by the MDCT decoder 104 in a step 322.
  • the additional digital signal segment stored in the memory 107 is retrieved at a step 323 by the management unit 108 and transmitted to the decoding unit 105.
  • the additional signal segment obtained makes it possible to carry out an overlay by the unit 103 in order to correctly decode the first part of the next MDCT frame at a step 324.
  • the additional segment is a sub-frame half
  • a linear gain between 0 and 1 can be applied when overlapping over the first half of the MDCT frame and a gain linear between 1 and 0 is applied to the additional signal segment.
  • MDCT decoding can give rise to discontinuities due to quantization errors.
  • transition frame In the case where the following frame is a transition frame, two cases are to be distinguished as considered below. It is recalled that the decoding of the transition frame is based not only on the classification of the current frame as a "transition frame” but also an indication of the CELP coding type (12.8 or 16 kHz) when several coding frequencies CELP are possible. So :
  • the transition subframe can not be decoded, and the additional signal segment then allows the decoding unit 105 to provide overlap with the signal from the MDCT decoding of step 322.
  • the additional segment is a sub-frame half, a linear gain between 0 and 1 may be applied during overlap over the first half of the MDCT frame and a linear gain between 1 and 0 is applied to the additional signal.
  • the transition CELP subframe can be decoded and used by the decoding unit 105 for addition-overlap with the digital signal from the decoder MDCT 104 having decoded the transition frame.
  • r a coefficient representative of the length of the additional segment generated, the length being equal to L / r.
  • r a coefficient representative of the length of the additional segment generated, the length being equal to L / r.
  • L the length of the next frame (for example 20 ms);
  • the invention provides, on loss of a current frame following a previous CELP frame, the generation of an additional segment in addition to a replacement frame. In some cases, and especially if the next frame is a CELP frame, such an additional segment is not used. However, its calculation does not induce any additional complexity insofar as the coding parameters of the previous frame are reused.
  • next frame is an MDCT frame or a transition frame with a CELP subframe at a core frequency different from the core frequency used for encoding the previous CELP frame
  • the additional signal segment generated and stored allows the decoding of the next frame, which was not allowed by the solutions of the prior art.
  • FIG. 4 represents an exemplary computing device 400 that can be integrated in the CELP encoder 103 and in the MDCT encoder 104.
  • the device 400 comprises a RAM 404 and a processor 403 for storing instructions for implementing steps of the method described above (implemented by the CELP encoder 103 or by the MDCT encoder 104).
  • the device also comprises a mass memory 405 for storing data intended to be stored after the application of the method.
  • the device 400 further comprises an input interface 401 and an output interface 406 respectively for receiving the frames of the digital signal and transmitting the decoded signal frames.
  • the device 400 may further include a digital signal processor (DSP) 402.
  • DSP digital signal processor
  • This DSP 402 receives the digital signal frames for shaping, demodulating and amplifying, in a manner known per se, these frames.
  • a set-top box can be embedded in any type of larger device such as a mobile phone, a computer, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

Gestion de la perte de trame dans un contexte de transition FD/LPD L'invention concerne un procédé de décodage d'un signal numérique codé selon un codage prédictif et selon un codage par transformée, comprenant les étapes suivantes : - décodage (304) prédictif d'une trame précédente du signal numérique, codée par un ensemble de paramètres de codage prédictif; - détection (302) de la perte d'une trame courante du signal numérique codé; - génération (312) par prédiction, à partir d'au moins un paramètre de codage prédictif codant la trame précédente, d'une trame de remplacement de la trame courante; - génération (316) par prédiction, à partir d'au moins un paramètre de codage prédictif codant la trame précédente, d'un segment supplémentaire de signal numérique; - stockage (317) temporaire dudit segment supplémentaire de signal numérique.

Description

Gestion de la perte de trame dans un contexte de transition FD/LPD
La présente invention concerne le domaine du codage/décodage des signaux numériques en particulier pour la correction de perte de trame.
L'invention s'applique avantageusement au codage/décodage de sons pouvant contenir de la parole et de la musique mélangés ou en alternance.
Pour coder efficacement les sons de parole à bas débit, les techniques de type CELP (« Code Excited Linear Prédiction ») sont préconisées. Pour coder efficacement les sons musicaux, on préconise plutôt les techniques de codage par transformée.
Les codeurs de type CELP sont des codeurs prédictifs. Ils ont pour but de modéliser la production de la parole à partir de divers éléments : une prédiction linéaire à court-terme pour modéliser le conduit vocal, une prédiction à long-terme pour modéliser la vibration des cordes vocales en période voisée, et une excitation dérivée d'un dictionnaire fixe (bruit blanc, excitation algébrique) pour représenter Γ "innovation" qui n'a pas pu être modélisée.
Les codeurs par transformée tels que MPEG AAC, AAC-LD, AAC-ELD ou ITU-T
G.722.1 Annexe C utilisent des transformées à échantillonnage critique afin de compacter le signal dans le domaine transformé. On appelle « transformée à échantillonnage critique », une transformée pour laquelle le nombre de coefficients dans le domaine transformé est égal au nombre d'échantillons temporels dans chaque trame analysée.
Une solution pour coder efficacement un signal de contenu mixte parole/musique consiste à sélectionner au cours du temps la meilleure technique entre au moins deux modes de codage, l'un de type CELP, l'autre de type transformée.
C'est le cas par exemple des codées 3GPP AMR-WB + et MPEG USAC (pour " Unified Speech Audio Coding" en anglais). Les applications visées par AMR-WB+ et USAC ne sont pas conversationnelles, mais correspondent à des services de diffusion et stockage, sans contraintes fortes sur le retard algorithmique.
La version initiale du codée USAC, appelée RMO (Référence Model 0), est décrite dans l'article de M. Neuendorf et al., A Novel Scheme for Low Bitrate Unified Speech and Audio Coding - MPEG RMO, 7-10 May 2009, 126th AES Convention. Ce codée RMO alterne entre plusieurs modes de codage:
• Pour les signaux de type parole: modes LPD (pour "Linear Prédictive Domain" en anglais) comprenant deux modes différents dérivés du codage AMR-WB+:
- Un mode ACELP
- Un mode TCX (pour « Transform Coded eXcitation » en anglais) appelé wLPT (pour "weighted Linear Prédictive Transform" en anglais) utilisant une transformée de type
MDCT (contrairement au codée AMR-WB+) qui utilise une transformée FFT. • Pour les signaux de type musique: mode FD (pour "Frequency Domain" en anglais) utilisant un codage par transformée MDCT (pour "Modified Discrète Cosine Transform" en anglais) de type MPEG AAC (pour "Advanced Audio Coding" en anglais) sur 1024 échantillons.
Dans le codée USAC, les transitions entre modes LPD et FD sont cruciales pour assurer une qualité suffisante sans défaut de commutation, sachant que chaque mode (ACELP, TCX, FD) a une "signature" spécifique (en termes d'artefacts) et que les modes FD et LPD sont de nature différentes - le mode FD repose sur un codage par transformée dans le domaine du signal, tandis que les modes LPD utilisent un codage linéaire prédictif dans le domaine perceptuellement pondéré avec des mémoires de filtre à gérer correctement. La gestion des commutations intermodes dans le codée USAC RMO est détaillée dans l'article de J. Lecomte et al., "Efficient cross-fade Windowsor transitions between LPC-based and non-LPC based audio coding", 7-10 May 2009, 126th AES Convention. Comme expliqué dans cet article, la difficulté principale réside dans les transitions entre modes LPD vers FD et vice versa. On ne retient ici que le cas des transitions d' ACELP vers FD.
Pour bien en comprendre le fonctionnement, on rappelle ici le principe du codage par transformée MDCT au travers d'un exemple typique de réalisation.
Au codeur la transformation MDCT se divise typiquement entre trois étapes, le signal étant découpé en trames de M échantillons avant codage MDCT:
· Pondération du signal par une fenêtre appelé ici "fenêtre MDCT" de longueur 2M ;
• Repliement temporel (ou " time-domain aliasing" en anglais) pour former un bloc de longueur M ;
• Transformation DCT (pour "Discrète Cosine Transform" en anglais) de longueur
M.
La fenêtre MDCT est divisée en 4 portions adjacentes de longueurs égales M/2, appelées ici "quarts".
Le signal est multiplié par la fenêtre d'analyse puis les repliements sont effectués : le premier quart (fenêtré) est replié (c'est-à-dire inversé dans le temps et mis en recouvrement) sur le deuxième quart et le quatrième quart est replié sur le troisième.
Plus précisément, le repliement temporel d'un quart sur un autre est effectué de la façon suivante : le premier échantillon du premier quart est additionné (ou soustrait) au dernier échantillon du deuxième quart, le deuxième échantillon du premier quart est additionné (ou soustrait) à avant-dernier échantillon du deuxième quart, et ainsi de suite jusqu'au dernier échantillon du premier quart qui est additionné (ou soustrait) au premier échantillon du deuxième quart. On obtient donc, à partir de 4 quarts, 2 quarts repliés où chaque échantillon est le résultat d'une combinaison linéaire de 2 échantillons du signal à coder. Cette combinaison linéaire induit un repliement temporel.
Les 2 quarts repliés sont ensuite codés conjointement après transformation DCT (de type IV). Pour la trame suivante on se décale d'une moitié de fenêtre (soit 50% de recouvrement), les troisième et quatrième quarts de la trame précédente deviennent alors les premier et deuxième quarts de la trame courante. Après repliement, on envoie une deuxième combinaison linéaire des mêmes paires d'échantillons comme dans la trame précédente, mais avec des poids différents.
Au décodeur, après transformation DCT inverse on obtient donc la version décodée de ces signaux repliés. Deux trames consécutives contiennent le résultat de 2 repliements différents des mêmes quarts, c'est à dire pour chaque paire d'échantillons on a le résultat de 2 combinaisons linéaires avec des poids différents mais connus : un système d'équation est donc résolu pour obtenir la version décodée du signal d'entrée, le repliement temporel peut être ainsi supprimé en utilisant 2 trames décodées consécutives.
La résolution des systèmes d'équations mentionnées peut en général être faite implicitement par dépliement, multiplication par une fenêtre de synthèse judicieusement choisie puis addition-recouvrement des parties communes. Cette addition-recouvrement assure en même temps la transition douce (sans discontinuité due aux erreurs de quantification) entre 2 trames décodées consécutives, en effet cette opération se comporte comme un fondu enchaîné. Quand la fenêtre pour le premier quart ou le quatrième quart est à zéro pour chaque échantillon, on parle d'une transformation MDCT sans repliement temporel dans cette partie de la fenêtre. Dans ce cas la transition douce n'est pas assurée par la transformation MDCT, elle doit être faite par d'autres moyens comme par exemple un fondu enchaîné extérieur.
Il est à noter que des variantes de mise en œuvre de la transformation MDCT existent, en particulier sur la définition de la transformée DCT, sur la façon de replier temporellement le bloc à transformer (par exemple, on peut inverser les signes appliqués aux quarts repliés à gauche et droite, ou replier les deuxième et troisième quart sur respectivement les premiers et quatrième quarts), etc. Ces variantes ne changent pas le principe de l'analyse-synthèse MDCT avec la réduction du bloc d'échantillons par fenêtrage, repliement temporel puis transformation et enfin fenêtrage, repliement et addition-recouvrement.
Afin d'éviter les artefacts au moment des transitions entre le codage de type CELP et le codage de type MDCT, la demande de brevet internationale WO2012/085451, dont le contenu est incorporé par référence à la présente demande, propose une méthode pour coder une trame de transition. La trame de transition est définie comme la trame courante codée par transformée qui succède à une trame précédente codée par un codage prédictif. Selon la nouvelle méthode précitée, une partie de la trame de transition, par exemple une sous trame de 5 ms, dans le cas d'un codage cœur CELP à 12.8 kHz, et deux trames CELP supplémentaires de 4ms chacune, dans le cas d'un codage coeur CELP à 16 kHz, sont codées par un codage prédictif restreint par rapport au codage prédictif de la trame précédente.
Le codage prédictif restreint consiste à utiliser les paramètres stables de la trame précédente codée par un codage prédictif, comme par exemple les coefficients du filtre de prédiction linéaire et de ne coder que quelques paramètres minimaux pour la sous-trame supplémentaire dans la trame de transition.
Comme la trame précédente n'a pas été codée avec un codage par transformée, l'annulation du repliement temporel dans la première partie de la trame est impossible. La demande de brevet WO2012/085451 précitée propose en outre de modifier la première moitié de la fenêtre MDCT de manière à ne pas avoir de repliement temporel dans le premier quart normalement replié. Il est aussi proposé d'intégrer une partie de addition-recouvrement (aussi appelé « fondu enchaîné » ou encore « overlap-add » en anglais) entre la trame CELP décodée et la trame MDCT décodée en modifiant les coefficients de la fenêtre d'analyse/synthèse. En référence à la figure 4e de la demande précitée, les traits mixtes (lignes alternant des points et traits) correspondent aux lignes de repliement de codage MDCT (figure du haut) et aux lignes de dépliement de décodage MDCT (figure du bas). Sur la figure du haut, les lignes en gras séparent les trames de nouveaux échantillons à l'entrée du codeur. Le codage d'une nouvelle trame MDCT peut être commencé quand une trame ainsi définie de nouveaux échantillons d'entrée est entièrement disponible. Il est important de remarquer que ces lignes en gras au codeur ne correspondent pas à la trame courante mais au bloc de nouveaux échantillons arrivant pour chaque trame : la trame courante est en fait retardée de 5 ms qui correspondent à une anticipation, dénommée « lookahead » en anglais. Sur la figure du bas, les lignes en gras séparent les trames décodées à la sortie du décodeur.
Au codeur, la fenêtre de transition est nulle jusqu'au point de repliement. Ainsi les coefficients de la partie gauche de la fenêtre repliée seront identiques à ceux de la fenêtre non repliée. La partie entre le point de repliement et la fin de la sous-trame CELP de transition (TR) correspond à une (demi-) fenêtre sinusoïdale. Au décodeur, après dépliement, la même fenêtre est appliquée au signal. Sur le segment entre le point de repliement et le début de la trame MDCT, les coefficients de la fenêtre correspondent à une fenêtre de forme sin2. Pour assurer addition- recouvrement entre la sous trame CELP décodée et le signal issu de la MDCT, il suffit d'appliquer une fenêtre de type cos2 à la partie de la sous-trame CELP en recouvrement et de sommer cette dernière avec la trame MDCT. La méthode est à reconstruction parfaite.
Toutefois, des trames de signal audio codé peuvent être perdues sur le canal entre le codeur et le décodeur.
Les techniques de correction de perte de trames existantes sont les plus souvent très dépendantes du type de codage utilisé.
Dans le cas du codage de la parole basé sur des technologies prédictives, de type CELP par exemple, la correction de perte de trame est souvent liée au modèle de parole. Par exemple, la O
norme G.722.2 de l'ITU-T, dans sa version de juillet 2003, propose de remplacer un paquet perdu en prolongeant le gain de prédiction à long terme en l'atténuant, et en prolongeant les fréquences de lignes spectrales (ISF en anglais pour « Immitance Spectral Frequencies »), représentant les coefficients A(z) du filtre LPC, en les faisant tendre vers leurs moyennes respectives. La période fondamentale (ou « pitch ») est aussi répétée. La contribution du dictionnaire fixe est quant à elle remplie avec des valeurs aléatoires. L'application de telles méthodes pour des décodeurs par transformée ou PCM nécessiterait une analyse de type CELP au niveau du décodeur, ce qui introduirait une complexité supplémentaire significative. On notera également que des méthodes plus avancées de correction de perte de trame lors d'un décodage CELP sont décrites dans la norme UIT-T G.718 pour les débits de 8 et 12 kbit/s ainsi qu'aux débits de décodage interopérable avec AMR-WB.
Une autre solution est présentée dans la norme G.711 de l'ITU-T, qui décrit un codeur par transformée pour lequel l'algorithme de correction de perte de trame, traité dans la partie « Appendix I » consiste à trouver un délai tonal (une période fondamentale) dans le signal déjà décodé et à le répéter en appliquant une addition-recouvrement entre le signal déjà décodé et le signal répété. Cette addition avec recouvrement permet de gommer les artefacts audio mais nécessite un délai supplémentaire au décodeur (correspondant à la durée de addition- recouvrement) pour être mise en œuvre.
Dans le cas d'un codage par transformée, une technique répandue pour corriger une perte de trame consiste à répéter la dernière trame reçue. Une telle technique est mise en œuvre dans plusieurs codeurs/décodeurs normalisés (G.719, G.722.1 et G.722.1C notamment). Par exemple, dans le cas du décodeur G.722.1, une transformée MLT (pour « Modulated Lapped Transform » en anglais), équivalente à une transformée MDCT, avec un recouvrement de 50% et une fenêtre de forme sinusoïdale, permet d'assurer une transition suffisamment lente entre la dernière trame perdue et la trame répétée pour gommer les artefacts liés à la simple répétition de la trame.
Une telle technique est peu coûteuse mais a comme principal défaut l'incohérence entre le signal juste avant la perte de trame et le signal répété. Il en résulte une discontinuité de phase qui peut introduire des artefacts audio importants si la durée de recouvrement entre les deux trames est faible, comme tel est le cas lorsque les fenêtres utilisées pour la transformée MLT sont des fenêtres dites à faible retard.
Au niveau du décodeur, selon les techniques existantes, lorsqu'une trame est manquante, une trame de remplacement est générée en utilisant un algorithme de masquage de paquet perdu PLC adapté (pour « Packet Loss Concealment » en anglais). On notera qu'en général un paquet peut contenir plusieurs trames, ainsi le terme PLC peut être ambigu, et il est ici repris pour indiquer la correction de la trame courante perdue. Par exemple, à la suite d'une trame CELP correctement reçue et décodée, si la trame suivante est perdue, une trame de remplacement basée sur un PLC adapté au codage CELP est utilisée, en exploitant les mémoires du codeur CELP. A la suite d'une trame MDCT correctement reçue et décodée, si la trame suivante est perdue, une trame de remplacement basée sur un PLC adapté au codage MDCT est générée.
Dans le contexte de la transition entre trames CELP et MDCT, et en considérant que la trame de transition est composée d'une sous-trame CELP (qui est à la même fréquence d'échantillonnage que la trame CELP directement précédente) et d'une trame MDCT comportant une fenêtre MDCT modifiée annulant le repliement « à gauche », il existe des situations pour lesquelles les techniques existantes n'apportent aucune solution.
Dans une première situation, une trame CELP précédente a été correctement reçue et décodée, une trame courante de transition est perdue et la trame suivante est une trame MDCT. Dans ce cas, l'algorithme de PLC, après la réception de la trame CELP, ne sait pas que la trame perdue est une trame de transition et génère par conséquent une trame CELP de remplacement.
Ainsi, tel que précédemment expliqué, la première partie repliée de la trame suivante MDCT ne peut pas être compensée et le délai entre les deux types de codeur ne peut pas être comblé avec la sous-trame CELP contenue dans la trame de transition (qui est perdue avec la trame de transition). Aucune solution connue ne propose de traiter cette situation.
Dans une deuxième situation, une trame précédente CELP à 12,8 kHz est correctement reçue et décodée, une trame CELP courante à 16 kHz est perdue, et la trame suivante est une trame de transition. L'algorithme de PLC génère alors une trame CELP à la fréquence de la dernière trame correctement reçue, soit 12,8 kHz, et la sous-trame CELP de transition (codée partiellement à partir de paramètres CELP de la trame CELP à 16 kHz perdue) ne peut pas être décodée.
La présente invention vient améliorer cette situation.
A cet effet, un premier aspect de l'invention concerne un procédé de décodage d'un signal numérique codé selon un codage prédictif et selon un codage par transformée, comprenant les étapes suivantes :
- décodage prédictif d'une trame précédente du signal numérique, codée par un ensemble de paramètres de codage prédictif ;
- détection de la perte d'une trame courante du signal numérique codé;
- génération par prédiction, à partir d'au moins un paramètre de codage prédictif codant la trame précédente, d'une trame de remplacement de la trame courante ;
- génération par prédiction, à partir d'au moins un paramètre de codage prédictif codant la trame précédente, d'un segment supplémentaire de signal numérique ;
- stockage temporaire de ce segment supplémentaire de signal numérique.
Ainsi, un segment supplémentaire de signal numérique est disponible à chaque fois qu'une trame CELP de remplacement est générée. Le décodage prédictif de la trame précédente englobe le décodage prédictif d'une trame CELP correctement reçue ou la génération d'une trame CELP de remplacement par un algorithme de PLC adapté au CELP. D'une part, ce segment supplémentaire rend possible une transition entre un codage CELP et un codage par transformée, même dans le cas d'une perte de trame.
En effet, dans la première situation décrite ci-dessus, la transition avec la trame MDCT suivante peut être assurée par le segment supplémentaire. Comme cela est décrit ci-après, le segment supplémentaire peut être ajouté à la trame MDCT suivante pour compenser la première partie repliée de cette trame MDCT grâce à un fondu enchaîné sur la zone contenant le repliement temporel non annulé.
Dans la deuxième situation décrite ci-dessus, le décodage de la trame de transition est rendu possible par l'utilisation du segment supplémentaire. En effet, s'il n'est pas possible décoder la sous-trame CELP de transition (indisponibilité des paramètres CELP de la trame précédente codée à 16 kHz), il est possible de la remplacer par le segment supplémentaire comme cela est décrit ci-après.
D'autre part, les calculs relatifs à la gestion de la perte de trame et à la transition sont répartis dans le temps. En effet, le segment supplémentaire est généré puis stocké pour chaque trame CELP de remplacement générée. Le segment de transition est donc généré dès qu'une perte de trame est détectée, sans attendre qu'une transition soit ultérieurement détectée. La transition est donc anticipée à chaque perte de trame, ce qui évite d'avoir à gérer un « pic de complexité » au moment où une nouvelle trame correcte est reçue et décodée.
Dans un mode de réalisation, le procédé comporte en outre les étapes suivantes :
- réception d'une trame suivante de signal numérique codé comprenant au moins un segment codé par transformée ; et
- décodage de la trame suivante comprenant une sous-étape d'addition avec recouvrement entre le segment supplémentaire de signal numérique et le segment codé par transformée. La sous-étape d'addition avec recouvrement rend possible un fondu-enchaîné du signal de sortie. Un tel fondu- enchaîné limite l'apparition d'artefacts sonores (par exemple de type « bruit métallique ») et assure une cohérence énergétique du signal.
Dans un autre mode de réalisation, la trame suivante est entièrement codée selon un codage par transformée et la trame courante perdue est une trame de transition entre la trame précédente codée selon un codage prédictif et la trame suivante codée selon un codage par transformée.
Dans une variante, la trame précédente est codée selon un codage prédictif par un cœur de codeur prédictif fonctionnant à une première fréquence. Dans cette variante, la trame suivante est une trame de transition comprenant au moins une sous-trame codée selon un codage prédictif par un cœur de codeur prédictif fonctionnant à une deuxième fréquence distincte de la première fréquence. A cet effet, la trame de transition suivante peut comprendre un bit indiquant la fréquence du cœur de codage prédictif utilisé.
Ainsi, le type de codage CELP (12,8 ou 16 kHz) utilisé dans la sous-trame CELP de transition peut être indiqué dans le train binaire de la trame de transition. L'invention ainsi prévoit de rajouter une indication systématique (un bit) dans une trame de transition, afin de permettre la détection d'une différence de fréquence de codage/décodage CELP entre la sous-trame CELP de transition et la trame CELP précédente.
Dans un autre mode de réalisation, l'addition avec recouvrement est donnée par application de la formule suivante mettant en œuvre une pondération linéaire :
avec :
r est un coefficient représentatif de la longueur du segment supplémentaire généré ;
i un instant d'un échantillon de la trame suivante, compris entre 0 et L/r ;
L la longueur de la trame suivante ;
S(i) l'amplitude de la trame suivante après addition, pour l'échantillon i ;
B(i) l'amplitude du segment décodé par transformée, pour l'échantillon i ;
T(i) l'amplitude du segment supplémentaire de signal numérique, pour l'échantillon i. L'addition avec recouvrement peut donc être effectuée à partir de combinaisons linéaires et d'opérations simples à mettre en œuvre. Le temps requis pour le décodage est ainsi réduit tout en sollicitant moins le ou les processeurs utilisés pour ces calculs. Dans des variantes, d'autres formes de fondu enchaîné pourront être mises en œuvre sans changer le principe de l'invention.
Dans un mode de réalisation, l'étape de génération par prédiction de la trame de remplacement comportant en outre une mise à jour de mémoires internes du décodeur, l'étape de génération par prédiction d'un segment supplémentaire de signal numérique peut comporter les sous-étapes suivantes :
- copie dans une mémoire temporaire, des mémoires du décodeur mises à jour lors de l'étape de génération par prédiction de la trame de remplacement ;
- génération du segment supplémentaire de signal numérique au moyen de la mémoire temporaire.
Ainsi, les mémoires internes du décodeur ne sont pas mises à jour pour la génération du segment supplémentaire. Par conséquent, la génération du segment de signal supplémentaire n' impacte pas le décodage de la trame suivante, dans le cas éventuel où la trame suivante est une trame CELP.
En effet, si la trame suivante est une trame CELP, les mémoires internes du décodeur doivent correspondre aux états du décodeur à l'issue de la trame de remplacement.
Dans un mode de réalisation, l'étape de génération par prédiction d'un segment supplémentaire de signal numérique comporte les sous-étapes suivantes :
- génération par prédiction d'une trame supplémentaire, à partir d'au moins un paramètre de codage prédictif codant la trame précédente ;
- extraction d'un segment de la trame supplémentaire. Dans ce mode de réalisation, le segment supplémentaire de signal numérique correspond à la première moitié de la trame supplémentaire. Ainsi, l'efficacité du procédé est encore améliorée car les données temporaires de calcul utilisées pour la génération de la trame CELP de remplacement sont directement disponibles pour la génération de la trame CELP supplémentaire. Typiquement, les registres et mémoires caches, sur lesquels sont stockés les données temporaires de calcul, peuvent ne pas être mis à jour afin de réutiliser directement ces données pour la génération de la trame CELP supplémentaire.
Un deuxième aspect de l'invention vise un programme informatique comportant des instructions pour la mise en œuvre du procédé selon le premier aspect de l'invention, lorsque ces instructions sont exécutées par un processeur.
Un troisième aspect de l'invention vise un décodeur d'un signal numérique codé selon un codage prédictif et selon un codage par transformée, comprenant :
- une unité de détection de la perte d'une trame courante du signal numérique ;
- un décodeur prédictif comportant un processeur agencé pour effectuer les opérations suivantes : * décodage prédictif d'une trame précédente du signal numérique, codée par un ensemble de paramètres de codage prédictif ;
* génération par prédiction, à partir d'au moins un paramètre de codage prédictif codant la trame précédente, d'une trame de remplacement de la trame courante ;
* génération par prédiction, à partir d'au moins un paramètre de codage prédictif codant la trame précédente, d'un segment supplémentaire de signal numérique ;
* stockage temporaire de ce segment supplémentaire de signal numérique dans une mémoire temporaire.
Dans un mode de réalisation, le décodeur selon le troisième aspect de l'invention comprend en outre un décodeur par transformée comportant un processeur agencé pour effectuer les opérations suivantes :
* réception d'une trame suivante de signal numérique codé comprenant au moins un segment codé par transformée ; et
* décodage de la trame suivante comprenant une sous-étape d'addition avec recouvrement entre le segment supplémentaire de signal numérique et le segment codé par transformée.
Au niveau du codeur, l'invention peut comprendre l'insertion dans la trame de transition d'un bit d'information sur le cœur CELP employé pour le codage de la sous-trame de transition.
D'autres caractéristiques et avantages de l'invention apparaîtront à l'examen de la description détaillée ci-après, et des dessins annexés sur lesquels:
la figure 1 illustre un décodeur audio selon un mode de réalisation de l'invention ; la figure 2 illustre un décodeur CELP d'un décodeur audio, tel que le décodeur audio de la figure 1, selon un mode de réalisation de l'invention.
la figure 3 est un diagramme illustrant les étapes d'un procédé de décodage, mis en œuvre par le décodeur audio de la figure 1, selon un mode de réalisation de l'invention ;
la figure 4 illustre un dispositif de calcul selon un mode de réalisation de l'invention.
La figure 1 illustre un décodeur audio 100 selon un mode de réalisation de l'invention. Aucune structure de codeur audio n'est présentée. Toutefois, le signal audio numérique codé reçu par le décodeur selon l'invention peut être issu d'un codeur apte à coder un signal audio sous-forme de trames CELP, de trames MDCT et de trames de transition CELP/MDCT, tel que le codeur décrit dans la demande WO2012/085451. A cet effet, une trame de transition, codée par transformée, peut comprendre en outre un segment (une sous-trame par exemple) codé par un codage prédictif. Le codeur peut en outre ajouter un bit dans la trame de transition pour identifier la fréquence du cœur CELP utilisé. L'exemple de codage CELP est donné à titre illustratif pour décrire tout type de codage prédictif. De même, l'exemple de codage MDCT est donné à titre illustratif pour décrire tout type de codage par transformée.
Le décodeur 100 comprend une unité de réception 101 d'un signal audio numérique codé. Le signal numérique est codé sous forme de trames CELP, de trames MDCT et de trames de transition CELP/MDCT. Dans des variantes de l'invention, d'autres modes que les modes CELP et MDCT sont possibles, et d'autres combinaisons de modes sont donc envisageables, sans changer le principe de l'invention. Par ailleurs, le codage CELP pourra être remplacé par un autre type de codage prédictif, et le codage MDCT pourra être remplacé par un autre type de codage par transformée.
Le décodeur 100 comprend en outre une unité de classification 102 apte à déterminer - en général par simple lecture du train binaire et interprétation des indications reçues du codeur - si une trame courante est une trame CELP, une trame MDCT, ou une trame de transition. En fonction de la classification de la trame courante, cette dernière peut être transmise à un décodeur CELP 103 ou à un décodeur MDCT 104 (ou au deux, dans le cas d'une trame de transition, la sous-trame CELP de transition étant transmise à une unité de décodage 105 décrite ci-après). De plus, dans le cas où la trame courante est une trame correcte (ou reçue) de transition et où le codage CELP peut fonctionner à au moins deux fréquences (12,8 et 16 kHz), l'unité de classification 102 pourra déterminer le type de codage CELP utilisé dans la sous-trame CELP supplémentaire - ce type de codage étant indiqué débit binaire en sortie du codeur.
Un exemple de structure de décodeur CELP 103 est représenté en référence à la figure 2.
Une unité de réception 201, pouvant comprendre une fonction de démultiplexage, est apte à recevoir des paramètres de codage CELP de la trame courante. Ces paramètres peuvent comprendre des paramètres d'excitation (vecteurs de gain, vecteur de dictionnaire fixe, vecteur de dictionnaire adaptatif par exemple) transmis à une unité de décodage 202 apte à générer une excitation. En outre, les paramètres de codage CELP peuvent comprendre des coefficients LPC représentés sous forme de LSF ou d'ISF par exemple. Les coefficients LPC sont décodés par une unité de décodage 203 apte à fournir les coefficients LPC à un filtre LPC de synthèse 205.
Le filtre de synthèse 205, excité par l'excitation générée par l'unité 202, synthétise une trame (ou généralement une sous-trame) de signal numérique transmis à un filtre de dé-emphase ou désaccentuation 206 (fonction de la forme l/(l-ocz ) avec par exemple oc=0.68). En sortie du filtre de dé-emphase, le décodeur CELP 103 peut comprendre un post-traitement des basses fréquences 207 (ou « bass-post filter » en anglais) similaire à celui décrit dans la norme UIT-T G.718. Le décodeur CELP 103 comprend en outre un ré -échantillonnage 208 du signal synthétisé à la fréquence de sortie (la fréquence de sortie du décodeur MDCT 104), et une interface de sortie 209. Dans des variantes de l'invention, des post-traitements supplémentaires de la synthèse CELP peuvent être mis en œuvre avant ou après ré -échantillonnage.
En outre, dans le cas où le signal numérique est décomposé en bandes de fréquences hautes et basses avant codage, le décodeur CELP 103 peut comprendre une unité de décodage des hautes fréquences 204, le signal basses fréquences étant décodé par les unités 202 à 208 décrites ci- avant. La synthèse CELP peut impliquer la mise à jour d'états internes de codeur CELP (ou la mise à jour de mémoires internes), tels que :
- des états servant au décodage de l'excitation ;
la mémoire du filtre de synthèse 205 ;
la mémoire du filtre de dé-emphase 206 ;
des mémoires du post-traitement 207 ;
des mémoires de l'unité de ré -échantillonnage 208.
En référence à la figure 1 , le décodeur comprend en outre une unité de gestion de perte de trame 108 et une mémoire temporaire 107.
Afin de décoder une trame de transition, le décodeur 100 comprend en outre en unité de décodage 105 apte à recevoir la sous-trame CELP de transition et la trame de transition décodée par transformée en sortie du décodeur MDCT 104, afin de décoder la trame de transition par addition avec recouvrement des signaux reçus. Le décodeur 100 peut comprendre en outre une interface de sortie 106.
Le fonctionnement du décodeur 100 selon l'invention sera mieux compris en référence à la figure 3 qui est un diagramme présentant les étapes d'un procédé selon un mode de réalisation de l'invention.
A une étape 301, une trame courante de signal audio numérique codée peut être reçue ou non par l'unité de réception 101, en provenance d'un codeur. Il est considéré que la trame précédente de signal audio est une trame correctement reçue et décodée ou une trame de remplacement.
Il est détecté à une étape 302 si la trame courante codée est manquante ou s'il elle a été reçue par l'unité de réception 101.
Dans le cas où la trame courante codée a bien été reçue, il est déterminé à une étape 303, par l'unité de classification 102, si la trame courante codée est une trame CELP.
Dans le cas où la trame courante codée est une trame CELP, le procédé comprend une étape 304 de décodage et de ré-échantillonnage de la trame CELP codée, par le décodeur CELP 103. Les mémoires internes précitées du décodeur CELP 103 peuvent ensuite être mises à jour à une étape 305. A une étape 306, le signal décodé et ré -échantillonné est transmis en sortie du décodeur 100. Les paramètres d'excitation de la trame courante, ainsi que les coefficients LPC, peuvent être stockés dans la mémoire 107.
Dans le cas où la trame courante codée n'est pas une trame CELP, la trame courante comprend au moins un segment codé selon un codage par transformée (trame MDCT ou trame de transition). Il est alors vérifié à une étape 307 si la trame courante codée est une trame MDCT. Si tel est le cas, la trame courante est décodée à une étape 308 par le décodeur MDCT 104 et le signal décodé est transmis en sortie du décodeur 100 à l'étape 306.
Si en revanche la trame courante n'est pas une trame MDCT, alors c'est une trame de transition qui est décodée à une étape 309 en décodant à la fois la sous-trame de transition CELP et la trame courante codée par transformée MDCT et en effectuant addition avec recouvrement des signaux issus du décodeur CELP et du décodeur MDCT afin d'obtenir un signal numérique transmis en sortie du décodeur 100 à l'étape 306.
Dans le cas où la sous-trame courante a été perdue, il est déterminé à une étape 310 si la trame précédente reçue et décodée était une trame CELP. Si tel n'est pas le cas, un algorithme de PLC adapté à la MDCT, mis en œuvre dans l'unité de gestion de perte de trame 108 génère une trame de remplacement MDCT décodée par le décodeur MDCT 104 afin d'obtenir un signal numérique de sortie, à une étape 311.
Si la dernière trame correctement reçue était une trame CELP, un algorithme de PLC adapté au CELP est mis en œuvre par l'unité de gestion de perte de trame 108 et le décodeur CELP 103 afin de générer une trame CELP de remplacement, à une étape 312.
L'algorithme de PLC peut comprendre les étapes suivantes :
estimation par interpolation des paramètres LSF et du filtre LPC en fonction des paramètres LSF de la trame précédente, en mettant à jour, à une étape 313, les mémoires des quantificateurs prédictifs LSF (qui peuvent être par exemple de type AR or MA) - un exemple de mise en œuvre de l'estimation des paramètres LPC en cas de perte de trame pour le cas des paramètres ISF est donné dans les clauses 7.11.1.2 « ISF estimation and interpolation » et 7.11.1.7 « Spectral envelope concealment, synthesis, and updates » de la norme UIT-T G.718. Alternativement l'estimation décrite dans la clause 1.5.2.3.3 de la norme UIT-T G.722.2 Appendix I pourra également être utilisée dans le cas d'une quantification de type MA ;
estimation de l'excitation à partir du gain adaptatif et du gain fixe de la trame précédente, en mettant ces valeurs à jour, à l'étape 313, pour la trame suivant. Un exemple d'estimation de l'excitation est décrit dans les clauses 7.11.1.3 « Extrapolation of future pitch »,
7.11.1.4 « Construction of the periodic part of the excitation », 7.11.1.15 « Glottal puise resynchronization in low-delay », 7.11.1.6 « Construction of the random part of the excitation ». Le vecteur du dictionnaire fixe est typiquement remplacé dans chaque sous- trame par un signal aléatoire, le dictionnaire adaptatif utilise un pitch extrapolé et les gains de dictionnaires issus de la trame précédente ont typiquement été atténués selon la classe du signal dans la dernière trame reçue. Alternativement l'estimation de l'excitation décrite dans la norme UIT-T G.722.2 Appendix I pourra également être utilisée ;
synthétiser le signal à partir de l'excitation et du filtre de synthèse 205 mis à jour et en utilisant la mémoire de synthèse de la trame précédente, en mettant à jour la mémoire de synthèse de la trame précédente à l'étape 313 ;
dé -emphase du signal synthétisé en utilisant l'unité de dé-emphase 206, et en mettant à jour, à l'étape 313, la mémoire de l'unité de dé -emphase 206 ;
de façon optionnelle, post-traitement 207 du signal synthétisé en mettant à jour, à l'étape 313, la mémoire du post-traitement - on peut noter que le post-traitement peut être désactivé pendant la correction de perte de trame car les informations qu'ils utilisent ne sont pas fiables car simplement extrapolées, dans ce cas les mémoires du posttraitement doivent quand-même être mise à jour pour permettre un fonctionnement normal à la prochaine trame reçue ;
ré-échantillonnage du signal synthétisé à la fréquence de sortie par le ré -échantillonnage 208, en mettant à jour la mémoire du filtre 208 à l'étape 313.
La mise à jour des mémoires internes permet le décodage d'une éventuelle trame suivante codée par prédiction CELP sans discontinuité. A noter que, dans la norme UIT-T G.718, des techniques de « recovery » et de contrôle de l'énergie de la synthèse sont également employées (par exemple dans les clauses 7.11.1.8 et 7.11.1.8.1) lors du décodage d'une trame reçue après une correction de perte de trame. Cet aspect n'est pas considéré ici car il sort du cadre de l'invention.
A une étape 314, les mémoires ainsi mises à jour peuvent être copiées dans la mémoire temporaire 107. La trame CELP de remplacement décodée est transmise en sortie du décodeur à une étape 315.
A une étape 316, le procédé selon l'invention prévoit la génération par prédiction, d'un segment supplémentaire de signal numérique, en mettant en œuvre un algorithme de PLC adapté au CELP. L'étape 316 peut comprendre les sous-étapes suivantes :
- estimation par interpolation des paramètres LSF et du filtre LPC en fonction des paramètres LSF de la trame CELP précédente, sans mettre à jour les mémoires des quantificateurs LSF. L'estimation par interpolation peut être mise en œuvre selon la même méthode que celle employée pour l'estimation par interpolation pour la trame de remplacement décrite ci-avant (sans mise à jour des mémoires des quantificateurs LSF) ;
- estimation de l'excitation à l'aide du gain adaptatif et du gain fixe de la trame CELP précédente, sans mettre à jour ces valeurs pour la trame suivante. L'excitation peut être déterminée selon la même méthode que celle employée pour la détermination de l'excitation pour la trame de remplacement (sans la mise à jour des valeurs de gain adaptatif et de gain fixe) ;
- synthétiser un segment de signal (une demi-trame ou une sous-trame par exemple) à partir de l'excitation et du filtre de synthèse 205 recalculé et en utilisant la mémoire de synthèse de la trame précédente ;
- dé-emphase du signal synthétisé en utilisant l'unité de dé-emphase 206;
- de façon optionnelle, post-traitement du signal synthétisé en utilisant la mémoire du post-traitement 207 ;
- ré -échantillonnage du signal synthétisé à la fréquence de sortie par le rééchantillonnage 208, en utilisant les mémoires de ré -échantillonnage 208.
Il est important de noter que pour chacune des étapes, l'invention prévoit de mémoriser dans des variables temporaires les états du décodage CELP qui sont modifiées à chacune des étapes, avant d'effectuer ces étapes, de sorte que les états prédéterminés puissent être rétablis à leurs valeurs mémorisées après génération du segment temporaire.
Le segment de signal supplémentaire généré est stocké dans la mémoire 107 à une étape 317.
A une étape 318, une trame suivante de signal numérique est reçue par l'unité de réception 101. Il est vérifié à une étape 319 que la trame suivante est une trame MDCT ou une trame de transition.
Si tel n'est pas le cas, alors la trame suivante est une trame CELP et elle est décodée par le décodeur CELP 103 à une étape 320. Le segment supplémentaire synthétisé à l'étape 316 n'est pas utilisé et peut être supprimé de la mémoire 107.
Dans le cas où la trame suivante est une trame MDCT ou une trame de transition, elle est décodée par le décodeur MDCT 104 à une étape 322. En parallèle, le segment de signal numérique supplémentaire stocké dans la mémoire 107 est récupéré à une étape 323 par l'unité de gestion 108 et transmise à l'unité de décodage 105.
Dans le cas où la trame suivante est une trame MDCT, le segment de signal supplémentaire obtenu permet d'effectuer une addition-recouvrement par l'unité 103 afin de décoder correctement la première partie de la trame MDCT suivante, à une étape 324. Par exemple, lorsque le segment supplémentaire est une moitié de sous-trame, un gain linéaire entre 0 et 1 peut être appliqué lors de addition recouvrement sur la première moitié de la trame MDCT et un gain linéaire entre 1 et 0 est appliqué sur le segment de signal supplémentaire. Sans ce segment de signal supplémentaire, le décodage MDCT peut donner lieu à des discontinuités dues aux erreurs de quantification.
Dans le cas où la trame suivante est une trame de transition, deux cas sont à distinguer comme considérés ci-dessous. On rappelle que le décodage de la trame de transition s'appuie non seulement sur la classification de la trame courante comme « trame de transition » mais aussi une indication du type de codage CELP (12,8 ou 16 kHz) lorsque plusieurs fréquences de codage CELP sont possibles. Ainsi :
- si la trame CELP précédente a été codée par un cœur à une première fréquence (par exemple 12,8 kHz) et que la sous-trame CELP de transition a été codée par un cœur à une deuxième fréquence (par exemple 16 kHz), alors la sous-trame de transition ne peut être décodée, et le segment de signal supplémentaire permet alors à l'unité de décodage 105 d'assurer l'addition recouvrement avec le signal issu du décodage MDCT de l'étape 322. Par exemple, lorsque le segment supplémentaire est une moitié de sous-trame, un gain linéaire entre 0 et 1 peut être appliqué lors de l'addition recouvrement sur la première moitié de la trame MDCT et un gain linéaire entre 1 et 0 est appliqué sur le segment de signal supplémentaire. ;
- si la trame CELP précédente et la sous-trame CELP de transition ont été codées par un cœur à la même fréquence, alors la sous-trame CELP de transition peut être décodée et utilisée par l'unité de décodage 105 pour addition-recouvrement avec le signal numérique issu du décodeur MDCT 104 ayant décodé la trame de transition.
L'addition avec recouvrement entre le segment de signal supplémentaire et la trame MDCT décodée peut être donnée ar la formule suivante :
avec :
- r un coefficient représentatif de la longueur du segment supplémentaire généré, la longueur étant égale à L/r. Aucune restriction n'est attachée à la valeur r, qui sera choisie de manière à permettre un recouvrement suffisant entre le segment de signal supplémentaire et la trame MDCT de transition décodée. Par exemple, r peut être égal à 2 ;
- i un instant correspondant à un échantillon de la trame suivante, compris entre 0 et
L/r;
- L la longueur de la trame suivante (par exemple 20 ms) ;
- S(i) l'amplitude de la trame suivante après addition, pour l'échantillon i ;
- B(i) l'amplitude du segment décodé par transformée, pour l'échantillon i ;
- T(i) l'amplitude du segment supplémentaire de signal numérique, pour l'échantillon i. Le signal numérique obtenu après addition recouvrement est transmis en sortie du décodeur à une étape 325. Ainsi, l'invention prévoit, sur perte d'une trame courante suivant une trame CELP précédente, la génération d'un segment supplémentaire en plus d'une trame de remplacement. Dans certains cas, et notamment si la trame suivante est une trame CELP, un tel segment supplémentaire n'est pas utilisé. Toutefois, son calcul n'induit aucune complexité supplémentaire dans la mesure où les paramètres de codage de la trame précédente sont réutilisés. En revanche, lorsque la trame suivante est une trame MDCT ou une trame de transition avec une sous trame CELP à une fréquence de cœur différente de la fréquence de cœur utilisée pour le codage de la trame CELP précédente, le segment de signal supplémentaire généré et stocké permet le décodage de la trame suivante, qui n'était pas permis par les solutions de l'art antérieur.
La figure 4 représente un exemple de dispositif de calcul 400 pouvant être intégré dans le codeur CELP 103 et dans le codeur MDCT 104.
Le dispositif 400 comprend une mémoire vive 404 et un processeur 403 pour stocker des instructions permettant la mise en œuvre d'étapes du procédé décrit ci-avant (mises en œuvre par le codeur CELP 103 ou par le codeur MDCT 104). Le dispositif comporte aussi une mémoire de masse 405 pour le stockage de données destinées à être conservées après l'application du procédé. Le dispositif 400 comporte en outre une interface d'entrée 401 et une interface de sortie 406 respectivement destinées à recevoir les trames du signal numérique et à transmettre les trames de signal décodées.
Le dispositif 400 peut en outre comporter un processeur de signal numérique (DSP) 402.
Ce DSP 402 reçoit les trames de signal numérique pour mettre en forme, démoduler et amplifier, de façon connue en soi ces trames.
La présente invention ne se limite pas aux formes de réalisation décrites ci-avant à titre d'exemples ; elle s'étend à d'autres variantes.
Ainsi, on a décrit ci-avant un mode de réalisation dans lequel le décodeur est une entité à part entière. Bien sûr, un tél décodeur peut être embarqué dans tout type de dispositif plus important comme par exemple un téléphone portable, un ordinateur, etc.
De plus, on a décrit un mode de réalisation proposant une architecture particulière du décodeur. Ces architectures ne sont données qu'à titre illustratif. Ainsi, un agencement des composants et une répartition différente des taches affectées à chacune de ces composantes est également envisageable.

Claims

REVENDICATIONS
1. Procédé de décodage d'un signal numérique codé selon un codage prédictif et selon un codage par transformée, comprenant les étapes suivantes :
- décodage (304) prédictif d'une trame précédente du signal numérique, codée par un ensemble de paramètres de codage prédictif ;
- détection (302) de la perte d'une trame courante du signal numérique codé;
- génération (312) par prédiction, à partir d'au moins un paramètre de codage prédictif codant la trame précédente, d'une trame de remplacement de la trame courante ;
- génération (316) par prédiction, à partir d'au moins un paramètre de codage prédictif codant la trame précédente, d'un segment supplémentaire de signal numérique ;
- stockage (317) temporaire dudit segment supplémentaire de signal numérique.
2. Procédé selon la revendication 1 , comprenant en outre les étapes suivantes :
- réception (318) d'une trame suivante de signal numérique codé comprenant au moins un segment codé par transformée ; et
- décodage (322 ; 323 ; 324) de la trame suivante comprenant une sous-étape d'addition avec recouvrement entre le segment supplémentaire de signal numérique et ledit segment codé par transformée.
3. Procédé selon la revendication 2, dans lequel la trame suivante est entièrement codée selon un codage par transformée, et
dans lequel la trame courante perdue est une trame de transition entre la trame précédente codée selon un codage prédictif et la trame suivante codée selon un codage par transformée.
4. Procédé selon la revendication 2, dans lequel la trame précédente est codée selon un codage prédictif par un cœur de codeur prédictif fonctionnant à une première fréquence, et dans lequel la trame suivante est une trame de transition comprenant au moins une sous-trame codée selon un codage prédictif par un cœur de codeur prédictif fonctionnant à une deuxième fréquence distincte de la première fréquence.
5. Procédé selon la revendication 4, dans lequel la trame suivante comprend un bit indiquant la fréquence du cœur de codage prédictif utilisé.
6. Procédé selon l'une des revendications 2 à 5, dans lequel l'addition avec recouvrement est donnée par application de la formule suivante :
avec :
- r est un coefficient représentatif de la longueur du segment supplémentaire généré ;
- i un instant correspondant à un échantillon de la trame suivante, compris entre 0 et L/r ;
- L la longueur de la trame suivante ;
-S(i) l'amplitude de la trame suivante après addition, pour l'échantillon i ;
- B(i) l'amplitude du segment décodé par transformée, pour l'échantillon i ;
- T(i) l'amplitude du segment supplémentaire de signal numérique, pour l'échantillon i.
7. Procédé selon l'une des revendications précédentes, dans lequel l'étape de génération par prédiction de la trame de remplacement comporte en outre une mise à jour (313) de mémoires internes du décodeur, et
dans lequel l'étape de génération par prédiction d'un segment supplémentaire de signal numérique comporte les sous-étapes suivantes :
- copie (314) dans une mémoire temporaire (107), des mémoires du décodeur mises à jour lors de l'étape de génération par prédiction de la trame de remplacement ;
- génération (316) du segment supplémentaire de signal numérique au moyen de la mémoire temporaire.
8. Procédé selon l'une des revendications précédentes, dans lequel l'étape de génération par prédiction d'un segment supplémentaire de signal numérique comporte les sous-étapes suivantes :
- génération par prédiction d'une trame supplémentaire, à partir d'au moins un paramètre de codage prédictif codant la trame précédente ;
- extraction d'un segment de la trame supplémentaire ; et
dans lequel le segment supplémentaire de signal numérique correspond à la première moitié de la trame supplémentaire.
9. Programme informatique comportant des instructions pour la mise en œuvre du procédé selon l'une quelconque des revendications précédentes, lorsque ces instructions sont exécutées par un processeur.
10. Décodeur d'un signal numérique codé selon un codage prédictif et selon un codage par transformée, comprenant :
- une unité de détection (108) de la perte d'une trame courante du signal numérique ;
- un décodeur prédictif (103) comportant un processeur agencé pour effectuer les opérations suivantes :
* décodage prédictif d'une trame précédente du signal numérique, codée par un ensemble de paramètres de codage prédictif ;
* génération par prédiction, à partir d'au moins un paramètre de codage prédictif codant la trame précédente, d'une trame de remplacement de la trame courante ;
* génération par prédiction, à partir d'au moins un paramètre de codage prédictif codant la trame précédente, d'un segment supplémentaire de signal numérique ;
* stockage temporaire dudit segment supplémentaire de signal numérique dans une mémoire temporaire (107).
11. Décodeur selon la revendication 10, comportant en outre un décodeur par transformée (104) comportant un processeur agencé pour effectuer les opérations suivantes :
* réception d'une trame suivante de signal numérique codé comprenant au moins un segment codé par transformée ; et
* décodage de la trame suivante par transformée ;
ledit décodeur comprenant en outre une unité de décodage (105) comprenant un processeur agencé pour effectuer une addition avec recouvrement entre le segment supplémentaire de signal numérique et ledit segment codé par transformée.
EP15757533.3A 2014-07-29 2015-07-27 Gestion de la perte de trame dans un contexte de transition fd/lpd Active EP3175444B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1457356A FR3024582A1 (fr) 2014-07-29 2014-07-29 Gestion de la perte de trame dans un contexte de transition fd/lpd
PCT/FR2015/052075 WO2016016567A1 (fr) 2014-07-29 2015-07-27 Gestion de la perte de trame dans un contexte de transition fd/lpd

Publications (2)

Publication Number Publication Date
EP3175444A1 true EP3175444A1 (fr) 2017-06-07
EP3175444B1 EP3175444B1 (fr) 2018-04-11

Family

ID=51894139

Family Applications (1)

Application Number Title Priority Date Filing Date
EP15757533.3A Active EP3175444B1 (fr) 2014-07-29 2015-07-27 Gestion de la perte de trame dans un contexte de transition fd/lpd

Country Status (8)

Country Link
US (2) US10600424B2 (fr)
EP (1) EP3175444B1 (fr)
JP (2) JP6687599B2 (fr)
KR (1) KR102386644B1 (fr)
CN (2) CN113571070B (fr)
ES (1) ES2676834T3 (fr)
FR (1) FR3024582A1 (fr)
WO (1) WO2016016567A1 (fr)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2980794A1 (fr) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Codeur et décodeur audio utilisant un processeur du domaine fréquentiel et processeur de domaine temporel
EP2980795A1 (fr) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Codage et décodage audio à l'aide d'un processeur de domaine fréquentiel, processeur de domaine temporel et processeur transversal pour l'initialisation du processeur de domaine temporel
TWI602172B (zh) * 2014-08-27 2017-10-11 弗勞恩霍夫爾協會 使用參數以加強隱蔽之用於編碼及解碼音訊內容的編碼器、解碼器及方法
CN112967727A (zh) * 2014-12-09 2021-06-15 杜比国际公司 Mdct域错误掩盖
KR101754702B1 (ko) * 2015-09-03 2017-07-07 유신정밀공업 주식회사 밴드 스프링을 구비한 호스 클램프
US11647241B2 (en) * 2019-02-19 2023-05-09 Sony Interactive Entertainment LLC Error de-emphasis in live streaming
MX2021009635A (es) * 2019-02-21 2021-09-08 Ericsson Telefon Ab L M Estimacion de la forma espectral a partir de coeficientes de mdct.

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4969193A (en) * 1985-08-29 1990-11-06 Scott Instruments Corporation Method and apparatus for generating a signal transformation and the use thereof in signal processing
US6006174A (en) * 1990-10-03 1999-12-21 Interdigital Technology Coporation Multiple impulse excitation speech encoder and decoder
US5907822A (en) * 1997-04-04 1999-05-25 Lincom Corporation Loss tolerant speech decoder for telecommunications
US6351730B2 (en) * 1998-03-30 2002-02-26 Lucent Technologies Inc. Low-complexity, low-delay, scalable and embedded speech and audio coding with adaptive frame loss concealment
WO2000054512A1 (fr) * 1999-03-05 2000-09-14 Kabushiki Kaisha Toshiba Procede et appareil de codage d'une image de film
US6952668B1 (en) * 1999-04-19 2005-10-04 At&T Corp. Method and apparatus for performing packet loss or frame erasure concealment
JP2001169281A (ja) * 1999-12-13 2001-06-22 Matsushita Electric Ind Co Ltd 動画像符号化装置、および動画像符号化方法
JP2003209845A (ja) * 2002-01-11 2003-07-25 Mitsubishi Electric Corp 画像符号化集積回路
US7536305B2 (en) * 2002-09-04 2009-05-19 Microsoft Corporation Mixed lossless audio compression
JP4331928B2 (ja) 2002-09-11 2009-09-16 パナソニック株式会社 音声符号化装置、音声復号化装置、及びそれらの方法
WO2004084182A1 (fr) * 2003-03-15 2004-09-30 Mindspeed Technologies, Inc. Decomposition de la voix parlee destinee au codage de la parole celp
US20040199276A1 (en) * 2003-04-03 2004-10-07 Wai-Leong Poon Method and apparatus for audio synchronization
US7596488B2 (en) * 2003-09-15 2009-09-29 Microsoft Corporation System and method for real-time jitter control and packet-loss concealment in an audio signal
JP4445328B2 (ja) * 2004-05-24 2010-04-07 パナソニック株式会社 音声・楽音復号化装置および音声・楽音復号化方法
US20060088093A1 (en) * 2004-10-26 2006-04-27 Nokia Corporation Packet loss compensation
US8634413B2 (en) * 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
US8155965B2 (en) * 2005-03-11 2012-04-10 Qualcomm Incorporated Time warping frames inside the vocoder by modifying the residual
WO2006125342A1 (fr) * 2005-05-25 2006-11-30 Lin, Hui Procede de compression d'information pour fichier audio numerique
FR2888699A1 (fr) * 2005-07-13 2007-01-19 France Telecom Dispositif de codage/decodage hierachique
CN101310329A (zh) * 2005-10-18 2008-11-19 诺基亚公司 用于重新同步分组音频流的方法和装置
US8620644B2 (en) * 2005-10-26 2013-12-31 Qualcomm Incorporated Encoder-assisted frame loss concealment techniques for audio coding
US7805297B2 (en) * 2005-11-23 2010-09-28 Broadcom Corporation Classification-based frame loss concealment for audio signals
WO2007068610A1 (fr) * 2005-12-15 2007-06-21 Thomson Licensing Procede de recuperation de paquets perdus et dispositif de voix sur ip
CN101361112B (zh) * 2006-08-15 2012-02-15 美国博通公司 隐藏丢包后解码器状态的更新
EP2054876B1 (fr) * 2006-08-15 2011-10-26 Broadcom Corporation Dissimulation de perte de paquets pour codage predictif de sous-bande a base d'extrapolation de guide d'ondes audio pleine bande
CN101512639B (zh) * 2006-09-13 2012-03-14 艾利森电话股份有限公司 用于语音/音频发送器和接收器的方法和设备
WO2008049221A1 (fr) * 2006-10-24 2008-05-02 Voiceage Corporation Procédé et dispositif pour coder les trames de transition dans des signaux de discours
CN101833954B (zh) * 2007-06-14 2012-07-11 华为终端有限公司 一种实现丢包隐藏的方法和装置
CN101325537B (zh) * 2007-06-15 2012-04-04 华为技术有限公司 一种丢帧隐藏的方法和设备
CN100524462C (zh) * 2007-09-15 2009-08-05 华为技术有限公司 对高带信号进行帧错误隐藏的方法及装置
CN101802906B (zh) * 2007-09-21 2013-01-02 法国电信公司 传送误差隐藏的方法和装置、以及数字信号解码器
US8527265B2 (en) * 2007-10-22 2013-09-03 Qualcomm Incorporated Low-complexity encoding/decoding of quantized MDCT spectrum in scalable speech and audio codecs
CN101471073B (zh) * 2007-12-27 2011-09-14 华为技术有限公司 一种基于频域的丢包补偿方法、装置和系统
CN101588341B (zh) * 2008-05-22 2012-07-04 华为技术有限公司 一种丢帧隐藏的方法及装置
WO2010000303A1 (fr) * 2008-06-30 2010-01-07 Nokia Corporation Décodeur de parole avec dissimulation d'erreur
EP2311034B1 (fr) * 2008-07-11 2015-11-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encodeur et décodeur audio pour encoder des trames de signaux audio échantillonnés
KR101261677B1 (ko) * 2008-07-14 2013-05-06 광운대학교 산학협력단 음성/음악 통합 신호의 부호화/복호화 장치
US8463603B2 (en) * 2008-09-06 2013-06-11 Huawei Technologies Co., Ltd. Spectral envelope coding of energy attack signal
FR2936898A1 (fr) * 2008-10-08 2010-04-09 France Telecom Codage a echantillonnage critique avec codeur predictif
AR075199A1 (es) * 2009-01-28 2011-03-16 Fraunhofer Ges Forschung Codificador de audio decodificador de audio informacion de audio codificada metodos para la codificacion y decodificacion de una senal de audio y programa de computadora
US8457975B2 (en) * 2009-01-28 2013-06-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio decoder, audio encoder, methods for decoding and encoding an audio signal and computer program
JP4977157B2 (ja) * 2009-03-06 2012-07-18 株式会社エヌ・ティ・ティ・ドコモ 音信号符号化方法、音信号復号方法、符号化装置、復号装置、音信号処理システム、音信号符号化プログラム、及び、音信号復号プログラム
US20110046761A1 (en) * 2009-08-19 2011-02-24 Paul Frederick Titchener Recorded Media Enhancement Method
WO2011048117A1 (fr) * 2009-10-20 2011-04-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Codeur de signal audio, décodeur de signal audio, procédé de codage ou de décodage d'un signal audio utilisant une annulation de repliement
US8442837B2 (en) * 2009-12-31 2013-05-14 Motorola Mobility Llc Embedded speech and audio coding using a switchable model core
US8321216B2 (en) * 2010-02-23 2012-11-27 Broadcom Corporation Time-warping of audio signals for packet loss concealment avoiding audible artifacts
US8428936B2 (en) * 2010-03-05 2013-04-23 Motorola Mobility Llc Decoder for audio signal including generic audio and speech frames
US8423355B2 (en) * 2010-03-05 2013-04-16 Motorola Mobility Llc Encoder for audio signal including generic audio and speech frames
WO2012004349A1 (fr) * 2010-07-08 2012-01-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Codeur utilisant l'annulation directe du crènelage
CN103282958B (zh) * 2010-10-15 2016-03-30 华为技术有限公司 信号分析器、信号分析方法、信号合成器、信号合成方法、变换器和反向变换器
FR2969805A1 (fr) * 2010-12-23 2012-06-29 France Telecom Codage bas retard alternant codage predictif et codage par transformee
PL2676265T3 (pl) * 2011-02-14 2019-09-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Urządzenie i sposób do kodowania sygnału audio z stosowaniem zrównanej części antycypacji
US9037456B2 (en) * 2011-07-26 2015-05-19 Google Technology Holdings LLC Method and apparatus for audio coding and decoding
DE102011088519A1 (de) * 2011-12-14 2013-06-20 Metabowerke Gmbh Stator für einen Elektromotor sowie Verfahren zur Herstellung eines Stators für einen Elektromotor
US9043201B2 (en) * 2012-01-03 2015-05-26 Google Technology Holdings LLC Method and apparatus for processing audio frames to transition between different codecs
US9053699B2 (en) * 2012-07-10 2015-06-09 Google Technology Holdings LLC Apparatus and method for audio frame loss recovery
US9123328B2 (en) * 2012-09-26 2015-09-01 Google Technology Holdings LLC Apparatus and method for audio frame loss recovery
US9129600B2 (en) * 2012-09-26 2015-09-08 Google Technology Holdings LLC Method and apparatus for encoding an audio signal
CN103714821A (zh) * 2012-09-28 2014-04-09 杜比实验室特许公司 基于位置的混合域数据包丢失隐藏
US9661340B2 (en) * 2012-10-22 2017-05-23 Microsoft Technology Licensing, Llc Band separation filtering / inverse filtering for frame packing / unpacking higher resolution chroma sampling formats
CN103854649B (zh) * 2012-11-29 2018-08-28 中兴通讯股份有限公司 一种变换域的丢帧补偿方法及装置
BR112015018040B1 (pt) * 2013-01-29 2022-01-18 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Ênfase de baixa frequência para codificação com base em lpc em domínio de frequência
JP6201043B2 (ja) * 2013-06-21 2017-09-20 フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー． エラー封じ込め中の切替音声符号化システムについての向上した信号フェードアウトのための装置及び方法
CN103456307B (zh) * 2013-09-18 2015-10-21 武汉大学 音频解码器中帧差错隐藏的谱代替方法及系统
US10390034B2 (en) * 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
WO2015131330A1 (fr) * 2014-03-04 2015-09-11 Microsoft Technology Licensing, Llc Stratégies de codage pour commutation adaptative d'espaces de couleur, taux d'échantillonnage de couleur et/ou profondeurs de bits
US20150264357A1 (en) * 2014-03-11 2015-09-17 Stmicroelectronics S.R.L. Method and system for encoding digital images, corresponding apparatus and computer program product
CN105099949A (zh) * 2014-04-16 2015-11-25 杜比实验室特许公司 基于对延迟抖动和对话动态的监视的抖动缓冲器控制
EP2980797A1 (fr) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Décodeur audio, procédé et programme d'ordinateur utilisant une réponse d'entrée zéro afin d'obtenir une transition lisse

Also Published As

Publication number Publication date
CN113571070B (zh) 2023-09-29
CN106575505B (zh) 2021-06-01
EP3175444B1 (fr) 2018-04-11
US20170213561A1 (en) 2017-07-27
ES2676834T3 (es) 2018-07-25
CN113571070A (zh) 2021-10-29
CN106575505A (zh) 2017-04-19
FR3024582A1 (fr) 2016-02-05
JP7026711B2 (ja) 2022-02-28
JP2020091496A (ja) 2020-06-11
US10600424B2 (en) 2020-03-24
KR20170037661A (ko) 2017-04-04
KR102386644B1 (ko) 2022-04-14
WO2016016567A1 (fr) 2016-02-04
US20200175995A1 (en) 2020-06-04
JP6687599B2 (ja) 2020-04-22
US11475901B2 (en) 2022-10-18
JP2017523471A (ja) 2017-08-17

Similar Documents

Publication Publication Date Title
EP3175444B1 (fr) Gestion de la perte de trame dans un contexte de transition fd/lpd
EP1316087B1 (fr) Dissimulation d'erreurs de transmission dans un signal audio
EP2277172B1 (fr) Dissimulation d'erreur de transmission dans un signal audionumerique dans une structure de decodage hierarchique
EP2080195B1 (fr) Synthèse de blocs perdus d'un signal audionumérique
US9218817B2 (en) Low-delay sound-encoding alternating between predictive encoding and transform encoding
US6732075B1 (en) Sound synthesizing apparatus and method, telephone apparatus, and program service medium
EP2452337A1 (fr) Allocation de bits dans un codage/décodage d'amélioration d'un codage/décodage hiérarchique de signaux audionumériques
RU2741518C1 (ru) Кодирование и декодирование аудиосигналов
EP3069340B1 (fr) Transition d'un codage/décodage par transformée vers un codage/décodage prédictif
EP2080194B1 (fr) Attenuation du survoisement, notamment pour la generation d'une excitation aupres d'un decodeur, en absence d'information
EP3175443B1 (fr) Détermination d'un budget de codage d'une trame de transition lpd/fd
EP2345029B1 (fr) Procédé, programme informatique et entité de décodage d'un signal audio numérique
FR3020732A1 (fr) Correction de perte de trame perfectionnee avec information de voisement
WO2009047461A1 (fr) Dissimulation d'erreur de transmission dans un signal numerique avec repartition de la complexite

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

17P Request for examination filed

Effective date: 20170112

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20180104

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 988827

Country of ref document: AT

Kind code of ref document: T

Effective date: 20180415

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602015009965

Country of ref document: DE

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 4

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2676834

Country of ref document: ES

Kind code of ref document: T3

Effective date: 20180725

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20180411

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180711

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180711

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180712

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 988827

Country of ref document: AT

Kind code of ref document: T

Effective date: 20180411

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180813

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602015009965

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

26N No opposition filed

Effective date: 20190114

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180727

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20180731

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180731

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180731

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180731

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180727

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180411

Ref country code: MK

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180411

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20150727

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180811

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: ES

Payment date: 20230801

Year of fee payment: 9

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20240620

Year of fee payment: 10

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20240619

Year of fee payment: 10

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20240619

Year of fee payment: 10

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20240619

Year of fee payment: 10