EP2867893B1 - Atténuation efficace de pré-échos dans un signal audionumérique - Google Patents
Atténuation efficace de pré-échos dans un signal audionumérique Download PDFInfo
- Publication number
- EP2867893B1 EP2867893B1 EP13744654.8A EP13744654A EP2867893B1 EP 2867893 B1 EP2867893 B1 EP 2867893B1 EP 13744654 A EP13744654 A EP 13744654A EP 2867893 B1 EP2867893 B1 EP 2867893B1
- Authority
- EP
- European Patent Office
- Prior art keywords
- echo
- attack
- signal
- filtering
- attenuation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005236 sound signal Effects 0.000 title claims description 21
- 238000001914 filtration Methods 0.000 claims description 80
- 238000000034 method Methods 0.000 claims description 40
- 230000003595 spectral effect Effects 0.000 claims description 26
- 238000007493 shaping process Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 20
- 230000006978 adaptation Effects 0.000 claims description 13
- 238000002592 echocardiography Methods 0.000 claims description 12
- 230000003044 adaptive effect Effects 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 7
- 238000012546 transfer Methods 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 26
- 230000007704 transition Effects 0.000 description 17
- 230000015654 memory Effects 0.000 description 14
- 238000009499 grossing Methods 0.000 description 11
- 230000009467 reduction Effects 0.000 description 9
- 238000003786 synthesis reaction Methods 0.000 description 6
- 230000002238 attenuated effect Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 5
- 230000000116 mitigating effect Effects 0.000 description 5
- 230000000750 progressive effect Effects 0.000 description 5
- 238000013139 quantization Methods 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 238000003672 processing method Methods 0.000 description 4
- 101100412102 Haemophilus influenzae (strain ATCC 51907 / DSM 11121 / KW20 / Rd) rec2 gene Proteins 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000003071 parasitic effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 101100356020 Haemophilus influenzae (strain ATCC 51907 / DSM 11121 / KW20 / Rd) recA gene Proteins 0.000 description 2
- 101100042680 Mus musculus Slc7a1 gene Proteins 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000012885 constant function Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000002401 inhibitory effect Effects 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 241000287107 Passer Species 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 229940082150 encore Drugs 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000009527 percussion Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/03—Spectral prediction for preventing pre-echo; Temporary noise shaping [TNS], e.g. in MPEG2 or MPEG4
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
- G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/26—Pre-filtering or post-filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
- G10L19/025—Detection of transients or attacks for time/frequency resolution switching
Definitions
- the invention relates to a pre-echo attenuation processing method and device for decoding a digital audio signal.
- compression processes for the transport of digital audio signals on the transmission networks, whether for example fixed or mobile networks, or for the storage of signals, compression processes (or source coding) using coding systems of the time coding type or frequency coding by transform.
- the method and the device which are the subject of the invention, thus have as their field of application the compression of sound signals, in particular frequency-coded digital audio signals.
- the figure 1 represents for illustrative purposes, a block diagram of the coding and decoding of a digital audio signal by transform including an addition / overlap synthesis analysis according to the prior art.
- Certain musical sequences such as percussion and certain segments of speech like the plosives (/ k /, / t /, ...), are characterized by extremely sudden attacks which result in very fast transitions and a very strong variation signal dynamics in a few samples.
- An example of a transition is given to the figure 1 from sample 410.
- the input signal is cut into blocks of samples of length L, represented on the figure 1 by dotted vertical lines.
- the input signal is denoted x ( n ), where n is the index of the sample.
- L 160 samples.
- the division in blocks, also called frames, operated by the transform coding is totally independent of the sound signal and the transitions can therefore appear at any point in the analysis window. But after transform decoding, the reconstructed signal is tainted by "noise” (or distortion) generated by the quantization (Q) -quantization inverse (Q -1 ) operation.
- This coding noise is temporally distributed relatively uniformly over the entire temporal support of the transformed block, that is to say on any the length of the window of length 2L of samples (with overlap of L samples).
- the energy of the coding noise is generally proportional to the energy of the block and is a function of the coding / decoding rate.
- the level of the coding noise is typically lower than that of the signal for the high energy segments that immediately follow the transition, but the level is higher than that of the signal for the lower energy segments, especially on the part preceding the transition (samples 160 - 410 of the figure 1 ).
- the signal-to-noise ratio is negative and the resulting degradation can appear very troublesome to listen.
- Pre-echo is the coding noise prior to the transition and post-echo the noise after the transition.
- the human ear also performs a post-masking of a longer duration, from 5 to 60 milliseconds, during the passage of high energy sequences to low energy sequences.
- the rate or level of inconvenience acceptable for post-echoes is therefore greater than for pre-echoes.
- MPEG AAC Advanced Audio Coding
- MPEG AAC Advanced Audio Coding
- Transform encoders used for conversational applications such as ITU-T G.722.1, G.722.1C or G.719 often use a window of 40 ms duration at 16, 32 or 48 kHz (respectively) and a frame length of 20 ms . It should be noted that the ITU-T G.719 encoder incorporates a window switch mechanism with transient detection, however the pre-echo is not completely reduced at low bit rate (typically at 32 kbit / s).
- the aforementioned filtering process does not allow to find the original signal, but provides a strong reduction of pre-echoes. However, it requires transmitting the additional parameters to the decoder.
- Other definitions of the factor g ( k ) are possible, for example as a function of the energy En ( k ) in the current sub-block and the energy En ( k -1) in the preceding sub-block.
- the factor g ( k ) is then set to an attenuation-inhibiting attenuation value, i.e. 1. Otherwise, the attenuation factor is between 0 and 1.
- the frame that precedes the pre-echo frame has a homogeneous energy that corresponds to the energy of a low energy segment (typically a background noise).
- a background noise typically a background noise
- the attenuation factors (or gains) g ( k ) determined by sub-blocks are then smoothed by an applied smoothing function sample by sample to avoid abrupt changes in the attenuation factor at the block boundaries.
- L ' represents the length of a sub-block.
- g pre (-1) is the last attenuation factor obtained for the last sample of the previous sub-block
- the signal is sampled at 32 kHz
- part a) of the figure 2 a frame of an original signal sampled at 32 kHz is shown.
- An attack (or transition) in the signal is located in the sub-block beginning at the index 320.
- This signal has been coded by a low rate (24 kbit / s) MDCT type transform coder.
- part (b) of the figure 2 the result of the decoding without pre-echo processing is illustrated.
- the pre-echo can be observed from sample 160, in the preceding sub-blocks the one containing the attack.
- Part c) shows the evolution of the pre-echo attenuation factor (solid line) obtained by the method described in the aforementioned prior art patent application.
- the dashed line represents the factor before smoothing. Note here that the position of the attack is estimated around the sample 380 (in the block delimited by the samples 320 and 400).
- the value of factor 1 has been assigned to the last 16 samples of the sub-block preceding the attack, starting from the index 364.
- the smoothing function progressively increases the factor to have a value close to 1 at the moment. of the attack.
- the amplitude of the attack is then preserved, as illustrated in part d) of the figure 3 however, some pre-echo samples are not attenuated.
- Attenuation pre-echo reduction does not reduce the pre-echo to the attack level because of gain smoothing.
- FIG 4 Another example with the same setting as that of the figure 3 is illustrated on the figure 4 .
- This figure represents 2 frames to better show the nature of the signal before the attack.
- the energy of the original signal before the attack is stronger (part a) than in the case illustrated by the figure 3 , and the signal before the attack is audible (samples 0 - 850).
- part b) we can observe the pre-echo on the decoded signal without pre-echo processing in the 700-850 area.
- the signal energy of the pre-echo zone is attenuated to the average energy of the signal preceding the treatment zone.
- part c) the attenuation factor calculated taking into account the energy limitation is close to 1 and that the pre-echo is always present on part d) after application of the pre-echo treatment ( multiplication of the signal b) with the signal c)), despite the good leveling of the signal in the pre-echo zone.
- the pre-echo treatment multiplication of the signal b) with the signal c)
- the present invention improves the state of the art.
- the spectral shaping applied improves the pre-echo attenuation.
- the treatment makes it possible to attenuate the pre-echo components that could remain during the implementation of the pre-echo attenuation as described in the state of the art.
- the filtering being applied to the detected position of the attack, it makes it possible to process the attenuation of the pre-echo up to the nearest attack. This therefore offsets the disadvantage of temporal attenuation echo control which is limited to a zone not going to the attack position (margin of 16 samples for example).
- This pre-echo attenuation processing technique can be implemented with or without knowledge of a signal derived from a time decoding and for coding a monophonic signal or a stereophonic signal.
- the adaptation of the filtering makes it possible to adapt to the signal and to remove only the disturbing parasitic components.
- the method further comprises calculating at least one decision parameter on the filtering to be applied to the pre-echo zone and the adaptation of the filtering coefficients according to said at least one parameter of decision.
- the treatment is then applied only when necessary to a suitable level of filtering.
- the at least one decision parameter is a measure of the strength of the detected attack.
- the force of the attack determines the presence of audible high-frequency components in the pre-echo zone.
- the attack is abrupt, the risk of having an annoying parasitic component in the pre-echo zone is large and the filtering to be carried out according to the invention is then to be expected.
- This calculation is of less complexity and makes it possible to define well the strength of the detected attack.
- the said at least one decision parameter may also be the value of the attenuation factor in the sub-block preceding that containing the position of the attack.
- said at least one decision parameter is based on a spectral distribution analysis of the signal of the pre-echo zone and / or of the signal preceding the pre-echo zone.
- the adaptation of the filtering coefficients can be done in a discrete manner as a function of the comparison of at least one decision parameter with a predetermined threshold.
- the filter coefficients can take predetermined values according to a set of values.
- the smallest set of values being one where only two values are possible, it is a saying for example the choice between a filtering and no filtering.
- the adaptation of the filtering coefficients is carried out continuously according to said at least one decision parameter.
- the attenuation step is performed at the same time as the spectral shaping filtering by integrating the attenuation factors with the coefficients defining the filtering.
- the invention relates to a decoder of a digital audio signal comprising a device as described above.
- the invention is directed to a computer program comprising code instructions for implementing the steps of the attenuation processing method as described, when these instructions are executed by a processor.
- the invention relates to a storage medium, readable by a processor, integrated or not to the processing device, optionally removable, storing a computer program implementing a method of treatment as described above.
- a pre-echo attenuation processing device 600 is described.
- this device implements a pre-echo attenuation method in the decoded signal, for example that described in the patent application.
- FR 08 56248 It furthermore implements spectral shaping filtering of the pre-echo zone.
- the device 600 comprises a detection module 601 able to implement a step of detecting (Detect.) The position of an attack in a decoded audio signal.
- An onset is a rapid transition and a sudden change in the dynamics (or amplitude) of the signal.
- This type of signal may be referred to by the more general term "transient”.
- transient we will use only the terms of attack or transition to designate also transients.
- the synthesis window MDCT contains only 415 non-zero samples, unlike the 640 samples in the case of using conventional sinusoidal windows.
- other analysis / synthesis windows may be used, or switches between long and short windows may be used.
- the MDCT x MDCT ( n ) memory is used which gives a time-folding version ("folding") of the future signal.
- the figure 1 shows that the pre-echo influences the frame preceding the one where the attack is located, and it is desirable to detect an attack in the future frame which is partially contained in the MDCT memory.
- the signal contained in the MDCT memory includes time folding (which is compensated when the next frame is received).
- the MDCT memory serves essentially to estimate the energy by sub-blocks of the signal in the next (future) frame, and it is considered that this estimate is sufficiently precise for the purposes of the detection and reduction of pre- echo when performed with the available MDCT memory at the current frame instead of the fully decoded signal at the future frame.
- the current frame and the MDCT memory can be seen as concatenated signals forming a signal of length (K + K ') L' cut into (K + K ') consecutive sub-blocks.
- the ' - 1 x rec not 2 , k 0 ... , K - 1 when the k-th sub-block is in the current frame and, like:
- the ' - 1 x MDCT not 2 , k K , ...
- Other pre-echo detection criteria are possible without changing the nature of the invention.
- the device 600 also comprises a determination module 602 implementing a determination step (ZPE) of a pre-echo zone preceding the detected attack position.
- ZPE determination step
- the energies En ( k ) are concatenated in chronological order, with the time envelope of the decoded signal first, then the envelope of the signal of the next frame estimated from the memory of the MDCT transform. According to this envelope concatenated temporal and mean energies In and In' of the previous frame, the presence of pre-echo is detected if the ratio R ( k ) is sufficiently strong.
- the pre-echo zone does not necessarily start at the beginning of the frame, and may involve an estimate of the length of the pre-echo. If window switching is used, the pre-echo zone must be defined to take into account the windows used.
- a module 603 of the device 600 implements a sub-block attenuation factor calculation step of the determined pre-echo area, depending on the frame in which the attack was detected and the previous frame.
- Other definitions of the factor g ( k ) are possible, for example as a function of En ( k ) and En ( k -1).
- the factor is then set to an attenuation-inhibiting attenuation value, i.e. 1. Otherwise, the attenuation factor is between 0 and 1.
- the attenuation factors g ( k ) determined by sub-blocks are then smoothed by an applied smoothing function sample by sample to avoid abrupt changes in the attenuation factor at the boundaries of the blocks.
- the module 604 of the device 600 of the figure 6 implements the attenuation (Att.) in the sub-blocks of the pre-echo zone, by the attenuation factors obtained.
- the spectral shaping filter used is a linear filter. Since the gain multiplication operation is also a linear operation, their order can be inverted: you can also do the formatting filtering first. Spectrum of the pre-echo area then the pre-echo attenuation by multiplying each sample of the pre-echo area by the corresponding factor.
- c (n) 0.05, 0.1, 0.15, 0.2 and 0.25.
- the motivation for using this filter is its low complexity, its null phase and therefore its zero delay (possible because the processing stops before the end of the current frame) but also its frequency response which corresponds well to the desired low-pass characteristics for this filter.
- this filter can compensate for the fact that the temporal attenuation of the pre-echo is typically limited to a zone not going to the position of the attack (with a margin of, for example, 16 samples), then that the spectral shaping filtering as defined by the transfer function c ( n ) z -1 + (1 - 2c ( n )) + c ( n ) z can be applied up to the position of the attack , possibly with some interpolation samples of the filter coefficients.
- the proposed FIR filter makes it easy to smoothly move from the unfiltered domain to the filtered domain and vice versa, by interpolation or slow variation of its coefficients.
- the filter c ( n ) z -1 + (1-2c ( n )) + c ( n ) z can attenuate the high frequencies before the attack without modifying the attack itself. even.
- Part d) of the figure 8 An exemplary digital audio signal, for which the processing as described herein is performed, is illustrated in part d) of the figure 8 .
- Parts a), b) and c) of this figure show the same signals as those described with reference to the figure 4 previously.
- Part d) differs by the implementation of filtering according to the invention. It can thus be noted that the troublesome high-frequency component is greatly reduced, so that the signal decoded after filtering has a better quality than that described in part d) of FIG. figure 4 .
- An order 1 filter of the form c ( n ) z -1 + (1- c ( n )) can also be used in an embodiment which does not form part of the invention.
- the filtering implemented according to the described method is an adaptive filtering. It can thus be adapted to the characteristics of the decoded audio signal.
- a step of calculating a decision parameter (P) on the filtering to be applied to the pre-echo zone is implemented in the calculation module 605 of FIG. figure 6 .
- this decision parameter is representative of the presence of high frequency components in the pre-echo zone.
- the spectral shaping filter is applied, according to the invention, from the beginning of the current frame to the position pos position of the attack.
- the spectral shaping of the pre-echo zone by filtering according to the invention is adaptive as a function of the parameter P and the attenuation values.
- the filtering is either applied with coefficients [0.25, 0.5, 0.25], or deactivated with coefficients [0, 1, 0].
- the filter coefficients are then adapted in a discrete manner limited to a predefined set of values.
- the adaptation of the filter coefficients (making it possible to adapt the attenuation level of the high frequencies) is thus determined by decision parameters which measure the force of the attack, such as the parameters P and g ( k -1).
- a progressive transition between these two filters can be carried out using also for example the intermediate filters of coefficient [0.05, 0.9, 0.05], [0.1, 0.8, 0.1], [0.15, 0.7, 0.15] and [0.2, 0.6, 0.2 ].
- decision parameters can also be used in the decision of the choice and the adaptation of the filter, such as for example the zero crossing rate of the decoded signal of the pre-echo zone. the current frame and / or the previous frame.
- sgn x rec boy Wut not - 1 - sgn x rec , boy Wut not
- or sgn x ⁇ 1 i f x ⁇ 0 - 1 i f x ⁇ 0
- a high rate of zero crossing zc in the previous frame signals the presence of high frequencies in the signal.
- zc > L / 2 on the previous frame it is better not to apply filtering vs not z - 1 + 1 - 2 vs not + vs not z .
- a pre-filtering of the decoded signal is also possible before calculating the zero crossing rate, or the number of zero crossings of the estimated derivative x rec , g ( n ) -x rec , g ( n -1) can be used.
- a spectral analysis of the signal can also be made to assist the decision.
- the spectral envelope in the MDCT domain resulting from the MDCT coding / decoding can be exploited in the choice of the filter to be used, however this variant assumes that the analysis / synthesis windows MDCT are sufficiently short for the local statistics of the MDCT to be used. signal before the attack remain stable over the length of a window.
- one may filter the signal in the pre-echo region and the frame passed by an additional high pass filter as - c (n) z -1 + (1-2 c (n)) - c (n) z , with for example c ( n ) 0.25, and then we will choose the value of c ( n ) so that the average energy of the filtered signals in the pre-echo zone and on the past frame are as close as possible ; the choice of c ( n ) can be made on a limited set of possible values shown in figure 7 or from the ratio of energy (or an equivalent quantity such as the square root of the energy) of the signal after high-pass filtering in the pre-echo zone and in the past frame.
- the value of c ( n ) can be fixed according to the prediction coefficient r (1) / r (0) from a linear prediction analysis (LPC) for the order 1 of the signal in the pre-echo zone and the signal in the past frame.
- LPC linear prediction analysis
- the decision parameter on the filtering to be applied to the pre-echo zone is based on a spectral distribution analysis of the signal the pre-echo zone and / or the preceding signal of the pre-echo zone; if the signal preceding the pre-echo zone already contains many high frequencies or if the amount of the high frequencies of the signal in the pre-echo zone and the signal preceding the pre-echo zone is substantially identical, the filtering according to the invention is not necessary and may even cause slight degradation. In these cases, the filtering according to the invention must be deactivated or attenuated by setting c (n) to 0 or to a low value close to 0.
- the order between the attenuation and filtering step may be reversed.
- the spectral shaping filtering (F) is done before the attenuation (Att.).
- the attenuation of the amplitudes can also be combined (or integrated) by defining a set of "conjoint" filter coefficients, for example if for the sample n the filter has coefficients [c ( n ), 1-2 c ( n ), c ( n )] and the attenuation factor is g ( n ), we can directly use the filter [ g pre ( n ) c ( n ), g pre ( n ) 2g pre ( n ) c ( n) ), g pre ( n ) c ( n )].
- the figure 11 illustrates the benefit of making adaptive filtering. It uses the same signals parts a), b) and c) that the figure 10 and illustrates the fact that the implementation of the nonadaptive filtering shown in part d), unnecessarily modifies the signal in the case where the high-frequency components are already present in the signal to be encoded. It is observed that from sample 640 the high frequencies are unnecessarily attenuated, which could lead to a slight deterioration in quality.
- the use of an adaptive filtering as described above makes it possible to inhibit or attenuate the filtering under these conditions, to not remove high frequencies already present in the signal to be coded and thus to avoid possible degradation due to the filtering.
- the attenuation processing device 600 as described is here included in a decoder comprising a reverse quantization module 610 (Q -1 ) receiving a signal S, a reverse transformation module 620 (MDCT -1 ), a module 630 signal reconstruction by addition / recovery (add / rec) as described with reference to the figure 1 and delivering a reconstructed signal to the attenuation processing device according to the invention.
- a decoder comprising a reverse quantization module 610 (Q -1 ) receiving a signal S, a reverse transformation module 620 (MDCT -1 ), a module 630 signal reconstruction by addition / recovery (add / rec) as described with reference to the figure 1 and delivering a reconstructed signal to the attenuation processing device according to the invention.
- a processed signal Sa is provided in which a pre-echo attenuation has been performed.
- the processing performed improved the pre-echo attenuation by attenuating, if necessary, the high frequency components in the pre-echo area.
- the memory block BM may comprise a computer program comprising the code instructions for implementing the steps of the method according to the invention when these instructions are executed by a ⁇ P processor of the device and in particular a step of detecting a position of etching in the decoded signal, of determining a pre-echo zone preceding the detected attack position in the decoded signal, of calculating sub-block attenuation factors of the pre-echo zone, as a function of the frame in which the attack was detected and the previous frame, pre-echo attenuation in the sub-blocks of the pre-echo area by the corresponding attenuation factors and further, a a step of applying a spectral shaping filtering of the pre-echo zone on the current frame to the detected position of the attack, the filtering having a finite impulse response to a zero transfer function phase: vs not z - 1 + 1 - 2 vs not + vs not z with c (n) a coefficient between 0 and 0.25.
- This attenuation device can be independent or integrated into a digital signal decoder.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Quality & Reliability (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
Description
- L'invention concerne un procédé et un dispositif de traitement d'atténuation des pré-échos lors du décodage d'un signal audionumérique.
- Pour le transport des signaux audionumériques sur les réseaux de transmission, qu'il s'agisse par exemple de réseaux fixes ou mobiles, ou pour le stockage des signaux, on fait appel à des processus de compression (ou codage source) mettant en oeuvre des systèmes de codage du type codage temporel ou codage fréquentiel par transformée.
- Le procédé et le dispositif, objets de l'invention, ont ainsi comme domaine d'application la compression des signaux sonores, en particulier les signaux audionumériques codés par transformée fréquentielle.
- La
figure 1 représente à titre illustratif, un schéma de principe du codage et du décodage d'un signal audio numérique par transformée incluant une analyse-synthèse par addition/recouvrement selon l'art antérieur. - Certaines séquences musicales, telles que les percussions et certains segments de parole comme les plosives (/k/, /t/, ...), sont caractérisées par des attaques extrêmement brusques qui se traduisent par des transitions très rapides et une variation très forte de la dynamique du signal en l'espace de quelques échantillons. Un exemple de transition est donné à la
figure 1 à partir de l'échantillon 410. - Pour le traitement de codage/décodage, le signal d'entrée est découpé en blocs d'échantillons de longueur L, représentés sur la
figure 1 par des traits verticaux en pointillés. Le signal d'entrée est noté x(n), où n est l'indice de l'échantillon. La découpe en blocs successifs conduit à définir les blocs XN (n) = [x(N.L) ... x(N.L+L-1)] = [x N(0) ... x N(L-1)], où N est l'indice de la trame, L est la longueur de la trame. A lafigure 1 on a L=160 échantillons. Dans le cas de la transformée modulée en cosinus modifiée MDCT (pour "Modified Discrete Cosine Transform" en anglais), deux blocs X N(n) et X N+1(n) sont analysés conjointement pour donner un bloc de coefficients transformés associés à la trame d'indice N. - La division en blocs, aussi appelés trames, opérée par le codage par transformée est totalement indépendante du signal sonore et les transitions peuvent donc apparaître en un point quelconque de la fenêtre d'analyse. Or après décodage par transformée, le signal reconstruit est entaché de "bruit" (ou distorsion) engendré par l'opération quantification (Q)-quantification inverse (Q-1). Ce bruit de codage est réparti temporellement de façon relativement uniforme sur tout le support temporel du bloc transformé, c'est-à-dire sur toute la longueur de la fenêtre de longueur 2L d'échantillons (avec recouvrement de L échantillons). L'énergie du bruit de codage est en général proportionnelle à l'énergie du bloc et est fonction du débit de codage/décodage.
- Pour un bloc comportant une attaque (comme le bloc 320-480 de la
figure 1 ) l'énergie du signal est élevée, le bruit est donc également de niveau élevé. - En codage par transformée, le niveau du bruit de codage est typiquement inférieur à celui du signal pour les segments de forte énergie qui suivent immédiatement la transition, mais le niveau est supérieur à celui du signal pour les segments d'énergie plus faible, notamment sur la partie précédant la transition (échantillons 160 - 410 de la
figure 1 ). Pour la partie précitée, le rapport signal à bruit est négatif et la dégradation résultante peut apparaître très gênante à l'écoute. On appelle pré-écho le bruit de codage antérieur à la transition et post-écho le bruit postérieur à la transition. - On peut observer sur la
figure 1 que le pré-écho affecte la trame précédant la transition ainsi que la trame où se produit la transition. - Les expériences psycho-acoustiques ont montré que l'oreille humaine effectue un pré-masquage temporel des sons assez limité, de l'ordre de quelques millisecondes. Le bruit précédant l'attaque, ou pré-écho, est audible lorsque la durée du pré-écho est supérieure à la durée du pré-masquage.
- L'oreille humaine effectue également un post-masquage d'une durée plus longue, de 5 à 60 millisecondes, lors du passage de séquences de forte énergie à des séquences de faible énergie. Le taux ou niveau de gêne acceptable pour les post-échos est donc plus important que pour les pré-échos.
- Le phénomène des pré-échos, plus critique, est d'autant plus gênant que la longueur des blocs en nombre d'échantillons est importante. Or, en codage par transformée, il est bien connu que pour les signaux stationnaires plus la longueur de la transformée augmente, plus le gain de codage est important. A fréquence d'échantillonnage fixée et à débit fixé, si on augmente le nombre de points de la fenêtre (donc la longueur de la transformée) on disposera de plus de bits par trame pour coder les raies fréquentielles jugées utiles par le modèle psychoacoustique, d'où l'avantage d'utiliser des blocs de grande longueur. Le codage MPEG AAC (Advanced Audio Coding), par exemple, utilise une fenêtre de grande longueur qui contient un nombre fixe d'échantillons, 2048, soit sur une durée de 64 ms à une fréquence d'échantillonnage de 32 kHz; le problème des pré-échos y est géré en permettant de commuter de ces fenêtres longues à 8 fenêtres courtes par le biais de fenêtres intermédiaires (de transition), ce qui nécessite un certain retard au codage pour détecter la présence d'une transition et adapter les fenêtres. La longueur de ces fenêtres courtes est donc de 8 ms. A bas débit on peut toujours avoir un pré-écho audible de quelques ms. La commutation des fenêtres permet d'atténuer le pré-écho mais pas de le supprimer. Les codeurs par transformée utilisés pour les applications conversationnelles comme UIT-T G.722.1, G.722.1C ou G.719 utilisent souvent une fenêtre de durée 40 ms à 16, 32 ou 48 kHz (respectivement) et une longueur de trame de 20ms. On peut noter que le codeur UIT-T G.719 intègre un mécanisme de commutation de fenêtres avec détection de transitoire, cependant le pré-écho n'est pas complètement réduit à bas débit (typiquement à 32 kbit/s).
- Dans le but de réduire l'effet gênant précité du phénomène des pré-échos, différentes solutions ont été proposées au niveau du codeur et/ou du décodeur.
- La commutation de fenêtres a été citée précédemment. Une autre solution consiste à appliquer un filtrage adaptatif. Dans la zone précédant l'attaque, le signal reconstruit est vu comme la somme du signal original et du bruit de quantification.
- Une technique de filtrage correspondante a été décrite dans l'article intitulé High Quality Audio Transform Coding at 64 kbits, IEEE Trans. on Communications Vol 42, No. 11, November 1994, publié par Y. Mahieux et J. P. Petit.
- La mise en oeuvre d'un tel filtrage nécessite la connaissance de paramètres dont certains, comme les coefficients de prédiction et la variance du signal corrompu par le pré-écho, sont estimés au décodeur à partir des échantillons bruités. Par contre, des informations telles que l'énergie du signal d'origine ne peuvent être connues qu'au codeur et doivent par conséquent être transmises. Ceci nécessite de transmettre des informations supplémentaires, ce qui à débit contraint diminue le budget relatif alloué au codage par transformée. Lorsque le bloc reçu contient une variation brusque de dynamique, le traitement de filtrage lui est appliqué.
- Le processus de filtrage précité ne permet pas de retrouver le signal d'origine, mais procure une forte réduction des pré-échos. Il nécessite toutefois de transmettre les paramètres supplémentaires au décodeur.
- Différentes techniques de réduction de pré-écho sans transmission spécifique de l'information ont été proposées. Par exemple, une revue de la réduction de pré-échos dans le contexte du codage hiérarchique est présentée dans l'article B. Kövesi, S. Ragot, M. Gartner, H. Taddei, "Pre-echo reduction in the ITU-T G.729.1 embedded coder," EUSIPCO, Lausanne, Suisse, Août 2008.
- Un exemple typique de procédé d'atténuation de pré-échos est décrit dans la demande de brevet français
FR 08 56248 - Le facteur d'atténuation par sous-bloc g(k) est calculé par exemple en fonction du rapport R(k) entre l'énergie du sous-bloc de plus forte énergie et l'énergie du k-ième sous-bloc en question :
- Si la variation de l'énergie par rapport à l'énergie maximale est faible, aucune atténuation n'est alors nécessaire. Le facteur g(k) est alors fixé à une valeur d'atténuation inhibant l'atténuation, c'est-à-dire 1. Sinon, le facteur d'atténuation est compris entre 0 et 1.
- Dans la plupart des cas, surtout quand le pré-écho est gênant, la trame qui précède la trame de pré-écho a une énergie homogène qui correspond à l'énergie d'un segment de faible énergie (typiquement un bruit de fond). Selon l'expérience il n'est pas utile ni même souhaitable qu'après le traitement d'atténuation de pré-écho l'énergie du signal devienne inférieure à l'énergie moyenne par sous-bloc du signal précédant la zone de traitement (typiquement celle de la trame précédente
En ou celle de la deuxième moitié de la trame précédenteEn '). - Pour le sous-bloc k à traiter on peut calculer la valeur limite du facteur lim g (k) afin d'obtenir exactement la même énergie que l'énergie moyenne par sous-bloc du segment précédant le sous-bloc à traiter. Cette valeur est bien sûr limitée à un maximum de 1 puisqu'on s'intéresse ici aux valeurs d'atténuation. Plus précisément :
En ,En ') . -
- Les facteurs d'atténuation (ou gains) g(k) déterminés par sous-blocs sont ensuite lissés par une fonction de lissage appliquée échantillon par échantillon pour éviter des variations brusques du facteur d'atténuation aux frontières des blocs.
- Par exemple, on peut d'abord définir le gain par échantillon comme une fonction constante par morceaux :
La fonction est ensuite lissée suivant l'équation suivante: - D'autres fonctions de lissage sont également possibles. Une fois les facteurs gpre (n) ainsi calculés, l'atténuation de pré-écho est faite sur le signal reconstruit de la trame courante, xrec (n), en multipliant chaque échantillon par le facteur correspondant :
- Les
figures 2 et3 illustrent la mise en oeuvre du procédé d'atténuation tel que décrit dans la demande de brevet de l'état de l'art, précitée, et résumé précédemment. - Dans ces exemples le signal est échantillonné à 32 kHz, la longueur de la trame est L=640 échantillons et chaque trame est divisée en 8 sous-blocs de K=80 échantillons.
- Dans la partie a) de la
figure 2 , une trame d'un signal original échantillonné à 32 kHz, est représentée. Une attaque (ou transition) dans le signal est située dans le sous-bloc commençant à l'indice 320. Ce signal a été codé par un codeur par transformée de type MDCT à bas débit (24 kbit/s). - Dans la partie b) de la
figure 2 , le résultat du décodage sans traitement de pré-écho est illustré. On peut observer le pré-écho à partir de l'échantillon 160, dans les sous-blocs précédents celui contenant l'attaque. - La partie c) montre l'évolution du facteur d'atténuation de pré-écho (ligne continue) obtenu par le procédé décrit dans la demande de brevet de l'état de l'art précitée. La ligne pointillée représente le facteur avant lissage. On remarque ici que la position de l'attaque est estimée autour de l'échantillon 380 (dans le bloc délimité par les échantillons 320 et 400).
- La partie d) illustre le résultat du décodage après application du traitement de pré-écho (multiplication du signal b) avec le signal c)). On voit que le pré-écho a bien été atténué. La
figure 2 montre également que le facteur lissé ne remonte pas à 1 au moment de l'attaque, ce qui implique une diminution de l'amplitude de l'attaque. L'impact perceptible de cette diminution est très faible mais peut néanmoins être évité. Lafigure 3 illustre le même exemple que lafigure 2 , dans lequel, avant lissage, la valeur de facteur d'atténuation est forcée à 1 pour les quelques échantillons du sous-bloc précédant le sous-bloc où se situe l'attaque. La partie c) de lafigure 3 donne un exemple d'une telle correction. - Dans cet exemple on a affecté la valeur de facteur 1 aux 16 derniers échantillons du sous-bloc précédant l'attaque, à partir de l'indice 364. Ainsi la fonction de lissage accroît progressivement le facteur pour avoir une valeur proche de 1 au moment de l'attaque. L'amplitude de l'attaque est alors préservée, comme illustré dans la partie d) de la
figure 3 , par contre quelques échantillons de pré-écho ne sont pas atténués. - Dans l'exemple de la
figure 3 la réduction de pré-écho par atténuation ne permet pas de réduire le pré-écho jusqu'au niveau de l'attaque, à cause du lissage du gain. - Un autre exemple avec le même réglage que celui de la
figure 3 est illustré sur lafigure 4 . Cette figure représente 2 trames pour mieux montrer la nature du signal avant l'attaque. Ici, l'énergie du signal original avant l'attaque est plus forte (partie a)) que dans le cas illustré par lafigure 3 , et le signal avant l'attaque est audible (échantillons 0 - 850). Sur la partie b) on peut observer le pré-écho sur le signal décodé sans traitement de pré-écho dans la zone 700-850. Selon la procédure de limitation de l'atténuation expliquée précédemment on atténue l'énergie du signal de la zone de pré-écho jusqu'à l'énergie moyenne du signal précédant la zone de traitement. On observe sur la partie c) que le facteur d'atténuation calculé en tenant compte de la limitation d'énergie est proche de 1 et que le pré-écho est toujours présent sur la partie d) après application du traitement de pré-écho (multiplication du signal b) avec le signal c)), malgré la bonne mise à niveau du signal dans la zone pré-écho. On peut en effet bien distinguer ce pré-écho sur la forme d'onde où on remarque qu'une composante haute fréquence est superposée au signal dans cette zone. - Cette composante haute fréquence est bien audible et gênante, et l'attaque est moins nette (partie d)
figure 4 ). - L'explication de ce phénomène est la suivante : dans le cas d'une attaque très brusque, impulsive (comme illustrée sur la
figure 4 ) le spectre du signal (dans la trame contenant l'attaque) est plutôt blanc et donc contient également beaucoup de hautes fréquences. Ainsi le bruit de quantification est également blanc et composé de hautes fréquences, ce qui n'est pas le cas du signal précédant la zone de pré-écho. Il y a donc un changement brusque dans le spectre d'une trame à l'autre, qui résulte en un pré-écho audible malgré le fait que l'énergie a été mise au bon niveau. - Ce phénomène est à nouveau représenté sur les
figures 5a et 5b qui montrent respectivement les spectrogrammes du signal original en 5a, correspondant au signal représenté en partie a) de lafigure 4 et le spectrogramme du signal avec atténuation de pré-échos selon l'état de l'art, en 5b, correspondant au signal représenté en partie d) de lafigure 4 . - On remarque bien un pré-écho encore audible dans la partie encadrée à la
figure 5b . - Il existe donc un besoin d'une technique d'atténuation améliorée de pré-échos au décodage, qui permet d'atténuer également les hautes fréquences indésirables ou pré-échos parasites et sans qu'aucune information auxiliaire ne soit transmise par le codeur.
- La présente invention améliore la situation de l'état de l'art.
- A cet effet, la présente invention traite d'un procédé de traitement d'atténuation de pré-écho dans un signal audionumérique engendré à partir d'un codage par transformée, dans lequel, au décodage, le procédé comporte les étapes suivantes:
- détection d'une position d'attaque dans le signal décodé;
- détermination d'une zone de pré-écho précédant la position d'attaque détectée dans le signal décodé;
- calcul de facteurs d'atténuations par sous-bloc de la zone de pré-écho, en fonction au moins de la trame dans laquelle l'attaque a été détectée et de la trame précédente;
- atténuation de pré-écho dans les sous-blocs de la zone de pré-écho par les facteurs d'atténuation correspondants. Le procédé est tel qu'il comporte en outre:
- l'application d'un filtrage adaptatif de mise en forme spectrale de la zone de pré-écho sur la trame courante jusqu'à la position détectée de l'attaque le filtrage étant à réponse impulsionnelle finie à phase nulle de fonction de transfert:
- Ainsi, la mise en forme spectrale appliquée, permet d'améliorer l'atténuation de pré-écho. Le traitement permet d'atténuer les composantes de pré-écho qui pourraient subsister à la mise en oeuvre de l'atténuation de pré-écho telle que décrite dans l'état de l'art.
- Le filtrage étant appliqué jusqu'à la position détectée de l'attaque, il permet de traiter l'atténuation du pré-écho jusqu'au plus près de l'attaque. Cela compense donc le désavantage de la réduction d'écho par atténuation temporelle qui est limitée à une zone n'allant pas jusqu'à la position de l'attaque (marge de 16 échantillons par exemple).
- Ce filtrage ne nécessite pas d'informations en provenance du codeur.
- Cette technique de traitement d'atténuation de pré-écho peut être mise en oeuvre avec ou sans connaissance d'un signal issu d'un décodage temporel et pour le codage d'un signal monophonique ou d'un signal stéréophonique.
- L'adaptation du filtrage permet de s'adapter au signal et de n'enlever que les composantes parasites gênantes.
- Les différents modes particuliers de réalisation mentionnés ci-après peuvent être ajoutés indépendamment ou en combinaison les uns avec les autres, aux étapes du procédé défini ci-dessus.
- Dans un mode de réalisation particulier, le procédé comporte en outre le calcul d'au moins un paramètre de décision sur le filtrage à appliquer à la zone de pré-écho et l'adaptation des coefficients du filtrage en fonction dudit au moins un paramètre de décision.
- Ainsi, le traitement n'est alors appliqué que quand cela est nécessaire à un niveau de filtrage adapté.
- Dans un mode de réalisation, ledit au moins un paramètre de décision est une mesure de la force de l'attaque détectée.
- La force de l'attaque détermine en effet la présence de composantes hautes fréquences audibles dans la zone de pré-écho. Lorsque l'attaque est brusque, le risque d'avoir une composante parasite gênante dans la zone de pré-écho est grand et le filtrage à mettre en oeuvre selon l'invention est alors à prévoir.
- Dans un mode de calcul possible de ce paramètre, la mesure de la force de l'attaque détectée est de la forme:
P=max (EN(k), EN (k+1)/min(EN(k-1),EN(k-2)) avec k, le numéro du sous-bloc dans lequel l'attaque a été détectée et EN(k) l'énergie du kième sous-bloc. - Ce calcul est de moindre complexité et permet de bien définir la force de l'attaque détectée.
- Le dit au moins un paramètre de décision peut aussi être la valeur du facteur d'atténuation dans le sous-bloc précédant celui contenant la position de l'attaque.
- En effet, une attaque peut être considérée comme brusque si cette atténuation est significative.
- Dans un autre mode de réalisation, ledit au moins un paramètre de décision est basé sur une analyse de répartition spectrale du signal de la zone de pré-écho et/ou du signal précédant la zone de pré-écho.
- Ceci permet par exemple de déterminer l'importance des composantes hautes fréquences dans le signal de pré-écho et de savoir également si ces composantes hautes fréquences étaient déjà présentes dans le signal avant la zone de pré-écho.
- Ainsi, dans le cas où des composantes hautes fréquences étaient déjà présentes avant la zone de pré-écho, il n'est alors pas nécessaire d'effectuer un filtrage pour atténuer ces composantes hautes fréquences, l'adaptation des coefficients de filtrage s'effectue alors par la mise à 0 ou à une valeur proche de 0 des coefficients de filtrage.
- Ainsi, l'adaptation des coefficients du filtrage peut s'effectuer de façon discrète en fonction de la comparaison d'au moins un paramètre de décision à un seuil prédéterminé.
- Les coefficients de filtrage peuvent prendre des valeurs prédéterminées selon un jeu de valeurs. Le jeu de valeurs le plus petit étant celui où seulement deux valeurs sont possibles, c'est un dire par exemple le choix entre un filtrage et pas de filtrage.
- Dans une variante de réalisation, l'adaptation des coefficients du filtrage s'effectue de façon continue en fonction dudit au moins un paramètre de décision.
- L'adaptation est alors plus précise et plus progressive.
- Selon un mode de réalisation, l'étape d'atténuation est effectuée en même temps que le filtrage de mise en forme spectrale en intégrant les facteurs d'atténuation aux coefficients définissant le filtrage.
- La présente invention vise également un dispositif de traitement d'atténuation de pré-échos dans un signal audionumérique engendré à partir d'un codeur par transformée, dans lequel, le dispositif associé à un décodeur comprend:
- un module de détection pour détecter une position d'attaque dans le signal décodé;
- un module de détermination pour déterminer une zone de pré-écho précédant la position d'attaque détectée dans le signal décodé;
- un module de calcul de facteurs d'atténuations par sous-bloc de la zone de pré-écho, en fonction au moins de la trame dans laquelle l'attaque a été détectée et de la trame précédente;
- un module d'atténuation pour atténuer les pré-échos dans les sous-blocs de la zone de pré-écho par les facteurs d'atténuation correspondants. Le dispositif est tel qu'il comprend en outre:
- un module de filtrage adaptatif pour effectuer une mise en forme spectrale de la zone de pré-écho sur la trame courante jusqu'à la position détectée de l'attaque, le filtrage étant à réponse impulsionnelle finie à phase nulle de fonction de transfert:
- L'invention vise un décodeur d'un signal audionumérique comportant un dispositif tel que décrit précédemment.
- Enfin, l'invention vise un programme informatique comportant des instructions de code pour la mise en oeuvre des étapes du procédé de traitement d'atténuation tel que décrit, lorsque ces instructions sont exécutées par un processeur.
- Enfin l'invention se rapporte à un support de stockage, lisible par un processeur, intégré ou non au dispositif de traitement, éventuellement amovible, mémorisant un programme informatique mettant en oeuvre un procédé de traitement tel que décrit précédemment.
- D'autres caractéristiques et avantages de l'invention apparaîtront plus clairement à la lecture de la description suivante, donnée uniquement à titre d'exemple non limitatif, et faite en référence aux dessins annexés, sur lesquels:
- la
figure 1 décrite précédemment illustre un système de codage-décodage par transformée selon l'état de l'art; - la
figure 2 décrite précédemment illustre un exemple de signal audionumérique pour lequel une méthode d'atténuation selon l'état de l'art est effectuée; - la
figure 3 décrite précédemment illustre un autre exemple de signal audionumérique pour lequel une méthode d'atténuation selon l'état de l'art est effectuée; - la
figure 4 décrite précédemment illustre encore un autre un exemple de signal audionumérique pour lequel une méthode d'atténuation selon l'état de l'art est effectuée; - les
figures 5a et 5b illustrent respectivement le spectrogramme du signal original et le spectrogramme du signal avec atténuation de pré-échos selon l'état de l'art (correspondant respectivement aux parties a) et d) de lafigure 4 ); - la
figure 6 illustre un dispositif de traitement d'atténuation de pré-échos dans un décodeur de signal audionumérique, ainsi que les étapes mises en oeuvre par le procédé de traitement selon un mode de réalisation de l'invention; - la
figure 7 illustre la réponse fréquentielle d'un filtre de mise en forme spectrale mis en oeuvre selon un mode de réalisation de l'invention, en fonction du paramètre du filtre; - la
figure 8 illustre un exemple de signal audionumérique pour lequel le traitement selon l'invention a été mis en oeuvre; - la
figure 9 illustre le spectrogramme du signal correspondant au signal d) de lafigure 4 , pour lequel le traitement selon l'invention est mis en oeuvre; - la
figure 10 illustre un exemple de signal présentant des composantes hautes fréquences à l'origine pour lequel une méthode d'atténuation des pré-échos selon l'état de l'art est mise en oeuvre; - La
figure 11 illustre le même signal que lafigure 11 , présentant des composantes hautes fréquences à l'origine pour lequel le traitement selon l'invention a été mis en oeuvre sans la prise en compte d'un critère de décision du niveau de filtrage à appliquer; - la
figure 12 illustre un exemple matériel de dispositif de traitement d'atténuation selon l'invention. - En référence à la
figure 6 , un dispositif 600 de traitement d'atténuation de pré-écho est décrit. Dans un mode de réalisation, ce dispositif met en oeuvre une méthode d'atténuation des pré-échos dans le signal décodé comme par exemple celle décrite dans la demande de brevetFR 08 56248 - Ainsi, le dispositif 600 comporte un module de détection 601 apte à mettre en oeuvre une étape de détection (Detect.) de la position d'une attaque dans un signal audio décodé.
- Une attaque (ou onset en anglais) est une transition rapide et une variation brusque de la dynamique (ou amplitude) du signal. On peut désigner ce type de signaux par le terme plus général de "transitoire". Dans la suite et sans perte de généralité, on utilisera uniquement les termes d'attaque ou de transition pour désigner également des transitoires.
- Dans un mode de réalisation, chaque trame de L échantillons du signal décodé xrec (n) est divisée en K sous-blocs de longueur L', avec par exemple L = 640 échantillons (20 ms) à 32 kHz, L' = 80 échantillons (2.5 ms) et K = 8.
- Des fenêtres d'analyse-synthèse spéciales à bas retard similaires à celles décrites dans la norme UIT-T G.718 sont utilisées pour la partie analyse et pour la partie synthèse de la transformation MDCT. Ainsi la fenêtre de synthèse MDCT ne contient que 415 échantillons non nuls contrairement aux 640 échantillons dans le cas d'utilisation des fenêtres sinusoïdales classiques. Dans une variante de ce mode de réalisation, d'autres fenêtres d'analyse/synthèse peuvent être utilisées, ou des commutations entre fenêtres longues et courtes peuvent être utilisées.
- Par ailleurs, on utilise la mémoire MDCT xMDCT (n) qui donne une version avec repliement temporel ("folding" en anglais) du signal futur. Cette mémoire est aussi divisée en sous-blocs de longueur L' et on ne retient - en fonction de la fenêtre MDCT utilisée - que les K' premiers sous-blocs, où K' dépend de la fenêtre utilisée - par exemple K' = 4 pour une fenêtre sinusoïdale. En effet, la
figure 1 montre que le pré-écho influence la trame précédant celle où se situe l'attaque, et il est souhaitable de détecter une attaque dans la trame future qui est en partie contenue dans la mémoire MDCT. - La réduction de pré-échos dépend ici de plusieurs paramètres:
- ∘ Le signal décodé dans la trame courante (qui contient potentiellement des pré-échos) de longueur L,
- ∘ La mémoire de la transformation inverse MDCT qui correspond au signal partiellement décodé dans la trame suivante avant addition-recouvrement.
- ∘ Le niveau moyen d'énergie dans la trame (ou demi-trame) précédente.
- On peut noter que le signal contenu dans la mémoire MDCT inclut un repliement temporel (qui est compensé lorsque la trame suivante est reçue). Comme expliqué ci-dessous, la mémoire MDCT sert ici essentiellement à estimer l'énergie par sous-blocs du signal dans la trame suivante (future) et on considère que cette estimation est suffisamment précise pour les besoins de la détection et réduction de pré-écho lorsqu'elle est réalisée avec la mémoire MDCT disponible à la trame courante au lieu du signal complètement décodé à la trame future.
- La trame courante et la mémoire MDCT peuvent être vues comme des signaux concaténés formant un signal de longueur (K + K')L' découpé en (K+K') sous-blocs consécutifs. Dans ces conditions, on définit l'énergie dans le k-ième sous-bloc comme :
L'énergie moyenne des sous-blocs dans la trame courante s'obtient donc comme : - Une transition associée à un pré-écho est détectée si le rapport
Par ailleurs, on considère que la position de l'attaque est définie comme - Dans des variantes de réalisation avec commutation des fenêtres, d'autres méthodes donnant la position de l'attaque peuvent être utilisées avec une précision allant de l'échelle d'un sous-bloc jusqu'à une position à l'échantillon près.
- Le dispositif 600 comporte également un module 602 de détermination mettant en oeuvre une l'étape de détermination (ZPE) d'une zone de pré-écho précédant la position d'attaque détectée.
- Les énergies En(k) sont concaténées en ordre chronologique, avec d'abord l'enveloppe temporelle du signal décodé, puis l'enveloppe du signal de la trame suivante estimée à partir de la mémoire de la transformée MDCT. En fonction de cette enveloppe temporelle concaténée et des énergies moyennes
En etEn' de la trame précédente, la présence de pré-écho est détectée si le rapport R(k) est suffisamment fort. - Les sous-blocs dans lequel un pré-écho a été détecté constituent ainsi une zone de pré-écho, qui en général couvre les échantillons n = 0,..., pos-1, soit du début de la trame courante à la position de l'attaque (pos).
- Dans des variantes de réalisation, la zone de pré-écho ne commence pas nécessairement au début de la trame, et peut faire intervenir une estimation de la longueur du pré-écho. Si une commutation de fenêtres est utilisée, la zone de pré-écho devra être définie pour prendre en compte les fenêtres utilisées.
- Un module 603 du dispositif 600 met en oeuvre une étape de calcul de facteurs d'atténuation par sous-blocs de la zone de pré-écho déterminée, en fonction de la trame dans laquelle l'attaque a été détectée et de la trame précédente.
- Conformément à la description de la demande de brevet
FR 08 56248 - Le facteur d'atténuation par sous-bloc g(k) est calculé par exemple, en fonction du rapport R(k) entre l'énergie du sous-bloc de plus forte énergie et l'énergie du k-ième sous-bloc en question :
- Si la variation de l'énergie par rapport à l'énergie maximale est faible, aucune atténuation n'est alors nécessaire. Le facteur est alors fixé à une valeur d'atténuation inhibant l'atténuation, c'est-à-dire 1. Sinon, le facteur d'atténuation est compris entre 0 et 1.
- Ces atténuations sont limitées en fonction de l'énergie moyenne de la trame précédente.
- Pour le sous-bloc à traiter on peut calculer la valeur limite du facteur lim g (k) afin d'obtenir exactement la même énergie que l'énergie moyenne du segment précédant le sous-bloc à traiter. Cette valeur est bien sûr limitée à un maximum de 1 puisqu'on s'intéresse ici aux valeurs d'atténuation. Plus précisément :
-
- Les facteurs d'atténuation g(k) déterminés par sous-blocs sont ensuite lissés par une fonction de lissage appliquée échantillon par échantillon pour éviter des variations brusques du facteur d'atténuation aux frontières des blocs.
- Le gain par échantillon est d'abord défini comme une fonction constante par morceaux :
- D'autres fonctions de lissage sont possibles.
- Le module 604 du dispositif 600 de la
figure 6 met en oeuvre l'atténuation (Att.) dans les sous-blocs de la zone de pré-écho, par les facteurs d'atténuation obtenus. -
- Le dispositif 600 comporte un module de filtrage 606 apte à effectuer l'étape (F) d'application d'un filtrage de mise en forme spectrale de la zone de pré-écho sur la trame courante du signal décodé, jusqu'à la position détectée de l'attaque.
- Typiquement, le filtre de mise en forme spectrale utilisé est un filtre linéaire. Comme l'opération de multiplication par un gain est également une opération linéaire leur ordre peut être inversé : on peut également faire d'abord le filtrage de mise en forme spectrale de la zone de pré-écho puis l'atténuation de pré-écho en multipliant chaque échantillon de la zone de pré-écho par le facteur correspondant.
- Le filtre utilisé pour atténuer les hautes fréquences dans la zone de pré-écho est un filtre FIR (filtre à réponse impulsionnelle finie) à 3 coefficients et à phase nulle de fonction de transfert c(n)z -1+(1-2c(n))+c(n)z avec c(n) une valeur comprise entre 0 et 0.25, où [c(n),1-2c(n),c(n)] sont les coefficients du filtre de mise en forme spectrale ; ce filtre est mis en oeuvre avec l'équation aux différences :
- La réponse fréquentielle de ce filtre est illustrée sur la
figure 7 , en fonction du coefficient c(n), pour c(n) = 0.05, 0.1, 0.15, 0.2 et 0.25. La motivation pour utiliser ce filtre est sa faible complexité, sa phase nulle et donc son retard nul (possible car le traitement s'arrête avant la fin de trame courante) mais également sa réponse fréquentielle qui correspond bien aux caractéristiques de passe-bas désirées pour ce filtre. - L'application de ce filtre peut compenser le fait que l'atténuation temporelle du pré-écho est typiquement limitée à une zone n'allant pas jusqu'à la position de l'attaque (avec une marge de par exemple 16 échantillons), alors que le filtrage de mise en forme spectrale tel que défini par la fonction de transfert c(n)z -1+(1-2c(n))+c(n)z peut être appliqué jusqu'à la position de l'attaque, avec éventuellement quelques échantillons d'interpolation des coefficients du filtre.
- Pour passer d'un signal non-filtré à un signal filtré et éviter des discontinuités il est préférable d'introduire le filtrage de façon progressive. Le filtre FIR proposé permet facilement de passer en douceur du domaine non-filtré vers le domaine filtré et vice-versa, par interpolation ou variation lente de ses coefficients. Par exemple, si la position de l'attaque est pos = 16, le filtrage des 16 échantillons dans la zone de pré-écho n = 0,.., pos -1 peut être effectué de la façon suivante :
- On observe, que grâce à son retard nul, le filtre c(n)z -1+(1-2c(n))+c(n)z peut atténuer les hautes fréquences avant l'attaque sans modifier l'attaque elle-même.
- Un exemple de signal audionumérique, pour lequel le traitement tel que décrit ici est effectué, est illustré en partie d) de la
figure 8 . Les parties a), b) et c) de cette figure reprennent les même signaux que ceux décrits en référence à lafigure 4 précédemment. La partie d) diffère par la mise en oeuvre du filtrage selon l'invention. On peut ainsi remarquer que la composante haute fréquence gênante est fortement diminuée, si bien que le signal décodé après filtrage a une meilleure qualité que celui décrit en partie d) de lafigure 4 . - Le spectrogramme représentant ce signal filtré est représenté en
figure 9 . On observe bien par rapport à lafigure 5b représentant le même signal sans filtrage de mise en forme, l'atténuation des hautes fréquences gênantes avant l'attaque. L'attaque devient alors plus nette au décodage. - Bien entendu, d'autres types de filtre de mise en forme spectrale peuvent être envisagés pour remplacer le filtre c(n)z -1+(1-2c(n))+c(n)z. Par exemple, il est possible d'utiliser un filtre FIR d'ordre différent ou avec des coefficients différents. Alternativement le filtre de mise en forme spectrale peut être à réponse impulsionnelle infinie (IIR). De plus, la mise en forme spectrale peut être différente d'un filtrage passe-bas, par exemple un filtre passe-bande pourrait être mis en oeuvre. Ces modes de réalisation ne font pas partie de l'invention qui est définie par les revendications.
- Un filtre d'ordre 1, de la forme c(n)z -1+(1-c(n)) peut également être utilisé dans un mode de réalisation qui ne fait pas partie de l'invention.
- Dans un mode de réalisation particulier, le filtrage mis en oeuvre selon le procédé décrit, est un filtrage adaptatif. Il peut ainsi être adapté aux caractéristiques du signal audio décodé.
- Dans ce mode de réalisation, une étape de calcul d'un paramètre (P) de décision sur le filtrage à appliquer à la zone de pré-écho est mise en oeuvre dans le module de calcul 605 de la
figure 6 . - En effet, il existe des cas comme celui illustré par exemple à la
figure 10 où il est préférable de ne pas appliquer un tel filtrage dans la zone de pré-écho. - En effet, dans le cas, plus rare, illustré à la
figure 10 , partie a) les hautes fréquences sont déjà présentes dans le signal à coder. Dans ce cas l'atténuation des hautes fréquences pourrait causer une dégradation audible qu'il faut donc éviter. Dans cet exemple de signal, on observe que l'attaque est moins brusque que dans les exemples précédents. - Il est alors intéressant de déterminer au moins un paramètre qui permet de décider s'il faut mettre en forme spectralement la zone du signal contenant un pré-écho, en atténuant (ou non) les hautes fréquences.
- Dans un exemple de réalisation, ce paramètre de décision est représentatif de la présence de composantes hautes fréquences dans la zone de pré-écho.
-
- Selon un réglage expérimental, dans cet exemple de réalisation, P >= 32 indique une attaque brusque (très impulsive).
- La mesure de force de l'attaque peut être complétée en tenant en compte également de l'atténuation déterminée pour le sous-bloc précédant l'attaque g(k-1). Une attaque peut être considérée comme brusque si cette atténuation est significative, par exemple si g(k-1) ≤ 0.5. Ceci montre que l'énergie dans la zone de pré-écho est considérablement augmentée (plus que doublée) à cause du pré-écho, ce qui signale également une attaque brusque.
- Si P < 32 et g(k-1) >0.5, où k est l'indice du sous-bloc contenant le début de l'attaque, le filtrage n'est pas nécessaire. En effet, si g(k-1) >0.5, lim g (k)>0.5, ce qui signifie que la zone de pré-écho a une énergie comparable avec celle de la trame précédente et comme l'attaque qui génère le pré-écho n'est pas brusque, le risque d'avoir une composante parasite gênante est faible.
- Ainsi, dans ce mode de réalisation avec les conditions (P < 32 et g(k-1) >0.5), aucun filtrage ne sera fait sur la zone de pré-écho.
- Dans les autres cas (g(k-1) ≤ 0.5 ou P > 32) le filtre de mise en forme spectrale est appliqué, selon l'invention, du début de la trame courante jusqu'à la position pos de position de l'attaque.
- Dans l'exemple de réalisation décrit ci-dessus la mise en forme spectrale de la zone de pré-écho par filtrage selon l'invention est adaptative en fonction du paramètre P et des valeurs d'atténuation. Ainsi, le filtrage est soit appliqué avec des coefficients [0.25, 0.5, 0.25], soit désactivé avec des coefficients [0, 1, 0].
- L'adaptation des coefficients de filtrage s'effectue alors de façon discrète limitée à un jeu de valeurs prédéfini.
- L'adaptation des coefficients de filtrage (permettant d'adapter le niveau d'atténuation des hautes fréquences) est déterminé donc par des paramètres de décision qui mesurent la force de l'attaque comme les paramètres P et g(k-1)
- Il s'agit dans ce cas d'une d'adaptation des coefficients du filtre de façon discrète suivant deux jeux de valeurs possibles ([0.25, 0.5, 0.25] ou [0, 1, 0]). On peut noter que le jeu de coefficients [0, 1, 0] correspond à une désactivation du filtrage.
- Une transition progressive entre ces deux filtres peut être effectuée en utilisant également par exemple les filtres intermédiaires de coefficient [0.05, 0.9, 0.05], [0.1, 0.8, 0.1], [0.15, 0.7, 0.15] et [0.2, 0.6, 0.2].
- Il s'agit dans ce cas d'une adaptation des coefficients du filtre de façon discrète suivant plusieurs jeux de valeurs possibles, si on tient compte de la variation lente (ou interpolation).
- Dans des variantes de réalisations, d'autres méthodes d'interpolation peuvent être utilisées.
-
- Il s'agit dans ce cas d'une d'adaptation des coefficients du filtre de façon continue suivant des valeurs possibles où c(n) est dans l'intervalle [0, 0.25].
- D'autres paramètres de décision peuvent être également utilisés dans la décision du choix et de l'adaptation du filtre, comme par exemple le taux de passage à zéro ("zero crossing rate" en anglais) du signal décodé de la zone pré-écho de la trame courante et/ou de la trame précédente. Le taux de passage par zéro peut être calculé de la façon suivante si on considère la zone n = 0,..., L -1 à titre d'exemple :
-
- Afin d'éliminer le biais de la composante continue, un préfiltrage du signal décodé est également possible avant calcul du taux de passage par zéro, ou bien le nombre de passage par zéro de la dérivée estimée x rec,g (n) -x rec,g (n-1) peut être utilisé.
- Dans une variante, une analyse spectrale du signal peut être également faite pour aider à la décision. Par exemple, l'enveloppe spectrale dans le domaine MDCT issue du codage/décodage MDCT peut être exploitée dans le choix du filtre à utiliser, cependant cette variante suppose que les fenêtres d'analyse/synthèse MDCT sont suffisamment courtes pour que les statistiques locales du signal avant l'attaque restent stables sur la longueur d'une fenêtre.
- Alternativement, on pourra filtrer le signal dans la zone de pré-écho et dans la trame passée par un filtre complémentaire passe-haut comme -c(n)z -1+(1-2c(n))-c(n)z, avec par exemple c(n) = 0.25, et ensuite on choisira la valeur de c(n) de sorte que l'énergie moyenne des signaux filtrés dans la zone de pré-écho et sur la trame passée soient les plus proches possibles; le choix de c(n) pourra se faire sur un jeu limité de valeurs possibles montrées à la
figure 7 ou à partir du ratio d'énergie (ou d'une quantité équivalente comme la racine carrée de l'énergie) du signal après filtrage passe-haut dans la zone de pré-écho et dans la trame passée. - A noter que le filtrage passe-haut peut également être mis en oeuvre de façon alternative en calculant la différence entre le signal x rec,g (n) et le signal filtré par le filtre passe-bas c(n)z -1+(1-2c(n))+c(n)z quand c(n) =0.25.
- Dans une autre variante, quand le filtrage de mise en forme est de type c(n)z -1+(1-c(n)), on pourra fixer le valeur de c(n) en fonction du coefficient de prédiction -r(1)/r(0) issu d'une analyse par prédiction linéaire (LPC pour "Linear Predictive Coding" en anglais) à l'ordre 1 du signal dans la zone de pré-écho et du signal dans la trame passée.
- Dans toutes ces dernières variantes (taux de passage à zéro, enveloppe spectrale MDCT, filtrage passe haut, analyse LPC), le paramètre de décision sur le filtrage à appliquer à la zone de pré-écho est basé sur une analyse de répartition spectrale du signal de la zone pré-écho et/ou du signal précédant de la zone pré-écho ; si le signal précédant la zone pré-écho contient déjà beaucoup de hautes fréquences ou si la quantité des hautes fréquences du signal dans la zone pré-écho et du signal précédant la zone pré-écho est sensiblement identique, le filtrage selon l'invention n'est pas nécessaire et peut même causer une légère dégradation. Dans ces cas il faut désactiver ou atténuer le filtrage selon l'invention en fixant c(n) à 0 ou à une faible valeur proche de 0.
- Dans une variante de l'invention l'ordre entre l'étape d'atténuation et de filtrage pourra être inversé.
- Il se peut en effet que le filtrage (F) de mise en forme spectrale se fasse avant l'atténuation (Att.). Ainsi, après avoir effectué le filtrage adaptatif des échantillons de la zone de pré-écho du signal reconstruit de la trame courante, ces échantillons sont alors pondérés en multipliant chaque échantillon par le facteur d'atténuation correspondant calculé précédemment :
- L'atténuation des amplitudes peut également être combinée (ou intégrée) en définissant un jeu de coefficients de filtre "conjoint", par exemple si pour l'échantillon n le filtre a des coefficients [c(n), 1-2c(n), c(n)] et le facteur d'atténuation est g(n), on peut directement utiliser le filtre [gpre (n)c(n), gpre (n)2gpre (n) c(n), gpre (n) c(n)].
- La
figure 11 illustre l'avantage de rendre le filtrage adaptatif. Elle reprend les mêmes signaux parties a), b) et c) que lafigure 10 et illustre le fait que la mise en oeuvre du filtrage non-adaptatif représenté en partie d), modifie inutilement le signal dans le cas où les composantes hautes-fréquences sont déjà présentes dans le signal à coder. On observe qu'à partir de l'échantillon 640 les hautes fréquences sont inutilement atténués ce qui pourrait poser une légère dégradation de qualité. L'utilisation d'un filtrage adaptatif comme décrit ci-dessus permet d'inhiber ou d'atténuer le filtrage dans ces conditions, de pas enlever des hautes fréquences déjà présentes dans le signal à coder et d'éviter ainsi une éventuelle dégradation dû au filtrage. - Pour revenir à la
figure 6 , le dispositif de traitement d'atténuation 600 tel que décrit est ici compris dans un décodeur comportant un module 610 de quantification inverse (Q-1) recevant un signal S, un module 620 de transformée inverse (MDCT-1), un module 630 de reconstruction du signal par addition/recouvrement (add/rec) comme décrit en référence à lafigure 1 et délivrant un signal reconstruit au dispositif de traitement d'atténuation selon l'invention. - En sortie du dispositif 600, un signal traité Sa est fourni dans lequel une atténuation de pré-écho a été effectué. Le traitement effectué a permis d'améliorer l'atténuation de pré-écho par l'atténuation, le cas échant, des composantes hautes fréquences, dans la zone de pré-écho.
- Un exemple de réalisation d'un dispositif de traitement d'atténuation selon l'invention est maintenant décrit en référence à la
figure 12 . - Matériellement, ce dispositif 100 au sens de l'invention comporte typiquement, un processeur µP coopérant avec un bloc mémoire BM incluant une mémoire de stockage et/ou de travail, ainsi qu'une mémoire tampon MEM précitée en tant que moyen pour mémoriser toutes données nécessaire à la mise en oeuvre du procédé de traitement d'atténuation tel que décrit en référence à la
figure 6 . Ce dispositif reçoit en entrée des trames successives du signal numérique Se et délivre le signal Sa reconstruit avec atténuation de pré-écho et filtrage de mise en forme spectrale, le cas échéant. - Le bloc mémoire BM peut comporter un programme informatique comportant les instructions de code pour la mise en oeuvre des étapes du procédé selon l'invention lorsque ces instructions sont exécutées par un processeur µP du dispositif et notamment une étape de détection d'une position d'attaque dans le signal décodé, de détermination d'une zone de pré-écho précédant la position d'attaque détectée dans le signal décodé, de calcul de facteurs d'atténuations par sous-bloc de la zone de pré-écho, en fonction de la trame dans laquelle l'attaque a été détectée et de la trame précédente, d'atténuation de pré-écho dans les sous-blocs de la zone de pré-écho par les facteurs d'atténuation correspondants et en outre, une étape d'application d'un filtrage de mise en forme spectrale de la zone de pré-écho sur la trame courante jusqu'à la position détectée de l'attaque, le filtrage étant à réponse impulsionnelle finie à phase nulle de fonction de transfert:
figure 6 peut illustrer l'algorithme d'un tel programme informatique. - Ce dispositif d'atténuation selon l'invention peut être indépendant ou intégré dans un décodeur de signal numérique.
Claims (12)
- Procédé de traitement d'atténuation de pré-écho dans un signal audionumérique engendré à partir d'un codage par transformée, dans lequel, au décodage, le procédé comporte les étapes suivantes:- détection (601, Detect.) d'une position d'attaque dans le signal décodé;- détermination (602, ZPE) d'une zone de pré-écho précédant la position d'attaque détectée dans le signal décodé;- calcul (603, F. Att.) de facteurs d'atténuations par sous-bloc de la zone de pré-écho, en fonction au moins de la trame dans laquelle l'attaque a été détectée et de la trame précédente;- atténuation (604, Att.) de pré-écho dans les sous-blocs de la zone de pré-écho par les facteurs d'atténuation correspondants;le procédé étant caractérisé en ce qu'il comporte en outre:- l'application d'un filtrage adaptatif (606, F) de mise en forme spectrale de la zone de pré-écho sur la trame courante jusqu'à la position détectée de l'attaque, le filtrage étant à réponse impulsionnelle finie à phase nulle de fonction de transfert:
- Procédé selon la revendication 1, caractérisé en ce qu'il comporte en outre le calcul d'au moins un paramètre de décision sur le filtrage à appliquer à la zone de pré-écho et l'adaptation des coefficients du filtrage en fonction dudit au moins un paramètre de décision.
- Procédé selon la revendication 2, caractérisé en ce que ledit au moins un paramètre de décision est une mesure de la force de l'attaque détectée.
- Procédé selon la revendication 2, caractérisé en ce que le dit au moins un paramètre de décision est la valeur du facteur d'atténuation dans le sous-bloc précédant celui contenant la position de l'attaque.
- Procédé selon la revendication 2, caractérisé en ce que ledit au moins un paramètre de décision est basé sur une analyse de répartition spectrale du signal de la zone de pré-écho et/ou du signal précédant la zone de pré-écho.
- Procédé selon la revendication 3, caractérisé en ce que la mesure de la force de l'attaque détectée est de la forme:
P=max (EN(k), EN (k+1)/min(EN(k-1),EN(k-2)) avec k, le numéro du sous-bloc dans lequel l'attaque a été détectée et EN(k) l'énergie du kième sous-bloc. - Procédé selon la revendication 2, caractérisé en ce que l'adaptation des coefficients du filtrage s'effectue de façon discrète en fonction de la comparaison d'au moins un paramètre de décision à un seuil prédéterminé.
- Procédé selon la revendication 2, caractérisé en ce que l'adaptation des coefficients du filtrage s'effectue de façon continue en fonction dudit au moins un paramètre de décision.
- Procédé selon la revendication 1, caractérisé en ce que l'étape d'atténuation est effectuée en même temps que le filtrage de mise en forme spectrale en intégrant les facteurs d'atténuation aux coefficients définissant le filtrage.
- Dispositif de traitement d'atténuation de pré-écho dans un signal audionumérique engendré à partir d'un codeur par transformée, dans lequel, le dispositif associé à un décodeur comprend:- un module de détection (601) pour détecter une position d'attaque dans le signal décodé;- un module de détermination (602) pour déterminer une zone de pré-écho précédant la position d'attaque détectée dans le signal décodé;- un module de calcul (603) de facteurs d'atténuations par sous-bloc de la zone de pré-écho, en fonction au moins de la trame dans laquelle l'attaque a été détectée et de la trame précédente;- un module d'atténuation (604) pour atténuer les pré-échos dans les sous-blocs de la zone de pré-écho par les facteurs d'atténuation correspondants;le dispositif étant caractérisé comme comprenant en outre:- un module de filtrage (606) adaptatif pour effectuer une mise en forme spectrale de la zone de pré-écho sur la trame courante jusqu'à la position détectée de l'attaque, le filtrage étant à réponse impulsionnelle finie à phase nulle de fonction de transfert:
- Décodeur d'un signal audionumérique comportant un dispositif selon la revendication 10.
- Programme informatique comportant des instructions de code pour la mise en oeuvre des étapes du procédé selon l'une des revendications 1 à 9, lorsque ces instructions sont exécutées par un processeur.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1256285A FR2992766A1 (fr) | 2012-06-29 | 2012-06-29 | Attenuation efficace de pre-echos dans un signal audionumerique |
PCT/FR2013/051517 WO2014001730A1 (fr) | 2012-06-29 | 2013-06-28 | Atténuation efficace de pré-échos dans un signal audionumérique |
Publications (2)
Publication Number | Publication Date |
---|---|
EP2867893A1 EP2867893A1 (fr) | 2015-05-06 |
EP2867893B1 true EP2867893B1 (fr) | 2018-11-28 |
Family
ID=47191858
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP13744654.8A Active EP2867893B1 (fr) | 2012-06-29 | 2013-06-28 | Atténuation efficace de pré-échos dans un signal audionumérique |
Country Status (12)
Country | Link |
---|---|
US (1) | US9489964B2 (fr) |
EP (1) | EP2867893B1 (fr) |
JP (1) | JP6271531B2 (fr) |
KR (1) | KR102082156B1 (fr) |
CN (1) | CN104395958B (fr) |
BR (1) | BR112014032587B1 (fr) |
CA (1) | CA2874965C (fr) |
ES (1) | ES2711132T3 (fr) |
FR (1) | FR2992766A1 (fr) |
MX (1) | MX349600B (fr) |
RU (1) | RU2607418C2 (fr) |
WO (1) | WO2014001730A1 (fr) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2992766A1 (fr) * | 2012-06-29 | 2014-01-03 | France Telecom | Attenuation efficace de pre-echos dans un signal audionumerique |
FR3023646A1 (fr) * | 2014-07-11 | 2016-01-15 | Orange | Mise a jour des etats d'un post-traitement a une frequence d'echantillonnage variable selon la trame |
FR3025923A1 (fr) * | 2014-09-12 | 2016-03-18 | Orange | Discrimination et attenuation de pre-echos dans un signal audionumerique |
EP3382701A1 (fr) | 2017-03-31 | 2018-10-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Appareil et procédé de post-traitement d'un signal audio à l'aide d'une mise en forme à base de prédiction |
EP3382700A1 (fr) * | 2017-03-31 | 2018-10-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Appareil et procede de post-traitement d'un signal audio à l'aide d'une détection d'emplacements transitoires |
WO2019091576A1 (fr) | 2017-11-10 | 2019-05-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Codeurs audio, décodeurs audio, procédés et programmes informatiques adaptant un codage et un décodage de bits les moins significatifs |
EP3483880A1 (fr) * | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Mise en forme de bruit temporel |
EP3483879A1 (fr) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Fonction de fenêtrage d'analyse/de synthèse pour une transformation chevauchante modulée |
EP3483884A1 (fr) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Filtrage de signal |
WO2019091573A1 (fr) | 2017-11-10 | 2019-05-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Appareil et procédé de codage et de décodage d'un signal audio utilisant un sous-échantillonnage ou une interpolation de paramètres d'échelle |
EP3483886A1 (fr) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Sélection de délai tonal |
EP3483883A1 (fr) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Codage et décodage de signaux audio avec postfiltrage séléctif |
EP3483882A1 (fr) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Contrôle de la bande passante dans des codeurs et/ou des décodeurs |
EP3483878A1 (fr) | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Décodeur audio supportant un ensemble de différents outils de dissimulation de pertes |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2674710B1 (fr) * | 1991-03-27 | 1994-11-04 | France Telecom | Procede et systeme de traitement des preechos d'un signal audio-numerique code par transformee frequentielle. |
US5731767A (en) * | 1994-02-04 | 1998-03-24 | Sony Corporation | Information encoding method and apparatus, information decoding method and apparatus, information recording medium, and information transmission method |
JP3186412B2 (ja) * | 1994-04-01 | 2001-07-11 | ソニー株式会社 | 情報符号化方法、情報復号化方法、及び情報伝送方法 |
JPH08223049A (ja) * | 1995-02-14 | 1996-08-30 | Sony Corp | 信号符号化方法及び装置、信号復号化方法及び装置、情報記録媒体並びに情報伝送方法 |
JP3307138B2 (ja) * | 1995-02-27 | 2002-07-24 | ソニー株式会社 | 信号符号化方法及び装置、並びに信号復号化方法及び装置 |
JP4581190B2 (ja) * | 2000-06-19 | 2010-11-17 | ヤマハ株式会社 | 音楽信号の時間軸圧伸方法及び装置 |
KR100821499B1 (ko) * | 2000-12-14 | 2008-04-11 | 소니 가부시끼 가이샤 | 정보 추출 장치 |
CN1308912C (zh) * | 2001-11-16 | 2007-04-04 | 皇家飞利浦电子股份有限公司 | 一种在信息信号中嵌入辅助数据的方法和设备 |
AU2003208517A1 (en) * | 2003-03-11 | 2004-09-30 | Nokia Corporation | Switching between coding schemes |
US7443978B2 (en) * | 2003-09-04 | 2008-10-28 | Kabushiki Kaisha Toshiba | Method and apparatus for audio coding with noise suppression |
EP1542226A1 (fr) * | 2003-12-11 | 2005-06-15 | Deutsche Thomson-Brandt Gmbh | Procédé et dispositif pour la transmission de bits de données d'un filigrane à spectre étalé et pour l'extraction de bits de données d'un filigrane intégré dans un spectre étalé |
FR2897733A1 (fr) * | 2006-02-20 | 2007-08-24 | France Telecom | Procede de discrimination et d'attenuation fiabilisees des echos d'un signal numerique dans un decodeur et dispositif correspondant |
DE102006047197B3 (de) * | 2006-07-31 | 2008-01-31 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Verarbeiten eines reellen Subband-Signals zur Reduktion von Aliasing-Effekten |
US8463603B2 (en) * | 2008-09-06 | 2013-06-11 | Huawei Technologies Co., Ltd. | Spectral envelope coding of energy attack signal |
US8676365B2 (en) * | 2008-09-17 | 2014-03-18 | Orange | Pre-echo attenuation in a digital audio signal |
FR2936898A1 (fr) * | 2008-10-08 | 2010-04-09 | France Telecom | Codage a echantillonnage critique avec codeur predictif |
CN101826327B (zh) * | 2009-03-03 | 2013-06-05 | 中兴通讯股份有限公司 | 一种基于时域掩蔽的瞬态判决方法及设备 |
JP5287546B2 (ja) * | 2009-06-29 | 2013-09-11 | 富士通株式会社 | 情報処理装置およびプログラム |
US9672840B2 (en) * | 2011-10-27 | 2017-06-06 | Lg Electronics Inc. | Method for encoding voice signal, method for decoding voice signal, and apparatus using same |
FR2992766A1 (fr) * | 2012-06-29 | 2014-01-03 | France Telecom | Attenuation efficace de pre-echos dans un signal audionumerique |
FR3000328A1 (fr) * | 2012-12-21 | 2014-06-27 | France Telecom | Attenuation efficace de pre-echos dans un signal audionumerique |
-
2012
- 2012-06-29 FR FR1256285A patent/FR2992766A1/fr active Pending
-
2013
- 2013-06-28 MX MX2014015065A patent/MX349600B/es active IP Right Grant
- 2013-06-28 CA CA2874965A patent/CA2874965C/fr active Active
- 2013-06-28 BR BR112014032587-1A patent/BR112014032587B1/pt active IP Right Grant
- 2013-06-28 ES ES13744654T patent/ES2711132T3/es active Active
- 2013-06-28 EP EP13744654.8A patent/EP2867893B1/fr active Active
- 2013-06-28 KR KR1020147036551A patent/KR102082156B1/ko active IP Right Grant
- 2013-06-28 CN CN201380034828.2A patent/CN104395958B/zh active Active
- 2013-06-28 RU RU2015102814A patent/RU2607418C2/ru active
- 2013-06-28 JP JP2015519300A patent/JP6271531B2/ja active Active
- 2013-06-28 US US14/411,790 patent/US9489964B2/en active Active
- 2013-06-28 WO PCT/FR2013/051517 patent/WO2014001730A1/fr active Application Filing
Non-Patent Citations (1)
Title |
---|
None * |
Also Published As
Publication number | Publication date |
---|---|
US20150170668A1 (en) | 2015-06-18 |
BR112014032587A2 (pt) | 2017-06-27 |
RU2015102814A (ru) | 2016-08-20 |
US9489964B2 (en) | 2016-11-08 |
JP6271531B2 (ja) | 2018-01-31 |
RU2607418C2 (ru) | 2017-01-10 |
EP2867893A1 (fr) | 2015-05-06 |
CN104395958B (zh) | 2017-09-05 |
CN104395958A (zh) | 2015-03-04 |
KR102082156B1 (ko) | 2020-04-14 |
CA2874965C (fr) | 2021-01-19 |
WO2014001730A1 (fr) | 2014-01-03 |
FR2992766A1 (fr) | 2014-01-03 |
CA2874965A1 (fr) | 2014-01-03 |
JP2015522847A (ja) | 2015-08-06 |
KR20150052812A (ko) | 2015-05-14 |
BR112014032587B1 (pt) | 2022-08-09 |
ES2711132T3 (es) | 2019-04-30 |
MX2014015065A (es) | 2015-02-17 |
MX349600B (es) | 2017-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2867893B1 (fr) | Atténuation efficace de pré-échos dans un signal audionumérique | |
EP2936488B1 (fr) | Atténuation efficace de pré-échos dans un signal audionumérique | |
EP2002428B1 (fr) | Procede de discrimination et d'attenuation fiabilisees des echos d'un signal numerique dans un decodeur et dispositif correspondant | |
EP2104936B1 (fr) | Codage par transformee, utilisant des fenetres de ponderation et a faible retard | |
EP2153438B1 (fr) | Post-traitement de reduction du bruit de quantification d'un codeur, au decodage | |
EP2586133B1 (fr) | Contrôle d'une boucle de rétroaction de mise en forme de bruit dans un codeur de signal audionumérique | |
FR2907586A1 (fr) | Synthese de blocs perdus d'un signal audionumerique,avec correction de periode de pitch. | |
EP3084959B1 (fr) | Ré-échantillonnage d'un signal audio cadencé à une fréquence d'échantillonnage variable selon la trame | |
EP2347411B1 (fr) | Attenuation de pre-echos dans un signal audionumerique | |
FR3007563A1 (fr) | Extension amelioree de bande de frequence dans un decodeur de signaux audiofrequences | |
EP3192073B1 (fr) | Discrimination et atténuation de pré-échos dans un signal audionumérique | |
EP2652735B1 (fr) | Codage perfectionne d'un etage d'amelioration dans un codeur hierarchique | |
EP3167447B1 (fr) | Mise a jour des états d'un post-traitement a une fréquence d'échantillonnage variable selon la trame | |
WO2014009657A1 (fr) | Traitement d'amelioration de la qualite des signaux audiofrequences |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
17P | Request for examination filed |
Effective date: 20150127 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
AX | Request for extension of the european patent |
Extension state: BA ME |
|
DAX | Request for extension of the european patent (deleted) | ||
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: EXAMINATION IS IN PROGRESS |
|
17Q | First examination report despatched |
Effective date: 20171020 |
|
GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: GRANT OF PATENT IS INTENDED |
|
INTG | Intention to grant announced |
Effective date: 20180727 |
|
GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE PATENT HAS BEEN GRANTED |
|
AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: EP |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: REF Ref document number: 1071154 Country of ref document: AT Kind code of ref document: T Effective date: 20181215 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R096 Ref document number: 602013047454 Country of ref document: DE |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D Free format text: LANGUAGE OF EP DOCUMENT: FRENCH |
|
REG | Reference to a national code |
Ref country code: NL Ref legal event code: MP Effective date: 20181128 |
|
REG | Reference to a national code |
Ref country code: LT Ref legal event code: MG4D |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: MK05 Ref document number: 1071154 Country of ref document: AT Kind code of ref document: T Effective date: 20181128 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181128 Ref country code: IS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190328 Ref country code: NO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190228 Ref country code: LT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181128 Ref country code: HR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181128 Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190228 Ref country code: LV Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181128 Ref country code: AT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181128 |
|
REG | Reference to a national code |
Ref country code: ES Ref legal event code: FG2A Ref document number: 2711132 Country of ref document: ES Kind code of ref document: T3 Effective date: 20190430 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181128 Ref country code: PT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190328 Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190301 Ref country code: RS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181128 Ref country code: SE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181128 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: NL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181128 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CZ Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181128 Ref country code: DK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181128 Ref country code: PL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181128 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 602013047454 Country of ref document: DE |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181128 Ref country code: RO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181128 Ref country code: EE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181128 Ref country code: SM Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181128 |
|
PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181128 |
|
26N | No opposition filed |
Effective date: 20190829 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MC Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181128 |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: PL |
|
REG | Reference to a national code |
Ref country code: BE Ref legal event code: MM Effective date: 20190630 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: TR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181128 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20190628 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CH Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20190630 Ref country code: LU Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20190628 Ref country code: LI Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20190630 Ref country code: BE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20190630 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CY Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181128 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181128 Ref country code: HU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO Effective date: 20130628 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20181128 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: ES Payment date: 20230703 Year of fee payment: 11 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: GB Payment date: 20240521 Year of fee payment: 12 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: DE Payment date: 20240521 Year of fee payment: 12 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: IT Payment date: 20240522 Year of fee payment: 12 Ref country code: FR Payment date: 20240522 Year of fee payment: 12 |