EP1599868A1 - Procede et dispositif de reconstruction spectrale d'un signal audio - Google Patents

Procede et dispositif de reconstruction spectrale d'un signal audio

Info

Publication number
EP1599868A1
EP1599868A1 EP04716626A EP04716626A EP1599868A1 EP 1599868 A1 EP1599868 A1 EP 1599868A1 EP 04716626 A EP04716626 A EP 04716626A EP 04716626 A EP04716626 A EP 04716626A EP 1599868 A1 EP1599868 A1 EP 1599868A1
Authority
EP
European Patent Office
Prior art keywords
frequency
coded
core
audio signal
decoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP04716626A
Other languages
German (de)
English (en)
Other versions
EP1599868B1 (fr
Inventor
Pierrick Philippe
Jean-Bernard Rault
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of EP1599868A1 publication Critical patent/EP1599868A1/fr
Application granted granted Critical
Publication of EP1599868B1 publication Critical patent/EP1599868B1/fr
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G10L19/0208—Subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding

Definitions

  • the present invention relates to a method and a device for coding and decoding an audio signal using spectrum reconstruction techniques.
  • the invention lies in improving the decoding of an audio signal coded by an encoder with spectral band limitation, called the core coder.
  • an encoder with spectral band limitation called the core coder.
  • This coding can be a bit rate reduction coding.
  • Known rate reduction coders are, for example, transform type coders such as MPEG1, MPEG2 or MPEG4-GA coders, CELP type coders and even parametric type coders, such as a parametric MPEG4 type coder.
  • the audio signal In bit rate audio coding, the audio signal often has to undergo bandwidth limitation when the bit rate becomes low. This bandwidth limitation is necessary to avoid the introduction of audible quantization noise into the coded signal. It is therefore desirable to complete as far as possible the full spectral content of the original signal.
  • Bandwidth is known from the state of the art, such as, for example, the spectral widening method known as the HFR (High-Frequency Regeneration) method.
  • the decoded low-frequency, band-limited signal is subjected to a non-linear device to obtain a signal enriched in harmonics.
  • This signal after bleaching and shaping based on information describing the spectral envelope of the full band signal before coding, allows the generation of a high frequency signal corresponding to the high frequency content of the signal before coding.
  • the core encoder and the band extension encoder distribute the bandwidth according to the suitable cut-off frequency.
  • This type of system is particularly interesting for coding audio signals.
  • Certain communication networks such as the Internet, wireless communication networks and the like do not guarantee perfect routing of data between the sender and the recipient. Certain data may thus never arrive at the recipient or arrive too late. By arriving too late, the recipient considers them lost. In these networks, the bandwidth available to route data also varies continuously and significantly.
  • the invention attempts to solve the drawbacks of the prior art by proposing a method for coding an audio signal, in which a part of the frequency spectrum of the audio signal is coded with a spectral band limiting coder known as the core coder and wherein the complementary part of the frequency spectrum of the audio signal is coded with an extension coder, characterized in that at least part of the spectrum coded with the core coder is also coded with the extension coder.
  • the invention proposes a device for coding an audio signal, in which a part of the frequency spectrum of the audio signal is coded with an encoder with limitation of spectral band called core coder and in which the complementary part of the frequency spectrum of the audio signal is coded with an extension coder, characterized in that it comprises means for coding at least part of the spectrum coded with the core coder with the extension coder.
  • the cut-off frequency of the core encoder can be adapted to the operating conditions of the core encoder. More particularly; the coded digital signal is transferred over a network and the or each determined frequency is transferred with the coded digital signal.
  • the decoder can process this information quickly by reading it in the coded digital signal.
  • the core coder is a hierarchical coder and for each coding layer, at least one cutoff frequency of each coding layer is determined.
  • the cut-off frequency of the core coder can be adapted to the operating conditions of the core coder. More precisely, from each coding layer of the coded digital signal is transferred over a network and the or each frequency determined for the layer is transferred with said layer.
  • the decoder has all of the information quickly. No particular processing of the decoded signal is then necessary. More precisely, the part of the spectrum coded with the core coder and the extension coder is determined.
  • the part of the audio signal coded by the two coders can change over time and take account, for example, of network conditions.
  • the part of the frequency spectrum of the audio signal coded with the core encoder is the lower part of the frequency spectrum of the audio signal.
  • the invention also relates to a method of spectral reconstruction of an audio signal encoded in the form of data, in which a part of the frequency spectrum of the audio signal is decoded with an encoder with limitation of spectral band called core encoder and in which the complementary part of the frequency spectrum of the audio signal is decoded with an extension decoder, characterized in that the method comprises:
  • the invention provides a device for spectral reconstruction of an audio signal encoded in the form of data, in which a part of the frequency spectrum of the audio signal is decoded with an encoder with limitation of spectral band called core encoder and in which the complementary part of the frequency spectrum of the audio signal is decoded with an extension encoder, characterized in that the device comprises:
  • the decoded signal will be of better quality, no spectral component of the signal is missing, the frequency spectrum decoded with the extension encoder being modified in accordance with the cut-off frequency of the signal decoded by the core encoder.
  • the part of the frequency spectrum of the audio signal decoded with a core decoder is the low part of the frequency spectrum of the audio signal.
  • the information representative of at least one cutoff frequency of the signal decoded by the core decoder is obtained by carrying out an estimation of the high cutoff frequency of the signal decoded by the core decoder.
  • the core decoder is a hierarchical decoder and information representative of the bandwidth of the signal decoded by the core decoder is obtained for each layer of the decoded signal.
  • the information representative of at least one cut-off frequency of the signal decoded by the core decoder is obtained from information included in the data stream comprising the coded digital signal.
  • the core decoder is a hierarchical decoder and information representative of the bandwidth of the signal decoded by the core decoder is obtained for each layer of the decoded signal.
  • the decoder can adapt the processing to each coding layer, the decoder has this information at each layer and can thus modify the frequency spectrum decoded with the extension decoder as a function of this information.
  • the invention proposes a data signal representative of an encoded audio signal, in which a part of the frequency spectrum of the audio signal is encoded with an encoder with limitation of spectral band called core encoder and in which the complementary part of the spectrum frequency of the audio signal is encoded with an extension encoder, characterized in that the signal comprises part of the spectrum encoded with the core encoder and with the extension encoder.
  • the signal also includes information representative of at least one cut-off frequency of the core encoder or of the extension encoder.
  • the invention also relates to the computer program stored on an information medium, said program comprising instructions making it possible to implement the processing method described above, when it is loaded and executed by a computer system.
  • Figs. la to ld represent the different frequency spectra of an audio signal coded with a core coder and an extension coder
  • Figs. the to lg represent the different frequency spectra of an audio signal transmitted over a network and decoded with a core decoder and an extension decoder
  • Figs. 2a to 2e represent the different frequency spectra of an audio signal coded with a hierarchical core coder and an extension coder
  • Figs. la to ld represent the different frequency spectra of an audio signal coded with a core coder and an extension coder
  • Figs. the to lg represent the different frequency spectra of an audio signal transmitted over a network and decoded with a core decoder and an extension decoder
  • Figs. 2a to 2e represent the different frequency spectra of an audio signal coded with a hierarchical core coder and an extension coder
  • 2f to 2i represent the different frequency spectra of an audio signal transmitted over a network and decoded with a hierarchical core decoder and an extension decoder;
  • Figs. 3a to 3c represent the different frequency spectra of an audio signal coded with a core coder and an extension coder according to the invention;
  • Figs. 3d to 3f represent the different frequency spectra of an audio signal transmitted over a network and decoded with a core decoder and an extension decoder according to the invention;
  • Fig. 4a represents a block diagram describing the coding device according to the invention
  • Fig. 4b represents a block diagram describing the main elements of a hierarchical core encoder
  • - Fig. 5 represents a block diagram describing the decoding device according to the invention
  • Fig. 6 shows according to the invention, the algorithm performed at the level of the coder
  • Fig. 7 shows according to the invention, the algorithm performed at the decoder.
  • Fig. 1a represents a frequency spectrum of an audio signal to be coded.
  • the low frequencies of the spectrum (FIG. 1b) are coded by a core coder, while the high frequencies are coded by a d coder. 'extension. This part of the high frequencies is represented in FIG. the.
  • Fig. the represents the frequency spectrum of an audio signal decoded with a core decoder, the coded audio signal having been transmitted over a network and certain data 10 have been lost.
  • This type of loss is particularly troublesome for the information coded by the core coder.
  • the absence of the data 10 constitutes a hole in the spectrum of the decoded frequencies and this hole creates significant noise disturbances such as hissing at the restitution of the sound signal.
  • the information encoded by the extension encoder is much more limited in number.
  • the frequency spectrum of an audio signal transmitted over a network and decoded with an extension decoder is considered to be correct. This is shown in Fig. If.
  • the reconstruction of the audio signal respectively by the core decoder and the extension decoder shows in FIG. lg a frequency spectrum comprising frequency components 10 which have disappeared. These disappeared frequency components 10 significantly tarnish the quality of reproduction of the audio signal.
  • Fig. 2a represents the frequency spectrum of the total audio signal to be coded by a hierarchical core coder and an extension coder.
  • a hierarchical core encoder will successively encode different sub-portions of the frequency spectrum of the audio signal to be encoded.
  • a first part of the spectrum for example the part containing the lowest frequency components, such as the spectrum shown in FIG. 2b, will be coded.
  • the first layer This is called the first layer.
  • Another part containing additional frequency components will be coded. It is the second layer, it is represented in FIG. 2c.
  • the information representative of the lowest frequencies is generally transmitted in the first layers.
  • the other layers are, for example, then transmitted in an order depending on the frequencies of the spectrum they represent.
  • some of the layers among the transmitted layers have a higher priority than others.
  • the layers comprising the lowest frequencies are regarded as priority
  • the layers comprising the highest frequencies are regarded as least priority.
  • the layers comprising the lowest frequencies are associated with high-performance error correcting codes, ensuring good decoding, therefore no transmission losses.
  • Fig. 2d represents the part of the spectrum allocated to the band extension coder, it is identical to that described in FIG. the.
  • FIG. 2e The cumulation of the three spectra of Figs. 2b, 2c and 2d then gives a total spectrum shown in FIG. 2e which is identical if not similar to the spectrum of FIG. 2a.
  • Figs. 2f and 2g represent the frequency spectra of an audio signal decoded with a hierarchical core decoder comprising two layers of hierarchy, the coded audio signal having been transmitted over a network and some of whose layers have been lost. During the transmission of the first layer, the spectrum equivalent to this layer was not marred by transmission errors, as shown in FIG. 2 F.
  • the spectrum equivalent to this layer comprises frequency components, 25 in FIG. 2g, absent.
  • the part of the spectrum allocated to the band extension coder is identical to that described in FIG. the. It is shown in Fig 2h.
  • the reconstruction of the audio signal respectively by the hierarchical core decoder and the extension decoder shows in FIG. 2i a frequency spectrum comprising frequency components 25 having disappeared.
  • Fig. 3a represents the frequency spectrum of the total audio signal to be coded by a core coder and an extension coder according to the invention.
  • the core encoder codes the low frequency components of the frequency spectrum of the audio signal, this is shown in FIG. 3b.
  • the extension decoder encodes not only the high frequency components of the frequency spectrum of the audio signal to be coded but also a part of the low frequency components which the core coder codes . These components are shown in Fig. 3c.
  • Fig. 3d represents the frequency spectrum of an audio signal decoded with a core decoder, the coded audio signal having been transmitted over a network and of which certain layers 31 have been lost.
  • An estimation of the bandwidth of the audio signal decoded by the core decoder is carried out, if it is different from that expected, the core decoder informs the decoder of extension of the missing bandwidth.
  • the extension decoder adapts the decoding so that the decoding also applies to the missing bandwidth.
  • the frequency spectrum equivalent to the coded information received by the extension decoder is shown. This spectrum is composed of the components 32, 33 and 34. If no transmission error linked to the variation in network bandwidth or transmission errors has occurred, the information corresponding to component 34 is sufficient for decoding.
  • the reconstruction of the audio signal respectively by the hierarchical core decoder and the extension decoder shows in FIG. 3f a frequency spectrum no longer comprising missing frequency components.
  • the decoded audio signal remains of quality.
  • Fig. 4a represents a block diagram describing the coding device according to the invention.
  • the coding device consists of an analog to digital converter 400 which converts the analog signal to be coded into a digital signal.
  • an analog to digital converter 400 which converts the analog signal to be coded into a digital signal.
  • the analog to digital converter is not necessary.
  • the digital signal is delivered to the core encoder which encodes this signal.
  • the core encoder is for example a bit rate reduction encoder as conforming to one of the MPEGl, MPEG2 or MPEG4-GA standards, or a CELP type encoder, a hierarchical encoder, or even a parametric MPEG4 encoder.
  • the output of the core encoder represents the signal data covering the frequency spectrum such as that shown in FIG. 3b.
  • the band extension encoder is for example an HFR (High Frequency) type encoder
  • the output of the band extension encoder represents the data of the signal envelope covering the frequency spectrum such as that shown in FIG. 3c.
  • a cutoff frequency adjustment module 402 is connected to the band extension coder 403 and to the core coder 401.
  • This module 402 defines the frequency spectrum that the extension coder takes into account for coding. This module 402 determines this spectrum as a function of the high cut-off frequency of the core encoder 401, and of a variable frequency band which allows the decoder according to the invention to be able to compensate for possible transmission losses.
  • variable frequency band is adjusted so as to guarantee the good signal redialing for layers without a robust error correction code.
  • the frequency spectrum of the core encoder 401 can be adjusted from the frequency spectrum of the extension encoder 403.
  • the module 402 defines the frequency spectrum as the core encoder
  • the coding device also comprises a multiplexer 404 which multiplexes the audio signals coded by the core coder 401 and by the extension coder 403.
  • the module 402 transfers to the multiplexer 404 the information representative of the passband of the core encoder 401 or its cut-off frequencies, or even of the low cut-off frequency of the extension encoder 403 so that these these are included in the transmitted data.
  • the inclusion is carried out in the case of a hierarchical coder for each coding layer.
  • Fig. 4b represents a block diagram describing the main elements of a hierarchical core encoder.
  • This hierarchical encoder can replace the encoder 401 previously described with reference to FIG. 4a.
  • a hierarchical core encoder usually subdivides the frequency spectrum to be encoded into different layers.
  • a layer represents a frequency band of the spectrum to be coded. The number of layers is variable and allows progressive transmission of the coded signal.
  • the coder is made up of a first coder 410 which codes the lowest part of the frequency spectrum of the original signal.
  • the coded information is transferred to a multiplexer 416 which transfers this data to the multiplexer 404.
  • module 402 transfers to the multiplexer 404 the information representative of the bandwidth of the core encoder 410 so that it is included in the data stream associated with this layer.
  • the coded information is also transferred to a decoder 411. This decoder decodes this information to then transmit it to a subtraction circuit 413 which will subtract from the original signal the decoded signal.
  • the original signal was previously delayed by a delay equal to the coding time of the encoder 410 and to the decoding time of the decoder 411.
  • the signal obtained at the output of the subtractor circuit is then the original signal in which the previously coded low frequency components have been removed to the nearest coding residue.
  • This signal is again encoded by an encoder 415 which can be of the same type as the encoder 410.
  • the frequency components of the signal are encoded greater than those encoded by the encoder 410.
  • the coded information is transferred to a multiplexer 416 which transfers this data to the multiplexer 404.
  • the module 402 transfers to the multiplexer 404 the information representative of the passband of the core coder 415 so that it is included in the data stream associated with this layer. It can also transfer the total number of coding layers, the high or low cut-off frequency of the 415 core encoder.
  • each encoder can be variable.
  • the invention is applicable for audio signals of monophonic, stereophonic or multichannel type.
  • the bandwidth information transmitted by the encoder can be transmitted in a conjugate manner or in a preferential mode, the bandwidth of each of the channels can be deduced from the other channels by differential coding.
  • Fig. 5 shows a block diagram describing the decoding device according to the invention.
  • the decoding device consists of a demultiplexer 510 which separates the signals received via the network 405 into data intended for the core decoder 511 and in data intended for the extension decoder 512. It also extracts received signals, the information representative of the bandwidth of the core coder 401 of the coding device, of the coders 410 and 415 if the signal has been coded with a hierarchical coder, or even of the low cut-off frequency of the extension coder 403 of the coding device if these have been included in the fields transmitted.
  • the core decoder 511 decodes the data to provide a decoded signal such as the signal shown in FIG. 3d.
  • the core decoder 511 is for example a decoder as conforming to one of the MPEGl, MPEG2 or MPEG4-GA standards, or a CELP type decoder, a hierarchical decoder, or even a parametric MPEG4 decoder.
  • the core decoder 511 comprises a module 511b for obtaining information representative of at least one cutoff frequency which estimates, according to a first embodiment, the frequency spectrum of the signal received by it.
  • the module 511b achieves this for example by carrying out a time-frequency transformation on the decoded signal and by determining the frequency from which the energy of the signal becomes negligible. Preferably, this can be done with the assistance of a perception model.
  • the decoder 511 more precisely its module 511b then transfers information representative of the cut-off frequency or of the bandwidth to the extension decoder 512.
  • the extension decoder 512 selects, from the representative information transmitted by the decoder 511, from the coded data which it has received from the multiplexer 510, the data corresponding to a representation of the spectral envelope greater than the determined frequency by the encoder 511. In this way, the losses linked to the transmission of the coded signal are compensated.
  • the core decoder 511 more precisely the module 511b for obtaining information representative of at least one cutoff frequency obtains from the demultiplexer 510, according to a second embodiment, the information representative of the passband of the core encoder 401 or of the coders 410 and 415 of the coding device, or even the number of layers of the coded signal, or even of the low cut-off frequency of the extension coder 403 of the coding device if these have been included in the transmitted data.
  • the module 511b checks, if it is a hierarchical decoder, if each layer is well received and if not transfers information representative of the bandwidth of one or more lost layers to the extension decoder 512.
  • the extension decoder 512 selects, from the representative information transmitted by the module 511b, from the coded data received from the multiplexer 510, the data corresponding to the signal envelope corresponding to a representation of the frequency spectral envelope higher than the lowest frequency corresponding to the lost frequency bands.
  • the extension decoder corrects the losses due to the network, whether on losses affecting the last layers received or losses affecting an intermediate layer.
  • the band extension decoder 512 is for example an HFR (High Frequency Regeneration) type decoder, for example an SBR (Spectral Band Replication) type decoder as described in the document "Audio Engineering Society, convention paper 5553", presented to the 112th AES convention by Mr. Martin Dietz. It should be noted that, as a variant, the extension decoder 512 decodes all of the information received. A selection from the decoded data is made so as to keep only those corresponding to a representation of the spectral envelope greater than the frequency determined by the coder 511.
  • HFR High Frequency Regeneration
  • SBR Spectral Band Replication
  • the envelope decoded by the extension decoder 512 or selected is transferred to a gain control module 515.
  • the signal decoded by the core decoder 511 is sent to a transposition module 513 which generates a signal in the high frequencies of the spectrum from the decoded low frequency signal.
  • This signal is introduced into the gain control module 515 in order to allow the adjustment of the high frequency signal envelope.
  • the adjusted envelope signal is then added to the signal decoded by the core decoder 511 with an adder 516.
  • the adder 516 can in a preferred mode favor certain frequency components by multiplying for example certain components by coefficients. It should be noted that the signal decoded by the core decoder 511 was previously delayed by a delay equal to the difference in processing time between the added signals. This delay is effected by the delay circuit 514.
  • the frequency spectrum of the signal obtained is thus similar to that of FIG. 3f.
  • the summation signal can then be converted into analog form using a digital to analog converter 517.
  • Fig. 6 shows the algorithm performed according to the invention at the level of the coder.
  • the invention as described with reference to Figs. above is also achievable in software form in which a processor executes the executable code associated with steps E1 to E7 of the algorithm of FIG. 6.
  • the processor When the coding device is switched on, and more particularly when a computer is used as a coding device, the processor reads from the computer's read-only memory or from a storage medium. information such as a CD-ROM compact disc, the program instructions corresponding to steps E1 to E7 of FIG. 6 and loads them into RAM memory to execute them.
  • step E1 on receiving audio data to be coded, the processor determines the bandwidth of the core coder or at least one cutoff frequency.
  • the bandwidth of the core encoder may or may not be variable over time depending for example on the load of the core encoder.
  • the processor codes the data according to a so-called core coding algorithm conforming to one of the MPEG1, MPEG2 or MPEG4-GA standards, or of CELP type, of hierarchical type, or even of parametric MPEG4 type.
  • Step E2 consists in checking whether, and in the case of a hierarchical coding, all the layers have been coded or not. If not, and if the core coding is a hierarchical coding, the processor repeats step E1 for each layer of the coded audio signal.
  • step E3 the processor determines a frequency margin.
  • This margin can be predetermined and stored in a register or be in the form of a variable. This variable depends for example on the type of error correction that will be applied to the coded data during their transmission over the network.
  • step E4 the processor determines in step E4, from the margin and the high cutoff frequency of the core encoder, the low cutoff frequency of the extension encoder.
  • the processor transfers this information to the extension coding subroutine in step E5.
  • the processor stores this information.
  • the processor in step E7, performs extension coding by encoding the data whose spectrum is greater than the information transferred in step E5.
  • the band extension coding is for example an HFR (High Frequency Regeneration) type coding, for example SBR (Spectral Band Replication) as described in the document "Audio Engineering Society, convention paper 5553", presented to the 112th convention. AES by Mr Martin Dietz.
  • step E7 which consists in multiplexing the audio signals coded in step E1 and the audio signals coded in step E7 to form a stream of coded data transmitted over a network.
  • the processor inserts into the stream of coded and transmitted data, the information stored in step E6 or inserts one or more of the following information: bandwidth of the core encoder, bandwidth of the encoder extension, low and high frequency of each coding layer, number of coding layers if a hierarchical coder is used.
  • the insertion is carried out in the case of a hierarchical coder for each coding layer.
  • step E1 awaiting new audio data to be coded.
  • Fig. 7 shows the algorithm performed according to the invention at the level of the decoder.
  • the invention as described with reference to Figs. above is also achievable in software form in which a processor executes the code associated with steps El 0 to El 5 of the algorithm of FIG. 7.
  • the processor When the receiving device is switched on, and more particularly when a computer is used as a receiving device, the processor reads from the computer's read-only memory or from an information medium. such as a compact disc CD-ROM, the program instructions corresponding to the steps
  • the processor on receiving audio data to be decoded, separates the signals received via the network 405 into data intended for the core decoder and data intended for the extension decoder. It also extracts from the signals received, the information representative of the bandwidth or of at least one cutoff frequency of the core coder having coded the audio signal, or of coders having coded the audio signal if the signal has been coded with an coder hierarchical, or even the low cut-off frequency of the extension coder that coded the audio signal if these have been included in the transmitted data.
  • step El i the processor then proceeds to decode this data.
  • the processor proceeds to the decoding of the data according to a decoding algorithm called core decoding algorithm such as conforming to one of the MPEGl, MPEG2 or MPEG4-GA standards, or of CELP type, a hierarchical decoding, or even a decoding of parametric MPEG4 type .
  • core decoding algorithm such as conforming to one of the MPEGl, MPEG2 or MPEG4-GA standards, or of CELP type, a hierarchical decoding, or even a decoding of parametric MPEG4 type .
  • step E12 is a step of obtaining information representative of at least one cutoff frequency which estimates, according to a first embodiment, the frequency spectrum of the signal received by him. This is achieved for example by carrying out a time-frequency transformation on the signal decoded in step El i and by determining the frequency from which the energy of the signal becomes negligible. Preferably, this can be done with the assistance of a perception model.
  • the processor obtains the information extracted in step E1 and checks, in the case where this is a hierarchical decoder, if each layer is well received and if not transfers information representative of the bandwidth one or more layers lost to the extension decoder.
  • step El 3 consists in adapting the low cut-off frequency of the extension decoder so that it compensates for the losses due to the network.
  • the adaptation is carried out on the basis of the information representative of the cut-off frequency or of the bandwidth obtained in step E12 or if the decoding of step El i is a hierarchical decoding of the information representative of the band frequency or cutoff frequency of one or more lost layers.
  • step El 4 decodes, according to a so-called extension decoding algorithm, the data corresponding to the frequencies above this low cut-off frequency previously determined.
  • the processor selects, from the adapted frequency, from the data separated in step E1 and intended for extension decoding, the data corresponding to the signal envelope corresponding to a representation of the spectral envelope of the frequencies greater than the lowest frequency corresponding to the lost frequency bands.
  • the extension decoding corrects the losses due to the network, whether on losses affecting the last layers received or losses affecting an intermediate layer.
  • Extension decoding is a band extension decoding algorithm, for example HFR (High Frequency Regeneration) type decoding, for example SBR (Spectral Band Replication) type decoding as described in the document.
  • HFR High Frequency Regeneration
  • SBR Spectrum Band Replication
  • step El 5 the data decoded by the core decoder and the extension decoder are added to form the audio signal decoded in step El 5.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)

Description

Procédé et dispositif de reconstruction spectrale d'un signal audio
La présente invention concerne un procédé et un dispositif de codage et de décodage d'un signal audio employant des techniques de reconstruction de spectre.
Plus particulièrement, l'invention se situe dans l'amélioration du décodage d'un signal audio codé par un codeur à limitation de bande spectrale, dit codeur cœur. Dans l'état de la technique de la transmission de signaux audio, il est bien connu de procéder, avant la transmission, à une opération de codage d'un signal original. Le signal reçu subit quant à lui une opération inverse de décodage. Ce codage peut être un codage à réduction de débit. Des codeurs à réduction de débit connus sont par exemple les codeurs de type par transformée tels que les codeurs MPEG1, MPEG2 ou MPEG4-GA, les codeurs de type CELP et même des codeurs de type paramétrique, comme un codeur de type MPEG4 paramétrique.
En codage audio à réduction de débit, le signal audio doit souvent subir une limitation de bande passante lorsque le débit binaire devient faible. Cette limitation de bande passante est nécessaire pour éviter l'introduction de bruit de quantification audible dans le signal codé. Il est alors souhaitable de compléter dans la mesure du possible le contenu spectral complet du signal original.
L'élargissement de bande est connu de l'état de la technique, comme par exemple, la méthode d'élargissement spectral connue sous le nom de méthode HFR (High-Frequency Régénération). Le signal basse fréquence décodé, à bande limitée, est soumis à un dispositif non linéaire pour obtenir un signal enrichi en harmoniques. Ce signal, après blanchiment et mise en forme fondée sur une information décrivant l'enveloppe spectrale du signal pleine bande avant codage, permet la génération d'un signal haute fréquence correspondant au contenu haute fréquence du signal avant codage.
Sont aussi connus les systèmes de codage audio numérique qui utilisent des techniques de reconstruction de spectre hautes fréquences au niveau du codeur ainsi qu'au niveau du décodeur.
Ces systèmes effectuent une adaptation dans le temps de la fréquence de coupure entre la bande de fréquence basse codée par un codeur, dit codeur cœur, et la bande de fréquence haute codée par un système HFR, dit codeur d'extension de bande.
Dans ce cas, le codeur cœur et le codeur d'extension de bande se répartissent la bande passante en fonction de la fréquence de coupure adaptée.
Ce type de système est particulièrement intéressant pour le codage des signaux audio. Certains réseaux de communication tels que le réseau Internet, les réseaux de communication sans fils et autres ne garantissent pas un parfait acheminement des données entre l'émetteur et le destinataire. Certaines données peuvent ainsi ne jamais arriver au destinataire ou arriver trop tard à celui-ci. En arrivant trop tard, le destinataire les considère comme perdues. Dans ces réseaux, la bande passante disponible pour acheminer les données varie aussi en permanence et de façon importante.
Dans d'autres réseaux, tels que les réseaux hertziens, certaines des données parmi les données transmises ont un caractère plus prioritaire que d'autres. A celles-ci sont associés des codes correcteurs d'erreurs performants, assurant un bon décodage, donc pas de pertes de transmission. D'autres par contre, sont moins importantes et des codes correcteurs d'erreurs moins performants, voire pas, leur sont associés. Ces dernières sont soumises aux aléas du réseau et le décodage risque de ne pas être réalisable.
Dans certains systèmes de codage tels que ceux utilisés dans la norme MPEG4, il se peut, suite à des erreurs de transmission, que l'on ne puisse plus décoder le signal d'une certaine bande de fréquence du spectre du signal codé, ces composantes fréquentielles sont alors perdues.
Ainsi, même si le codage du signal audio a été effectué de la meilleure façon, le décodage de signaux transmis sur de tels réseaux comporte un certain nombre de défauts liés à ces réseaux.
L'invention tente de résoudre les inconvénients de l'art antérieur en proposant un procédé de codage d'un signal audio, dans lequel une partie du spectre de fréquence du signal audio est codée avec un codeur à limitation de bande spectrale dit codeur cœur et dans lequel la partie complémentaire du spectre de fréquence du signal audio est codée avec un codeur d'extension, caractérisé en ce qu'au moins une partie du spectre codé avec le codeur cœur est aussi codée avec le codeur d'extension.
Ainsi, au moins une partie du signal audio est codée par les deux codeurs, ce qui garantit une bonne réception du signal, même si celui-ci transite à travers un réseau dans lequel certaines données peuvent être perdues ou peuvent être erronées. Corrélativement, l'invention propose un dispositif de codage d'un signal audio, dans lequel une partie du spectre de fréquence du signal audio est codée avec un codeur à limitation de bande spectrale dit codeur cœur et dans lequel la partie complémentaire du spectre de fréquence du signal audio est codée avec un codeur d'extension, caractérisé en ce qu'il comporte des moyens pour coder au moins une partie du spectre codée avec le codeur cœur avec le codeur d'extension.
Plus précisément, une détermination d'au moins une fréquence de coupure du codeur cœur est effectuée.
Ainsi, la fréquence de coupure du codeur cœur peut être adaptée aux conditions de fonctionnement du codeur cœur. Plus particulièrement;, le signal numérique codé est transféré sur un réseau et la ou chaque fréquence déterminée est transférée avec le signal numérique codé.
Ainsi, le décodeur peut traiter cette information rapidement en la lisant dans le signal numérique codé. Plus particulièrement, le codeur cœur est un codeur hiérarchique et pour chaque couche de codage, au moins une fréquence de coupure de chaque couche de codage est déterminée.
Ainsi, pour chaque couche de codage du codeur cœur, la fréquence de coupure du codeur cœur peut être adaptée aux conditions de fonctionnement du codeur cœur. Plus précisément, de chaque couche de codage du signal numérique codé est transférée sur un réseau et la ou chaque fréquence déterminée pour la couche est transférée avec ladite couche.
Ainsi, le décodeur dispose de la totalité des informations de façon rapide. Aucun traitement particulier du signal décodé n'est alors nécessaire. Plus précisément, on détermine la partie du spectre codée avec le codeur cœur et le codeur d'extension.
Ainsi, la partie du signal audio codée par les deux codeurs peut évoluer dans le temps et tenir par exemple compte des conditions du réseau.
Plus précisément, la partie du spectre de fréquence du signal audio codée avec le codeur cœur est la partie basse du spectre de fréquence du signal audio.
L'invention concerne aussi un procédé de reconstruction spectrale d'un signal audio codé sous la forme de données, dans lequel une partie du spectre de fréquence du signai audio est décodée avec un codeur à limitation de bande spectrale dit codeur cœur et dans lequel la partie complémentaire du spectre de fréquence du signal audio est décodée avec un décodeur d'extension, caractérisé en ce que le procédé comporte :
- une étape d'obtention d'informations représentatives d'au moins une fréquence de coupure du signal décodé par le décodeur cœur,
- une étape de sélection, parmi les données à décoder ou décodées avec le décodeur d'extension, de données pertinentes pour le décodage en fonction des informations obtenues. Corrélativement, l'invention propose un dispositif de reconstruction spectrale d'un signal audio codé sous la forme de données, dans lequel une partie du spectre de fréquence du signal audio est décodée avec un codeur à limitation de bande spectrale dit codeur cœur et dans lequel la partie complémentaire du spectre de fréquence du signal audio est décodée avec un codeur d'extension, caractérisé en ce que le dispositif comporte :
- des moyens d'obtention d'informations représentatives d'au moins une fréquence de coupure du signal décodé par le décodeur cœur,
- des moyens de sélection, parmi les données à décoder ou décodées avec le décodeur d'extension, de données pertinentes pour le décodage en fonction des informations obtenues.
Ainsi, le signal décodé va être de meilleure qualité, aucune composante spectrale du signal ne manque, le spectre en fréquence décodé avec le codeur d'extension étant modifié conformément à la fréquence de coupure du signal décodé par le codeur cœur.
Plus particulièrement, la partie du spectre de fréquence du signal audio décodée avec un décodeur cœur est la partie basse du spectre en fréquence du signal audio.
Avantageusement, les informations représentatives d'au moins une fréquence de coupure du signal décodé par le décodeur cœur sont obtenues en effectuant une estimation de la fréquence de coupure haute du signal décodé par le décodeur cœur.
Ainsi, il n'est pas nécessaire d'inclure d'informations supplémentaires dans le signal codé et transmis, moins d'informations transitent sur le réseau.
Plus particulièrement, le décodeur cœur est un décodeur hiérarchique et on obtient des informations représentatives de la bande passante du signal décodé par le décodeur cœur pour chaque couche du signal décodé.
Avantageusement, les informations représentatives d'au moins une fréquence de coupure du signal décodé par le décodeur cœur sont obtenues à partir d'informations incluses dans le flot de données comprenant le signal numérique codé.
Ainsi, la rapidité de traitement au niveau du décodeur est augmentée, tout en simplifiant celui-ci. Plus particulièrement, le décodeur cœur est un décodeur hiérarchique et on obtient des informations représentatives de la bande passante du signal décodé par le décodeur cœur pour chaque couche du signal décodé.
Ainsi, le décodeur peut adapter le traitement à chaque couche de codage, le décodeur dispose de cette information à chaque couche et peut ainsi modifier le spectre en fréquence décodé avec le décodeur d'extension en fonction de ces informations.
Corrélativement, l'invention propose un signal de données représentatives d'un signal audio codé, dans lequel une partie du spectre de fréquence du signal audio est codée avec un codeur à limitation de bande spectrale dit codeur cœur et dans lequel la partie complémentaire du spectre de fréquence du signal audio est codée avec un codeur d'extension, caractérisé en ce que le signal comporte une partie du spectre codée avec le codeur cœur et avec le codeur d'extension.
Avantageusement, le signal comporte en outre une information représentative d'au moins une fréquence de coupure du codeur cœur ou du codeur d'extension.
L'invention concerne aussi le programme d'ordinateur stocké sur un support d'informations, ledit programme comportant des instructions permettant de mettre en œuvre le procédé de traitement précédemment décrit, lorsqu'il est chargé et exécuté par un système informatique.
Les caractéristiques de l'invention mentionnées ci-dessus, ainsi que d'autres, apparaîtront plus clairement à la lecture de la description suivante d'un exemple de réalisation, ladite description étant faite en relation avec les dessins joints, parmi lesquels: - les Figs. la à ld représentent les différents spectres en fréquence d'un signal audio codé avec un codeur cœur et un codeur d'extension ; les Figs. le à lg représentent les différents spectres en fréquence d'un signal audio transmis sur un réseau et décodé avec un décodeur cœur et un décodeur d'extension ; les Figs. 2a à 2e représentent les différents spectres en fréquence d'un signal audio codé avec un codeur cœur hiérarchique et un codeur d'extension ; les Figs. 2f à 2i représentent les différents spectres en fréquence d'un signal audio transmis sur un réseau et décodé avec un décodeur cœur hiérarchique et un décodeur d'extension ; les Figs. 3a à 3c représentent les différents spectres en fréquence d'un signal audio codé avec un codeur cœur et un codeur d'extension selon l'invention; les Figs. 3d à 3f représentent les différents spectres en fréquence d'un signal audio transmis sur un réseau et décodé avec un décodeur cœur et un décodeur d'extension selon l'invention;
La Fig. 4a représente un schéma bloc décrivant le dispositif de codage selon l'invention ; la Fig. 4b représente un schéma bloc décrivant les principaux éléments d'un codeur hiérarchique cœur ; - La Fig. 5 représente un schéma bloc décrivant le dispositif de décodage selon l'invention,
La Fig. 6 représente selon l'invention, l'algorithme effectué au niveau du codeur ;
La Fig. 7 représente selon l'invention, l'algorithme effectué au niveau du décodeur.
La Fig. la représente un spectre en fréquence d'un signal audio devant être codé. Conformément aux codeurs utilisant des combinaisons de codeurs tels que l'association codeur cœur/codeur d'extension, les fréquences basses du spectre (Fig. lb), sont codées par un codeur cœur, tandis que les fréquences hautes sont codées par un codeur d'extension. Cette partie des fréquences hautes est représentée en Fig. le.
Le cumul des fréquences hautes et basses donne alors un spectre total représenté en Fig. ld qui est identique sinon similaire au spectre de la Fig. la. Lorsqu'un tel signal audio codé est transmis sur un réseau, certaines domiées parmi l'ensemble des données transmises sont perdues.
Ce qui est par exemple le cas de certains systèmes de codage tels que ceux utilisés dans la norme MPEG4. Suite à des erreurs de transmission, il n'est plus possible de décoder le signal à partir d'une certaine fréquence du spectre du signal codé. Les informations représentatives des composantes du spectre en fréquence supérieur à cette fréquence sont alors considérées comme perdues.
La Fig. le représente le spectre en fréquence d'un signal audio décodé avec un décodeur cœur, le signal audio codé ayant été transmis sur un réseau et certaines données 10 ont été perdues.
Ce type de perte est particulièrement gênant pour les informations codées par le codeur cœur. L 'absence des données 10 constitue un trou dans le spectre des fréquences décodées et ce trou crée des nuisances sonores importantes telles que des sifflements à de la restitution du signal sonore. Les informations codées par le codeur d'extension sont beaucoup plus limitées quant à leur nombre.
Elles sont soit incluses avec les données codées par le codeur cœur, soit transmises de manière indépendante.
Dans notre exemple, le spectre en fréquence d'un signal audio transmis sur un réseau et décodé avec un décodeur d'extension est considéré comme correct. Ceci est représenté à la Fig. If.
La reconstruction du signal audio respectivement par le décodeur cœur et le décodeur d'extension fait apparaître en Fig. lg un spectre en fréquence comportant des composantes fréquentielles 10 ayant disparues. Ces composantes fréquentielles disparues 10 entachent de façon importante la qualité de reproduction du signal audio.
La Fig. 2a représente le spectre en fréquence du signal audio total devant être codé par un codeur cœur hiérarchique et un codeur d'extension.
Un codeur cœur hiérarchique va coder successivement différentes sous-parties du spectre en fréquence du signal audio à coder. Une première partie du spectre, par exemple la partie contenant les composantes fréquentielles les plus basses, telle que le spectre représenté en Fig. 2b, va être codée.
Celle-ci est appelée la première couche. Ensuite, une autre partie contenant des composantes fréquentielles additionnelles va être codée. C'est la seconde couche, elle est représentée à la Fig. 2c.
Ainsi, dans de tels systèmes de transmission de données audio, les informations représentatives des fréquences les plus basses sont généralement transmises dans les premières couches. Les autres couches sont, par exemple, transmises alors dans un ordre fonction des fréquences du spectre qu'elles représentent. Dans les réseaux de diffusion de données de type hertzien, certaines des couches parmi les couches transmises ont un caractère plus prioritaire que d'autres. En général, les couches comportant les fréquences les plus basses sont considérées comme prioritaires, les couches comportant les fréquences les plus hautes sont considérées comme les moins prioritaires. Aux couches comportant les fréquences les plus basses, sont associés des codes correcteurs d'erreurs performants, assurant un bon décodage, donc pas de pertes de transmission.
Des codes correcteurs d'erreurs moins performants sont associés aux couches comportant les fréquences les plus hautes. Ces dernières sont soumises aux aléas du réseau et le décodage risque de ne pas être réalisable.
La Fig. 2d représente la partie du spectre allouée au codeur d'extension de bande, elle est identique à celle décrite en Fig. le.
Le cumul des trois spectres des Figs. 2b, 2c et 2d donne alors un spectre total représenté en Fig. 2e qui est identique sinon similaire au spectre de la Fig. 2a. Les Figs. 2f et 2g représentent les spectres en fréquence d'un signal audio décodé avec un décodeur cœur hiérarchique comportant deux couches de hiérarchie, le signal audio codé ayant été transmis sur un réseau et dont certaines couches ont été perdues. Lors de la transmission de la première couche, le spectre équivalent à cette couche n'a pas été entaché d'erreurs de transmission, comme cela est représenté à la Fig. 2f.
Des données ont été perdues lors de la transmission de la seconde couche, le spectre équivalent à cette couche comporte des composantes fréquentielles, 25 à la Fig. 2g, absentes.
La partie du spectre allouée au codeur d'extension de bande est identique à celle décrite en Fig. le. Elle est représentée à la Fig 2h.
Ainsi, la reconstruction du signal audio respectivement par le décodeur hiérarchique cœur et le décodeur d'extension fait apparaître en Fig. 2i un spectre en fréquence comportant des composantes fréquentielles 25 ayant disparues.
La Fig. 3a représente le spectre en fréquence du signal audio total devant être codé par un codeur cœur et un codeur d'extension selon l'invention.
Le codeur cœur code les composantes basses fréquences du spectre en fréquence du signal audio, ceci est représenté à la Fig. 3b.
Contrairement à l'état de la technique, et selon l'invention, le décodeur d'extension code non seulement les composantes hautes fréquences du spectre en fréquence du signal audio à coder mais aussi une partie 30 des composantes basses fréquences que le codeur cœur code. Ces composantes sont représentées à la Fig. 3c. La Fig. 3d représente le spectre en fréquence d'un signal audio décodé avec un décodeur cœur, le signal audio codé ayant été transmis sur un réseau et dont certaines couches 31 ont été perdues.
Une estimation de la bande passante du signal audio décodé par le décodeur cœur est effectuée, s'il celle-ci est différente de celle attendue, le décodeur cœur informe le décodeur d'extension de la bande passante manquante .
Le décodeur d'extension, avec cette information, adapte le décodage de manière à ce que le décodage s'applique aussi à la bande passante manquante.
En Fig 3 e, est représenté le spectre en fréquence équivalent aux informations codées reçues par le décodeur d'extension. Ce spectre est composé des composantes 32, 33 et 34. Si aucune erreur de transmission liée à la variation de bande passante du réseau ou d'erreurs de transmission n'est arrivée, les informations correspondant à la composante 34 suffisent au décodage.
Si la bande passante du réseau a varié ou des erreurs de transmission sont arrivées de façon telle que la composante 31 de la Fig. 3d est perdue, les informations correspondant aux composantes 33 et 34 sont nécessaires au décodage.
Ainsi, la reconstruction du signal audio respectivement par le décodeur hiérarchique cœur et le décodeur d'extension fait apparaître en Fig. 3f un spectre en fréquence ne comportant plus de composantes fréquentielles manquantes. Ainsi, même lorsque le réseau comporte des variations importantes de bande passante, le signal audio décodé reste de qualité.
La Fig. 4a représente un schéma bloc décrivant le dispositif de codage selon l'invention.
Le dispositif de codage est constitué d'un convertisseur analogique numérique 400 qui convertit le signal analogique à coder en un signal numérique. Bien entendu, si les données sont déjà sous forme numérique, le convertisseur analogique numérique n'est pas nécessaire.
Le signal numérique est délivré au codeur cœur qui encode ce signal. Le codeur cœur est par exemple un codeur à réduction de débit tel que conforme à l'un des standards MPEGl, MPEG2 ou MPEG4-GA, ou un codeur de type CELP, un codeur hiérarchique, voire même un codeur MPEG4 paramétrique.
La sortie du codeur cœur représente les données du signal couvrant le spectre en fréquence tel que celui représenté en Fig. 3b.
Ce même signal numérique est délivré au codeur d'extension de bande 403. Le codeur d'extension de bande est par exemple un codeur de type HFR (High Frequency
Régénération), par exemple SBR (Spectral Band Replication) tel que décrit dans le document « Audio Engineering Society, convention paper 5553 », présenté à la
112ieme convention AES par Mr Martin Dietz.
La sortie du codeur d'extension de bande représente les données de l'enveloppe du signal couvrant le spectre en fréquence tel que celui représenté en Fig. 3c. Un module d'ajustement de fréquence de coupure 402 est relié au codeur d'extension de bande 403 et au codeur cœur 401.
Ce module 402 définit le spectre en fréquence que le codeur d'extension prend en compte pour le codage. Ce module 402 détermine ce spectre en fonction de la fréquence de coupure haute du codeur cœur 401, et d'une bande de fréquence variable qui permet au décodeur selon l'invention de pouvoir palier aux possibles pertes de transmission.
Par exemple, dans le cas de l'utilisation d'un codeur hiérarchique et d'une transmission avec des codes correcteurs d'erreurs dont la robustesse est variable selon les couches transmises, la bande de fréquence variable est ajustée de manière à garantir la bonne recomposition du signal pour les couches ne disposant pas d'un code correcteur d'erreurs robuste.
Il est à remarquer que dans une variante, le spectre en fréquence du codeur cœur 401 peut être ajusté à partir du spectre en fréquence du codeur d'extension 403. Dans ce cas, le module 402 définit le spectre en fréquence que le codeur cœur
401 prend en compte pour le codage. Ce module 402 définit ce spectre en fonction de la fréquence de coupure basse du codeur d'extension 403 et d'une bande de fréquence variable qui permet au décodeur selon l'invention de pouvoir pallier aux possibles pertes de transmission. Le dispositif de codage comporte aussi un multiplexeur 404 qui multiplexe les signaux audio codés par le codeur cœur 401 et par le codeur d'extension 403.
Selon une variante de l'invention, le module 402 transfère au multiplexeur 404 les informations représentatives de la bande passante du codeur cœur 401 ou ses fréquences de coupures, voire même de la fréquence de coupure basse du codeur d'extension 403 pour que celles-ci soient inclues dans les données transmises.
L'inclusion est effectuée dans le cas d'un codeur hiérarchique pour chaque couche de codage.
Les données multiplexées sont alors transférées à un module de transmission réseau qui, par exemple dans le cas d'une transmission hertzienne, applique des codes correcteurs d'erreurs aux données multiplexées et transmet celles-ci sur le réseau 405. La Fig. 4b représente un schéma bloc décrivant les principaux éléments d'un codeur hiérarchique cœur.
Ce codeur hiérarchique peut remplacer le codeur 401 précédemment décrit en référence à la Fig. 4a. Un codeur hiérarchique cœur subdivise habituellement le spectre de fréquence à coder en différentes couches. Une couche représente une bande de fréquence du spectre à coder. Le nombre de couches est variable et permet une transmission progressive du signal codé.
Dans un souci de simplicité, seulement deux couches sont représentées ici. Le codeur est constimé d'un premier codeur 410 qui code la partie la plus basse du spectre en fréquence du signal original.
Les informations codées sont transférées à un multiplexeur 416 qui transfère ces données au multiplexeur 404.
Il est à remarquer que le module 402 précédemment décrit transfère au multiplexeur 404 les informations représentatives de la bande passante du codeur cœur 410 pour que celles-ci soient inclues dans le flot de données associé à cette couche.
Ceci constitue alors la première couche du signal codé.
Les informations codées sont aussi transférées à un décodeur 411. Ce décodeur décode ces informations pour ensuite les transmettre à un circuit de soustraction 413 qui va soustraire du signal original le signal décodé.
Il est à remarquer que le signal original a été précédemment retardé d'un délai égal au temps de codage du codeur 410 et au temps de décodage du décodeur 411.
Le signal obtenu en sortie du circuit soustracteur est alors le signal original dans lequel les composantes basses fréquences précédemment codées ont été enlevées au résidu de codage près.
Ce signal est de nouveau codé par un codeur 415 pouvant être de même type que le codeur 410. Ici, sont codées les composantes fréquentielles du signal supérieures à celles codées par le codeur 410. Les informations codées sont transférées à un multiplexeur 416 qui transfère ces données au multiplexeur 404.
Il est à remarquer que le module 402 précédemment décrit transfère au multiplexeur 404 les informations représentatives de la bande passante du codeur cœur 415 pour que celles-ci soient incluses dans le flot de données associé à cette couche. Il peut aussi transférer le nombre total de couches de codage, la fréquence de coupure haute ou basse du codeur cœur 415.
Ceci constitue alors la seconde couche du signal codé.
Il est à remarquer que si l'on désire augmenter le nombre de couches, les éléments 410, 411, 413 et 414 devront être dupliqués pour chaque couche supplémentaire.
Il est aussi à remarquer que le spectre de fréquence traité par chaque codeur peut être variable.
Il est à remarquer aussi que l'invention est applicable pour les signaux audio de type monophonique, stéréophonique ou multivoie.
Dans le cas de signaux multivoie, les informations de bande passante transmises par le codeur peuvent être transmises de manière conjuguée ou dans un mode préférentiel, la bande passante de chacune des voies peut être déduite des autres voies par un codage différentiel. La Fig. 5 représente un schéma bloc décrivant le dispositif de décodage selon l'invention.
Le dispositif de décodage est constitué d'un démultiplexeur 510 qui sépare les signaux reçus par l'intermédiaire du réseau 405 en données destinées au décodeur cœur 511 et en données destinées au décodeur d'extension 512. Il extrait en outre des signaux reçus, les informations représentatives de la bande passante du codeur cœur 401 du dispositif de codage, des codeurs 410 et 415 si le signal a été codé avec un codeur hiérarchique, voire même de la fréquence de coupure basse du codeur d'extension 403 du dispositif de codage si celles-ci ont été incluses dans les dom ées transmises. Le décodeur cœur 511 décode les données pour fournir un signal décodé tel que le signal représenté à la Fig. 3d.
Le décodeur cœur 511 est par exemple un décodeur tel que conforme à l'un des standards MPEGl, MPEG2 ou MPEG4-GA, ou un décodeur de type CELP, un décodeur hiérarchique, voire même un décodeur MPEG4 paramétrique.
Le décodeur cœur 511 comporte un module 511b d'obtention d'informations représentatives d'au moins une fréquence de coupure qui estime, selon un premier mode de réalisation, le spectre en fréquence du signal reçu par celui-ci. Le module 511b le réalise par exemple en effectuant une transformation temps fréquence sur le signal décodé et en déterminant la fréquence à partir de laquelle l'énergie du signal devient négligeable. Préférablement, ceci peut s'effectuer avec l'assistance d'un modèle de perception.
Le décodeur 511, plus précisément son module 511b transfère ensuite une information représentative de la fréquence de coupure ou de la bande passante au décodeur d'extension 512.
Le décodeur d'extension 512 sélectionne, à partir de l'information représentative transmise par le décodeur 511, parmi les données codées qu'il a reçues du multiplexeur 510, les données correspondant à une représentation de l'enveloppe spectrale supérieure à la fréquence déterminée par le codeur 511. De cette façon, les pertes liées à la transmission du signal codé sont compensées.
Le décodeur cœur 511, plus précisément le module 511b d'obtention d'informations représentatives d'au moins une fréquence de coupure obtient du démultiplexeur 510, selon un second mode de réalisation, les informations représentatives de la bande passante du codeur cœur 401 ou des codeurs 410 et 415 du dispositif de codage, voire le nombre de couches du signal codé, voire même de la fréquence de coupure basse du codeur d'extension 403 du dispositif de codage si celles-ci ont été incluses dans les données transmises.
A partir de ces données obtenues, le module 511b vérifie, dans le cas où celui-ci est un décodeur hiérarchique, si chaque couche est bien reçue et dans la négative transfère une information représentative de la bande passante d'une ou des couches perdues au décodeur d'extension 512.
Le décodeur d'extension 512 sélectionne, à partir de l'information représentative transmise par le module 511b, parmi les données codées reçues du multiplexeur 510, les données correspondant à l'enveloppe du signal correspondant à une représentation de l'enveloppe spectrale des fréquences supérieures à la fréquence la plus basse correspondant aux bandes de fréquences perdues.
Ainsi, le décodeur d'extension corrige les pertes dues au réseau que ce soit sur des pertes affectant les dernières couches reçues ou des pertes affectant une couche intermédiaire.
Le décodeur d'extension de bande 512 est par exemple un décodeur de type HFR (High Frequency Régénération), par exemple un décodeur de type SBR (Spectral Band Replication) tel que décrit dans le document « Audio Engineering Society, convention paper 5553 », présenté à la 112ieme convention AES par Mr Martin Dietz. II est à remarquer qu'en variante, le décodeur d'extension 512 décode la totalité des informations reçues. Une sélection parmi les données décodées est effectuée de manière à ne garder que celles correspondant à une représentation de l'enveloppe spectrale supérieure à la fréquence déterminée par le codeur 511.
L'enveloppe décodée par le décodeur d'extension 512 ou sélectionnée est transférée à un module de contrôle de gain 515.
Le signal décodé par le décodeur cœur 511 est envoyé à un module de transposition 513 qui génère un signal dans les hautes fréquences du spectre à partir du signal décodé basse fréquence.
Ce signal est introduit dans le module de contrôle de gain 515 afin de permettre l'ajustement de l'enveloppe de signal haute fréquence.
Le signal d'enveloppe ajusté est ensuite additionné au signal décodé par le décodeur cœur 511 avec un additionneur 516.
L'additionneur 516 peut dans un mode préféré favoriser certaines composantes fréquences en multipliant par exemple certaines composantes par des coefficients. Il est à remarquer que le signal décodé par le décodeur cœur 511 a été préalablement retardé d'un délai égal à la différence de temps de traitement entre les signaux additionnés. Ce retard est effectué par le circuit de retard 514.
Le spectre en fréquence du signal obtenu est ainsi similaire à celui de la Fig. 3f. Le signal de sommation peut être ensuite converti sous forme analogique à l'aide d'un convertisseur numérique analogique 517.
La Fig. 6 représente l'algorithme effectué selon l'invention au niveau du codeur. L'invention telle que décrite en référence aux Figs. précédentes est aussi réalisable sous forme logicielle dans laquelle un processeur exécute le code exécutable associé aux étapes El à E7 de l'algorithme de la Fig. 6.
A la mise sous tension du dispositif de codage, et plus particulièrement dans le cas d'une utilisation d'un ordinateur comme dispositif de codage, le processeur, lit à partir de la mémoire morte de l'ordinateur ou d'un support d'informations tel qu'un disque compact CD-ROM, les instructions du programme correspondant aux étapes El à E7 de la Fig. 6 et les charge en mémoire vive RAM pour les exécuter.
A l'étape El, à la réception de données audio à coder, le processeur détermine la bande passante du codeur cœur ou au moins une fréquence de coupure.
Il est à remarquer que la bande passante du codeur cœur peut ou pas être variable dans le temps en fonction par exemple de la charge du codeur cœur. A cette même étape, le processeur code les données selon un algorithme dit de codage cœur conforme à l'un des standards MPEGl, MPEG2 ou MPEG4-GA, ou de type CELP, de type hiérarchique, voire même de type MPEG4 paramétrique.
L'étape E2 consiste à vérifier si, et dans le cas d'un codage hiérarchique, toutes les couches ont été codées ou non. Dans la négative, et si le codage cœur est un codage hiérarchique, le processeur réitère l'étape El pour chaque couche du signal audio codé.
Si la totalité des couches ont été codées, ou que le codage n'est pas un codage hiérarchique, l'algorithme passe à l'étape suivante E3.
A l'étape E3, le processeur détermine une marge de fréquence. Cette marge peut être prédéterminée et mémorisée dans un registre ou être sous forme d'une variable. Cette variable dépend par exemple du type de correction d'erreurs que l'on va appliquer aux données codées lors de leur transmission sur le réseau.
Cette marge déterminée, le processeur détermine à l'étape E4, à partir de la marge et de la fréquence de coupure haute du codeur cœur, la fréquence de coupure basse du codeur d'extension.
Cette opération réalisée, le processeur transfert cette information au sous- programme de codage d'extension à l'étape E5.
Enfin, selon un mode particulier de l'invention, à l'étape E6, le processeur mémorise cette information. Le processeur, à l'étape E7, exécute le codage d'extension en codant les données dont le spectre est supérieur à l'information transférée à l'étape E5. Le codage d'extension de bande est par exemple un codage de type HFR (High Frequency Régénération), par exemple SBR (Spectral Band Replication) tel que décrit dans le document « Audio Engineering Society, convention paper 5553 », présenté à la 112ieme convention AES par Mr Martin Dietz.
Cette opération effectuée, le processeur passe à l'étape E7 qui consiste à multiplexer les signaux audio codés à l'étape El et les signaux audio codés à l'étape E7 pour former un flot de données codées et transmises sur un réseau.
Selon une variante de l'invention, le processeur insère dans le flot de données codées et transmises, l'information mémorisée à l'étape E6 ou insère une ou plusieurs des informations suivantes : bande passante du codeur cœur, bande passante du codeur d'extension, fréquence basse et haute de chaque couche de codage, nombre de couches de codage si un codeur hiérarchique est utilisé.
L'insertion est effectuée dans le cas d'un codeur hiérarchique pour chaque couche de codage.
Ces opérations effectuées, le processeur retourne à l'étape El en attente de nouvelles données audio à coder.
La Fig. 7 représente l'algorithme effectué selon l'invention au niveau du décodeur. L'invention telle que décrite en référence aux Figs. précédentes est aussi réalisable sous forme logicielle dans laquelle un processeur exécute le code associé aux étapes El 0 à El 5 de l'algorithme de la Fig. 7.
A la mise sous tension du dispositif de réception, et plus particulièrement dans le cas d'une utilisation d'un ordinateur comme dispositif de réception, le processeur lit à partir de la mémoire morte de l'ordinateur ou d'un support d'informations tel qu'un disque compact CD-ROM, les instructions du programme correspondant aux étapes
E10 à E15 de la Fig. 7 et les charge en mémoire vive RAM pour les exécuter.
A l'étape E10, le processeur, à la réception de données audio à décoder, sépare les signaux reçus par l'intermédiaire du réseau 405 en données destinées au décodeur cœur et en données destinées au décodeur d'extension. Il extrait en outre des signaux reçus, les informations représentatives de la bande passante ou d'au moins une fréquence de coupure du codeur cœur ayant codé le signal audio, ou des codeurs ayant codé le signal audio si le signal a été codé avec un codeur hiérarchique, voire même la fréquence de coupure basse du codeur d'extension ayant codé le signal audio si celles- ci ont été incluses dans les données transmises.
Cette opération effectuée, le processeur passe à l'étape El i. Le processeur procède alors au décodage de ces données.
Le processeur procède au décodage des données selon un algorithme de décodage dit de décodage cœur tel que conforme à l'un des standards MPEGl, MPEG2 ou MPEG4-GA, ou de type CELP, un décodage hiérarchique, voire même un décodage de type MPEG4 paramétrique.
Cette étape de décodage cœur effectuée, le processeur passe à l'étape E12 qui est une étape d'obtention d'informations représentatives d'au moins une fréquence de coupure qui estime, selon un premier mode de réalisation, le spectre en fréquence du signal reçu par celui-ci. Ceci est réalisé par exemple en effectuant une transformation temps fréquence sur le signal décodé à l'étape El i et en déterminant la fréquence à partir de laquelle l'énergie du signal devient négligeable. Préférablement, ceci peut s'effectuer avec l'assistance d'un modèle de perception. Selon un autre mode de réalisation, le processeur obtient les informations extraites à l'étape El et vérifie dans le cas où celui-ci est un décodeur hiérarchique, si chaque couche est bien reçue et dans la négative transfère une infonnation représentative de la bande passante d'une ou des couches perdues au décodeur d'extension.
Cette opération effectuée, l'étape El 3 consiste en une adaptation de la fréquence de coupure basse du décodeur d'extension de manière à ce que celui-ci compense les pertes dues au réseau. L'adaptation est effectuée à partir de l'information représentative de la fréquence de coupure ou de la bande passante obtenue à l'étape E12 ou si le décodage de l'étape El i est un décodage hiérarchique de l'information représentative de la bande passante ou d'une fréquence de coupure d'une ou des couches perdues.
Cette opération effectuée, le processeur passe à l'étape El 4 et décode selon un algorithme de décodage dit d'extension les données correspondant aux fréquences supérieures à cette fréquence de coupure basse précédemment déterminée.
Le processeur sélectionne, à partir de la fréquence adaptée, parmi les données séparées à l'étape El et destinées au décodage d'extension, les données correspondant à l'enveloppe du signal correspondant à une représentation de l'enveloppe spectrale des fréquences supérieures à la fréquence la plus basse correspondant aux bandes de fréquences perdues.
Ainsi, le décodage d'extension corrige les pertes dues au réseau que ce soit sur des pertes affectant les dernières couches reçues ou des pertes affectant une couche intermédiaire.
Le décodage d'extension est un algorithme de décodage d'extension de bande par exemple un décodage de type HFR (High Frequency Régénération), par exemple un décodage de type SBR (Spectral Band Replication) tel que décrit dans le document
« Audio Engineering Society, convention paper 5553 », présenté à la 112ieme convention AES par Mr Martin Dietz.
Enfin, les données décodées par le décodeur cœur et le décodeur d'extension sont additionnées pour former le signal audio décodé à l'étape El 5. Ces opérations effectuées, le processeur retourne à l'étape ElO dans l'attente de nouvelles dom ées audio à décoder.

Claims

REVENDICATIONS
1) Procédé de codage d'un signal audio, dans lequel une partie du spectre de fréquence du signal audio est codée avec un codeur à limitation de bande spectrale dit codeur cœur et dans lequel la partie complémentaire du spectre de fréquence du signal audio est codée avec un codeur d'extension, caractérisé en ce qu'au moins une partie du spectre codé avec le codeur cœur est aussi codée avec le codeur d'extension et le procédé comporte les étapes de :
- de détermination d'au moins une fréquence de coupure du codeur cœur,
- de détermination de la partie du spectre codée avec le codeur cœur et le codeur d'extension à partir de la fréquence de coupure déterminée.
2) Procédé selon la revendication 1, caractérisé en ce que le procédé comporte une étape de transfert du signal numérique codé sur un réseau et en ce que la ou chaque fréquence déterminée est transférée avec le signal numérique codé.
3) Procédé selon la revendication 1, caractérisé en ce que le codeur cœur est un codeur hiérarchique et pour chaque couche de codage, au moins une fréquence de coupure de chaque couche de codage est déterminée.
4) Procédé selon la revendication 3, caractérisé en ce que le procédé comporte une étape de transfert de chaque couche de codage du signal numérique codé sur un réseau et en ce que la ou chaque fréquence déterminée pour la couche est transférée avec ladite couche.
5) Procédé selon l'un quelconques des revendications 1 à 4, caractérisé en ce que la partie du spectre de fréquence du signal audio codée avec le codeur cœur est la partie basse du spectre de fréquence du signal audio. 6) Procédé de reconstruction spectrale d'un signal audio codé sous la forme de données, dans lequel une partie du spectre de fréquence du signal audio est décodée avec un décodeur à limitation de bande spectrale dit décodeur cœur et dans lequel la partie complémentaire du spectre de fréquence du signal audio est décodée avec un décodeur d'extension, caractérisé en ce que le procédé comporte :
- une étape d'obtention d'informations représentatives d'au moins une fréquence de coupure du signal décodé par le décodeur cœur,
- une étape de sélection, parmi les données à décoder ou décodées avec le décodeur d'extension, de données pertinentes pour le décodage en fonction des informations obtenues.
7) Procédé selon la revendication 6, caractérisé en ce que la partie du spectre de fréquence du signal audio décodée avec un décodeur cœur est la partie basse du spectre en fréquence du signal audio.
8) Procédé selon la revendication 6 ou 7, caractérisé en ce que les informations représentatives d'au moins une fréquence de coupure du signal décodé par le décodeur cœur sont obtenues en effectuant une estimation de la fréquence de coupure haute du signal décodé par le décodeur cœur.
9) Procédé selon la revendication 6 ou 7, caractérisé en ce que les informations représentatives d'au moins une fréquence de coupure du signal décodé par le décodeur cœur sont obtenues à partir d'informations incluses dans le flot de données comprenant le signal numérique codé.
10) Procédé selon la revendication 8 ou 9, caractérisé en ce que le décodeur cœur est un décodeur hiérarchique et en ce que le procédé obtient des informations représentatives de la bande passante du signal décodé par le décodeur cœur pour chaque couche du signal décodé. 11) Dispositif de codage d'un signal audio, dans lequel une partie du spectre de fréquence du signal audio est codée avec un codeur à limitation de bande spectrale dit codeur cœur et dans lequel la partie complémentaire du spectre de fréquence du signal audio est codée avec un codeur d'extension, caractérisé en ce qu'il comporte : - des moyens de détermination d'au moins une fréquence de coupure du codeur cœur,
- des moyens de détermination de la partie du spectre codée avec le codeur cœur et le codeur d'extension à partir de la fréquence de coupure déterminée,
- des moyens pour coder au moins une partie du spectre codée avec le codeur cœur avec le codeur d'extension.
12) Dispositif selon la revendication 11, caractérisé en ce que le dispositif comporte des moyens de transfert du signal numérique codé sur un réseau et en ce que la ou chaque fréquence déterminée est transférée avec le signal numérique codé.
13) Dispositif selon la revendication 11, caractérisé en ce que le codeur cœur est un codeur hiérarchique et pour chaque couche de codage, au moins une fréquence de coupure de chaque couche de codage est déterminée.
14) Dispositif selon la revendication 14, caractérisé en ce que le dispositif comporte des moyens de transfert de chaque couche du signal numérique codé sur un réseau et en ce que la ou chaque fréquence déterminée pour la couche de codage est transférée avec ladite couche de codage.
15) Dispositif selon l'un quelconques des revendications 11 à 14, caractérisé en ce que la partie du spectre de fréquence du signal audio codée avec le codeur cœur est la partie basse du spectre de fréquence du signal audio.
16) Dispositif de reconstruction spectrale d'un signal audio codé sous la forme de données, dans lequel une partie du spectre de fréquence du signal audio est décodée avec un décodeur à limitation de bande spectrale dit décodeur cœur et dans lequel la partie complémentaire du spectre de fréquence du signal audio est décodée avec un codeur d'extension, caractérisé en ce que le dispositif comporte :
- des moyens d'obtention d'informations représentatives d'au moins une 5 fréquence de coupure du signal décodé par le décodeur cœur,
- des moyens de sélection, parmi les données à décoder ou décodées avec le décodeur d'extension, de données pertinentes pour le décodage en fonction des informations obtenues.
10 17) Dispositif selon la revendication 16, caractérisé en ce que la partie du spectre de fréquence du signal audio décodée avec un décodeur cœur est la partie basse du spectre en fréquence du signal audio.
18) Dispositif selon la revendication 16 ou 17, caractérisé en ce que les 15 informations représentatives de la bande passante du signal décodé par le décodeur cœur sont obtenues en effectuant une estimation d'au moins une fréquence de coupure du signal décodé par le décodeur cœur.
19) Dispositif selon la revendication 16 ou 17, caractérisé en ce que les 20 informations représentatives d'au moins une fréquence de coupure du signal décodé par le décodeur cœur sont obtenues à partir d'informations incluses dans le flot de données comprenant le signal numérique codé.
20) Dispositif selon la revendication 19, caractérisé en ce que le décodeur cœur 25 est un décodeur hiérarchique et en ce que le dispositif va obtenir des informations représentatives d'au moins une fréquence de coupure du signal décodé par le décodeur cœur pour chaque couche du signal décodé.
21) Programme d'ordinateur stocké sur un support d'informations, ledit mctTTintîr σ Ac mαl+fα c-n nomn-û !___. «_.Λ fιΛ_ Λ A codage selon l'une quelconque des revendications 1 à 5, lorsqu'il est chargé et exécuté par un système informatique.
22) Programme d'ordinateur stocké sur un support d'informations, ledit programme comportant des instructions permettant de mettre en œuvre le procédé de reconstruction d'un signal audio selon l'une quelconque des revendications 6 à 10, lorsqu'il est chargé et exécuté par un système informatique.
EP04716626A 2003-03-04 2004-03-03 Procédé et dispositif de reconstruction spectrale d'un signal audio Expired - Lifetime EP1599868B1 (fr)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0302730 2003-03-04
FR0302730A FR2852172A1 (fr) 2003-03-04 2003-03-04 Procede et dispositif de reconstruction spectrale d'un signal audio
PCT/FR2004/000488 WO2004081918A1 (fr) 2003-03-04 2004-03-03 Procede et dispositif de reconstruction spectrale d’un signal audio

Publications (2)

Publication Number Publication Date
EP1599868A1 true EP1599868A1 (fr) 2005-11-30
EP1599868B1 EP1599868B1 (fr) 2010-05-19

Family

ID=32865273

Family Applications (1)

Application Number Title Priority Date Filing Date
EP04716626A Expired - Lifetime EP1599868B1 (fr) 2003-03-04 2004-03-03 Procédé et dispositif de reconstruction spectrale d'un signal audio

Country Status (9)

Country Link
US (1) US7720676B2 (fr)
EP (1) EP1599868B1 (fr)
JP (1) JP4660470B2 (fr)
KR (1) KR101091593B1 (fr)
AT (1) ATE468584T1 (fr)
DE (1) DE602004027219D1 (fr)
ES (1) ES2345489T3 (fr)
FR (1) FR2852172A1 (fr)
WO (1) WO2004081918A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8069035B2 (en) 2005-10-14 2011-11-29 Panasonic Corporation Scalable encoding apparatus, scalable decoding apparatus, and methods of them

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8605911B2 (en) 2001-07-10 2013-12-10 Dolby International Ab Efficient and scalable parametric stereo coding for low bitrate audio coding applications
SE0202159D0 (sv) 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
PT1423847E (pt) 2001-11-29 2005-05-31 Coding Tech Ab Reconstrucao de componentes de frequencia elevada
SE0202770D0 (sv) 2002-09-18 2002-09-18 Coding Technologies Sweden Ab Method for reduction of aliasing introduces by spectral envelope adjustment in real-valued filterbanks
WO2006041055A1 (fr) * 2004-10-13 2006-04-20 Matsushita Electric Industrial Co., Ltd. Codeur modulable, decodeur modulable et methode de codage modulable
JP4977471B2 (ja) * 2004-11-05 2012-07-18 パナソニック株式会社 符号化装置及び符号化方法
KR100818268B1 (ko) * 2005-04-14 2008-04-02 삼성전자주식회사 오디오 데이터 부호화 및 복호화 장치와 방법
US8626503B2 (en) * 2005-07-14 2014-01-07 Erik Gosuinus Petrus Schuijers Audio encoding and decoding
CN102013256B (zh) * 2005-07-14 2013-12-18 皇家飞利浦电子股份有限公司 用于生成多个输出音频通道的方法及设备
JP5173795B2 (ja) * 2006-03-17 2013-04-03 パナソニック株式会社 スケーラブル符号化装置およびスケーラブル符号化方法
US7461106B2 (en) * 2006-09-12 2008-12-02 Motorola, Inc. Apparatus and method for low complexity combinatorial coding of signals
JP4918841B2 (ja) * 2006-10-23 2012-04-18 富士通株式会社 符号化システム
US8295507B2 (en) 2006-11-09 2012-10-23 Sony Corporation Frequency band extending apparatus, frequency band extending method, player apparatus, playing method, program and recording medium
WO2008084688A1 (fr) * 2006-12-27 2008-07-17 Panasonic Corporation Dispositif de codage, dispositif de décodage et leur procédé
JP4708446B2 (ja) 2007-03-02 2011-06-22 パナソニック株式会社 符号化装置、復号装置およびそれらの方法
GB0705328D0 (en) 2007-03-20 2007-04-25 Skype Ltd Method of transmitting data in a communication system
DK2186089T3 (en) * 2007-08-27 2019-01-07 Ericsson Telefon Ab L M Method and apparatus for perceptual spectral decoding of an audio signal including filling in spectral holes
DK2571024T3 (en) 2007-08-27 2015-01-05 Ericsson Telefon Ab L M Adaptive transition frequency between the noise filling and bandwidth extension
US8576096B2 (en) * 2007-10-11 2013-11-05 Motorola Mobility Llc Apparatus and method for low complexity combinatorial coding of signals
US20090234642A1 (en) * 2008-03-13 2009-09-17 Motorola, Inc. Method and Apparatus for Low Complexity Combinatorial Coding of Signals
FR2929466A1 (fr) * 2008-03-28 2009-10-02 France Telecom Dissimulation d'erreur de transmission dans un signal numerique dans une structure de decodage hierarchique
US8639519B2 (en) * 2008-04-09 2014-01-28 Motorola Mobility Llc Method and apparatus for selective signal coding based on core encoder performance
JP5308519B2 (ja) * 2008-06-24 2013-10-09 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 改善されたオーディオ符号化のマルチモード方式
US8423355B2 (en) * 2010-03-05 2013-04-16 Motorola Mobility Llc Encoder for audio signal including generic audio and speech frames
US8428936B2 (en) * 2010-03-05 2013-04-23 Motorola Mobility Llc Decoder for audio signal including generic audio and speech frames
CN102208188B (zh) 2011-07-13 2013-04-17 华为技术有限公司 音频信号编解码方法和设备
US9905236B2 (en) * 2012-03-23 2018-02-27 Dolby Laboratories Licensing Corporation Enabling sampling rate diversity in a voice communication system
EP2830054A1 (fr) 2013-07-22 2015-01-28 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Encodeur audio, décodeur audio et procédés correspondants mettant en oeuvre un traitement à deux canaux à l'intérieur d'une structure de remplissage d'espace intelligent
US9524720B2 (en) * 2013-12-15 2016-12-20 Qualcomm Incorporated Systems and methods of blind bandwidth extension
EP3107096A1 (fr) 2015-06-16 2016-12-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Décodage à échelle réduite
ES2771200T3 (es) * 2016-02-17 2020-07-06 Fraunhofer Ges Forschung Postprocesador, preprocesador, codificador de audio, decodificador de audio y métodos relacionados para mejorar el procesamiento de transitorios
CA3016837C (fr) * 2016-03-07 2021-09-28 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Procede de dissimulation hybride : combinaison de dissimulation de perte de paquet du domaine frequentiel et temporel dans des codecs audio
US12315529B2 (en) * 2021-09-22 2025-05-27 Boe Technology Group Co., Ltd. Audio compensation with sound effect characteristic curve to adjust abnormal frequency points

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5495552A (en) * 1992-04-20 1996-02-27 Mitsubishi Denki Kabushiki Kaisha Methods of efficiently recording an audio signal in semiconductor memory
FR2729030B1 (fr) * 1994-12-30 1997-03-28 France Telecom Procede de reconfiguration dynamique d'un signal presentant un entrelacement temporel, recepteur et signal correspondants
JP3344944B2 (ja) * 1997-05-15 2002-11-18 松下電器産業株式会社 オーディオ信号符号化装置，オーディオ信号復号化装置，オーディオ信号符号化方法，及びオーディオ信号復号化方法
US6023233A (en) * 1998-03-20 2000-02-08 Craven; Peter G. Data rate control for variable rate compression systems
FR2791167B1 (fr) * 1999-03-17 2003-01-10 Matra Nortel Communications Procedes de codage, de decodage et de transcodage audio
US6226616B1 (en) * 1999-06-21 2001-05-01 Digital Theater Systems, Inc. Sound quality of established low bit-rate audio coding systems without loss of decoder compatibility
US6704703B2 (en) * 2000-02-04 2004-03-09 Scansoft, Inc. Recursively excited linear prediction speech coder
FI119576B (fi) * 2000-03-07 2008-12-31 Nokia Corp Puheenkäsittelylaite ja menetelmä puheen käsittelemiseksi, sekä digitaalinen radiopuhelin
US7742927B2 (en) * 2000-04-18 2010-06-22 France Telecom Spectral enhancing method and device
FI109393B (fi) * 2000-07-14 2002-07-15 Nokia Corp Menetelmä mediavirran enkoodaamiseksi skaalautuvasti, skaalautuva enkooderi ja päätelaite
EP1199812A1 (fr) * 2000-10-20 2002-04-24 Telefonaktiebolaget Lm Ericsson Codages de signaux acoustiques améliorant leur perception
SE0004187D0 (sv) * 2000-11-15 2000-11-15 Coding Technologies Sweden Ab Enhancing the performance of coding systems that use high frequency reconstruction methods
PT1423847E (pt) * 2001-11-29 2005-05-31 Coding Tech Ab Reconstrucao de componentes de frequencia elevada
KR100636145B1 (ko) * 2004-06-04 2006-10-18 삼성전자주식회사 확장된 고해상도 오디오 신호 부호화 및 복호화 장치
EP1987513B1 (fr) * 2006-02-06 2009-09-09 France Telecom Procede et dispositif de codage hierarchique d'un signal audio source, procede et dispositif de decodage, programmes et signal correspondants
FR2898443A1 (fr) * 2006-03-13 2007-09-14 France Telecom Procede de codage d'un signal audio source, dispositif de codage, procede et dispositif de decodage, signal, produits programme d'ordinateur correspondants

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2004081918A1 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8069035B2 (en) 2005-10-14 2011-11-29 Panasonic Corporation Scalable encoding apparatus, scalable decoding apparatus, and methods of them

Also Published As

Publication number Publication date
US7720676B2 (en) 2010-05-18
WO2004081918A1 (fr) 2004-09-23
FR2852172A1 (fr) 2004-09-10
ES2345489T3 (es) 2010-09-24
DE602004027219D1 (de) 2010-07-01
JP4660470B2 (ja) 2011-03-30
ATE468584T1 (de) 2010-06-15
EP1599868B1 (fr) 2010-05-19
US20060265087A1 (en) 2006-11-23
JP2006520487A (ja) 2006-09-07
KR20060007371A (ko) 2006-01-24
KR101091593B1 (ko) 2011-12-13

Similar Documents

Publication Publication Date Title
EP1599868B1 (fr) Procédé et dispositif de reconstruction spectrale d'un signal audio
US7668723B2 (en) Scalable lossless audio codec and authoring tool
EP0139803B1 (fr) Procédé de reconstitution d'informations perdues dans un système de transmission numérique de la voix et système de transmission utilisant ledit procédé
US8374858B2 (en) Scalable lossless audio codec and authoring tool
CA2512179C (fr) Procede de codage et de decodage audio a debit variable
FR2761801A1 (fr) Methode de codage audio et dispositif
EP1907812A2 (fr) Procede de commutation de debit en decodage audio scalable en debit et largeur de bande
FR2929466A1 (fr) Dissimulation d'erreur de transmission dans un signal numerique dans une structure de decodage hierarchique
FR2875351A1 (fr) Procede de traitement de donnees par passage entre domaines differents de sous-bandes
EP1037196B1 (fr) Procédé de codage, de décodage et de transcodage audio
EP1356455B1 (fr) Methode et dispositif de traitement d'une pluralite de flux binaires audio
EP2517199A2 (fr) Procede de codage/decodage d'un flux numerique stereo ameliore et dispositif de codage/decodage associe
EP2228791A2 (fr) Système auteur et codec audio, sans perte et evolutif
EP2126905B1 (fr) Procédés et dispositifs d'encodage et décodage de signaux audio, signal audio encodé
FR2969360A1 (fr) Codage perfectionne d'un etage d'amelioration dans un codeur hierarchique
FR2759510A1 (fr) Methode de codage audio et dispositif
EP2477402A1 (fr) Procédé et dispositif d'adaptation de débit d'un flux vidéo compressé transmis dans un environnement contraint
CA2300646A1 (fr) Procedes de codage, de decodage et de transcodage
FR2914480A1 (fr) Dispositifs et procedes d'emission et reception, via un reseau, d'un contenu sonore, produit programme d'ordinateur et moyen de stockage correspondants.
FR2872650A1 (fr) Procede et dispositif de compression/decompression sans perte de signaux numeriques d'entites multimedia

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20050823

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL LT LV MK

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20081023

RTI1 Title (correction)

Free format text: METHOD AND DEVICE FOR THE SPECTRAL RECONSTRUCTION OF AN AUDIO SIGNAL

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REF Corresponds to:

Ref document number: 602004027219

Country of ref document: DE

Date of ref document: 20100701

Kind code of ref document: P

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20100519

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2345489

Country of ref document: ES

Kind code of ref document: T3

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100519

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100519

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100519

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100519

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100519

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100820

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100519

REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100920

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100519

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100519

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100519

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100519

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100519

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100519

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100519

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20110222

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602004027219

Country of ref document: DE

Effective date: 20110221

BERE Be: lapsed

Owner name: FRANCE TELECOM

Effective date: 20110331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110331

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110331

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110303

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100819

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100519

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100519

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 13

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 14

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 15

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20230222

Year of fee payment: 20

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20230221

Year of fee payment: 20

Ref country code: GB

Payment date: 20230221

Year of fee payment: 20

Ref country code: DE

Payment date: 20230221

Year of fee payment: 20

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: ES

Payment date: 20230403

Year of fee payment: 20

REG Reference to a national code

Ref country code: DE

Ref legal event code: R071

Ref document number: 602004027219

Country of ref document: DE

REG Reference to a national code

Ref country code: GB

Ref legal event code: PE20

Expiry date: 20240302

REG Reference to a national code

Ref country code: ES

Ref legal event code: FD2A

Effective date: 20240402

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION

Effective date: 20240304

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION

Effective date: 20240304

Ref country code: GB

Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION

Effective date: 20240302