EP1697930A1 - Device and method for processing a multi-channel signal - Google Patents

Device and method for processing a multi-channel signal

Info

Publication number
EP1697930A1
EP1697930A1 EP05715611A EP05715611A EP1697930A1 EP 1697930 A1 EP1697930 A1 EP 1697930A1 EP 05715611 A EP05715611 A EP 05715611A EP 05715611 A EP05715611 A EP 05715611A EP 1697930 A1 EP1697930 A1 EP 1697930A1
Authority
EP
European Patent Office
Prior art keywords
prediction
channel
block
similarity
spectral values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP05715611A
Other languages
German (de)
French (fr)
Other versions
EP1697930B1 (en
Inventor
Jürgen HERRE
Michael Schug
Alexander Groeschl
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of EP1697930A1 publication Critical patent/EP1697930A1/en
Application granted granted Critical
Publication of EP1697930B1 publication Critical patent/EP1697930B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/03—Spectral prediction for preventing pre-echo; Temporary noise shaping [TNS], e.g. in MPEG2 or MPEG4
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders

Definitions

  • the present invention relates to audio encoders and, more particularly, to audio encoders that are transform-based, i.e., at which a temporal representation is converted to a spectral representation at the beginning of the encoder pipeline.
  • FIG. 3 A known transformation-based audio encoder is shown in FIG. 3.
  • the encoder shown in FIG. 3 is shown in the international standard ISO / IEC 14496-3: 2001 (E), Subpart 4, page 4 and is also known in the art as an AAC encoder.
  • An audio signal to be coded is fed in at an input 1000. This is first fed to a scaling stage 1002, in which a so-called AAC gain control is carried out in order to determine the level of the audio signal. Side information from the scaling is supplied to a bit stream formatter 1004, as shown by the arrow between block 1002 and block 1004. The scaled audio signal is then fed to an MDCT filter bank 1006. In the AAC encoder, the filter bank implements a modified discrete cosine transformation with 50% overlapping windows, the window length being determined by a block 1008.
  • block 1008 is provided for transient signals to be windowed with shorter windows and more stationary signals to be windowed with longer windows.
  • the purpose of this is to achieve a higher time resolution (at the expense of frequency resolution) due to the shorter windows for transient signals.
  • higher frequency resolution at the expense of time resolution
  • each subband signal having a certain limited bandwidth, which is caused by the corresponding subband channel in the filter bank 1006 is set, and wherein each subband signal has a certain number of subband samples.
  • the following example shows the case in which the filter bank outputs successive blocks of MDCT spectral coefficients, which generally speaking represent successive short-term spectra of the audio signal to be coded at input 1000.
  • TNS temporary noise shaping
  • the TNS technique is used to shape the temporal form of the quantization noise within each window of the transformation. This is achieved by applying a filtering process to parts of the spectral data of each channel.
  • the coding is done on a window basis.
  • the following steps are carried out in order to apply the TNS tool to a window of spectral data, that is to say to a block of spectral values.
  • a frequency range is selected for the TNS tool.
  • a suitable choice is to cover a frequency range from 1.5 kHz up to the highest possible scale factor band with a filter. It should be noted that this frequency range depends on the sampling rate as specified in the AAC standard (ISO / IEC 14496-3: 2001 (E)).
  • spectral MDCT coefficients lie in the selected target frequency range. For increased stability, coefficients corresponding to frequencies below 2.5 kHz are excluded from this process.
  • Usual LPC procedures as are known from speech processing, can be used for the LPC calculation, for example the well-known Levinson-Durbin algorithm. The calculation is carried out for the maximum permissible order of the noise shaping filter.
  • the expected prediction gain PG is obtained as a result of the LPC calculation. Furthermore, the reflection coefficients or Parcor coefficients are obtained.
  • the TNS tool is not used. In this case, control information is written into the bit stream so that a decoder knows that no TNS processing has been carried out.
  • TNS processing is applied.
  • the reflection coefficients are quantized.
  • the order of the noise shaping filter used is determined by removing all reflection coefficients with an absolute value less than a threshold from the "tail" of the reflection coefficient array. The number of remaining reflection coefficients is on the order of the noise shaping filter.
  • a suitable threshold is 0.1.
  • the remaining reflection coefficients are typically converted to linear prediction coefficients, which technique is also known as a "step-up" procedure.
  • the calculated LPC coefficients are then used as encoder noise shaping filter coefficients, that is to say as prediction filter coefficients.
  • This FIR filter is carried out over the specified target frequency range.
  • An auto-regressive filter is used for the decoding, while a so-called oving average filter is used for the coding.
  • the page information for the TNS tool is fed to the bit stream formatter, as shown by the arrow shown between the TNS processing block 1010 and the bit stream formatter 1004 in FIG. 3.
  • the center / side encoder 1012 is active when the audio signal to be encoded is a multi-channel signal, that is to say a stereo signal with a left channel and a right channel.
  • the left and right stereo channels have been processed separately from one another, i.e. scaled, transformed by the filter bank, subjected to TNS processing or not, etc.
  • the middle / side encoder it is first checked whether a middle / side coding makes sense, that is to say brings a coding gain at all.
  • a center / side coding will bring a coding gain if the left and right channels are more similar, because then the center channel, i.e. the sum of the left and right channels, is almost equal to the left or right channel, apart from scaling by a factor of 1/2, while the side channel has very small values because it is equal to the difference between the left and right channels.
  • a permitted disturbance per scale factor band is supplied to the quantizer 1014 by a psycho-acoustic model 1020.
  • the quantizer works iteratively, i. H. an outer iteration loop is first called, which then calls an inner iteration loop.
  • an outer iteration loop is first called, which then calls an inner iteration loop.
  • a block of values is first quantized at the input of quantizer 1014.
  • the inner loop quantizes the MDCT coefficients, consuming a certain number of bits.
  • the outer loop calculates the distortion and modified energy of the coefficients using the scale factor to call an inner loop again. This process is iterated until a certain set of conditions is met.
  • the signal is reconstructed in order to calculate the disturbance introduced by the quantization and to compare it with the permitted disturbance provided by the psycho-acoustic model 1020. Furthermore, the scale factors are increased by iteration from iteration to iteration, for each iteration of the outer iteration loop.
  • the iteration that is, the analysis-by-synthesis method is ended, and the scale factors obtained are encoded, as is carried out in block 1014 and in coded form to bitstream formatter 1004. as indicated by the arrow drawn between block 1014 and block 1004.
  • the quantized values are then fed to the entropy encoder 1016, which typically performs entropy coding for multiple scale factor bands using multiple Huffman code tables to translate the quantized values into a binary format.
  • entropy coding in the form of Huffman coding uses code tables which are created on the basis of expected signal statistics and in which frequently occurring values are given shorter code words than less frequently occurring values.
  • the entropy-coded values are then also supplied as actual main information to the bit stream formatter 1004, which then outputs the coded audio signal on the output side in accordance with a specific bit stream syntax.
  • predictive filtering is used in the TNS processing block 1010 to temporally form the quantization noise within a coding frame.
  • the temporal shaping of the quantization noise is carried out by filtering the spectral coefficients over the frequency in the encoder before the quantization and subsequent inverse filtering in the decoder.
  • the TNS processing causes the envelope of the quantization noise to be shifted below the envelope of the signal in order to avoid pre-echo artifacts.
  • the application of the TNS results from an estimate of the prediction gain of the filtering, as was explained above.
  • the filter coefficients for each coding frame are determined via a correlation measure.
  • the filter coefficients are calculated separately for each channel. They are also transmitted separately in the coded bit stream.
  • a disadvantage of the activation / deactivation of the TNS concept is the fact that for each stereo channel, if once TNS processing has been activated due to the good expected coding gain, TNS filtering takes place separately for each channel. So this is not a problem with relatively different channels.
  • the left and right channels are relatively similar, in an extreme example, the left and right channels have exactly the same useful information as a speaker, for example, and differ only in terms of the noise inevitably contained in the channels technology nevertheless calculates and uses a separate TNS filter for each channel.
  • TNS filter Since the TNS filter is directly dependent on the left and right channels, and is relatively sensitive to the spectral data of the left and right channels in particular, it is also used in the case of a signal in which the left and right channels are very similar In the case of a so-called "quasi-mono signal", TNS processing is carried out for each channel with its own prediction filter. This means that due to the different filter coefficients, different temporal noise shaping takes place in the two stereo channels.
  • the known procedure has a possibly possibly more serious disadvantage.
  • the TNS output values that is to say the spectral residual values
  • the TNS output values are subjected to a center / side coding in the center / side encoder 1002 of FIG. 3. While the two channels were relatively the same before TNS processing, this cannot be said after TNS processing.
  • the described stereo effect which was introduced by the separate TNS processing, makes the spectral residual values of the two channels more dissimilar than they actually would be. This leads to one immediate decrease in coding gain due to the center / side coding, which is particularly disadvantageous especially for applications in which a low bit rate is required.
  • the known TNS activation is therefore problematic for stereo signals that use similar but not exactly identical signal information in both channels, such as mono-similar speech signals. If different filter coefficients are determined for the TNS detection for both channels, this leads to a temporally different shaping of the quantization noise in the channels. This can lead to audible artifacts, e.g. B. the original mono-like sound through these temporal differences gets an undesirable stereo character. Furthermore, as has been explained, the TNS-modified spectrum is subjected to middle / side coding in a subsequent step. Different filters in both channels additionally reduce the similarity of the spectral coefficients and thus the center / side gain.
  • DE 19829284C2 discloses a method and an apparatus for processing a temporal stereo signal and a method and an apparatus for decoding an audio bit stream coded using prediction over frequency.
  • the left, the right and the mono channel of their own prediction over the frequency i. H. undergo TNS processing. This means that a complete prediction can be made for each channel.
  • the prediction coefficients for the left channel can be calculated, which are then used to filter the right channel and the mono channel.
  • the object of the present invention is to create a concept for processing a multi-channel signal. fen, which enables less artifacts and yet a good compression of the information.
  • the present invention is based on the finding that if the left and right channels are similar, ie exceed a similarity measure, the same TNS filtering must be used for both channels. This ensures that no pseudo stereo artifacts are introduced into the multichannel signal by the TNS processing, since by using the same prediction filter for both channels, the temporal shaping of the quantization noise takes place identically for both channels, ie that no pseudo stereo artifacts can be heard.
  • the similarity of the signals after TNS filtering corresponds to the similarity of the input signals to the filters and not, as in the prior art, to the similarity of the input signals, which is still reduced by different filters.
  • FIG. 1 shows a block diagram of a device according to the invention for processing a multi-channel signal
  • FIG. 2 shows a preferred embodiment of the device for determining a similarity and the device for performing the prediction filtering
  • FIG. 3 shows a block diagram of a known audio encoder in accordance with the AAC standard.
  • FIG. 1 shows a device for processing a multichannel signal, the multichannel signal being represented by a block of spectral values for at least two channels, as shown by L and R.
  • the blocks of spectral values are represented by e.g. B. MDCT filtering by means of an MDCT filter bank 10 determined from time-domain samples l (t) or r (t) for each channel.
  • the blocks of spectral values for each channel are then fed to a device 12 for determining a similarity between the two channels.
  • the device for determining the similarity between the two channels can also, as shown in FIG. 1, under Use time domain samples l (t) or r (t) for each channel.
  • the device 12 for determining the similarity between the first and the second channel is operative to generate a control signal on a control line 14, which has at least two states, one of which expresses, based on a measure of similarity or alternatively a measure of dissimilarity. that the blocks of spectral values of the two channels are similar, or that in its other state states that the blocks of spectral values are different for each channel.
  • the decision as to whether similarity or dissimilarity prevails can be made using a preferably numerical similarity measure.
  • Both the block of spectral values for the left channel and the block of spectral values for the right channel are fed to a device 16 for performing a prediction filtering.
  • a prediction filtering is carried out over the frequency, the device being designed for performing, in order to carry out the prediction over the frequency, a common prediction filter 16a for the block of spectral values of the first channel and for the block of spectral values of the second channel if the similarity is greater than a threshold similarity.
  • the device 16 for performing the prediction filtering is informed by the device 12 for determining a similarity that the two blocks of spectral values for each channel are dissimilar, that is to say have a similarity that is smaller than a threshold similarity, the device 16 for performing a similarity Prediction filtering, apply different filters 16b to the left and right channels.
  • the output signals of the device 16 are thus spectral residual values of the left channel at an output 18a as well as spectral residual values of the right channel at an output 18b, wherein, depending on the similarity of the left and the right channel, the spectral residual values of the two channels using the same prediction filter (Case 16a) or using different prediction filters (case 16b).
  • the spectral residual values of the left and the right channel can either be directly or after several processing operations, as they are e.g. B. are provided in the AAC standard, a center / side stereo encoder which outputs the center signal as an half of the sum of the left and right channel at an output 21a, while the side signal as half the difference of the left and right channel is output.
  • the side signal if there was previously a high similarity between the channels, is now smaller than in the case where different TNS filters are used for similar channels due to the synchronization of the TNS processing of the two channels become, which therefore, due to the fact that the side signal is smaller, promises a higher coding gain.
  • a preferred exemplary embodiment of the present invention is shown below with reference to FIG. 2, in which the first stage of the TNS calculation is already carried out in the device 12 for determining a similarity, namely the calculation of the Parcor or reflection coefficients and the Prediction gain for both the left channel and the right channel, as represented by blocks 12a, 12b.
  • This TNS processing thus provides both the filter coefficients for the prediction filter ultimately to be used as well as the prediction gain, this prediction gain also being required to decide whether TNS processing should be carried out at all or not.
  • the prediction gain for the first left channel which is denoted by PG1 in FIG. 2, as well as the prediction gain for the right channel, which is denoted by PG2 in FIG. 2, is fed into a similarity measure determination device, which is shown in FIG. 2 is designated 12c.
  • This similarity determination device is effective to calculate the absolute amount of the difference or the relative difference of the two prediction gains and to see whether it is below a predetermined deviation threshold S. If the absolute amount of the difference in the prediction gains is below the threshold S, it is assumed that the two signals are similar and the question in block 12c is answered with yes. If, on the other hand, it is found that the difference is greater than the similarity threshold S, the question is answered with no.
  • the device 16 uses a common filter for both channels L and R, while if the question is answered in block 12c, separate filters with no are used, i.e. TNS processing, as in the prior art the technology can be carried out.
  • the device 16 is supplied with a set of filter coefficients FKL for the left channel and a set of filter coefficients FKR for the right channel by the devices 12a and 12b.
  • a special selection is made in a block 16c for filtering by means of a common filter.
  • block 16c it is decided which channel has the greater energy. If it is determined that the left channel has the greater energy, the filter coefficients FKL calculated by the device 12a for the left channel are used for the common filtering. If, on the other hand, it is determined in block 16c that the right channel has the greater energy, the set of filter coefficients FKR which has been calculated for the right channel in the device 12b is used for the common filtering.
  • both the time signal and the spectral signal can be used for energy determination. Due to the fact that transformation artifacts that may have already occurred are contained in the spectral signal, it is preferred to use the spectral signals of the left and right channels for the “energy decision” in block 16c.
  • TNS synchronization that is to say the use of the same filter coefficients, is used for both channels if the prediction gains for the left and right channels differ by less than three percent. If the two channels differ by more than three percent, the question in block 12c of FIG. 2 is answered with “no”.
  • the prediction gains of the two channels in the Filtering compared. If a difference in the prediction gains falls below a certain threshold, the same TNS filtering is applied to both channels in order to avoid the problems described.
  • the reflection coefficients of the two separately calculated TNS filters can also be compared.
  • the similarity determination can also be achieved using other details of the signal, so that when a similarity has been determined, only the TNS filter coefficient set for the channel that is used for the prediction filtering of both stereo channels has to be calculated. This has the advantage that when looking at Figure 2 and when the signals are similar, only either block 12a or block 12b will be active.
  • the concept according to the invention can also be used to further reduce the bit rate of the coded signal. While different TNS side information is transmitted for both channels when using two different reflection coefficients, when filtering the two channels with the same prediction filter, TNS information only has to be transmitted once for both channels. Therefore, the inventive concept can also achieve a reduction in the bit rate in such a way that a set of TNS side information is "saved" if the left and right channels are similar.
  • the concept according to the invention is not fundamentally limited to stereo signals, but could be used in a multi-channel environment between different channel pairs or groups of more than 2 channels.
  • a determination of the cross-correlation measure k between the left and right channels or a determination of the TNS prediction gain and the TNS filter coefficients can be carried out separately for each channel.
  • the synchronization decision is made if k exceeds a threshold (e.g. 0.6) and MS stereo coding is activated.
  • a threshold e.g. 0.6
  • MS stereo coding is activated.
  • the MS criterion can also be omitted.
  • the reference channel is determined, whose TNS filter is to be adopted for the other channel. For example, the channel with the greater energy is used as the reference channel.
  • the TNS filter coefficients are then copied from the reference channel to the other channel.
  • the TNS prediction gain and the TNS filter coefficients are determined separately for each channel. Then a decision is made. If the prediction gain of both channels does not differ by more than a certain amount, e.g. B. 3%, the synchronization takes place.
  • the reference channel can also be chosen arbitrarily if one can assume that the channels are similar.
  • the TNS filter coefficients are copied from the reference channel to the other channel, whereupon the synchronized or non-synchronized TNS filters are applied to the spectrum.
  • Alternative options are as follows: Whether TNS is basically activated in a channel depends on the prediction gain in this channel. If this exceeds a certain threshold, TNS is activated for this channel.
  • a TNS synchronization for 2 channels is carried out if TNS was only activated in one of the two channels.
  • the condition is then that, for example, the prediction gain is similar, ie a channel just above the activation limit and a channel just below the activation limit.
  • the activation of TNS for both channels with the same coefficients is then derived from this comparison, or under certain circumstances also the deactivation for both channels.
  • the method according to the invention for processing a multi-channel signal can be implemented in hardware or in software.
  • the implementation can take place on a digital storage medium, in particular a floppy disk or CD with electronically readable control signals, which can cooperate with a programmable computer system such that the method is carried out.
  • the invention thus also consists in a computer program product with a program code stored on a machine-readable carrier for carrying out the method according to the invention when the computer program product runs on a computer.
  • the invention can thus be implemented as a computer program with a program code for carrying out the method if the computer program runs on a computer.

Abstract

An apparatus for processing a multi-channel signal includes a means for determining a similarity between a first one of two channels and a second one of the two channels. Furthermore, a means for performing a prediction filtering of the spectral coefficients is provided, which is formed to perform a prediction filtering with only a single prediction filter for both channels in case of high similarity between the first and the second channel, and to perform a prediction filtering with two separate prediction filters in case of a dissimilarity between the first and the second channel. With this, an introduction of stereo artifacts and a deterioration of the coding gain in stereo coding techniques are avoided.

Description

4 4
Vorrichtung und Verfahren zum Verarbeiten eines Multikanal- signalsDevice and method for processing a multi-channel signal
Beschreibungdescription
Die vorliegende Erfindung bezieht sich auf Audiocodierer und insbesondere auf Audiocodierer, die Transformtions- basiert sind, d.h., bei denen zu Beginn der Codierer- Pipeline eine Umsetzung einer zeitlichen Darstellung in eine spektrale Darstellung erfolgt.The present invention relates to audio encoders and, more particularly, to audio encoders that are transform-based, i.e., at which a temporal representation is converted to a spectral representation at the beginning of the encoder pipeline.
Ein bekannter Transformations-basierter Audiocodierer ist in Fig. 3 gezeigt. Der in Fig. 3 gezeigte Codierer ist im internationalen Standard ISO/IEC 14496-3: 2001 (E) , Subpart 4, Seite 4, dargestellt und in der Technik auch als AAC- Codierer bekannt.A known transformation-based audio encoder is shown in FIG. 3. The encoder shown in FIG. 3 is shown in the international standard ISO / IEC 14496-3: 2001 (E), Subpart 4, page 4 and is also known in the art as an AAC encoder.
Nachfolgend wird der bekannte Codierer dargestellt. An ei- nem Eingang 1000 wird ein zu codierendes Audiosignal eingespeist. Dieses wird zunächst einer Skalierungsstufe 1002 zugeführt, in der eine sogenannte AAC-Verstärkungssteuerung durchgeführt wird, um den Pegel des Audiosignals festzulegen. Seiteninformationen aus der Skalierung werden einem Bitstromformatierer 1004 zugeführt, wie es durch den Pfeil zwischen dem Block 1002 und dem Block 1004 dargestellt ist. Das skalierte Audiosignal wird hierauf einer MDCT- Filterbank 1006 zugeführt. Beim AAC-Codierer implementiert die Filterbank eine modifizierte diskrete Cosinustransfor- mation mit 50 % überlappenden Fenstern, wobei die Fensterlänge durch einen Block 1008 bestimmt wird.The known encoder is shown below. An audio signal to be coded is fed in at an input 1000. This is first fed to a scaling stage 1002, in which a so-called AAC gain control is carried out in order to determine the level of the audio signal. Side information from the scaling is supplied to a bit stream formatter 1004, as shown by the arrow between block 1002 and block 1004. The scaled audio signal is then fed to an MDCT filter bank 1006. In the AAC encoder, the filter bank implements a modified discrete cosine transformation with 50% overlapping windows, the window length being determined by a block 1008.
Allgemein gesagt ist der Block 1008 dazu vorhanden, dass transiente Signale mit kürzeren Fenstern gefenstert werden, und dass eher stationäre Signale mit längeren Fenstern gefenstert werden. Dies dient dazu, dass aufgrund der kürzeren Fenster für transiente Signale eine höhere Zeitauflösung (auf Kosten der Frequenzauflösung) erreicht wird, wäh- rend für eher stationäre Signale eine höhere Frequenzauflösung (auf Kosten der Zeitauflösung) durch längere Fenster erreicht wird, wobei tendenziell längere Fenster bevorzugt werden, da sie einen größeren Codiergewinn versprechen. Am Ausgang der Filterbank 1006 liegen zeitlich betrachtet aufeinanderfolgende Blöcke von Spektralwerten vor, die je nach Ausführungsform der Filterbank MDCT-Koeffizienten, Fourier- Koeffizienten oder auch Subbandsignale sein können, wobei jedes Subbandsignal eine bestimmte begrenzte Bandbreite hat, die durch den entsprechenden Subbandkanal in der Filterbank 1006 festgelegt wird, und wobei jedes Subbandsignal eine bestimmte Anzahl von Subband-Abtastwerten aufweist.Generally speaking, block 1008 is provided for transient signals to be windowed with shorter windows and more stationary signals to be windowed with longer windows. The purpose of this is to achieve a higher time resolution (at the expense of frequency resolution) due to the shorter windows for transient signals. For more stationary signals, higher frequency resolution (at the expense of time resolution) is achieved through longer windows, with longer windows tending to be preferred since they promise a greater coding gain. At the output of the filter bank 1006 there are successive blocks of spectral values in terms of time which, depending on the embodiment of the filter bank, can be MDCT coefficients, Fourier coefficients or also subband signals, each subband signal having a certain limited bandwidth, which is caused by the corresponding subband channel in the filter bank 1006 is set, and wherein each subband signal has a certain number of subband samples.
Nachfolgend wird beispielhaft der Fall dargestellt, bei dem die Filterbank zeitlich betrachtet aufeinanderfolgende Blöcke von MDCT-Spektralkoeffizienten ausgibt, die allgemein gesagt, aufeinanderfolgende Kurzzeitspektren des zu codierenden Audiosignals am Eingang 1000 darstellen. Ein Block von MDCT-Spektralwerten wird dann in einen TNS- Verarbeitungsblock 1010 eingespeist, in dem eine zeitliche Rauschformung stattfindet (TNS = temporary noise shaping) . Die TNS-Technik wird dazu verwendet, um die zeitliche Form des Quantisierungsrauschens innerhalb jedes Fensters der Transformation zu formen. Dies wird dadurch erreicht, dass ein Filterprozess auf Teile der Spektraldaten jedes Kanals angewendet wird. Die Codierung wird auf einer Fensterbasis durchgeführt. Insbesondere werden die folgenden Schritte ausgeführt, um das TNS-Tool auf ein Fenster spektraler Daten, also auf einen Block von Spektralwerten anzuwenden.The following example shows the case in which the filter bank outputs successive blocks of MDCT spectral coefficients, which generally speaking represent successive short-term spectra of the audio signal to be coded at input 1000. A block of MDCT spectral values is then fed into a TNS processing block 1010, in which temporal noise shaping takes place (TNS = temporary noise shaping). The TNS technique is used to shape the temporal form of the quantization noise within each window of the transformation. This is achieved by applying a filtering process to parts of the spectral data of each channel. The coding is done on a window basis. In particular, the following steps are carried out in order to apply the TNS tool to a window of spectral data, that is to say to a block of spectral values.
Zunächst wird ein Frequenzbereich für das TNS-Tool ausgewählt. Eine geeignete Auswahl besteht darin, einen Frequenzbereich von 1,5 kHz bis zum höchsten möglichen Skalen- faktorband mit einem Filter abzudecken. Es sei darauf hin- gewiesen, dass dieser Frequenzbereich von der Abtastrate abhängt, wie es im AAC-Standard (ISO/IEC 14496-3: 2001 (E) ) spezifiziert ist. Anschließend wird eine LPC-Berechnung (LPC = linear predictive coding = lineare prädiktive Codierung) ausgeführt, und zwar mit den spektralen MDCT-Koeffizienten, die in dem ausgewählten Zielfrequenzbereich liegen. Für eine erhöhte Sta- bilität werden Koeffizienten, die Frequenzen unter 2,5 kHz entsprechen, aus diesem Prozess ausgeschlossen. Übliche LPC-Prozeduren, wie sie aus der Sprachverarbeitung bekannt sind, können für die LPC-Berechnung verwendet werden, beispielsweise der bekannte Levinson-Durbin-Algorithmus. Die Berechnung wird für die maximal zulässige Ordnung des Rauschformungsfilters ausgeführt .First, a frequency range is selected for the TNS tool. A suitable choice is to cover a frequency range from 1.5 kHz up to the highest possible scale factor band with a filter. It should be noted that this frequency range depends on the sampling rate as specified in the AAC standard (ISO / IEC 14496-3: 2001 (E)). Then an LPC calculation (LPC = linear predictive coding = linear predictive coding) is carried out, with the spectral MDCT coefficients that lie in the selected target frequency range. For increased stability, coefficients corresponding to frequencies below 2.5 kHz are excluded from this process. Usual LPC procedures, as are known from speech processing, can be used for the LPC calculation, for example the well-known Levinson-Durbin algorithm. The calculation is carried out for the maximum permissible order of the noise shaping filter.
Als Ergebnis der LPC-Berechnung wird der erwartete Prädiktionsgewinn PG erhalten. Ferner werden die Reflexionskoef- fizienten oder Parcor-Koeffizienten erhalten.The expected prediction gain PG is obtained as a result of the LPC calculation. Furthermore, the reflection coefficients or Parcor coefficients are obtained.
Wenn der Prädiktionsgewinn eine bestimmte Schwelle nicht überschreitet, wird das TNS-Tool nicht angewendet. In diesem Fall wird eine Steuerinformation in den Bitstrom ge- schrieben, damit ein Decodierer weiß, dass keine TNS- Verarbeitung ausgeführt worden ist.If the prediction gain does not exceed a certain threshold, the TNS tool is not used. In this case, control information is written into the bit stream so that a decoder knows that no TNS processing has been carried out.
Wenn der Prädiktionsgewinn jedoch eine Schwelle überschreitet, wird die TNS-Verarbeitung angewendet.However, if the prediction gain exceeds a threshold, TNS processing is applied.
In einem nächsten Schritt werden die Reflexionskoeffizienten quantisiert. Die Ordnung des verwendeten Rauschformungsfilters wird durch Entfernen aller Reflexionskoeffizienten mit einem Absolutwert kleiner als eine Schwelle von dem „Schwanz" des Reflexionskoeffizienten-Arrays bestimmt. Die Anzahl der verbleibenden Reflexionskoeffizienten liegt in der Größenordnung des Rauschformungsfilters. Eine geeignete Schwelle liegt bei 0,1.In a next step, the reflection coefficients are quantized. The order of the noise shaping filter used is determined by removing all reflection coefficients with an absolute value less than a threshold from the "tail" of the reflection coefficient array. The number of remaining reflection coefficients is on the order of the noise shaping filter. A suitable threshold is 0.1.
Die verbleibenden Reflexionskoeffizienten werden typischerweise in lineare Prädiktionskoeffizienten umgewandelt, wobei diese Technik auch als "Step-üp"-Prozedur bekannt ist. Die berechneten LPC-Koeffizienten werden dann als Codierer- Rauschformungsfilterkoeffizienten, also als Prädiktionsfil- terkoeffizienten verwendet. Dieses FIR-Filter wird über den spezifizierten Zielfrequenzbereich geführt. Bei der Deco- dierung wird ein autoregressives Filter verwendet, während bei der Codierung ein sogenanntes oving-Average-Filter verwendet wird. Schließlich werden noch die Seiteninformationen für das TNS-Tool dem Bitstromformatierer zugeführt, wie es durch den Pfeil dargestellt ist, der zwischen dem Block TNS-Verarbeitung 1010 und dem Bitstromformatierer 1004 in Fig. 3 gezeigt ist.The remaining reflection coefficients are typically converted to linear prediction coefficients, which technique is also known as a "step-up" procedure. The calculated LPC coefficients are then used as encoder noise shaping filter coefficients, that is to say as prediction filter coefficients. This FIR filter is carried out over the specified target frequency range. An auto-regressive filter is used for the decoding, while a so-called oving average filter is used for the coding. Finally, the page information for the TNS tool is fed to the bit stream formatter, as shown by the arrow shown between the TNS processing block 1010 and the bit stream formatter 1004 in FIG. 3.
Hierauf werden mehrere in Fig. 3 nicht gezeigte optionale Tools durchlaufen, wie beispielsweise ein Langzeitprädikti- ons-Tool, ein Intensity/Kopplungs-Tool, ein Prädiktions- Tool, ein Rauschsubstitutions-Tool, bis schließlich zu einem Mitte/Seite-Codierer 1012 gelangt wird. Der Mitte/Seite-Codierer 1012 ist dann aktiv, wenn das zu codierende Audiosignal ein Multikanalsignal ist, also ein Ste- reosignal mit einem linken Kanal und einem rechten Kanal. Bisher, also in der Verarbeitungsrichtung vor dem Block 1012 in Fig. 3 wurden der linke und der rechte Stereokanal getrennt voneinander verarbeitet, also skaliert, durch die Filterbank transformiert, der TNS-Verarbeitung unterzogen oder nicht etc.Several optional tools, not shown in FIG. 3, are then run through, such as, for example, a long-term prediction tool, an intensity / coupling tool, a prediction tool, a noise substitution tool, until finally a middle / side encoder 1012 is reached becomes. The center / side encoder 1012 is active when the audio signal to be encoded is a multi-channel signal, that is to say a stereo signal with a left channel and a right channel. Up to now, i.e. in the processing direction before block 1012 in FIG. 3, the left and right stereo channels have been processed separately from one another, i.e. scaled, transformed by the filter bank, subjected to TNS processing or not, etc.
Im Mitte/Seite-Codierer wird dann zunächst überprüft, ob eine Mitte/Seite-Codierung sinnvoll ist, also überhaupt einen Codiergewinn bringt. Eine Mitte/Seite-Codierung wird dann einen Codiergewinn bringen, wenn der linke und der rechte Kanal eher ähnlich sind, da dann der Mitte-Kanal, also die Summe aus dem linken und dem rechten Kanal nahezu gleich dem linken oder dem rechten Kanal ist, abgesehen von der Skalierung durch den Faktor 1/2, während der Seite- Kanal nur sehr kleine Werte hat, da er gleich der Differenz zwischen dem linken und dem rechten Kanal ist. Damit ist zu sehen, dass dann, wenn der linke und der rechte Kanal annähernd gleich sind, die Differenz annähernd Null ist bzw. nur ganz kleine Werte umfasst, die - so ist die Hoffnung - in einem nachfolgenden Quantisierer 1014 zu Null quanti- siert werden und somit sehr effizient übertragen werden können, da dem Quantisierer 1014 ein Entropie-Codierer 1016 nachgeschaltet ist.In the middle / side encoder, it is first checked whether a middle / side coding makes sense, that is to say brings a coding gain at all. A center / side coding will bring a coding gain if the left and right channels are more similar, because then the center channel, i.e. the sum of the left and right channels, is almost equal to the left or right channel, apart from scaling by a factor of 1/2, while the side channel has very small values because it is equal to the difference between the left and right channels. It can be seen that when the left and right channels are approximately the same, the difference is approximately zero or only contains very small values, which - it is hoped - are quantized to zero in a subsequent quantizer 1014 and can therefore be transmitted very efficiently, since an entropy encoder 1016 is connected downstream of the quantizer 1014.
Dem Quantisierer 1014 wird von einem psycho-akustischen Modell 1020 eine erlaubte Störung pro Skalenfaktorband zugeführt. Der Quantisierer arbeitet iterativ, d. h. es wird zunächst eine äußere Iterationsschleife aufgerufen, die dann eine innere Iterationsschleife aufruft. Allgemein gesagt wird zunächst, ausgehend von Quantisiererschrittwei- ten-Startwerten, eine Quantisierung eines Blocks von Werten am Eingang des Quantisierers 1014 vorgenommen. Insbesondere quantisiert die innere Schleife die MDCT-Koeffizienten, wobei eine bestimmte Anzahl von Bits verbraucht wird. Die äußere Schleife berechnet die Verzerrung und modifizierte E- nergie der Koeffizienten unter Verwendung des Skalenfaktors, um wieder eine innere Schleife aufzurufen. Dieser Prozess wird iteriert, bis ein bestimmter Bedingungssatz erfüllt ist. Für jede Iteration in der äußeren Iterationsschleife wird dabei das Signal rekonstruiert, um die durch die Quantisierung eingeführte Störung zu berechnen und mit der von dem psycho-akustischen Modell 1020 gelieferten er- laubten Störung zu vergleichen. Ferner werden die Skalenfaktoren von Iteration zu Iteration um eine Stufe vergrößert, und zwar für jede Iteration der äußeren Iterationsschleife.A permitted disturbance per scale factor band is supplied to the quantizer 1014 by a psycho-acoustic model 1020. The quantizer works iteratively, i. H. an outer iteration loop is first called, which then calls an inner iteration loop. Generally speaking, starting from quantizer increment start values, a block of values is first quantized at the input of quantizer 1014. In particular, the inner loop quantizes the MDCT coefficients, consuming a certain number of bits. The outer loop calculates the distortion and modified energy of the coefficients using the scale factor to call an inner loop again. This process is iterated until a certain set of conditions is met. For each iteration in the outer iteration loop, the signal is reconstructed in order to calculate the disturbance introduced by the quantization and to compare it with the permitted disturbance provided by the psycho-acoustic model 1020. Furthermore, the scale factors are increased by iteration from iteration to iteration, for each iteration of the outer iteration loop.
Dann, wenn eine Situation erreicht ist, bei der die durch die Quantisierung eingeführte Quantisierungsstörung unterhalb der durch das psycho-akustische Modell bestimmten erlaubten Störung ist, und wenn gleichzeitig Bitanforderungen erfüllt sind, nämlich, dass eine Maximalbitrate nicht über- schritten wird, wird die Iteration, also das Analyse-DurchSynthese-Verfahren beendet, und es werden die erhaltenen Skalenfaktoren codiert, wie es in dem Block 1014 ausgeführt ist und in codierter Form dem Bitstromformatierer 1004 zu- geführt, wie es durch den Pfeil gekennzeichnet ist, der zwischen dem Block 1014 und dem Block 1004 gezeichnet ist. Die quantisierten Werte werden dann dem Entropie-Codierer 1016 zugeführt, der typischerweise unter Verwendung mehre- rer Huffman-Code-Tabellen für verschiedene Skalenfaktorbän- der eine Entropie-Codierung durchführt, um die quantisierten Werte in ein binäres Format zu übertragen. Wie es bekannt ist, wird bei der Entropie-Codierung in Form der Huffman-Codierung auf Code-Tabellen zurückgegriffen, die aufgrund einer erwarteten Signalstatistik erstellt werden, und bei denen häufig auftretende Werte kürzere Code-Wörter bekommen als seltener auftretende Werte. Die entropiecodierten Werte werden dann ebenfalls als eigentliche Hauptinformationen dem Bitstromformatierer 1004 zugeführt, der dann gemäß einer bestimmten Bitstromsyntax ausgangssei- tig das codierte Audiosignal ausgibt.If a situation is reached in which the quantization disturbance introduced by the quantization is below the permitted disturbance determined by the psychoacoustic model, and if bit requirements are met at the same time, namely that a maximum bit rate is not exceeded, the iteration , that is, the analysis-by-synthesis method is ended, and the scale factors obtained are encoded, as is carried out in block 1014 and in coded form to bitstream formatter 1004. as indicated by the arrow drawn between block 1014 and block 1004. The quantized values are then fed to the entropy encoder 1016, which typically performs entropy coding for multiple scale factor bands using multiple Huffman code tables to translate the quantized values into a binary format. As is known, entropy coding in the form of Huffman coding uses code tables which are created on the basis of expected signal statistics and in which frequently occurring values are given shorter code words than less frequently occurring values. The entropy-coded values are then also supplied as actual main information to the bit stream formatter 1004, which then outputs the coded audio signal on the output side in accordance with a specific bit stream syntax.
Wie es bereits ausgeführt worden ist, wird im TNS- Verarbeitungsblock 1010 zur zeitlichen Formung des Quanti- sierungsgeräusches innerhalb eines Codierframes eine Prädiktionsfilterung verwendet.As has already been explained, predictive filtering is used in the TNS processing block 1010 to temporally form the quantization noise within a coding frame.
Insbesondere erfolgt die zeitliche Formung des Quantisierungsrauschens durch Filterung der Spektralkoeffizienten über der Frequenz im Codierer vor der Quantisierung und anschließenden inversen Filterung im Decodierer. Die TNS- Verarbeitung bewirkt, dass die Hüllkurve des Quantisierungsrauschens zeitlich unter die Hüllkurve des Signals geschoben wird, um Vorecho-Artefakte zu vermeiden. Die Anwen- düng des TNS ergibt sich aus einer Schätzung des Prädiktionsgewinns der Filterung, wie es vorstehend ausgeführt worden. Die Filterkoeffizienten für jeden Codierframe werden über ein Korrelationsmaß bestimmt. Die Berechnung der Filterkoeffizienten erfolgt separat für jeden Kanal. Sie wer- den ebenfalls separat im codierten Bitstrom übertragen.In particular, the temporal shaping of the quantization noise is carried out by filtering the spectral coefficients over the frequency in the encoder before the quantization and subsequent inverse filtering in the decoder. The TNS processing causes the envelope of the quantization noise to be shifted below the envelope of the signal in order to avoid pre-echo artifacts. The application of the TNS results from an estimate of the prediction gain of the filtering, as was explained above. The filter coefficients for each coding frame are determined via a correlation measure. The filter coefficients are calculated separately for each channel. They are also transmitted separately in the coded bit stream.
Nachteilig an der Aktivierung/Deaktivierung des TNS- Konzepts ist die Tatsache, dass für jeden Stereokanal, wenn einmal eine TNS-Verarbeitung aufgrund des guten erwarteten Codiergewinns aktiviert worden ist, die TNS-Filterung für jeden Kanal getrennt stattfindet. So ist dies bei relativ unterschiedlichen Kanälen noch unproblematisch. Sind jedoch der linke und der rechte Kanal relativ ähnlich, haben also der linke und der rechte Kanal in einem Extrembeispiel genau dieselbe Nutzinformation, wie beispielsweise ein Sprecher, und unterscheiden sich lediglich im Hinblick auf das in den Kanälen unweigerlich enthaltene Rauschen, so wird beim Stand der Technik dennoch für jeden Kanal ein eigenes TNS-Filter berechnet und verwendet. Nachdem das TNS-Filter direkt vom linken bzw. rechten Kanal abhängt, und insbesondere auf die Spektraldaten des linken und des rechten Kanals relativ empfindlich reagiert, wird auch im Falle eines Signals, bei dem der linke und der rechte Kanal sehr ähnlich sind, also im Falle eines sogenannten „Quasi-Mono- Signals", für jeden Kanal eine TNS-Verarbeitung mit einem eigenen Prädiktionsfilter durchgeführt. Dies führt dazu, dass aufgrund der unterschiedlichen Filterkoeffizienten auch eine unterschiedliche zeitliche Rauschformung in den beiden Stereokanälen stattfindet.A disadvantage of the activation / deactivation of the TNS concept is the fact that for each stereo channel, if once TNS processing has been activated due to the good expected coding gain, TNS filtering takes place separately for each channel. So this is not a problem with relatively different channels. However, if the left and right channels are relatively similar, in an extreme example, the left and right channels have exactly the same useful information as a speaker, for example, and differ only in terms of the noise inevitably contained in the channels technology nevertheless calculates and uses a separate TNS filter for each channel. Since the TNS filter is directly dependent on the left and right channels, and is relatively sensitive to the spectral data of the left and right channels in particular, it is also used in the case of a signal in which the left and right channels are very similar In the case of a so-called "quasi-mono signal", TNS processing is carried out for each channel with its own prediction filter. This means that due to the different filter coefficients, different temporal noise shaping takes place in the two stereo channels.
Nachteilig an diesem Effekt ist, dass er zu hörbaren Artefakten führen kann, da z. B. das ursprüngliche mono-artige Klangbild durch diese zeitlichen Differenzen einen unerwünschten Stereocharakter bekommt.The disadvantage of this effect is that it can lead to audible artifacts, since e.g. B. the original mono-like sound through these temporal differences gets an undesirable stereo character.
Das bekannte Prozedere hat jedoch einen weiten möglicherweise noch schwerwiegenderen Nachteil. Durch die TNS- Verarbeitung werden die TNS-Ausgangswerte, also die spektralen Restwerte einer Mitte/Seite-Codierung im Mitte/Seite- Codierer 1002 von Fig. 3 unterzogen. Während vor der TNS- Verarbeitung die beiden Kanäle noch relativ gleich waren, kann dies nach der TNS-Verarbeitung nicht mehr gesagt wer- den. Durch den beschriebenen Stereo-Effekt, der durch die getrennte TNS-Verarbeitung eingeführt worden ist, werden die spektralen Restwerte der beiden Kanäle unähnlicher gemacht, als sie eigentlich sein würden. Dies führt zu einem unmittelbaren Abfall an Codiergewinn aufgrund der Mitte/Seite-Codierung, was insbesondere für Anwendungen, bei denen eine niedrige Bitrate erforderlich ist, besonders nachteilhaft ist.The known procedure, however, has a possibly possibly more serious disadvantage. By means of the TNS processing, the TNS output values, that is to say the spectral residual values, are subjected to a center / side coding in the center / side encoder 1002 of FIG. 3. While the two channels were relatively the same before TNS processing, this cannot be said after TNS processing. The described stereo effect, which was introduced by the separate TNS processing, makes the spectral residual values of the two channels more dissimilar than they actually would be. This leads to one immediate decrease in coding gain due to the center / side coding, which is particularly disadvantageous especially for applications in which a low bit rate is required.
Zusammenfassend ist die bekannte TNS-Aktivierung somit für Stereosignale, die in beiden Kanäle ähnliche aber nicht exakt identische Signalinformationen benutzen, wie beispielsweise mono-ähnliche Sprachsignale, problematisch. Sofern bei der TNS-Detektion für beide Kanäle unterschiedliche Filterkoeffizienten ermittelt werden, führt das zu einer zeitlich unterschiedlichen Formung des Quantisierungsgeräusches in den Kanälen. Dies kann zu hörbaren Artefakten führen, da z. B. das ursprüngliche mono-artige Klangbild durch diese zeitlichen Differenzen einen unerwünschten Stereocharakter bekommt. Weiterhin wird, wie es ausgeführt worden ist, das TNS-modifizierte Spektrum in einem nachfolgenden Schritt einer Mitte/Seite-Codierung unterzogen. Unterschiedliche Filter in beiden Kanälen verringern zusätzlich die Ähnlichkeit der Spektralkoeffizienten und damit den Mitte/Seite-Gewinn.In summary, the known TNS activation is therefore problematic for stereo signals that use similar but not exactly identical signal information in both channels, such as mono-similar speech signals. If different filter coefficients are determined for the TNS detection for both channels, this leads to a temporally different shaping of the quantization noise in the channels. This can lead to audible artifacts, e.g. B. the original mono-like sound through these temporal differences gets an undesirable stereo character. Furthermore, as has been explained, the TNS-modified spectrum is subjected to middle / side coding in a subsequent step. Different filters in both channels additionally reduce the similarity of the spectral coefficients and thus the center / side gain.
Die DE 19829284C2 offenbart ein Verfahren und eine Vorrichtung zum Verarbeiten eines zeitlichen Stereosignals und ein Verfahren und eine Vorrichtung zum Decodieren eines unter Verwendung einer Prädiktion über der Frequenz codierten Audiobitstroms. Je nach Implementierung können der linke, der rechte und der Monokanal einer eigenen Prädiktion über der Frequenz, d. h. einer TNS-Verarbeitung unterzogen werden. So kann für jeden Kanal eine eigene vollständige Prädiktion durchgeführt werden. Alternativ kann bei einer unvollständigen Prädiktion eine Berechnung der Prädiktionskoeffizienten für den linken Kanal erfolgen, die dann zur Filterung des rechten Kanals und des Monokanals eingesetzt werden.DE 19829284C2 discloses a method and an apparatus for processing a temporal stereo signal and a method and an apparatus for decoding an audio bit stream coded using prediction over frequency. Depending on the implementation, the left, the right and the mono channel of their own prediction over the frequency, i. H. undergo TNS processing. This means that a complete prediction can be made for each channel. Alternatively, if the prediction is incomplete, the prediction coefficients for the left channel can be calculated, which are then used to filter the right channel and the mono channel.
Die Aufgabe der vorliegenden Erfindung besteht darin, ein Konzept zum Verarbeiten eines Multikanalsignals zu schaf- fen, das geringere Artefakte und dennoch eine gute Komprimierung der Informationen ermöglicht.The object of the present invention is to create a concept for processing a multi-channel signal. fen, which enables less artifacts and yet a good compression of the information.
Diese Aufgabe wird durch eine Vorrichtung zum Verarbeiten eines Multikanalsignals nach Patentanspruch 1, ein Verfahren zum Verarbeiten eines Multikanalsignals nach Patentanspruch 11 oder ein Computerprogramm nach Patentanspruch 12 gelöst .This object is achieved by a device for processing a multichannel signal according to claim 1, a method for processing a multichannel signal according to claim 11 or a computer program according to claim 12.
Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, dass dann, wenn der linke und der rechte Kanal ähnlich sind, also ein Ähnlichkeitsmaß überschreiten, für beide Kanäle die gleiche TNS-Filterung anzuwenden ist. Damit wird sichergestellt, dass durch die TNS-Verarbeitung keine Pseu- do-Stereo-Artefakte in das Multikanalsignal eingeführt werden, da durch Verwendung desselben Prädiktionsfilters für beide Kanäle erreicht wird, dass auch die zeitliche Formung des Quantisierungsrauschens für beide Kanäle identisch stattfindet, also dass keine Pseudo-Stereoartefakte zu hö- ren sind.The present invention is based on the finding that if the left and right channels are similar, ie exceed a similarity measure, the same TNS filtering must be used for both channels. This ensures that no pseudo stereo artifacts are introduced into the multichannel signal by the TNS processing, since by using the same prediction filter for both channels, the temporal shaping of the quantization noise takes place identically for both channels, ie that no pseudo stereo artifacts can be heard.
Darüber hinaus wird sichergestellt, dass die Signale nicht unähnlicher werden als sie eigentlich sein müssten. Die Ähnlichkeit der Signale nach der TNS-Filterung, also die Ähnlichkeit der spektralen Restwerte entspricht dabei der Ähnlichkeit der Eingangssignale in die Filter und nicht, wie im Stand der Technik, der Ähnlichkeit der Eingangssignale, die noch durch unterschiedliche Filter reduziert wird.It also ensures that the signals do not become more dissimilar than they should be. The similarity of the signals after TNS filtering, that is to say the similarity of the spectral residual values, corresponds to the similarity of the input signals to the filters and not, as in the prior art, to the similarity of the input signals, which is still reduced by different filters.
Damit wird eine nachfolgende Mitte/Seite-Codierung keine Bitratenverluste haben, da die Signale nicht unähnlicher gemacht worden sind, als sie eigentlich sind.Subsequent mid / side encoding will not have any bit rate losses since the signals have not been made more dissimilar than they actually are.
Natürlich wird durch Verwenden des selben Prädiktionsfilters für beide Signale ein kleiner Verlust an Prädiktionsgewinn auftreten. Dieser Verlust wird jedoch nicht so groß sein, da die Synchronisierung der TNS-Filterung für beide Kanäle ohnehin nur dann eingesetzt wird, wenn die beiden Kanäle ähnlich zueinander sind. Dieser kleine Verlust an Prädiktionsgewinn wird jedoch, wie sich herausgestellt hat, ohne weiteres durch den Mitte/Seite-Gewinn ausgeglichen, da durch die TNS-Verarbeitung keine zusätzliche Unähnlichkeit zwischen linkem und rechtem Kanal eingeführt wird, welche zu einer Reduktion des Mitte/Seite-Codiergewinns führen würde .Of course, using the same prediction filter for both signals will result in a small loss of prediction gain. However, this loss will not be as great as the TNS filtering synchronization for both Channels are only used if the two channels are similar to each other. This small loss of prediction gain, however, has been found to be easily compensated for by the center / side gain, since TNS processing does not introduce any additional dissimilarity between the left and right channels, which leads to a reduction in the center / side Coding gain would result.
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Zeichnungen detailliert erläutert. Es zeigen:Preferred embodiments of the present invention are explained in detail below with reference to the accompanying drawings. Show it:
Fig. 1 ein Blockschaltbild einer erfindungsgemäßen Vor- richtung zum Verarbeiten eines Multikanalsignals;1 shows a block diagram of a device according to the invention for processing a multi-channel signal;
Fig. 2 eine bevorzugte Ausführungsform der Einrichtung zum Ermitteln einer Ähnlichkeit und der Einrichtung zum Durchführen der Prädiktionsfilterung; und2 shows a preferred embodiment of the device for determining a similarity and the device for performing the prediction filtering; and
Fig. 3 ein Blockschaltbild eines bekannten Audiocodie- rers gemäß dem AAC-Standard.3 shows a block diagram of a known audio encoder in accordance with the AAC standard.
Fig. 1 zeigt eine Vorrichtung zum Verarbeiten eines Multikanalsignals, wobei das Multikanalsignal durch je einen Block von Spektralwerten für wenigstens zwei Kanäle dargestellt ist, wie es durch L und R gezeigt ist. Die Blöcke von Spektralwerten werden durch z. B. MDCT-Filterung mit- tels einer MDCT-Filterbank 10 aus Zeitbereichs-Abtastwerten l(t) bzw. r(t) für jeden Kanal ermittelt.1 shows a device for processing a multichannel signal, the multichannel signal being represented by a block of spectral values for at least two channels, as shown by L and R. The blocks of spectral values are represented by e.g. B. MDCT filtering by means of an MDCT filter bank 10 determined from time-domain samples l (t) or r (t) for each channel.
Die Blöcke von Spektralwerten für jeden Kanal werden dann bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung einer Einrichtung 12 zum Ermitteln einer Ähnlichkeit zwischen den beiden Kanälen zugeführt. Alternativ kann die Einrichtung zum Ermitteln der Ähnlichkeit zwischen den beiden Kanälen auch, wie es in Fig. 1 gezeigt ist, unter Verwendung von Zeitbereichs-Abtastwerten l(t) oder r(t) für jeden Kanal durchgeführt werden. Es wird jedoch bevorzugt, die aus der Filterbank 10 erhaltenen Blöcke von Spektralwerten zur Ähnlichkeitsbestimmung zu verwenden, da diese gleichermaßen durch mögliche Effekte der Filterung in der Filterbank 10 beeinflusst sind.In a preferred exemplary embodiment of the present invention, the blocks of spectral values for each channel are then fed to a device 12 for determining a similarity between the two channels. Alternatively, the device for determining the similarity between the two channels can also, as shown in FIG. 1, under Use time domain samples l (t) or r (t) for each channel. However, it is preferred to use the blocks of spectral values obtained from the filter bank 10 for determining the similarity, since these are equally influenced by possible effects of the filtering in the filter bank 10.
Die Einrichtung 12 zum Ermitteln der Ähnlichkeit zwischen dem ersten und dem zweiten Kanal ist wirksam, um basierend auf einem Ähnlichkeitsmaß oder alternativ einem Unähnlich- keitsmaß ein Steuersignal an einer Steuerleitung 14 zu erzeugen, das wenigstens zwei Zustände hat, von denen einer zum Ausdruck bringt, dass die Blöcke von Spektralwerten der beiden Kanäle ähnlich sind, oder das in seinem anderen Zu- stand aussagt, dass die Blöcke von Spektralwerten für jeden Kanal unähnlich sind. Die Entscheidung darüber, ob Ähnlichkeit oder Unähnlichkeit vorherrscht, kann unter Verwendung eines vorzugsweise numerischen Ähnlichkeitsmaßes getroffen werden.The device 12 for determining the similarity between the first and the second channel is operative to generate a control signal on a control line 14, which has at least two states, one of which expresses, based on a measure of similarity or alternatively a measure of dissimilarity. that the blocks of spectral values of the two channels are similar, or that in its other state states that the blocks of spectral values are different for each channel. The decision as to whether similarity or dissimilarity prevails can be made using a preferably numerical similarity measure.
So existieren verschiedene Möglichkeiten zur Bestimmung der Ähnlichkeit zwischen den zwei Blöcken von Spektralwerten für jeden Kanal, von denen eine Möglichkeit eine Kreuzkorrelationsberechnung ist, die einen Wert ergibt, der dann mit einer vorbestimmten Ähnlichkeitsschwelle verglichen werden kann. Alternative Ähnlichkeitsmessverfahren sind bekannt, wobei eine bevorzugte Form nachfolgend beschrieben wird.There are various ways of determining the similarity between the two blocks of spectral values for each channel, one of which is a cross-correlation calculation that yields a value that can then be compared to a predetermined similarity threshold. Alternative similarity measurement methods are known, a preferred form being described below.
Sowohl der Block von Spektralwerten für den linken Kanal als auch der Block von Spektralwerten für den rechten Kanal wird einer Einrichtung 16 zum Durchführen einer Prädiktionsfilterung zugeführt. Insbesondere wird eine Prädiktionsfilterung über der Frequenz durchgeführt, wobei die Ein- richtung zum Durchführen ausgebildet ist, um zum Durchführen der Prädiktion über der Frequenz ein gemeinsames Prädiktionsfilter 16a für den Block von Spektralwerten des ersten Kanals und für den Block von Spektralwerten des zweiten Kanals zu verwenden, wenn die Ähnlichkeit größer als eine Schwellenähnlichkeit ist. Wird der Einrichtung 16 zum Durchführen der Prädiktionsfilterung dagegen von der Einrichtung 12 zum Ermitteln einer Ähnlichkeit mitgeteilt, dass die beiden Blöcke von Spektralwerten für jeden Kanal unähnlich sind, also eine Ähnlichkeit haben, die kleiner als eine Schwellenähnlichkeit ist, so wird die Einrichtung 16 zum Durchführen der Prädiktionsfilterung unterschiedliche Filter 16b auf den linken und den rechten Kanal anwen- den.Both the block of spectral values for the left channel and the block of spectral values for the right channel are fed to a device 16 for performing a prediction filtering. In particular, a prediction filtering is carried out over the frequency, the device being designed for performing, in order to carry out the prediction over the frequency, a common prediction filter 16a for the block of spectral values of the first channel and for the block of spectral values of the second channel if the similarity is greater than a threshold similarity. If, on the other hand, the device 16 for performing the prediction filtering is informed by the device 12 for determining a similarity that the two blocks of spectral values for each channel are dissimilar, that is to say have a similarity that is smaller than a threshold similarity, the device 16 for performing a similarity Prediction filtering, apply different filters 16b to the left and right channels.
Die Ausgangssignale der Einrichtung 16 sind somit spektrale Restwerte des linken Kanals an einem Ausgang 18a als auch spektrale Restwerte des rechten Kanals an einem Ausgang 18b, wobei, je nach Ähnlichkeit des linken und des rechten Kanals die spektralen Restwerte der beiden Kanäle unter Verwendung des selben Prädiktionsfilters (Fall 16a) oder unter Verwendung unterschiedlicher Prädiktionsfilter (Fall 16b) erzeugt worden sind.The output signals of the device 16 are thus spectral residual values of the left channel at an output 18a as well as spectral residual values of the right channel at an output 18b, wherein, depending on the similarity of the left and the right channel, the spectral residual values of the two channels using the same prediction filter (Case 16a) or using different prediction filters (case 16b).
Je nach tatsächlicher Codiererimplementierung können die spektralen Restwerte des linken und des rechten Kanals entweder direkt oder nach mehreren Verarbeitungen, wie sie z. B. im AAC-Standard vorgesehen sind, einem Mitte/Seite- Stereocodierer zugeführt werden, welcher an einem Ausgang 21a das Mitte-Signal als Hälfte der Summe von linkem und rechtem Kanal ausgibt, während das Seite-Signal als Hälfte der Differenz von linkem und rechtem Kanal ausgegeben wird.Depending on the actual encoder implementation, the spectral residual values of the left and the right channel can either be directly or after several processing operations, as they are e.g. B. are provided in the AAC standard, a center / side stereo encoder which outputs the center signal as an half of the sum of the left and right channel at an output 21a, while the side signal as half the difference of the left and right channel is output.
Wie es ausgeführt worden ist, ist das Seite-Signal nunmehr, falls vorher eine hohe Ähnlichkeit zwischen den Kanälen bestand, aufgrund der Synchronisierung der TNS-Verarbeitung der beiden Kanäle, kleiner als in dem Fall, bei dem für ähnliche Kanäle unterschiedliche TNS-Filter verwendet wer- den, was somit, aufgrund der Tatsache, dass das Seite- Signal kleiner ist, einen höheren Codiergewinn in Aussicht stellt. Nachfolgend wird Bezug nehmend auf Fig. 2 ein bevorzugtes Ausführungsbeispiel der vorliegenden Erfindung dargestellt, bei dem in der Einrichtung 12 zum Ermitteln einer Ähnlichkeit bereits die erste Stufe der TNS-Berechnung durchge- führt wird, nämlich die Berechnung der Parcor- bzw. Reflexionskoeffizienten und des Prädiktionsgewinns für sowohl den linken Kanal als auch den rechten Kanal, wie es durch die Blöcke 12a, 12b dargestellt ist.As has been explained, the side signal, if there was previously a high similarity between the channels, is now smaller than in the case where different TNS filters are used for similar channels due to the synchronization of the TNS processing of the two channels become, which therefore, due to the fact that the side signal is smaller, promises a higher coding gain. A preferred exemplary embodiment of the present invention is shown below with reference to FIG. 2, in which the first stage of the TNS calculation is already carried out in the device 12 for determining a similarity, namely the calculation of the Parcor or reflection coefficients and the Prediction gain for both the left channel and the right channel, as represented by blocks 12a, 12b.
Diese TNS-Verarbeitung liefert somit sowohl die Filterkoeffizienten für das letztendlich zu verwendende Prädiktionsfilter als auch den Prädiktionsgewinn, wobei dieser Prädiktionsgewinn auch dazu benötigt wird, um zu entscheiden, ob überhaupt eine TNS-Verarbeitung durchgeführt werden soll oder nicht.This TNS processing thus provides both the filter coefficients for the prediction filter ultimately to be used as well as the prediction gain, this prediction gain also being required to decide whether TNS processing should be carried out at all or not.
Der Prädiktionsgewinn für den ersten, linken Kanal, der in Fig. 2 mit PG1 bezeichnet ist, wird ebenso wie der Prädiktionsgewinn für den rechten Kanal, der in Fig. 2 mit PG2 bezeichnet ist, in eine Ähnlichkeitsmaßbestimmungseinrich- tung eingespeist, die in Fig. 2 mit 12c bezeichnet ist. Diese Ähnlichkeitsbestimmungseinrichtung ist wirksam, um den absoluten Betrag der Differenz oder die relative Differenz der beiden Prädiktionsgewinne zu berechnen und zu schauen, ob dieser unter einer vorbestimmten Abweichungsschwelle S ist. Liegt der absolute Betrag der Differenz der Prädiktionsgewinne unterhalb der Schwelle S, so wird davon ausgegangen, dass die beiden Signale ähnlich sind, und die Frage im Block 12c wird mit Ja beantwortet. Wird dagegen festgestellt, dass die Differenz größer als die Ähnlichkeitsschwelle S ist, so wird die Frage mit Nein beantwortet. Im Falle der Beantwortung dieser Frage mit Ja wird in der Einrichtung 16 ein gemeinsames Filter für beide Kanäle L und R verwendet, während im Falle der Beantwortung der Frage im Block 12c mit Nein getrennte Filter verwendet werden, also eine TNS-Verarbeitung, wie im Stand der Technik durchgeführt werden kann. Hierzu wird der Einrichtung 16 ein Satz von Filterkoeffizienten FKL für den linken Kanal und ein Satz von Filterkoeffizienten FKR für den rechten Kanal von den Einrichtungen 12a bzw. 12b zugeführt.The prediction gain for the first left channel, which is denoted by PG1 in FIG. 2, as well as the prediction gain for the right channel, which is denoted by PG2 in FIG. 2, is fed into a similarity measure determination device, which is shown in FIG. 2 is designated 12c. This similarity determination device is effective to calculate the absolute amount of the difference or the relative difference of the two prediction gains and to see whether it is below a predetermined deviation threshold S. If the absolute amount of the difference in the prediction gains is below the threshold S, it is assumed that the two signals are similar and the question in block 12c is answered with yes. If, on the other hand, it is found that the difference is greater than the similarity threshold S, the question is answered with no. If this question is answered with yes, the device 16 uses a common filter for both channels L and R, while if the question is answered in block 12c, separate filters with no are used, i.e. TNS processing, as in the prior art the technology can be carried out. For this purpose, the device 16 is supplied with a set of filter coefficients FKL for the left channel and a set of filter coefficients FKR for the right channel by the devices 12a and 12b.
Bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung wird zur Filterung mittels eines gemeinsamen Filters eine besondere Auswahl in einem Block 16c getroffen. Im Block 16c wird entschieden, welcher Kanal die größere Energie hat. Wird festgestellt, dass der linke Kanal die größere Energie hat, so werden die von der Einrichtung 12a für den linken Kanal berechneten Filterkoeffizienten FKL für die gemeinsame Filterung verwendet. Wird dagegen im Block 16c festgestellt, dass der rechte Kanal die größere Energie hat, so wird zur gemeinsamen Filterung der Satz von Filterkoeffizienten FKR, der für den rechten Kanal in der Einrichtung 12b berechnet worden ist, verwendet.In a preferred embodiment of the present invention, a special selection is made in a block 16c for filtering by means of a common filter. In block 16c it is decided which channel has the greater energy. If it is determined that the left channel has the greater energy, the filter coefficients FKL calculated by the device 12a for the left channel are used for the common filtering. If, on the other hand, it is determined in block 16c that the right channel has the greater energy, the set of filter coefficients FKR which has been calculated for the right channel in the device 12b is used for the common filtering.
Wie es aus Fig. 2 hervorgeht, kann zur Energiebestimmung sowohl das Zeitsignal als auch das Spektralsignal verwendet werden. Aufgrund der Tatsache, dass im Spektralsignal bereits möglicherweise stattgefundene Transformations- Artefakte enthalten sind, wird es bevorzugt, zur „Energieentscheidung" im Block 16c die Spektralsignale des linken und rechten Kanals zu verwenden.As can be seen from FIG. 2, both the time signal and the spectral signal can be used for energy determination. Due to the fact that transformation artifacts that may have already occurred are contained in the spectral signal, it is preferred to use the spectral signals of the left and right channels for the “energy decision” in block 16c.
In einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung wird eine TNS-Synchronisierung, also die Verwendung der selben Filterkoeffizienten für beide Kanäle einge- setzt, wenn sich die Prädiktionsgewinne für den linken und rechten Kanal um weniger als drei Prozent unterscheiden. Unterscheiden sich beide Kanäle um mehr als drei Prozent, wird die Frage im Block 12c von Fig. 2 mit „Nein" beantwortet.In a preferred exemplary embodiment of the present invention, TNS synchronization, that is to say the use of the same filter coefficients, is used for both channels if the prediction gains for the left and right channels differ by less than three percent. If the two channels differ by more than three percent, the question in block 12c of FIG. 2 is answered with “no”.
Wie es bereits ausgeführt worden ist, werden - im Sinne einer einfachen und wenig rechenintensiven Detektion der Ähnlichkeit - die Prädiktionsgewinne der beiden Kanäle bei der Filterung verglichen. Unterschreitet eine Differenz der Prädiktionsgewinne eine bestimmte Schwelle, werden beide Kanäle mit der gleichen TNS-Filterung beaufschlagt, um die beschriebenen Probleme zu vermeiden.As has already been explained, in the sense of a simple and less computationally intensive detection of the similarity, the prediction gains of the two channels in the Filtering compared. If a difference in the prediction gains falls below a certain threshold, the same TNS filtering is applied to both channels in order to avoid the problems described.
Alternativ kann auch ein Vergleich der Reflexionskoeffizienten der beiden separat berechneten TNS-Filter erfolgen.Alternatively, the reflection coefficients of the two separately calculated TNS filters can also be compared.
Wieder alternativ kann die Ähnlichkeitsbestimmung auch un- ter Verwendung anderer Details des Signals erreicht werden, so dass dann, wenn eine Ähnlichkeit bestimmt worden ist, nur der TNS-Filterkoeffizientensatz für den Kanal berechnet werden muss, der für die Prädiktionsfilterung beider Stereokanäle eingesetzt werden wird. Dies hat zum Vorteil, dass, wenn Fig. 2 betrachtet wird, und wenn die Signale ähnlich sind, nur entweder der Block 12a oder der Block 12b aktiv sein wird.Again, alternatively, the similarity determination can also be achieved using other details of the signal, so that when a similarity has been determined, only the TNS filter coefficient set for the channel that is used for the prediction filtering of both stereo channels has to be calculated. This has the advantage that when looking at Figure 2 and when the signals are similar, only either block 12a or block 12b will be active.
Darüber hinaus kann das erfindungsgemäße Konzept ferner da- hin gehend eingesetzt werden, um die Bitrate des codierten Signals weiter zu reduzieren. Während bei der Verwendung zweier unterschiedlicher Reflexionskoeffizienten unterschiedliche TNS-Seiteninformationen für beide Kanäle übertragen werden, müssen bei der Filterung der beiden Kanäle mit dem selben Prädiktionsfilter nur einmal TNS- Informationen für beide Kanäle übertragen werden. Daher kann durch das erfindungsgemäße Konzept auch eine Reduktion der Bitrate dahin gehend erreicht werden, dass ein Satz von TNS-Seiteninformationen „eingespart" wird, wenn linker und rechter Kanal ähnlich sind.In addition, the concept according to the invention can also be used to further reduce the bit rate of the coded signal. While different TNS side information is transmitted for both channels when using two different reflection coefficients, when filtering the two channels with the same prediction filter, TNS information only has to be transmitted once for both channels. Therefore, the inventive concept can also achieve a reduction in the bit rate in such a way that a set of TNS side information is "saved" if the left and right channels are similar.
Das erfindungsgemäße Konzept ist nicht grundsätzlich auf Stereo-Signale beschränkt, sondern könnte in einer Mehrkanalumgebung zwischen verschiedenen Kanalpaaren oder auch Gruppen von mehr als 2 Kanälen angewandt werden. Zur Ähnlichkeitsbestimmung kann, wie es ausgeführt worden ist, eine Bestimmung des Kreuzkorrelationsmaßes k zwischen linkem und rechtem Kanal oder eine Bestimmung des TNS- Prädiktionsgewinns und der TNS-Filterkoeffizienten für je- den Kanal separat erfolgen.The concept according to the invention is not fundamentally limited to stereo signals, but could be used in a multi-channel environment between different channel pairs or groups of more than 2 channels. For the determination of similarity, as has been explained, a determination of the cross-correlation measure k between the left and right channels or a determination of the TNS prediction gain and the TNS filter coefficients can be carried out separately for each channel.
Die Synchronisationsentscheidung erfolgt, falls k eine Schwelle überschreitet (z.B. 0.6) und MS-Stereo-Coding aktiviert ist. Das MS-Kriterium kann auch weggelassen werden.The synchronization decision is made if k exceeds a threshold (e.g. 0.6) and MS stereo coding is activated. The MS criterion can also be omitted.
Bei der Synchronisation erfolgt eine Bestimmung des Referenzkanals, dessen TNS-Filter für den anderen Kanal übernommen werden soll. Z. B. wird der Kanal mit der größeren Energie als Referenzkanal verwendet. Insbesondere erfolgt dann ein Kopieren der TNS-Filterkoeffizienten vom Referenzkanal auf den anderen Kanal.During synchronization, the reference channel is determined, whose TNS filter is to be adopted for the other channel. For example, the channel with the greater energy is used as the reference channel. In particular, the TNS filter coefficients are then copied from the reference channel to the other channel.
Schließlich erfolgt eine Anwendung der synchronisierten o- der nicht-synchronisierten TNS-Filter auf das Spektrum.Finally, the synchronized or non-synchronized TNS filters are applied to the spectrum.
Alternativ erfolgt eine Bestimmung des TNS- Prädiktionsgewinns und der TNS-Filterkoeffizienten für jeden Kanal separat. Dann erfolgt eine Entscheidung. Falls sich der Prädiktionsgewinn beider Kanäle um nicht mehr als ein gewisses Maß unterscheidet, z. B. 3%, erfolgt die Synchronisation. Hier kann der Referenzkanal auch willkürlich gewählt werden, wenn man von einer Ähnlichkeit der Kanäle ausgehen kann. Auch hier gibt es ein Kopieren der TNS- Filterkoeffizienten vom Referenzkanal auf den anderen Ka- nal, woraufhin eine Anwendung der synchronisierten oder nicht-synchronisierten TNS-Filter auf das Spektrum stattfindet. Alternative Möglichkeiten sind folgende: Ob TNS in einem Kanal grundsätzlich aktiviert wird, hängt vom Prädiktionsgewinn in diesem Kanal ab. Überschreitet dieser eine gewisse Schwelle, wird TNS für diesen Kanal aktiviert. Alterna- tiv wird auch eine TNS-Synchronisation für 2 Kanäle gemacht, wenn nur in einem der beiden Kanäle TNS aktiviert war. Bedingung ist dann, dass z.B. der Prädiktionsgewinn ähnlich ist, also ein Kanal knapp über der Aktivierungsgrenze, und ein Kanal knapp unter der Aktivierungsgrenze liegt. Aus diesem Vergleich wird dann die Aktivierung von TNS für beide Kanäle mit gleichen Koeffizienten abgeleitet, oder unter Umständen auch die Deaktivierung für beide Kanäle.Alternatively, the TNS prediction gain and the TNS filter coefficients are determined separately for each channel. Then a decision is made. If the prediction gain of both channels does not differ by more than a certain amount, e.g. B. 3%, the synchronization takes place. Here, the reference channel can also be chosen arbitrarily if one can assume that the channels are similar. Here, too, the TNS filter coefficients are copied from the reference channel to the other channel, whereupon the synchronized or non-synchronized TNS filters are applied to the spectrum. Alternative options are as follows: Whether TNS is basically activated in a channel depends on the prediction gain in this channel. If this exceeds a certain threshold, TNS is activated for this channel. Alternatively, a TNS synchronization for 2 channels is carried out if TNS was only activated in one of the two channels. The condition is then that, for example, the prediction gain is similar, ie a channel just above the activation limit and a channel just below the activation limit. The activation of TNS for both channels with the same coefficients is then derived from this comparison, or under certain circumstances also the deactivation for both channels.
Abhängig von der Gegebenheit, kann das erfindungsgemäße Verfahren zum Verarbeiten eines Mehrkanalsignals in Hardware oder in Software implementiert werden. Die Implementierung kann auf einem digitalen Speichermedium, insbesondere einer Diskette oder CD mit elektronisch auslesbaren Steuersignalen erfolgen, die so mit einem programmierbaren Computersystem zusammenwirken können, dass das Verfahren ausgeführt wird. Allgemein besteht die Erfindung somit auch in einem Computer-Programm-Produkt mit einem auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des erfindungsgemäßen Verfahrens, wenn das Computer-Programm-Produkt auf einem Rechner abläuft. In anderen Worten ausgedrückt, kann die Erfindung somit als ein Computer-Programm mit einem Programmcode zur Durchführung des Verfahrens realisiert werden, wenn das Computer-Programm auf einem Computer abläuft. Depending on the circumstances, the method according to the invention for processing a multi-channel signal can be implemented in hardware or in software. The implementation can take place on a digital storage medium, in particular a floppy disk or CD with electronically readable control signals, which can cooperate with a programmable computer system such that the method is carried out. In general, the invention thus also consists in a computer program product with a program code stored on a machine-readable carrier for carrying out the method according to the invention when the computer program product runs on a computer. In other words, the invention can thus be implemented as a computer program with a program code for carrying out the method if the computer program runs on a computer.

Claims

Patentansprüche claims
1. Vorrichtung zum Verarbeiten eines Multikanalsignals, wobei das Multikanalsignal durch je einen Block von Spektralwerten für wenigstens zwei Kanäle dargestellt ist, mit folgenden Merkmalen: einer Einrichtung (12) zum Ermitteln einer Ähnlichkeit zwischen einem ersten der zwei Kanäle und einem zwei- ten der zwei Kanäle, wobei die Einrichtung (12) zum Ermitteln ausgebildet ist, um einen ersten Prädiktionsgewinn aus einer Prädiktion des Blocks des ersten Kanals und einen zweiten Prädiktionsgewinn aus einer Prädiktion des Blocks des zweiten Kanals oder erste Reflexionskoeffizienten für ein erstes Prädiktionsfilter für den ersten Kanal und zweite Reflexionskoeffizienten für ein zweites Prädiktionsfilter des zweiten Kanals zu berechnen, und um die Ähnlichkeit unter Verwendung des ersten Prädiktionsgewinns und des zweiten Prädiktionsgewinns oder unter Verwendung der ersten Reflexionskoeffizienten und der zweiten Reflexionskoeffizienten zu erhalten (12c) ; einer Einrichtung (16) zum Durchführen einer Prädikti- onsfilterung, wobei die Einrichtung zum Durchführen ausgebildet ist, um zum Durchführen der Prädiktionsfilterung ein gemeinsames Prädiktionsfilter für den Block von Spektralwerten des ersten Kanals und den Block von Spektralwerten des zweiten Kanals zu verwenden, wenn eine Ähnlichkeit größer als eine Schwellenähnlichkeit ist, oder um zur Durchführung der Prädiktionsfilterung zwei unterschiedliche Prädiktionsfilter zu verwenden, wenn die Ähnlichkeit kleiner als eine Schwellenähnlichkeit ist 1. Device for processing a multichannel signal, the multichannel signal being represented by a block of spectral values for at least two channels each, with the following features: a device (12) for determining a similarity between a first of the two channels and a second of the two Channels, the device (12) being designed to determine a first prediction gain from a prediction of the block of the first channel and a second prediction gain from a prediction of the block of the second channel or first reflection coefficients for a first prediction filter for the first channel and second Calculate reflection coefficients for a second prediction filter of the second channel and to obtain the similarity using the first prediction gain and the second prediction gain or using the first reflection coefficients and the second reflection coefficients (12c); a device (16) for performing a prediction filtering, the device for performing being designed to use a common prediction filter for the block of spectral values of the first channel and the block of spectral values of the second channel when performing the prediction filtering, if a similarity is greater than a threshold similarity, or to use two different prediction filters to perform the prediction filtering if the similarity is less than a threshold similarity
2. Vorrichtung nach Anspruch 1, bei der die Einrichtung (16) zum Durchführen ausgebildet ist, um als ein Ergebnis der Prädiktion spektrale Restwerte auszugeben, und wobei die Vorrichtung ferner folgendes Merkmal aufweist: eine Einrichtung (20) zum gemeinsamen Codieren von spektralen Restwerten oder von den spektralen Restwerten abgeleiteten Werten des ersten Kanals und von spektralen Restwerten oder von den spektralen Restwerten abgeleiteten Werten des zweiten Kanals, wenn die Ähnlichkeit größer als eine Schwellenähnlichkeit ist.2. The apparatus of claim 1, wherein the device (16) is designed to perform to output residual spectral values as a result of the prediction, and wherein the device further comprises: means (20) for jointly coding residual spectral values or values of the first channel derived from the residual spectral values and values of the second channel derived from residual spectral values or values derived from the residual spectral values if the similarity is greater than a threshold similarity.
3. Vorrichtung nach Anspruch 2, bei der die gemeinsame Codierung eine Mitte/Seite-Codierung ist.3. The apparatus of claim 2, wherein the common coding is a center / side coding.
4. Vorrichtung nach Anspruch 3, bei der die Einrichtung zum gemeinsamen Codieren (20) ausgebildet ist, um auf der Basis einer Summe des ersten und des zweiten Kanals ein Mitte-Signal zu berechnen, und um auf der Basis einer Differenz des ersten und des zweiten Kanals ein Seite-Signal zu berechnen.4. The apparatus of claim 3, wherein the means for common coding (20) is designed to calculate a center signal on the basis of a sum of the first and the second channel, and to calculate on the basis of a difference between the first and the second channel to calculate a side signal.
5. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der der Block von Spektralwerten für einen Kanal ein Kurzzeitspektrum dieses Kanals darstellt, oder bei der der Block von Spektralwerten eine Mehrzahl von Bandpasssignalen für eine Mehrzahl von Subbändern um- fasst .5. Device according to one of the preceding claims, in which the block of spectral values for a channel represents a short-term spectrum of this channel, or in which the block of spectral values comprises a plurality of bandpass signals for a plurality of subbands.
6. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Einrichtung (16) zum Durchführen ausgebildet ist, um eine TNS-Verarbeitung durchzuführen. 6. Device according to one of the preceding claims, in which the device (16) is designed for performing in order to carry out TNS processing.
7. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Einrichtung (12) zum Ermitteln ausgebildet ist, um eine Kreuzkorrelation des ersten und des zweiten Kanals zu berechnen.7. Device according to one of the preceding claims, wherein the device (12) is designed to determine to calculate a cross-correlation of the first and the second channel.
8. Vorrichtung nach Anspruch 8, bei der die Einrichtung (16) zum Durchführen ausgebildet ist, um ein einziges Prädiktionsfilter zu verwenden, wenn der erste Prädiktionsgewinn und der zweite Prädiktionsgewinn um weni- ger als oder gleich drei Prozent unterschiedlich sind.8. The apparatus of claim 8, wherein the means (16) for performing is designed to use a single prediction filter when the first prediction gain and the second prediction gain are less than or equal to three percent different.
9. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Einrichtung (16) zum Durchführen ausgebildet ist, um als gemeinsames Prädiktionsfilter ein Prä- diktionsfilter zu verwenden, dessen Koeffizienten von dem Block von Spektralwerten abgeleitet sind, der mehr Energie enthält als der andere Block von Spektralwerten.9. Device according to one of the preceding claims, in which the device (16) is designed to be implemented in order to use a prediction filter as a common prediction filter, the coefficients of which are derived from the block of spectral values which contains more energy than the other block of spectral values.
10. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Einrichtung (16) zum Durchführen ausgebildet ist, um zur Prädiktion über der Frequenz eine Autokorrelationsberechnung und eine LPC-Berechnung unter Verwendung des Levinson-Durbin-Algorithmus mit dem Block von Spektralwerten durchzuführen, um Parcor- Koeffizienten oder Reflexionskoeffizienten sowie einen Prädiktionsgewinn zu erhalten, und um den Block von Spektralwerten mit den Parcor-Koeffizienten zu filtern, um spektrale Restwerte zu erhalten.10. The device according to one of the preceding claims, in which the device (16) is designed for performing in order to perform an autocorrelation calculation and an LPC calculation using the Levinson-Durbin algorithm with the block of spectral values for prediction over the frequency Obtain Parcor coefficients or reflection coefficients and a prediction gain, and to filter the block of spectral values with the Parcor coefficients to obtain residual spectral values.
11. Verfahren zum Verarbeiten eines Multikanalsignals, wobei das Multikanalsignal durch je einen Block von Spektralwerten für wenigstens zwei Kanäle dargestellt ist, mit folgenden Schritten:11. Method for processing a multichannel signal, the multichannel signal being represented by a block of spectral values for at least two channels each, with the following steps:
Ermitteln (12) einer Ähnlichkeit zwischen einem ersten der zwei Kanäle und einem zweiten der zwei Kanäle durch Berechnen eines ersten Prädiktionsgewinns aus einer Prädiktion des Blocks des ersten Kanals und eines zweiten Prädiktionsgewinns aus einer Prädiktion des Blocks des zweiten Kanals, um die Ähnlichkeit aus dem ersten Prädiktionsgewinn und dem zweiten Prädiktionsgewinn zu erhalten (12c) , oder durch Berechnen von ersten Reflexionskoeffizien- ten für ein erstes Prädiktionsfilter für den ersten Kanal und von zweiten Reflexionskoeffizienten für ein zweites Prädiktionsfilter des zweiten Kanals, um die Ähnlichkeit unter Verwendung der ersten Reflexionskoeffizienten und der zweiten Reflexionskoeffizienten zu erhalten;Determine (12) a similarity between a first of the two channels and a second of the two channels by calculating a first prediction gain from a prediction of the block of the first channel and a second prediction gain from a prediction of the block of the second channel to obtain the similarity from the first prediction gain and the second prediction gain (12c), or by calculating first reflection coefficients. ten for a first prediction filter for the first channel and second reflection coefficients for a second prediction filter for the second channel in order to obtain the similarity using the first reflection coefficients and the second reflection coefficients;
Durchführen einer Prädiktionsfilterung mit einem gemeinsamen Prädiktionsfilter für den Block von Spektralwerten des ersten Kanals und den Block von Spekt- ralwerten des zweiten Kanals, wenn eine Ähnlichkeit größer als eine Schwellenähnlichkeit ist, oderPerforming prediction filtering with a common prediction filter for the block of spectral values of the first channel and the block of spectral values of the second channel if a similarity is greater than a threshold similarity, or
Durchführen der Prädiktionsfilterung mit zwei unterschiedlichen Prädiktionsfiltern für den Block von Spektralwerten des ersten Kanals und den Block von Spektralwerten des zweiten Kanals, wenn die Ähnlichkeit kleiner als eine Schwellenähnlichkeit ist.Performing prediction filtering with two different prediction filters for the block of spectral values of the first channel and the block of spectral values of the second channel if the similarity is less than a threshold similarity.
12. Computer-Programm mit einem Programmcode zum Durchfüh- ren des Verfahrens zum Verarbeiten eines Multikanalsignals nach Anspruch 11, wenn das Programm auf einem Computer abläuft. 12. A computer program with a program code for performing the method for processing a multi-channel signal according to claim 11, when the program runs on a computer.
EP05715611A 2004-03-01 2005-02-28 Device and method for processing a multi-channel signal Active EP1697930B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102004009954A DE102004009954B4 (en) 2004-03-01 2004-03-01 Apparatus and method for processing a multi-channel signal
PCT/EP2005/002110 WO2005083678A1 (en) 2004-03-01 2005-02-28 Device and method for processing a multi-channel signal

Publications (2)

Publication Number Publication Date
EP1697930A1 true EP1697930A1 (en) 2006-09-06
EP1697930B1 EP1697930B1 (en) 2007-06-13

Family

ID=34894904

Family Applications (1)

Application Number Title Priority Date Filing Date
EP05715611A Active EP1697930B1 (en) 2004-03-01 2005-02-28 Device and method for processing a multi-channel signal

Country Status (18)

Country Link
US (1) US7340391B2 (en)
EP (1) EP1697930B1 (en)
JP (1) JP4413257B2 (en)
KR (1) KR100823097B1 (en)
CN (1) CN1926608B (en)
AT (1) ATE364882T1 (en)
AU (1) AU2005217517B2 (en)
BR (1) BRPI0507207B1 (en)
CA (1) CA2558161C (en)
DE (2) DE102004009954B4 (en)
DK (1) DK1697930T3 (en)
ES (1) ES2286798T3 (en)
HK (1) HK1095194A1 (en)
IL (1) IL177213A (en)
NO (1) NO339114B1 (en)
PT (1) PT1697930E (en)
RU (1) RU2332727C2 (en)
WO (1) WO2005083678A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8063809B2 (en) 2008-12-29 2011-11-22 Huawei Technologies Co., Ltd. Transient signal encoding method and device, decoding method and device, and processing system

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7809579B2 (en) * 2003-12-19 2010-10-05 Telefonaktiebolaget Lm Ericsson (Publ) Fidelity-optimized variable frame length encoding
US7725324B2 (en) * 2003-12-19 2010-05-25 Telefonaktiebolaget Lm Ericsson (Publ) Constrained filter encoding of polyphonic signals
US9626973B2 (en) * 2005-02-23 2017-04-18 Telefonaktiebolaget L M Ericsson (Publ) Adaptive bit allocation for multi-channel audio encoding
KR100718416B1 (en) 2006-06-28 2007-05-14 주식회사 대우일렉트로닉스 Method for coding stereo audio signal between channels using prediction filter
JP4940888B2 (en) * 2006-10-23 2012-05-30 ソニー株式会社 Audio signal expansion and compression apparatus and method
KR20080053739A (en) * 2006-12-11 2008-06-16 삼성전자주식회사 Apparatus and method for encoding and decoding by applying to adaptive window size
US20100100372A1 (en) * 2007-01-26 2010-04-22 Panasonic Corporation Stereo encoding device, stereo decoding device, and their method
US8086465B2 (en) 2007-03-20 2011-12-27 Microsoft Corporation Transform domain transcoding and decoding of audio data using integer-reversible modulated lapped transforms
US7991622B2 (en) * 2007-03-20 2011-08-02 Microsoft Corporation Audio compression and decompression using integer-reversible modulated lapped transforms
ATE547786T1 (en) * 2007-03-30 2012-03-15 Panasonic Corp CODING DEVICE AND CODING METHOD
CN101067931B (en) * 2007-05-10 2011-04-20 芯晟(北京)科技有限公司 Efficient configurable frequency domain parameter stereo-sound and multi-sound channel coding and decoding method and system
EP2264698A4 (en) * 2008-04-04 2012-06-13 Panasonic Corp Stereo signal converter, stereo signal reverse converter, and methods for both
EP2273493B1 (en) * 2009-06-29 2012-12-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bandwidth extension encoding and decoding
EP3779977B1 (en) * 2010-04-13 2023-06-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder for processing stereo audio using a variable prediction direction
US8891775B2 (en) * 2011-05-09 2014-11-18 Dolby International Ab Method and encoder for processing a digital stereo audio signal
CN104269173B (en) * 2014-09-30 2018-03-13 武汉大学深圳研究院 The audio bandwidth expansion apparatus and method of switch mode
CN108352163B (en) * 2015-09-25 2023-02-21 沃伊斯亚吉公司 Method and system for decoding left and right channels of a stereo sound signal
CN107659888A (en) * 2017-08-21 2018-02-02 广州酷狗计算机科技有限公司 Identify the method, apparatus and storage medium of pseudostereo audio
EP3483879A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Analysis/synthesis windowing function for modulated lapped transformation
EP3483882A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Controlling bandwidth in encoders and/or decoders
EP3483880A1 (en) * 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Temporal noise shaping
EP3483883A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio coding and decoding with selective postfiltering
EP3483886A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Selecting pitch lag
EP3483878A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder supporting a set of different loss concealment tools
WO2019091573A1 (en) 2017-11-10 2019-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding and decoding an audio signal using downsampling or interpolation of scale parameters
EP3483884A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Signal filtering
WO2019091576A1 (en) 2017-11-10 2019-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits
CN108962268B (en) * 2018-07-26 2020-11-03 广州酷狗计算机科技有限公司 Method and apparatus for determining monophonic audio
CN112151045A (en) 2019-06-29 2020-12-29 华为技术有限公司 Stereo coding method, stereo decoding method and device
CN111654745B (en) * 2020-06-08 2022-10-14 海信视像科技股份有限公司 Multi-channel signal processing method and display device
CN112053669B (en) * 2020-08-27 2023-10-27 海信视像科技股份有限公司 Method, device, equipment and medium for eliminating human voice

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5488665A (en) * 1993-11-23 1996-01-30 At&T Corp. Multi-channel perceptual audio compression system with encoding mode switching among matrixed channels
US5812971A (en) * 1996-03-22 1998-09-22 Lucent Technologies Inc. Enhanced joint stereo coding method using temporal envelope shaping
US5913187A (en) * 1997-08-29 1999-06-15 Nortel Networks Corporation Nonlinear filter for noise suppression in linear prediction speech processing devices
DE19747132C2 (en) * 1997-10-24 2002-11-28 Fraunhofer Ges Forschung Methods and devices for encoding audio signals and methods and devices for decoding a bit stream
DE19829284C2 (en) * 1998-05-15 2000-03-16 Fraunhofer Ges Forschung Method and apparatus for processing a temporal stereo signal and method and apparatus for decoding an audio bit stream encoded using prediction over frequency
US6771723B1 (en) * 2000-07-14 2004-08-03 Dennis W. Davis Normalized parametric adaptive matched filter receiver
US6622117B2 (en) * 2001-05-14 2003-09-16 International Business Machines Corporation EM algorithm for convolutive independent component analysis (CICA)
KR100443405B1 (en) * 2001-07-05 2004-08-09 주식회사 이머시스 The equipment redistribution change of multi channel headphone audio signal for multi channel speaker audio signal
GB0124352D0 (en) * 2001-10-11 2001-11-28 1 Ltd Signal processing device for acoustic transducer array
BRPI0308691B1 (en) * 2002-04-10 2018-06-19 Koninklijke Philips N.V. "Methods for encoding a multi channel signal and for decoding multiple channel signal information, and arrangements for encoding and decoding a multiple channel signal"
JP2007009804A (en) * 2005-06-30 2007-01-18 Tohoku Electric Power Co Inc Schedule system for output-power control of wind power-plant
JP2007095002A (en) * 2005-09-30 2007-04-12 Noritsu Koki Co Ltd Photograph processor

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2005083678A1 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8063809B2 (en) 2008-12-29 2011-11-22 Huawei Technologies Co., Ltd. Transient signal encoding method and device, decoding method and device, and processing system

Also Published As

Publication number Publication date
DE102004009954A1 (en) 2005-09-29
PT1697930E (en) 2007-09-25
ES2286798T3 (en) 2007-12-01
CA2558161A1 (en) 2005-09-09
IL177213A0 (en) 2006-12-10
IL177213A (en) 2011-10-31
BRPI0507207A8 (en) 2018-06-12
CN1926608A (en) 2007-03-07
DK1697930T3 (en) 2007-10-08
JP2007525718A (en) 2007-09-06
BRPI0507207B1 (en) 2018-12-26
KR100823097B1 (en) 2008-04-18
DE502005000864D1 (en) 2007-07-26
CN1926608B (en) 2010-05-05
JP4413257B2 (en) 2010-02-10
EP1697930B1 (en) 2007-06-13
NO339114B1 (en) 2016-11-14
BRPI0507207A (en) 2007-06-12
HK1095194A1 (en) 2007-04-27
RU2332727C2 (en) 2008-08-27
AU2005217517A1 (en) 2005-09-09
DE102004009954B4 (en) 2005-12-15
US20070033056A1 (en) 2007-02-08
RU2006134641A (en) 2008-04-10
WO2005083678A1 (en) 2005-09-09
US7340391B2 (en) 2008-03-04
KR20060121982A (en) 2006-11-29
ATE364882T1 (en) 2007-07-15
NO20064431L (en) 2006-09-29
AU2005217517B2 (en) 2008-06-26
CA2558161C (en) 2010-05-11

Similar Documents

Publication Publication Date Title
EP1697930B1 (en) Device and method for processing a multi-channel signal
EP1687810B1 (en) Device and method for determining a quantiser step size
EP3544003B1 (en) Device and method of determining an estimated value
EP1145227B1 (en) Method and device for error concealment in an encoded audio-signal and method and device for decoding an encoded audio signal
DE69233094T2 (en) Method and arrangement for data compression in which quantization bits are allocated to a block in a current frame depending on a block in a past frame
DE4320990B4 (en) Redundancy reduction procedure
DE19736669C1 (en) Beat detection method for time discrete audio signal
DE602004005020T2 (en) AUDIO SIGNAL SYNTHESIS
EP1953739B1 (en) Method and device for reducing noise in a decoded signal
WO1999004506A1 (en) Method for coding an audio signal
WO1999004505A1 (en) Method for signalling a noise substitution during audio signal coding
EP1397799B1 (en) Method and device for processing time-discrete audio sampled values
EP1825461A1 (en) Method and apparatus for artificially expanding the bandwidth of voice signals
DE10236694A1 (en) Equipment for scalable coding and decoding of spectral values of signal containing audio and/or video information by splitting signal binary spectral values into two partial scaling layers
DE69932861T2 (en) METHOD FOR CODING AN AUDIO SIGNAL WITH A QUALITY VALUE FOR BIT ASSIGNMENT
DE60311334T2 (en) Method and device for coding and decoding a digital information signal
WO2001043503A2 (en) Method and device for processing a stereo audio signal
EP1277346B1 (en) Device and method for analysing a spectral representation of a decoded time-variable signal
DE19742201C1 (en) Method of encoding time discrete audio signals, esp. for studio use
DE4209382C1 (en)
DE10065363B4 (en) Apparatus and method for decoding a coded data signal

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20060721

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU MC NL PL PT RO SE SI SK TR

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: FRAUNHOFER-GESELLSCHAFT ZUR FOERDERUNG DER ANGEWAN

RIN1 Information on inventor provided before grant (corrected)

Inventor name: SCHUG, MICHAEL

Inventor name: GROESCHL, ALEXANDER

Inventor name: HERRE, JUERGEN

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1095194

Country of ref document: HK

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

DAX Request for extension of the european patent (deleted)
AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU MC NL PL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REF Corresponds to:

Ref document number: 502005000864

Country of ref document: DE

Date of ref document: 20070726

Kind code of ref document: P

GBT Gb: translation of ep patent filed (gb section 77(6)(a)/1977)

Effective date: 20070705

REG Reference to a national code

Ref country code: SE

Ref legal event code: TRGR

REG Reference to a national code

Ref country code: PT

Ref legal event code: SC4A

Free format text: AVAILABILITY OF NATIONAL TRANSLATION

Effective date: 20070912

ET Fr: translation filed
REG Reference to a national code

Ref country code: DK

Ref legal event code: T3

REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1095194

Country of ref document: HK

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20070613

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2286798

Country of ref document: ES

Kind code of ref document: T3

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20070613

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20070613

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20070913

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20071013

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20070613

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20070613

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20070914

26N No opposition filed

Effective date: 20080314

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20070613

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20070613

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20070613

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20071214

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20070613

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 12

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 13

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 14

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20230220

Year of fee payment: 19

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: MC

Payment date: 20230216

Year of fee payment: 19

Ref country code: LU

Payment date: 20230216

Year of fee payment: 19

Ref country code: IE

Payment date: 20230215

Year of fee payment: 19

Ref country code: FR

Payment date: 20230220

Year of fee payment: 19

Ref country code: FI

Payment date: 20230222

Year of fee payment: 19

Ref country code: ES

Payment date: 20230317

Year of fee payment: 19

Ref country code: DK

Payment date: 20230220

Year of fee payment: 19

Ref country code: CH

Payment date: 20230307

Year of fee payment: 19

Ref country code: AT

Payment date: 20230215

Year of fee payment: 19

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: SE

Payment date: 20230220

Year of fee payment: 19

Ref country code: PT

Payment date: 20230220

Year of fee payment: 19

Ref country code: IT

Payment date: 20230228

Year of fee payment: 19

Ref country code: GB

Payment date: 20230221

Year of fee payment: 19

Ref country code: DE

Payment date: 20230216

Year of fee payment: 19

Ref country code: BE

Payment date: 20230220

Year of fee payment: 19

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230512

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: LU

Payment date: 20240220

Year of fee payment: 20

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: ES

Payment date: 20240319

Year of fee payment: 20

Ref country code: NL

Payment date: 20240220

Year of fee payment: 20

Ref country code: IE

Payment date: 20240216

Year of fee payment: 20