EP1247275B1 - Device and method for determining a coding block raster of a decoded signal - Google Patents
Device and method for determining a coding block raster of a decoded signal Download PDFInfo
- Publication number
- EP1247275B1 EP1247275B1 EP01900416A EP01900416A EP1247275B1 EP 1247275 B1 EP1247275 B1 EP 1247275B1 EP 01900416 A EP01900416 A EP 01900416A EP 01900416 A EP01900416 A EP 01900416A EP 1247275 B1 EP1247275 B1 EP 1247275B1
- Authority
- EP
- European Patent Office
- Prior art keywords
- coding
- signal
- decoded signal
- coding block
- segment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
Definitions
- the present invention relates generally to Analysis of coded and decoded in some way Signals and especially on analyzing a decoded signal using an encoding algorithm has been processed on a spectral Representation of the original signal builds up.
- FIG. 7 is a Block diagram of an MPEG audio coding method shows.
- an audio encoder typically includes an audio input 70 on which a stream of discrete-time samples which, for example, PCM samples are fed in which are, for example, 16-bit wide.
- an analysis filter bank 71 becomes the stream of discrete-time audio samples in coding blocks or frames of samples divided, using an appropriate window function windowed and then into a spectral representation for example by a filter bank or by a Fourier transformation or a variant of the Fourier transform, such as B. a modified discrete cosine transform (MDCT).
- MDCT modified discrete cosine transform
- the discrete-time audio signal at input 70 is also shown in a psychoacoustic model 72 fed in for data reduction to achieve such that the masking threshold is known of the audio signal depending on the frequency is calculated to in a block 73 which is with quantization and coding, quantization of the spectral coefficients perform which of the masking threshold depends.
- the quantization of the spectral coefficients carried out so roughly that the hereby introduced Quantization noise still below the psychoacoustic Masking threshold caused by the psychoacoustic Model 72 is calculated so that the quantization noise is ideally inaudible.
- This procedure causes that typically a certain number of spectral coefficients, those at the output of the analysis filter bank 71 are still not equal to 0, set to 0 after quantization because the psychoacoustic model found 72 that they are masked by neighboring spectral coefficients and are therefore inaudible.
- an output 75 of the encoder which is also a bit stream output is then referred to, that is according to that shown in Fig. 7 Coding algorithm pre-coded signal block by block.
- the coded signal is output 75 of the encoder shown in FIG. 7 into a bit stream input 80 fed to a decoder shown in FIG. 8, which is initially in a block 81, which acts as a bitstream demultiplexer is a bit stream demultiplexing operation performs the spectral data from the page information to separate.
- a block 81 which acts as a bitstream demultiplexer is a bit stream demultiplexing operation performs the spectral data from the page information to separate.
- Block 81 there are again Codewords before which the individual spectral coefficients represent.
- the code words are decoded to quantized spectral values to obtain.
- These quantized spectral values will be then in a block 82 which is labeled "inverse quantization" is processed by the data in block 73 (FIG. 7) Recalculate introduced quantization.
- Blocks 82 are then again dequantized spectral coefficients which is now using a synthesis filter bank 83, which works inversely to the analysis filter bank 71 (FIG. 7), in the time range will be transferred to an audio output 84 to receive the decoded signal.
- Fig. 7 8 shows the encoder concept described using the example of an audio signal accordingly also on image or video signals is applied, instead of the temporal audio signal a video signal is present, the spectral representation here is not a sound spectrum, but a spatial spectrum. Otherwise, there is also a video signal compression Analysis filter bank, a psycho-optical model, one through it controlled quantization and redundancy coding instead, where also the whole coding / decoding concept block by block expires.
- the decoded signal (using the example of FIG. 8 the decoded Audio signal at audio output 84) is typically again a stream of discrete-time samples that have an encoding block grid is based on that in the decoded signal however, is generally not visible unless special Precautions are taken.
- Both the identification mark and the MOLE determination signal give information about which coding block grid the decoded signal to which the identification mark or assigned the MOLE determination signal is underlying.
- these signals must be explicit be brought in what is described above Brings flexibility disadvantages with it.
- the object of the present invention is a Device and method for determining an encoding block raster, that underlies a decoded signal is to create a decoded signal that does not has an explicit reference to a coding block grid.
- This object is achieved by a device for determining a Coding block grid according to claim 1 or by a method for determining an encoding block grid solved according to claim 11.
- the present invention is based on the finding that that the coding block grid, which by a block oriented Encoder is set virtually randomly decisive influence on the spectral representation of the signal Has. Even minimal deviations or coding block grid offsets cause the spectral representation of the decoded signal a completely different appearance has actually from a spectral representation of the decoded signal would be expected if the same the same coding block grid is used, which is the basis of the decoded signal.
- data-reducing Encoding algorithms using a psychoacoustic model or a psychooptical one Working model is known from the start that due to quantization using a psycho-optical or psychoacoustic masking threshold a certain Number of spectral coefficients is 0.
- This characteristic of the spectrum can be used as a criterion to find out if there is a coding block grid offset is present.
- For a spectrum with grid offset is the fluctuation of z.
- B. logarithmic amplitude of the spectral coefficient is slower or less abrupt than for a spectrum without grid offset, in which a fast or strongly abrupt fluctuation in the amplitude of the spectral coefficients is noticeable.
- a short-term spectrum of the decoded Signal using a coding block division is generated which of the coding block grid division corresponds to the basis of the decoded signal a certain appearance, for example with regard to the Separation of the spectral lines, based on the number of Spectral lines that are equal to 0 or that are very small, Etc.
- the invention is therefore used to determine a coding block grid picked out a section of the decoded signal, whereupon the selected section into a spectral representation of the same is implemented. Subsequently becomes the spectral representation of the selected section with respect to at least one predetermined criterion examined to give an evaluation result for the section to obtain.
- This concept is different Sections performed, always a different coding block grid is taken as a basis, so that different Evaluation results for different coding block grid divisions and thus coding block raster offsets result.
- the one Evaluation result has that with the other evaluation results is extreme, then among the evaluation results, by evaluating the spectral representations of the differently selected sections are determined and output.
- This is the coding block grid division, the basis of a decoded signal lies, without using an explicitly in the decoded signal contained auxiliary signal can be clearly reconstructed.
- This concept basically allows each one to be decoded Signal the coding block raster underlying the same to determine and thus provides considerable flexibility in that all decoded signals are processed can be, and not just decoded signals already an identification mark or a MOLE identification signal to have. This allows almost any decoding Signals are analyzed for distortion free Perform tandem coding for more information regarding the basis of the decoded signal To get encoder algorithm, or to prove at all, with which encoder the decoded signal originally has been encoded.
- the coding block grid determined according to the invention can preferably on which the decoded signal is based, in the decoded signal itself to be entered in order any decoded signals for existing codec stages adjust which on the identification mark or build up the MOLE determination signal.
- the concept according to the invention allows indexing almost all coding parameters, especially starting from knowledge of the coding block grid and using corresponding iteration algorithms practically all Encoder functionalities to a certain extent "recalculated” can be.
- the prerequisite for this is the provision of the coding block grid itself, since the coding block grid all subsequent parameters of a coding algorithm influenced on the spectral representation of a signal to be encoded. The determination of the Coding block grid is thus, so to speak, the "entrance gate", completely by a decoded signal to analyze which coding / decoding concept is the same underlying.
- Fig. 1 shows a block diagram of an inventive Device for determining a coding block raster, the is based on a decoded signal.
- the decoded Signal is at an input 10 in the invention Device is fed in and reaches a device 11 for picking out a section from the decoded Signal.
- the one picked out by the device 11 Section is in a device 12 in a spectral Representation of the same implemented.
- the spectral representation the selected section is then in a Device 13 with respect to a predetermined criterion rated to an evaluation result for the singled out Get section.
- the evaluation result is then into a device 14 for browsing and output a plurality of evaluation results are input to an output 15 of the device according to the invention decoded signal at input 10 of the invention Output device-based coding block grid.
- the device shown in Fig. 1 operates iteratively, such that the device 11 for picking out depending on a section control signal 16 one Can pick out section of the decoded signal that differs from a previously selected section.
- the inventive device for determining a coding block grid is thus arranged to one A plurality of sections of the decoded signal, which at different output samples start to pick out implement and determine a plurality of Get evaluation results. From this majority of The device 14 then determines the evaluation results selected section, which meets the criterion, which the Assessment is based, best corresponds, or the depending on the criterion least corresponds to it give an indication of the coding block grid.
- the decoded signal generally consists of a sequence 30 of discrete-time samples, for example that of FIG. 8 has shown the decoder generated at its audio output 84.
- the sequence 30 consists of discrete-time Samples of the decoded signal from samples 31a, 31b, 31c, 31d, ....
- Fig. 3 is also outlined in bold Coding block 32 drawn from samples, which defines the coding block grid division that the decoded signal 30 is originally based.
- Fig. 3 represents the case where no overlap is used, while Fig. 9, which will be discussed below, a Window sequence representing a 50% overlap used.
- the coding block grid is in the sense of the present Description defined such that a coding block Includes samples taken from an analysis window the stream of] time samples become.
- the number of samples in a coding block thus corresponds to the number of samples that the Windows are used, or in other words, the Window length. Since there is no overlap of the temporal in FIG Window is present, ends before that in FIG. 3 by way of example shown coding block 32 a previous coding block and begins at the end of coding block 32 subsequent coding block.
- FIG. 9 shows a window sequence in which there is an overlap of 50% is used. Such a window sequence can occur with MPEG-2 AAC.
- a window sequence can occur with MPEG-2 AAC.
- the abscissa of Fig. 9 is the number of a discrete sample in a stream plotted from samples.
- the relative size of the window is plotted; H. the Factor with which a sample value is weighted when windowed.
- the window sequence in Fig. 9 includes a "long" window 90, a so-called start window 92, a sequence of eight "short” Windows 94, a stop window 96 and another long one Window 98.
- an encoder can be used to strong to be able to encode transient time signals better, from one long windows to a sequence of eight short windows switch.
- the window sequence in Fig. 9 is therefore for this suitable for transient time signals between sample no. 2560 and sample no. 3584 to process.
- a long one Window 2048 samples while a short window 256 Samples.
- the eight short windows 94 include as many samples as a long window 90 or 98.
- the start window 92 and the stop window 96 chosen such that after a transition from the window with long windows to a window with short ones Windows and after an opposite transition again back to windows with long windows the coding block grid of n ⁇ (1024 samples) is maintained.
- the Coding block grid is here through a long window defined, d. H. by the number of samples that includes a long window.
- the device according to the invention for determining a coding block raster thus only needs a single coding block of the decoded signal because the coding block grid is usually fixed in a signal and, even if short windows are used, not themselves generally changes.
- Fig. 3 there are also three possible controls of the device 11 (Fig. 1) drawn for picking out, namely a first alternative 33 with an offset of one Left sample, i.e. H. an offset of -1, one second alternative 34 with an offset of 0 and a third Alternative 35 with one sample offset to the right, d. H. with an offset of +1.
- Fig. 2 is discussed, which is a Flow diagram of the method according to the invention provides.
- First is a first via the control line 16 (Fig. 1) Relocation of the pickup 11 notified, d. H. a first offset is set (step 20).
- this section determined by the first offset which at an output sample of the decoded Signal begins through the device 12 in its spectral range Presentation implemented, d. H. it will be a spectral analysis this section with this offset (Step 21).
- Step 21 This is followed by the spectral representation at the output the device 12 (FIG. 1) in the device 13 (FIG. 1) rated, d. H. it will be an assessment of the spectrum to obtain an evaluation result (step 22).
- step 23 it is determined in a step 23 whether all the desired ones Offsets have already been run through, d. H. if the search area has been run through. If not, i. H. the decision in step 23 returns a "no", see above in a step 24 via the control line 16 of the device 11 communicated a new offset for picking out, thus the iteration loop again with this new offset can be run through.
- d. H. delivers the decision in step 23 "Yes", so the different evaluation results are searched, and the evaluation result is determined that regarding the other evaluation results depending on the criterion is either maximum or minimum, then an identification the basis of the decoded signal Coding block grid based on the section that had the cheapest evaluation result in a step 25 issue.
- FIGS. 4 to 6 around the evaluation performed by the device 13 or to explain step 22 of FIG. 2 in more detail.
- the coefficient number along the abscissa applied. 4 to 6 thus show graphical Representation of spectra if the coefficient number with multiplied the bandwidth of a spectral coefficient becomes.
- FIG. 6 is a spectral representation of a selected section shown, which one Has a grid offset of plus one sample, d. H. which one corresponds to the third alternative 35 of FIG. 3. It is can clearly be seen that, in contrast to FIG. 5, the spectrum 6 is heavily smeared again.
- any property can be used as a criterion of the spectrum shown in FIG. 5 are used, which differs from a property of that shown in Figs Spectra differs. Most visible is that in the spectrum shown in Fig. 5, there is no raster offset is based on a large number of spectral lines smaller than z. B. 30 dB, i.e. H. about 70 dB below the significant spectral coefficients. Different expressed a large number of spectral lines is the same 0 or less than 30 dB. A criterion can therefore be a simply counting the spectral lines equal to 0 is used in order to evaluate the results different from 0 To use spectral lines of a selected section.
- a decision threshold can also be used as a predetermined criterion used to be used as the evaluation result either the spectral values with an amount above the threshold or an amount below the threshold issue.
- a predetermined criteria can be used to determine the correct coding block grid also on the evaluation the rapid or abrupt fluctuation of the z.
- a decision threshold can be used to determine a "fluctuation rate" of the spectrum with an amount above the threshold or an amount below the threshold issue.
- Such parameters are for example the filter bank type (e.g. DFT, DCT, MDCT), the Coding block length and the window shape.
- the filter bank type e.g. DFT, DCT, MDCT
- the Coding block length e.g. the filter bank type
- the Determination of a single coding block 32 (FIG. 3) in order the entire coding block raster that the decoded Signal is to be determined generally.
- the inventive Methods are modified so that the length of a Section which the device 11 for picking out is to be communicated, is also varied in order to achieve that in FIG shown iterative methods for different coding block lengths to repeat.
- short windows facilities 12 and 13 will also be informed. This means that from some of the grid points found entire grid can be extrapolated or, as it is Example of the short coding blocks has been shown, even in its possible fine structures broken down become.
- M / S stereo coding when generating the decoded signal (J.D. Johnston, A.J. Ferreira: "Sum Difference Stereo Transform Coding ", IEEE ICASSP 1992, p. 569 - 571), also called center / side coding or as Sum / difference coding is used the iterative determination of the Coding block raster not on the decoded signal executed itself, but on the sum or difference of Spectral values. A significant one is then shown, for example Number of vanishing (sum and difference) Spectral coefficients, M / S coding is concluded, and any subsequent bills will then be included the sum and difference spectral coefficients.
- the predetermined criterion can be modified here that individual criteria of the sum signal and the difference signal weighted together in a suitable manner, so that the predetermined criterion on both the sum signal as well as based on the difference signal.
- J. Herre, J.D. Johnston: "Enhancing the Performance of Perceptual Audio Coders by Using Temporal Noise Shaping (TNS) has been used, the coding block grid based on the "low frequency" spectral coefficients which are usually not one TNS coding. Usually spectral coefficients not subjected to TNS coding below 1 kHz. However, this value can of course vary from Vary from case to case.
- the inventive concept for determining a coding block grid described using an audio coding concept
- this Concept is also applicable to video encoders.
- the invention Concept generally applies to all coding algorithms applicable to all signals if these coding algorithms have the property that they are on a build up spectral representation of the signal to be encoded. Whenever this is the case, different coding block divisions can be used for the decoded signal one generated spectral representation of the selected section then the spectral representation with regard to to evaluate a predetermined criterion.
- the device according to the invention not necessarily to determine an encoding block grid must work in series so that an evaluation result after another is generated, d. H. that about the Control lines 16 (Fig. 1) the device 11 for picking out is controlled to gradually one for example to pick out 1 shifted section.
- the invention Device also completely or partially parallel be implemented so that, for example, 1024 evaluation results can be generated in one processing step. Also mixed serial / parallel options are possible so that For example, there are eight parallel branches, which then exist correspondingly often work in series to cover an entire search area to be able to cover.
- the coding block grid by any definition can be identified, and not just by the initial sample of a coding block.
- each sample can be one Coding blocks of samples are used to to define the coding block grid.
- the coding block grid also deviates from the number of samples per window are defined such that two grid points of the coding block grid around the z. B. twice the number of samples of a window from each other are spaced.
Abstract
Description
Die vorliegende Erfindung bezieht sich allgemein auf die Analyse von auf irgendeine Art codierten und wieder decodierten Signalen und insbesondere auf das Analysieren eines decodierten Signals, das unter Verwendung eines Codieralgorithmus verarbeitet worden ist, der auf einer spektralen Darstellung des ursprünglichen Signals aufbaut.The present invention relates generally to Analysis of coded and decoded in some way Signals and especially on analyzing a decoded signal using an encoding algorithm has been processed on a spectral Representation of the original signal builds up.
Es ist allgemein bekannt, Audio- und/oder Videosignale unter Verwendung eines bestimmten Codierverfahrens zu codieren, um eine codierte Version des ursprünglichen Signals zu erhalten, wobei sich die codierte Version des ursprünglichen Signals grundsätzlich dahingehend von dem ursprünglichen Signal unterscheiden sollte, daß die Datenmenge des codierten Signals kleiner als die Datenmenge des ursprünglichen Signals ist. In einem solchen Fall wird der Codieralgorithmus, um aus dem ursprünglichen Signal das codierte Signal zu erhalten, und auch der Decodieralgorithmus, der im wesentlichen eine Umkehrung des Codieralgorithmus ist, als datenreduzierender Codieralgorithmus bezeichnet.It is well known to include audio and / or video signals Use a particular encoding method to encode to get a coded version of the original signal being the encoded version of the original signal basically in that of the original signal should distinguish that the amount of data encoded Signal less than the amount of data in the original signal is. In such a case, the coding algorithm, to get the encoded signal from the original signal, and also the decoding algorithm, which is essentially is a reversal of the coding algorithm as a data reducing Coding algorithm called.
Zur Datenreduktion von Audiosignalen existieren verschiedene Codieralgorithmen, welche Gegenstand einer Reihe von internationalen Standards sind, wie z. B. MPEG-1, MPEG-2, MPEG-4 oder auch MPEG-2 AAC (AAC = Advanced Audio Coding), wobei der letztgenannte Codieralgorithmus beispielsweise in dem internationalen Standard ISO/IEC 13818-7 detailliert beschrieben ist.Various exist for data reduction of audio signals Coding algorithms, which are the subject of a number of international Standards are such. B. MPEG-1, MPEG-2, MPEG-4 or also MPEG-2 AAC (AAC = Advanced Audio Coding), whereby the latter coding algorithm, for example, in the international standard ISO / IEC 13818-7 described in detail is.
Im nachfolgenden wird auf Fig. 7 Bezug genommen, welche ein
Blockschaltbild eines MPEG-Audiocodierverfahrens zeigt. Ein
solcher Audiocodierer umfaßt typischerweise einen Audioeingang
70, an dem ein Strom von zeitdiskreten Abtastwerten
eingespeist wird, welche beispielsweise PCM-Abtastwerte
sind, welche beispielsweise 16-Bit-breit sind. In einer Analysefilterbank
71 wird der Strom von zeitdiskreten Audio-Abtastwerten
in Codierungsblöcke oder Frames von Abtastwerten
eingeteilt, unter Verwendung einer entsprechenden Fensterfunktion
gefenstert und dann in eine spektrale Darstellung
beispielsweise durch eine Filterbank oder durch eine Fourier-Transformation
oder eine Abart der Fourier-Transformation,
wie z. B. eine modifizierte diskrete Cosinustransformation
(MDCT), überführt. Am Ausgang der Analysefilterbank
71 liegen somit aufeinanderfolgende Codierungsblöcke
oder Frames von Spektralkoeffizienten vor, wobei ein Block
von Spektralkoeffizienten das Spektrum eines Codierungsblocks
von Audioabtastwerten ist. Oft wird eine 50%ige Überlappung
aufeinanderfolgender Codierungsblöcke verwendet, so
daß pro Block ein Fenster von beispielsweise 2048 Audioabtastwerten
betrachtet wird, und durch diese Verarbeitung
1024 neue Spektralkoeffizienten erzeugt werden.In the following, reference is made to FIG. 7, which is a
Block diagram of an MPEG audio coding method shows. On
such an audio encoder typically includes an
Das zeitdiskrete Audiosignal am Eingang 70 wird ferner in
ein psychoakustisches Modell 72 eingespeist, um eine Datenreduktion
zu erreichen, derart, daß bekannterweise die Maskierungsschwelle
des Audiosignals abhängig von der Frequenz
berechnet wird, um in einem Block 73, der mit Quantisierung
und Codierung bezeichnet ist, eine Quantisierung der Spektralkoeffizienten
durchzuführen, welche von der Maskierungsschwelle
abhängt.The discrete-time audio signal at
Anders ausgedrückt wird die Quantisierung der Spektralkoeffizienten
derart grob durchgeführt, daß das hierdurch eingeführte
Quantisierungsrauschen noch unter der psychoakustischen
Maskierungsschwelle, die durch das psychoakustische
Modell 72 berechnet wird, liegt, so daß das Quantisierungsrauschen
idealerweise unhörbar ist. Dieses Prozedere bewirkt,
daß typischerweise eine bestimmte Anzahl von Spektralkoeffizienten,
die am Ausgang der Analyse-Filterbank 71
noch ungleich 0 sind, nach dem Quantisieren zu 0 gesetzt
werden, da das psychoakustische Modell 72 festgestellt hat,
daß dieselben durch benachbarte Spektralkoeffizienten maskiert
werden und deshalb unhörbar sind.In other words, the quantization of the spectral coefficients
carried out so roughly that the hereby introduced
Quantization noise still below the psychoacoustic
Masking threshold caused by the
Auch unabhängig von einem psychoakustischen oder psychooptischen Modell existiert bei jedem Quantisierer eine bestimmte Quantisierungsschrittweite, wobei Spektralwerte, die kleiner als die Schrittweite sind, durch die Quantisierung zu Null gesetzt werden. Abhängig vom Quantisierer gibt es auch die Möglichkeit, daß lediglich Werte, die deutlich kleiner als die Schrittweite sind, zu Null gesetzt werden, und Werte, die knapp unter der Schrittweite sind, aufgerundet werden. In den allermeisten Fällen setzt jeder Quantisierer zumindest einige Werte zu Null, wodurch bereits eine Datenreduktion erzielt wird.Also independent of a psychoacoustic or psychooptical A model exists for each quantizer Quantization step size, with spectral values being smaller than the step size, by quantizing to zero be set. Depending on the quantizer, there are also those Possibility that only values that are significantly smaller than the step size are set to zero, and values, that are just below the increment are rounded up. In the vast majority of cases, every quantizer sets at least some values to zero, which already results in data reduction is achieved.
Nach dem Quantisieren liegt eine spektrale Darstellung des
Codierungsblocks von zeitdiskreten Abtastwerten vor, in der
das Quantisierungsrauschen möglichst unterhalb der psychoakustischen
Maskierungsschwelle liegt. Diese datenreduzierend
quantisierten Spektralwerte können anschließend abhängig
vom verwendeten Codierer unter Verwendung einer Entropie-Codierung,
welche z. B. eine Huffman-Codierung sein
kann, verlustlos codiert werden. Dadurch wird ein Strom von
Codewörtern erhalten, dem in einem Bitstrommultiplexer 74
noch von einem Decodierer benötigte Seiteninformationen
hinzugefügt werden, wie z. B. Informationen bezüglich der
Analyse-Filterbank, Informationen bezüglich der Quantisierung,
wie z. B. Skalenfaktoren, oder aber Seiteninformationen
bezüglich weiterer Funktionsblöcke. Solche weiteren
Funktionsblöcke sind bei MPEG-2-AAC beispielsweise die
TNS-Verarbeitung, die Intensity-Stereo-Verarbeitung, die
Mitte/Seite-Stereoverarbeitung, oder aber eine Prädiktion
von Spektrum zu Spektrum.After quantization there is a spectral representation of the
Coding blocks of discrete-time samples before in the
the quantization noise below the psychoacoustic if possible
Masking threshold is. This data-reducing
quantized spectral values can then be dependent
from the encoder used using entropy coding,
which z. B. be a Huffman coding
can be encoded without loss. This will create a stream of
Codewords obtained in a
An einem Ausgang 75 des Codierers, der auch als Bitstromausgang
bezeichnet wird, liegt dann das gemäß dem in Fig. 7 gezeigten
Codieralgorithmus codierte Signal blockweise vor. At an
Im Falle des Decodierers wird das codierte Signal am Ausgang
75 des in Fig. 7 gezeigten Codierers in einen Bitstromeingang
80 eines in Fig. 8 gezeigten Decodierers eingespeist,
welcher zunächst in einem Block 81, der als Bitstrom-Demultiplexer
bezeichnet ist, eine Bitstrom-Demultiplex-Operation
durchführt, um die Spektraldaten von den Seiteninformationen
zu trennen. Am Ausgang des Blocks 81 liegen dann wieder die
Codewörter vor, welche die einzelnen Spektralkoeffizienten
darstellen. Unter Verwendung einer entsprechenden Tabelle
werden die Codewörter decodiert, um quantisierte Spektralwerte
zu erhalten. Diese quantisierten Spektralwerte werden
dann in einem Block 82, der mit "Inverse Quantisierung"
bezeichnet ist, verarbeitet, um die im Block 73 (Fig. 7)
eingeführte Quantisierung rückzurechnen. Am Ausgang des
Blocks 82 liegen dann wieder dequantisierte Spektralkoeffizienten
vor, welche nun mittels einer Synthesefilterbank 83,
die invers zur Analysefilterbank 71 (Fig. 7) arbeitet, in
den Zeitbereich überführt werden, um an einem Audioausgang
84 das decodierte Signal zu erhalten.In the case of the decoder, the coded signal is
Bei der Betrachtung des Codier/Decodier-Konzepts, das in den
Fig. 7 und 8 dargestellt ist, wird deutlich, daß es sich
hier um ein blockorientiertes Verfahren handelt, wobei die
Blockerzeugung durch den Analyse-Filterbank-Block 71 von
Fig. 7 bewirkt wird, und wobei die Blockbildung erst am
Audioausgang 84 des in Fig. 8 gezeigten Decodierers wieder
aufgehoben wird.When considering the coding / decoding concept, which in the
7 and 8, it is clear that it is
this is a block-oriented procedure, whereby the
Block generation by the analysis
Es wird ferner deutlich, daß es sich hier um ein verlustbehaftetes
Codiererkonzept handelt, da das am Audioausgang 84
vorliegende decodierte Signal generell weniger Informationen
beinhaltet als das am Audioeingang 70 vorliegende ursprüngliche
Signal. Durch den durch das psychoakustische Modell 72
gesteuerten Quantisierer 73 werden Informationen aus dem am
Audioeingang 70 vorliegenden ursprünglichen Signal entfernt,
die im Decodierer nicht mehr wieder hinzugefügt werden, sondern
auf die verzichtet wird. Rein subjektiv hat dieser Verzicht
auf Informationen jedoch aufgrund des psychoakustischen
Modells 72, das an die menschlichen Gehöreigenschaften
angepaßt ist, im idealen Fall zu keinen Qualitätseinbußen
geführt, sondern lediglich zu einer angestrebten Datenkomprimierung.It also becomes clear that this is a lossy one
Encoder concept acts because that at the audio output 84th
present decoded signal generally less information
includes as the original present at
An dieser Stelle sei darauf hingewiesen, daß das in Fig. 7 und Fig. 8 am Beispiel eines Audiosignals beschriebene Codiererkonzept entsprechend auch auf Bild- oder Videosignale angewendet wird, wobei anstelle des zeitlichen Audiosignals ein Videosignal vorhanden ist, wobei die spektrale Darstellung hier kein Tonspektrum ist, sondern ein Ortsspektrum. Ansonsten findet auch bei der Videosignalkomprimierung eine Analysefilterbank, ein psychooptisches Modell, eine dadurch gesteuerte Quantisierung und Redundanz-Codierung statt, wobei ebenfalls das ganze Codier/Decodier-Konzept blockweise abläuft.At this point it should be pointed out that in Fig. 7 8 shows the encoder concept described using the example of an audio signal accordingly also on image or video signals is applied, instead of the temporal audio signal a video signal is present, the spectral representation here is not a sound spectrum, but a spatial spectrum. Otherwise, there is also a video signal compression Analysis filter bank, a psycho-optical model, one through it controlled quantization and redundancy coding instead, where also the whole coding / decoding concept block by block expires.
Das decodierte Signal (am Beispiel von Fig. 8 das decodierte Audiosignal am Audioausgang 84) ist typischerweise wieder ein Strom von zeitdiskreten Abtastwerten, denen ein Codierungs-Blockraster zugrunde liegt, das im decodierten Signal jedoch generell nicht sichtbar ist, es sei denn, daß besondere Vorkehrungen getroffen werden.The decoded signal (using the example of FIG. 8 the decoded Audio signal at audio output 84) is typically again a stream of discrete-time samples that have an encoding block grid is based on that in the decoded signal however, is generally not visible unless special Precautions are taken.
Während der Vorgang der Decodierung der Normalfall in der Anwendung, nämlich der Übertragung und Speicherung von Audio- und/oder Bildsignalen, ist, gibt es dennoch Fälle, in denen es von Interesse ist, ein gegebenes decodiertes Signal in eine Bitstromdarstellung "zurück zu übersetzen". Dies ist insbesondere in den folgenden Fällen von Interesse, wenn nur das decodierte Signal zur Verfügung steht.During the process of decoding the normal case in the Application, namely the transfer and storage of Audio and / or image signals, is, there are cases, however those of interest, a given decoded signal "to be translated back" into a bitstream representation. This is of particular interest in the following cases, if only the decoded signal is available.
Weiterhin besteht oftmals der Bedarf, Codiersysteme anhand der von ihnen codierten und wieder decodierten Signale zu untersuchen, beispielsweise um herauszufinden, warum ein Codierer, der noch unbekannt ist, so gut klingt.Furthermore, there is often a need to use coding systems of the signals they have coded and decoded again investigate, for example, to find out why an encoder, that is still unknown sounds so good.
Darüberhinaus besteht ein Bedarf auf dem Bereich des Urheberrechtsschutzes, zweifelsfrei nachzuweisen, daß ein Musikstück oder ein Bild mit einem bestimmten Codierer ursprünglich codiert worden ist.There is also a need in the area of copyright protection, to prove beyond any doubt that a piece of music or an image with a particular encoder originally has been encoded.
Schließlich besteht im Bereich der Übertragung beispielsweise über mehrere Netze mit unterschiedlicher Bandbreite der Bedarf, ein decodiertes Signal wieder zu codieren, um es beispielsweise auf eine andere Bandbreite umzusetzen. In diesem Fall wird das in Fig. 7 und Fig. 8 gezeigte Codierer/Decodierer-Konzept nacheinander mehrmals auf ein ursprüngliches Audiosignal ausgeübt. Hier bestehen Probleme dahingehend, daß sogenannte Tandem-Codierverzerrungen nachfolgender Codecstufen eingebracht werden, wenn die nachfolgenden Codecstufen auf der Basis eines anderen Codierungs-Blockrasters als die vorausgehenden Codecstufen arbeiten. Es ist einsichtig, daß die Verwendung eines anderen Codierungs-Blockrasters in einer nachfolgenden Codecstufe hörbare Verzerrungen in das Audiosignal einführt, wenn die Codierungsblockbildung nicht genauso durchgeführt worden ist wie in der ersten Codec-Stufe, da das Konzept auf der Bildung von Kurzzeitspektren basiert und da insbesondere die psychoakustische Maskierungsschwelle eines Codierungsblocks von zeitdiskreten Abtastwerten von dem Codierungs-Blockraster abhängt.Finally, in the area of transmission, for example over several networks with different bandwidth the need to re-encode a decoded signal to it for example, to implement a different bandwidth. In In this case, the encoder / decoder concept shown in Fig. 7 and Fig. 8 becomes successively to an original one Audio signal exercised. There are problems here in that so-called tandem coding distortions follow Codec levels are introduced if the following Codec levels based on a different coding block grid work as the previous codec stages. It it is clear that the use of a different coding block raster audible in a subsequent codec stage Introduces distortion into the audio signal when coding block formation has not been carried out exactly like in the first codec stage because the concept is based on education based on short-term spectra and especially the psychoacoustic Masking threshold of a coding block from discrete-time samples from the coding block grid depends.
In der Fachveröffentlichung "NMR Measurements on Multiple Generations Audio Coding", Michael Keyhl, Jürgen Herre, Christian Schmidmer, 96. AES-Versammlung, 26. Februar bis 1. März 1994, Amsterdam, Preprint 3803, wird vorgeschlagen, zur Überwindung der Tandem-Codierverzerrungen eine Identifikationsmarkierung in ein decodiertes Signal einzubringen, auf die nachfolgende Codierer-Stufen zugreifen können, um auf der Basis diese Identifikationsmarkierung ihre Codierungsblock-Einteilung des erneut zu codierenden decodierten Signals durchzuführen, derart, daß alle Codec-Stufen in einer Kette von Codec-Stufen dasselbe Codierungs-Blockraster verwenden. In the specialist publication "NMR Measurements on Multiple Generations Audio Coding ", Michael Keyhl, Jürgen Herre, Christian Schmidmer, 96th AES meeting, February 26 to 1 March 1994, Amsterdam, Preprint 3803, is proposed to Overcoming the tandem coding distortions an identification mark into a decoded signal the subsequent encoder stages can access to based on this identification mark their coding block division the decoded to be re-encoded Perform signals such that all codec stages in one Chain of codec stages the same coding block grid use.
Obwohl dieses Verfahren die Tandem-Codierverzerrungen bedeutsam reduziert hat, ist es doch dahingehend nachteilig, daß die Identifikationsmarkierung durch einen Decodierer eingebracht werden muß und von einem nachfolgenden Codierer wieder extrahiert und interpretiert werden muß. Es sind also Änderungen sowohl an einem Decodierer als auch an einem Codierer erforderlich. Weiterhin ist dieses Konzept selbstverständlich nur für eine Tandem-Codierung von decodierten Signalen anwendbar, die diese Identifikationsmarkierung für das Codierungs-Blockraster haben. Für Signale, die diese Identifikationsmarkierung nicht haben, kann eine Codecstufe in einer Kette von Codecstufen selbstverständlich nicht auf eine Identifikationsmarkierung zugreifen.Although this method the tandem coding distortion is significant has reduced, it is disadvantageous in that that the identification mark by a decoder must be introduced and by a subsequent encoder must be extracted and interpreted again. So there are Changes to both a decoder and one Encoder required. This concept is also a matter of course only for tandem encoding of decoded Applicable signals that this identification mark for have the coding block grid. For signals this A codec level cannot have identification mark naturally not in a chain of codec stages access an identification tag.
Ähnliche Probleme bzw. Einschränkungen der Flexibilität ergeben sich auch bei dem MOLE-Konzept, das in "ISO/MPEG Layer 2 - Optimum re-Encoding of Decoded Audio using a MOLE-Signal", John Fletcher, 104te AES-Convention, 16. bis 19. Mai 1998, Preprint Nr. 4706, beschrieben ist. Allgemein gesagt werden zusätzliche Daten in das decodierte Audiosignal eingebracht, die detailliert beschreiben, auf welche Art das vorliegende decodierte Audiosignal codiert und decodiert worden ist. Diese Daten werden als MOLE-Signal bezeichnet. Wenn das decodierte Audiosignal wieder codiert werden muß, wird ein speziell ausgeführter Codierer dieses MOLE-Signal aus dem zu codierenden Signal extrahieren und auf der Basis dieses Signals die einzelnen Codiererschritte durchführen.Similar problems or limitations of flexibility arise also the MOLE concept, which is in "ISO / MPEG Layer 2 - Optimal re-encoding of decoded audio using a MOLE signal ", John Fletcher, 104th AES Convention, May 16-19 1998, Preprint No. 4706. Generally speaking additional data is introduced into the decoded audio signal, which describe in detail how this is present decoded audio signal encoded and decoded has been. This data is called the MOLE signal. If the decoded audio signal needs to be encoded again, a specially designed encoder of this MOLE signal extract from the signal to be encoded and on the basis perform the individual encoder steps of this signal.
Ähnlich zu dem Konzept der Identifikationsmarkierung besteht auch hier ein Nachteil darin, daß der Decodierer, der ein codiertes ursprüngliches Signal zum ersten Mal decodiert, das Signal in das decodierte Audiosignal einbringen muß. Ein solcher Decodierer unterscheidet sich somit von den üblichen Standard-Decodierern. Des weiteren muß ein Codierer, der ein decodiertes Signal wieder codiert, das Bestimmungssignal extrahieren um dementsprechend zu arbeiten. Dieser gewissermaßen zweite Codierer muß ebenfalls modifiziert werden, derart, daß er das Bestimmungssignal lesen und interpretieren kann. Schließlich ist auch dieses Konzept nachteilhafterweise nur für decodierte Signale wirksam, die ein solches Bestimmungssignal haben, jedoch nicht für Signale, die kein solches Bestimmungssignal haben.Similar to the concept of identification marking a disadvantage here, too, in that the decoder, the one encoded original signal decoded for the first time, must introduce the signal into the decoded audio signal. On such a decoder thus differs from the usual ones Standard decoders. Furthermore, an encoder that a decoded signal again, extract the determination signal to work accordingly. This, so to speak second encoder must also be modified, such that he can read and interpret the determination signal can. Finally, this concept is also disadvantageous effective only for decoded signals that have such Determination signal, but not for signals that do not have such a determination signal.
Sowohl die Identifikationsmarkierung als auch das MOLE-Bestimmungssignal geben Informationen darüber, welches Codierungs-Blockraster dem decodierten Signal, dem die Identifikationsmarkierung oder das MOLE-Bestimmungssignal zugeordnet ist, zugrunde liegt. Diese Signale müssen jedoch explizit eingebracht werden, was die im vorhergehenden beschriebenen Flexibilitätsnachteile mit sich bringt. Both the identification mark and the MOLE determination signal give information about which coding block grid the decoded signal to which the identification mark or assigned the MOLE determination signal is underlying. However, these signals must be explicit be brought in what is described above Brings flexibility disadvantages with it.
Die Veröffentlichung "Extracting coding parameters from pre-coded MPEG-2-Video", Chen Y. u.a., IEEE Computer Soc., Oktober 1998, Konferenzband 5, Seiten 360 bis 364, XP 002166941, offenbart Konzepte zum Extrahieren von Codierparametern aus vor-codierten MPEG-2-Videodaten. Um das Problem der Qualitätsverschlechterung bei mehrmaligen kaskadierten Codiervorgängen anzugehen, wird erfaßt, ob ein Bild intra-codiert ursprünglich ist. Codierparameter werden extrahiert, wenn das Bild intra-codiert ist. Ein intra-codiertes Bild weist ein diskretes Histogramm von DCT-Koeffizienten auf, während ein ursprüngliches Bild ein relativ kontinuierliches Spektrum hat. The publication "Extracting coding parameters from pre-coded MPEG-2 video, "Chen Y. et al., IEEE Computer Soc., October 1998, Conference volume 5, pages 360 to 364, XP 002166941, discloses concepts for Extract encoding parameters from pre-encoded MPEG-2 video data. To the problem of deterioration in quality addressing multiple cascaded coding processes is detected whether an image is intra-coded originally. coding parameters are extracted if the picture is intra-coded. An intra-coded image has a discrete histogram of DCT coefficients based on an original picture has a relatively continuous spectrum.
Die Aufgabe der vorliegenden Erfindung besteht darin, eine Vorrichtung und ein Verfahren zum Bestimmen eines Codierungs-Blockrasters, das einem decodierten Signal zugrunde liegt, für ein decodiertes Signal zu schaffen, das keinen expliziten Hinweis auf ein Codierungs-Blockraster hat.The object of the present invention is a Device and method for determining an encoding block raster, that underlies a decoded signal is to create a decoded signal that does not has an explicit reference to a coding block grid.
Diese Aufgabe wird durch eine Vorrichtung zum Bestimmen eines
Codierungs-Blockrasters nach Patentanspruch 1 oder durch
ein Verfahren zum Bestimmen eines Codierungs-Blockrasters
nach Patentanspruch 11 gelöst.This object is achieved by a device for determining a
Coding block grid according to
Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, daß das Codierungs-Blockraster, das durch einen Blockorientierten Codierer praktisch zufällig festgelegt wird, entscheidenden Einfluß auf die spektrale Darstellung des Signals hat. Bereits minimale Abweichungen oder Codierungs-Blockraster-Offsets führen dazu, daß die spektrale Darstellung des decodierten Signals ein gänzlich anderes Erscheinungsbild hat als eigentlich von einer Spektraldarstellung des decodierten Signals erwartet werden würde, wenn demselben das gleiche Codierungs-Blockraster zugrunde gelegt wird, das dem decodierten Signal an sich zugrunde liegt. Bei datenreduzierenden Codieralgorithmen, welche unter Verwendung eines psychoakustischen Modells oder eines psychooptischen Modells arbeiten, ist von vorneherein bekannt, daß aufgrund der Quantisierung unter Verwendung einer psychooptischen oder psychoakustischen Maskierungsschwelle eine bestimmte Anzahl von Spektralkoeffizienten 0 ist.The present invention is based on the finding that that the coding block grid, which by a block oriented Encoder is set virtually randomly decisive influence on the spectral representation of the signal Has. Even minimal deviations or coding block grid offsets cause the spectral representation of the decoded signal a completely different appearance has actually from a spectral representation of the decoded signal would be expected if the same the same coding block grid is used, which is the basis of the decoded signal. With data-reducing Encoding algorithms using a psychoacoustic model or a psychooptical one Working model is known from the start that due to quantization using a psycho-optical or psychoacoustic masking threshold a certain Number of spectral coefficients is 0.
Es wird darauf hingewiesen, daß auch unabhängig von einer Quantisierung, die durch ein psychoakustisches oder psychooptisches Modell gesteuert wird, üblicherweise immer bestimmte Werte zu Null gesetzt werden, nämlich die Werte, die wesentlich kleiner als die Quantisierungsschrittweite sind.It should be noted that regardless of one Quantization by a psychoacoustic or psychooptical Model is controlled, usually always certain Values are set to zero, namely the values that are significantly smaller than the quantization step size.
Wenn jedoch die Codierungs-Blockrastereinteilung zum Erzeugen einer Spektraldarstellung des decodierten Signals nicht mit der Codierungs-Blockrastereinteilung, die dem decodierten Signal an sich zugrunde liegt, übereinstimmt, so tritt diese Eigenschaft in der spektralen Darstellung des decodierten Signals nicht mehr auf. Jedoch auch bei Codierkonzepten, die nicht unbedingt datenreduzierend sind, oder die, obgleich sie datenreduzierend wären, jedoch aufgrund des Eingangssignals keinen entscheidenden Datenreduzierungseffekt haben, führt ein Codierungs-Blockraster-Versatz bereits dazu, daß das Spektrum des decodierten Signals, das auf einer anderen Codierungs-Blockrastereinteilung basiert als die Codierungs-Blockrastereinteilung, die dem decodierten Signal zugrunde liegt. Dies resultiert in einer veränderten spektralen Struktur, die ein stark "verschmiertes" Aussehen hat, was sich insbesondere darin äußert, daß die einzelnen Spektralanteile nicht mehr gut voneinander getrennt werden können.If, however, the coding block rasterization to generate a spectral representation of the decoded signal not with the coding block grid division that the decoded signal per se is the same, so this property occurs in the spectral representation of the decoded signal no longer. But also with coding concepts, that are not necessarily data-reducing, or which, although they would be data-reducing, are due to of the input signal no decisive data reduction effect have an encoding block raster offset already that the spectrum of the decoded signal, the is based on a different coding block grid division than the coding block raster division that the decoded Underlying signal. This results in a changed spectral structure that is a heavily "smeared" Appearance, which is particularly evident in the fact that the individual spectral components are no longer well separated can be.
Diese Charakteristik des Spektrums kann als Kriterium verwendet werden, um herauszufinden, ob ein Codierungs-Blockraster-Versatz vorliegt. Bei einem Spektrum mit Rasterversatz ist die Schwankung der z. B. logarithmischen Amplitude des Spektralkoeffizienten langsamer bzw. weniger abrupt als bei einem Spektrum ohne Rasterversatz, bei dem eine schnelle bzw. stark abrupte Schwankung der Amplitude der Spektralkoeffizienten feststellbar ist. This characteristic of the spectrum can be used as a criterion to find out if there is a coding block grid offset is present. For a spectrum with grid offset is the fluctuation of z. B. logarithmic amplitude of the spectral coefficient is slower or less abrupt than for a spectrum without grid offset, in which a fast or strongly abrupt fluctuation in the amplitude of the spectral coefficients is noticeable.
Allgemein gesagt hat ein Kurzzeitspektrum des decodierten Signals, das unter Verwendung einer Codierungs-Blockrastereinteilung erzeugt wird, welche der Codierungs-Blockrastereinteilung entspricht, die dem decodierten Signal zugrunde liegt, ein bestimmtes Aussehen, beispielsweise bezüglich der Separation der Spektrallinien, bezüglich der Anzahl der Spektrallinien, die gleich 0 sind bzw. die sehr klein sind, etc.Generally speaking, a short-term spectrum of the decoded Signal using a coding block division is generated which of the coding block grid division corresponds to the basis of the decoded signal a certain appearance, for example with regard to the Separation of the spectral lines, based on the number of Spectral lines that are equal to 0 or that are very small, Etc.
Erfindungsgemäß wird daher zum Bestimmen eines Codierungs-Blockrasters ein Abschnitt des decodierten Signals herausgegriffen, woraufhin der herausgegriffene Abschnitt in eine spektrale Darstellung desselben umgesetzt wird. Anschließend wird die spektrale Darstellung des herausgegriffenen Abschnitts hinsichtlich zumindest eines vorbestimmten Kriteriums untersucht, um ein Bewertungsresultat für den Abschnitt zu erhalten. Dieses Konzept wird für verschiedene Abschnitte durchgeführt, wobei immer ein anderes Codierungs-Blockraster zugrunde gelegt wird, so daß sich verschiedene Bewertungsresultate für verschiedene Codierungs-Blockrastereinteilungen und damit Codierungs-Blockraster-Offsets ergeben. Ein Codierungs-Blockraster-Offset, der dem vorbestimmten Kriterium am besten entspricht, d. h. der ein Bewertungsresultat hat, das bezüglich der anderen Bewertungsresultate extrem ist, wird dann unter den Bewertungsresultaten, die durch Bewerten der spektralen Darstellungen der verschieden herausgegriffenen Abschnitte erzeugt worden sind, ermittelt und ausgegeben. Damit ist die Codierungs-Blockrastereinteilung, die einem decodierten Signal zugrunde liegt, ohne Verwendung eines explizit im decodierten Signal enthaltenen Hilfssignals eindeutig rekonstruierbar.The invention is therefore used to determine a coding block grid picked out a section of the decoded signal, whereupon the selected section into a spectral representation of the same is implemented. Subsequently becomes the spectral representation of the selected section with respect to at least one predetermined criterion examined to give an evaluation result for the section to obtain. This concept is different Sections performed, always a different coding block grid is taken as a basis, so that different Evaluation results for different coding block grid divisions and thus coding block raster offsets result. An encoding block raster offset that matches the best meets predetermined criteria, d. H. the one Evaluation result has that with the other evaluation results is extreme, then among the evaluation results, by evaluating the spectral representations of the differently selected sections are determined and output. This is the coding block grid division, the basis of a decoded signal lies, without using an explicitly in the decoded signal contained auxiliary signal can be clearly reconstructed.
Dieses Konzept erlaubt es grundsätzlich, von jedem decodierten Signal das demselben zugrunde liegende Codierungs-Blockraster zu ermitteln und liefert somit eine erhebliche Flexibilität dahingehend, daß sämtliche decodierten Signale bearbeitet werden können, und nicht nur decodierte Signale, die bereits eine Identifikationsmarkierung oder ein MOLE-Bestimmungssignal haben. Damit können nahezu beliebig decodierte Signale analysiert werden, um eine verzerrungsfreie Tandem-Codierung durchzuführen, um weitere Informationen bezüglich des dem decodierten Signal zugrunde liegenden Codiereralgorithmus zu erhalten, oder um überhaupt nachzuweisen, mit welchem Codierer das decodierte Signal ursprünglich codiert worden ist.This concept basically allows each one to be decoded Signal the coding block raster underlying the same to determine and thus provides considerable flexibility in that all decoded signals are processed can be, and not just decoded signals already an identification mark or a MOLE identification signal to have. This allows almost any decoding Signals are analyzed for distortion free Perform tandem coding for more information regarding the basis of the decoded signal To get encoder algorithm, or to prove at all, with which encoder the decoded signal originally has been encoded.
Vorzugsweise kann das erfindungsgemäß bestimmte Codierungs-Blockraster, das dem decodierten Signal zugrunde liegt, in das decodierte Signal selbst eingetragen werden, um somit beliebige decodierte Signale für bestehende Codec-Stufen anzupassen, welche auf der Identifikationsmarkierung oder dem MOLE-Bestimmungssignal aufbauen.The coding block grid determined according to the invention can preferably on which the decoded signal is based, in the decoded signal itself to be entered in order any decoded signals for existing codec stages adjust which on the identification mark or build up the MOLE determination signal.
Weiterhin erlaubt das erfindungsgemäße Konzept die Erschließung nahezu aller Codierparameter, zumal ausgehend von der Kenntnis des Codierungs-Blockrasters und unter Verwendung entsprechender Iterationsalgorithmen praktisch alle Codiererfunktionalitäten gewissermaßen "zurückgerechnet" werden können. Voraussetzung hierfür ist jedoch die Bestimmung des Codierungs-Blockrasters an sich, da das Codierungs-Blockraster alle nachfolgenden Parameter eines Codieralgorithmus beeinflußt, der auf der spektralen Darstellung eines zu codierenden Signals basiert. Die Bestimmung des Codierungs-Blockrasters ist somit gewissermaßen das "Eingangstor", um ein decodiertes Signal dahingehend vollständig zu analysieren, welches Codier/Decodier-Konzept demselben zugrunde liegt.Furthermore, the concept according to the invention allows indexing almost all coding parameters, especially starting from knowledge of the coding block grid and using corresponding iteration algorithms practically all Encoder functionalities to a certain extent "recalculated" can be. However, the prerequisite for this is the provision of the coding block grid itself, since the coding block grid all subsequent parameters of a coding algorithm influenced on the spectral representation of a signal to be encoded. The determination of the Coding block grid is thus, so to speak, the "entrance gate", completely by a decoded signal to analyze which coding / decoding concept is the same underlying.
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend bezugnehmend auf die beiliegenden Figuren detailliert beschrieben. Es zeigen:
- Fig. 1
- ein Blockschaltbild einer erfindungsgemäßen Vorrichtung zum Bestimmen eines Codierungs-Blockrasters;
- Fig. 2
- ein Flußdiagramm eines erfindungsgemäßen Verfahrens zum Bestimmen eines Codierungs-Blockrasters;
- Fig. 3
- eine Prinzipdarstellung eines decodierten Signals zur Veranschaulichung verschiedener Codierungs-Blockraster-Versätze;
- Fig. 4
- eine spektrale Darstellung eines Abschnitts des decodierten Signals mit einem Rasterversatz von einem Abtastwert nach links;
- Fig. 5
- eine spektrale Darstellung eines Abschnitts des decodierten Signals ohne Rasterversatz;
- Fig. 6
- eine spektrale Darstellung eines Abschnitts des decodierten Signals mit einem Rasterversatz von einem Abtastwert nach rechts;
- Fig. 7
- ein Blockschaltbild eines bekannten Codierers, der auf der Basis einer spektralen Darstellung eines ursprünglichen Signals arbeitet;
- Fig. 8
- ein Blockschaltbild eines bekannten Decodierers zum Decodieren von durch den in Fig. 7 gezeigten Codierer codierten Signalen; und
- Fig. 9
- eine beispielhafte Fenstersequenz mit
einem Überlappungsgrad von 50%.
- Fig. 1
- a block diagram of an inventive device for determining an encoding block grid;
- Fig. 2
- a flowchart of a method according to the invention for determining a coding block raster;
- Fig. 3
- a schematic diagram of a decoded signal to illustrate different coding block raster offsets;
- Fig. 4
- a spectral representation of a portion of the decoded signal with a raster offset of one sample to the left;
- Fig. 5
- a spectral representation of a portion of the decoded signal without raster offset;
- Fig. 6
- a spectral representation of a portion of the decoded signal with a raster offset of one sample to the right;
- Fig. 7
- a block diagram of a known encoder, which works on the basis of a spectral representation of an original signal;
- Fig. 8
- a block diagram of a known decoder for decoding signals encoded by the encoder shown in Fig. 7; and
- Fig. 9
- an exemplary window sequence with a degree of overlap of 50%.
Fig. 1 zeigt ein Blockschaltbild einer erfindungsgemäßen
Vorrichtung zum Bestimmen eines Codierungs-Blockrasters, das
einem decodierten Signal zugrunde liegt. Das decodierte
Signal wird an einem Eingang 10 in die erfindungsgemäße
Vorrichtung eingespeist und gelangt in eine Einrichtung 11
zum Herausgreifen eines Abschnitts aus dem decodierten
Signal. Der durch die Einrichtung 11 herausgegriffene
Abschnitt wird in einer Einrichtung 12 in eine spektrale
Darstellung desselben umgesetzt. Die spektrale Darstellung
des herausgegriffenen Abschnitts wird dann in einer
Einrichtung 13 hinsichtlich eines vorbestimmten Kriteriums
bewertet, um ein Bewertungsresultat für den herausgegriffenen
Abschnitt zu erhalten. Das Bewertungsresultat wird
dann in eine Einrichtung 14 zum Durchsuchen und Ausgeben
einer Mehrzahl von Bewertungsresultaten eingegeben, um an
einem Ausgang 15 der erfindungsgemäßen Vorrichtung das dem
decodierten Signal am Eingang 10 der erfindungsgemäßen
Vorrichtung zugrunde liegende Codierungs-Blockraster auszugeben.
Die Vorrichtung, die in Fig. 1 gezeigt ist, arbeitet
iterativ, derart, daß die Einrichtung 11 zum Herausgreifen
abhängig von einem Abschnitt-Steuerungssignal 16 einen
Abschnitt des decodierten Signals herausgreifen kann, der
sich von einem vorher herausgegriffenen Abschnitt unterscheidet.
Die erfindungsgemäße Vorrichtung zum Bestimmen
eines Codierungs-Blockrasters ist somit angeordnet, um eine
Mehrzahl von Abschnitten des decodierten Signals, die bei
verschiedenen Ausgangs-Abtastwerten beginnen, herauszugreifen,
umzusetzen und zu bestimmen, um eine Mehrzahl von
Bewertungsresultaten zu erhalten. Aus dieser Mehrzahl von
Bewertungsresultaten ermittelt dann die Einrichtung 14 den
herausgegriffenen Abschnitt, der dem Kriterium, das dem
Bewerten zugrunde liegt, am besten entspricht, bzw. der
abhängig vom Kriterium demselben am wenigsten entspricht, um
einen Hinweis auf das Codierungs-Blockraster zu geben.Fig. 1 shows a block diagram of an inventive
Device for determining a coding block raster, the
is based on a decoded signal. The decoded
Signal is at an
Im nachfolgenden wird auf Fig. 3 Bezug genommen, um die
Struktur eines decodierten Signals am Eingang 10 der in Fig.
1 gezeigten erfindungsgemäßen Vorrichtung und die verschiedenen
Codierungs-Blockraster-Versätze darzustellen. Das
decodierte Signal besteht generell aus einer Folge 30 von
zeitdiskreten Abtastwerten, die beispielsweise der in Fig. 8
gezeigte Decodierer an seinem Audioausgang 84 erzeugt hat.
Insbesondere besteht die Folge 30 von zeitdiskreten
Abtastwerten des decodierten Signals aus Abtastwerten 31a,
31b, 31c, 31d, .... In Fig. 3 ist ferner fett umrandet ein
Codierungsblock 32 von Abtastwerten eingezeichnet, welcher
die Codierungs-Blockrastereinteilung definiert, die dem
decodierten Signal 30 ursprünglich zugrunde liegt. Fig. 3
stellt den Fall dar, daß keine Überlappung verwendet wird,
während Fig. 9, auf die weiter unten eingegangen wird, eine
Fenstersequenz darstellt, die eine Überlappung von 50 %
verwendet.In the following, reference is made to FIG
Structure of a decoded signal at
Das Codierungs-Blockraster ist im Sinne der vorliegenden
Beschreibung derart definiert, daß ein Codierungsblock die
Abtastwerte umfaßt, die durch eine Analyse-Fensterung aus
dem Strom von] zeitlichen Abtastwerten herausgegriffen
werden. Die Anzahl der Abtastwerte in einem Codierungsblock
entspricht somit der Anzahl von Abtastwerten, die beim
Fenstern verwendet werden, oder anders ausgedrückt, der
Fensterlänge. Da in Fig. 3 keine Überlappung der zeitlichen
Fenster vorliegt, endet vor dem in Fig. 3 beispielhaft
eingezeichneten Codierungsblock 32 ein vorheriger Codierungsblock
und beginnt am Ende des Codierungsblocks 32 ein
nachfolgender Codierungsblock.The coding block grid is in the sense of the present
Description defined such that a coding block
Includes samples taken from an analysis window
the stream of] time samples
become. The number of samples in a coding block
thus corresponds to the number of samples that the
Windows are used, or in other words, the
Window length. Since there is no overlap of the temporal in FIG
Window is present, ends before that in FIG. 3 by way of example
shown coding block 32 a previous coding block
and begins at the end of
Fig. 9 zeigt dagegen eine Fenstersequenz, bei der eine Überlappung von 50% verwendet wird. Eine solche Fenstersequenz kann bei MPEG-2 AAC auftreten. Entlang der Abszisse von Fig. 9 ist die Nummer eines diskreten Abtastwerts in einem Strom von Abtastwerten aufgetragen. Entlang der Ordinate in Fig. 9 ist die relative Größe des Fensters aufgetragen, d. h. der Faktor, mit dem ein Abtastwert beim Fenstern gewichtet wird.9 shows a window sequence in which there is an overlap of 50% is used. Such a window sequence can occur with MPEG-2 AAC. Along the abscissa of Fig. 9 is the number of a discrete sample in a stream plotted from samples. Along the ordinate in Fig. 9 the relative size of the window is plotted; H. the Factor with which a sample value is weighted when windowed.
Die Fenstersequenz in Fig. 9 umfaßt ein "langes" Fenster 90,
ein sog. Start-Fenster 92, eine Folge von acht "kurzen"
Fenstern 94, ein Stopp-Fenster 96 und wieder ein langes
Fenster 98.The window sequence in Fig. 9 includes a "long"
Beim Standard MPEG-2-AAC kann ein Codierer, um stark transiente Zeitsignale besser codieren zu können, von einem langen Fenster auf eine Folge von acht kurzen Fenster umschalten. Die Fenstersequenz in Fig. 9 ist somit dafür geeignet, transiente Zeitsignale zwischen Abtastwert-Nr. 2560 und Abtastwert-Nr. 3584 zu verarbeiten. With the standard MPEG-2 AAC, an encoder can be used to strong to be able to encode transient time signals better, from one long windows to a sequence of eight short windows switch. The window sequence in Fig. 9 is therefore for this suitable for transient time signals between sample no. 2560 and sample no. 3584 to process.
Bei dem in Fig. 9 dargestellten Fall umfaßt ein langes
Fenster 2048 Abtastwerte, während ein kurzes Fenster 256
Abtastwerte umfaßt. Die acht kurzen Fenster 94 umfassen
genauso viel Abtastwerte wie ein langes Fenster 90 oder 98.
Darüberhinaus sind das Start-Fenster 92 und das Stopp-Fenster
96 derart gewählt, daß nach einem Übergang der Fensterung
mit langen Fenstern zu einer Fensterung mit kurzen
Fenstern und nach einem entgegengesetzten Übergang wieder
zurück zum Fenstern mit langen Fenstern das Codierungs-Blockraster
von n · (1024 Abtastwerte) beibehalten wird. Das
Codierungs-Blockraster ist hier also durch ein langes Fenster
definiert, d. h. durch die Anzahl von Abtastwerten, die
ein langes Fenster umfaßt.In the case shown in Fig. 9, a
Bei einer Überlappung von 50 % umfaßt im Falle einer Sequenz
von langen Fenstern jedes neue Fenster 50 % der Abtastwerte,
die durch das vorherige Fenster gefenstert wurden, und 50 %
"neu" herausgegriffene Abtastwerte. Wird eine höhere Überlappung
als 50% verwendet, so sinkt damit die Anzahl der
"neu" herausgegriffenen Abtastwerte in einem Codierungsblock,
während die Anzahl der "alten" Abtastwerte ansteigt.
Die Gesamtanzahl der Abtastwerte pro Codierungsblock bleibt
hingegen gleich.With an overlap of 50% included in the case of a sequence
from long windows each
Die erfindungsgemäße Vorrichtung zum Bestimmen eines Codierungs-Blockrasters muß somit lediglich einen einzigen Codierungsblock des decodierten Signals ermitteln, da das Codierungs-Blockraster üblicherweise in einem Signal fest ist und, auch wenn kurze Fenster verwendet werden, sich nicht generell ändert.The device according to the invention for determining a coding block raster thus only needs a single coding block of the decoded signal because the coding block grid is usually fixed in a signal and, even if short windows are used, not themselves generally changes.
In Fig. 3 sind ferner drei mögliche Ansteuerungen der Einrichtung
11 (Fig. 1) zum Herausgreifen eingezeichnet, nämlich
eine erste Alternative 33 mit einem Versatz von einem
Abtastwert nach links, d. h. einem Versatz von -1, eine
zweite Alternative 34 mit einem Versatz von 0 und eine dritte
Alternative 35 mit einem Versatz von einem Abtastwert
nach rechts, d. h. mit einem Versatz von +1.In Fig. 3 there are also three possible controls of the device
11 (Fig. 1) drawn for picking out, namely
a first alternative 33 with an offset of one
Left sample, i.e. H. an offset of -1, one
Im nachfolgenden wird auf Fig. 2 eingegangen, welche ein
Flußdiagramm des erfindungsgemäßen Verfahrens liefert. Zunächst
wird über die Steuerleitung 16 (Fig. 1) ein erster
Versatz der Einrichtung 11 zum Herausgreifen mitgeteilt, d.
h. ein erster Offset wird gesetzt (Schritt 20). Daran anschließend
wird dieser durch den ersten Offset bestimmte Abschnitt,
welcher bei einem Ausgangs-Abtastwert des decodierten
Signals beginnt, durch die Einrichtung 12 in seine spektrale
Darstellung umgesetzt, d. h. es wird eine Spektralanalyse
dieses Abschnitts mit diesem Offset durchgeführt
(Schritt 21). Hierauf wird die spektrale Darstellung am Ausgang
der Einrichtung 12 (Fig. 1) in der Einrichtung 13 (Fig.
1) bewertet, d. h. es wird eine Bewertung des Spektrums
durchgeführt, um ein Bewertungsresultat zu erhalten (Schritt
22). Dann wird in einem Schritt 23 ermittelt, ob alle gewünschten
Offsets bereits durchfahren worden sind, d. h. ob
der Suchbereich durchlaufen ist. Ist dies nicht der Fall, d.
h. liefert die Entscheidung im Schritt 23 ein "Nein", so
wird in einem Schritt 24 über die Steuerleitung 16 der Einrichtung
11 zum Herausgreifen ein neuer Offset mitgeteilt,
damit die Iterationsschleife mit diesem neuen Offset erneut
durchlaufen werden kann. Ist der Suchbereich dann durchlaufen,
d. h. liefert die Entscheidung im Schritt 23 ein
"Ja", so werden die verschiedenen Bewertungsresultate durchsucht,
und es wird das Bewertungsresultat ermittelt, das
bezüglich der anderen Bewertungsresultate je nach Kriterium
entweder maximal oder minimal ist, um dann eine Identifikation
des dem decodierten Signal zugrunde liegenden
Codierungs-Blockrasters auf der Basis des Abschnitts, der
das günstigste Bewertungsresultat hatte, in einem Schritt 25
auszugeben.In the following, Fig. 2 is discussed, which is a
Flow diagram of the method according to the invention provides. First
is a first via the control line 16 (Fig. 1)
Relocation of the
Im nachfolgenden wird auf die Figuren 4 bis 6 Bezug genommen,
um das durch die Einrichtung 13 durchgeführte Bewerten
bzw. den Schritt 22 von Fig. 2 näher zu erläutern. In den
Fig. 4 bis 6 ist entlang der Abszisse die Koeffizientennummer
aufgetragen. Die Fig. 4 bis 6 zeigen somit graphische
Darstellungen von Spektren, wenn die Koeffizientennummer mit
der Bandbreite eines Spektralkoeffizienten multipliziert
wird. Entlang der Ordinate der in Fig. 4 bis Fig. 6 gezeigten
graphischen Darstellungen ist der absolute Betrag der
Spektralkoeffizienten in logarithmischer Darstellung
aufgetragen.In the following, reference is made to FIGS. 4 to 6,
around the evaluation performed by the
Insbesondere zeigt Fig. 4 die spektrale Darstellung eines
herausgegriffenen Abschnitts mit einem Versatz von minus
einem Abtastwert, was der Alternative 33 von Fig. 3 entspricht.
Es ist ein deutlich verschmiertes Spektrum zu erkennen,
in dem keine sauber definierten Spektralkoeffizienten
vorliegen, und in dem ferner lediglich eine recht geringe
Anzahl von Spektralkoeffizienten gleich 0 bzw. kleiner
als eine vorbestimmte Schwelle sind.4 shows the spectral representation of a
selected section with an offset of minus
a sample, which corresponds to
Zum Vergleich ist eine spektrale Darstellung eines herausgegriffenen
Abschnitts dargestellt, der keinen Rasterversatz
hat, d. h. Alternative 34 von Fig. 3. Es ist ein deutlich
definiertes Spektrum zu erkennen, bei dem eine Vielzahl von
Spektrallinien aufgrund der Quantisierung in Abhängigkeit
von der psychoakustischen Maskierungsschwelle 0 bzw. sehr
klein sind, und bei dem ferner alle Spektrallinien eine sauber
definierte Struktur haben.For comparison, a spectral representation of one is selected
Section shown, no grid offset
has, d.
In Fig. 6 schließlich ist eine spektrale Darstellung eines
herausgegriffenen Abschnitts dargestellt, welcher einen
Rasterversatz von plus einem Abtastwert hat, d. h. welcher
der dritten Alternative 35 von Fig. 3 entspricht. Es ist
deutlich zu erkennen, daß im Gegensatz zu Fig. 5 das Spektrum
in Fig. 6 wieder stark verschmiert ist.Finally, in Fig. 6 is a spectral representation of a
selected section shown, which one
Has a grid offset of plus one sample, d. H. which one
corresponds to the
Im nachfolgenden wird auf verschiedene Bewertungskriterien näher eingegangen. Grundsätzlich kann als Kriterium jede Eigenschaft des in Fig. 5 gezeigten Spektrums verwendet werden, die sich von einer Eigenschaft der in Fig. 4 und 6 gezeigten Spektren unterscheidet. Am dominantesten sichtbar ist, daß bei dem in Fig. 5 gezeigten Spektrum, dem kein Rasterversatz zugrunde liegt, eine große Anzahl von Spektrallinien kleiner als z. B. 30 dB ist, d. h. etwa 70 dB unterhalb der signifikanten Spektralkoeffizienten liegt. Anders ausgedrückt ist eine große Anzahl der Spektrallinien gleich 0 bzw. kleiner als 30 dB. Als Kriterium kann hier somit ein einfaches Abzählen der Spektrallinien gleich 0 verwendet werden, um als Bewertungsresultat die von 0 verschiedenen Spektrallinien eines herausgegriffenen Abschnitts zu verwenden.The following is based on various evaluation criteria discussed in more detail. In principle, any property can be used as a criterion of the spectrum shown in FIG. 5 are used, which differs from a property of that shown in Figs Spectra differs. Most visible is that in the spectrum shown in Fig. 5, there is no raster offset is based on a large number of spectral lines smaller than z. B. 30 dB, i.e. H. about 70 dB below the significant spectral coefficients. Different expressed a large number of spectral lines is the same 0 or less than 30 dB. A criterion can therefore be a simply counting the spectral lines equal to 0 is used in order to evaluate the results different from 0 To use spectral lines of a selected section.
Der Abschnitt mit der geringsten Anzahl von von 0 verschiedenen
Spektralwerten bzw. der größten Anzahl von Spektrallinien
gleich 0 wäre dann der Abschnitt, der von dem Ausgangs-Abtastwert
des decodierten Signals startet (hier der
Abtastwert 31c von Fig. 3), der auch der erste Abtastwert
des beim Codieren des ursprünglichen Signals verwendeten
Analyse-Fensters ist. Hier liegt daher kein Rasterversatz
vor.The section with the least number of different from 0
Spectral values or the largest number of spectral lines
the portion of the output sample would then be 0
of the decoded signal starts (here the
Alternativ kann als vorbestimmtes Kriterium auch eine Entscheidungsschwelle verwendet werden, um als Bewertungsresultat entweder die Spektralwerte mit einem Betrag oberhalb der Schwelle oder einem Betrag unterhalb der Schwelle auszugeben.Alternatively, a decision threshold can also be used as a predetermined criterion used to be used as the evaluation result either the spectral values with an amount above the threshold or an amount below the threshold issue.
Alternativ kann ein vorbestimmtes Kriterium zum Bestimmen des korrekten Codierungs-Blockrasters auch auf der Auswertung der schnellen bzw. abrupten Schwankung der z. B. logarithmischen Amplitude der Spektralkoeffizienten basieren. Im Mittel wird die quadrierte Differenz zwischen zwei Spektralkoeffizienten in den Fig. 4 und 6 (mit Rasterversatz) niedriger sein als in Fig. 5 (ohne Rasterversatz). Wie im ersten Beispiel kann auch hier eine Entscheidungsschwelle verwendet werden, um als Bewertungsresultat eine "Schwankungsgeschwindigkeit" des Spektrums mit einem Betrag oberhalb der Schwelle oder einem Betrag unterhalb der Schwelle auszugeben. Alternatively, a predetermined criteria can be used to determine the correct coding block grid also on the evaluation the rapid or abrupt fluctuation of the z. B. logarithmic Amplitude of the spectral coefficients are based. in the The squared difference between two spectral coefficients is averaged 4 and 6 (with grid offset) lower be as in Fig. 5 (without grid offset). Like in The first example can also be a decision threshold can be used to determine a "fluctuation rate" of the spectrum with an amount above the threshold or an amount below the threshold issue.
An dieser Stelle sei darauf hingewiesen, daß ein Spektrum, wie es in Fig. 5 gezeigt ist, nur sichtbar wird, wenn neben dem korrekten Rasterversatz auch die Parameter der Analysefilterbank 71 (Fig. 7) übereinstimmen. Solche Parameter sind beispielsweise der Filterbanktyp (z. B. DFT, DCT, MDCT), die Codierungs-Blocklänge und die Fensterform. Bei dem in den Fig. 4 bis 6 gezeigten Beispiel wurde beispielsweise eine Filterbank nach MPEG-2 AAC, als Fensterform ein KBD-Fenster (KBD = Kaiser-Bessel-Derived) und als Codierungs-Blocklänge ein langer Block (Only-Long-Sequence) angesetzt.At this point it should be noted that a spectrum as shown in Fig. 5, only becomes visible when next the parameters of the analysis filter bank with the correct grid offset 71 (Fig. 7) match. Such parameters are for example the filter bank type (e.g. DFT, DCT, MDCT), the Coding block length and the window shape. In the in the 4 to 6, the example shown was, for example Filter bank according to MPEG-2 AAC, as a window form a KBD window (KBD = Kaiser-Bessel-Derived) and as coding block length a long block (only long sequence) is set.
Oft liegt der Fall tatsächlich so, daß es von vornherein vom
decodierten Signal bekannt ist, daß es gemäß MPEG-2 AAC codiert
und wieder decodiert worden ist. Selbst wenn dies auch
nicht bekannt ist, kann das an sich iterative Konzept gemäß
der vorliegenden Erfindung, wie es in den Fig. 1 und 2 dargestellt
ist, ohne weiteres modifiziert werden, derart, daß
auch die Einrichtung 12 zum Umsetzen in die spektrale Darstellung
(Fig. 1) iterativ betrieben wird, um der Umsetzung
in die spektrale Darstellung unterschiedliche Umsetzungsparameter
zugrunde zu legen, um in einer doppelten Iterationsschleife
in Verbindung mit der Steuerung des Abschnitt, der
herausgegriffen wird, neben dem Codierungs-Blockraster auch
den verwendeten Codieralgorithmus zu eruieren. Es wird
darauf hingewiesen, daß immer nur eine begrenzte Anzahl von
Codierer-Kandidaten praktisch relevant ist, weshalb das erfindungsgemäße
Konzept auch dann in begrenzter Zeit zu einem
Ergebnis kommt, wenn auch der Codierer, der das vorliegende
decodierte Signal erzeugt hat, noch unbekannt ist.Often the case is actually such that it is from the outset
decoded signal is known to encode according to MPEG-2 AAC
and has been decoded again. Even if it does
is not known, the per se iterative concept can
the present invention, as shown in Figs. 1 and 2
is easily modified such that
also the
Allgemein genügt, wie es bereits ausgeführt worden ist, die
Ermittlung eines einzigen Codierungsblocks 32 (Fig. 3), um
das gesamte Codierungs-Blockraster, das dem decodierten
Signal zugrunde liegt, generell zu ermitteln. Um auch die
Umschaltung von langen Codierungsblöcken auf kurze Codierungsblöcke
bzw. vielleicht sogar auf andere Rastereinteilungen
nachvollziehen zu können, kann das erfindungsgemäße
Verfahren dahingehend modifiziert werden, daß die Länge eines
Abschnitts, welche der Einrichtung 11 zum Herausgreifen
mitzuteilen ist, ebenfalls variiert wird, um das in Fig. 2
gezeigte iterative Verfahren für verschiedene Codierungs-Blocklängen
zu wiederholen. Wenn kurze Fenster verwendet
werden, wird dies auch den Einrichtungen 12 und 13 mitgeteilt.
Somit kann aus einigen gefundenen Rasterpunkten das
gesamte Raster extrapoliert werden oder aber, wie es am
Beispiel der kurzen Codierungsblöcke gezeigt wurde, sogar in
seine eventuell vorhandenen Feinstrukturen aufgeschlüsselt
werden.In general, as has already been stated, the
Determination of a single coding block 32 (FIG. 3) in order
the entire coding block raster that the decoded
Signal is to be determined generally. To also the
Switching from long coding blocks to short coding blocks
or maybe even on other grid divisions
To be able to understand, the inventive
Methods are modified so that the length of a
Section which the
Wurden bei der Codierung, die dem decodierten Signal zugrunde liegt, zusätzliche Codierungs-"Tools" verwendet, so können durch eine erweiterte Suche bzw. durch zusätzliche Berechnungen auch diese Konfigurationen bestimmt werden.Have been used in the encoding that underlies the decoded signal additional coding "tools" are used, so can by an advanced search or by additional Calculations also determine these configurations.
Falls bei der Erzeugung des decodierten Signals eine M/S-Stereocodierung (J. D. Johnston, A. J. Ferreira: "Sum-Difference Stereo Transform Coding", IEEE ICASSP 1992, S. 569 - 571), die auch als Mitte/Seite-Codierung oder als Summen/Differenz-Codierung bezeichnet wird, eingesetzt worden ist, wird das oben beschriebene iterative Bestimmen des Codierungs-Blockrasters nicht auf das decodierte Signal selbst ausgeführt, sondern auf die Summe oder Differenz der Spektralwerte. Zeigt sich dann beispielsweise eine signifikante Zahl von verschwindenden (Summen- und Differenz-) Spektralkoeffizienten, so wird auf eine M/S-Codierung geschlossen, und eventuell folgende Rechnungen werden dann mit den Summen- und Differenz-Spektralkoeffizienten ausgeführt. Hier kann das vorbestimmte Kriterium dahingehend modifiziert werden, daß Einzelkriterien des Summen-Signals und des Differenz-Signals auf geeignete Art miteinander gewichtet werden, so daß das vorbestimmte Kriterium sowohl auf dem Summen-Signal als auch auf dem Differenz-Signal aufbaut.If M / S stereo coding when generating the decoded signal (J.D. Johnston, A.J. Ferreira: "Sum Difference Stereo Transform Coding ", IEEE ICASSP 1992, p. 569 - 571), also called center / side coding or as Sum / difference coding is used the iterative determination of the Coding block raster not on the decoded signal executed itself, but on the sum or difference of Spectral values. A significant one is then shown, for example Number of vanishing (sum and difference) Spectral coefficients, M / S coding is concluded, and any subsequent bills will then be included the sum and difference spectral coefficients. The predetermined criterion can be modified here that individual criteria of the sum signal and the difference signal weighted together in a suitable manner, so that the predetermined criterion on both the sum signal as well as based on the difference signal.
Falls bei der Erzeugung des decodierten Signals eine TNS-Codierung (TNS = Temporal Noise Shaping = zeitliche Rauschformung) (J. Herre, J. D. Johnston: "Enhancing the Performance of Perceptual Audio Coders by Using Temporal Noise Shaping (TNS)) eingesetzt worden ist, kann das Codierungs-Blockraster anhand der "niederfrequenten" Spektralkoeffizienten bestimmt werden, welche üblicherweise nicht einer TNS-Codierung unterzogen werden. Normalerweise werden Spektralkoeffizienten unter 1 kHz nicht einer TNS-Codierung unterzogen. Dieser Wert kann jedoch selbstverständlich von Fall zu Fall variieren.If TNS coding when generating the decoded signal (TNS = Temporal Noise Shaping = temporal noise shaping) (J. Herre, J.D. Johnston: "Enhancing the Performance of Perceptual Audio Coders by Using Temporal Noise Shaping (TNS)) has been used, the coding block grid based on the "low frequency" spectral coefficients which are usually not one TNS coding. Usually spectral coefficients not subjected to TNS coding below 1 kHz. However, this value can of course vary from Vary from case to case.
Obwohl das erfindungsgemäße Konzept zum Bestimmen eines Codierungs-Blockrasters anhand eines Audio-Codierkonzepts beschrieben worden ist, sei darauf hingewiesen, daß dieses Konzept ebenfalls auf Videocodierer anwendbar ist. Das erfindungsgemäße Konzept ist generell auf sämtliche Codieralgorithmen für sämtliche Signale anwendbar, wenn diese Codieralgorithmen die Eigenschaft haben, daß sie auf einer spektralen Darstellung des zu codierenden Signals aufbauen. Immer wenn dies der Fall ist, kann für verschiedene Codierungs-Blockrastereinteilungen für das decodierte Signal eine spektrale Darstellung des herausgegriffenen Abschnitts erzeugt werden, um dann die spektrale Darstellung hinsichtlich eines vorbestimmten Kriteriums zu bewerten.Although the inventive concept for determining a coding block grid described using an audio coding concept , it should be noted that this Concept is also applicable to video encoders. The invention Concept generally applies to all coding algorithms applicable to all signals if these coding algorithms have the property that they are on a build up spectral representation of the signal to be encoded. Whenever this is the case, different coding block divisions can be used for the decoded signal one generated spectral representation of the selected section then the spectral representation with regard to to evaluate a predetermined criterion.
Schließlich sei angemerkt, daß die erfindungsgemäße Vorrichtung
zum Bestimmen eines Codierungs-Blockrasters nicht unbedingt
seriell arbeiten muß, derart, daß ein Bewertungsresultat
nach dem anderen erzeugt wird, d. h. daß über die
Steuerleitungen 16 (Fig. 1) die Einrichtung 11 zum Herausgreifen
gesteuert wird, um nach und nach immer einen beispielsweise
um 1 verschobenen Abschnitt herauszugreifen. Je
nach Implementationsrandbedingungen kann die erfindungsgemäße
Vorrichtung auch vollständig oder teilweise parallel
implementiert sein, so daß beispielsweise 1024 Bewertungsresultate
in einem Bearbeitungsdurchgang erzeugt werden. Auch
gemischte Seriell/Parallel-Optionen sind möglich, so daß
beispielsweise acht Parallelzweige existieren, welche dann
entsprechend oft seriell arbeiten, um einen gesamten Suchbereich
abdecken zu können.Finally, it should be noted that the device according to the invention
not necessarily to determine an encoding block grid
must work in series so that an evaluation result
after another is generated, d. H. that about the
Control lines 16 (Fig. 1) the
An dieser Stelle sei auch darauf hingewiesen, daß nicht immer unbedingt ein ganzer vorbestimmter Suchbereich durchlaufen werden muß. Wenn, wie im vorliegenden Fall, die Unterscheidung zwischen dem Spektrum ohne Rasterversatz und einem Spektrum mit einem minimalen Rasterversatz so deutlich möglich ist, kann die Iteration, die in Fig. 2 dargestellt ist, auch bereits dann abgebrochen werden, wenn ein vorbestimmtes Kriterium erfüllt ist, da eigentlich kein Zweifel mehr daran besteht, daß es sich bei dem hier getesteten herausgegriffenen Abschnitt um einen Abschnitt handelt, der zu dem ursprünglichen Codierungs-Blockraster synchron ist.At this point it should also be noted that not always necessarily run through a whole predetermined search area must become. If, as in the present case, the distinction between the spectrum without grid offset and one Spectrum with a minimal grid offset possible so clearly the iteration shown in FIG. 2 can be canceled even if a predetermined one Criterion is met, since there is actually no longer any doubt about it is that the one tested here is the Section is a section that is related to the original Coding block grid is synchronous.
Außerdem sei angemerkt, daß das Codierungs-Blockraster durch eine beliebige Definition identifiziert werden kann, und nicht nur durch den Anfangs-Abtastwert eines Codierungsblocks. Selbstverständlich kann jeder Abtastwert eines Codierungsblocks von Abtastwerten dazu verwendet werden, um das Codierungs-Blockraster zu definieren. Schließlich kann das Codierungs-Blockraster auch abweichend von der Anzahl von Abtastwerten pro Fenster definiert werden, derart, daß zwei Rasterpunkte des Codierungs-Blockrasters um die z. B. zweifache Anzahl von Abtastwerten eines Fenster voneinander beabstandet sind.In addition, it should be noted that the coding block grid by any definition can be identified, and not just by the initial sample of a coding block. Of course, each sample can be one Coding blocks of samples are used to to define the coding block grid. Finally, can the coding block grid also deviates from the number of samples per window are defined such that two grid points of the coding block grid around the z. B. twice the number of samples of a window from each other are spaced.
Claims (11)
- A device for determining a coding block raster on which a decoded signal is based, in which the decoded signal is produced from an original signal by coding and decoding according to a coding algorithm including a coding block generating step, a conversion step and a data reducing step, said coding block generating step of the coding algorithm including partitioning the original signal according to the coding block raster into coding blocks with a specific number of time-discrete signal values, said conversion step including generating from a coding block a spectral representation of the same, and said data reducing step including removing information from the spectral representation of the original signal, said device comprising:means (11) for picking out a segment of the decoded signal, said segment beginning at an output sampling value of the decoded signal;means (12) for performing the conversion step on said segment of the decoded signal so as to provide a spectral representation of said segment;means (13) for evaluating the spectral representation of said segment with respect to a predetermined criterion in order to obtain an evaluation result for the segment,said device for determining a coding block raster being further arranged to pick out, convert and evaluate a plurality of segments of the decoded signal that begin at different output sampling values in order to obtain a plurality of evaluation results; andmeans (14) for searching the evaluation results and for outputting an identification for the coding block raster underlying the decoded signal, on the basis of the segment that has an extreme evaluation result with respect to other evaluation results.
- A device according to claim 1,
wherein said means (13) for evaluating is arranged to use as predetermined criterion the number of spectral coefficients of the spectral representation that is smaller than a predetermined threshold value. - A device according to claim 1,
wherein said means (13) for evaluating is arranged to use as predetermined criterion a measure for a fluctuation of preferably logarithmic amplitudes of spectral coefficients of the spectral representation. - A device according to any of the preceding claims,
wherein said means (13) for evaluating is arranged to examine only a segment of the spectral representation from the smallest frequency to a limit frequency with respect to said criterion. - A device according to any of the preceding claims,
wherein the coding algorithm is one of a plurality of different coding algorithms, and wherein said means for performing said conversion step further comprises:a memory means for storing a set of coding parameters of its own for each coding algorithm, said set of coding parameters being selected to define at least the conversion step of the corresponding coding algorithm; andmeans for retrieving another set of coding parameters from said memory means in order to provide evaluation results for an additional coding algorithm. - A device according to claim 5,
wherein said set of coding parameters for a coding algorithm defines a filter bank underlying the same as well as a window used by the same for coding block formation. - A device according to any of the preceding claims,
wherein the decoded signal is a stereo signal and wherein said device further comprises:means for stereo processing the decoded signal in order to provide at least one processed stereo signal. - A device according to claim 7,
wherein said means for stereo processing performs mid/side processing such that the means for converting (12) acts at least on a mid signal or on a side signal. - A device according to any of the preceding claims,
further comprising:a write means coupled to said means (14) for searching and outputting, in order to provide the decoded signal with a mark comprising at least coding block raster information. - A device according to any of the preceding claims which is arranged to process as decoded signal an audio signal or a video signal, wherein the data reducing step, in case of the audio signal, comprises a quantization depending on a psychoacoustic model and, in case of a video signal, comprises a quantization depending on a psychooptic model.
- A method for determining a coding block raster on which a decoded signal is based, in which the decoded signal is produced from an original signal by coding and decoding according to a coding algorithm including a coding block generating step, a conversion step and a data reducing step, said coding block generating step of the coding algorithm including partitioning the original signal according to the coding block raster into coding blocks with a specific number of time-discrete signal values, said conversion step including generating from a coding block a spectral representation of the same, and said data reducing step including removing information from the spectral representation of the original signal, said method comprising the steps of:picking out (11) a segment of the decoded signal, said segment beginning at an output sampling value of the decoded signal;performing (12) the conversion step on said segment of the decoded signal so as to provide a spectral representation of said segment;evaluating (13) the spectral representation of said segment with respect to a predetermined criterion in order to obtain an evaluation result for the segment,said steps of picking out (11), performing (12) and evaluating (13) being carried out a plurality of times in order to pick out, convert and evaluate a plurality of segments of the decoded signal that begin at different output sampling values in order to obtain a plurality of evaluation results; andsearching (14) the evaluation results and outputting an identification for the coding block raster underlying the decoded signal, on the basis of the segment that has an extreme evaluation result with respect to other evaluation results.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE10000934A DE10000934C1 (en) | 2000-01-12 | 2000-01-12 | Device and method for determining an encoding block pattern of a decoded signal |
DE10000934 | 2000-01-12 | ||
PCT/EP2001/000241 WO2001052240A2 (en) | 2000-01-12 | 2001-01-10 | Device and method for determining a coding block raster of a decoded signal |
Publications (2)
Publication Number | Publication Date |
---|---|
EP1247275A1 EP1247275A1 (en) | 2002-10-09 |
EP1247275B1 true EP1247275B1 (en) | 2003-06-25 |
Family
ID=7627256
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP01900416A Expired - Lifetime EP1247275B1 (en) | 2000-01-12 | 2001-01-10 | Device and method for determining a coding block raster of a decoded signal |
Country Status (5)
Country | Link |
---|---|
US (1) | US6750789B2 (en) |
EP (1) | EP1247275B1 (en) |
AT (1) | ATE243877T1 (en) |
DE (2) | DE10000934C1 (en) |
WO (1) | WO2001052240A2 (en) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100462611B1 (en) * | 2002-06-27 | 2004-12-20 | 삼성전자주식회사 | Audio coding method with harmonic extraction and apparatus thereof. |
DE102004036154B3 (en) * | 2004-07-26 | 2005-12-22 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for robust classification of audio signals and method for setting up and operating an audio signal database and computer program |
FR2911228A1 (en) * | 2007-01-05 | 2008-07-11 | France Telecom | TRANSFORMED CODING USING WINDOW WEATHER WINDOWS. |
US8891775B2 (en) | 2011-05-09 | 2014-11-18 | Dolby International Ab | Method and encoder for processing a digital stereo audio signal |
US9117440B2 (en) | 2011-05-19 | 2015-08-25 | Dolby International Ab | Method, apparatus, and medium for detecting frequency extension coding in the coding history of an audio signal |
EP2959481B1 (en) | 2013-02-20 | 2017-04-26 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating an encoded audio or image signal or for decoding an encoded audio or image signal in the presence of transients using a multi overlap portion |
CN111210832A (en) * | 2018-11-22 | 2020-05-29 | 广州广晟数码技术有限公司 | Bandwidth extension audio coding and decoding method and device based on spectrum envelope template |
US11368209B2 (en) | 2019-05-30 | 2022-06-21 | Qualcomm Incorporated | Methods and apparatus for frequency translating repeaters |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR970002686B1 (en) * | 1988-05-26 | 1997-03-08 | 톰손 컨슈머 일렉트로닉스 세일즈 게엠베하 | Method for transmitting an audio signal with an improved signal to noise ratio |
DE3902948A1 (en) * | 1989-02-01 | 1990-08-09 | Telefunken Fernseh & Rundfunk | METHOD FOR TRANSMITTING A SIGNAL |
DE4405659C1 (en) * | 1994-02-22 | 1995-04-06 | Fraunhofer Ges Forschung | Method for the cascaded coding and decoding of audio data |
DE19647399C1 (en) * | 1996-11-15 | 1998-07-02 | Fraunhofer Ges Forschung | Hearing-appropriate quality assessment of audio test signals |
DE19730130C2 (en) * | 1997-07-14 | 2002-02-28 | Fraunhofer Ges Forschung | Method for coding an audio signal |
GB2327577B (en) * | 1997-07-18 | 2002-09-11 | British Broadcasting Corp | Re-encoding decoded signals |
US6175590B1 (en) * | 1997-08-08 | 2001-01-16 | Qualcomm Inc. | Method and apparatus for determining the rate of received data in a variable rate communication system |
US6496795B1 (en) * | 1999-05-05 | 2002-12-17 | Microsoft Corporation | Modulated complex lapped transform for integrated signal enhancement and coding |
-
2000
- 2000-01-12 DE DE10000934A patent/DE10000934C1/en not_active Expired - Lifetime
-
2001
- 2001-01-10 EP EP01900416A patent/EP1247275B1/en not_active Expired - Lifetime
- 2001-01-10 WO PCT/EP2001/000241 patent/WO2001052240A2/en active IP Right Grant
- 2001-01-10 DE DE50100332T patent/DE50100332D1/en not_active Expired - Lifetime
- 2001-01-10 AT AT01900416T patent/ATE243877T1/en active
- 2001-01-10 US US10/168,456 patent/US6750789B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
US20030107503A1 (en) | 2003-06-12 |
DE50100332D1 (en) | 2003-07-31 |
DE10000934C1 (en) | 2001-09-27 |
WO2001052240A8 (en) | 2001-08-16 |
ATE243877T1 (en) | 2003-07-15 |
US6750789B2 (en) | 2004-06-15 |
WO2001052240A2 (en) | 2001-07-19 |
EP1247275A1 (en) | 2002-10-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE19811039B4 (en) | Methods and apparatus for encoding and decoding audio signals | |
DE60014363T2 (en) | REDUCING DATA QUANTIZATION DATA BLOCK DISCOUNTS IN AN AUDIO ENCODER | |
DE10109648C2 (en) | Method and device for characterizing a signal and method and device for generating an indexed signal | |
DE60225381T2 (en) | Method for coding voice and music signals | |
DE60308567T2 (en) | Decoding device, coding device, decoding method and coding method | |
EP1697930B1 (en) | Device and method for processing a multi-channel signal | |
DE102007017254B4 (en) | Device for coding and decoding | |
DE602004005197T2 (en) | DEVICE AND METHOD FOR CODING AN AUDIO SIGNAL AND DEVICE AND METHOD FOR DECODING A CODED AUDIO SIGNAL | |
EP1697931B1 (en) | Device and method for determining an estimated value | |
WO1999004506A1 (en) | Method for coding an audio signal | |
DE4320990A1 (en) | Redundancy reduction procedure | |
EP1397799B1 (en) | Method and device for processing time-discrete audio sampled values | |
DE60017825T2 (en) | Method and device for coding and decoding audio signals and record carriers with programs therefor | |
DE602004007550T2 (en) | IMPROVED FREQUENCY RANGE ERROR | |
DE60303346T2 (en) | Encoding and / or decoding method for digital audio signals, based on time-frequency correlation and apparatus for this purpose | |
EP1247275B1 (en) | Device and method for determining a coding block raster of a decoded signal | |
DE102007029381A1 (en) | Digital signal e.g. audio signal, processing device, has decision section, which assumes forecast data before deletion as interpolation data, when absolute value is lower than resolution | |
EP1277346B1 (en) | Device and method for analysing a spectral representation of a decoded time-variable signal | |
DE60116809T2 (en) | Device for transcoding an audio data stream | |
DE19639000B4 (en) | Audio coding and sound decoding device | |
WO2001052240A1 (en) | Device and method for determining a coding block raster of a decoded signal | |
EP0905918A2 (en) | Method and apparatus for encoding audio signals | |
DE112008003153T5 (en) | Frequency band determination method for shaping quantization noise and method of forming transient noise using this method | |
DE10065363B4 (en) | Apparatus and method for decoding a coded data signal | |
DE102006053976A1 (en) | Audio signal coding method for use in advanced-audio-coding-coder, involves selecting long or short window based on global-energy-ratio, zero-crossing-ratio, and coding subrange, which is common for three subranges, using selected window |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
17P | Request for examination filed |
Effective date: 20020415 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR |
|
GRAH | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOS IGRA |
|
GRAH | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOS IGRA |
|
GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
AK | Designated contracting states |
Designated state(s): AT CH DE GB LI |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D Free format text: NOT ENGLISH |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: EP |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D Free format text: GERMAN |
|
REF | Corresponds to: |
Ref document number: 50100332 Country of ref document: DE Date of ref document: 20030731 Kind code of ref document: P |
|
GBT | Gb: translation of ep patent filed (gb section 77(6)(a)/1977) | ||
RAP2 | Party data changed (patent owner data changed or rights of a patent transferred) |
Owner name: FRAUNHOFER-GESELLSCHAFT ZUR FOERDERUNG DERANGEWAND |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FD4D |
|
PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
26N | No opposition filed |
Effective date: 20040326 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: GB Payment date: 20200127 Year of fee payment: 20 Ref country code: DE Payment date: 20200123 Year of fee payment: 20 Ref country code: AT Payment date: 20200121 Year of fee payment: 20 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: CH Payment date: 20200127 Year of fee payment: 20 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R071 Ref document number: 50100332 Country of ref document: DE |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: PL |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: PE20 Expiry date: 20210109 |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: MK07 Ref document number: 243877 Country of ref document: AT Kind code of ref document: T Effective date: 20210110 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: GB Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION Effective date: 20210109 |