EP1145227A1 - Verfahren und vorrichtung zum verschleiern eines fehlers in einem codierten audiosignal und verfahren und vorrichtung zum decodieren eines codierten audiosignals - Google Patents

Verfahren und vorrichtung zum verschleiern eines fehlers in einem codierten audiosignal und verfahren und vorrichtung zum decodieren eines codierten audiosignals

Info

Publication number
EP1145227A1
EP1145227A1 EP00926896A EP00926896A EP1145227A1 EP 1145227 A1 EP1145227 A1 EP 1145227A1 EP 00926896 A EP00926896 A EP 00926896A EP 00926896 A EP00926896 A EP 00926896A EP 1145227 A1 EP1145227 A1 EP 1145227A1
Authority
EP
European Patent Office
Prior art keywords
spectral
spectral coefficients
subband
coefficients
following
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP00926896A
Other languages
English (en)
French (fr)
Other versions
EP1145227B1 (de
Inventor
Pierre Lauber
Martin Dietz
Jürgen HERRE
Reinhold BÖHM
Ralph Sperschneider
Daniel Homm
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Publication of EP1145227A1 publication Critical patent/EP1145227A1/de
Application granted granted Critical
Publication of EP1145227B1 publication Critical patent/EP1145227B1/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm

Definitions

  • the present invention relates to the coding or decoding of audio signals and in particular to the concealment of errors (“error concealment”) in digitally coded audio signals.
  • muting error concealment
  • Another known method that avoids the sudden drop and rise of signal energy is the data retry method. If, for example, a block or several blocks of audio data fails, some of the last data sent is repeated in a loop until error-free, i.e. H. sound data is intact. However, this method leads to annoying artifacts. If only short parts of the audio signal are repeated, the repeated signal sounds machine-like with a basic frequency at the repetition frequency, regardless of the original signal. If longer parts are repeated, certain echo effects arise, which are also perceived as annoying.
  • spectral values in a block are defective, these spectral values can be predicted, ie predicted or estimated, based on the spectral values of a preceding block or a plurality of previous blocks.
  • the predicted spectral values correspond to the incorrect spectral values within certain limits if the audio signal is relatively stationary, ie if the audio signal is not subjected to such rapid changes in the signal envelope.
  • a normal block of coded audio data has 1024 spectral values.
  • 1024 predictors working in parallel are therefore required in the decoder in order to, for example, B. in the event of a complete block failure ("frame loss") to be able to predict all spectral values.
  • a disadvantage of this method is the relatively high computing effort, which currently makes real-time decoding of a received multimedia or audio data signal impossible.
  • MDCT modified discrete cosine transformation
  • DE 40 34 017 AI relates to a method for detecting errors in the transmission of frequency-coded digital signals.
  • an error function is formed from frequency coefficients of past and possibly future blocks, on the basis of which the occurrence of an error is determined. An incorrect frequency coefficient is no longer used for the evaluation of subsequent blocks.
  • DE 197 35 675 AI discloses a method for concealing errors in an audio data stream. For this, the spectral energy of a subset of intact audio data is calculated. After forming a template for replacement data based on the spectral energy calculated for the subgroup of the intact audio data, replacement data for faulty or non-existent audio data corresponding to the subgroup are generated on the basis of the template.
  • the object of the present invention is to provide a precise and flexible error concealment for audio signals, which can be implemented with limited computing effort.
  • This object is achieved by a method for concealing an error according to claim 1 and a device for Disguising an error according to claim 12 solved.
  • Another object of the present invention is to provide error-proof and flexible decoding of audio signals.
  • This object is achieved by a method for decoding a coded audio signal according to claim 10 and by a device for decoding a coded audio signal according to claim 13.
  • the present invention is based on the knowledge that the disadvantages of the spectral-value-based prediction, which consist in the dependency on the transformation algorithm used and in the dependency on window shape and block length, can be avoided by using a prediction for error concealment which, in the "quasi "Time range works.
  • a set of spectral values which preferably corresponds to a long block or a number of short blocks, is divided into subbands.
  • a subband of the current set of spectral coefficients can then be back-transformed to obtain a time signal that corresponds to the spectral coefficients of the subband.
  • a prediction is carried out on the basis of the time signal of this subband.
  • this prediction takes place in the quasi-time domain, since the temporal signal on the basis of which the prediction is carried out is only the time signal of a subband of the coded audio signal and not the time signal of the entire spectrum of the audio signal.
  • the time signal generated by prediction is subjected to a forward transformation in order to obtain estimated, ie predicted spectral coefficients for the subband of the following set of spectral coefficients. Now it is found that in the following set of spectral coefficients If one or more incorrect spectral coefficients are present, the incorrect spectral coefficients can be replaced by the estimated, ie predicted, spectral coefficients.
  • the method according to the invention for concealing errors requires less computation effort, since, because of the grouping of spectral coefficients, predictions only have to be carried out for each subband and no longer for each spectral coefficient.
  • the method according to the invention provides a high degree of flexibility, since the properties of the signals to be processed can be taken into account.
  • noise substitution according to the present invention works particularly well for tonal signals.
  • tonal signal components tend to occur in the lower frequency range of the spectrum of an audio signal, while the higher frequency signal components tend to be non-stationary, i. H. are intoxicated.
  • "Noisy signal components" in the sense of the present description are signal components that are not very stationary. However, these noisy signal components do not necessarily have to represent noise in the classic sense, but only rapidly changing useful signals.
  • the present invention therefore makes it possible to subject only lower-frequency signal components to a prediction, while higher-frequency signal components are not processed at all.
  • This feature of the present invention compares to a complete transformation of the whole Audio signal in the time domain and a prediction of the entire temporal audio signal from block to block using a so-called "long-term" predictor represent a significant advantage, since according to the invention the advantages of prediction in the time domain are combined with the advantages of spectral decomposition. Only the spectral decomposition enables properties of the audio signal, which are dependent on the frequency, to be taken into account. The number of subbands that is generated when dividing the set of spectral coefficients can be selected as desired. If only two subbands are selected, there is already the advantage of considering the tonality in the lower frequency range of the audio signal.
  • the predictor in the quasi-time range will have a relatively short length such that its delay does not become too great. Since the individual subbands are preferably processed in parallel, many parallel predictor circuits would be necessary in an embodiment of the present invention using a hard-wired integrated circuit.
  • the present invention is used in connection with a transformation encoder which uses different block lengths, there is the advantage that the predictor itself is independent of block length ("frame length”) and window shape ("window shape").
  • the back-transformation eliminates the dependency on the transformation algorithm itself, which was carried out above with regard to the MDCT.
  • the concept according to the invention for error concealment provides estimated spectral coefficients which are in phase due to the backward transformation, the prediction in the time domain and the forward transformation, ie there are no phase jumps in the time signal due to a predicted spectral coefficient compared to a time signal of a preceding intact set of spectral coefficients. Tonal signals can thus be substituted so well for incorrect or missing signal components that a common listener in the vast majority of cases will not even notice that an error has occurred.
  • the method according to the invention is particularly suitable for a combination with an error concealment technique, which is described in DE 197 35 675 AI, which is suitable for the substitution of noisy signal components. If tonal signal components of a missing block are obscured by the method according to the invention, and if noisy signal components are combined by the aforementioned known method, which is based on an energy similarity between substituted data and intact data, completely failed blocks can be obscured almost inaudibly by a normal listener .
  • FIG. 1 shows a decoder which has an error concealment device according to the invention
  • FIG. 2 is a more detailed block diagram of the error concealment device of FIG. 1;
  • FIG. 3 shows a more detailed block diagram of the error concealment device from FIG. 1, which also has noise substitution and operates based on the prediction gain;
  • FIG. 5 is a detailed block diagram of a preferred embodiment of the error concealer for an MPEG-2 AAC decoder
  • Fig. 6 is a detailed block diagram of the predictor of Fig. 5;
  • Fig. 7 is a schematic representation of the block structure according to the AAC standard.
  • Fig. 1 shows a block diagram of a decoder according to a preferred embodiment of the present invention.
  • the decoder block diagram shown in FIG. 1 basically corresponds to the MPEG-2 AAC decoder as defined in the MPEG-2 AAC 13818-7 standard.
  • the encoded audio signal first goes into a bitstream demultiplexer 100 to separate spectral data and side information.
  • the Huffman-coded spectral coefficients are then fed into a Huffman decoder 200 in order to obtain quantized spectral values from the Huffman code words.
  • the quantized spectral values are then fed into an inverse quantizer 300 and then multiplied by scale factor band by corresponding scale factors.
  • the encoder according to the invention can have several additional functionalities following the inverse quantizer 300, such as, for. B. a middle / side level, a predictor level, a TNS level etc. as defined in the standard.
  • the decoder immediately before a synthesis filter bank 400 comprises an error concealer 500 which operates according to the invention and ensures that the effects of transmission errors in the encoded audio signal which is fed into the bitstream demultiplexer 100 are alleviated or can be made completely inaudible.
  • the error concealer 500 causes transmission errors to be concealed, i. H. that they are not or only slightly audible in a temporal audio signal at the output of the synthesis filter bank.
  • FIG. 2 shows a general block diagram of the error concealer 500.
  • the latter includes a backward transformation device 502, a device 504 for generating estimated values and a device 506 for forward transformation. Both the reverse transformation device 502 and the forward transformation device 506 can be controlled via a block type line 508, depending on the block type that is currently present.
  • the error encryption device 500 further comprises a parallel branch in order to direct the input spectral coefficients directly bypassing the backward transformation device 502, the device for generating estimated values 504 and the forward transformation device 506 from the input to the output.
  • This parallel branch comprises a time delay stage 510 in order to ensure that the estimated spectral coefficients for a subsequent block behind the forward transformation device 506 are present at an error selection device 512 at the same time as "real", possibly incorrect spectral coefficients for the following block, in order to possibly incorrect spectral coefficients to be able to replace the real spectral coefficients for the following block with estimated spectral coefficients for the following block.
  • This spectral value-based replacement is represented by a switch symbol 512 in FIG. 2.
  • the error replacement device 512 can operate either spectrally or block-wise or block-wise. Depending on the requirement, it can also work sub-band.
  • the following set of spectral coefficients is then available at the output of the error replacement device 512, in which spectral coefficients which were originally faulty have been replaced by estimated spectral coefficients, ie in which errors are masked.
  • the block diagram shown in FIG. 2 represents only part of the error concealment device 500. However, this representation was chosen for reasons of clarity. As explained in more detail in FIG. 5 using a preferred exemplary embodiment of the present invention will be, the circuit shown in Fig. 2 is preceded by a device for subdivision into subbands. Analogously, the error replacement device 512 is followed by a device for undoing the division into subbands in such a way that the filter bank 400 (FIG. 1) obtains a "normal" set of spectral coefficients without noticing anything of the previous error concealment. Error concealer 500 (FIG. 1) thus comprises a plurality of circuits described with reference to FIG. 2, one circuit for each subband. The parallel circuits are connected on the input side by the device for dividing and on the output side by the device for undoing the division, as will be explained in detail later.
  • FIG. 7 comprises a time axis 700, with respect to which the extension of a long block 702 is shown
  • a long block contains 2048 samples, resulting in 1024 spectral coefficients when 50% window overlap is used, as is known. Background information on the modified discrete cosine transform (MDCT) used and the window overlap can be found in the standard already cited. 7 also shows eight short blocks 704, each of which has 256 samples, in order to again give 128 spectral coefficients due to the 50% overlap. For reasons of clarity, the overlap of the short blocks and the overlap of the long block with a preceding long block or with a preceding or a subsequent start or stop window were not shown in FIG. 7. In any event, it can be seen from Fig. 7 that the number of spectral coefficients of a long block is eight times the number of spectral coefficients of a short block. In other words, a long block comprises the same duration of the audio signal as eight short blocks.
  • MDCT modified discrete cosine transform
  • the backward transformation device 502 is controlled via the block type line 508 in such a way that it carries out eight successively backward transformations of the spectral coefficients in corresponding subbands of short blocks and simply strings the quasi-time signals obtained in series around the device 504 for generating estimated values with a time signal of a certain length.
  • the forward transformation device 506 will again carry out eight successive forward transformations, one after the other with the values which are serially output by the device 504 for generating estimated values.
  • this "duty cycle" requires that the same number of spectral coefficients be output in the case of short blocks as in the case of long blocks.
  • the spectral coefficients that are output by the error concealment device 500 in a “work cycle” are referred to in the sense of the present invention as Denoted set of estimated spectral coefficients.
  • the number of spectral coefficients in a set corresponds to the number of spectral coefficients in a long block and the number of spectral coefficients from eight short blocks.
  • any other ratio between long and short block can be used, for example 2, 4 or 16.
  • the situation will be such that the number of spectral coefficients of a long block is divisible by the number of spectral coefficients of a short block.
  • the number of a set of spectral coefficients would correspond to the smallest common multiple of long and short blocks, such that independence of the block type is achieved at the predictor level, ie in the device 504 for generating estimated values becomes.
  • the error concealment device is expanded by a noise substitution device 514 which, depending on a prediction gain signal 516, can be connected to the error replacement device via a noise substitution switch 518 instead of the forward transformation device 506.
  • the noise reduction device 514 works according to the method described in DE 197 35 675 AI in order to approximate noisy signal components in the audio signal. Since the spectral components are noisy, the phase of the spectral coefficients is no longer taken into account, but only the energy of several spectral coefficients in a subgroup.
  • the noise substitution device 514 Based on the energy in a subset of the last available intact audio data, the noise substitution device 514 generates a corresponding subset of spectral coefficients, the energy in the subset of the generated spectral coefficients being the energy of the corresponding subset of the preceding spectral coefficients corresponds to or is derived from the same. However, the phases of the spectral coefficients generated during noise substitution are randomly determined.
  • the noise substitution switch 518 is controlled by a prediction gain signal 516.
  • the prediction gain relates to the ratio of the output signal of the device 504 for generating estimated values to the input signal. If it is found that the output signal differs relatively little from the input signal in a subband, it can be assumed that the audio signal in this subband is relatively stationary, i. H. tonal, is. If, on the other hand, the output signal of the predictor differs greatly from the input signal, it can be assumed that the signal is unsteady; H. atonal or intoxicating. In this case, noise replacement will give better results than prediction because noisy signals per se cannot be reliably predicted.
  • the noise reduction switch 518 could be controlled to connect the forward transformer 506 to the error replacement 512 if the prediction gain exceeds a certain threshold, or to connect the noise replacement 514 to the error replacement 512 when the prediction gain falls below this threshold in order to optimally combine both substitution methods.
  • FIG. 4 assumes that the current set of spectral coefficients only has intact spectral coefficients or has already been subjected to an error concealment method according to FIG. 2 or 3.
  • the current set of spectral coefficients is processed by the filter bank 400 (FIG. 1) and output to a loudspeaker, for example (12).
  • the current set of spectral coefficients is used to predict, ie to estimate or predict, a subsequent set of spectral coefficients.
  • the current set of spectral coefficients is subdivided into subbands (14).
  • the division into subbands takes place in such a way that only one subband with a corresponding frequency range is generated per block.
  • the current set of spectral coefficients will comprise a plurality of complete spectra in time.
  • Corresponding subbands are then generated in step 14 for each complete spectrum, ie a plurality of subbands per set of spectral coefficients.
  • a reverse transformation is carried out for each subband (16).
  • a reverse transformation is carried out for each subband (16).
  • a single inverse transformation per subband is carried out before proceeding to prediction 18.
  • several back-transformations are carried out in accordance with the subbands of each “short” spectrum before a prediction 18 is then carried out for all subbands together.
  • the prediction 18 takes place in the quasi-time domain, ie for each subband "time" signal, in order to obtain an estimated subband time signal for the following sentence.
  • This estimated quasi-time signal is then again subjected to a forward transformation 20, the forward transformation being carried out once only for a long block or N times for short blocks, where N is the ratio between the number of spectral coefficients of a long block to the number of Spectral coefficient of a short block.
  • step 20 estimated spectral coefficients are available for each subband.
  • the subdivision introduced in step 14 is canceled, such that after step 22 there is a following set of spectral coefficients.
  • the decoder receives the following set of spectral coefficients.
  • This set is subjected to an error detection 26 to determine whether one spectral coefficient, several spectral coefficients or even all spectral coefficients of the following set are incorrect.
  • the flow chart of FIG. 4 effectively represents a snapshot of processing from one set of spectral coefficients to a next set of spectral coefficients.
  • a single filter bank 400 FIG. 1
  • steps 12 and 30 the flow chart of FIG. 4
  • only a single device for receiving the current set of spectral coefficients or for receiving the following set of spectral coefficients will be required in order to implement steps 10 and 24.
  • the temporal synchronicity for steps 10 and 24 is determined in a device which implements the method according to the invention is ensured by the time delay stage 510 in the parallel branch (FIG. 2).
  • FIG. 5 shows a more detailed illustration of the general block diagram of FIG. 2 using the example of an MPEG-2 AAC transformation encoder which has the error concealment device 500 according to the invention.
  • the error concealment device 500 (FIG. 1) comprises a device 520 for dividing the blocks of spectral coefficients into preferably 32 subbands. In the case of long blocks, each subband has 32 spectral coefficients. Since the subbands of the short blocks cover the same frequency ranges, each subband has 4 spectral coefficients in the case of short blocks. A division of an entire spectrum into subbands of the same size is preferred for reasons of simplicity, but a subdivision into unequal subbands would also be possible, for example based on the psychoacoustic frequency groups.
  • Each subband is then subjected to an inverse modified discrete cosine transformation.
  • the IMDCT runs once and receives 32 input values.
  • eight consecutive IMDCTs are carried out, each with 4 of the spectral coefficients, such that 32 quasi-time samples again result at the output. These are then fed to the predictor 504, which in turn generates 32 estimated quasi-time samples that are transformed using the MDCT 506.
  • the predictor 504 which in turn generates 32 estimated quasi-time samples that are transformed using the MDCT 506.
  • a single MDCT with 32 temporal values is carried out, while in the case of short blocks eight temporally successive MDCTs with 4 samples each are carried out. Although only one branch for the zeroth subband is shown in FIG.
  • the subbands are all of the same length, there is an identical branch for each subband. If the subbands have different lengths, the orders of the IMDCT and MDCT are adapted to them. For one Practical implementation offers parallel processing. However, serial processing of the subbands in succession is of course also possible if appropriate storage capacities are provided.
  • the output values of the MDCT 506 for each subband are fed into a device 522 for undoing the division, ie into an inverse division device, in order to output an estimated set of spectral values in the preferred embodiment at the AAC-MDCT level.
  • a time delay stage 504b is connected upstream of the LMSL predictor 504a.
  • the predictor 504 further comprises a parallel-serial converter 504c on the input side and a serial-parallel converter 504d on the output side.
  • Predictor 504 in its implementation as an LMSL predictor, also includes two switches 504f and 504g, which have two switch positions. Switch position "1" relates to the case that spectral coefficients of the following block are error-free, while switch position "2" relates to the case that spectral coefficients of the following block are incorrect.
  • FIG. 6 shows the case in which the spectral coefficients are faulty.
  • a reference signal with a value of 0 is fed into the predictor at switch 504g instead of the input signal.
  • the output values of the parallel-serial converter are fed into the LMSL predictor from below.
  • error concealment method is used in connection with an AAC encoder, it is preferred to use the corresponding transformation algorithms (MDCT or IMDCT) for all forward and backward transformations. For error concealment, however, it is not necessary that the same transformation method that was used when coding the audio signal is used for the backward or forward transformation in order to form the spectral coefficients.
  • MDCT transformation algorithms
  • IMDCT transformation algorithms
  • frequency-time domain transformations with a lower order than the frequency resolution are used for each subband.
  • Special predictive values for tonal signal components in the intermediate level are thus generated by means of the predictor.
  • Time-frequency domain transformations of a lower order than the original frequency resolution are used as the forward transformation / synthesis, the same order being chosen as for the frequency-time domain transformation used.
  • the error concealment according to the invention thus provides flexibility, on the one hand, by utilizing prior knowledge of spectral properties of audio signals and, on the other hand, independence from the transformation method used in the encoder by generating the estimated values in the quasi-time signal, ie not at the spectral coefficient level.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Description

Verfahren und Vorrichtung zum Verschleiern eines Fehlers in einem codierten Audiosignal und Verfahren und Vorrichtung zum Decodieren eines codierten Audiosignals
Beschreibung
Die vorliegende Erfindung bezieht sich auf das Codieren bzw. Decodieren von Audiosignalen und insbesondere auf die Verschleierung von Fehlern ("Error Concealment") in digital codierten Audiosignalen.
Mit zunehmender Verbreitung moderner Audiocodierer und entsprechender Audiodecodierer, die nach einem der MPEG-Standards arbeiten, hat die Übertragung von codierten Audiosignalen über Funknetze oder über leitungsgebundene Netze, wie z. B. das Internet, bereits eine große Bedeutung erlangt. Bei der Übertragung von codierten Audiosignalen mittels digitalem Rundfunk aber auch beim Übertragen von Audiosignalen über leitungsgebundene Netze liegt ein nicht-idealer Übertragungskanal vor, der dazu führen kann, daß codierte Audiosignale während der Übertragung gestört werden. Daher stellt sich decodiererseitig die Aufgabe, wie mit Übertragungsfehlern umgegangen werden soll, bzw. wie Übertragungsfehler "verschleiert" werden sollen. Die Fehlerverschleierung dient dazu, Übertragungsfehler auf irgendeine Art und Weise zu manipulieren, um den subjektiven Höreindruck eines solchen fehlerbehafteten decodierten Audiosignales zu verbessern.
Mehrere Fehlerverschleierungsverfahren sind bereits bekannt. Die einfachste Art der Fehlerverschleierung besteht in dem Verfahren der Stummschaltung, das auch als "Muting" bezeichnet wird. Erkennt ein Decodierer, daß Daten fehlen oder fehlerhaft sind, so schaltet derselbe die Wiedergabe ab. Die fehlenden Daten werden somit durch ein Null-Signal ersetzt. Damit wird vermieden, daß aufgrund eines Übertragungsfehlers zu laute bzw. unangenehme Geräusche eines Decodierers ausge- geben werden. Aufgrund psychoakustischer Effekte wird dieses plötzliche Abfallen und Ansteigen der Signalenergie, wenn der Decodierer wieder fehlerfreie Daten ausgibt, dennoch als unangenehm empfunden.
Ein anderes bekanntes Verfahren, das den plötzlichen Abfall und Wiederanstieg der Signalenergie vermeidet, ist das Verfahren der Datenwiederholung. Fällt beispielsweise ein Block oder mehrere Blöcke von Audiodaten aus, so wird ein Teil der zuletzt gesendeten Daten in einer Schleife wiederholt, bis wieder fehlerfreie, d. h. intakte Audiodaten vorliegen. Dieses Verfahren führt jedoch zu störenden Artefakten. Werden nur kurze Teile des Audiosignals wiederholt, so klingt das repetierte Signal unabhängig vom Orginalsignal maschinenartig mit einer Grundfrequenz bei der Wiederholfrequenz. Werden längere Teile wiederholt, entstehen bestimmte Echoeffekte, die ebenfalls als störend empfunden werden.
Bei blockorientierten Transformationscodierern/-decodierern, bei denen eine spektrale Darstellung eines zeitlichen Audiosignals verwendet wird, würde ferner die Möglichkeit bestehen, eine spektralwertweise Prädiktion im Falle von fehlerhaften Audiodaten durchzuführen. Wird festgestellt, daß Spektralwerte in einem Block fehlerhaft sind, so können diese Spektralwerte basierend auf den Spektralwerten eines vorausgehenden Blocks oder mehrerer vorausgehender Blöcke prädiziert, d. h. vorhergesagt oder abgeschätzt werden. Die prädizierten Spektralwerte entsprechen in gewissen Grenzen den fehlerhaften Spektralwerten, wenn das Audiosignal relativ stationär ist, d. h. wenn das Audiosignal keinen so schnellen Änderungen der Signaleinhüllenden unterzogen ist. Wenn beispielsweise ein nach dem MPEG-AAC-Standard (ISO/IEC 13818-7 MPEG-2 Advanced Audio Coding) arbeitendes Verfahren betrachtet wird, so hat ein normaler Block von codierten Audiodaten 1024 Spektralwerte. Beim Verfahren der spek- tralwertweisen Prädiktion werden daher 1024 parallel arbeitende Prädiktoren im Decodierer benötigt, um z. B. im Falle eines vollständigen Blockausfalls ("Frame Loss") sämtliche Spektralwerte prädizieren zu können.
Ein Nachteil dieses Verfahrens ist der relativ hohe Rechenaufwand, der derzeit eine Echtzeit Decodierung eines empfangenen Multimedia- oder Audiodatensignals unmöglich macht.
Ein weiterer wesentlicher Nachteil dieses Verfahrens wird durch den verwendeten Transformationsalgorithmus, die modifizierte diskrete Cosinustransformation (MDCT), bedingt. Es ist allgemein bekannt, daß der MDCT-Algorithmus kein ideales Fourier-Spektrum liefert, sondern ein "Spektrum", das sich von einem idealen Fourier- Spektrum unterscheidet. Untersuchungen haben gezeigt, daß z. B. eine Sinus-Zeitfunktion, die ein Fourier-Spektrum aufweist, das eine einzige Spektrallinie bei der Frequenz der Sinusfunktion hat, ein MDCT- "Spektrum" hat, das zwar bei der Frequenz der Sinusfunktion einen dominierenden Spektralkoeffizienten hat, das jedoch zusätzlich weitere Spektralkoeffizienten bei anderen Frequenzwerten aufweist. Außerdem ist die Höhe eines MDCT- "Spektrums" einer Sinusfunktion nicht von Block zu Block gleich, sondern dieselbe schwankt von Block zu Block. Eine weitere Tatsache ist, daß die MDCT-Transformation nicht streng energieerhaltend ist. So kann festgehalten werden, daß die MDCT-Transformation zwar zusammen mit einer inversen MDCT-Transformation exakt arbeitet, daß jedoch das MDCT- Spektrum wesentliche Unterschiede zu einem Fourier-Spektrum hat. Eine spektralwertweise Prädiktion von MDCT-Spektralko- effizienten hat sich daher als unzureichend herausgestellt, wenn qualitativ hochwertige Anforderungen gestellt werden.
Ein weiterer Nachteil der spektralwertweisen Prädiktion insbesondere in Verbindung mit modernen Audiocodierverfahren besteht darin, daß moderne Audiocodierverfahren unterschiedliche Fensterlängen bzw. Fensterformen verwenden. Um zu vermeiden, daß sich bei schnellen Änderungen des zu codierenden Audiosignals, d. h. bei Transienten oder Anschlägen, das durch die Quantisierung der MDCT-Spektralkoeffizienten eingeführte Quantisierungsrauschen über eine langen Block "ver- schmiert", d. h. daß sogenannte Vorechos auftreten, verwenden moderne Transformationscodierer bei transienten Audiosignalen, d. h. Audiosignalen mit Anschlägen, kurze Fenster, um die zeitliche Auflösung auf Kosten der Frequenzauflösung zu erhöhen. Dies führt aber dazu, daß bei einer spektral- wertweisen Prädiktion ständig sowohl Fensterlänge als auch Fensterform (es existieren zudem Übergangsfenster, um eine Fensterung von kurzen zu langen Blöcken und umgekehrt einzuleiten) berücksichtigt werden müssen, was ebenfalls zu einer Verkomplizierung der spektralwertweisen Prädiktion beiträgt und die Recheneffizienz empfindlich beeinflussen würde .
Die DE 40 34 017 AI bezieht sich auf ein Verfahren zum Erkennen von Fehlern bei der Übertragung von frequenzcodierten digitalen Signalen. Hierbei wird aus Frequenzkoeffizienten zurückliegender sowie ggf. zukünftiger Blöcke eine Fehlerfunktion gebildet, anhand derer das Auftreten eines Fehlers ermittelt wird. Ein fehlerhafter Frequenzkoeffizient wird für die Bewertung nachfolgender Blöcke nicht mehr herangezogen.
Die DE 197 35 675 AI offenbart ein Verfahren zum Verschleiern von Fehlern in einem Audiodatenstrom. Hierzu wird die spektrale Energie einer Untergruppe von intakten Audiodaten berechnet. Nach dem Bilden einer Vorlage für Ersatzdaten aufgrund der für die Untergruppe der intakten Audiodaten berechneten spektralen Energie werden Ersatzdaten für fehlerhafte oder nicht vorhandene Audiodaten, die der Untergruppe entsprechen, aufgrund der Vorlage erzeugt.
Die Aufgabe der vorliegenden Erfindung besteht darin, eine präzise und flexible Fehlerverschleierung für Audiosignale zu schaffen, die mit begrenztem Rechenaufwand implementiert werden kann.
Diese Aufgabe wird durch ein Verfahren zum Verschleiern eines Fehlers nach Patentanspruch 1 und eine Vorrichtung zum Verschleiern eines Fehlers nach Patentanspruch 12 gelöst.
Eine weitere Aufgabe der vorliegenden Erfindung besteht darin, eine fehlerrobuste und flexible Decodierung von Audiosignalen zu schaffen.
Diese Aufgabe wird durch ein Verfahren zum Decodieren eines codierten Audiosignals nach Patentanspruch 10 und durch eine Vorrichtung zum Decodieren eines codierten Audiosignals nach Patentanspruch 13 gelöst.
Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, daß die Nachteile der spektralwertweisen Prädiktion, die in der Abhängigkeit von dem verwendeten Transformationsalgorithmus und in der Abhängigkeit von Fensterform und Blocklänge bestehen, dadurch vermieden werden können, daß zur Fehlerverschleierung eine Prädiktion eingesetzt wird, die im "Quasi"-Zeitbereich arbeitet. Hierzu wird ein Satz von Spektralwerten, der vorzugsweise einem langen Block bzw. einer Anzahl von kurzen Blöcken entspricht, in Subbänder unterteilt. Ein Subband des aktuellen Satzes von Spektralkoeffizienten kann daraufhin einer Rückwärts-Transformation unterzogen werden, um ein Zeitsignal zu erhalten, das den Spektralkoeffizienten des Subbandes entspricht. Zur Erzeugung von Schätzwerten für einen darauffolgenden Satz von Spektralkoeffizienten wird eine Prädiktion auf der Basis des Zeitsignals dieses Subbandes durchgeführt.
Es sei darauf hingewiesen, daß diese Prädiktion im Quasi- Zeitbereich stattfindet, da das zeitliche Signal, auf der Basis dessen die Prädiktion durchgeführt wird, lediglich das Zeitsignal eines Subbandes des codierten Audiosignals und nicht das Zeitsignal des gesamten Spektrums des Audiosignals ist. Das mittels Prädiktion erzeugte Zeitsignal wird einer Vorwärtstransformation unterzogen, um geschätzte, d. h. prä- dizierte Spektralkoeffizienten für das Subband des folgenden Satzes von Spektralkoeffizienten zu erhalten. Wird nun festgestellt, daß in dem folgenden Satz von Spektralkoeffizien- ten einer oder mehrere fehlerhafte Spektralkoeffizienten sind, so können die fehlerhaften Spektralkoeffizienten durch die geschätzten, d. h. prädizierten, Spektralkoeffizienten ersetzt werden.
Im Gegensatz zur reinen spektralwertweisen Prädiktion erfordert das erfindungsgemäße Verfahren zum Verschleiern von Fehlern einen geringeren Rechenaufwand, da aufgrund der Gruppierung von Spektralkoeffizienten Prädiktionen nur noch für jedes Subband und nicht mehr für jeden Spektralkoeffizienten durchgeführt werden müssen. Außerdem liefert das erfindungsgemäße Verfahren eine hohe Flexibilität, da die Eigenschaften der zu verarbeitenden Signale berücksichtigt werden können.
Die Rauschsubstitution gemäß der vorliegenden Erfindung arbeitet besonders gut für tonale Signale. Es wurde jedoch herausgefunden, daß tonale Signalanteile eher im niederfrequenteren Bereich des Spektrums eines Audiosignals auftreten, während die höherfrequenten Signalanteile eher nichtstationär, d. h. rauschhaft, sind. "Rauschhafte Signalanteile" sind im Sinne der vorliegenden Beschreibung Signalanteile die wenig stationär sind. Diese rauschhaften Signalanteile müssen jedoch nicht unbedingt Rauschen im klassischen Sinn darstellen, sondern lediglich sich schnell verändernde Nutzsignale.
Zur weiteren Reduzierung des Rechenaufwands ermöglicht es die vorliegende Erfindung daher, lediglich niederfrequentere Signalanteile einer Prädiktion zu unterziehen, während hö- herfrequentere Signalanteile überhaupt nicht verarbeitet werden. In anderen Worten ausgedrückt ist es möglich, nur das bzw. die unteren Subbänder einer Rückwärtstransformation, einer Prädiktion und einer Vorwärtstransformtion zu unterziehen.
Diese Eigenschaft der vorliegenden Erfindung stellt im Vergleich zu einer vollständigen Transformation des gesamten Audiosignals in den Zeitbereich und einer Prädiktion des gesamten zeitlichen Audiosignals von Block zu Block unter Verwendung eines sogenannten "Long-Term"-Prädiktors einen wesentlichen Vorteil dar, da erfindungsgemäß die Vorteile der Prädiktion im Zeitbereich mit den Vorteilen der spektralen Zerlegung kombiniert werden. Nur die spektrale Zerlegung ermöglicht es, Eigenschaften des Audiosignals, die von der Frequenz abhängig sind, zu berücksichtigen. Die Anzahl der Subbänder, die beim Unterteilen des Satzes von Spektralkoeffizienten erzeugt wird, ist beliebig wählbar. Werden nur zwei Subbänder gewählt, so ergibt sich bereits der Vorteil der Berücksichtigung der Tonalität im unteren Frequenzbereich des Audiosignals. Werden dagegen sehr viele Subbänder gewählt, so wird der Prädiktor im Quasi-Zeitbe- reich eine relativ kurze Länge haben, derart, daß seine Verzögerung nicht allzu groß wird. Da die einzelnen Subbänder vorzugsweise parallel verarbeitet werden, wären bei einer Ausführung der vorliegenden Erfindung unter Verwendung eines festverdrahteten integrierten Schaltkreises viele parallele Prädiktorschaltungen notwendig.
Wird die vorliegende Erfindung im Zusammenhang mit einem Transformationscodierer eingesetzt, der unterschiedliche Blocklängen verwendet, so ergibt sich der Vorteil, daß der Prädiktor selbst von Blocklänge ("Frame Length" ) und Fensterform ("Window Shape" ) unabhängig ist. Außerdem wird durch die Rücktransformation die Abhängigkeit von dem verwendeten Transformationsalgorithmus selbst, die oben bezüglich der MDCT ausgeführt worden ist, eliminiert. Weiterhin liefert das erfindungsgemäße Konzept zur Fehlerverschleierung geschätzte Spektralkoeffizienten, die aufgrund der Rückwärtstransformation, der Prädiktion im Zeitbereich und der Vorwärtstransformation phasenrichtig sind, d. h. es treten keine Phasensprünge im Zeitsignal aufgrund eines prädizierten Spektralkoeffizienten gegenüber einem Zeitsignal eines vorausgehenden intakten Satzes von Spektralkoeffizienten auf. Damit können tonale Signale derart gut für fehlerhafte oder fehlende Signalanteile substituiert werden, daß ein üblicher Hörer in den allermeisten Fällen nicht einmal merkt, daß ein Fehler aufgetreten ist.
Schließlich eignet sich das erfindungsgemäße Verfahren besonders gut für eine Kombination mit einer Fehlerverschleierungstechnik, die in der DE 197 35 675 AI beschrieben ist, die für die Substitution von rauschhaften Signalanteilen geeignet ist. Werden tonale Signalanteile eines fehlenden Blocks durch das erfindungsgemäße Verfahren verschleiert, und werden rauschhafte Signalanteile durch das eben erwähnte bekannte Verfahren, daß auf einer Energieähnlichkeit zwischen substituierten Daten und intakten Daten aufbaut, kombiniert, so können vollständig ausgefallene Blöcke nahezu unhörbar für einen normalen Hörer verschleiert werden.
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend bezugnehmend auf die beiliegenden Zeichnungen detailliert erläutert. Es zeigen:
Fig. 1 einen Decodierer, der eine erfindungsgemäße Fehlerverschleierungseinrichtung aufweist;
Fig. 2 ein detaillierteres Blockschaltbild der Fehlerverschleierungseinrichtung von Fig. 1;
Fig. 3 ein detaillierteres Blockschaltbild der Fehlerverschleierungseinrichtung von Fig. 1, die zudem eine Rauschersetzung aufweist und basierend auf dem Prädiktionsgewinn arbeitet;
Fig. 4 ein Flußdiagramm für das erfindungsgemäße Verfahren zur Fehlerverschleierung;
Fig. 5 ein detailliertes Blockschaltbild eines bevorzugten Ausführungsbeispiels der Fehlerverschleierungseinrichtung für einen MPEG-2 AAC-Decodierer;
Fig. 6 ein detailliertes Blockschaltbild des Pradiktors von Fig . 5 ; und
Fig. 7 eine schematische Darstellung der Blockstruktur nach dem AAC-Standard.
Fig. 1 zeigt ein Blockschaltbild eines Decodierers gemäß einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung. Das in Fig. 1 gezeigte Decodiererblockschaltbild entspricht grundsätzlich dem MPEG-2 AAC-Decodierer, wie er im Standard MPEG-2 AAC 13818-7 festgelegt ist. Das codierte Audiosignal gelangt zunächst in einen Bitstrom-Demultiplexer 100, um Spektraldaten und Seiteninformationen zu trennen. Die Huffman-codierten Spektralkoeffizienten werden dann in einen Huffman-Decodierer 200 eingespeist, um aus den Huff- man-Codewörtern quantisierte Spektralwerte zu erhalten. Die quantisierten Spektralwerte werden anschließend in einen in- versen Quantisierer 300 eingespeist und anschließend skalen- faktorbandweise mit entsprechenden Skalenfaktoren multipliziert. Der erfindungsgemäße Codierer kann im Anschluß an den inversen Quantisierer 300 mehrere weitere Funktionalitäten haben, wie z. B. eine Mitte/Seite-Stufe, eine Prädiktor-Stu- fe, eine TNS-Stufe usw. wie es im Standard festgelegt ist.
Gemäß einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung umfaßt der Decodierer unmittelbar vor einer Synthese-Filterbank 400 eine Fehlerverschleierungseinrichtung 500, die erfindungsgemäß arbeitet und dafür sorgt, daß die Auswirkungen von Übertragungsfehlem in dem codierten Audiosignal, das in den Bitstrom-Demultiplexer 100 eingespeist wird, gelindert bzw. vollständig unhörbar gemacht werden können. Anders ausgedrückt bewirkt die Fehlerverschleierungseinrichtung 500, daß Übertragungsfehler verschleiert werden, d. h. daß sie in einem zeitlichen Audiosignal am Ausgang der Synthese-Filterbank nicht oder nur noch schwach hörbar sind.
Fig. 2 zeigt ein allgemeines Blockschaltbild der Fehlerverschleierungseinrichtung 500. Dieselbe umfaßt eine Rückwärts- transformationseinrichtung 502, eine Einrichtung 504 zur Erzeugung von Schätzwerten sowie eine Einrichtung 506 zur Vorwärtstransformation. Sowohl die Rückwärtstransformationsein- richtung 502 als auch die Vorwärtstransformationseinrichtung 506 sind abhängig von dem Blocktyp, der gerade vorliegt, über eine Blocktypleitung 508 steuerbar. Die Fehlerverschlüsselungseinrichtung 500 umfaßt ferner einen Parallelzweig, um die eingangsseitigen Spektralkoeffizienten unter Umgehung der Rückwärtstransformationseinrichtung 502, der Einrichtung zur Erzeugung von Schätzwerten 504 und der Vor- wärtstransformationseinrichtung 506 direkt vom Eingang zum Ausgang zu leiten. Dieser Parallelzweig umfaßt eine Zeitverzögerungsstufe 510, um sicherzustellen, daß hinter der Vorwärtstransformationseinrichtung 506 vorliegende geschätzte Spektralkoeffizienten für einen folgenden Block gleichzeitig mit "realen", unter Umständen fehlerhaften Spektralkoeffizienten für den folgenden Block an einer Fehler-Auswahl-Einrichtung 512 anliegen, um eventuell fehlerhafte Spektralkoeffizienten in den realen Spektralkoeffizienten für den folgenden Block durch geschätzte Spektralkoeffizienten für den folgenden Block ersetzen zu können. Diese spektralwertweise Ersetzung ist durch ein Schaltersymbol 512 in Fig. 2 dargestellt. Es sei darauf hingewiesen, daß die Fehler-Ersetzungs-Einrichtung 512 entweder spektralwertweise oder block- bzw. satzweise arbeiten kann. Je nach Anforderung kann dieselbe auch subbandweise arbeiten. Am Ausgang der Fehler-Ersetzungs-Einrichtung 512 liegt dann der folgende Satz von Spektralkoeffizienten vor, in dem eventuell ursprünglich fehlerhafte Spektralkoeffizienten durch geschätzte Spektralkoeffizienten ersetzt worden sind, d. h. in dem Fehler verschleiert sind.
An dieser Stelle sei darauf hingewiesen, daß das Blockschaltbild, das in Fig. 2 gezeigt ist, lediglich einen Teil der Fehlerverschleierungseinrichtung 500 darstellt. Diese Darstellung wurde jedoch aus Übersichtlichkeitsgründen gewählt. Wie es in Fig. 5 anhand eines bevorzugten Ausführungsbeispiels der vorliegenden Erfindung näher erläutert werden wird, ist der in Fig. 2 gezeigten Schaltung eine Einrichtung zur Unterteilung in Subbänder vorgeschaltet. Analog dazu ist der Fehler-Ersetzungs-Einrichtung 512 eine Einrichtung zum Rückgängigmachen der Unterteilung in Subbänder nachgeschaltet, derart, daß die Filterbank 400 (Fig. 1) einen "normalen" Satz von Spektralkoeffizienten erhält, ohne von der vorausgegangenen Fehlerverschleierung irgendetwas zu merken. Die Fehlerverschleierungseinrichtung 500 (Fig. 1) umfaßt somit eine Mehrzahl von bezugnehmend auf Fig. 2 beschriebenen Schaltungen, und zwar eine Schaltung für jedes Subband. Die parallelen Schaltungen sind eingangsseitig durch die Einrichtung zum Unterteilen verbunden und aus- gangsseitig durch die Einrichtung zum Rückgängigmachen der Unterteilung, wie es später detailliert ausgeführt wird.
Es wurde bereits früher darauf hingewiesen, daß moderne Transformationscodierer zur Erhöhung der zeitlichen Auflösung im Falle von Transienten in einem zu codierenden Audiosignal kurze Fenster verwenden. Dabei ist es gebräuchlich, daß die Anzahl der zeitlichen Abtastwerte bzw. die Anzahl der Spektralkoeffizienten in einem langen Fenster bzw. Block ein ganzzahliges Vielfaches der Anzahl von zeitlichen Abtastwerten bzw. Spektralkoeffizienten in einem kurzen Fenster bzw. Block darstellt. Ein vorteilhafter Effekt der vorliegenden Erfindung besteht darin, daß die Einrichtung 504 zur Erzeugung von Schätzwerten unabhängig von der verwendeten Transformation, von der verwendeten Blocklänge bzw. von dem verwendeten Fenstertyp arbeiten kann. Daher werden sowohl die Rückwärtstransformationseinrichtung 502 als auch die Vorwärtstransformationseinrichtung 506 Blocktyp-abhängig gesteuert, um der Einrichtung 504 zur Erzeugung von Schätzwerten immer dieselbe Anzahl von zeitlichen Abtastwerten zuzuführen bzw. von derselben abzuführen.
Zur weiteren Veranschaulichung dieser Eigenschaft wird nachfolgend auf Fig. 7 Bezug genommen, um die Situation für MPEG-2 AAC darzustellen. Fig. 7 umfaßt eine Zeitachse 700, bezüglich der die Ausdehnung eines langen Blocks 702 darge¬
ll stellt ist. Ein langer Block umfaßt 2048 Abtastwerte, woraus sich 1024 Spektralkoeffizienten ergeben, wenn eine 50%-ige Überlappung der Fenster eingesetzt wird, wie es bekannt ist. Hintergründe zur verwendeten modifizierten diskreten Cosinus-Transformation (MDCT) und der Fensterüberlappung finden sich in dem bereits zitierten Standard. In Fig. 7 sind ferner acht kurze Blöcke 704 eingezeichnet, von denen jeder 256 Abtastwerte aufweist, um wieder aufgrund der 50%-igen Überlappung 128 Spektralkoeffizienten zu ergeben. Aus Übersichtlichkeitsgründen wurde in Fig. 7 die Überlappung der kurzen Blöcke sowie die Überlappung des langen Blocks mit einem vorausgehenden langen Block bzw. mit einem vorausgehenden oder einem nachgeschalteten Start- bzw. Stoppfenster nicht eingezeichnet. Auf jeden Fall ist aus Fig. 7 ersichtlich, daß die Anzahl der Spektralkoeffizienten eines langen Blocks gleich dem achtfachen der Anzahl der Spektralkoeffizienten eines kurzen Blocks ist. Anders ausgedrückt umfaßt ein langer Block dieselbe Zeitdauer des Audiosignals wie acht kurze Blöcke.
Wie es in Fig. 2 gezigt ist, wird die Rückwärtstransfor- mationseinrichtung 502 über die Blocktypleitung 508 derart gesteuert, daß sie acht zeitlich aufeinanderfolgende Rückwärtstransformationen der Spektralkoeffizienten in entsprechenden Subbändern von kurzen Blöcken durchführt und die gewonnenen Quasi-Zeitsignale einfach seriell aneinanderreiht, um die Einrichtung 504 zur Erzeugung von Schätzwerten mit einem Zeitsignal einer bestimmten Länge zu versorgen. Analog dazu wird die Vorwärtstransformationseinrichtung 506 wieder acht aufeinanderfolgende Vorwärtstransformationen durchführen, und zwar nacheinander mit den Werten, die von der Einrichtung 504 zum Erzeugen von Schätzwerten seriell ausgegeben werden. Somit bedingt dieser "Arbeitszyklus", daß im Falle von kurzen Blöcken dieselbe Anzahl von Spektralkoeffizienten ausgegeben wird, wie im Falle von langen Blöcken. Die Spektralkoeffizienten, die durch die Fehlerverschleierungseinrichtung 500 in einem "Arbeitszyklus" ausgegeben werden, werden im Sinne der vorliegenden Erfindung als Satz von geschätzten Spektralkoeffizienten bezeichnet. Aus Praktikabilitätsgründen entspricht die Anzahl der Spektralkoeffizienten in einem Satz der Anzahl der Spektralkoeffizienten in einem langen Block und der Anzahl der Spektralkoeffizienten von acht kurzen Blöcken. Selbstverständlich können beliebige andere Verhältnisse zwischen langem und kurzem Block verwendet werden, beispielsweise 2, 4 oder 16. Üblicherweise wird die Situation derart sein, daß die Anzahl der Spektralkoeffizienten eines langen Blocks durch die Anzahl der Spektralkoeffizienten eines kurzen Blocks teilbar ist. Sollte dies jedoch aus irgendeinem Grunde nicht der Fall sein, so würde die Anzahl eines Satzes von Spektralkoeffizienten dem kleinsten gemeinsamen Vielfachen von langem und kurzem Block entsprechen, derart, daß Unabhängigkeit vom Blocktyp auf Prädiktorebene, d. h. bei der Einrichtung 504 zur Erzeugung von Schätzwerten, erreicht wird.
Im Nachfolgenden wird auf Fig. 3 eingegangen, die eine bevorzugte Weiterbildung der Fehlerverschleierungseinrichtung von Fig. 2 darstellt. Insbesondere ist die Fehlerverschleierungseinrichtung um eine Rauschersetzungseinrichtung 514 erweitert, die abhängig von einem Prädiktionsgewinnsignal 516 statt mit der Vorwärtstransformationseinrichtung 506 mit der Fehler-Ersetzungs-Einrichtung über einen Rauschersetzungsschalter 518 verbunden werden kann. Die Rauschersetzungseinrichtung 514 arbeitet nach dem in der DE 197 35 675 AI beschriebenen Verfahren, um rauschhafte Signalanteile im Audiosignal anzunähern. Da es sich um rauschhafte Spektralanteile handelt, wird nicht mehr die Phase der Spektralkoeffizienten berücksichtigt, sondern lediglich die Energie mehrerer Spektralkoeffizienten in einer Untergruppe. Die Rauschersetzungseinrichtung 514 erzeugt abhängig von der Energie in einer Untergruppe der zuletzt vorhandenen intakten Audiodaten eine entsprechende Untergruppe von Spektralkoeffizienten, wobei die Energie in der Untergruppe der erzeugten Spektralkoeffizienten der Energie der entsprechenden Untergruppe der vorausgehenden Spektralkoeffizienten entspricht bzw. aus derselben abgeleitet ist. Die Phasen der bei der Rauschersetzung erzeugten Spektralkoeffizienten werden jedoch zufällig festgelegt.
Der Rauschersetzungsschalter 518 wird durch ein Prädiktionsgewinnsignal 516 gesteuert. Allgemein bezieht sich der Prädiktionsgewinn auf das Verhältnis des Ausgangssignals der Einrichtung 504 zur Erzeugung von Schätzwerten zum Eingangssignal. Wird festgestellt, daß sich in einem Subband das Ausgangssignal relativ wenig von dem Eingangssignal unterscheidet, so kann davon ausgegangen werden, daß das Audiosignal in diesem Subband relativ stationär, d. h. tonal, ist. Unterscheidet sich dagegen das Ausgangssignal des Pradiktors sehr stark vom Eingangssignal, so kann davon ausgegangen werden, daß das Signal instationär ist, d. h. atonal oder rauschhaft. In diesem Fall wird eine Rauschersetzung bessere Ergebnisse liefern als eine Prädiktion, da rauschhafte Signale per se nicht zuverlässig vorhergesagt werden können. So könnte beispielsweise der Rauschersetzungschalter 518 derart gesteuert werden, daß er die Vorwärtstransforma- tionseinrichtung 506 mit der Fehler-Ersetzungs-Einrichtung 512 verbindet, wenn der Prädiktionsgewinn eine bestimmte Schwelle überschreitet, bzw. daß die Rauschersetzungseinrichtung 514 mit der Fehler-Ersetzung-Einrichtung 512 verbunden wird, wenn der Prädiktionsgewinn diese Schwelle unterschreitet, um beide Substitutionsverfahren optimal zu kombinieren.
Im Nachfolgenden wird bezugnehmend auf Fig. 4 auf das Verfahren der erfindungsgemäßen Rauschsubstitution näher eingegangen. Zunächst wird ein aktueller Satz von Spektralkoeffizienten empfangen (10). Bei der Darstellung von Fig. 4 wird aus Übersichtlichkeitsgründen davon ausgegangen, daß der aktuelle Satz von Spektralkoeffizienten ausschließlich intakte Spektralkoeffizienten aufweist oder aber bereits einem Fehlerverschleierungsverfahren nach Fig. 2 oder 3 unterzogen worden ist. Der aktuelle Satz von Spektralkoeffizienten wird einerseits von der Filterbank 400 (Fig. 1) verarbeitet und beispielsweise an einen Lautsprecher ausgegeben (12). Andererseits wird der aktuelle Satz von Spektralkoeffizienten dazu verwendet, einen folgenden Satz von Spektralkoeffizienten vorherzusagen, d. h. zu schätzen bzw. zu prädizieren. Dazu wird erfindungsgemäß eine Unterteilung des aktuellen Satzes von Spektralkoeffizienten in Subbänder durchgeführt (14). Im Falle eines langen Blockes findet die Unterteilung in Subbänder derart statt, daß pro Satz lediglich ein Subband mit einem entsprechenden Frequenzbereich erzeugt wird. Im Falle von kurzen Blöcken wird der aktuelle Satz von Spektralkoeffizienten eine Mehrzahl von zeitlich aufeinanderfolgenden kompletten Spektren umfassen. Dann werden im Schritt 14 für jedes vollständige Spektrum entsprechende Subbänder erzeugt, d. h. pro Satz von Spektralkoeffizienten mehrere Subbänder.
Nach der Unterteilung in Subbänder wird eine Rücktransformation je Subband durchgeführt (16). Im Falle von langen Blökken, d. h. die Anzahl der Spektralkoeffizienten eines Blocks entspricht der Anzahl der Spektralkoeffizienten eines Satzes, wird eine einzige Rücktransformation pro Subband durchgeführt, bevor zur Prädiktion 18 übergegangen wird. Im Falle von kurzen Blöcken werden mehrere Rücktransformationen entsprechend der Subbänder jedes "kurzen" Spektrums durchgeführt, bevor dann für sämtliche Subbänder zusammen eine Prädiktion 18 durchgeführt wird.
Die Prädiktion 18 findet im Quasi-Zeitbereich statt, d. h. für jedes Subband-"Zeit"-Signal, um ein geschätztes Subband- Zeitsignal für den folgenden Satz zu erhalten. Dieses geschätzte Quasi-Zeitsignal wird anschließend wieder einer Vorwärtstransformation 20 unterzogen, wobei die Vorwärtstransformation für einen langen Block wieder nur einmal ausgeführt wird bzw. für kurze Blöcke N-mal, wobei N das Verhältnis zwischen der Anzahl von Spektralkoeffizienten eines langen Blocks zu der Anzahl von Spektralkoeffizienten eines kurzen Blocks ist. Nach dem Schritt 20 liegen für jedes Subband geschätzte Spektralkoeffizienten vor. In einem Schritt 22 wird die in dem Schritt 14 eingeführte Unterteilung wieder rückgängig gemacht, derart, daß nach dem Schritt 22 ein folgender Satz von Spektralkoeffizienten vorliegt.
In einem Schritt 24 wird von dem Decodierer der folgende Satz von Spektralkoeffizienten empfangen. Dieser Satz wird einer Fehlerdetektion 26 unterzogen, um festzustellen, ob ein Spektralkoeffizient, mehrere Spektralkoeffizienten oder sogar alle Spektralkoeffizienten des folgenden Satzes fehlerhaft sind. Die Fehlerdetektion findet auf für Fachleute bekannte Art und Weise statt, wobei beispielsweise die CRC- Checksum (CRC = Cyclic Redundancy Code) über einem Frame überprüft wird. Wird festgestellt, daß eine Checksum, die aufgrund der übertragenen Daten berechnet wird, zu einer mit den Daten übertragenen Checksum unterschiedlich ist, können die geschätzten Spektralkoeffizienten, die durch den Schritt 22 erzeugt worden sind, statt der Spektralkoeffizienten des fehlerhaften Blocks eingesetzt werden. Die fehlerhaften Spektralkoeffizienten werden damit gegen die geschätzten Spektralkoeffizienten ausgetauscht (28). Schließlich werden die fehlerverschleierten Spektralkoeffizienten des folgenden Satzes verarbeitet, um die zeitlichen Abtastwerte ausgeben zu können (30) .
Das Flußdiagramm von Fig. 4 stellt gewissermaßen eine Augenblicksaufnahme der Verarbeitung von einem Satz von Spektralkoeffizienten zu einem nächsten Satz von Spektralkoeffizienten dar. Wird das Flußdiagramm von Fig. 4 implementiert, so wird selbstverständlich beispielsweise nur eine einzige Filterbank 400 (Fig. 1) verwendet, um die Schritte 12 und 30 durchzuführen. Genauso wird selbstverständlich nur eine einzige Einrichtung zum Empfangen des aktuellen Satzes von Spektralkoeffizienten bzw. zum Empfangen des folgenden Satzes von Spektralkoeffizienten vonnöten sein, um die Schritte 10 und 24 zu implementieren. Die zeitliche Synchro- nität für die Schritte 10 und 24 wird bei einer Vorrichtung, die das erfindungsgemäße Verfahren implementiert, durch die Zeitverzögerungsstufe 510 im Parallelzweig (Fig. 2) sichergestellt.
Fig. 5 zeigt eine detailliertere Darstellung des allgemeinen Blockdiagramms von Fig. 2 am Beispiel eines MPEG-2 AAC- Transformationscodierers, der die erfindungsgemäße Fehlerverschleierungseinrichtung 500 aufweist. Wie es bereits bezugnehmend auf Fig. 2 dargestellt worden ist, umfaßt die Fehlerverschleierungseinrichtung 500 (Fig. 1) eine Einrichtung 520 zum Unterteilen der Blöcke von Spektralkoeffizienten in vorzugsweise 32 Subbänder. Im Falle von langen Blökken hat jedes Subband 32 Spektralkoeffizienten. Da die Subbänder der kurzen Blöcke die gleichen Frequenzbereiche überstreichen, hat im Falle von kurzen Blöcken jedes Subband 4 Spektralkoeffizienten. Eine Aufteilung eines gesamten Spektrums in gleichgroße Subbänder wird aus Gründen der Einfachheit bevorzugt, wobei jedoch eine Unterteilung in ungleiche Subbänder ebenfalls möglich wäre, beispielsweise angelehnt an die psychoakustischen Frequenzgruppen. Jedes Subband wird daraufhin einer inversen modifizierten diskreten Cosinus-Transformation unterzogen. Im Falle von langen Blöcken läuft die IMDCT einmal ab und empfängt 32 Eingangswerte. Im Falle von kurzen Blöcken werden acht aufeinanderfolgende IMDCTs ausgeführt, und zwar jeweils mit 4 der Spektralkoeffizienten, derart, daß sich am Ausgang wieder 32 Quasi- Zeitabtastwerte ergeben. Diese werden dann dem Prädiktor 504 zugeführt, der wiederum 32 geschätzte Quasi-Zeitabtastwerte erzeugt, die mittels der MDCT 506 transformiert werden. Im Falle von langen Blöcken wird eine einzige MDCT mit 32 zeitlichen Werten durchgeführt, während im Falle von kurzen Blöcken acht zeitlich aufeinanderfolgende MDCTs mit jeweils 4 Abtastwerten ausgeführt werden. Obwohl in Fig. 5 nur ein Zweig für das nullte Subband dargestellt ist, sei festgehalten, daß für jedes Subband ein identischer Zweig existiert, wenn die Subbänder alle die gleiche Länge haben. Haben die Subbänder unterschiedliche Längen, so sind die Ordnungen der IMDCT bzw. der MDCT daran angepaßt. Für eine praktische Implementation bietet sich eine parallele Verarbeitung an. Selbstverständlich ist jedoch auch eine serielle Verarbeitung der Subbänder hintereinander möglich, wenn entsprechende Speicherkapazitäten vorgesehen werden. Die Ausgangswerte der MDCT 506 für jedes Subband werden in eine Einrichtung 522 zum Rückgängigmachen der Unterteilung, d. h. in eine inverse Unterteilungseinrichtung, eingespeist, um im Falle des bevorzugten Ausführungsbeispiels auf AAC- MDCT-Ebene einen geschätzten Satz von Spektralwerten auszugeben.
Fig. 6 zeigt eine weitere detaillierte Darstellung des Pradiktors 504. Das Herzstück des Pradiktors 504 ist beim bevorzugten Ausführungsbeispiel ein sogenannter LMSL-Prädiktor 504a, der eine Länge n = 32 hat. Details über den LMSL-Prädiktor sind in dem Buch "Adaptive Signal Processing", Bernard Widrow, Samuel Stearns, Prentice-Hall, 1995, S. 99 ff., zu finden. Dem LMSL-Prädiktor 504a ist eine Zeitverzögerungsstufe 504b vorgeschaltet. Der Prädiktor 504 umfaßt eingangsseitig ferner einen Parallel-Seriell-Wandler 504c und ausgangseitig einen Seriell-Parallel-Wandler 504d. Derselbe hat ferner eine Prädiktionsgewinnberechnungsein- richtung 504e, die das Ausgangssignal des Pradiktors 504a mit dem Eingangssignal vergleicht, um feststellen zu können, ob ein stationäres Signal oder ein instationäres Signal verarbeitet worden ist. Die Prädiktionsgewinnberechnungsein- richtung 504e liefert ausgangsseitig das Prädiktionsgewinn- signal 516, das zur Steuerung des Schalters 518 (Fig. 3) verwendet wird, um entweder prädizierte Spektralkoeffizienten oder durch Rauschersetzung gewonnene Spektralkoeffizienten zur Fehlerverschleierung zu verwenden. Der Prädiktor 504 umfaßt ferner in seiner Implemention als LMSL-Prädiktor zwei Schalter 504f und 504g, die zwei Schalterstellungen haben. Die Schalterstellung "1" betrifft den Fall, daß Spektralkoeffizienten des folgenden Blocks fehlerfrei sind, während die Schalterstellung "2" den Fall betrifft, daß Spektralkoeffizienten des folgenden Satzes fehlerhaft sind. In Fig. 6 ist der Fall gezeichnet, bei dem die Spektralkoeffizienten fehlerhaft sind. In diesem Fall wird am Schalter 504g statt des Eingangssignals ein Referenzsignal mit einem Wert von 0 in den Prädiktor eingespeist. Im Fall von fehlerfreien Spektralkoeffizienten (Schalterstellung "1" des Schalters 504g) werden dagegen die Ausgangswerte des Parallel-Seriell-Wand- lers von unten in den LMSL-Prädiktor eingespeist.
Im Falle der Anwendung des erfindungsgemäßen Fehlerverschleierungsverfahrens im Zusammenhang mit einem AAC-Codie- rer wird es bevorzugt, für sämtliche Vorwärts- bzw. Rückwärtstransformationen die entsprechenden Transformationsalgorithmen (MDCT bzw. IMDCT) zu verwenden. Für die Fehlerverschleierung ist es jedoch nicht notwendig, daß zur Rückwärts- bzw. zur Vorwärtstransformation dasselbe Transformationsverfahren eingesetzt wird, das bei der Codierung des Audiosignals verwendet wurde, um die Spektralkoeffizienten zu bilden.
Aufgrund der Unterteilung des Spektrums in Subbänder und aufgrund der einzelnen Transformationen für jedes Subband werden für jedes Subband Frequenz-Zeitbereichs-Transforma- tionen mit niedrigerer Ordnung als der Frequenzauflösung entsprechend verwendet. Somit werden spezielle Schätzwerte für tonale Signalanteile in der Zwischenebene mittels des Pradiktors erzeugt. Als Vorwärtstransformation/Synthese werden Zeit-Frequenzbereich-Transformationen niedrigerer Ordnung als der ursprünglichen Frequenzauflösung entsprechend verwendet, wobei die gleiche Ordnung gewählt wird wie bei der benutzten Frequenz-Zeitbereichs-Transformation. Somit liefert die erfindungsgemäße Fehlerverschleierung einerseits Flexibilität unter Ausnutzung von Vorkenntnissen spektraler Eigenschaften von Audiosignalen und andererseits eine Unabhängigkeit von dem im Codierer verwendeten Transformationsverfahren durch Erzeugung der Schätzwerte im Quasi-Zeitsignal, also nicht auf Spektralkoeffizientenebene. Wenn die Prädiktion im Quasi-Zeitbereich zur Ersetzung tonaler Signalanteile eingesetzt wird, und wenn die Rauschersetzung für rauschhafte Spektralanteile verwendet wird, so können Fehler für eine große Klasse von Audiosignalen selbst bei vollständigem Blockverlust derart verschleiert werden, daß nahezu keine hörbaren Störungen auftreten. Versuche haben gezeigt, daß bei nicht allzu kritischen Testsignalen normale Hörer, d. h. ungeschulte Testhörer, selbst bei vollständigem Blockverlust nur in einem von 10 Fällen Unregelmäßigkeiten im Audiosignal gehört haben.

Claims

Patentansprüche
1. Verfahren zum Verschleiern eines Fehlers in einem codierten Audiosignal, wobei das codierte Audiosignal aufeinanderfolgende Sätze von Spektralkoeffizienten aufweist, wobei ein Satz von Spektralkoeffizienten eine spektrale Darstellung für einen Satz von Audioabtastwerten ist, mit folgenden Schritten:
Unterteilen (14) eines aktuellen Satzes von Spektralkoeffizienten in mindestens zwei Subbänder mit unterschiedlichen Frequenzbereichen, wobei ein Subband der mindestens zwei Subbänder zumindest zwei Spektralkoeffizienten aufweist;
Rückwärts-Transformieren (16) der Spektralkoeffizienten des einen Subbandes, um eine zeitliche Darstellung der zumindest zwei Spektralkoeffizienten des einen Subbandes zu erhalten;
Durchführen (18) einer Prädiktion unter Verwendung der zeitlichen Darstellung der zumindest zwei Spektralkoeffizienten des einen Subbandes, um eine geschätzte zeitliche Darstellung für ein Subband eines auf den aktuellen Satz folgenden Satzes zu erhalten, wobei das Subband des folgenden Satzes den gleichen Frequenzbereich wie das Subband des aktuellen Satzes umfaßt;
Vorwarts-Transformieren (20) der geschätzten zeitlichen Darstellung um zumindest zwei geschätzte Spektralkoeffizienten für das Subband des folgenden Satzes zu erhalten;
Bestimmen (26) ob ein Spektralkoeffizient des Subbands des folgenden Satzes fehlerhaft ist; und
als Reaktion auf den Schritt des Bestimmens, falls ein fehlerhafter Spektralkoeffizient vorliegt, Verwenden (28) eines geschätzten Spektralkoeffizienten statt eines fehlerhaften Spektralkoeffizienten des folgenden Satzes, um den fehlerhaften Spektralkoeffizienten des folgenden Satzes zu Verschleiern.
2. Verfahren nach Anspruch 1, bei dem das eine Subband, das im Schritt des Rückwärts-Transformierens (16) verarbeitet wird, niederfrequente Spektralkoeffizienten aufweist, während das andere der mindestens zwei Subbänder höherfrequente Spektralkoeffizienten aufweist.
3. Verfahren nach Anspruch 1 oder 2, bei dem die Anzahl der Spektralkoeffizienten in einem Satz von Spektralkoeffizienten gleich der Anzahl von Spektralkoeffizienten in einem Block (702) erster Länge und das N-fache der Spektralkoeffizienten in einem Block (704) zweiter Länge ist, und bei dem N Blöcke (704) mit der zweiten Länge hintereinander auftreten, wobei
der Schritt des Unterteilens (14) derart ausgeführt wird, daß die Subbänder der Blöcke mit der ersten Länge gleiche Frequenzbereiche umfassen, wie die Subbänder der Blöcke mit der zweiten Länge, derart, daß die Anzahl der Spektralkoeffizienten eines Subbandes des Blocks mit der ersten Länge gleich dem N-fachen der Anzahl der Spektralkoeffizienten des entsprechenden Subbandes des Blocks mit der zweiten Länge ist;
der Schritt des Rückwärtstransformierens (16) für jedes entsprechende Subband der N Blöcke mit der zweiten Länge nacheinander ausgeführt wird, um eine zeitliche Darstellung der Spektralkoeffizienten entsprechender Subbänder der N Blöcke mit der zweiten Länge zu erhalten;
der Schritt des Durchführens (18) einer Prädiktion mit der zeitlichen Darstellung sämtlicher entsprechender
Subbänder der N Blöcke mit der zweiten Länge durchgeführt wird; und der Schritt des Vorwärtstransformierens (20) für jedes entsprechende Subband der N Blöcke mit der zweiten Länge nacheinander durchgeführt wird.
4. Verfahren nach einem der vorhergehenden Ansprüche, bei dem im Schritt des Unterteilens (14) eine Vielzahl von Subbändern erzeugt wird, derart, daß alle Subbänder zusammen die spektrale Darstellung des codierten Audiosignals in einem Satz von Spektralkoeffizienten bilden.
5. Verfahren nach einem der vorhergehenden Ansprüche, bei dem nach dem Schritt des Bestimmens (26), ob ein Spektralkoeffizient eines Subbands fehlerhaft ist, folgender Schritt ausgeführt wird:
Bestimmen (504e), ob der Spektralkoeffizient einen to- nalen Anteil des uncodierten Audiosignals darstellt, aufgrund eines Vergleichs des Spektralkoeffizienten mit dem entsprechenden geschätzten Spektralkoeffizienten;
falls der Spektralkoeffizient als tonal bestimmt wird, Verwenden des geschätzten Spektralkoeffizientens, und falls der Spektralkoeffizient als nicht-tonal bestimmt wird, Durchführen einer Rauschersetzung (514) für einen fehlerhaften Spektralkoeffizienten des folgenden Satzes.
6. Verfahren nach einem der Ansprüche 3 bis 5 , bei dem die Spektralkoeffizienten MDCT-Koeffizienten sind, die Länge eines Satzes der Länge eines langen Blocks entspricht und 1024 MDCT-Koeffizienten beträgt, während ein Satz von Spektralkoeffizienten acht Blöcke kurzer Länge umfaßt, von denen jeder 128 MDCT-Koeffizienten aufweist, und bei dem im Schritt des Unterteilens 32 Subbänder je 32 MDCT-Koeffizienten für einen langen Block bzw. je 4 MDCT-Koeffizienten für einen kurzen Block gebildet werden.
7. Verfahren nach einem der vorhergehenden Ansprüche, bei dem im Schritt des Durchführens (18) der Prädiktion ein adaptiver rückgekoppelter Prädiktor (504a) verwendet wird, der vorzugsweise ein LMSL-Prädiktor ist.
8. Verfahren nach einem der vorhergehenden Ansprüche, bei dem der Transformationsalgorithmus, der dem codierten Audiosignal zugrunde liegt, der gleiche Transformationsalgorithmus ist, der im Schritt des Rückwärts-Transfor- mierens (16) und im Schritt des Vorwärtstransformierens (20) verwendet wird.
9. Verfahren nach einem der vorhergehenden Ansprüche, bei dem der Transformationsalgorithmus, der im Schritt des Rückwärts-Transformierens (16) verwendet wird, genau invers zu dem Transformationsalgorithmus ist, der im Schritt des Vorwärts-Transformierens (20) verwendet wird.
10. Verfahren zum Decodieren eines codierten Audiosignals, das aufeinanderfolgende Sätze von Spektralkoeffizienten aufweist, wobei ein Satz von Spektralkoeffizienten eine spektrale Darstellung für einen Satz von Audioabtastwerten ist:
Empfangen (10) eines aktuellen Satzes von Spektralkoeffizienten;
Unterteilen (14) eines aktuellen Satzes von Spektralkoeffizienten in mindestens zwei Subbänder mit unterschiedlichen Frequenzbereichen, wobei ein Subband der mindestens zwei Subbänder zumindest zwei Spektralkoeffizienten aufweist;
Rückwärts-Transformieren (16) der Spektralkoeffizienten des einen Subbandes, um eine zeitliche Darstellung der zumindest zwei Spektralkoeffizienten des einen Subbandes zu erhalten; Durchführen (18) einer Prädiktion unter Verwendung der zeitlichen Darstellung der zumindest zwei Spektralkoeffizienten des einen Subbandes, um eine geschätzte zeitliche Darstellung für ein Subband eines auf den aktuellen Satz folgenden Satzes zu erhalten, wobei das Subband des folgenden Satzes den gleichen Frequenzbereich wie das Subband des aktuellen Satzes umfaßt;
Vorwarts-Transformieren (20) der geschätzten zeitlichen Darstellung um zumindest zwei geschätzte Spektralkoeffizienten für das Subband des folgenden Satzes zu erhalten;
Empfangen (24) eines folgenden Satzes von Spektralkoeffizienten und Unterteilen des folgenden Satzes in Subbänder, die den gleichen Frequenzbereich wie die Subbänder des aktuellen Satzes umfassen;
Bestimmen (26) ob ein Spektralkoeffizient des Subbands des folgenden Satzes fehlerhaft ist;
als Reaktion auf den Schritt des Bestimmens, falls ein fehlerhafter Spektralkoeffizient vorliegt, Verwenden (28) eines geschätzten Spektralkoeffizienten statt eines fehlerhaften Spektralkoeffizienten des folgenden Satzes, um den fehlerhaften Spektralkoeffizienten des folgenden Satzes zu Verschleiern; und
Verarbeiten (30) des folgenden Satzes unter Benutzung des im Schritt des Verwendens (28) verwendeten geschätzten Spektralkoeffizienten, um den folgenden Satz von Audioabtastwerten zu erhalten.
11. Verfahren nach Anspruch 10, bei dem die Spektralkoeffizienten des codierten Audiosignals Entropie-codiert und quantisiert sind, das vor dem Schritt des Empfangens (10) des aktuellen Satzes bzw. des folgenden Satzes fol- gende Schritte aufweist:
Rückgängigmachen (200) der Entropie-Codierug um quanti- sierte Spektralkoeffizienten zu erhalten;
Requantisieren (300) der quantisierten Spektralkoeffizienten, um requantisierte Spektralkoeffizienten zu erhalten;
und bei dem der Schritt des Verarbeitens folgenden Schritt aufweist:
Rücktransformieren (400) des folgenden Satzes unter Verwendung eines Transformationsalgorithmus, der zu dem Transformationsalgorithmus invers ist, der zum Transformieren verwendet wurde, um die Spektralkoeffizienten des codierten Audiosignals zu erhalten.
12. Vorrichtung zum Verschleiern eines Fehlers in einem codierten Audiosignal, wobei das codierte Audiosignal aufeinanderfolgende Sätze von Spektralkoeffizienten aufweist, wobei ein Satz von Spektralkoeffizienten eine spektrale Darstellung für einen Satz von Audioabtastwerten ist, mit folgenden Merkmalen:
einer Einrichtung (520) zum Unterteilen (14) eines aktuellen Satzes von Spektralkoeffizienten in mindestens zwei Subbänder mit unterschiedlichen Frequenzbereichen, wobei ein Subband der mindestens zwei Subbänder zumindest zwei Spektralkoeffizienten aufweist;
einer Einrichtung (502) zum Rückwärts-Transformieren (16) der Spektralkoeffizienten des einen Subbandes, um eine zeitliche Darstellung der zumindest zwei Spektralkoeffizienten des einen Subbandes zu erhalten;
einer Einrichtung (504) zum Durchführen (18) einer Prädiktion unter Verwendung der zeitlichen Darstellung der zumindest zwei Spektralkoeffizienten des einen Subbandes, um eine geschätzte zeitliche Darstellung für ein Subband eines auf den aktuellen Satz folgenden Satzes zu erhalten, wobei das Subband des folgenden Satzes den gleichen Frequenzbereich wie das Subband des aktuellen Satzes umfaßt;
einer Einrichtung (506) zum Vorwarts-Transformieren (20) der geschätzten zeitlichen Darstellung, um zumindest zwei geschätzte Spektralkoeffizienten für das Subband des folgenden Satzes zu erhalten;
einer Einrichtung zum Bestimmen (26) ob ein Spektralkoeffizient des Subbands des folgenden Satzes fehlerhaft ist; und
einer Einrichtung (512) zum Verwenden (28) eines geschätzten Spektralkoeffizienten statt eines fehlerhaften Spektralkoeffizienten des folgenden Satzes, um den fehlerhaften Spektralkoeffizienten des folgenden Satzes zu Verschleiern.
13. Vorrichtung zum Decodieren eines codierten Audiosignals, das aufeinanderfolgende Sätze von Spektralkoeffizienten aufweist, wobei ein Satz von Spektralkoeffizienten eine spektrale Darstellung für einen Satz von Audioabtastwerten ist:
einer Einrichtung (100) zum Empfangen (10) eines aktuellen Satzes von Spektralkoeffizienten;
einer Einrichtung (520) zum Unterteilen (14) eines aktuellen Satzes von Spektralkoeffizienten in mindestens zwei Subbänder mit unterschiedlichen Frequenzbereichen, wobei ein Subband der mindestens zwei Subbänder zumindest zwei Spektralkoeffizienten aufweist;
einer Einrichtung (502) zum Rückwärts-Transformieren (16) der Spektralkoeffizienten des einen Subbandes, um eine zeitliche Darstellung der zumindest zwei Spektralkoeffizienten des einen Subbandes zu erhalten;
einer Einrichtung (504) zum Durchführen (18) einer Prädiktion unter Verwendung der zeitlichen Darstellung der zumindest zwei Spektralkoeffizienten des einen Subbandes, um eine geschätzte zeitliche Darstellung für ein Subband eines auf den aktuellen Satz folgenden Satzes zu erhalten, wobei das Subband des folgenden Satzes den gleichen Frequenzbereich wie das Subband des aktuellen Satzes umfaßt;
einer Einrichtung (506) zum Vorwarts-Transformieren (20) der geschätzten zeitlichen Darstellung um zumindest zwei geschätzte Spektralkoeffizienten für das Subband des folgenden Satzes zu erhalten;
einer Einrichtung (502, 510) zum Empfangen (24) eines folgenden Satzes von Spektralkoeffizienten und zum Unterteilen des folgenden Satzes in Subbänder, die den gleichen Frequenzbereich wie die Subbänder des aktuellen Satzes umfassen;
einer Einrichtung zum Bestimmen (26) ob ein Spektralkoeffizient des Subbands des folgenden Satzes fehlerhaft ist;
einer Einrichtung (512) zum Verwenden (28) eines geschätzten Spektralkoeffizienten statt eines fehlerhaften Spektralkoeffizienten des folgenden Satzes, um den fehlerhaften Spektralkoeffizienten des folgenden Satzes zu Verschleiern; und
einer Einrichtung zum Verarbeiten (30) des folgenden Satzes unter Benutzung des geschätzten Spektralkoeffizienten, um den folgenden Satz von Audioabtastwerten zu erhalten.
EP00926896A 1999-05-07 2000-04-12 Verfahren und vorrichtung zum verschleiern eines fehlers in einem codierten audiosignal und verfahren und vorrichtung zum decodieren eines codierten audiosignals Expired - Lifetime EP1145227B1 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE19921122 1999-05-07
DE19921122A DE19921122C1 (de) 1999-05-07 1999-05-07 Verfahren und Vorrichtung zum Verschleiern eines Fehlers in einem codierten Audiosignal und Verfahren und Vorrichtung zum Decodieren eines codierten Audiosignals
PCT/EP2000/003294 WO2000068934A1 (de) 1999-05-07 2000-04-12 Verfahren und vorrichtung zum verschleiern eines fehlers in einem codierten audiosignal und verfahren und vorrichtung zum decodieren eines codierten audiosignals

Publications (2)

Publication Number Publication Date
EP1145227A1 true EP1145227A1 (de) 2001-10-17
EP1145227B1 EP1145227B1 (de) 2002-07-24

Family

ID=7907325

Family Applications (1)

Application Number Title Priority Date Filing Date
EP00926896A Expired - Lifetime EP1145227B1 (de) 1999-05-07 2000-04-12 Verfahren und vorrichtung zum verschleiern eines fehlers in einem codierten audiosignal und verfahren und vorrichtung zum decodieren eines codierten audiosignals

Country Status (6)

Country Link
US (1) US7003448B1 (de)
EP (1) EP1145227B1 (de)
JP (1) JP3623449B2 (de)
AT (1) ATE221244T1 (de)
DE (2) DE19921122C1 (de)
WO (1) WO2000068934A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101548555B (zh) * 2006-12-07 2012-10-03 Akg声学有限公司 用于隐藏多通道布置的一条或多条通道中的信息失落的方法
US10607614B2 (en) 2013-06-21 2020-03-31 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method realizing a fading of an MDCT spectrum to white noise prior to FDNS application

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7315815B1 (en) * 1999-09-22 2008-01-01 Microsoft Corporation LPC-harmonic vocoder with superframe structure
DE19959038A1 (de) * 1999-12-08 2001-06-28 Bosch Gmbh Robert Verfahren zur Dekodierung von digitalen Audiodaten
EP1199709A1 (de) * 2000-10-20 2002-04-24 Telefonaktiebolaget Lm Ericsson Fehlerverdeckung in Bezug auf die Dekodierung von kodierten akustischen Signalen
DE10219133B4 (de) * 2002-04-29 2007-02-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Verschleiern eines Fehlers
US7428684B2 (en) 2002-04-29 2008-09-23 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Device and method for concealing an error
US7356748B2 (en) * 2003-12-19 2008-04-08 Telefonaktiebolaget Lm Ericsson (Publ) Partial spectral loss concealment in transform codecs
SE527669C2 (sv) * 2003-12-19 2006-05-09 Ericsson Telefon Ab L M Förbättrad felmaskering i frekvensdomänen
ATE523876T1 (de) 2004-03-05 2011-09-15 Panasonic Corp Fehlerverbergungseinrichtung und fehlerverbergungsverfahren
US7668712B2 (en) * 2004-03-31 2010-02-23 Microsoft Corporation Audio encoding and decoding with intra frames and adaptive forward error correction
KR20070068424A (ko) * 2004-10-26 2007-06-29 마츠시타 덴끼 산교 가부시키가이샤 음성 부호화 장치 및 음성 부호화 방법
KR100668319B1 (ko) * 2004-12-07 2007-01-12 삼성전자주식회사 오디오 신호의 변환방법 및 장치와 오디오 신호에적응적인 부호화방법 및 장치, 오디오 신호의 역변환 방법및 장치와 오디오 신호에 적응적인 복호화 방법 및 장치
KR100708123B1 (ko) * 2005-02-04 2007-04-16 삼성전자주식회사 자동으로 오디오 볼륨을 조절하는 방법 및 장치
US7831421B2 (en) * 2005-05-31 2010-11-09 Microsoft Corporation Robust decoder
US7707034B2 (en) * 2005-05-31 2010-04-27 Microsoft Corporation Audio codec post-filter
US7177804B2 (en) 2005-05-31 2007-02-13 Microsoft Corporation Sub-band voice codec with multi-stage codebooks and redundant coding
JP2006276877A (ja) * 2006-05-22 2006-10-12 Nec Corp 変換符号化されたデータの復号方法及び変換符号化されたデータの復号装置
KR101291193B1 (ko) 2006-11-30 2013-07-31 삼성전자주식회사 프레임 오류은닉방법
US20090048828A1 (en) * 2007-08-15 2009-02-19 University Of Washington Gap interpolation in acoustic signals using coherent demodulation
US8126578B2 (en) * 2007-09-26 2012-02-28 University Of Washington Clipped-waveform repair in acoustic signals using generalized linear prediction
US9300469B2 (en) * 2008-01-21 2016-03-29 Nippon Telegraph And Telephone Corporation Secure computing system, secure computing method, secure computing apparatus, and program therefor
CN102246229B (zh) * 2009-04-03 2013-03-27 华为技术有限公司 频域脉冲解码的预测方法和预测装置及解码器
JP2011257575A (ja) * 2010-06-09 2011-12-22 Cri Middleware Co Ltd 音声処理装置、音声処理方法、プログラムおよび記録媒体
WO2011156905A2 (en) * 2010-06-17 2011-12-22 Voiceage Corporation Multi-rate algebraic vector quantization with supplemental coding of missing spectrum sub-bands
EP2458585B1 (de) * 2010-11-29 2013-07-17 Nxp B.V. Fehlerverdeckung für Subband-codierte Audiosignale
CN103493129B (zh) 2011-02-14 2016-08-10 弗劳恩霍夫应用研究促进协会 用于使用瞬态检测及质量结果将音频信号的部分编码的装置与方法
PL2676268T3 (pl) 2011-02-14 2015-05-29 Fraunhofer Ges Forschung Urządzenie i sposób przetwarzania zdekodowanego sygnału audio w domenie widmowej
RU2586597C2 (ru) 2011-02-14 2016-06-10 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Кодирование и декодирование позиций импульсов дорожек аудиосигнала
CN102959620B (zh) 2011-02-14 2015-05-13 弗兰霍菲尔运输应用研究公司 利用重迭变换的信息信号表示
TWI488177B (zh) 2011-02-14 2015-06-11 Fraunhofer Ges Forschung 使用頻譜域雜訊整形之基於線性預測的編碼方案
KR101551046B1 (ko) * 2011-02-14 2015-09-07 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 저-지연 통합 스피치 및 오디오 코딩에서 에러 은닉을 위한 장치 및 방법
JP5973582B2 (ja) 2011-10-21 2016-08-23 サムスン エレクトロニクス カンパニー リミテッド フレームエラー隠匿方法及びその装置、並びにオーディオ復号化方法及びその装置
PL3866164T3 (pl) 2013-02-05 2023-12-27 Telefonaktiebolaget Lm Ericsson (Publ) Ukrywanie utraty ramki sygnału audio
JP6306175B2 (ja) 2013-10-31 2018-04-04 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 時間ドメイン励振信号に基づくエラーコンシールメントを用いて、復号化されたオーディオ情報を提供するオーディオデコーダおよび復号化されたオーディオ情報を提供する方法
ES2755166T3 (es) 2013-10-31 2020-04-21 Fraunhofer Ges Forschung Decodificador de audio y método para proporcionar una información de audio decodificada usando una ocultación de error que modifica una señal de excitación de dominio de tiempo
EP3230980B1 (de) * 2014-12-09 2018-11-28 Dolby International AB Mdct-domain-fehlerverdeckung
US10763885B2 (en) 2018-11-06 2020-09-01 Stmicroelectronics S.R.L. Method of error concealment, and associated device
US10803876B2 (en) * 2018-12-21 2020-10-13 Microsoft Technology Licensing, Llc Combined forward and backward extrapolation of lost network data
US10784988B2 (en) 2018-12-21 2020-09-22 Microsoft Technology Licensing, Llc Conditional forward error correction for network data
CN111711493B (zh) * 2020-06-16 2022-03-11 中国电子科技集团公司第三研究所 具有加密解密能力的水下通信设备及发射器和接收器

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5752225A (en) * 1989-01-27 1998-05-12 Dolby Laboratories Licensing Corporation Method and apparatus for split-band encoding and split-band decoding of audio information using adaptive bit allocation to adjacent subbands
JPH03245370A (ja) 1990-02-22 1991-10-31 Matsushita Electric Ind Co Ltd 音声帯域分割復号化装置
US5455833A (en) * 1990-10-25 1995-10-03 Fraunhofer Gesellschaft Zur Forschung E.V. Process for the detecting of errors in the transmission of frequency-coded digital signals
JPH07123242B2 (ja) 1993-07-06 1995-12-25 日本電気株式会社 音声信号復号化装置
KR970011728B1 (ko) * 1994-12-21 1997-07-14 김광호 음향신호의 에러은닉방법 및 그 장치
JPH08328599A (ja) 1995-06-01 1996-12-13 Mitsubishi Electric Corp Ｍｐｅｇオーディオ復号器
US5781888A (en) * 1996-01-16 1998-07-14 Lucent Technologies Inc. Perceptual noise shaping in the time domain via LPC prediction in the frequency domain
DE19735675C2 (de) * 1997-04-23 2002-12-12 Fraunhofer Ges Forschung Verfahren zum Verschleiern von Fehlern in einem Audiodatenstrom
WO2000060576A1 (en) * 1999-04-05 2000-10-12 Hughes Electronics Corporation Spectral phase modeling of the prototype waveform components for a frequency domain interpolative speech codec system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO0068934A1 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101548555B (zh) * 2006-12-07 2012-10-03 Akg声学有限公司 用于隐藏多通道布置的一条或多条通道中的信息失落的方法
US10607614B2 (en) 2013-06-21 2020-03-31 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method realizing a fading of an MDCT spectrum to white noise prior to FDNS application
US10672404B2 (en) 2013-06-21 2020-06-02 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating an adaptive spectral shape of comfort noise
US10679632B2 (en) 2013-06-21 2020-06-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for improved signal fade out for switched audio coding systems during error concealment
US10854208B2 (en) 2013-06-21 2020-12-01 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method realizing improved concepts for TCX LTP
US10867613B2 (en) 2013-06-21 2020-12-15 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for improved signal fade out in different domains during error concealment
US11462221B2 (en) 2013-06-21 2022-10-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating an adaptive spectral shape of comfort noise
US11501783B2 (en) 2013-06-21 2022-11-15 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method realizing a fading of an MDCT spectrum to white noise prior to FDNS application
US11776551B2 (en) 2013-06-21 2023-10-03 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for improved signal fade out in different domains during error concealment
US11869514B2 (en) 2013-06-21 2024-01-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for improved signal fade out for switched audio coding systems during error concealment
US12125491B2 (en) 2013-06-21 2024-10-22 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method realizing improved concepts for TCX LTP

Also Published As

Publication number Publication date
WO2000068934A1 (de) 2000-11-16
JP2002544550A (ja) 2002-12-24
ATE221244T1 (de) 2002-08-15
EP1145227B1 (de) 2002-07-24
JP3623449B2 (ja) 2005-02-23
DE19921122C1 (de) 2001-01-25
DE50000306D1 (de) 2002-08-29
US7003448B1 (en) 2006-02-21

Similar Documents

Publication Publication Date Title
EP1145227B1 (de) Verfahren und vorrichtung zum verschleiern eines fehlers in einem codierten audiosignal und verfahren und vorrichtung zum decodieren eines codierten audiosignals
DE19747132C2 (de) Verfahren und Vorrichtungen zum Codieren von Audiosignalen sowie Verfahren und Vorrichtungen zum Decodieren eines Bitstroms
EP0954909B1 (de) Verfahren zum codieren eines audiosignals
DE19959156C2 (de) Verfahren und Vorrichtung zum Verarbeiten eines zu codierenden Stereoaudiosignals
DE69923555T2 (de) Verfahren und vorrichtung zur entropie-kodierung von quantisierten transformationskoeffizienten eines signals
DE602004005197T2 (de) Vorrichtung und verfahren zum kodieren eines audiosignals und vorrichtung und verfahren zum dekodieren eines kodierten audiosignals
DE69319494T2 (de) Kodierungsvorrichtung für Audiosignalen und Verfahren dazu
EP1697930B1 (de) Vorrichtung und verfahren zum verarbeiten eines multikanalsignals
EP0978172B1 (de) Verfahren zum verschleiern von fehlern in einem audiodatenstrom
WO1999004505A1 (de) Verfahren zum signalisieren einer rauschsubstitution beim codieren eines audiosignals
DE102006051673A1 (de) Vorrichtung und Verfahren zum Nachbearbeiten von Spektralwerten und Encodierer und Decodierer für Audiosignale
EP1023777B1 (de) Verfahren und vorrichtung zur erzeugung eines bitratenskalierbaren audio-datenstroms
DE102007029381A1 (de) Digitalsignal-Verarbeitungsvorrichtung, Digitalsignal-Verarbeitungsverfahren, Digitalsignal-Verarbeitungsprogramm, Digitalsignal-Wiedergabevorrichtung und Digitalsignal-Wiedergabeverfahren
EP1953739B1 (de) Verfahren und Vorrichtung zur Geräuschsunterdrückung bei einem decodierten Signal
DE19742201C1 (de) Verfahren und Vorrichtung zum Codieren von Audiosignalen
DE112008003153B4 (de) Frequenzband-Bestimmungsverfahren zum Formen von Quantisierungsrauschen
DE4209382C1 (de)
DE19735675C2 (de) Verfahren zum Verschleiern von Fehlern in einem Audiodatenstrom
DE10113322C2 (de) Verfahren zur Codierung von Audiodaten
DE10065363B4 (de) Vorrichtung und Verfahren zum Decodieren eines codierten Datensignals
WO2006072526A1 (de) Verfahren zur bandbreitenerweiterung
DE102006053976A1 (de) Verfahren zur Umschaltung von Fenster und zur Entscheidung des Bandstatus der Mittel/Seitenkodierung für fortgeschrittene Audiokodierung

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20010730

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE

AX Request for extension of the european patent

Free format text: AL;LT;LV;MK;RO;SI

GRAG Despatch of communication of intention to grant

Free format text: ORIGINAL CODE: EPIDOS AGRA

GRAG Despatch of communication of intention to grant

Free format text: ORIGINAL CODE: EPIDOS AGRA

GRAH Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOS IGRA

17Q First examination report despatched

Effective date: 20011228

GRAH Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOS IGRA

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT CH DE FR GB LI NL

AX Request for extension of the european patent

Free format text: AL;LT;LV;MK;RO;SI

REF Corresponds to:

Ref document number: 221244

Country of ref document: AT

Date of ref document: 20020815

Kind code of ref document: T

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: GERMAN

REF Corresponds to:

Ref document number: 50000306

Country of ref document: DE

Date of ref document: 20020829

GBT Gb: translation of ep patent filed (gb section 77(6)(a)/1977)

Effective date: 20020813

ET Fr: translation filed
LTIE Lt: invalidation of european patent or patent extension

Effective date: 20020724

REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

Ref document number: 1145227E

Country of ref document: IE

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20030425

REG Reference to a national code

Ref country code: CH

Ref legal event code: PFA

Owner name: FRAUNHOFER-GESELLSCHAFT ZUR FOERDERUNG DER ANGEWA

Free format text: FRAUNHOFER-GESELLSCHAFT ZUR FOERDERUNG DER ANGEWANDTEN FORSCHUNG E.V.#LEONRODSTRASSE 54#80636 MUENCHEN (DE) -TRANSFER TO- FRAUNHOFER-GESELLSCHAFT ZUR FOERDERUNG DER ANGEWANDTEN FORSCHUNG E.V.#HANSASTRASSE 27 C#80686 MUENCHEN (DE)

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 17

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 18

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 19

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20190418

Year of fee payment: 20

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20190418

Year of fee payment: 20

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20190423

Year of fee payment: 20

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: CH

Payment date: 20190424

Year of fee payment: 20

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20190424

Year of fee payment: 20

Ref country code: AT

Payment date: 20190416

Year of fee payment: 20

REG Reference to a national code

Ref country code: DE

Ref legal event code: R071

Ref document number: 50000306

Country of ref document: DE

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

Ref country code: NL

Ref legal event code: MK

Effective date: 20200411

REG Reference to a national code

Ref country code: GB

Ref legal event code: PE20

Expiry date: 20200411

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK07

Ref document number: 221244

Country of ref document: AT

Kind code of ref document: T

Effective date: 20200412

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION

Effective date: 20200411