EP1405302B1 - Method for masking interference during the transfer of digital audio signals - Google Patents
Method for masking interference during the transfer of digital audio signals Download PDFInfo
- Publication number
- EP1405302B1 EP1405302B1 EP02740252A EP02740252A EP1405302B1 EP 1405302 B1 EP1405302 B1 EP 1405302B1 EP 02740252 A EP02740252 A EP 02740252A EP 02740252 A EP02740252 A EP 02740252A EP 1405302 B1 EP1405302 B1 EP 1405302B1
- Authority
- EP
- European Patent Office
- Prior art keywords
- signal
- audio signal
- audio
- digital
- data error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 230000005236 sound signal Effects 0.000 title claims description 58
- 238000000034 method Methods 0.000 title claims description 16
- 230000000873 masking effect Effects 0.000 title claims 2
- 230000002238 attenuated effect Effects 0.000 claims description 11
- 230000004044 response Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 7
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
Definitions
- the invention is based on a method for concealing Disturbances in a signal derived from a digital signal, reproduced audio signal according to the genus of independent patent claim.
- analog FM radio receiver In case of analog. Systems are decreasing Reception quality to a gradual deterioration of Quality of the audio signal contained in the broadcast signal, the For example, analog FM radio receiver with a Stereo / mono switching or muting of the encounter the audio signal to be reproduced.
- Patent Abstracts of Japan to JP-A-10-308708 discloses an arrangement for receiving and for reproducing digitally transmitted audio information transmitted via a Error detection and correction has, whereby in the case of an undisturbed or disturbed, however correctable received signal reproduces the audio signals contained therein while in the case of a significantly disturbed receive signal section means a noise signal generator using the received signal, a noise signal is generated and added to the audio information to be reproduced is added.
- the inventive method with the features of the independent claim has the advantage that the listener a reliable Assessment basis for the currently selected playback volume for a is transmitted by means of a digital Ruadfunksignals transmitted Andiosignal.
- the listener a reliable Assessment basis for the currently selected playback volume for a is transmitted by means of a digital Ruadfunksignals transmitted Andiosignal.
- the user disadvantageously increases the volume. additionally is the perceived as unpleasant effect of bit errors within the received digital broadcasting signal in the form of Gurgelns within the reproduced Audio signal reduced.
- the invention proposes that in a method of occlusion of noise in a reproduced audio signal resulting from a digital signal is derived, wherein the reproduced audio signal in dependence of a Data error statistics of the digital signal is attenuated, the attenuated Audio signal depending on the data error statistics of the digital signal Replacement signal is superimposed.
- the reproduced Audio signal depending on the data error statistics of the digital signal is frequency selectively attenuated, and that the replacement signal is frequency-selectively superimposed.
- the reproduction quality of a received analogue Broadcast signal usually a so-called high-cut, d. H. a reduction of high frequency fractions of the to be reproduced audio signal.
- a particularly good basis for estimating the actually set volume of the digital Radio receiver is given by the fact that the Superimposition of the substitute signal the attenuation of the Audio signal due to a high data error rate completely compensated, so that the volume of the overlay the attenuated audio signal and the substitute signal formed Retroaudiosignals the one undisturbed received or reproduced audio signal corresponds.
- the substitute signal can advantageously be in the form of a Noise signal, a sine or a note or a stored or synthesized speech signal formed be. Especially in the case of a noise signal as Replacement signal can continue this advantageously in terms of its frequency response to the psychoacoustic Be adapted to the characteristics of the human ear.
- the replacement signal can be attenuated Audio signal either in the time domain or in the frequency domain be superimposed additively.
- the inventive method is characterized in Advantageously characterized by the fact that it basically all audio formats or all digitally transmitted Audio signals, in particular digital broadcast signals various standards, such as DAB, DSR or similar, equally applicable.
- the process is particularly simple feasible, since the control of both the degree of Attenuation of the reproduced audio signal, as well as the Measurement of the superposition of the substitute signal in direct Dependence of one by means of a data error statistics detectable data error rate of the received digital Broadcast signal is controllable.
- the inventive method in no way on the Source decoding of the audio data from the received digital broadcasting signals, so that the process without affecting the decoded audio signal as well can be switched off.
- an audio decoder MPEG 1, 2 Layer 2 with integrated bit or data error concealment shown in Figure 1, an audio decoder MPEG 1, 2 Layer 2 with integrated bit or data error concealment shown.
- MPEG designates one from the Fraunhofer-Gesellschaft developed method for coding or Compression of digital audio data.
- the named Audio decoder thus serves the decoding of the MPEG format present digital audio data.
- the MPEG encoded digital audio signal 101 which is at a Data input 10 of the arrangement pending is a decoder 11th fed.
- the decoder 11 the decoding of the coded digital audio signal and an error detection and optionally correcting the received data signal.
- the pending at a first output of the decoder 11 Audio signal 111 is a filter circuit 12, the for example in the form of an equalizer, but optionally also in the form of a bandpass filter with adjustable Cutoff frequencies, edge steepness and Total amplification factor can be formed, fed.
- the audio signal 121 evaluated by the filter 12 is an overlay circuit 13 in the present case in the form an adder 13 is supplied.
- the one Circuit arrangement 16 for generating an error statistic is supplied.
- a data error rate of at the input 10 of the circuit 1 pending digital error signal indicating error signal 161 removable is supplied.
- This is an assignment circuit 17 fed in the function of the error statistics signal 161 Parameters for controlling the equalizer 12 or the Filters 12 are selected. For example, in case an approximately undisturbed signal at the data input 10 the equalizer 12 and the filter 12 via a Filter control signal 171 controlled such that this supplied decoded audio signal 111 substantially unchanged at the output of the equalizer or filter 12 is removable.
- the assignment circuit 17 is also a from the Error Statistics Generation 16 Generated Bit Error Signal 162 fed, which is the bit error of the digital input signal represents.
- the bit error signal 162 is from the internal Checks for frame header or the data error itself is derived and is a direct measure of the current Error rate.
- the error statistics signal 161 due to a low-pass characteristic on error in digital signal comparatively slow-reacting Signal.
- selected data set 171 for Control of the equalizer 12 and the filter 12 is this supplied from the assignment circuit 17. Furthermore, it is a record 172 inverse to the selected record 171 Filter parameters supplied to a replacement signal generator 18, furthermore, according to the mentioned preferred embodiment of the invention, the bit error signal 162 from the Error statistics generation 16 is supplied.
- the spare signal generator 18 generates depending on him supplied second equalizer or filter parameters 172, according to the preferred embodiment of the invention above in addition to the bit error signal 162, a shaped according to these parameters Spare signal, which is a second input of the Overlay circuit 13 is supplied.
- the the replacement signal generation 18 supplied Filter parameter set 172 is according to a preferred Embodiment of the invention designed such that the filter curves of the filter 12 and the evaluation of the Replacement signal provided in the spare signal generation 18 second filter compensate each other, so that in the sum gives a linear frequency response.
- the filter curves for example, Figure 2 too see where the amplitude frequency response 125 of the filter 12th and the further amplitude frequency response 185 of the evaluation the replacement signal in the spare signal generation 18 provided second filter over the frequency 200th are applied.
- the one certain degree of error or a certain Data error rate of the input signal is assigned by a maximum value with a 3dB cutoff frequency 210 closes down to the value 0.
- a maximum frequency 220 a Audio signal playback anyway for the human ear is not noticeable, the further falls Amplitude frequency response 185 to this maximum frequency 220 out to the value 0.
- the replacement signal generator 18 is according to a preferred Embodiment of the invention designed such that in this generates a neutral noise signal as a substitute signal becomes.
- a total audio signal 141 which consists of a Superimposition of one according to the measured data error rate attenuated audio signal and also according to the Data error rate generated noise signal consists.
- the proportion of the Audio signal 121 increases at the expense of the noise signal 181
- the Audio signal 121 increasingly through the noise signal 181st replaced.
- the substitute signal in the form of a or a superposition of several sine or Knowledge is formed.
- the replacement signal is a stored or is synthesized speech signal. It can continue Replacement signal 181 also in the form of a to the physiology of adapted to human hearing and filtered accordingly Be carried out noise.
- the present method is basically any kind of digitally coded audio signals applicable. So it is within the scope of the present invention, that the data input 10 any digitally coded Audio signal 101 can be fed.
- the decoder is then on the particular type of digitally encoded audio signal 101 adapted or adapted so that at the output of a correctly decoded audio signal 111 is removable.
- the invention is also in the time domain present audio signals applicable, in this case then the back transformation 14 accounts, further then Filter 12, decoding 16, assignment circuit 17 and Replacement signal generation 18 adapted accordingly.
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Noise Elimination (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
- Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
Die Erfindung geht von einem Verfahren zur Verdeckung von Störungen in einem aus einem digitalen Signal abgeleiteten, wiedergegebenen Audiosignal nach der Gattung des unabhängigen Patentanspruchs aus.The invention is based on a method for concealing Disturbances in a signal derived from a digital signal, reproduced audio signal according to the genus of independent patent claim.
In Systemen der digitalen Übertragungstechnik in der mobilen Kommunikation kommt es infolge nicht idealer Übertragungskanäle, insbesondere durch Mehrwegeempfang, Reflexionen, Abschattungen sowie Dämpfungen, zu Störungen im digitalen Übertragungssignal, die sich in Form von Bitfehlern auswirken. Diese können senderseitig durch eine geeignete Kanalcodierung oder durch eine empfängerseitige geeignete Decodierung in gewissem Umfang korrigiert werden. Steigt die Datenfehlerrate innerhalb des digitalen Übertragungssignals über einen vorgegebenen Wert an, ist eine Korrektur der Bitfehler nicht mehr möglich, so dass sich diese auf die mit dem digitalen Übertragungssignal übertragenen Dateninhalte, beispielsweise im Falle eines digital übertragenen Hörrundfunksignals auf ein wiederzugebendes Audiosignal, in Form deutlich wahrnehmbarer Störungen auswirken. In systems of digital transmission technology in the mobile Communication comes as a result of not ideal Transmission channels, in particular by multipath reception, Reflections, shadowing and damping, disturbances in the digital transmission signal, which is in the form of Affect bit errors. These can on the transmitter side by a suitable channel coding or by a receiver side appropriate decoding be corrected to some extent. Increases the data error rate within the digital Transmission signal over a predetermined value, is a correction of bit errors is no longer possible, so that These are the ones with the digital transmission signal transmitted data content, for example in the case of a digitally transmitted audio broadcasting signal on to be reproduced audio signal, in the form clearly perceptible Interference.
Im Falle analoger. Systeme kommt es bei abnehmender Empfangsqualität zu einer graduellen Verschlechterung der Qualität des im Rundfunksignal enthaltenen Audiosignals, dem beispielsweise analoge FM-Rundfunkempfänger mit einer Stereo-/Mono-Umschaltung bzw. Stummschaltung des wiederzugebenden Audiosignals begegnen.In case of analog. Systems are decreasing Reception quality to a gradual deterioration of Quality of the audio signal contained in the broadcast signal, the For example, analog FM radio receiver with a Stereo / mono switching or muting of the encounter the audio signal to be reproduced.
Bei digitalen Systemen gibt es eine derartige graduelle oder schleichende Verschlechterung des Signals in Abhängigkeit der Störung des Übertragungssignals nicht. Vielmehr bewegt sich die Qualität digital übertragener Audiosignale im Bereich entweder einer sehr guten oder einer sehr schlechten Qualität. Um einen gleitenden Übergang von guter zu schlechter Qualität im Falle digitaler Systeme zu realisieren, bedient man sich bei diesen einer Nachbildung dieses Verfahrens (Graceful Degradation). Die zur Verschleierung von Fehlern dort zum Einsatz kommenden Verfahren neigen wiederum im Falle einer hohen Datenfehlerrate dazu, das Signal leiser bzw. vollkommen stumm zu stellen. Dies kann bei dauerhafter Stummschaltung infolge dauerhaft hoher Datenfehlerrate des Übertragungssignals zur Verwirrung des Benutzers führen, dem suggeriert wird, dass der Rundfunkempfänger nur ein sehr leises oder überhaupt kein Audiosignal wiedergibt. Dies kann den Benutzer dazu veranlassen, den Lautstärkepegel zur Wiedergabe des Audiosignals über den Lautstärkesteller zu erhöhen. Darüber hinaus wird das durch Bitfehler hervorgerufene sogenannte Gurgeln innerhalb des wiedergegebenen Audiosignals in der Regel als sehr unangenehm empfunden. Wird nun das digitale Rundfunksignal nach durch den Benutzer initiierter Lautstärkeerhöhung wieder mit.ausreichender Qualität, also mit einer Datenfehlerrate, die eine Korrektur der Datenfehler ermöglicht, empfangen, wird die infolge der Empfangsverschlechterung zuvor abgeschwächte oder stummgeschaltete Audiowiedergabe schlagartig wieder aufgenommen, was nach Erhöhung der Wiedergabelautstärke zu einer Schädigung der angeschlossenen Lautsprecher und möglicherweise auch des Gehörs des Benutzers führen kann.In digital systems there is such a gradual or creeping deterioration of the signal depending on the disturbance of the transmission signal is not. Rather moved the quality of digitally transmitted audio signals in the Range of either a very good or a very bad one Quality. To make a smooth transition from good to poor quality in the case of digital systems too Realize, one uses in these a replica this process (Graceful Degradation). The to Obfuscation of errors coming in use there In turn, methods tend to be high in case of high Data error rate to the signal quieter or perfect to mute. This can be done with permanent mute due to permanently high data error rate of the Transmission signal lead to confusion of the user, the it is suggested that the radio receiver is only a very soft or no audio signal at all. This can prompt the user to adjust the volume level Playback of the audio signal via the volume control increase. In addition, this is due to bit errors caused so-called gargles within the played back audio signal as a rule uncomfortable. Will now be the digital broadcast signal after user-initiated volume increase again with.sufficient quality, so with one Data error rate, which is a correction of data errors allows to receive, which is due to the Reception deterioration previously attenuated or muted Audio playback abruptly resumed, which after increasing the Playback volume to damage the connected speakers and may also result in the user's hearing.
Patent Abstracts of Japan zu JP-A-10-308708 offenbart einer Anordnung zum Empfang und zur Wiedergabe digital fibertragener Audioinformationen, die über eine Fehlererkennung und -korrektur verfügt, wobei im Falle eines ungestörten oder gestörten, jedoch korrigierbaren Empfangsignals die darin enthaltenen Audiosignale wiedergegeben werden, während im Falle eines erheblich gestörten Empfangssignalabschnitts mittels eines Rauschsignalgenerators unter Verwendung des Empfangssignals ein Rauschsignal erzeugt und den wiederzugebenden Audioinformationen additiv überlagert wird.Patent Abstracts of Japan to JP-A-10-308708 discloses an arrangement for receiving and for reproducing digitally transmitted audio information transmitted via a Error detection and correction has, whereby in the case of an undisturbed or disturbed, however correctable received signal reproduces the audio signals contained therein while in the case of a significantly disturbed receive signal section means a noise signal generator using the received signal, a noise signal is generated and added to the audio information to be reproduced is added.
Das erfindungsgemäße Verfahren mit den Merkmalen des unabhängigen Patentanspruchs hat demgegenüber den Vorteil, dass dem Zuhörer eine zuverlässige Beurteihungsgrundlage für die momentan vorgewählte Wiedergabelautstärke für ein mittels eines digitalen Ruadfunksignals übertragenes Andiosignal vermittett wird. Damit wird die Gefahr vermieden, dass während einer Abschwächung bzw. der Audiowiedergabe infolge hoher Datenfehlerrate des empfangenen digitalen Rundfunksignals der Benutzer unvorteilhafterweise die Lautstärke erhöht. Zusätzlich wird die als unangenehm empfundene Wirkung der Bitfehler innerhalb des empfangenen digitalen Rundfunksignals in Form des Gurgelns innerhalb des wiedergegebenen Audiosignals reduziert.The inventive method with the features of the independent claim has the advantage that the listener a reliable Assessment basis for the currently selected playback volume for a is transmitted by means of a digital Ruadfunksignals transmitted Andiosignal. In order to avoids the risk that during a mitigation or the Audio playback due to high data error rate of the received digital Broadcast signal the user disadvantageously increases the volume. additionally is the perceived as unpleasant effect of bit errors within the received digital broadcasting signal in the form of Gurgelns within the reproduced Audio signal reduced.
Dazu wird erfindungsgemäß vorgeschlagen, dass bei einem Verfahren zur Verdeckung von Störungen in einem wiedergegebenen Audiosignal, das aus einem digitalen Signal abgeleitet wird, wobei das wiedergegebene Audiosignal in Abhängigkeit einer Datenfehlerstatistik des digitalen Signals abgeschwächt wird, dem abgeschwächten Audiosignal in Abhängigkeit der Datenfehlerstatistik des digitalen Signals ein Ersatzsignal überlagert wird.For this purpose, the invention proposes that in a method of occlusion of noise in a reproduced audio signal resulting from a digital signal is derived, wherein the reproduced audio signal in dependence of a Data error statistics of the digital signal is attenuated, the attenuated Audio signal depending on the data error statistics of the digital signal Replacement signal is superimposed.
Es ist dabei von besonderem Vorteil, dass das wiedergegebene Audiosignal in Abhängigkeit der Datenfehlerstatistik des digitalen Signals frequenzselektiv abgeschwächt wird, und dass das Ersatzsignal frequenzselektiv überlagert wird. Auf diese Weise ist eine weitere Annäherung des Verhaltens eines digitalen Rundfunkempfängers an das eines analogen, insbesondere FM-Rundfunkempfängers angleichbar. So führen analoge FM-Rundfunkempfänger infolge einer Verschlechterung der Empfangsqualität eines empfangenen analogen Rundfunksignals in der Regel einen sogenannten High-Cut, d. h. eine Absenkung hochfrequenter Anteile des wiederzugebenden Audiosignals durch.It is of particular advantage that the reproduced Audio signal depending on the data error statistics of the digital signal is frequency selectively attenuated, and that the replacement signal is frequency-selectively superimposed. On this way is another approach of one's behavior digital radio receiver to that of an analog, in particular FM radio receiver equalizable. To lead analog FM radio receiver due to deterioration the reception quality of a received analogue Broadcast signal usually a so-called high-cut, d. H. a reduction of high frequency fractions of the to be reproduced audio signal.
Aufgrund der Tatsache, daß Audiosignale im Bereich niedriger Frequenzen eher von tonalen Komponenten geprägt sind und höhere Frequenzbereiche sich eher durch rauschartige Signalanteile auszeichnen, führt die Substitution höherer Frequenzbereiche durch Ersatzrauschen zu einer besseren Signalqualität und damit besserem Hörempfinden nach dem Error-Concealment.Due to the fact that audio signals in the range lower Frequencies are more characterized by tonal components and higher frequency ranges are more likely to be noise-like Signal components, the substitution leads to higher Frequency ranges through replacement noise to a better Signal quality and thus better hearing after the Error Concealment.
Auch werden durch die frequenzselektive Signalabschwächung und -substitution durch Bitfehler verursachte zwitschernde Störungen im Audiosignal, sogenannte Birdies, reduziert, so daß sich die subjektive Wahrnehmung des Audiosignals verbessert.Also, by the frequency-selective signal attenuation and -substitution caused by bit errors chirping Disturbances in the audio signal, so-called birdies, reduced, so that the subjective perception of the audio signal improved.
Eine besonders gute Abschätzungsgrundlage für die tatsächlich eingestellte Lautstärke des digitalen Rundfunkempfängers wird dadurch gegeben, dass die Überlagerung des Ersatzsignals die Abschwächung des Audiosignals infolge einer hohen Datenfehlerrate vollständig kompensiert, so dass die Lautstärke des aus der Überlagerung des abgeschwächten Audiosignals und des Ersatzsignals gebildeten Gesamtaudiosignals der eines ungestört empfangenen bzw. wiedergegebenen Audiosignals entspricht. A particularly good basis for estimating the actually set volume of the digital Radio receiver is given by the fact that the Superimposition of the substitute signal the attenuation of the Audio signal due to a high data error rate completely compensated, so that the volume of the overlay the attenuated audio signal and the substitute signal formed Gesamtaudiosignals the one undisturbed received or reproduced audio signal corresponds.
Das Ersatzsignal kann vorteilhafterweise in Form eines Rauschsignals, eines Sinus- oder Kenntons oder eines gespeicherten oder synthetisierten Sprachsignals gebildet sein. Insbesondere im Falle eines Rauschsignals als Ersatzsignal kann dieses weiterhin vorteilhafterweise hinsichtlich seines Frequenzgangs an die psychoakustischen Eigenschaften des menschlichen Gehörs angepaßt sein.The substitute signal can advantageously be in the form of a Noise signal, a sine or a note or a stored or synthesized speech signal formed be. Especially in the case of a noise signal as Replacement signal can continue this advantageously in terms of its frequency response to the psychoacoustic Be adapted to the characteristics of the human ear.
Weiterhin kann das Ersatzsignal dem abgeschwächten Audiosignal entweder im Zeitbereich oder im Frequenzbereich additiv überlagert werden.Furthermore, the replacement signal can be attenuated Audio signal either in the time domain or in the frequency domain be superimposed additively.
Das erfindungsgemäße Verfahren zeichnet sich in vorteilhafter Weise dadurch aus, dass es grundsätzlich auf alle Audioformate bzw. alle in digitaler Form übertragene Audiosignale, insbesondere digitale Rundfunksignale verschiedener Standards, wie beispielsweise DAB, DSR oder ähnliche, gleichermaßen anwendbar ist.The inventive method is characterized in Advantageously characterized by the fact that it basically all audio formats or all digitally transmitted Audio signals, in particular digital broadcast signals various standards, such as DAB, DSR or similar, equally applicable.
Darüber hinaus ist das Verfahren besonders einfach realisierbar, da die Steuerung sowohl des Maßes der Abschwächung des wiedergegebenen Audiosignals, als auch des Maßes der Überlagerung des Ersatzsignals in direkter Abhängigkeit einer mittels einer Datenfehlerstatistik erfaßbaren Datenfehlerrate des empfangenen digitalen Rundfunksignals steuerbar ist.In addition, the process is particularly simple feasible, since the control of both the degree of Attenuation of the reproduced audio signal, as well as the Measurement of the superposition of the substitute signal in direct Dependence of one by means of a data error statistics detectable data error rate of the received digital Broadcast signal is controllable.
Darüber hinaus ist es von besonderem Vorteil, dass das erfindungsgemäße Verfahren sich in keiner Weise auf die Quellendecodierung der Audiodaten aus den empfangenen digitalen Rundfunksignalen auswirkt, so dass das Verfahren ohne Beeinflussung des decodierten Audiosignals auch abschaltbar ist. In addition, it is of particular advantage that the inventive method in no way on the Source decoding of the audio data from the received digital broadcasting signals, so that the process without affecting the decoded audio signal as well can be switched off.
Ein vorteilhaftes Ausführungsbeispiel der Erfindung ist in
den Figuren dargestellt und nachfolgend näher erläutert.
In Figur 1 ist ein Audiodecoder MPEG 1, 2 Layer 2 mit
integrierter Bit- bzw. Datenfehlerverschleierung
dargestellt. MPEG bezeichnet dabei ein von der Fraunhofer-Gesellschaft
entwickeltes Verfahren zur Codierung bzw.
Komprimierung digitaler Audiodaten. Der genannte
Audiodecoder dient somit der Decodierung der im MPEG-Format
vorliegenden digitalen Audiodaten.In Figure 1, an
Das MPEG-codierte digitale Audiosignal 101, das an einem
Dateneingang 10 der Anordnung ansteht, ist einem Decoder 11
zugeführt. Im Decoder 11 erfolgt die Decodierung des
codierten digitalen Audiosignals sowie eine Fehlererkennung
und gegebenenfalls -korrektur des empfangenen Datensignals.
Das an einem ersten Ausgang des Decoders 11 anstehende
Audiosignal 111 ist einer Filterschaltung 12, die
beispielsweise in Form eines Equalizers, wahlweise aber auch
in Form eines Bandpassfilters mit einstellbaren
Grenzfrequenzen, Flankensteilheit und
Gesamtverstärkungsfaktor ausgebildet sein kann, zugeführt.
Das mittels des Filters 12 bewertete Audiosignal 121 ist
einer Überlagerungsschaltung 13 im vorliegenden Fall in Form
eines Addiergliedes 13 zugeführt. Das am Ausgang des
Addiergliedes 13 abnehmbare Gesamtaudiosignal 131 wird in
einem inversen Filter 14 vom Frequenz- in den Zeitbereich
rücktransformiert, so dass am Ausgang 15 der
Schaltungsanordnung 1 das über die Lautsprecher einer die
Schaltungsanordnung 1 enthaltenden Audioanlage wiedergebbare
Gesamtaudiosignal 141 ansteht.The MPEG encoded
Die Notwendigkeit einer Rücktransformation 14 ergibt sich
aus der Tatsache, daß MPEG-codierte Signale im
Frequenzbereich vorliegen, jeder Abtastwert des Audiosignals
liegt somit in Form dessen Spektral verteilung vor.The need for
An einem zweiten Ausgang des Decoders 11 ist ein die
Datenfehlerrate des empfangenen digitalen Signals
repräsentierendes Fehlersignal 112 abnehmbar, das einer
Schaltungsanordnung 16 zur Erzeugung einer Fehlerstatistik
zugeführt ist. An einem ersten Ausgang der
Fehlerstatistikerzeugung 16 ist ein die Datenfehlerrate des
am Eingang 10 der Schaltungsanordnung 1 anstehenden
digitalen Signals anzeigendes Fehlerstatistiksignal 161
abnehmbar. Dieses ist einer Zuordnungsschaltung 17
zugeführt, in der in Abhängigkeit des Fehlerstatistiksignals
161 Parameter zur Steuerung des Equalizers 12 bzw. des
Filters 12 ausgewählt werden. Beispielsweise wird im Falle
eines näherungsweise ungestörten Signals am Dateneingang 10
der Equalizer 12 bzw. das Filter 12 über ein
Filtersteuersignal 171 derart gesteuert, dass das diesem
zugeführte decodierte Audiosignal 111 im wesentlichen
unverändert am Ausgang des Equalizers bzw. Filters 12
abnehmbar ist. Demgegenüber wird bei zunehmender
Datenfehlerrate in der Zuordnungsschaltung 17 ein
Parametersatz zur Steuerung des Equalizers 12 bzw. Filters
12 dergestalt ausgewählt, dass zunächst höherfrequente
Anteile des Audiosignals 111, mit weiter zunehmender
Datenfehlerrate zunehmend auch niederfrequente Anteile des
Audiosignals 111 und schließlich das gesamte Audiosignal
abgeschwächt wird.At a second output of the
Gemäß einer bevorzugten Ausführungsform der Erfindung ist
der Zuordnungsschaltung 17 weiterhin ein ebenfalls von der
Fehlerstatistikerzeugung 16 generiertes Bitfehlersignal 162
zugeführt, das die Bitfehler des digitalen Eingangssignals
repräsentiert. Das Bitfehlersignal 162 wird aus den internen
Prüfungen für Rahmenheader oder der Datenfehler selbst
abgeleitet und ist ein direktes Maß für die aktuelle
Fehlerrate. Demgegenüber ist das Fehlerstatistiksignal 161
aufgrund einer Tiefpaßcharakteristik ein auf Fehler im
digitalen Signal vergleichsweise langsam reagierendes
Signal.According to a preferred embodiment of the invention
the
Eine in Abhängigkeit der Datenfehlerrate bzw. des die
Datenfehlerrate repräsentierenden Fehlerstatistiksignals
161, gemäß einer bevorzugten Ausführungsform zusätzlich des
Bitfehlersignals 162, ausgewählter Datensatz 171 zur
Steuerung des Equalizers 12 bzw. des Filters 12 ist diesem
von der Zuordnungsschaltung 17 zugeführt. Des weiteren ist
ein dem gewählten Datensatz 171 inverser Datensatz 172 an
Filterparametern einem Ersatzsignalgenerator 18 zugeführt,
dem weiterhin, gemäß erwähnter bevorzugter Ausführungsform
der Erfindung, das Bitfehlersignal 162 von der
Fehlerstatistikerzeugung 16 zugeführt ist.One depending on the data error rate or the
Data error rate representing error statistics signal
161, according to a preferred embodiment additionally of
Der Ersatzsignalgenerator 18 erzeugt in Abhängigkeit der ihm
zugeführten zweiten Equalizer- bzw. Filterparameter 172,
gemäß der bevorzugten Ausführungsform der Erfindung darüber
hinaus in zusätzlicher Abhängigkeit des Bitfehlersignals
162, ein entsprechend diesen Parametern geformtes
Ersatzsignal, das einem zweiten Eingang der
Überlagerungsschaltung 13 zugeführt ist. Somit ist am
Ausgang der Überlagerungsschaltung 13 ein Gesamtaudiosignal
131 abnehmbar, das aus einer Überlagerung, im vorliegendem
Fall einer Addition, des nach Maßgabe der ersten Equalizer-
bzw. Filterparameter 171 mittels des Equalizers oder Filters
12 abgeschwächten Audiosignals und eines nach Maßgabe der
zweiten Equalizer- bzw. Filterparameter 172 geformten
Ersatzsignals 181 besteht.The
Der der Ersatzsignalgenerierung 18 zugeführte
Filterparametersatz 172 ist gemäss einer bevorzugten
Ausführungsform der Erfindung derart ausgelegt, dass sich
die Filterkurven des Filters 12 und des zur Bewertung des
Ersatzsignals in der Ersatzsignalgenerierung 18 vorgesehenen
zweiten Filters gegenseitig kompensieren, so dass sich in
der Summe ein linearer Frequenzgang ergibt. Dieser Verlauf
der Filterkurven ist beispielsweise auch Figur 2 zu
entnehmen, wo der Amplitudenfrequenzgang 125 des Filters 12
und der weitere Amplitudenfrequenzgang 185 des zur Bewertung
des Ersatzsignals in der Ersatzsignalgenerierung 18
vorgesehenen zweiten Filters über der Frequenz 200
aufgetragen sind. Wie der Figur zu entnehmen, nimmt der
Amplitudenfrequenzgang 125 des Filters bzw. Equalizers 12,
der einem bestimmten Fehlergrad bzw. einer bestimmten
Datenfehlerrate des Eingangssignals zugeordnet ist, von
einem Maximalwert mit einer 3dB-Grenzfrequenz 210 schließt
sich auf den Wert 0 ab. Demgegenüber nimmt der derselben
Datenfehlerrate bzw. Datenfehlerstatistik zugeordnete
weitere Frequenzgang 185 vom Wert 0 über die 3dB-Grenzfrequenz
210 auf einen Wert zu, der der maximalen
Amplitude des Amplitudenfrequenzgangs 125 entspricht. Da
oberhalb einer Maximalfrequenz 220 eine
Audiosignalwiedergabe ohnehin für das menschliche Gehör
nicht wahrnehmbar ist, fällt der weitere
Amplitudenfrequenzgang 185 zu dieser Maximalfrequenz 220 hin
auf den Wert 0 ab.The the
Wie Figur 2 zu entnehmen, überlagern sich die beiden
Frequenzgänge 125 und 185 des Filters 12 bzw. der
Ersatzsignalerzeugung 18 zu einem insgesamt linearen und
konstanten Frequenzgang.As can be seen from FIG. 2, the two
Der Ersatzsignalgenerator 18 ist gemäss einer bevorzugten
Ausführungsform der Erfindung derart ausgelegt, dass in
diesem ein neutrales Rauschsignal als Ersatzsignal erzeugt
wird. Somit ergibt sich am Ausgang 15 der Schaltung 1 der
Figur 1 ein Gesamtaudiosignal 141, das aus einer
Überlagerung eines gemäss der gemessenen Datenfehlerrate
abgeschwächten Audiosignals und eines ebenfalls gemäss der
Datenfehlerrate erzeugten Rauschsignals besteht. Zu
niedrigeren Datenfehlerraten hin wird der Anteil des
Audiosignals 121 auf Kosten des Rauschsignals 181 zunehmen,
demgegenüber wird im Falle zunehmender Datenfehlerrate das
Audiosignal 121 zunehmend durch das Rauschsignal 181
ersetzt.The
Gemäss einer vorteilhafter Weiterbildungen der Erfindung kann es demgegenüber vorgesehen sein, dass das Ersatzsignal in Form eines oder einer überlagerung mehrerer Sinus- oder Kenntöne ausgebildet ist. Des weiteren kann es vorgesehen sein, dass das Ersatzsignal ein gespeichertes oder synthetisiertes Sprachsignal ist. Weiter kann das Ersatzsignal 181 auch in Form eines an die Physiologie des menschlichen Gehörs angepassten und entsprechend gefilterten Rauschens ausgeführt sein.According to an advantageous developments of the invention In contrast, it may be provided that the substitute signal in the form of a or a superposition of several sine or Knowledge is formed. Furthermore it can be provided be that the replacement signal is a stored or is synthesized speech signal. It can continue Replacement signal 181 also in the form of a to the physiology of adapted to human hearing and filtered accordingly Be carried out noise.
Wie eingangs erwähnt, ist das vorliegende Verfahren
grundsätzlich auf jedwede Art digital codierter Audiosignale
anwendbar. So liegt es im Bereich vorliegender Erfindung,
dass dem Dateneingang 10 ein beliebiges digital codiertes
Audiosignal 101 zuführbar ist. Der Decodierer ist dann an
die jeweilige Art des digital codierten Audiosignals 101
angepasst bzw. anzupassen, so dass an dessen Ausgang ein
korrekt decodiertes Audiosignal 111 abnehmbar ist.As mentioned above, the present method is
basically any kind of digitally coded audio signals
applicable. So it is within the scope of the present invention,
that the
Grundsätzlich ist die Erfindung auch auf im Zeitbereich
vorliegende Audiosignale anwendbar, für diesen Fall kann
dann die Rücktransformation 14 entfallen, weiters sind dann
Filter 12, Decodierung 16, Zuordnungsschaltung 17 und
Ersatzsignalgenerierung 18 entsprechend angepasst.In principle, the invention is also in the time domain
present audio signals applicable, in this case
then the
Claims (3)
- Method for masking interference in a reproduced audio signal which is derived from a digital signal,
where the reproduced audio signal is attenuated on the basis of a data error statistic for the digital signal,
the audio signal being overlaid with a substitute signal on the basis of the data error statistic for the digital signal,
characterized in that the reproduced audio signal is attenuated at selected frequencies on the basis of the data error statistic for the digital signal, and
in that the substitute signal is overlaid at selected frequencies. - Method according to Claim 1, characterized in that the overlaying of the substitute signal compensates for the attenuation of the audio signal.
- Method according to one of the preceding claims, characterized in that the substitute signal is formed by a noise signal, a sinusoidal or characteristic tone or by a voice signal.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE10130233 | 2001-06-22 | ||
| DE10130233A DE10130233A1 (en) | 2001-06-22 | 2001-06-22 | Interference masking method for digital audio signal transmission |
| PCT/DE2002/001368 WO2003001509A1 (en) | 2001-06-22 | 2002-04-12 | Method for masking interference during the transfer of digital audio signals |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| EP1405302A1 EP1405302A1 (en) | 2004-04-07 |
| EP1405302B1 true EP1405302B1 (en) | 2004-12-15 |
Family
ID=7689138
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| EP02740252A Expired - Lifetime EP1405302B1 (en) | 2001-06-22 | 2002-04-12 | Method for masking interference during the transfer of digital audio signals |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20040221209A1 (en) |
| EP (1) | EP1405302B1 (en) |
| JP (1) | JP4221288B2 (en) |
| DE (2) | DE10130233A1 (en) |
| ES (1) | ES2233828T3 (en) |
| WO (1) | WO2003001509A1 (en) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100708123B1 (en) * | 2005-02-04 | 2007-04-16 | 삼성전자주식회사 | Method and apparatus for controlling audio volume automatically |
| EP1941496B1 (en) * | 2005-09-01 | 2009-12-09 | Telefonaktiebolaget LM Ericsson (publ) | Processing encoded real-time data |
| US8620644B2 (en) | 2005-10-26 | 2013-12-31 | Qualcomm Incorporated | Encoder-assisted frame loss concealment techniques for audio coding |
| DE102006034625A1 (en) * | 2006-07-27 | 2008-01-31 | Bayerische Motoren Werke Ag | Sound releasing method for mobile radio device, involves releasing audible spare signal on output device in case of low quality of radio signal received by receiver unit |
| JP2013031151A (en) | 2011-06-20 | 2013-02-07 | Renesas Electronics Corp | Encryption communication system and encryption communication method |
| PL3367380T3 (en) | 2014-06-13 | 2020-06-29 | Telefonaktiebolaget Lm Ericsson (Publ) | Burst frame error handling |
| JP2016046719A (en) * | 2014-08-25 | 2016-04-04 | 株式会社東芝 | Data generation device, communication device, mobile body, data generation method, and program |
| FR3056043B1 (en) * | 2016-09-15 | 2019-02-01 | Continental Automotive France | DEVICE FOR PROCESSING AN AUDIO SIGNAL FROM A RADIO FREQUENCY SIGNAL |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5938912A (en) * | 1982-08-27 | 1984-03-03 | Nec Corp | Pcm audio error compensating circuit |
| CA2137459A1 (en) * | 1993-05-04 | 1994-11-10 | Stephen V. Cahill | Apparatus and method for substantially eliminating noise in an audible output signal |
| FI98164C (en) * | 1994-01-24 | 1997-04-25 | Nokia Mobile Phones Ltd | Processing of speech coder parameters in a telecommunication system receiver |
| DE4427351C1 (en) * | 1994-08-02 | 1996-03-28 | Siemens Ag | Signal processing method and arrangement for block coded speech signals of a message system |
| JP3264822B2 (en) * | 1995-04-05 | 2002-03-11 | 三菱電機株式会社 | Mobile communication equipment |
| FI963870A (en) * | 1996-09-27 | 1998-03-28 | Nokia Oy Ab | Masking errors in a digital audio receiver |
| US6032048A (en) * | 1997-03-17 | 2000-02-29 | Ericsson Inc. | Method and apparatus for compensating for click noise in an FM receiver |
| JP3649854B2 (en) * | 1997-05-09 | 2005-05-18 | 松下電器産業株式会社 | Speech encoding device |
| US6915263B1 (en) * | 1999-10-20 | 2005-07-05 | Sony Corporation | Digital audio decoder having error concealment using a dynamic recovery delay and frame repeating and also having fast audio muting capabilities |
-
2001
- 2001-06-22 DE DE10130233A patent/DE10130233A1/en not_active Withdrawn
-
2002
- 2002-04-12 ES ES02740252T patent/ES2233828T3/en not_active Expired - Lifetime
- 2002-04-12 EP EP02740252A patent/EP1405302B1/en not_active Expired - Lifetime
- 2002-04-12 JP JP2003507810A patent/JP4221288B2/en not_active Expired - Fee Related
- 2002-04-12 WO PCT/DE2002/001368 patent/WO2003001509A1/en active IP Right Grant
- 2002-04-12 US US10/481,776 patent/US20040221209A1/en not_active Abandoned
- 2002-04-12 DE DE50201804T patent/DE50201804D1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| ES2233828T3 (en) | 2005-06-16 |
| WO2003001509A1 (en) | 2003-01-03 |
| US20040221209A1 (en) | 2004-11-04 |
| JP2004533021A (en) | 2004-10-28 |
| JP4221288B2 (en) | 2009-02-12 |
| EP1405302A1 (en) | 2004-04-07 |
| DE50201804D1 (en) | 2005-01-20 |
| DE10130233A1 (en) | 2003-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE19921122C1 (en) | Method and device for concealing an error in a coded audio signal and method and device for decoding a coded audio signal | |
| DE60103424T2 (en) | IMPROVING THE PERFORMANCE OF CODING SYSTEMS USING HIGH FREQUENCY RECONSTRUCTION PROCESSES | |
| US5682461A (en) | Method of transmitting or storing digitalized, multi-channel audio signals | |
| DE3639753A1 (en) | METHOD FOR TRANSMITTING DIGITALIZED SOUND SIGNALS | |
| DE4118424A1 (en) | METHOD FOR PROCESSING AND PLAYING BACK RECEIVED DIGITALLY CODED AUDIO DATA AND BROADCASTING RECEIVER FOR RECEIVING DIGITALLY CODED SOUND BROADCASTING DATA (DAR) | |
| EP0978172A1 (en) | Method for masking defects in a stream of audio data | |
| EP1405302B1 (en) | Method for masking interference during the transfer of digital audio signals | |
| EP0775360B1 (en) | Signal-processing method and device for substituting non-correctable blocks in a receiver for block-coded audio signals | |
| EP1245024B1 (en) | Method for the error concealment of digital audio data by means of spectral equalisation | |
| DE4343366C2 (en) | Method and circuit arrangement for increasing the bandwidth of narrowband speech signals | |
| WO1989011759A1 (en) | Process for transmitting an audio signal | |
| EP1303856B1 (en) | Method for concealing transmission errors in digital audio data | |
| DE2338482B2 (en) | Circuit arrangement for noise reduction of a stereo broadcast broadcast according to the FCC system on the receiver side, combined with a mono-stereo display | |
| EP1238481B1 (en) | Method for decoding digital audio data | |
| DE102016107799B3 (en) | Method for processing an FM stereo signal | |
| EP1342316B1 (en) | Playback device for audio signals that are transmitted over potentially disturbed channels | |
| DE112009002283B4 (en) | Radio receiver | |
| DE19638546A1 (en) | Method and circuit arrangement for encoding or decoding audio signals | |
| EP1274175B1 (en) | Method of checking the reception of alternative reception frequencies in a car radio and car radio | |
| DE4409960A1 (en) | Method for reducing the subjective perception of interference in the case of interference-free reception when using digitally transmitted audio signals | |
| DE102008002689A1 (en) | Apparatus and method for adjusting the reproduction spectrum of two audio sources | |
| DE19515805C2 (en) | Method for data reduction of a digitized audio signal | |
| DE102005051699A1 (en) | Sound level variation correcting method for use in vehicle, involves detecting characteristics` changes of frequency section according to given criteria, so as to determine control variable for variation of signal amplification | |
| DE102005035094A1 (en) | Audio signal reproducing device | |
| EP1672823A1 (en) | Receiving apparatus for digital radio broadcasting systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
| 17P | Request for examination filed |
Effective date: 20040122 |
|
| AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR |
|
| GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
| GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
| GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
| AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): DE ES FR GB IT |
|
| REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D Free format text: NOT ENGLISH |
|
| REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D Free format text: GERMAN |
|
| REF | Corresponds to: |
Ref document number: 50201804 Country of ref document: DE Date of ref document: 20050120 Kind code of ref document: P |
|
| GBT | Gb: translation of ep patent filed (gb section 77(6)(a)/1977) |
Effective date: 20050406 |
|
| REG | Reference to a national code |
Ref country code: ES Ref legal event code: FG2A Ref document number: 2233828 Country of ref document: ES Kind code of ref document: T3 |
|
| PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
| 26N | No opposition filed |
Effective date: 20050916 |
|
| ET | Fr: translation filed | ||
| PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: ES Payment date: 20120423 Year of fee payment: 11 |
|
| PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: GB Payment date: 20130422 Year of fee payment: 12 |
|
| PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: IT Payment date: 20130424 Year of fee payment: 12 |
|
| GBPC | Gb: european patent ceased through non-payment of renewal fee |
Effective date: 20140412 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: GB Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20140412 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20140412 |
|
| REG | Reference to a national code |
Ref country code: ES Ref legal event code: FD2A Effective date: 20150527 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: ES Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20140413 |
|
| REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 15 |
|
| REG | Reference to a national code |
Ref country code: DE Ref legal event code: R084 Ref document number: 50201804 Country of ref document: DE |
|
| REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 16 |
|
| PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: FR Payment date: 20170424 Year of fee payment: 16 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: FR Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20180430 |
|
| PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: DE Payment date: 20190627 Year of fee payment: 18 |
|
| REG | Reference to a national code |
Ref country code: DE Ref legal event code: R119 Ref document number: 50201804 Country of ref document: DE |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: DE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20201103 |