EP0945853A2 - Verfahren zur Verschleierung von Sprachsegmentverlusten bei paketorientierter Übertragung - Google Patents

Verfahren zur Verschleierung von Sprachsegmentverlusten bei paketorientierter Übertragung Download PDF

Info

Publication number
EP0945853A2
EP0945853A2 EP99102364A EP99102364A EP0945853A2 EP 0945853 A2 EP0945853 A2 EP 0945853A2 EP 99102364 A EP99102364 A EP 99102364A EP 99102364 A EP99102364 A EP 99102364A EP 0945853 A2 EP0945853 A2 EP 0945853A2
Authority
EP
European Patent Office
Prior art keywords
packet
segment
received
packets
lost
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP99102364A
Other languages
English (en)
French (fr)
Other versions
EP0945853A3 (de
EP0945853B1 (de
Inventor
Steffen Dipl.-Ing. Schönfuss
Rolf Dr. Kapust
Klaus-Dieter Dipl.-Ing. Michael
Peter Prof. Dr.-Ing. Noll
Christian Dipl.-Ing. Günther
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deutsche Telekom AG
Original Assignee
Deutsche Telekom AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deutsche Telekom AG filed Critical Deutsche Telekom AG
Publication of EP0945853A2 publication Critical patent/EP0945853A2/de
Publication of EP0945853A3 publication Critical patent/EP0945853A3/de
Application granted granted Critical
Publication of EP0945853B1 publication Critical patent/EP0945853B1/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm

Definitions

  • the invention relates to a method for concealing Voice segment loss in packet-oriented transmission.
  • To maintain the bit integrity of the data stream and the quality of the voice transmission must take measures to Substitution of lost cells can be made.
  • a repeated request not received or received incorrectly Data such as B. in file transfer is at Real-time services such as telephony are not possible because information subsequently sent does not last indefinitely can be saved and output.
  • lost speech packets are substituted by simply replacing the samples of the missing packet with zero amplitudes or by selecting the code words so that the zero amplitudes result after decoding.
  • Jayant NS Christensen SW Effects of Packet Losses in Waveform Coded Speech and Improvements Due to an ODD-Even Sample-Interpolation Procedure. IEEE Trans. On Communications, Vol. Com-29, No. 2 February 1981
  • Another known substitution procedure is the packet retry procedure.
  • the lost speech segments are concealed by repeated output of the samples or code words received in the immediately preceding packet.
  • the simple packet repetition as with Wasem OJ; Goodman, DJ; Dvorak CA; Page HG in The Effect of Waveform Substitution on the Quality of PCM Packet Communications "IEEE Trans. On Acoustics, Speech and Signal Processing, Vol. 36, No. 3 March 1988 has the advantage that, with the exception of the storage of the last received packet and the With all substitution methods, the detection of a packet loss, which is required, requires no computational effort to replace the lost speech segment.
  • a disadvantage of this method is that, as a rule, however, discontinuities occur both at the borders between the previous and the substituted speech signal and during the transition to the following segment In relation to zero substitution, the packet repetition achieves a maximum tolerable packet loss rate which is about 2.5 times larger.
  • a substitution method which is referred to as fundamental frequency synchronous waveform replacement. This method is based on the assumption that the speech signal statistics change only slightly in successive packets and that the signal form, particularly in the case of voiced sounds, is largely retained for the preceding and the following packet.
  • the average duration of a syllable (10 - 30 ms) can serve as a guide. For relatively short speech segments, which fall in the order of magnitude of up to 10 ms, sudden substitution of signals can largely be avoided if packet losses are substituted if the signal progression is continued in synchronization with the fundamental speech frequency, see Goodman DJ; Lockhart GB; Wasem O. J; Wong W. Waveform Substitution Techniques for Recovering Missing Speech Segments in Voice Communications package.
  • DE 44 46 558 is a digital one Transmission system with improved decoder in the receiver described.
  • the invention relates to a digital Transmission system, in particular with a mobile radio system at least one transmitter for sending code words that come from can be derived from a digital signal. If the disturbance is a Codeword recognized, the latest five samples a prediction filter not by feeding the faulty signal, but by very similar ones Samples from previous signals replaced.
  • DE 41 11 131 describes a method for Transmission of digitized sound signals known.
  • the disrupted signal section becomes error concealment muted or by someone disturbed Signal section preceding signal section in the same channel or through a simultaneous undisturbed Signal section of an adjacent channel replaced.
  • the object of the invention is a part of Substitution process, but not the actual one Replacement, preventive before a loss becomes known perform and then gain time, in particular reduce delay-related packet losses and to increase the quality of the language.
  • the method according to the invention is also based on the above-mentioned premises, the fundamental difference from the known methods being based on the consideration of carrying out the estimation of the signal frame for each packet in advance, without there being any information at the time of the estimation as to whether the next packet is received correctly or not.
  • the speech frame of the subsequent packet that has not yet been received is estimated without access to secondary information exclusively on the basis of the packets previously received.
  • the method according to the invention is carried out by means of a Simulation of an ATM speech decoder implemented.
  • the functioning of the ATM decoder is on the one hand from the Information about the loss or correct receipt of the current language pack and on the other hand from the temporal Sequence of successively received or lost Language packs dependent.
  • the one for controlling the program necessary information is given to the ATM decoder in the form a binary file and provided by the control unit evaluated. Due to the different switch positions parts of the decoder are activated or deactivated.
  • Packet reception mode In packet reception mode, the starting point is the error-free reception of the ATM cells.
  • the switching means SM1 is closed in this operating mode.
  • the received packet is decoded in the standard decoder.
  • the type of decoding is independent of the method according to the invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

Das erfindungsgemäße Verfahren ist auf die Reduzierung verzögerungsbedingter Paketverluste und auf die Erhöhung der Qualität der Sprache bei Sprachsegmentverlusten ausgerichtet. Ausgehend vom Ansatz der LPC-Analyse und -Synthese bzw.vom Modell der Spracherzeugung wird präventiv eine mitlaufende Schätzung des jeweils nachfolgend erwarteten Segments auf der Basis des zuvor empfangenen decodierten PCM-Signals vorgenommen. Bei Vermutung eines Segment- bzw. Paketverlustes, bzw. bei Segment- oder Paketverlust, kann das bereits im Vorfeld auf Verdacht geschätzte Sprachsignal als Substitution unverzögert ausgegeben werden. Das erfindungsgemäße Verfahren läßt sich vorteilhaft bei Übertragungssystemen einsetzen, die auf der paketorientierten Übertragung von Sprachsignalen basieren. <IMAGE>

Description

Die Erfindung betrifft ein Verfahren zur Verschleierung von Sprachsegmentverlusten bei paketorientierter Übertragung. Zur Aufrechterhaltung der Bitintegrität des Datenstromes und der Qualität der Sprachübertragung müssen Maßnahmen zur Substitution verlorener Zellen getroffen werden. Eine nochmalige Anforderung nicht oder nicht korrekt empfangener Daten, wie z. B. beim Filetransfer, ist bei Echtzeitdiensten wie Telefonie nicht möglich, da nachfolgend gesendete Informationen nicht beliebig lange gespeichert und ausgegeben werden können.
Substitutionsverfahren zur Verschleierung verlorener, paketorientiert übertragener Sprachsegmente sind seit längerem bekannt. Im folgenden werden bekannte Substitutionsverfahren näher beschrieben.
Bei dem Verfahren der Nullsubstitution werden verlorene Sprachpakete substituiert, indem man die Abtastwerte des fehlenden Paketes einfach durch Nullamplituden ersetzt bzw. die Codeworte so wählt, daß sich nach der Decodierung die Nullamplituden ergeben. Siehe Jayant N. S.; Christensen S. W.
Figure 00010001
Effects of Packet Losses in Waveform Coded Speech and Improvements Due to an ODD-Even Sample-Interpolation Procedure. IEEE Trans. On Communications, Vol. Com-29, No. 2 February 1981
Ein weiteres bekanntes Substitutionsverfahren ist das Verfahren der Paketwiederholung. Im Gegensatz zur Nullsubstitution erfolgt die Verschleierung der verlorenen Sprachsegmente hierbei durch eine wiederholte Ausgabe der im unmittelbar vorhergehenden Paket empfangenen Abtastwerte bzw. Codeworte. Die einfache Paketwiederholung, wie bei Wasem O. J.; Goodman, D. J.;Dvorak C. A.; Page H. G. in The Effect of Waveform Substitution on the Quality of PCM Packet Communications" IEEE Trans. on Acoustics, Speech and Signal Processing, Vol. 36, No. 3 March 1988 beschrieben, hat den Vorteil, daß mit Ausnahme der Speicherung des zuletzt empfangenen Paketes und der bei allen Substitutionsverfahren erforderlichen Erkennung eines Paketverlustes keinerlei Rechenaufwand notwendig ist, das abhanden gekommene Sprachsegment zu ersetzen. Nachteilig bei diesem Verfahren ist, das in der Regel jedoch Diskontinuitäten sowohl an den Grenzen zwischen dem vorhergehenden und dem substituierten Sprachsignal als auch beim Übergang zum nachfolgenden Segment entstehen. Im Verhältnis zur Nullsubstitution erreicht die Paketwiederholung eine etwa um den Faktor 2,5 größere maximal tolerierbare Paketverlustrate.
Bekannt ist weiterhin ein Substitutionsverfahren, welches als grundfrequenzsynchrone Signalformersetzung bezeichnet wird. Bei diesem Verfahren wird von der Annahme ausgegangen, daß sich die Sprachsignalstatistik in zeitlich aufeinanderfolgenden Paketen nur geringfügig ändert und die Signalform, besonders bei stimmhaften Lauten, zum vorangegangenen und zum nachfolgenden Paket weitestgehend erhalten bleibt. Als Anhaltspunkt kann etwa die mittlere Dauer einer Silbe (10 - 30 ms) dienen. Für relativ kurze Sprachsegmente, die in die Größenordnung bis 10 ms fallen, können bei einer Substitution von Paketverlusten sprungartige Signaländerungen größtenteils vermieden werden, wenn der Signalverlauf synchron zur Sprachgrundfrequenz fortgesetzt wird,siehe Goodman D. J.; Lockhart G. B.; Wasem O. J; Wong W. Waveform Substitution Techniques for Recovering Missing Speech Segments in Paket Voice Communications. IEEE Trans. on Acoustics, Speech and Signal Processing, Vol. ASSP-34, No. 6,Dec. 1986. Im Gegensatz zur einfachen Wiederholung des gesamten vorhergehenden Sprachsegments erfolgt die Schätzung der Signalform durch die wiederholte Ausgabe der letzten T Abtastwerte, wenn T der Sprachgrundperiode des vorhergehenden Signals entspricht.
Weiterhin ist in DE 44 46 558 ein digitales Übertragungssystem mit verbessertem Decoder im Empfänger beschrieben. Die Erfindung betrifft ein digitales Übertragungssystem,insbesondere ein Mobilfunksystem mit mindestens einem Sender zum Senden von Codeworten, die aus einem Digitalsignal ableitbar sind. Wird die Störung eines Codewortes erkannt, werden die neuesten fünf Abtastwerte eines Prädiktionsfilters nicht durch Einspeisen des fehlerhaften Signals, sondern durch sehr ähnliche Abtastwerte aus vorhergehenden Signalen ersetzt.
Desweiteren ist aus der DE 41 11 131 ein Verfahren zum Übertragen digitalisierter Tonsignale bekannt. Zur Fehlerverschleierung wird der gestörte Signalabschnitt stummgeschaltet oder durch einen dem gestörten Signalabschnitt vorangegangenen Signalabschnitt in demselben Kanal oder durch einen zeitgleichen ungestörten Signalabschnitt eines Nachbarkanals ersetzt.
Den bekannten Verfahren zur Fehlerverschleierung von gestörten Signalen bei paketorientiert übertragenen Sprachdaten ist gemeinsam, daß der Substitutionsprozeß entsprechend den bekannten Substitutionsverfahren erst dann einsetzt, wenn ein Paketverlust definitiv vermutet oder festgetellt wird.
Die Aufgabe der Erfindung besteht darin, einen Teil des Substitutionsprozesses, nicht aber die eigentliche Ersetzung, präventiv vor Bekanntwerden eines Verlustes durchzuführen und danach Zeit zu gewinnen, um insbesondere die verzögerungsbedingten Paketverluste zu reduzieren und die Qualität der Sprache zu erhöhen.
Die Aufgabe wird erfindungsgemäß durch die kennzeichnenden Merkmale des ersten Patentanspruchs gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den Unteransprüchen.
Verfahren zur Verschleierung von Sprachsegmentverlusten bei paketorientierter Übertragung basieren immer darauf, daß verlorene, fehlerhaft oder zu spät übertragene Segmente bzw. Pakete möglichst so ersetzt werden, daß der wahrnehmbare Fehler minimal ist. Die Substitution erfolgt dabei wahlweise nach bekannten Verfahren, wie beispielsweise der Nullsubstitution, der Blockwiederholung, der grundfrequenzsynchronen Signalformfortführung oder einer nachfolgend näher beschriebenen sprachmodellbasierten Signalformsubstitution. Die Möglichkeit der Erkennung eines Segment- bzw. Paketverlustes wird dabei immer vorausgesetzt.
Das erfindungsgemäße Verfahren beruht ebenfalls auf den o. a. Prämissen, wobei der grundlegende Unterschied zu den bekannten Verfahren auf der Überlegung beruht, die Schätzung des Signalrahmens für jedes Paket im voraus durchzuführen, ohne daß zum Zeitpunkt der Schätzung bereits eine Information darüber vorliegt, ob das nächste Paket korrekt empfangen wird oder nicht. Die Schätzung des Sprachrahmens des nachfolgenden noch nicht empfangenen Paketes erfolgt dabei ohne Zugriff auf Nebeninformationen ausschließlich auf der Basis der zuvor erhaltenen Pakete.
Erfindungsgemäß wird unmittelbar nach Empfang eines Paketes k eine Schätzung des Signalrahmens des nachfolgenden noch nicht empfangenen Paketes k+1 auf der Basis der zuvor empfangenen Pakete, bzw. auf der Basis des decodierten PCM-Signals der zuvor empfangenen Pakete vorgenommen. Dabei findet, ausgehend vom Ansatz der LPC-Analyse und -Synthese bzw. vom Modell der Spracherzeugung, zunächst eine Analyse der zuvor empfangenen Sprachinformation hinsichtlich der Anregung und Lautformung statt. Die Schätzung des jeweils nachfolgend erwarteten Segments erfolgt dann durch anschließende Synthesefilterung des grundfrequenzsynchron extrapolierten Anregungssignals. Desweiteren ist es vorteilhaft, eine asymmetrische Gewichtung des Analysesegments, eine lineare Extrapolation der Lautformungskoeffizienten mit Bandbreitenaufweitung und eine verbesserte Grundfrequenzanalyse des Anregungssignals durchzuführen. Dabei wird die Schätzung des Signalrahmens des nachfolgenden noch nicht empfangenen Paketes k+1 nach folgenden Schritten durchgeführt:
  • Aufnahme des letzten Segments in einen Segmentbuffer zur Speicherung der letzten M Sprachrahmen,
  • Schätzung der L-Abtastwerte des nachfolgend erwarteten Sprachsegments zuzüglich eines Überhangs der Länge HOV-Abtastwerte,
  • Abtrennen und Zwischenspeichern des Überhangs und
  • Speichern des geschätzten Segments.
Bei Verdacht bzw. bei Feststellung des Fehlens, der Fehlerhaftigkeit bzw. der Verspätung mindestens eines Segments bzw. eines Paketes k+1 erfolgt erfindungsgemäß eine sofortige Ersetzung der betreffenden Segmente bzw. des gesamten Paketes k+1 durch den auf der Basis des zuvor empfangenen Sprachsignals geschätzten Signalrahmen.
Das erfindungsgemäße Verfahren wird mittels einer Simulation eines ATM-Sprachdecoders realisiert. Durch die oben beschriebene Verlagerung des Substitutionsprozesses auf den Zeitraum zwischen den Zellankunftszeiten und die daraus resultierende unverzögerte Ausgabe des bereits im Vorfeld substituierten Sprachsegments wird Zeit eingespart, die vorzugsweise dafür genutzt wird, einen Eingangspuffer zum Ausgleich von Paketlaufzeitschwankungen zu vergrößern. Dadurch ist es möglich, die verzögerungsbedingten Paketverluste zu reduzieren und damit indirekt auch die Qualität der Sprache zu erhöhen.
Das erfindungsgemäße Verfahren wird anhand eines Ausführungsbeispiels näher erläutert.
  • Fig. 1 zeigt das Prinzipschaltbild eines ATM-Decoders mit eingebettetem Fehlerverschleierungsverfahren.
    • Die Funktionsweise des ATM-Decoders ist einerseits von der Information über den Verlust oder den korrekten Empfang des aktuellen Sprachpakets und andererseits von der zeitlichen Abfolge hintereinander empfangener bzw. verlorener Sprachpakete abhängig. Die für die Steuerung des Programms notwendigen Informationen werden dem ATM-Decoder in Form einer Binärdatei bereitgestellt und von der Steuereinheit ausgewertet. Durch die unterschiedlichen Schalterstellungen werden Teile des Decoders aktiviert bzw. deaktiviert. Nachfolgend wird das erfindungsgemäße Verfahren bzw. der Algorithmus des erfindungsgemäßen Verfahrens anhand der möglichen Szenarien erklärt, wobei nur die Funktionsblöcke beschrieben werden, die in der entsprechenden Situation wirksam werden.
    Das erfindungsgemäße Verfahren wird dabei anhand der Betriebsarten Paketempfang und Paketverlust beschrieben. Betriebsart Paketempfang:
    Bei der Betriebsart Paketempfang ist der Ausgangspunkt der fehlerfreie Empfang der ATM-Zellen. Das Schaltmittel SM1 ist in dieser Betriebsart geschlossen. Das empfangene Paket wird im Standarddecoder decodiert. Die Art der Decodierung ist dabei unabhängig vom erfindungsgemäßen Verfahren.
    Bei fehlerfreiem Empfang befindet sich das Schaltmittel SM2 auf der Position 1 (oben) = fehlerfreier Empfang.
    Wenn das vor dem Empfang des fehlerfreien Paketes vorhergehende Paket substituiert wurde, d.h. verloren ging, dann sind die Schaltmittel SM3 und SM4 auf die Position 2 (unten) geschaltet. Es erfolgt die Überblendung des wiedereinsetzenden fehlerfreien Signals mit dem Überhang vom zuvor substituierten Paket entsprechend der Gleichung Obuf(i) = i=0 HOV-1 (1-w) Mbuf(i)+ w sk+2 (i)   mit w=0,5-0,5cos(π·i HOV-1 )
    Sk+2
    entspricht dem Signalspeicher, der die PCM-Werte des dem substituierten Block folgenden Paketes enthält
    Mbuf
    entspricht dem ermittelten Überhang des geschätzten Paketes k+1
    Obuf
    entspricht den Ausgangswerten nach der Überblendung
    HOV
    entspricht der Länge in Abtastwerten, die zur Überblendung herangezogen werden
    Wenn das vorhergehende Paket fehlerfrei empfangen wurde, dann werden die Schalter SM3 und SM4 auf die Position 1 (oben) geschaltet. Die Schaltmittel SM5 und SM6 werden in Abhängigkeit von der Anzahl der verlorengegangenen Pakete E geschaltet.
    • Der Fehlerzähler E für zuvor verlorengegangene Pakete wird dekrementiert, wenn die Anzahl der verlorenen Pakete E>0 ist.
    • Wenn der Fehlerzähler für nacheinander verlorengegangene Pakete anzeigt, daß die Anzahl der verlorengegangenen Pakete E>E1 ist, das heißt der Schwellwert zum schrittweisen Ausblenden des Ausgangssignals zuvor überschritten wurde, dann werden die Schaltmittel SM5 und SM6 auf die Position 2 geschaltet. Die Pegelanpassung der wiedereinsetzenden Übertragung erfolgt dabei in Abhängigkeit von der Anzahl der verlorengegangenen Pakete E durch schrittweise Einblendung des Signals.
    • Wenn der Fehlerzähler für verlorengegangene Pakete anzeigt, daß die Anzahl der verlorenen Pakete E<E1 ist, dann werden die Schaltmittel SM5 und SM6 auf Position 1 (oben) geschaltet.
      Über das Schaltmittel SM6 wird das Sprachsegment in den Ausgabespeicher eingeschrieben. Während der weiteren Abarbeitung wird der Ausgabespeicher mit der Abtastfrequenz ausgelesen und der Speicherinhalt ausgegeben. Der Signalverlauf des nachfolgend erwarteten Sprachsegments wird bis zum Eintreffen des nächsten Paketes geschätzt. Die Schätzung des Sprachsegments unterliegt dabei folgenden Schritten:
    • Aufnahme des letzten Segments in den Segmentbuffer zur Speicherung der letzten M Sprachrahmen,
    • Schätzung der L-Abtastwerte des nachfolgend erwarteten Sprachsegments zuzüglich eines Überhangs der Länge HOV-Abtastwerte.
      Dieser Überhang ist für Überblendungen erforderlich. Die Art der Schätzung der L-Abtastwerte des nachfolgend erwarteten Sprachsegments ist beliebig wählbar, sofern sie die o.g. Merkmale erfüllt.
    • Abtrennen und Zwischenspeichern des Überhangs und
    • Speichern des geschätzten Segments.
    Wird für die Codierung ein rückwärtsgesteuertes Codierverfahren, beispielsweise nach ITU-T G.726 verwendet, so ist eine empfängerseitige Codierung des Ersatzsegments vorteilhaft, welche nach folgenden Schritten abläuft:
    • Initialisierung der empfängerseitigen Encoder-Statusvariablen mit den Decoder-Statusvariablen nach der Decodierung des zuletzt empfangenen Pakets. Dazu wird das Schaltmittel SM8 zur Parameterübernahme vom Decoder zum Encoder kurzzeitig geschlossen.
    • Codierung des Ersatzsegments zur Schätzung der Statusvariablen des Decoders bzw. Encoders nach einem möglichen Paketverlust und anschließende Speicherung der geschätzten Statusvariablen.
      Bei der Verwendung eines rückwärtsgesteuerten Codierverfahrens beispielsweise nach ITU-T G.726 hat sich herausgestellt, daß die Folgefehler im rekonstruierten Sprachsignal, die nach einem Paketverlust aufgrund der divergierenden Statusvariablen zwischen dem Standard-Encoder und -Decoder auftreten, reduziert werden konnten, wenn das geschätzte Segment nochmals codiert wird. Das Ziel der empfängerseitigen Codierung ist es, die Statusvariablen des Encoders nach der Codierung des substituierten Segments als Startwerte für den Standard-Decoder nach einem Paketverlust, d. h. dem wiedereinsetzenden korrekten Empfang zu verwenden.
    Betriebsart Paketverlust:
    Bei der Betriebsart Paketverlust wird davon ausgegangen, daß bereits ein Paketverlust(ungültige, verlorene oder noch nicht eingetroffene Pakete) festgestellt wurde. Das Schaltmittel SM1 ist offen. Es findet keine Decodierung statt. Das Schaltmittel SM2 ist auf Position 2 (unten)geschaltet, so daß die Fehlerverschleierung durch das zuvor geschätzte (substituierende) Segment erfolgen kann.
    Die Schaltmittel SM3 und SM4 sind auf Position 1 (oben) geschaltet.
    • Wenn der Fehlerzähler für verlorengegangene Pakete anzeigt, daß die Anzahl der verlorenen Pakete E<E2 ist, wird der Fehlerzähler inkrementiert. E2 stellt dabei die obere Fehlerschwelle (maximaler Schwellwert) dar.
    • Wenn die Anzahl der hintereinander verlorengegangenen Pakete E<E1 beträgt, dann werden die Schaltmittel SM5 und SM6 auf die Position 1 (oben) geschaltet.
    • Wenn für die Anzahl der hintereinander verlorenengegangenen Pakete gilt: E1≤E≤E2, dann werden die Schaltmittel SM5 und SM6 auf die Position 2 (unten) geschaltet. Dadurch findet eine schrittweise Ausblendung (Skalierung) des substituierten Signals statt.
    • Wenn für die Anzahl der hintereinander verlorengegangenen Pakete gilt: E=E2, das heißt, daß das Ausgangssignal nach der Ausblendverarbeitung bereits auf Null skaliert ist, wird das Schaltmittel SM6 auf Position 3 geschaltet. Über die Baugruppe Rauschen wird ein Rauschsignal eingeblendet. Die Sprachsegmente werden über das Schaltmittel SM6 in den Ausgabespeicher geschrieben.
    Während der weiteren Abarbeitung wird der Ausgabespeicher mit der Abtastfrequenz ausgelesen und die Daten werden ausgegeben.
    Zur Übernahme der unmittelbar zuvor geschätzten Statusvariablen ist das Schaltmittel SM8 kurzzeitig geschlossen. Die Übernahme der Parameter erfolgt dabei vom Encoder zum Decoder. Dieser Vorgang erfolgt nur für den Fall, daß ein rückwärtsgesteuertes Codierverfahren eingesetzt wird.
    Der gespeicherte Überhang vom geschätzten Paket wird in einen zweiten Speicher übernommen. Dazu wird das Schaltmittel SM7 kurzzeitig geschlossen.
    Der Signalverlauf des nachfolgend erwarteten Sprachsegments wird im Zeitraum bis zum Eintreffen des nachfolgenden Paketes geschätzt, wobei wie bereits bei der Betriebsart Paketempfang
    • das zuletzt ausgegebene (geschätzte) Segment in den Segmentbuffer zur Speicherung der letzten M Sprachrahmen aufgenommen wird,
    • eine Schätzung der L Abtastwerte des nachfolgend erwarteten Sprachsegments zuzüglich des Überhangs der Länge der HOV-Abtastwerte durchgeführt wird, wobei die Art der Schätzung beliebig ist, sofern diese die o.g. Merkmale erfüllt und
    • eine Abtrennung und Zwischenspeicherung des Überhangs vom geschätzten Paket und die Speicherung des geschätzten Segments erfolgt.
      Bei Verwendung eines rückwärtsgesteuerten Codierverfahrens erfolgt, wie bereits beschrieben, eine empfängerseitige Codierung des Ersatzsegments zur Schätzung der Statusvariablen des Decoders bzw. Encoders nach einem weiteren möglichen Paketverlust und die Speicherung der geschätzten Statusvaiablen.
    Aufstellung der Bezugszeichen
    k
    Paket/Sprachpaket
    M
    Anzahl der Sprachrahmen
    L
    Segmentlänge in Abtastwerten
    HOV
    Länge des Überhangs (merge hangover) in Abtastwerten
    E
    Zählerstand, der die Anzahl der hintereinander verlorengegangenen Pakete angibt
    E1
    Zählerstand, bei dem die schrittweise Ausblendung des geschätzten Segments beginnt, bzw. die Einblendung/Skalierung des wiedereinsetzenden Signals endet.
    E2
    Zählerstand, bei dem die schrittweise Ausblendung des geschätzten Segments endet und als Ersatzsignal Rauschen eingeblendet wird.
    ATM
    Asynchronous Transfer Mode
    SM1 - SM8
    Schaltmittel des ATM-Decoders

    Claims (6)

    1. Verfahren zur Verschleierung von Sprachsegmentverlusten bei paketorientierter Übertragung, bei dem verlorene, fehlerhafte oder verspätet empfangene Segmente bzw. Pakete ersetzt werden und die Schätzung von verlorenen, fehlerhaften oder verspätetet ankommenden Segmenten bzw. Paketen wahlweise nach bekannten Substitutionsverfahren, wie beispielsweise Nullsubstitution, Blockwiederholung und grundfrequenzsynchroner Signalformfortführung erfolgt, wobei die Möglichkeit der Erkennung eines Segment- bzw. Paketverlustes gewährleistet ist, dadurch gekennzeichnet, daß unmittelbar nach Empfang eines Paketes (k) eine Schätzung des Signalrahmens des nachfolgenden noch nicht empfangenen Paketes (k + 1) auf der Basis des zuvor empfangenen, decodierten PCM-Signals erfolgt, und daß bei Verdacht bzw. bei Feststellung des Fehlens, der Fehlerhaftigkeit bzw. der Verspätung mindestens eines Paketes (k + 1) eine sofortige Ersetzung der betreffenden Segmente bzw. des gesamten Paketes (k + 1) durch den auf der Basis des zuvor empfangenen Sprachsignals geschätzten Signalrahmen erfolgt.
    2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Schätzung des Signalrahmens des nachfolgenden noch nicht empfangenen Paketes (k + 1) nach folgenden Schritten erfolgt:
      Aufnahme des letzten Segments in einen Segmentbuffer zur Speicherung der letzten M Sprachrahmen,
      Schätzung der L-Abtastwerte des nachfolgend erwarteten Sprachsegments zuzüglich eines Überhangs der Länge HOV-Abtastwerte,
      Abtrennen und Zwischenspeichern des Überhangs und
      Speichern des geschätzten Segments.
    3. Verfahren nach Anspruch 1 und 2, dadurch gekennzeichnet, daß bei der Betriebsart Paketverlust eine Fehlerverschleierung unter Verwendung des zuvor geschätzten Segments erfolgt, wobei der Zählerstand E, der die Anzahl der hintereinander verlorengegangenen Pakete angibt, um einen Zählerschritt erhöht wird, wenn die Anzahl der hintereinander verlorengegangenen Pakete kleiner als ein festgelegter maximaler Schwellwert E2 ist, und daß
      a) für den Fall, daß die Anzahl der hintereinander verlorengegangenen Pakete E1≤E≤E2 ist, eine schrittweise Ausblendung des substituierten Segments erfolgt, und daß
      b) für den Fall, daß die Anzahl der hintereinander verlorengegangenen Pakete E=E2 ist, die Einblendung eines Rauschsignals erfolgt.
    4. Verfahren nach Anspruch 1 und 2, dadurch gekennzeichnet, daß bei der Betriebsart Paketempfang das empfangene Paket decodiert wird, und daß
      a) für den Fall, daß das vorhergehende Paket verloren ging, für fehlerhaft erklärt oder noch nicht empfangen wurde, eine Überblendung des wiedereinsetzenden decodierten Signals mit dem Überhang vom zuvor substituierten Paket entsprechend der Gleichung Obuf(i) = i=0 HOV-1 (1-w) Mbuf(i)+ w sk+2 (i)   mit w=0,5-0,5cos(π·i HOV ) erfolgt, wobei der Zählerstand E, der die Anzahl der hintereinander verlorengegangenen Pakete angibt, um einen Schritt herabgesetzt wird, wenn die Anzahl der hintereinander verlorengegangenen Pakete größer als 0 ist, und daß
      b) für den Fall, daß die Anzahl der nacheinander verlorengegangenen Pakete E>E1 ist, eine Pegelanpassung der wiedereinsetzenden Übertragung durch schrittweise Einblendung des decodierten Signals erfolgt.
    5. Verfahren nach Anspruch 1, 2 und 4, dadurch gekennzeichnet, daß bei der Betriebsart Paketempfang das empfangene Paket decodiert wird, und daß bei einer fehlerfreien Übertragung der nacheinander empfangenen Pakete die Ausgabe der fehlerfrei empfangenen Pakete erfolgt.
    6. Verfahren nach Anspruch 1 und 2, dadurch gekennzeichnet, daß bei Anwendung eines rückwärtsgesteuerten Codierverfahrens eine empfängerseitige Codierung des geschätzten Segments nach folgenden Schritten erfolgt:
      Initialisierung der empfängerseitigen Encoder-Statusvariablen mit den
      Decoder-Statusvariablen nach der Decodierung des zuletzt empfangenen Paketes,
      Codierung des Ersatzsegments zur Schätzung der Statusvariablen des Decoders bzw. des senderseitigen Encoders nach einem
      Paketverlust
      Speicherung der geschätzten Statusvariablen, Initialisierung des Decoders mit den geschätzten Statusvariablen vor der Decodierung des nach einem Paketverlust empfangenen Paketes, um die Divergenz zwischen den Statusvariablen im sendeseitigen Encoder und im empfängeseitigen Decoder zu verringern.
    EP99102364A 1998-03-26 1999-02-06 Verfahren zur Verschleierung von Sprachsegmentverlusten bei paketorientierter Übertragung Expired - Lifetime EP0945853B1 (de)

    Applications Claiming Priority (2)

    Application Number Priority Date Filing Date Title
    DE19814633A DE19814633C2 (de) 1998-03-26 1998-03-26 Verfahren zur Verschleierung von Sprachsegmentverlusten bei paketorientierter Übertragung
    DE19814633 1998-03-26

    Publications (3)

    Publication Number Publication Date
    EP0945853A2 true EP0945853A2 (de) 1999-09-29
    EP0945853A3 EP0945853A3 (de) 2000-10-11
    EP0945853B1 EP0945853B1 (de) 2004-06-09

    Family

    ID=7863265

    Family Applications (1)

    Application Number Title Priority Date Filing Date
    EP99102364A Expired - Lifetime EP0945853B1 (de) 1998-03-26 1999-02-06 Verfahren zur Verschleierung von Sprachsegmentverlusten bei paketorientierter Übertragung

    Country Status (3)

    Country Link
    EP (1) EP0945853B1 (de)
    AT (1) ATE268933T1 (de)
    DE (2) DE19814633C2 (de)

    Cited By (3)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    WO2000063881A1 (en) * 1999-04-19 2000-10-26 At & T Corp. Method and apparatus for performing packet loss or frame erasure concealment
    US8185386B2 (en) 1999-04-19 2012-05-22 At&T Intellectual Property Ii, L.P. Method and apparatus for performing packet loss or frame erasure concealment
    US8731908B2 (en) 1999-04-19 2014-05-20 At&T Intellectual Property Ii, L.P. Method and apparatus for performing packet loss or frame erasure concealment

    Families Citing this family (1)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    DE10116984A1 (de) * 2001-04-05 2002-10-10 Rainer Martin Verfahren und Vorrichtung zur Übertragung und Speicherung von Sprach- und Audiosignalen

    Citations (4)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    DE4111131A1 (de) * 1991-04-06 1992-10-08 Inst Rundfunktechnik Gmbh Verfahren zum uebertragen digitalisierter tonsignale
    EP0673017A2 (de) * 1994-03-14 1995-09-20 AT&T Corp. Synthese eines Anregungssignals bei Ausfall von Datenrahmen oder Verlust von Datenpaketen
    DE4446558A1 (de) * 1994-12-24 1996-06-27 Philips Patentverwaltung Digitales Übertragungssystem mit verbessertem Decoder im Empfänger
    WO1996027183A2 (en) * 1995-02-28 1996-09-06 Nokia Telecommunications Oy Processing speech coding parameters in a telecommunication system

    Patent Citations (4)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    DE4111131A1 (de) * 1991-04-06 1992-10-08 Inst Rundfunktechnik Gmbh Verfahren zum uebertragen digitalisierter tonsignale
    EP0673017A2 (de) * 1994-03-14 1995-09-20 AT&T Corp. Synthese eines Anregungssignals bei Ausfall von Datenrahmen oder Verlust von Datenpaketen
    DE4446558A1 (de) * 1994-12-24 1996-06-27 Philips Patentverwaltung Digitales Übertragungssystem mit verbessertem Decoder im Empfänger
    WO1996027183A2 (en) * 1995-02-28 1996-09-06 Nokia Telecommunications Oy Processing speech coding parameters in a telecommunication system

    Non-Patent Citations (1)

    * Cited by examiner, † Cited by third party
    Title
    SUZUKI J ET AL: "MISSING PACKET RECOVERY TECHNIQUES FOR LOW-BIT-RATE CODED SPEECH" IEEE JOURNAL ON SELECTED AREAS IN COMMUNICATIONS,US,IEEE INC. NEW YORK, Bd. 7, Nr. 5, 1. Juni 1989 (1989-06-01), Seiten 707-717, XP002032886 ISSN: 0733-8716 *

    Cited By (6)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    WO2000063881A1 (en) * 1999-04-19 2000-10-26 At & T Corp. Method and apparatus for performing packet loss or frame erasure concealment
    US8185386B2 (en) 1999-04-19 2012-05-22 At&T Intellectual Property Ii, L.P. Method and apparatus for performing packet loss or frame erasure concealment
    US8423358B2 (en) 1999-04-19 2013-04-16 At&T Intellectual Property Ii, L.P. Method and apparatus for performing packet loss or frame erasure concealment
    US8612241B2 (en) 1999-04-19 2013-12-17 At&T Intellectual Property Ii, L.P. Method and apparatus for performing packet loss or frame erasure concealment
    US8731908B2 (en) 1999-04-19 2014-05-20 At&T Intellectual Property Ii, L.P. Method and apparatus for performing packet loss or frame erasure concealment
    US9336783B2 (en) 1999-04-19 2016-05-10 At&T Intellectual Property Ii, L.P. Method and apparatus for performing packet loss or frame erasure concealment

    Also Published As

    Publication number Publication date
    ATE268933T1 (de) 2004-06-15
    DE19814633C2 (de) 2001-09-13
    DE19814633A1 (de) 1999-09-30
    EP0945853A3 (de) 2000-10-11
    EP0945853B1 (de) 2004-06-09
    DE59909668D1 (de) 2004-07-15

    Similar Documents

    Publication Publication Date Title
    DE60034484T2 (de) Verfahren und vorrichtung in einem kommunikationssystem
    DE69915830T2 (de) Verbesserte verfahren zur rückgewinnung verlorener datenrahmen für ein lpc-basiertes, parametrisches sprachkodierungsystem.
    DE60129327T2 (de) Anordnung und verfahren in bezug auf die vermittlung von sprache
    DE60023237T2 (de) Verfahren zur verschleierung von paketverlusten
    DE60132217T2 (de) Übertragungsfehler-verdeckung in einem audiosignal
    DE69631318T2 (de) Verfahren und Vorrichtung zur Erzeugung von Hintergrundrauschen in einem digitalen Übertragungssystem
    DE60220485T2 (de) Verfahren und Vorrichtung zur Verschleierung von Rahmenausfall von prädiktionskodierter Sprache unter Verwendung von Extrapolation der Wellenform
    DE60219351T2 (de) Signaländerungsverfahren zur effizienten kodierung von sprachsignalen
    DE60121201T2 (de) Verfahren und vorrichtung zur verschleierung von fehlerhaften rahmen während der sprachdekodierung
    DE60125219T2 (de) Spektralmerkmal ersatz für die verschleierung von rahmenfehlern in einem sprachdekoder
    US8423358B2 (en) Method and apparatus for performing packet loss or frame erasure concealment
    EP1356454B1 (de) Breitband-signalübertragungssystem
    DE60118631T2 (de) Verfahren zum ersetzen verfälschter audiodaten
    EP1388147B1 (de) Verfahren zur erweiterung der bandbreite eines schmalbandig gefilterten sprachsignals, insbesondere eines von einem telekommunikationsgerät gesendeten sprachsignals
    EP0978172B1 (de) Verfahren zum verschleiern von fehlern in einem audiodatenstrom
    US20090037168A1 (en) Apparatus for Improving Packet Loss, Frame Erasure, or Jitter Concealment
    DE69911169T2 (de) Verfahren zur dekodierung eines audiosignals mit korrektur von übertragungsfehlern
    DE60224005T2 (de) Verfahren und vorrichtung zur verarbeitung von mehreren audiobitströmen
    DE4427351C1 (de) Signalverarbeitungsverfahren und -anordnung für blockweise codierte Sprachsignale eines Nachrichtensystems
    EP2245620B1 (de) Verfahren und mittel zur enkodierung von hintergrundrauschinformationen
    EP0945853B1 (de) Verfahren zur Verschleierung von Sprachsegmentverlusten bei paketorientierter Übertragung
    EP0988728B1 (de) Quellengesteuerte kanaldecodierung durch verwendung der intra-rahmen-korrelation
    KR100792209B1 (ko) 디지털 오디오 패킷 손실을 복구하기 위한 방법 및 장치
    Bakri et al. An improved packet loss concealment technique for speech transmission in VOIP
    EP0876022A1 (de) Verfahren und Vorrichtung zur Fehlerverdeckung in digitalen Übertragungssystemen

    Legal Events

    Date Code Title Description
    PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

    Free format text: ORIGINAL CODE: 0009012

    AK Designated contracting states

    Kind code of ref document: A2

    Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE

    AX Request for extension of the european patent

    Free format text: AL;LT;LV;MK;RO;SI

    PUAL Search report despatched

    Free format text: ORIGINAL CODE: 0009013

    AK Designated contracting states

    Kind code of ref document: A3

    Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE

    AX Request for extension of the european patent

    Free format text: AL;LT;LV;MK;RO;SI

    17P Request for examination filed

    Effective date: 20010411

    AKX Designation fees paid

    Free format text: AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE

    GRAP Despatch of communication of intention to grant a patent

    Free format text: ORIGINAL CODE: EPIDOSNIGR1

    RIC1 Information provided on ipc code assigned before grant

    Ipc: 7G 10L 19/00 A

    GRAS Grant fee paid

    Free format text: ORIGINAL CODE: EPIDOSNIGR3

    GRAA (expected) grant

    Free format text: ORIGINAL CODE: 0009210

    AK Designated contracting states

    Kind code of ref document: B1

    Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: IT

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT;WARNING: LAPSES OF ITALIAN PATENTS WITH EFFECTIVE DATE BEFORE 2007 MAY HAVE OCCURRED AT ANY TIME BEFORE 2007. THE CORRECT EFFECTIVE DATE MAY BE DIFFERENT FROM THE ONE RECORDED.

    Effective date: 20040609

    Ref country code: IE

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20040609

    Ref country code: FI

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20040609

    Ref country code: ES

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20040609

    REG Reference to a national code

    Ref country code: GB

    Ref legal event code: FG4D

    Free format text: NOT ENGLISH

    REG Reference to a national code

    Ref country code: CH

    Ref legal event code: EP

    REF Corresponds to:

    Ref document number: 59909668

    Country of ref document: DE

    Date of ref document: 20040715

    Kind code of ref document: P

    REG Reference to a national code

    Ref country code: IE

    Ref legal event code: FG4D

    Free format text: GERMAN

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: SE

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20040909

    Ref country code: GR

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20040909

    Ref country code: DK

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20040909

    GBT Gb: translation of ep patent filed (gb section 77(6)(a)/1977)

    Effective date: 20040908

    REG Reference to a national code

    Ref country code: IE

    Ref legal event code: FD4D

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: LU

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20050206

    Ref country code: CY

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20050206

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: MC

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20050228

    Ref country code: LI

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20050228

    Ref country code: CH

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20050228

    Ref country code: BE

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20050228

    ET Fr: translation filed
    PLBE No opposition filed within time limit

    Free format text: ORIGINAL CODE: 0009261

    STAA Information on the status of an ep patent application or granted ep patent

    Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

    26N No opposition filed

    Effective date: 20050310

    BERE Be: lapsed

    Owner name: DEUTSCHE *TELEKOM A.G.

    Effective date: 20050228

    REG Reference to a national code

    Ref country code: CH

    Ref legal event code: PL

    BERE Be: lapsed

    Owner name: DEUTSCHE *TELEKOM A.G.

    Effective date: 20050228

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: PT

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20041109

    REG Reference to a national code

    Ref country code: FR

    Ref legal event code: PLFP

    Year of fee payment: 18

    PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

    Ref country code: DE

    Payment date: 20160218

    Year of fee payment: 18

    PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

    Ref country code: GB

    Payment date: 20160222

    Year of fee payment: 18

    Ref country code: AT

    Payment date: 20160218

    Year of fee payment: 18

    Ref country code: NL

    Payment date: 20160222

    Year of fee payment: 18

    Ref country code: FR

    Payment date: 20160222

    Year of fee payment: 18

    REG Reference to a national code

    Ref country code: DE

    Ref legal event code: R119

    Ref document number: 59909668

    Country of ref document: DE

    REG Reference to a national code

    Ref country code: NL

    Ref legal event code: MM

    Effective date: 20170301

    REG Reference to a national code

    Ref country code: AT

    Ref legal event code: MM01

    Ref document number: 268933

    Country of ref document: AT

    Kind code of ref document: T

    Effective date: 20170206

    GBPC Gb: european patent ceased through non-payment of renewal fee

    Effective date: 20170206

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: AT

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20170206

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: NL

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20170301

    REG Reference to a national code

    Ref country code: FR

    Ref legal event code: ST

    Effective date: 20171031

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: FR

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20170228

    Ref country code: DE

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20170901

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: GB

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20170206