EP0697123B1 - Verfahren zur aufbereitung von daten, insbesondere von codierten sprachsignalparametern - Google Patents

Verfahren zur aufbereitung von daten, insbesondere von codierten sprachsignalparametern Download PDF

Info

Publication number
EP0697123B1
EP0697123B1 EP94912471A EP94912471A EP0697123B1 EP 0697123 B1 EP0697123 B1 EP 0697123B1 EP 94912471 A EP94912471 A EP 94912471A EP 94912471 A EP94912471 A EP 94912471A EP 0697123 B1 EP0697123 B1 EP 0697123B1
Authority
EP
European Patent Office
Prior art keywords
signal parameters
bits
bit
quantisation
total number
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
EP94912471A
Other languages
English (en)
French (fr)
Other versions
EP0697123A1 (de
Inventor
Jörg-Martin Müller
Bertram Wächter
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=6487542&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=EP0697123(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP0697123A1 publication Critical patent/EP0697123A1/de
Application granted granted Critical
Publication of EP0697123B1 publication Critical patent/EP0697123B1/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/002Dynamic bit allocation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032Quantisation or dequantisation of spectral components
    • G10L19/038Vector quantisation, e.g. TwinVQ audio
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders

Description

Die Erfindung betrifft ein Verfahren zur Aufbereitung von Daten, insbesondere von codierten Sprachsignalparametern für Übertragungszwecke.
Bei der Codierung und Decodierung von Sprachsignalen, insbesondere für Mobilfunkanwendungen, wird das Sprachsignal abgetastet und in Abschnitte (Zeitabschnitte) unterteilt. Für jeden Abschnitt werden Prädiktionswerte für unterschiedliche Arten von Signalparametern gebildet. Solche Signalparameter sind z.B. Kurzzeitparameter zur Charakterisierung der Formantstruktur (Resonanzen des Sprachtraktes) und Langzeitparameter zur Charakterisierung der Pitchstruktur (Tonhöhe) des Sprachsignals (ANT Nachrichtentechnische Berichte, Heft 5, Nov. 1988, Seiten 93 bis 105). Bei der Sprachcodierung mittels "Analyse durch Synthese" werden die Modell- und Anregungsparameter quantisiert, codiert und zum Empfänger übertragen. Zur weiteren Reduzierung der Bitrate wird die Vektorquantisierung benutzt (s.o.; DE/EP 0 266 620 T1; EP 504 627 A2; EP 294 020 A2).
Aufgabe vorliegender Erfindung ist es, ein Verfahren eingangs genannter Art so weiterzubilden, daß bei weiterer Reduzierung der Bitrate eine befriedigende Rekonstruktion der Ausgangsdaten möglich ist. Diese Aufgabe wird durch die Schritte des Anspruchs 1 gelöst. Die weiteren Ansprüche zeigen vorteilhafte Ausgestaltungen auf.
Das Verfahren nach der Erfindung zeichnet sich insbesondere durch seine Robustheit gegenüber Übertragungsfehlern aus. Das Verfahren nach der Erfindung ermöglicht den Aufbau von Sprachcodecs, deren Sprachqualität besser ist als bei Sprachcodecs mit Reduzierung der Quantisierungsstufen um Vielfache von 2. Da Übertragungsfehler im allgemeinen gehäuft auftreten, ergibt sich bei reduziertem Aufwand keine Verschlechterung einer Fehlerkorrektur.
Anhand der Zeichnungen wird nun ein Ausführungsbeispiel der Erfindung näher erläutert. Es zeigen
  • Figur 1 ein Blockschaltbild eines Sprachcoders, welcher nach dem Verfahren der Erfindung arbeitet,
  • Figur 2 den Rahmenaufbau zweier Rahmenabschnitte für verschiedene Arten von Signalparametern.
  • Wie Figur 1 zeigt, werden Sprachsignale einer Sprachsignalquelle Q mittels eines A/D-Wandlers abgetastet und hinsichtlich gleichartiger Sprachsignalparameter in einer Analyseeinheit A analysiert. Die Analyseeinheit liefert jeweils einen Satz in sich gleichartiger Sprachsignalparameter, z.B. einen Satz von Kurzzeitparametern KP für die Formantstruktur (Anregungsparameter), einen Satz von Langzeitparametern LP für die Pitchstruktur und einen Satz von Filtergewichtungsparametern FP. Mit diesen Parametersätzen werden jeweils Prädiktionswerte in Prädiktoren PRK, PRL, PRF auf herkömmliche Weise, z.B. gemäß EP 364 647 gewonnen, die einer Vektorquantisierung VQ unterzogen werden. In einer Rahmenbildungseinheit RA werden die quantisierten Signalparameter zusammengefaßt und zwar beispielsweise so, daß ein Rahmen der Rahmendauer von z.B. 20 msec. aus 4 Rahmenabschnitten von jeweils 5 msec Dauer besteht. In jedem dieser Rahmenabschnitte sind gleichartige Signalparameter untergebracht. Aus mindestens zwei dieser Rahmenabschnitte (nachfolgend wird die Behandlung von jeweils zwei Rahmenabschnitten beschrieben, natürlich können auch mehr als zwei Rahmenabschnitte zusammen behandelt werden), werden nun Bits unterdrückt mittels einer Bitunterdrückungseinheit BÜ. Die Bitunterdrückung wird erfindungsgemäß nicht für jeden Rahmenabschnitt einzeln durchgeführt, sondern für die Gesamtzahl der Bits aus mindestens zwei Arten von zusammengefaßten gleichartigen Rahmenabschnitten, d.h. z.B. für die Gesamtzahl der Bits der Kurzzeit- und Langzeitparameter in einem Rahmen der Dauer 20 msec. Bei der Bitunterdrückung wird darauf geachtet, daß die Quantisierungsstufen pro Rahmenabschnitt gleichverteilt sind. Die Anzahl n der zu unterdrückenden Bits wird vorteilhafterweise nach der Beziehung
    Figure 00030001
    auf die Rahmenabschnitte verteilt, wobei m die Anzahl gleichartiger Signalparameter und g die Gesamtzahl der ursprünglichen Bits angibt. Die Bit-Differenz aus der Gesamtzahl g der unreduzierten Bits zur nächstgelegenen höheren Zweierpotenz wird somit unterdrückt.
    Für die Bitunterdrückung werden vorzugsweise jene Bits ausgewählt, die den am statistisch unwahrscheinlichsten Quantisierungsstufen entsprechen. Diese Forderung kann beispielsweise dadurch erfüllt werden, daß wenig wahrscheinliche Quantisierungsstufen in einem Speicher SP zuvor abgespeichert werden, der die Bitunterdrückungseinheit BÜ steuert. Da die Wahrscheinlichkeit der Quantisierungsstufen im allgemeinen bedingt ist, d.h. zu einem gewählten Signalparameter aus einem Rahmenabschnitt gibt es im nächsten Rahmenabschnitt Signalparameter, deren Auftreten im Anschluß an den gewählten Signalparameter wahrscheinlicher ist, als das Auftreten anderer, wird bei der Auswahl der Bitunterdrückung gemäß Figur 2 vorgegangen, d.h. es werden in der dargestellten Struktur alle Bits unterdrückt, deren Felder gekreuzt sind.
    In Figur 2 ist eine Struktur von 12 x 12 Vektoren dargestellt. Der Rahmenabschnitt S1 weist eine Quantisierung mit 4 Bit für Amplitudenwerte gleicher Art auf, ebenso der Rahmenabschnitt S2. Für den Vektor ergeben sich 7 Bit. Die Bitunterdrückung erfolgt nun nach folgenden Beziehungen:
       für  S1 ≤ 7 gilt 0 ≤ S2 ≤ 10
       und für S1 > 7 gilt 0 ≤ S2 ≤ 9.
    S1 und S2 geben die Vektorkomponenten der beiden Rahmenabschnitte an. Für das dargestellte Beispiel gilt: Index = S2 x 12 + S1 < 127
    Das in Figur 2 dargestellte Schema kann natürlich auf andere Strukturen entsprechend übertragen werden, z.B. auf eine andere Anzahl zu quantisierender Amplitudenwerte.
    Bisher wurde die Zusammenfassung gleichartiger Signalparameter in Rahmenabschnitten beschrieben. Gleichartige Signalparameter können natürlich auch in anderer Weise anstatt in Rahmenabschnitten zusammengefaßt werden. Es muß nur gewährleistet sein, daß sie für die Weiterverarbeitung als zusammengehörige erkennbar sind.

    Claims (6)

    1. Verfahren zur Aufbereitung von Daten, insbesondere von codierten Sprachsignalparametern für Übertragungszwecke mit folgenden Schritten:
      die Ausgangsdaten werden analysiert hinsichtlich gleichartiger Signalparameter,
      gleichartige Signalparameter werden in quantisierter Form abschnittsweise zusammengefaßt,
      die Gesamtzahl der Bits für mindestens zwei Arten zusammengefaßter Signalparameter wird so reduziert, daß die Quantisierungsstufen auf die einzelnen Abschnitte in etwa gleichverteilt sind und daß die Bit-Differenz aus der Gesamtzahl der unreduzierten Bits zur nächstgelegenen höheren Zweierpotenz unterdrückt wird.
    2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß jene Bits unterdrückt werden, die den am statistisch unwahrscheinlichsten Quantisierungsstufen entsprechen.
    3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß bei einer ursprünglichen Gesamtzahl von g Bits und einer vorgegebenen Bit-Reduzierung n, die dann entstehenden 2 g-n Quantisierungsstufen gleichmäßig so verteilt werden, daß auf jeden Abschnitt etwa
      Figure 00050001
      Quantisierungsstufen entfallen, wobei m jeweils die Anzahl gleichartiger Signalparameter angibt.
    4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß die Daten in einer Rahmenstruktur angeordnet sind, wobei jeweils unterschiedliche Arten von Signalparametern Rahmenabschnitte bilden.
    5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß jeweils zwei Rahmenabschnitte mit unterschiedlichen Arten von Signalparametern zusammengefaßt und bitreduziert werden.
    6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, daß bei einer Vektorquantisierung der Sprachsignalparameter mit 7 Bit/Vektor und einer Struktur von 8 x 12 Vektoren für die Bitunterdrückung folgende Beziehungen gewählt werden:
         für  S1 ≤ 7 gilt 0 ≤ S2 ≤ 10
         und für S1 > 7 gilt 0 ≤ S2 ≤ 9,
      wobei S1 und S2 die Vektorkomponenten der beiden Rahmenabschnitte angeben.
    EP94912471A 1993-05-07 1994-04-20 Verfahren zur aufbereitung von daten, insbesondere von codierten sprachsignalparametern Expired - Lifetime EP0697123B1 (de)

    Applications Claiming Priority (3)

    Application Number Priority Date Filing Date Title
    DE4315319A DE4315319C2 (de) 1993-05-07 1993-05-07 Verfahren zur Aufbereitung von Daten, insbesondere von codierten Sprachsignalparametern
    DE4315319 1993-05-07
    PCT/DE1994/000433 WO1994027284A1 (de) 1993-05-07 1994-04-20 Verfahren zur aufbereitung von daten, insbesondere von codierten sprachsignalparametern

    Publications (2)

    Publication Number Publication Date
    EP0697123A1 EP0697123A1 (de) 1996-02-21
    EP0697123B1 true EP0697123B1 (de) 1999-07-14

    Family

    ID=6487542

    Family Applications (1)

    Application Number Title Priority Date Filing Date
    EP94912471A Expired - Lifetime EP0697123B1 (de) 1993-05-07 1994-04-20 Verfahren zur aufbereitung von daten, insbesondere von codierten sprachsignalparametern

    Country Status (9)

    Country Link
    US (1) US5794183A (de)
    EP (1) EP0697123B1 (de)
    AU (1) AU679980B2 (de)
    DE (2) DE4315319C2 (de)
    DK (1) DK0697123T3 (de)
    ES (1) ES2136193T3 (de)
    FI (1) FI116598B (de)
    HU (1) HU215620B (de)
    WO (1) WO1994027284A1 (de)

    Families Citing this family (5)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    US7729918B2 (en) * 2001-03-14 2010-06-01 At&T Intellectual Property Ii, Lp Trainable sentence planning system
    US7046636B1 (en) 2001-11-26 2006-05-16 Cisco Technology, Inc. System and method for adaptively improving voice quality throughout a communication session
    US20070286351A1 (en) * 2006-05-23 2007-12-13 Cisco Technology, Inc. Method and System for Adaptive Media Quality Monitoring
    US8248953B2 (en) 2007-07-25 2012-08-21 Cisco Technology, Inc. Detecting and isolating domain specific faults
    US7948910B2 (en) * 2008-03-06 2011-05-24 Cisco Technology, Inc. Monitoring quality of a packet flow in packet-based communication networks

    Family Cites Families (10)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    DE266620C (de) *
    IT1195350B (it) * 1986-10-21 1988-10-12 Cselt Centro Studi Lab Telecom Procedimento e dispositivo per la codifica e decodifica del segnale vocale mediante estrazione di para metri e tecniche di quantizzazione vettoriale
    US4969192A (en) * 1987-04-06 1990-11-06 Voicecraft, Inc. Vector adaptive predictive coder for speech and audio
    US4817157A (en) * 1988-01-07 1989-03-28 Motorola, Inc. Digital speech coder having improved vector excitation source
    EP0364647B1 (de) * 1988-10-19 1995-02-22 International Business Machines Corporation Vektorquantisierungscodierer
    JPH02272500A (ja) * 1989-04-13 1990-11-07 Fujitsu Ltd コード駆動音声符号化方式
    DE69029120T2 (de) * 1989-04-25 1997-04-30 Toshiba Kawasaki Kk Stimmenkodierer
    US5091945A (en) * 1989-09-28 1992-02-25 At&T Bell Laboratories Source dependent channel coding with error protection
    JP3151874B2 (ja) * 1991-02-26 2001-04-03 日本電気株式会社 音声パラメータ符号化方式および装置
    US5233660A (en) * 1991-09-10 1993-08-03 At&T Bell Laboratories Method and apparatus for low-delay celp speech coding and decoding

    Also Published As

    Publication number Publication date
    WO1994027284A1 (de) 1994-11-24
    ES2136193T3 (es) 1999-11-16
    DE59408494D1 (de) 1999-08-19
    AU679980B2 (en) 1997-07-17
    HU215620B (hu) 1999-01-28
    FI955323A (fi) 1995-11-06
    DK0697123T3 (da) 1999-12-13
    FI116598B (fi) 2005-12-30
    AU6502494A (en) 1994-12-12
    DE4315319C2 (de) 2002-11-14
    EP0697123A1 (de) 1996-02-21
    DE4315319A1 (de) 1994-11-10
    HUT73532A (en) 1996-08-28
    US5794183A (en) 1998-08-11
    HU9503181D0 (en) 1995-12-28
    FI955323A0 (fi) 1995-11-06

    Similar Documents

    Publication Publication Date Title
    DE19604273C5 (de) Verfahren und Vorrichtung zum Durchführen einer Suche in einem Kodebuch im Hinblick auf das Kodieren eines Klangsignales, Zellkommunikationssystem, Zellnetzwerkelement und mobile Zell-Sender-/Empfänger-Einheit
    EP1025646B1 (de) Verfahren und vorrichtung zum codieren von audiosignalen sowie verfahren und vorrichtungen zum decodieren eines bitstroms
    DE69737514T2 (de) System und verfahren zum bearbeiten wellenartiger und umgekehrten wellenartigen transformationen von digitalen daten
    DE60021083T2 (de) Verfahren zur verbesserung der kodierungseffizienz eines audiosignals
    DE60121592T2 (de) Kodierung und dekodierung eines digitalen signals
    DE69633944T2 (de) Verfahren und gerät zum kodieren von digitalen daten
    EP1388147B1 (de) Verfahren zur erweiterung der bandbreite eines schmalbandig gefilterten sprachsignals, insbesondere eines von einem telekommunikationsgerät gesendeten sprachsignals
    DE3736193C2 (de)
    EP1016319B1 (de) Verfahren und vorrichtung zum codieren eines zeitdiskreten stereosignals
    EP1080464B1 (de) Verfahren und anordnung zur sprachcodierung
    DE69720527T2 (de) Verfahren zur kodierung eines sprachsignals
    EP0697123B1 (de) Verfahren zur aufbereitung von daten, insbesondere von codierten sprachsignalparametern
    DE60102975T2 (de) Vorrichtung und Verfahren zur Breitbandcodierung von Sprachsignalen
    DE4430864C2 (de) Verfahren zum unbemerktem Übertragen und/oder Speichern von Zusatzinformationen innerhalb eines quellencodierten, datenreduzierten Audiosignals
    DE2303497C2 (de) Verfahren zur Übertragung von Sprachsignalen
    DE60210597T2 (de) Vorrichtung zur adpcdm sprachkodierung mit spezifischer anpassung der schrittwerte
    EP0697124B1 (de) Vektorcodierverfahren, insbesondere für sprachsignale
    DE4229372C2 (de) Verfahren zum Übertragen oder Speichern der Quantisierungsinformation bei einer bitratenreduzierenden Quellcodierung
    EP0697125B1 (de) Verfahren zur vektorquantisierung, insbesondere von sprachsignalen
    EP0133697B1 (de) Verfahren zum Übertragen von digitalen Tonsignalen sowie Einrichtung zum Empfangen eines nach diesem Verfahren übertragenen Tonsignals
    EP0241745A1 (de) Verfahren zur Datenreduktion digitaler Bildsignale durch Vektorquantisierung von durch orthonormale Transformation mittels einer symmetrischen fastzyklischen Hadamard-Matrix gewonnenen Koeffizienten
    DE69732870T2 (de) System zur Kodierung und Dekodierung von Audiosignalen
    DE2218258C2 (de) Verfahren zum Umformen von Signalen in eine minimale Anzahl von Binärworten und umgekehrt
    EP1119846A1 (de) Verfahren zur codierung oder decodierung von sprachsignalabtastwerten sowie coder bzw. decoder
    WO1994010682A1 (de) Verfahren zur sprachcodierung

    Legal Events

    Date Code Title Description
    PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

    Free format text: ORIGINAL CODE: 0009012

    17P Request for examination filed

    Effective date: 19951207

    AK Designated contracting states

    Kind code of ref document: A1

    Designated state(s): DE DK ES FR GB IT PT

    RAP1 Party data changed (applicant data changed or rights of an application transferred)

    Owner name: ROBERT BOSCH GMBH

    GRAG Despatch of communication of intention to grant

    Free format text: ORIGINAL CODE: EPIDOS AGRA

    GRAG Despatch of communication of intention to grant

    Free format text: ORIGINAL CODE: EPIDOS AGRA

    GRAH Despatch of communication of intention to grant a patent

    Free format text: ORIGINAL CODE: EPIDOS IGRA

    17Q First examination report despatched

    Effective date: 19980813

    GRAH Despatch of communication of intention to grant a patent

    Free format text: ORIGINAL CODE: EPIDOS IGRA

    GRAA (expected) grant

    Free format text: ORIGINAL CODE: 0009210

    AK Designated contracting states

    Kind code of ref document: B1

    Designated state(s): DE DK ES FR GB IT PT

    RIN1 Information on inventor provided before grant (corrected)

    Inventor name: WAECHTER, BERTRAM

    Inventor name: MUELLER, JOERG-MARTIN

    REF Corresponds to:

    Ref document number: 59408494

    Country of ref document: DE

    Date of ref document: 19990819

    ET Fr: translation filed
    ITF It: translation for a ep patent filed

    Owner name: STUDIO JAUMANN P. & C. S.N.C.

    GBT Gb: translation of ep patent filed (gb section 77(6)(a)/1977)

    Effective date: 19990917

    REG Reference to a national code

    Ref country code: ES

    Ref legal event code: FG2A

    Ref document number: 2136193

    Country of ref document: ES

    Kind code of ref document: T3

    REG Reference to a national code

    Ref country code: DK

    Ref legal event code: T3

    REG Reference to a national code

    Ref country code: PT

    Ref legal event code: SC4A

    Free format text: AVAILABILITY OF NATIONAL TRANSLATION

    Effective date: 19990917

    PLBE No opposition filed within time limit

    Free format text: ORIGINAL CODE: 0009261

    STAA Information on the status of an ep patent application or granted ep patent

    Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

    26N No opposition filed
    REG Reference to a national code

    Ref country code: GB

    Ref legal event code: IF02

    REG Reference to a national code

    Ref country code: GB

    Ref legal event code: 732E

    REG Reference to a national code

    Ref country code: PT

    Ref legal event code: PC4A

    Owner name: IPCOM GMBH & CO. KG, DE

    Effective date: 20080221

    REG Reference to a national code

    Ref country code: FR

    Ref legal event code: TP

    REG Reference to a national code

    Ref country code: GB

    Ref legal event code: 732E

    PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

    Ref country code: ES

    Payment date: 20120530

    Year of fee payment: 19

    PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

    Ref country code: PT

    Payment date: 20130326

    Year of fee payment: 20

    PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

    Ref country code: DE

    Payment date: 20130430

    Year of fee payment: 20

    Ref country code: GB

    Payment date: 20130430

    Year of fee payment: 20

    Ref country code: DK

    Payment date: 20130430

    Year of fee payment: 20

    PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

    Ref country code: IT

    Payment date: 20130420

    Year of fee payment: 20

    Ref country code: FR

    Payment date: 20130612

    Year of fee payment: 20

    REG Reference to a national code

    Ref country code: GB

    Ref legal event code: 732E

    Free format text: REGISTERED BETWEEN 20130815 AND 20130821

    REG Reference to a national code

    Ref country code: DE

    Ref legal event code: R071

    Ref document number: 59408494

    Country of ref document: DE

    REG Reference to a national code

    Ref country code: DK

    Ref legal event code: EUP

    Effective date: 20140420

    REG Reference to a national code

    Ref country code: DE

    Ref legal event code: R071

    Ref document number: 59408494

    Country of ref document: DE

    REG Reference to a national code

    Ref country code: PT

    Ref legal event code: MM4A

    Free format text: MAXIMUM VALIDITY LIMIT REACHED

    Effective date: 20140420

    REG Reference to a national code

    Ref country code: GB

    Ref legal event code: PE20

    Expiry date: 20140419

    REG Reference to a national code

    Ref country code: ES

    Ref legal event code: FD2A

    Effective date: 20140707

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: GB

    Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION

    Effective date: 20140419

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: DE

    Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION

    Effective date: 20140423

    Ref country code: PT

    Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION

    Effective date: 20140428

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: ES

    Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION

    Effective date: 20140421