EP1538867B1 - Système mains libres utilisé dans un véhicule - Google Patents

Système mains libres utilisé dans un véhicule Download PDF

Info

Publication number
EP1538867B1
EP1538867B1 EP20030022273 EP03022273A EP1538867B1 EP 1538867 B1 EP1538867 B1 EP 1538867B1 EP 20030022273 EP20030022273 EP 20030022273 EP 03022273 A EP03022273 A EP 03022273A EP 1538867 B1 EP1538867 B1 EP 1538867B1
Authority
EP
European Patent Office
Prior art keywords
filter
signal
adaptive
microphones
beamformer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
EP20030022273
Other languages
German (de)
English (en)
Other versions
EP1538867A1 (fr
Inventor
Markus Christoph
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nuance Communications Inc
Original Assignee
Nuance Communications Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP03014846.4A external-priority patent/EP1524879B1/fr
Application filed by Nuance Communications Inc filed Critical Nuance Communications Inc
Priority to EP20030022273 priority Critical patent/EP1538867B1/fr
Publication of EP1538867A1 publication Critical patent/EP1538867A1/fr
Application granted granted Critical
Publication of EP1538867B1 publication Critical patent/EP1538867B1/fr
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/23—Direction finding using a sum-delay beam-former
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Claims (31)

  1. Système mains libres pour une utilisation dans un véhicule comprenant un réseau de microphones (101) comportant au moins deux microphones (102), un moyen de traitement du signal et un filtre adaptatif de post traitement (108),
    dans lequel le moyen de traitement du signal comprend un dispositif de formation de faisceau comportant une entrée reliée aux deux microphones au moins ainsi qu'une sortie reliée à l'entrée du filtre adaptatif de post traitement, le dispositif de formation de faisceau comprenant un moyen de déplacement de faisceau et un moyen de sommation,
    dans lequel le filtre adaptatif de post traitement est un filtre de Wiener à phase linéaire.
  2. Système mains libres selon la revendication 1, dans lequel le filtre adaptatif de post traitement est un filtre dans le domaine du temps.
  3. Système mains libres selon l'une des revendications précédentes, dans lequel le moyen de traitement du signal comprend en outre au moins deux filtres adaptatifs (110) comportant une entrée reliée à la sortie du moyen de déplacement de faisceau (104) et une sortie reliée au filtre adaptatif de post traitement, les au moins deux filtres adaptatifs étant configurés pour déterminer des paramètres de filtre adaptatif pour le filtre adaptatif de post traitement.
  4. Système mains libres selon la revendication 3, dans lequel, pour chacun des au moins deux microphones, un filtre adaptatif est prévu, lequel possède une entrée reliée à la sortie du moyen de déplacement de faisceau.
  5. Système mains libres selon la revendication 3 ou 4, dans lequel une entrée de chacun des au moins deux filtres adaptatifs est en outre reliée à la sortie du dispositif de formation de faisceau.
  6. Système mains libres selon l'une des revendications précédentes, dans lequel le moyen de traitement du signal comprend en outre un filtre de préaccentuation (111), comprenant en particulier un filtre pour rendre blanche la distribution spectrale d'un signal, comportant une entrée reliée à une sortie du filtre adaptatif de post traitement et/ou d'un filtre de préaccentuation, comprenant en particulier un filtre pour rendre blanche la distribution spectrale d'un signal, comportant une entrée reliée à la sortie du moyen de déplacement de faisceau et une sortie reliée vers les au moins deux filtres adaptatifs.
  7. Système mains libres selon l'une des revendications précédentes, dans lequel le moyen de traitement du signal comprend en outre un filtre inverse (106), en particulier un filtre inverse de distorsion.
  8. Système mains libres selon l'une des revendications précédentes, dans lequel le moyen de traitement du signal comprend en outre un filtre non adaptatif de post traitement (109) comportant une entrée reliée à une sortie du filtre adaptatif de post traitement.
  9. Système mains libres selon l'une des revendications précédentes, dans lequel le moyen de traitement du signal comprend en outre un dispositif adaptatif d'annulation de bruit (ANC) (1101) et/ou un dispositif d'annulation d'écho acoustique (AEC) (1303).
  10. Système mains libres selon l'une des revendications précédentes, dans lequel le dispositif de formation de faisceau est un dispositif non adaptatif de formation de faisceau et/ou un dispositif super directif de formation de faisceau et/ou un dispositif de formation de faisceau à réponse sans distorsion à variance minimale (MVDR).
  11. Système mains libres selon l'une des revendications précédentes, dans lequel le réseau de microphones comprend au moins deux microphones agencés selon une orientation à rayonnement longitudinal par rapport à une première position.
  12. Système mains libres selon la revendication 11, dans lequel le réseau de microphones comprend au moins deux microphones agencés selon une orientation à rayonnement longitudinal par rapport à une seconde position.
  13. Système mains libres selon la revendication 12, dans lequel les au moins deux microphones selon la première orientation à rayonnement longitudinal et les au moins deux microphones selon la seconde orientation à rayonnement longitudinal possèdent un microphone en commun.
  14. Système mains libres selon l'une des revendications précédentes, dans lequel le moyen de traitement du signal comprend au moins deux dispositifs de formation de faisceau.
  15. Système mains libres selon la revendication 14, comprenant en outre un détecteur d'activité vocale (VAD) et/ou un moyen de commande de commutation (1510).
  16. Système mains libres selon l'une des revendications précédentes, comprenant en outre un moyen de suppression d'écho résiduel (RES) et/ou une commande dynamique du volume (DVC) (1510).
  17. Système mains libres selon l'une des revendications précédentes, dans lequel le réseau de microphones comprend au moins deux sous réseaux (701, 702, 703).
  18. Système mains libres selon l'une des revendications précédentes, comprenant en outre un cadre dans lequel chaque microphone du réseau de microphones est agencé selon une position prédéfinie, en particulier fixe, dans ou sur le cadre.
  19. Système mains libres selon l'une des revendications précédentes, dans lequel au moins un microphone est un microphone directionnel (1001), possédant en particulier une caractéristique cardioïde et/ou étant un microphone différentiel.
  20. Véhicule comprenant un système mains libres conforme à l'une des revendications précédentes.
  21. Procédé de réduction de bruit dans un système mains libres de véhicule, comprenant
    la réception de signaux d'entrée résultant d'un réseau de microphones comportant au moins deux microphones,
    le traitement des signaux d'entrée par un dispositif de formation de faisceau afin de fournir un signal formé en faisceau, et
    le filtrage adaptatif d'un signal résultant du signal formé en faisceau grâce à un filtre adaptatif de post traitement,
    dans lequel le filtre adaptatif de post traitement est un filtre de Wiener à phase linéaire.
  22. Procédé selon la revendication 21, dans lequel le filtrage adaptatif est exécuté dans le domaine du temps.
  23. Procédé selon la revendication 21 ou 22, comprenant en outre
    la fourniture d'au moins deux filtres adaptatifs, en particulier des filtres de Wiener, où
    le traitement des signaux d'entrée par un dispositif de formation de faisceau comprend le déplacement de faisceau des signaux d'entrée afin de fournir des signaux à faisceau déplacé correspondant à l'un des au moins deux microphones, ainsi que la sommation des signaux, et
    le filtrage adaptatif comprend la réception et le traitement d'au moins un signal à faisceau déplacé par au moins l'un des au moins deux filtres adaptatifs afin de déterminer des paramètres de filtre adaptatif pour le filtre adaptatif de post traitement.
  24. Procédé selon la revendication 23, dans lequel le filtrage adaptatif comprend en outre la réception d'un signal résultant du signal formé en faisceau par au moins un filtre adaptatif et dans lequel le traitement du signal à faisceau déplacé comprend la détermination de paramètres de filtre adaptatif en utilisant le ou les signaux à faisceau déplacé et le signal résultant du signal formé en faisceau.
  25. Procédé selon la revendication 23 ou 24, dans lequel, pour chaque signal à faisceau déplacé, un filtre adaptatif est prévu pour déterminer des paramètres de filtre adaptatif en utilisant le signal à faisceau déplacé et le signal résultant du signal formé en faisceau.
  26. Procédé selon l'une des revendications 23 à 25, dans lequel la réception d'au moins un signal à faisceau déplacé par au moins l'un des au moins deux filtres adaptatifs comprend le traitement du ou des signaux à faisceau déplacé grâce à un filtre de préaccentuation, comprenant en particulier un filtre pour rendre blanche la distribution spectrale d'un signal.
  27. Procédé selon l'une des revendications 21 à 26, comprenant en outre le traitement d'un signal résultant du réseau de microphones par un filtre inverse, en particulier un filtre inverse de distorsion.
  28. Procédé selon l'une des revendications 21 à 27, comprenant en outre un filtrage non adaptatif d'un signal résultant du signal filtré de manière adaptative et/ou un traitement d'un signal résultant du signal filtré de manière adaptative grâce à un filtre de préaccentuation.
  29. Procédé selon l'une des revendications 21 à 28, comprenant en outre le traitement d'un signal résultant du réseau de microphones, en particulier résultant du signal formé en faisceau, par un dispositif d'annulation adaptatif de bruit (ANC) et/ou par un dispositif d'annulation d'écho acoustique (AEC) et/ou par un moyen de suppression d'écho résiduel (RES).
  30. Procédé selon l'une des revendications 21 à 29, dans lequel les signaux d'entrée sont traités par un dispositif de formation de faisceau non adaptatif et/ou super directif et/ou à réponse sans distorsion à variance minimale (MVDR).
  31. Produit de programme informatique comprenant un ou plusieurs supports pouvant être lus par ordinateur comportant des instructions exécutables par ordinateur afin d'exécuter les étapes du procédé conformes aux revendications 21 à 30.
EP20030022273 2003-06-30 2003-10-01 Système mains libres utilisé dans un véhicule Expired - Lifetime EP1538867B1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP20030022273 EP1538867B1 (fr) 2003-06-30 2003-10-01 Système mains libres utilisé dans un véhicule

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP03014846.4A EP1524879B1 (fr) 2003-06-30 2003-06-30 Système mains libres utilisé dans un véhicule
EP03014846 2003-06-30
EP20030022273 EP1538867B1 (fr) 2003-06-30 2003-10-01 Système mains libres utilisé dans un véhicule

Publications (2)

Publication Number Publication Date
EP1538867A1 EP1538867A1 (fr) 2005-06-08
EP1538867B1 true EP1538867B1 (fr) 2012-07-18

Family

ID=34466327

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20030022273 Expired - Lifetime EP1538867B1 (fr) 2003-06-30 2003-10-01 Système mains libres utilisé dans un véhicule

Country Status (1)

Country Link
EP (1) EP1538867B1 (fr)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017099728A1 (fr) * 2015-12-08 2017-06-15 Nuance Communications, Inc. Système et procédé pour une suppression d'échos acoustiques non linéaires
RU2641319C2 (ru) * 2012-12-21 2018-01-17 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Фильтр и способ для информированной пространственной фильтрации, используя многочисленные мгновенные оценки направления прибытия
EP3230981B1 (fr) 2014-12-12 2020-05-06 Nuance Communications, Inc. Système et procédé d'amélioration de la qualité de la parole mettant en oeuvre un rapport de son cohérent à diffus

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0405790D0 (en) 2004-03-15 2004-04-21 Mitel Networks Corp Universal microphone array stand
CN101263734B (zh) * 2005-09-02 2012-01-25 丰田自动车株式会社 麦克风阵列用后置滤波器
US7970123B2 (en) * 2005-10-20 2011-06-28 Mitel Networks Corporation Adaptive coupling equalization in beamforming-based communication systems
US7626889B2 (en) 2007-04-06 2009-12-01 Microsoft Corporation Sensor array post-filter for tracking spatial distributions of signals and noise
US8861756B2 (en) 2010-09-24 2014-10-14 LI Creative Technologies, Inc. Microphone array system
US8818800B2 (en) 2011-07-29 2014-08-26 2236008 Ontario Inc. Off-axis audio suppressions in an automobile cabin
US8903722B2 (en) 2011-08-29 2014-12-02 Intel Mobile Communications GmbH Noise reduction for dual-microphone communication devices
US9768829B2 (en) 2012-05-11 2017-09-19 Intel Deutschland Gmbh Methods for processing audio signals and circuit arrangements therefor
US9635457B2 (en) 2014-03-26 2017-04-25 Sennheiser Electronic Gmbh & Co. Kg Audio processing unit and method of processing an audio signal
DE102015203600B4 (de) * 2014-08-22 2021-10-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. FIR-Filterkoeffizientenberechnung für Beamforming-Filter
US9906859B1 (en) 2016-09-30 2018-02-27 Bose Corporation Noise estimation for dynamic sound adjustment
DE102016013042A1 (de) 2016-11-02 2018-05-03 Audi Ag Mikrofonsystem für ein Kraftfahrzeug mit dynamischer Richtcharakteristik
US20190348056A1 (en) * 2017-01-04 2019-11-14 Harman Becker Automotive Systems Gmbh Far field sound capturing
WO2018219582A1 (fr) * 2017-05-29 2018-12-06 Harman Becker Automotive Systems Gmbh Capture de son
DE102018110759A1 (de) 2018-05-04 2019-11-07 Sennheiser Electronic Gmbh & Co. Kg Mikrofonarray
US11295718B2 (en) 2018-11-02 2022-04-05 Bose Corporation Ambient volume control in open audio device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4330143A1 (de) * 1993-09-07 1995-03-16 Philips Patentverwaltung Anordnung zur Siganlverarbeitung akustischer Eingangssignale
US5715319A (en) * 1996-05-30 1998-02-03 Picturetel Corporation Method and apparatus for steerable and endfire superdirective microphone arrays with reduced analog-to-digital converter and computational requirements
FR2808391B1 (fr) * 2000-04-28 2002-06-07 France Telecom Systeme de reception pour antenne multicapteur
CA2354858A1 (fr) * 2001-08-08 2003-02-08 Dspfactory Ltd. Traitement directionnel de signaux audio en sous-bande faisant appel a un banc de filtres surechantillonne

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2641319C2 (ru) * 2012-12-21 2018-01-17 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Фильтр и способ для информированной пространственной фильтрации, используя многочисленные мгновенные оценки направления прибытия
EP3230981B1 (fr) 2014-12-12 2020-05-06 Nuance Communications, Inc. Système et procédé d'amélioration de la qualité de la parole mettant en oeuvre un rapport de son cohérent à diffus
WO2017099728A1 (fr) * 2015-12-08 2017-06-15 Nuance Communications, Inc. Système et procédé pour une suppression d'échos acoustiques non linéaires
US10477031B2 (en) 2015-12-08 2019-11-12 Nuance Communications, Inc. System and method for suppression of non-linear acoustic echoes

Also Published As

Publication number Publication date
EP1538867A1 (fr) 2005-06-08

Similar Documents

Publication Publication Date Title
EP1524879B1 (fr) Système mains libres utilisé dans un véhicule
EP1538867B1 (fr) Système mains libres utilisé dans un véhicule
CN110085248B (zh) 个人通信中降噪和回波消除时的噪声估计
CN111052766B (zh) 噪音去除装置及噪音去除方法
CN105590631B (zh) 信号处理的方法及装置
US9338547B2 (en) Method for denoising an acoustic signal for a multi-microphone audio device operating in a noisy environment
Yousefian et al. A dual-microphone speech enhancement algorithm based on the coherence function
EP1994788B1 (fr) Reseau de microphones directionnels reducteur de bruit
CN102306496B (zh) 一种多麦克风阵列噪声消除方法、装置及系统
EP2848007B1 (fr) Réduction du bruit dans un réseau de microphones directionnelle
JP5913340B2 (ja) マルチビーム音響システム
Bitzer et al. Multi-microphone noise reduction techniques as front-end devices for speech recognition
Grimm et al. Wind noise reduction for a closely spaced microphone array in a car environment
JP5405130B2 (ja) 音再生装置および音再生方法
Stenzel et al. A multichannel Wiener filter with partial equalization for distributed microphones
Buck et al. A compact microphone array system with spatial post-filtering for automotive applications
Yee et al. A speech enhancement system using binaural hearing aids and an external microphone
JP2012049715A (ja) 音源分離装置、音源分離方法、及び、プログラム
Stenzel et al. Blind-matched filtering for speech enhancement with distributed microphones
Jinzai et al. Wavelength proportional arrangement of virtual microphones based on interpolation/extrapolation for underdetermined speech enhancement
Rotaru et al. An efficient GSC VSS-APA beamformer with integrated log-energy based VAD for noise reduction in speech reinforcement systems
Yermeche Subband beamforming for speech enhancement in hands-free communication
Freudenberger et al. A two-microphone diversity system and its application for hands-free car kits
Nguyen et al. A Study Of Dual Microphone Array For Speech Enhancement In Noisy Environment
Freudenberger et al. Spectral combining for microphone diversity systems

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL LT LV MK

RIN1 Information on inventor provided before grant (corrected)

Inventor name: CHRISTOPH, MARKUS

17P Request for examination filed

Effective date: 20051208

AKX Designation fees paid

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

17Q First examination report despatched

Effective date: 20090722

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: NUANCE COMMUNICATIONS, INC.

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 567292

Country of ref document: AT

Kind code of ref document: T

Effective date: 20120815

Ref country code: IE

Ref legal event code: FG4D

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 60341562

Country of ref document: DE

Effective date: 20120913

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20120718

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 567292

Country of ref document: AT

Kind code of ref document: T

Effective date: 20120718

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120718

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120718

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120718

Ref country code: BE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120718

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121019

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121119

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120718

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120718

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120718

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120718

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120718

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120718

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121029

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120718

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120718

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20121031

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120718

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

26N No opposition filed

Effective date: 20130419

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20121031

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20121031

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121018

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20121001

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 60341562

Country of ref document: DE

Effective date: 20130419

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20120718

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20121001

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20031001

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 14

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 15

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 16

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: HR

Payment date: 20181127

Year of fee payment: 6

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20191031

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20220818

Year of fee payment: 20

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20220816

Year of fee payment: 20

REG Reference to a national code

Ref country code: DE

Ref legal event code: R071

Ref document number: 60341562

Country of ref document: DE

REG Reference to a national code

Ref country code: GB

Ref legal event code: PE20

Expiry date: 20230930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF EXPIRATION OF PROTECTION

Effective date: 20230930