EP3566228B1 - Capture audio au moyen de formation de faisceau - Google Patents
Capture audio au moyen de formation de faisceau Download PDFInfo
- Publication number
- EP3566228B1 EP3566228B1 EP18700009.6A EP18700009A EP3566228B1 EP 3566228 B1 EP3566228 B1 EP 3566228B1 EP 18700009 A EP18700009 A EP 18700009A EP 3566228 B1 EP3566228 B1 EP 3566228B1
- Authority
- EP
- European Patent Office
- Prior art keywords
- speech
- beamformer
- attack
- signal
- adaptation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006978 adaptation Effects 0.000 claims description 198
- 230000004044 response Effects 0.000 claims description 93
- 238000001514 detection method Methods 0.000 claims description 29
- 238000001914 filtration Methods 0.000 claims description 19
- 230000001419 dependent effect Effects 0.000 claims description 12
- 238000000034 method Methods 0.000 claims description 10
- 238000013459 approach Methods 0.000 description 78
- 230000006870 function Effects 0.000 description 44
- 230000003044 adaptive effect Effects 0.000 description 30
- 238000012545 processing Methods 0.000 description 16
- 230000000875 corresponding effect Effects 0.000 description 15
- 238000012935 Averaging Methods 0.000 description 11
- 230000001629 suppression Effects 0.000 description 9
- 239000013598 vector Substances 0.000 description 8
- 230000002829 reductive effect Effects 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000012805 post-processing Methods 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 4
- 238000002592 echocardiography Methods 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 238000011524 similarity measure Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000001427 coherent effect Effects 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000005534 acoustic noise Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000037433 frameshift Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L25/87—Detection of discrete points within a voice signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02166—Microphone arrays; Beamforming
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/03—Synergistic effects of band splitting and sub-band processing
Claims (15)
- Appareil de capture audio comprenant :un premier formateur de faisceau (303) conçu pour générer un signal de sortie audio transformé en faisceau ;un adaptateur (305) pour adapter les paramètres de forme de faisceau du premier formateur de faisceau (303) ;un détecteur (307) pour détecter une attaque de la voix dans le signal de sortie audio transformé en faisceau ; etun dispositif de commande (309) pour commander l'adaptation des paramètres de forme de faisceau pour se produire dans un intervalle temporel d'adaptation prédéterminé déterminé en réponse à la détection de l'attaque de la voix.
- Appareil de capture audio selon la revendication 1, dans lequel le détecteur (307) est conçu pour détecter l'attaque de la voix en réponse à un niveau de signal des réflexions précoces reçues par rapport à un niveau de signal des réflexions tardives reçues.
- Appareil de capture audio selon la revendication 1 ou 2, dans lequel le premier formateur de faisceau (303) est conçu pour générer au moins un signal de référence de bruit ; et le détecteur (307) est conçu pour détecter l'attaque de la voix en réponse à une comparaison d'un niveau de signal du signal de sortie audio transformé en faisceau par rapport à un niveau de signal d'au moins un signal de référence de bruit.
- Appareil de capture audio selon la revendication 3, dans lequel le dispositif de commande (309) est conçu pour terminer l'intervalle temporel d'adaptation prédéterminé en réponse à une comparaison d'un niveau de signal du signal de sortie audio transformé en faisceau par rapport à un niveau de signal d'au moins un signal de référence de bruit.
- Appareil de capture audio selon l'une quelconque des revendications précédentes, dans lequel le premier formateur de faisceau est conçu pour générer au moins un signal de référence de bruit ; et ledit détecteur (307) comprend :un premier transformateur (801) pour générer un premier signal de domaine fréquentiel à partir d'une transformée de fréquence du signal de sortie audio transformé en faisceau, le premier signal de domaine fréquentiel étant représenté par des valeurs de tuile de fréquence temporelle ;un deuxième transformateur (803) pour générer un second signal de domaine fréquentiel à partir d'une transformée de fréquence d'au moins un signal de référence de bruit, ledit second signal de domaine fréquentiel étant représenté par des valeurs de tuile de fréquence temporelle ;un processeur de différence (805) conçu pour générer une mesure de différence de tuile de fréquence tempo-relie indiquant une différence entre une première fonction monotone d'une norme d'une valeur de tuile de fréquence temporelle du premier signal de domaine fréquentiel et une seconde fonction monotone d'une norme d'une valeur de tuile de fréquence temporelle du second signal de domaine fréquentiel ;un estimateur d'attaque de la voix (807) pour générer une estimation d'attaque de la voix en réponse à une valeur de différence combinée pour des mesures de différence de tuiles de fréquence temporelle pour des fréquences supérieures à un seuil de fréquence.
- Appareil de capture audio selon la revendication 5, dans lequel le détecteur (307) est conçu pour déterminer un temps de début pour l'intervalle temporel d'adaptation prédéterminé en réponse à l'augmentation de la valeur de différence combinée au-dessus d'un seuil.
- Appareil de capture audio selon la revendication 5 ou 6, dans lequel le détecteur (309) est conçu pour terminer l'intervalle temporel d'adaptation prédéterminé en réponse à la valeur de différence combinée inférieure à un seuil.
- Appareil de capture audio selon l'une quelconque des revendications 5 à 7, dans lequel le détecteur (307) est conçu pour générer une estimation de cohérence de bruit indicative d'une corrélation entre une amplitude du signal de sortie audio transformé en faisceau et une amplitude d'au moins un signal de référence de bruit ; et la première fonction monotone et/ou la seconde fonction monotone dépend de l'estimation de cohérence de bruit.
- Appareil de capture audio selon l'une quelconque des revendications 5 à 8, dans lequel l'adaptateur (305) est conçu pour modifier un taux d'adaptation pour des paramètres de forme de faisceau pour une première tuile de fréquence temporelle en réponse à une mesure de différence de tuile de fréquence temporelle pour la première tuile de fréquence temporelle.
- Appareil de capture audio selon l'une quelconque des revendications 5 à 9, dans lequel le détecteur (307) est conçu pour filtrer l'une des normes des valeurs de tuile de fréquence temporelle du premier signal de domaine fréquentiel et/ou la norme des valeurs de tuile de fréquence temporelle du second signal de domaine fréquentiel ; le filtrage comprenant des tuiles de fréquence temporelle différant à la fois en temps et en fréquence.
- Appareil de capture audio selon l'une quelconque des revendications précédentes, dans lequel une durée allant de l'attaque de la voix à une fin de l'intervalle temporel d'adaptation prédéterminé ne dépasse pas 100 ms.
- Appareil de capture audio selon la revendication 1, comprenant une pluralité de formateurs de faisceau (1105, 1109, 1111) comprenant le premier formateur de faisceau (1105) ; et le détecteur (309) étant conçu pour générer une estimation d'attaque de la voix pour chaque formateur de faisceau de la pluralité de formateurs de faisceau (1105, 1109, 1111) ; et comprenant en outre un adaptateur (1113) pour adapter au moins un formateur de faisceau de la pluralité de formateurs de faisceau (1105, 1109, 1111) en réponse aux estimations d'attaque de la voix.
- Appareil de capture audio selon la revendication 12, dans lequel la pluralité de formateurs de faisceau (1105, 1109, 1111) comprend un premier formateur de faisceau (1105) conçu pour générer un signal de sortie audio transformé en faisceau et au moins un signal de référence de bruit ; et une pluralité de formateurs de faisceaux contraints (1109, 1111) couplés à un réseau de microphones (1101) et chaque formateur de faisceau contraint étant conçu pour générer un signal de sortie audio transformé en faisceau contraint et au moins un signal de référence de bruit contraint ; et dans lequel l'adaptateur (1113) est conçu pour adapter des paramètres de forme de faisceau contraint pour un premier formateur de faisceau contraint soumis à un critère comprenant au moins une contrainte du groupe constitué par :une estimation d'attaque de la voix pour le premier formateur de faisceau contraint indique qu'une attaque de la voix est détectée pour le premier formateur de faisceau contraint ; etune estimation d'attaque de la voix pour le premier formateur de faisceau contraint indique une probabilité de l'attaque de la voix supérieure à l'estimation d'attaque de la voix pour tout autre formateur de faisceau contraint de la pluralité de formateurs de faisceau contraint (1109, 1111).
- Appareil de capture audio selon la revendication 13, comprenant en outre :un processeur de différence de faisceau (1117) pour déterminer une mesure de différence pour l'au moins un de la pluralité de formateurs de faisceaux contraints (1109, 1111), la mesure de différence étant indicative d'une différence entre les faisceaux formés par le premier formateur de faisceau (1105) et l'au moins un de la pluralité de formateurs de faisceaux contraints (1109, 1111) ; etdans lequel l'adaptateur (1113) est conçu pour adapter les paramètres de forme de faisceau contraint avec une contrainte de telle sorte que les paramètres de forme de faisceau contraint sont adaptés uniquement pour les formateurs de faisceau contraint de la pluralité de formateurs de faisceau contraint (1109, 1111) pour lesquels une mesure de différence a été déterminée, laquelle satisfait un critère de similitude.
- Procédé de capture audio comprenant :un formateur de faisceau (303) générant un signal de sortie audio transformé en faisceau ;l'adaptation des paramètres de forme de faisceau du formateur de faisceau (303) ;la détection d'une attaque de la voix dans le signal de sortie audio transformé en faisceau ; etla commande de l'adaptation des paramètres de forme de faisceau pour se produire dans un intervalle temporel d'adaptation prédéterminé déterminé en réponse à la détection de l'attaque de la voix.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP17150096 | 2017-01-03 | ||
| PCT/EP2018/050045 WO2018127483A1 (fr) | 2017-01-03 | 2018-01-02 | Capture audio utilisant une formation de faisceau |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| EP3566228A1 EP3566228A1 (fr) | 2019-11-13 |
| EP3566228B1 true EP3566228B1 (fr) | 2020-06-10 |
Family
ID=57714510
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| EP18700009.6A Active EP3566228B1 (fr) | 2017-01-03 | 2018-01-02 | Capture audio au moyen de formation de faisceau |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US11039242B2 (fr) |
| EP (1) | EP3566228B1 (fr) |
| JP (1) | JP6665353B2 (fr) |
| CN (1) | CN110140171B (fr) |
| BR (1) | BR112019013239A2 (fr) |
| RU (1) | RU2751760C2 (fr) |
| WO (1) | WO2018127483A1 (fr) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111402913B (zh) * | 2020-02-24 | 2023-09-12 | 北京声智科技有限公司 | 降噪方法、装置、设备和存储介质 |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7146012B1 (en) * | 1997-11-22 | 2006-12-05 | Koninklijke Philips Electronics N.V. | Audio processing arrangement with multiple sources |
| US7206418B2 (en) * | 2001-02-12 | 2007-04-17 | Fortemedia, Inc. | Noise suppression for a wireless communication device |
| GB2388001A (en) * | 2002-04-26 | 2003-10-29 | Mitel Knowledge Corp | Compensating for beamformer steering delay during handsfree speech recognition |
| ATE419709T1 (de) | 2002-07-01 | 2009-01-15 | Koninkl Philips Electronics Nv | Von der stationären spektralleistung abhängiges audioverbesserungssystem |
| KR20060085392A (ko) * | 2005-01-24 | 2006-07-27 | 현대자동차주식회사 | 어레이 마이크 시스템 |
| ES2359511T3 (es) | 2005-07-06 | 2011-05-24 | Koninklijke Philips Electronics N.V. | Aparato y procedimiento para conformación de haz acústico. |
| US8077892B2 (en) * | 2006-10-30 | 2011-12-13 | Phonak Ag | Hearing assistance system including data logging capability and method of operating the same |
| US8005238B2 (en) | 2007-03-22 | 2011-08-23 | Microsoft Corporation | Robust adaptive beamforming with enhanced noise suppression |
| DE602007007581D1 (de) | 2007-04-17 | 2010-08-19 | Harman Becker Automotive Sys | Akustische Lokalisierung eines Sprechers |
| US20110246187A1 (en) * | 2008-12-16 | 2011-10-06 | Koninklijke Philips Electronics N.V. | Speech signal processing |
| US20130282373A1 (en) * | 2012-04-23 | 2013-10-24 | Qualcomm Incorporated | Systems and methods for audio signal processing |
| CN104053088A (zh) * | 2013-03-11 | 2014-09-17 | 联想(北京)有限公司 | 一种麦克风阵列调整方法、麦克风阵列及电子设备 |
| US10229697B2 (en) * | 2013-03-12 | 2019-03-12 | Google Technology Holdings LLC | Apparatus and method for beamforming to obtain voice and noise signals |
| WO2014171920A1 (fr) * | 2013-04-15 | 2014-10-23 | Nuance Communications, Inc. | Système et procédé de traitement d'une réverbération de signal acoustique |
| US9984675B2 (en) * | 2013-05-24 | 2018-05-29 | Google Technology Holdings LLC | Voice controlled audio recording system with adjustable beamforming |
| EP2819429B1 (fr) * | 2013-06-28 | 2016-06-22 | GN Netcom A/S | Casque doté d'un microphone |
| CN106068535B (zh) | 2014-03-17 | 2019-11-05 | 皇家飞利浦有限公司 | 噪声抑制 |
| US10269343B2 (en) | 2014-08-28 | 2019-04-23 | Analog Devices, Inc. | Audio processing using an intelligent microphone |
| DK3057337T3 (da) * | 2015-02-13 | 2020-05-11 | Oticon As | Høreapparat omfattende en adskilt mikrofonenhed til at opfange en brugers egen stemme |
| US10395644B2 (en) * | 2016-02-25 | 2019-08-27 | Panasonic Corporation | Speech recognition method, speech recognition apparatus, and non-transitory computer-readable recording medium storing a program |
| EP3566463B1 (fr) | 2017-01-03 | 2020-12-02 | Koninklijke Philips N.V. | Prise de son audio au moyen d'une formation de faisceau |
| WO2018127450A1 (fr) | 2017-01-03 | 2018-07-12 | Koninklijke Philips N.V. | Capture audio à l'aide d'une formation de faisceaux |
| CN111194445A (zh) * | 2017-10-13 | 2020-05-22 | 思睿逻辑国际半导体有限公司 | 重放攻击的检测 |
-
2018
- 2018-01-02 WO PCT/EP2018/050045 patent/WO2018127483A1/fr unknown
- 2018-01-02 US US16/474,715 patent/US11039242B2/en active Active
- 2018-01-02 EP EP18700009.6A patent/EP3566228B1/fr active Active
- 2018-01-02 BR BR112019013239A patent/BR112019013239A2/pt unknown
- 2018-01-02 JP JP2019535791A patent/JP6665353B2/ja active Active
- 2018-01-02 RU RU2019124535A patent/RU2751760C2/ru active
- 2018-01-02 CN CN201880005822.5A patent/CN110140171B/zh active Active
Non-Patent Citations (1)
| Title |
|---|
| None * |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2751760C2 (ru) | 2021-07-16 |
| JP2020503562A (ja) | 2020-01-30 |
| WO2018127483A1 (fr) | 2018-07-12 |
| RU2019124535A (ru) | 2021-02-05 |
| JP6665353B2 (ja) | 2020-03-13 |
| CN110140171A (zh) | 2019-08-16 |
| US11039242B2 (en) | 2021-06-15 |
| CN110140171B (zh) | 2023-08-22 |
| RU2019124535A3 (fr) | 2021-05-21 |
| US20210136489A1 (en) | 2021-05-06 |
| BR112019013239A2 (pt) | 2019-12-24 |
| EP3566228A1 (fr) | 2019-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3566461B1 (fr) | Procédé et appareil de prise de son audio utilisant une formation de faisceau | |
| EP3566462B1 (fr) | Prise de son audio au moyen d'une formation de faisceau | |
| EP3566463B1 (fr) | Prise de son audio au moyen d'une formation de faisceau | |
| US8891785B2 (en) | Processing signals | |
| KR101470528B1 (ko) | 적응 빔포밍을 위한 사용자 방향의 소리 검출 기반의 적응모드 제어 장치 및 방법 | |
| US20170140771A1 (en) | Information processing apparatus, information processing method, and computer program product | |
| EP3566228B1 (fr) | Capture audio au moyen de formation de faisceau | |
| Braun et al. | Directional interference suppression using a spatial relative transfer function feature | |
| Xiong et al. | A study on joint beamforming and spectral enhancement for robust speech recognition in reverberant environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: UNKNOWN |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE |
|
| PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE |
|
| 17P | Request for examination filed |
Effective date: 20190805 |
|
| AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
| AX | Request for extension of the european patent |
Extension state: BA ME |
|
| GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: GRANT OF PATENT IS INTENDED |
|
| DAV | Request for validation of the european patent (deleted) | ||
| DAX | Request for extension of the european patent (deleted) | ||
| INTG | Intention to grant announced |
Effective date: 20200103 |
|
| RAP1 | Party data changed (applicant data changed or rights of an application transferred) |
Owner name: KONINKLIJKE PHILIPS N.V. |
|
| GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
| GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE PATENT HAS BEEN GRANTED |
|
| AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
| REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D |
|
| REG | Reference to a national code |
Ref country code: AT Ref legal event code: REF Ref document number: 1279818 Country of ref document: AT Kind code of ref document: T Effective date: 20200615 Ref country code: CH Ref legal event code: EP |
|
| REG | Reference to a national code |
Ref country code: DE Ref legal event code: R096 Ref document number: 602018005221 Country of ref document: DE |
|
| REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D |
|
| REG | Reference to a national code |
Ref country code: LT Ref legal event code: MG4D |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20200610 Ref country code: LT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20200610 Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20200610 Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20200911 Ref country code: NO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20200910 |
|
| REG | Reference to a national code |
Ref country code: NL Ref legal event code: MP Effective date: 20200610 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: RS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20200610 Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20200910 Ref country code: LV Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20200610 Ref country code: HR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20200610 |
|
| REG | Reference to a national code |
Ref country code: AT Ref legal event code: MK05 Ref document number: 1279818 Country of ref document: AT Kind code of ref document: T Effective date: 20200610 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20200610 Ref country code: NL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20200610 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SM Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20200610 Ref country code: IT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20200610 Ref country code: EE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20200610 Ref country code: AT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20200610 Ref country code: RO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20200610 Ref country code: CZ Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20200610 Ref country code: PT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20201012 Ref country code: ES Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20200610 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20201010 Ref country code: PL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20200610 Ref country code: SK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20200610 |
|
| REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 602018005221 Country of ref document: DE |
|
| PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: DK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20200610 |
|
| 26N | No opposition filed |
Effective date: 20210311 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MC Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20200610 |
|
| REG | Reference to a national code |
Ref country code: CH Ref legal event code: PL |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LU Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20210102 |
|
| REG | Reference to a national code |
Ref country code: BE Ref legal event code: MM Effective date: 20210131 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LI Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20210131 Ref country code: CH Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20210131 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20210102 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20210131 |
|
| PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: FR Payment date: 20230124 Year of fee payment: 6 |
|
| PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: GB Payment date: 20230124 Year of fee payment: 6 Ref country code: DE Payment date: 20220628 Year of fee payment: 6 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CY Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20200610 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: HU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO Effective date: 20180102 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20200610 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20200610 |
|
| PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: DE Payment date: 20240129 Year of fee payment: 7 Ref country code: GB Payment date: 20240123 Year of fee payment: 7 |