EP3673348B1 - Dispositif de traitement de données, procédé et support lisible par machine non transitoire permettant de détecter un mouvement du dispositif de traitement de données - Google Patents
Dispositif de traitement de données, procédé et support lisible par machine non transitoire permettant de détecter un mouvement du dispositif de traitement de données Download PDFInfo
- Publication number
- EP3673348B1 EP3673348B1 EP18755269.0A EP18755269A EP3673348B1 EP 3673348 B1 EP3673348 B1 EP 3673348B1 EP 18755269 A EP18755269 A EP 18755269A EP 3673348 B1 EP3673348 B1 EP 3673348B1
- Authority
- EP
- European Patent Office
- Prior art keywords
- image
- data processing
- processing device
- marker
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 title claims description 104
- 238000012545 processing Methods 0.000 title claims description 76
- 238000000034 method Methods 0.000 title claims description 11
- 239000003550 marker Substances 0.000 claims description 88
- 230000004044 response Effects 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 13
- 238000003672 processing method Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 2
- 210000003128 head Anatomy 0.000 description 16
- 238000001514 detection method Methods 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 12
- 230000005236 sound signal Effects 0.000 description 12
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 11
- 238000005096 rolling process Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000004886 head movement Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000007654 immersion Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000005267 amalgamation Methods 0.000 description 1
- 238000004873 anchoring Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001680 brushing effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Claims (15)
- Dispositif de traitement de données (1800) comprenant :un appareil de prise de vues (1810) configuré pour prendre des images successives, chaque image étant prise pendant une période respective de prise d'image telle que différentes parties respectives de l'image prise sont capturées à des instants respectifs différents de prise dans la période de prise d'image,un détecteur (1820) configuré pour détecter, à partir d'images prises par l'appareil de prise de vues, des informations indiquant un emplacement relatif d'un marqueur distant par rapport au dispositif de traitement de données, ainsi que pour associer un marqueur horaire avec un emplacement relatif détecté indiquant l'instant auquel l'emplacement relatif a été détecté, etun capteur de mouvement (1830) configuré pour détecter un mouvement du dispositif de traitement de données et pour piloter le fonctionnement du détecteur en réponse au mouvement détecté,dans lequel, pour une image prise donnée, le détecteur est configuré pour détecter une image du marqueur distant à l'intérieur de l'image prise donnée et pour déduire un marqueur horaire respectif dépendant de l'emplacement de l'image du marqueur distant à l'intérieur de l'image prise donnée, le détecteur étant configuré pour appliquer une transformation de position sur l'emplacement de l'image du marqueur distant à l'intérieur de l'image prise donnée en fonction du mouvement du dispositif de traitement de données détecté par le capteur de mouvement pendant la période de capture d'image de l'image prise donnée.
- Dispositif de traitement de données selon la revendication 1, dans lequel :le marqueur distant comprend deux parties ou plus de marqueur séparées spatialement,le détecteur est configuré pour détecter des emplacements d'images respectifs concernant les images des parties de marqueur dans l'image prise donnée,le détecteur est configuré pour appliquer la transformation de position aux emplacements d'images détectés en fonction du mouvement du dispositif de traitement de données détecté par le capteur de mouvement.
- Dispositif de traitement de données selon la revendication 2, dans lequel la transformation de position est configurée pour :
transformer un ou plusieurs des emplacements d'images détectés en fonction des instants de prise à l'intérieur de la période de prise d'image des emplacements d'images détectés. - Dispositif de traitement de données selon la revendication 3, dans lequel la transformation de position est configurée pour :
fournir un mappage des emplacements d'images détectés en direction d'emplacements d'images détectés auxquels les parties respectives de marqueur auraient été prises si le dispositif avait été fixe pendant la période de prise d'image. - Dispositif de traitement de données selon l'une quelconque des revendications précédentes, dans lequel l'appareil de prise de vues est configuré pour prendre des images successives en tant que multiples lignes de pixels de sorte à ce que des lignes différentes respectives de pixels de l'image prise soient capturées à des instants différents respectifs de prise dans la période de prise d'image.
- Dispositif de traitement de données selon l'une quelconque des revendications précédentes, dans lequel le dispositif est un afficheur installable sur une tête.
- Dispositif de traitement de données selon l'une quelconque des revendications précédentes, dans lequel le marqueur distant comprend une ou plusieurs parties éclairées.
- Dispositif de traitement de données selon l'une quelconque des revendications précédentes, dans lequel le capteur de mouvement comprend un capteur de mouvement inertiel.
- Système de traitement de données comprenant :le dispositif de traitement de données conforme à l'une quelconque des revendications précédentes, etun marqueur distant séparé du dispositif de traitement de données.
- Dispositif de traitement de données (1800) comprenant :un récepteur (1850) configuré pour recevoir des données représentant des images successives d'un marqueur prises par un second dispositif de traitement de données distant, le marqueur étant disposé sur le dispositif de traitement de données, chaque image étant prise pendant une période de prise d'image respective telle que différentes parties respectives de l'image prise sont capturées à des instants respectifs différents dans la période de prise d'image,un détecteur (1820) configuré pour détecter, à partir des données représentant les informations d'images prises indiquant un emplacement relatif du marqueur par rapport au second dispositif de traitement de données, ainsi que pour associer un marqueur horaire à un emplacement relatif détecté indiquant l'instant auquel l'emplacement relatif a été détecté, etun capteur de mouvement (1830) configuré pour détecter un mouvement du dispositif de traitement de données et pour piloter le fonctionnement du détecteur en réponse au mouvement détecté dans lequel, pour une image prise donnée, le détecteur est configuré pour détecter une image du marqueur dans l'image prise donnée et pour déduire un marqueur horaire respectif fonction de l'emplacement de l'image du marqueur dans l'image prise donnée, le détecteur étant configuré pour appliquer une transformation de position à l'emplacement de l'image du marqueur dans l'image prise donnée en fonction du mouvement du dispositif de traitement de données détecté par le capteur de mouvement pendant la période de prise d'image de l'image prise donnée.
- Dispositif de traitement de données selon la revendication 10, dans lequel :le marqueur distant comprend deux parties ou plus de marqueur séparées spatialement,le détecteur est configuré pour détecter des emplacements d'images respectifs concernant les images des parties de marqueur dans l'image prise donnée,le détecteur est configuré pour appliquer la transformation de position aux emplacements d'images détectés en fonction du mouvement du dispositif de traitement de données détecté par le capteur de mouvement.
- Système de traitement de données comprenant :le dispositif de traitement de données conforme à la revendication 10 ou la revendication 11, etun second dispositif de traitement de données.
- Procédé de traitement de données comprenant :la prise d'images successives, chaque image étant prise pendant une période respective de prise d'image telle que différentes parties respectives de l'image prise sont capturées à des instants respectifs différents de prise dans la période de prise d'image,la détection, à partir d'images prises par l'appareil de prise de vues, d'informations indiquant un emplacement relatif d'un marqueur distant par rapport au dispositif de traitement de données,l'association d'un marqueur horaire avec un emplacement relatif détecté indiquant l'instant auquel l'emplacement relatif a été détecté,la détection d'un mouvement du dispositif de traitement de données,le pilotage du fonctionnement du détecteur en réponse au mouvement détecté, etpour une image prise donnée :la détection d'une image du marqueur distant à l'intérieur de l'image prise donnée,la déduction d'un marqueur horaire respectif dépendant de l'emplacement de l'image du marqueur distant à l'intérieur de l'image prise donnée, etl'application d'une transformation de position sur l'emplacement de l'image du marqueur distant à l'intérieur de l'image prise donnée en fonction du mouvement du dispositif de traitement de données détecté pendant la période de capture d'image de l'image prise donnée.
- Procédé de traitement de données comprenant :la réception, au niveau d'un premier dispositif de traitement de données, de données représentant des images successives d'un marqueur prises par un second dispositif de traitement de données distant, le marqueur étant disposé sur le premier dispositif de traitement de données, chaque image étant prise pendant une période de prise d'image respective telle que différentes parties respectives de l'image prise sont capturées à des instants respectifs différents dans la période de prise d'image,la détection, au niveau du premier dispositif de traitement de données, à partir des données représentant les informations d'images prises indiquant un emplacement relatif du marqueur par rapport au second dispositif de traitement de données,l'association d'un marqueur horaire à un emplacement relatif détecté indiquant l'instant auquel l'emplacement relatif a été détecté,la détection d'un mouvement du marqueur,le pilotage du fonctionnement de l'étape de détection en réponse au mouvement détecté,et,pour une image prise donnée :la détection d'une image du marqueur dans l'image prise donnée,la déduction d'un marqueur horaire respectif en fonction de l'emplacement de l'image du marqueur dans l'image prise donnée, etl'application d'une transformation de position à l'emplacement de l'image du marqueur dans l'image prise donnée en fonction du mouvement du premier dispositif de traitement de données détecté pendant la période de prise d'image de l'image prise donnée.
- Produit de logiciel informatique qui, lorsqu'il est exécuté par un ordinateur, amènent l'ordinateur à réaliser le procédé de la revendication 13 ou de la revendication 14.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB1713674.8A GB2565836B (en) | 2017-08-25 | 2017-08-25 | Data processing for position detection using markers in captured images |
| PCT/GB2018/052213 WO2019038514A1 (fr) | 2017-08-25 | 2018-08-02 | Dispositif de traitement de données, procédé et support lisible par machine non transitoire permettant de détecter un mouvement du dispositif de traitement de données |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| EP3673348A1 EP3673348A1 (fr) | 2020-07-01 |
| EP3673348B1 true EP3673348B1 (fr) | 2021-12-22 |
Family
ID=60037126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| EP18755269.0A Active EP3673348B1 (fr) | 2017-08-25 | 2018-08-02 | Dispositif de traitement de données, procédé et support lisible par machine non transitoire permettant de détecter un mouvement du dispositif de traitement de données |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11094109B2 (fr) |
| EP (1) | EP3673348B1 (fr) |
| GB (1) | GB2565836B (fr) |
| WO (1) | WO2019038514A1 (fr) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3087738A1 (fr) * | 2018-02-06 | 2019-08-15 | Magic Leap, Inc. | Systemes et procedes pour la realite augmentee |
| GB2582657B (en) | 2019-03-29 | 2021-09-15 | Sony Interactive Entertainment Inc | User tracking system using a camera mounted on the user and an external camera |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160098095A1 (en) * | 2004-01-30 | 2016-04-07 | Electronic Scripting Products, Inc. | Deriving Input from Six Degrees of Freedom Interfaces |
| US8913140B2 (en) * | 2011-08-15 | 2014-12-16 | Apple Inc. | Rolling shutter reduction based on motion sensors |
| US8786716B2 (en) * | 2011-08-15 | 2014-07-22 | Apple Inc. | Rolling shutter reduction based on motion sensors |
| WO2014160342A1 (fr) * | 2013-03-13 | 2014-10-02 | The University Of North Carolina At Chapel Hill | Stabilisation à faible latence pour des dispositifs d'affichage portés sur la tête |
| US9908048B2 (en) * | 2013-06-08 | 2018-03-06 | Sony Interactive Entertainment Inc. | Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display |
| WO2015038160A1 (fr) * | 2013-09-16 | 2015-03-19 | Intel Corporation | Synchronisation d'appareil de prise de vues et de source de lumière pour suivi d'objet |
| US20160235323A1 (en) * | 2013-09-25 | 2016-08-18 | Mindmaze Sa | Physiological parameter measurement and feedback system |
| US9630105B2 (en) * | 2013-09-30 | 2017-04-25 | Sony Interactive Entertainment Inc. | Camera based safety mechanisms for users of head mounted displays |
| CN110308561A (zh) * | 2014-03-14 | 2019-10-08 | 索尼互动娱乐股份有限公司 | 用于头戴式显示器(hmd)的方法和系统 |
| JP5944600B1 (ja) * | 2015-08-28 | 2016-07-05 | 株式会社タカラトミー | 頭部装着型ディスプレイを備えた情報処理装置 |
| ES2935067T3 (es) * | 2015-11-10 | 2023-03-01 | Thales Defense & Security Inc | Seguimiento de peatones de visión-inercial robusto con autoalineación de rumbo |
| US10419701B2 (en) * | 2017-06-26 | 2019-09-17 | Facebook Technologies, Llc | Digital pixel image sensor |
-
2017
- 2017-08-25 GB GB1713674.8A patent/GB2565836B/en active Active
-
2018
- 2018-08-02 US US16/638,613 patent/US11094109B2/en active Active
- 2018-08-02 WO PCT/GB2018/052213 patent/WO2019038514A1/fr unknown
- 2018-08-02 EP EP18755269.0A patent/EP3673348B1/fr active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US11094109B2 (en) | 2021-08-17 |
| GB2565836B (en) | 2021-04-14 |
| GB201713674D0 (en) | 2017-10-11 |
| WO2019038514A1 (fr) | 2019-02-28 |
| US20210065435A1 (en) | 2021-03-04 |
| GB2565836A (en) | 2019-02-27 |
| EP3673348A1 (fr) | 2020-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10078366B2 (en) | Head-mountable apparatus and system | |
| US11507201B2 (en) | Virtual reality | |
| US11521366B2 (en) | Marker-based tracking apparatus and method | |
| US20140362370A1 (en) | Directional light beams for angle detection | |
| US11045733B2 (en) | Virtual reality | |
| EP3673348B1 (fr) | Dispositif de traitement de données, procédé et support lisible par machine non transitoire permettant de détecter un mouvement du dispositif de traitement de données | |
| US11405531B2 (en) | Data processing | |
| US10902617B2 (en) | Data processing for position detection using optically detectable indicators | |
| US20220230357A1 (en) | Data processing | |
| WO2018115842A1 (fr) | Affichage de réalité virtuelle par visiocasque | |
| GB2571286A (en) | Virtual reality | |
| WO2018096315A1 (fr) | Réalité virtuelle | |
| WO2018115843A1 (fr) | Visiocasque |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: UNKNOWN |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE |
|
| PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE |
|
| 17P | Request for examination filed |
Effective date: 20200308 |
|
| AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
| AX | Request for extension of the european patent |
Extension state: BA ME |
|
| DAV | Request for validation of the european patent (deleted) | ||
| DAX | Request for extension of the european patent (deleted) | ||
| GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: GRANT OF PATENT IS INTENDED |
|
| INTG | Intention to grant announced |
Effective date: 20210713 |
|
| GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
| GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE PATENT HAS BEEN GRANTED |
|
| AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
| REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D |
|
| REG | Reference to a national code |
Ref country code: CH Ref legal event code: EP |
|
| REG | Reference to a national code |
Ref country code: DE Ref legal event code: R096 Ref document number: 602018028550 Country of ref document: DE |
|
| REG | Reference to a national code |
Ref country code: AT Ref legal event code: REF Ref document number: 1457491 Country of ref document: AT Kind code of ref document: T Effective date: 20220115 |
|
| REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D |
|
| REG | Reference to a national code |
Ref country code: NL Ref legal event code: FP |
|
| REG | Reference to a national code |
Ref country code: LT Ref legal event code: MG9D |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: RS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211222 Ref country code: LT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211222 Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211222 Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220322 |
|
| REG | Reference to a national code |
Ref country code: AT Ref legal event code: MK05 Ref document number: 1457491 Country of ref document: AT Kind code of ref document: T Effective date: 20211222 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211222 Ref country code: NO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220322 Ref country code: LV Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211222 Ref country code: HR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211222 Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220323 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SM Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211222 Ref country code: SK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211222 Ref country code: RO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211222 Ref country code: PT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220422 Ref country code: ES Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211222 Ref country code: EE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211222 Ref country code: CZ Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211222 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: PL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211222 Ref country code: AT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211222 |
|
| REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 602018028550 Country of ref document: DE |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20220422 |
|
| PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: DK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211222 Ref country code: AL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211222 |
|
| 26N | No opposition filed |
Effective date: 20220923 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211222 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MC Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211222 |
|
| REG | Reference to a national code |
Ref country code: CH Ref legal event code: PL |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LU Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20220802 Ref country code: LI Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20220831 Ref country code: CH Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20220831 |
|
| REG | Reference to a national code |
Ref country code: BE Ref legal event code: MM Effective date: 20220831 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211222 |
|
| P01 | Opt-out of the competence of the unified patent court (upc) registered |
Effective date: 20230519 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20220802 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20220831 |
|
| PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: NL Payment date: 20230828 Year of fee payment: 6 |
|
| PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: GB Payment date: 20230817 Year of fee payment: 6 |
|
| PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: FR Payment date: 20230816 Year of fee payment: 6 Ref country code: DE Payment date: 20230816 Year of fee payment: 6 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211222 Ref country code: CY Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20211222 |