EP3252639B1 - Procédé et terminal de commande de déverrouillage basé sur des données biométriques d´empreintes digitales - Google Patents

Procédé et terminal de commande de déverrouillage basé sur des données biométriques d´empreintes digitales Download PDF

Info

Publication number
EP3252639B1
EP3252639B1 EP17170465.3A EP17170465A EP3252639B1 EP 3252639 B1 EP3252639 B1 EP 3252639B1 EP 17170465 A EP17170465 A EP 17170465A EP 3252639 B1 EP3252639 B1 EP 3252639B1
Authority
EP
European Patent Office
Prior art keywords
feature point
point set
fingerprint
terminal
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP17170465.3A
Other languages
German (de)
English (en)
Other versions
EP3252639A1 (fr
Inventor
Yibao ZHOU
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of EP3252639A1 publication Critical patent/EP3252639A1/fr
Application granted granted Critical
Publication of EP3252639B1 publication Critical patent/EP3252639B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G06V40/1371—Matching features related to minutiae or pores
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/08—Access security

Claims (10)

  1. Procédé pour commander un déverrouillage déverrouillage, comprenant les étapes consistant à :
    acquérir (102) un ensemble de points caractéristiques de référence d'un doigt d'un utilisateur lorsqu'une opération de toucher sur un capteur de reconnaissance d'empreinte digitale d'un terminal est détectée ;
    apparier (104) l'ensemble de points caractéristiques de référence avec un premier ensemble de points caractéristiques, dans lequel le premier ensemble de points caractéristiques comprend au moins un sous-ensemble de points caractéristiques d'un second ensemble de points caractéristiques, le second ensemble de points caractéristiques comprenant tous les points caractéristiques d'un modèle d'empreinte digitale ; et
    déverrouiller (106) le terminal lorsque l'ensemble de points caractéristiques de référence est apparié avec le premier ensemble de points caractéristiques ;
    caractérisé en ce qu'il comprend en outre les étapes consistant à :
    acquérir N ensembles de points caractéristiques de N images d'empreinte digitale qui sont utilisés pour déverrouiller N fois le terminal avec succès, dans lequel N est un entier supérieur à 1 ;
    déterminer le nombre d'appariements réussis de chaque point caractéristique du second ensemble de points caractéristiques sur la base des N ensembles de points caractéristiques ;
    diviser le second ensemble de points caractéristiques en au moins deux sous-ensembles de points caractéristiques en fonction du nombre de correspondances réussies de chaque point caractéristique, dans lequel chaque sous-ensemble de points caractéristiques a une priorité d'appariement correspondant au nombre d'appariements réussis des points caractéristiques qu'il contient ; et
    en fonction de la priorité d'appariement de chaque sous-ensemble de points caractéristiques du second ensemble de points caractéristiques, mettre à jour le premier ensemble de points caractéristiques en ajoutant au moins un sous-ensemble de points caractéristiques du second ensemble de points caractéristiques, qui n'est pas compris dans le premier ensemble de points caractéristiques, dans le premier ensembles de points caractéristiques, lorsque l'ensemble de points caractéristiques de référence n'est pas apparié.
  2. Procédé selon la revendication 1, dans lequel, lorsque l'ensemble de points de caractéristique de référence ne correspond pas au premier ensemble de points caractéristiques, le procédé comprend en outre l'étape consistant à :
    Apparier l'ensemble de points caractéristiques de référence avec le premier ensemble de points caractéristiques mis à jour.
  3. Procédé selon la revendication 1, dans lequel le processus de mise à jour du premier ensemble de points caractéristiques est exécuté après l'appariement de l'ensemble de points caractéristiques de référence avec le premier ensemble de points caractéristiques.
  4. Procédé selon la revendication 3, comprenant en outre les étapes consistant à : apparier l'ensemble de points caractéristique de référence avec le premier ensemble de points caractéristique mis à jour lorsque l'ensemble de points caractéristique de référence ne correspond pas au premier ensemble de points caractéristiques.
  5. Procédé selon l'une quelconque des revendications 1 à 4, dans lequel l'acquisition du ensemble de points caractéristiques de référence du doigt comprend les étapes consistant à :
    balayer le doigt de l'utilisateur à travers le capteur de reconnaissance d'empreinte digitale pour acquérir des données d'empreinte digitale ;
    générer une image d'empreinte digitale en fonction des données d'empreinte digitale ; et
    extraire des points caractéristiques de l'image d'empreinte digitale pour former l'ensemble de points caractéristiques de référence.
  6. Procédé selon la revendication 5, dans lequel le balayage du doigt de l'utilisateur par l'intermédiaire du capteur de reconnaissance d'empreinte digitale pour acquérir les données d'empreinte digitale comprend les étapes consistant à :
    acquérir n2 données sous-jacentes par l'intermédiaire de n2 premières électrodes de détection du capteur de reconnaissance d'empreinte digitale, le capteur de reconnaissance d'empreinte digitale comprenant n1 secondes électrodes de détection et n2 premières électrodes de détection, n1 et n2 étant des entiers positifs ; et
    déterminer n1 données sous-jacentes de référence correspondant aux n1 secondes électrodes de détection en fonction des n2 données sous-jacentes collectées par les n2 premières électrodes de détection, et former les données d'empreinte digitale avec les n1 données sous-jacentes de référence et les n2 données sous-jacentes.
  7. Terminal (500) comprenant :
    une première unité d'acquisition (502), configurée pour acquérir un ensemble de points caractéristiques de référence d'un doigt d'un utilisateur lorsqu'une opération de toucher sur un capteur de reconnaissance d'empreinte digitale du terminal est détectée ;
    une unité d'appariement (504), configurée pour apparier l'ensemble de points caractéristiques de référence avec un premier ensemble de points caractéristiques, dans lequel le premier ensemble de points caractéristiques comprend au moins un sous-ensemble d'un second ensemble de points caractéristiques, le second ensemble de points caractéristiques comprenant tous les points caractéristiques d'un modèle d'empreinte digitale ;
    une unité de commande de déverrouillage (506), configurée pour déverrouiller le terminal lorsque l'ensemble de points caractéristiques de référence est apparié avec le premier ensemble de points caractéristiques ; et
    caractérisé en ce qu'il comprend en outre :
    une seconde unité d'acquisition (510), configurée pour acquérir N ensembles de points caractéristiques de N images d'empreinte digitale qui sont utilisées pour déverrouiller N fois le terminal, dans lequel N est un entier supérieur à 1 ;
    une unité de détermination (512), configurée pour déterminer le nombre d'appariements réussis de chaque point caractéristique du second ensemble de points caractéristiques sur la base des N ensembles de points caractéristiques ;
    une unité de traitement (514), configurée pour diviser le second ensemble de points caractéristiques en au moins deux sous-ensembles de points caractéristiques en fonction du nombre d'appariements réussis de chaque point caractéristique, dans lequel chaque sous-ensemble de points caractéristiques a une priorité de correspondance correspondant au nombre d'appariements réussis des points caractéristiques qui y sont contenus ; et
    une unité de mise à jour (508), configurée pour mettre à jour le premier ensemble de points caractéristiques en ajoutant au moins un sous-ensemble de points caractéristiques du second ensemble de points caractéristiques, qui n'est pas compris dans le premier ensemble de points caractéristiques, dans le premier ensemble de points caractéristiques, selon la priorité de correspondance de chaque sous-ensemble de points caractéristiques du second ensemble de points caractéristiques.
  8. Terminal selon la revendication 7, dans lequel l'unité de mise à jour est configurée pour mettre à jour le premier ensemble de points caractéristiques lorsque l'ensemble de points caractéristiques de référence n'est pas apparié au premier ensemble de points caractéristiques ; l'unité d'appariement étant en outre configurée pour :
    apparier l'ensemble de points caractéristique de référence avec le premier ensemble de points caractéristique mis à jour.
  9. Terminal selon la revendication 8, dans lequel l'unité d'appariement est en outre configurée pour apparier l'ensemble de points caractéristique de référence avec le premier ensemble de points caractéristiques mis à jour lorsque l'ensemble de points caractéristiques de référence n'est pas apparié au premier ensemble de points caractéristiques.
  10. Terminal selon la revendication 7, dans lequel l'unité de traitement est configurée pour diviser le second ensemble de points caractéristiques en au moins deux sous-ensembles de points caractéristiques en fonction du nombre d'appariements réussis de chaque point caractéristique.
EP17170465.3A 2016-05-30 2017-05-10 Procédé et terminal de commande de déverrouillage basé sur des données biométriques d´empreintes digitales Active EP3252639B1 (fr)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610375524.8A CN106055956B (zh) 2016-05-30 2016-05-30 一种解锁控制方法及移动终端

Publications (2)

Publication Number Publication Date
EP3252639A1 EP3252639A1 (fr) 2017-12-06
EP3252639B1 true EP3252639B1 (fr) 2019-07-24

Family

ID=57172310

Family Applications (1)

Application Number Title Priority Date Filing Date
EP17170465.3A Active EP3252639B1 (fr) 2016-05-30 2017-05-10 Procédé et terminal de commande de déverrouillage basé sur des données biométriques d´empreintes digitales

Country Status (5)

Country Link
US (2) US10289894B2 (fr)
EP (1) EP3252639B1 (fr)
CN (2) CN107609379B (fr)
ES (1) ES2745324T3 (fr)
WO (1) WO2017206669A1 (fr)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022064B (zh) * 2016-05-30 2017-11-14 广东欧珀移动通信有限公司 一种解锁控制方法及移动终端
CN107609379B (zh) * 2016-05-30 2019-08-27 Oppo广东移动通信有限公司 一种解锁控制方法及移动终端
CN106951851B (zh) * 2017-03-15 2020-01-17 青岛海信移动通信技术股份有限公司 指纹模板的更新方法及装置
CN108171165B (zh) * 2017-12-28 2021-10-22 北京小米移动软件有限公司 指纹识别方法、装置及计算机可读存储介质
CN108197550A (zh) * 2017-12-28 2018-06-22 北京小米移动软件有限公司 故障提示方法、装置及电子设备
CN108337913B (zh) * 2018-02-01 2020-01-07 深圳市汇顶科技股份有限公司 指纹登录方法、微控制单元、指纹电源组件及电子终端

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2749955B1 (fr) * 1996-06-14 1998-09-11 Thomson Csf Systeme de lecture d'empreintes digitales
JP3576987B2 (ja) * 2001-03-06 2004-10-13 株式会社東芝 画像のテンプレートマッチング方法及び画像処理装置
US9171577B1 (en) * 2003-04-25 2015-10-27 Gopro, Inc. Encoding and decoding selectively retrievable representations of video content
US7505613B2 (en) * 2005-07-12 2009-03-17 Atrua Technologies, Inc. System for and method of securing fingerprint biometric systems against fake-finger spoofing
US8014597B1 (en) * 2006-03-22 2011-09-06 Woodman Labs Method for efficient compression and decoding of single sensor color image data
US20080049987A1 (en) * 2006-08-28 2008-02-28 Champagne Katrina S Fingerprint recognition system
GB0620694D0 (en) * 2006-10-18 2006-11-29 Fingerpin Biometrics
JP4403426B2 (ja) * 2007-01-09 2010-01-27 サイレックス・テクノロジー株式会社 生体認証装置及び生体認証プログラム
US10916043B2 (en) * 2007-11-26 2021-02-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus, method and computer program for generating a template for arranging at least one object at at least one place
JP2010039846A (ja) * 2008-08-06 2010-02-18 Fujitsu Ltd 認証方式制御装置、認証方式制御方法および認証方式制御プログラム
US20100080425A1 (en) * 2008-09-29 2010-04-01 Board of regents of the Nevada System of Higher Education, on Behalf of the University of Minutiae-based template synthesis and matching
US10146989B2 (en) * 2009-09-09 2018-12-04 Htc Corporation Methods for controlling a hand-held electronic device and hand-held electronic device utilizing the same
JP5218991B2 (ja) * 2009-12-08 2013-06-26 株式会社日立製作所 複数種類のテンプレートを用いた生体認証システム及び生体認証方法
KR101252454B1 (ko) * 2011-04-07 2013-04-16 주식회사 슈프리마 대표 지문 템플릿 생성 장치 및 방법
US8913801B2 (en) * 2012-06-29 2014-12-16 Apple Inc. Enrollment using synthetic fingerprint image and fingerprint sensing systems
US9152842B2 (en) * 2012-06-29 2015-10-06 Apple Inc. Navigation assisted fingerprint enrollment
US9965607B2 (en) * 2012-06-29 2018-05-08 Apple Inc. Expedited biometric validation
US9514351B2 (en) * 2014-02-12 2016-12-06 Apple Inc. Processing a fingerprint for fingerprint matching
US9633451B2 (en) * 2014-02-12 2017-04-25 Mediatek Singapore Pte. Ltd. Image data processing method of multi-level shuffles for multi-format pixel and associated apparatus
US9576126B2 (en) * 2014-02-13 2017-02-21 Apple Inc. Updating a template for a biometric recognition device
US9292728B2 (en) * 2014-05-30 2016-03-22 Apple Inc. Electronic device for reallocating finger biometric template nodes in a set memory space and related methods
CN104077576A (zh) * 2014-07-03 2014-10-01 南昌欧菲生物识别技术有限公司 指纹识别方法及具有指纹识别功能的终端设备
US10061971B2 (en) * 2014-07-25 2018-08-28 Qualcomm Incorporated Enrollment and authentication on a mobile device
US9613428B2 (en) * 2014-11-07 2017-04-04 Fingerprint Cards Ab Fingerprint authentication using stitch and cut
CN105260696B (zh) * 2015-02-13 2020-10-23 深圳比亚迪微电子有限公司 指纹模板的自学习方法及装置
CN104834848A (zh) * 2015-04-10 2015-08-12 广东欧珀移动通信有限公司 一种手机指纹识别的方法及装置
US9471765B1 (en) * 2015-07-01 2016-10-18 Fingerprint Cards Ab Fingerprint authentication with template updating
CN105389566B (zh) * 2015-11-13 2018-09-11 广东欧珀移动通信有限公司 指纹识别方法、指纹模板的更新方法、装置和移动终端
CN105447454B (zh) * 2015-11-13 2018-05-01 广东欧珀移动通信有限公司 指纹模板完善方法、装置和终端设备
CN106096359B (zh) * 2016-05-30 2017-10-31 广东欧珀移动通信有限公司 一种解锁控制方法及移动终端
CN107609379B (zh) * 2016-05-30 2019-08-27 Oppo广东移动通信有限公司 一种解锁控制方法及移动终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None *

Also Published As

Publication number Publication date
US20180032791A1 (en) 2018-02-01
WO2017206669A1 (fr) 2017-12-07
US9959449B2 (en) 2018-05-01
EP3252639A1 (fr) 2017-12-06
US10289894B2 (en) 2019-05-14
CN106055956B (zh) 2017-10-31
US20170344800A1 (en) 2017-11-30
CN106055956A (zh) 2016-10-26
CN107609379B (zh) 2019-08-27
ES2745324T3 (es) 2020-02-28
CN107609379A (zh) 2018-01-19

Similar Documents

Publication Publication Date Title
EP3252663B1 (fr) Procédé de commande de déverrouillage et terminal
EP3252640B1 (fr) Procédé de lancement d'une application et terminal
EP3252639B1 (fr) Procédé et terminal de commande de déverrouillage basé sur des données biométriques d´empreintes digitales
EP3252661B1 (fr) Procédé de commande de déverrouillage d'un terminal et terminal correspondent
US10331938B2 (en) Method for controlling unlocking and terminal
US10339360B2 (en) Method for controlling unlocking and terminal
WO2017206662A1 (fr) Procédé permettant de mettre à jour un modèle d'empreinte digitale, et dispositif terminal
US10417480B2 (en) Method for controlling unlocking and terminal
EP3252665B1 (fr) Procédé de déverrouillage de terminal et terminal
WO2017206623A1 (fr) Procédé de commande de déverrouillage et terminal
US10248774B2 (en) Method for controlling unlocking and mobile terminal

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20170510

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20180412

REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Ref document number: 602017005436

Country of ref document: DE

Free format text: PREVIOUS MAIN CLASS: G06F0021320000

Ipc: G06K0009000000

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

RIC1 Information provided on ipc code assigned before grant

Ipc: G06K 9/00 20060101AFI20190201BHEP

Ipc: H04L 29/06 20060101ALI20190201BHEP

Ipc: H04W 12/08 20090101ALI20190201BHEP

Ipc: H04W 12/06 20090101ALI20190201BHEP

Ipc: G06F 21/32 20130101ALI20190201BHEP

INTG Intention to grant announced

Effective date: 20190305

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1159081

Country of ref document: AT

Kind code of ref document: T

Effective date: 20190815

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602017005436

Country of ref document: DE

REG Reference to a national code

Ref country code: NL

Ref legal event code: FP

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

RAP2 Party data changed (patent owner data changed or rights of a patent transferred)

Owner name: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS CORP., LT

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 1159081

Country of ref document: AT

Kind code of ref document: T

Effective date: 20190724

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191024

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190724

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190724

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191125

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191024

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190724

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190724

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190724

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190724

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191025

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20191124

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190724

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190724

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2745324

Country of ref document: ES

Kind code of ref document: T3

Effective date: 20200228

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190724

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190724

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190724

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190724

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190724

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190724

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190724

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20200224

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190724

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602017005436

Country of ref document: DE

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG2D Information on lapse in contracting state deleted

Ref country code: IS

26N No opposition filed

Effective date: 20200603

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190724

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190724

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200531

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200531

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20200531

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200510

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200510

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200531

REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Ref document number: 602017005436

Country of ref document: DE

Free format text: PREVIOUS MAIN CLASS: G06K0009000000

Ipc: G06V0010000000

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190724

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190724

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190724

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230412

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20230427

Year of fee payment: 7

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20230523

Year of fee payment: 7

Ref country code: FR

Payment date: 20230523

Year of fee payment: 7

Ref country code: ES

Payment date: 20230607

Year of fee payment: 7

Ref country code: DE

Payment date: 20230510

Year of fee payment: 7

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20230519

Year of fee payment: 7