CN114626037A - 检测生物特征信息的假冒的方法和设备 - Google Patents
检测生物特征信息的假冒的方法和设备 Download PDFInfo
- Publication number
- CN114626037A CN114626037A CN202110646774.1A CN202110646774A CN114626037A CN 114626037 A CN114626037 A CN 114626037A CN 202110646774 A CN202110646774 A CN 202110646774A CN 114626037 A CN114626037 A CN 114626037A
- Authority
- CN
- China
- Prior art keywords
- score
- biometric information
- image
- information
- spoofed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 230000003068 static effect Effects 0.000 claims abstract description 35
- 238000001514 detection method Methods 0.000 claims description 109
- 230000004927 fusion Effects 0.000 claims description 26
- 230000004044 response Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 description 46
- 230000015654 memory Effects 0.000 description 25
- 238000013528 artificial neural network Methods 0.000 description 22
- 239000013598 vector Substances 0.000 description 11
- 238000007499 fusion processing Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 3
- 229910052760 oxygen Inorganic materials 0.000 description 3
- 239000001301 oxygen Substances 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 230000036760 body temperature Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005242 forging Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/45—Structures or tools for the administration of authentication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1382—Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Security & Cryptography (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Collating Specific Patterns (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
提供了一种检测生物特征信息的假冒的方法和设备。所述方法包括:从传感器接收包括与用户的生物特征信息相关的静态特征和基于与生物特征信息相关的图像而获得的动态特征的第一特征信息;基于根据第一特征信息计算的第一分数来检测生物特征信息是否被假冒;根据基于第一分数检测生物特征信息被假冒的结果来将第一分数与基于从图像提取的第二特征信息计算的第二分数进行融合;以及基于融合的分数来检测生物特征信息被假冒。
Description
本申请要求于2020年12月10日在韩国知识产权局提交的第10-2020-0172382号韩国专利申请的权益,该韩国专利申请的全部公开出于所有目的通过引用包含于此。
技术领域
以下描述涉及一种检测生物特征信息(biometric information)的假冒(spoof)的方法和设备。
背景技术
由于通过生物特征信息的认证是方便且容易访问的,因此生物特征认证已经被引入到各个领域中。通常,生物特征认证包括验证尝试认证的用户是否具有访问预定信息的权限的匹配处理和确定生物特征信息是否被伪造/假冒的防假冒(ASP)处理。
通过模仿、伪造或复制用户的生物特征信息来执行假冒以尝试认证。因此,如果仅使用图像来确定假冒,则由于信息不充分而难以提高假冒检测的准确度。因此,使用除了图像之外的附加信息可以有助于提高准确度。在这种情况下,当使用附加信息时,可以通过各种维度的信息来提高准确度。然而,如果附加信息的准确度低,则图像与附加信息之间的融合可能会降低检测性能。
以上信息被呈现为背景技术信息,仅用于帮助理解本公开。关于以上内容中的任何内容是否可以被作为关于公开的现有技术,没有做出确定,也没有做出断言。
发明内容
提供本发明内容是为了以简化的形式介绍将在下面的具体实施方式中进一步描述的构思的选择。本发明内容不意图确定要求保护的主题的关键特征或必要特征,也不意图用于帮助确定要求保护的主题的范围。
在一个总体方面,一种生物特征信息假冒检测方法,所述方法包括:从传感器接收第一特征信息,第一特征信息包括与用户的生物特征信息相关的静态特征和基于与生物特征信息相关的图像来获得的动态特征;基于根据第一特征信息计算的第一分数来检测生物特征信息是否被假冒;根据基于第一分数来确定生物特征信息是否被假冒的结果,将计算的第一分数与根据从图像提取的第二特征信息计算的第二分数进行融合;以及基于融合的分数和第二分数来确定生物特征信息是否被假冒。
基于第一分数来确定生物特征信息是否被假冒的步骤可以包括:基于第一特征信息计算第一分数;确定第一分数是否在用于早期判定生物特征信息被假冒的第一阈值范围内;以及响应于确定第一分数在第一阈值范围内,基于第一分数来确定生物特征信息是否被假冒,其中,响应于确定第一分数落入第一阈值范围内,不执行计算的第一分数与第二分数的融合以及基于融合的分数来检测生物特征信息被假冒。
接收第一特征信息的步骤可以包括:从感测用户的生物特征信息的传感器接收静态特征;以及基于从图像提取的图像特征之间的差异来接收动态特征。
接收动态特征的步骤可以包括:接收图像;从图像提取图像特征;以及基于提取的图像特征之间的差异来生成动态特征。
接收图像的步骤可以包括以下步骤中的一个:通过使用传感器以图像之间的时间差而顺序地捕获图像来接收图像;以及通过对使用传感器捕获的图像执行图像处理来接收图像。
基于第一分数来确定生物特征信息是否被假冒的步骤可以包括:基于训练的分类器来将与第一分数对应的生物特征信息分类为假冒信息或活性信息。
第一分数与第二分数的融合的步骤可以包括:响应于确定第一分数不在用于早期判定生物特征信息被假冒的第一阈值范围内,将第一分数与第二分数进行融合。
所述方法还可以包括:从图像提取第二特征信息;以及基于提取的第二特征信息来计算第二分数,其中,融合第一分数和第二分数的步骤可以包括:当根据第一分数无法建立生物特征信息被假冒的确定时,确定是否将第一分数与第二分数进行融合;以及基于确定将第一分数与第二分数进行融合而将第一分数与第二分数进行融合。
确定是否将第一分数与第二分数进行融合的步骤可以包括:基于第一分数在第二阈值范围内来确定是否将第一分数与第二分数进行融合。
将第一分数与第二分数进行融合的步骤可以包括:将第二分数与在第二阈值范围内的第一分数进行融合。
传感器可以包括超声波指纹传感器、深度传感器和图像传感器中的任何一者或任何组合。
生物特征信息可以包括用户的指纹、虹膜和面部中的一个。
在一个总体方面,一种检测生物特征信息是否被假冒的设备,所述设备包括:传感器,被配置为感测用户的生物特征信息;通信接口,被配置为从传感器接收与用户的生物特征信息相关的静态特征和与用户的生物特征信息相关的图像;以及处理器,被配置为:接收包括静态特征和基于图像获得的动态特征的第一特征信息,基于根据第一特征信息计算的第一分数来确定生物特征信息是否被假冒,根据基于第一分数确定生物特征信息被假冒的结果来将计算的第一分数与基于从图像提取的第二特征信息计算的第二分数进行融合以获得融合分数,以及基于融合的第一分数和第二分数来确定生物特征信息被假冒。
处理器还可以被配置为:基于第一特征信息计算来第一分数,确定第一分数是否在用于早期判定生物特征信息被假冒的第一阈值范围内,响应于确定第一分数在第一阈值范围内而基于第一分数来确定生物特征信息是否被假冒,并且响应于确定第一分数在第一阈值范围内而将第一分数与第二分数的融合以及基于融合分数来确定生物特征信息被假冒省略。
处理器还可以被配置为:从感测用户的生物特征信息的传感器接收静态特征,并且基于从图像提取的图像特征之间的差异来接收动态特征。
处理器还可以被配置为:接收图像,从图像提取图像特征,并且基于提取的图像特征之间的差异来生成动态特征。
处理器还可以被配置为:通过使用传感器以图像之间的时间差而顺序地捕获图像来接收图像,或者通过对使用传感器捕获的图像执行图像处理来接收图像。
处理器还可以被配置为:基于训练的分类器来将与第一分数对应的生物特征信息分类为假冒信息或活性信息。
处理器还可以被配置为:响应于确定第一分数不在用于早期判定生物特征信息被假冒的第一阈值范围内,将第一分数与第二分数进行融合。
处理器还可以被配置为:从图像中提取第二特征信息,并基于提取的第二特征信息来计算第二分数,以及当根据第一分数无法建立生物特征信息被假冒的确定时,确定是否将第一分数与第二分数进行融合,并且基于确定将第一分数与第二分数进行融合而将第一分数与第二分数进行融合。
处理器还可以被配置为:基于第一分数在第二阈值范围内来确定是否将第一分数与第二分数进行融合。
处理器还可以被配置为:将第二分数与在第二阈值范围内的第一分数进行融合。
传感器可以包括超声波指纹传感器、深度传感器和图像传感器中的任何一者或任何组合。
生物特征信息可以包括用户的指纹、虹膜和面部中的一个。
所述设备还可以包括输出装置,输出装置被配置为:输出生物特征信息被假冒的通知。
在总体方面,一种电子装置包括:传感器,被配置为捕获用户的生物特征信息;检测设备,被配置为从传感器接收与生物特征信息相关的静态特征以及与生物特征信息相关的动态特征;以及处理器,被配置为:基于静态特征和动态特征来生成第一特征信息;基于第一特征信息来计算第一分数,并且基于第一分数来确定生物特征信息是否被假冒;以及响应于基于第一分数未确定生物特征信息被假冒,处理器还被配置为:基于第二特征信息来计算第二分数,将第一分数和第二分数进行融合,并且基于融合的分数来确定生物特征信息的假冒。
动态特征可以基于多个捕获的图像的图像特征之间的差异来提取。
处理器还可以被配置为:基于训练的分类器来将与第一分数对应的生物特征信息分类为假冒信息或活性信息。
根据以下具体实施方式、附图和权利要求,其他特征和方面将是清楚的。
附图说明
图1示出了根据一个或多个实施例的检测生物特征信息是否被假冒(spoof)的示例方法。
图2示出了根据一个或多个实施例的检测生物特征信息是否被假冒的示例设备。
图3示出了根据一个或多个实施例的获得第一特征信息的示例。
图4示出了根据一个或多个实施例的基于第一分数(score)来检测生物特征信息是否被假冒的示例。
图5示出了根据一个或多个实施例的示例第一阈值范围。
图6示出了根据一个或多个实施例的将第一分数与第二分数进行融合的示例。
图7A和图7B示出了根据一个或多个实施例的示例第二阈值范围。
图8示出了根据一个或多个实施例的用于检测生物特征信息是否被假冒的多阶段判定逻辑的示例结构。
图9示出了根据一个或多个实施例的检测生物特征信息是否被假冒的示例方法。
图10示出了根据一个或多个实施例的将检测生物特征信息是否被假冒的设备应用于终端的示例。
图11示出了根据一个或多个实施例的检测生物特征信息是否被假冒的示例设备。
贯穿附图和具体实施方式,除非另有描述或提供,否则相同的附图标记将被理解为表示相同的元件、特征和结构。附图可能不按比例,并且为了清楚、说明和方便,附图中的元件的相对尺寸、比例和描绘可能被夸大。
具体实施方式
提供以下详细描述以帮助读者获得对在此描述的方法、设备和/或系统的全面理解。然而,在此描述的方法、设备和/或系统的各种改变、修改和等同物在理解本申请的公开之后将是清楚的。例如,除了必须以特定顺序发生的操作之外,在此描述的操作的顺序仅仅是示例,并且不限于在此阐述的操作的顺序,而是可以如在理解本申请的公开之后将清楚地那样被改变。此外,为了更清楚和简明,可以省略在理解本申请的公开之后已知的特征的描述,注意的是,特征及其描述的省略也不意图承认其为常识。
在此描述的特征可以以不同的形式实现,并且将不被解释为限于在此描述的示例。相反,提供在此描述的示例仅仅是为了示出实现在此描述的在理解本申请的公开内容之后将是清楚的方法、设备和/或系统的许多可行方式中的一些。
尽管在此可以使用诸如“第一”、“第二”和“第三”的术语来描述各种构件、组件、区域、层或部分,但是这些构件、组件、区域、层或部分将不受这些术语的限制。相反,这些术语仅用于将一个构件、组件、区域、层或部分与另一构件、组件、区域、层或部分区分开。因此,在不脱离示例的教导的情况下,在此描述的示例中提及的第一构件、第一组件、第一区域、第一层或第一部分也可以被称为第二构件、第二组件、第二区域、第二层或第二部分。
贯穿说明书,当元件(诸如,层、区域或基底)被描述为“在”另一元件“上”、“连接到”或“结合到”另一元件时,该元件可以直接“在”所述另一元件“上”、“连接到”或“结合到”所述另一元件,或者可以存在介于它们之间的一个或多个其他元件。相反,当元件被描述为“直接在”另一元件“上”、“直接连接到”或“直接结合到”另一元件时,可以不存在介于它们之间的其他元件。
在此使用的术语仅用于描述各种示例,并且将不用于限制公开。除非上下文另外清楚指示,否则单数形式也意图包括复数形式。术语“包括”、“包含”和“具有”说明存在所陈述的特征、数量、操作、构件、元件和/或它们的组合,但不排除存在或添加一个或多个其他特征、数量、操作、构件、元件和/或他们的组合。
除非另有定义,否则在此使用的所有术语(包括技术术语和科学术语)具有与本公开所属领域的普通技术人员通常理解的以及在理解本申请的公开后的含义相同的含义。除非在此明确地如此定义,否则术语(诸如,在通用词典中定义的术语)将被解释为具有与它们在相关领域的上下文和本申请的公开中的含义一致的含义,并且将不以理想化或过于形式化的含义来解释。
在下文中,将参照附图详细描述示例。当参照附图描述示例时,相同的参考标号表示相同的组件,并且将省略与其相关的重复描述。
图1示出了根据一个或多个实施例的检测生物特征信息是否被假冒的示例方法。参照图1,检测生物特征信息是否被假冒的设备(下文中,称为“检测设备”)可以通过操作110至140的处理来检测生物特征信息是否被假冒。在一个示例中,假设在验证在生物特征认证处理中尝试利用生物特征信息进行用户认证的用户是否具有访问系统的权限(即,是否是系统的注册用户)的匹配处理之后执行下面描述的操作。然而,示例不限于此。
在操作110中,检测设备从传感器获得第一特征信息,第一特征信息包括与用户的生物特征信息相关的静态特征和基于与生物特征信息相关的图像来获得的动态特征。作为非限制性实例,传感器可以包括超声波指纹传感器、深度传感器和图像传感器中的任何一个或任何组合。然而,示例不限于此。在传感器之中,任何一个传感器或者两个或更多个传感器可以被使用。第一特征信息是可以直接从传感器获得的信息,并且也可以被称为例如“手工特征(hand-crafted feature,HCF)”。在下文中,术语“第一特征信息”和术语“HCF”可以互换使用。将参照图3更详细地描述静态特征、动态特征以及由检测设备获得第一特征信息的处理。
在操作120中,检测设备可以基于根据在操作110中获得的第一特征信息计算的第一分数来检测生物特征信息是否被假冒。这里,“假冒”的生物特征信息是指除了活性(或称为,活体)生物特征信息之外的假的或伪造的生物特征信息,并且可以被解释为包括作为示例的生物特征信息的复制、伪造和篡改。
在操作120中,例如,检测设备可以基于第一特征信息计算第一分数,并且确定第一分数是否落入用于早期判定生物特征信息是否被假冒的第一阈值范围内。第一分数可以与(例如)基于将第一特征信息与包括在注册数据库中的认证信息(例如,指纹图像的特征信息)进行比较的结果而计算的相似性分数对应。然而,示例不限于此。第一分数可以通过例如训练的分类器或深度神经网络来计算。然而,示例不限于此。在该示例中,第一阈值范围可以被解释为用于清楚地确定第一分数是落入生物特征信息被确定为活性信息的范围内还是落入生物特征信息被确定为假冒信息的范围内的标准。第一阈值范围可以基于例如第一阈值和第二阈值来确定,第一阈值与在第一分数的概率分布中基于第一分数将生物特征信息确定为假冒信息的最大概率对应,第二阈值与在第一分数的概率分布中基于第一分数将生物特征信息确定为活性信息的最小概率对应。
在一个示例中,响应于确定第一分数落入第一阈值范围内,检测设备可以基于第一分数来检测生物特征信息是否被假冒。检测设备可以通过使用神经网络(诸如,训练的分类器)将与第一分数对应的生物特征信息分类为假冒信息或活性信息来检测生物特征信息是否被假冒。然而,示例不限于此。响应于确定第一分数落入第一阈值范围内,可以不执行将第一分数与第二分数进行融合的操作130和基于融合分数来检测生物特征信息是否被假冒的操作140,并且可以基于第一分数来早期检测生物特征信息是否被假冒。
因此,基于第一分数来检测生物特征信息是否被假冒的处理可以对应于稍后将参照图8描述的“早期判定处理”810。检测设备可以通过小型神经网络基于相对少量的信息(诸如,第一分数)快速检测生物特征信息是否被假冒。将参照图4更详细地描述由检测设备基于第一分数来检测生物特征信息是否被假冒的示例。另外,将参照图5更详细地描述第一阈值范围。
在操作130中,如果在操作120中不能基于第一分数来确定生物特征信息是否被假冒,则检测设备可以将第一分数与第二分数进行融合。在操作130中,检测设备可以从图像中提取第二特征信息。由于第二特征信息是从图像中提取的,因此第二特征信息也可以被称为“图像特征”。检测设备可以基于第二特征信息来计算第二分数。检测设备可以确定是否将第一分数与基于从图像提取的第二特征信息计算的第二分数进行融合,并且响应于确定将第一分数与第二分数进行融合而将第一分数与第二分数进行融合。在一个示例中,检测设备可以基于第一分数是否落入其置信度被接受的第二阈值范围内来确定是否将第一分数与第二分数进行融合。将参照图6更详细地描述由检测设备将第一分数与第二分数进行融合的示例。
在操作140中,检测设备基于在操作130中获得的融合分数来检测生物特征信息是否被假冒。检测设备可以通过例如图8中示出的多阶段判定逻辑来检测生物特征信息是否被假冒。将通过图8中示出的“分数融合处理”更详细地描述由检测设备基于融合分数来检测生物特征信息是否被假冒的处理。
例如,检测设备可以通过输出装置(例如,图11中的1170)(诸如,显示器和/或扬声器)输出在操作140中检测生物特征信息是否被假冒的结果。可选择地,检测设备可以将在操作140中检测生物特征信息是否被假冒的结果与生物特征信息进行匹配,并将匹配结果输出到检测设备的外部。
例如,检测设备可以通过将参照图8描述的多阶段判定逻辑来提高具有有限资源的移动装置中的防假冒效率和准确度。
在下文中,将参照图2描述检测设备的构造。
图2示出了检测生物特征信息是否被假冒的设备的示例。
参照图2,当用户使用生物特征信息请求认证时,检测设备200可以提高检测生物特征信息是否被假冒的速度,并且可以提高确定生物特征信息是否被假冒的准确度,并且检测设备200可以通过多个阶段执行例如生成特征的处理210和确定生物特征信息是否被假冒的处理230。生成特征的处理210可以被解释为包括特征的提取。另外,确定生物特征信息是否被假冒的处理230可以被解释为包括检测生物特征信息是否被假冒。
在处理210中,检测设备200可以提取例如与用户的生物特征信息相关的静态特征和基于与生物特征信息相关的图像的动态特征。静态特征可以包括从传感器201可直接获得的物理度量(诸如,以氧饱和度、阻抗、面部深度信息、电阻、温度(体温)、心率等为例)。然而,示例不限于此。静态特征也可以在其包括由传感器201感测的物理度量的意义上被称为“物理特征”。各个传感器201可以感测不同的物理特征。在一个示例中,当传感器201是超声波指纹传感器时,传感器201可以获得指纹图像数据和作为指纹的物理特征的阻抗信息。由于阻抗根据介质的特性而变化,所以阻抗信息根据伪造指纹的材料而变化。因此,可以利用阻抗信息来确定伪造指纹。可选择地,当传感器201是图像传感器时,可以利用通过传感器201获得的多条图像数据之间的差异作为确定伪造指纹的特征。以上述方式获得的图像数据可以用作静态特征或动态特征。
在一个示例中,传感器201可以包括面部识别传感器或虹膜扫描传感器,但不限于此。
在一个示例中,传感器201可以直接获得图像并输出基于分别从图像提取的图像特征之间的差异而计算的动态特征。可选择地,传感器201可以通过拍摄或捕获来获得与生物特征信息相关的图像。在该示例中,通过传感器201获得的图像可以是例如指纹图像、眼睛(虹膜)图像和/或面部图像。通过传感器201获得的图像可以是全图像或部分图像。
当传感器201获得图像时,检测设备200可以从图像分别提取图像特征,并且基于图像特征之间的差异生成动态特征。在该示例中,检测设备200可以通过使用用于图像处理的各种特征检测技术而不是通过单独的神经网络来从图像计算动态特征。由于以上述方式获得的动态特征不必通过单独的神经网络再次提取,因此可以减少用于特征提取的时间。在处理210中提取的静态特征和动态特征可以对应于上述第一特征信息(即,HCF 213)。
另外,在处理210中,检测设备200可以获得图像216。图像216可以是例如通过传感器201的检测获得的图像或单独获得的图像。
当在处理210中生成HCF 213时,检测设备200可以在处理230中通过利用HCF 213来检测生物特征信息是否被假冒。在该示例中,检测设备200可以在处理230中通过利用HCF213通过多个阶段(例如,两个阶段)来确定生物特征信息是否被假冒。
在第一阶段,检测设备200可以使用小特征信息和小型网络来针对HCF213快速确定生物特征信息是否被假冒。在一个示例中,在操作203中,检测设备200可以通过HCF深度神经网络(DNN)231基于HCF 213来计算HCF分数232,并且基于HCF分数232来检测生物特征信息是否被假冒。DNN可以包括多个层。例如,深度神经网络231可以包括输入数据被施加到的输入层、用于输出通过基于训练和输入数据的预测获得的结果的输出层、以及用于在输入层与输出层之间执行神经网络操作的多个隐藏层。
例如,模式识别或分析的技术自动化已经通过处理器实现的神经网络模型作为专用计算架构来实现,处理器实现的神经网络模型在大量训练之后可以提供输入模式与输出模式之间的计算上直观的映射或输入模式的模式识别。生成这样的映射或执行这样的模式识别的训练的能力可以被称为神经网络的学习能力。这样的训练的能力还可以使得专用计算架构能够将这样的输入模式或输入模式的一部分分类为属于一个或多个预定组的成员。此外,由于专门的训练,因此这种专门训练的神经网络可以具有针对例如神经网络可能未针对其进行训练的输入模式生成相对准确或可靠的输出的泛化能力。
在这样的示例中,DNN 231可以是全连接网络、卷积神经网络、递归神经网络等中的一个或多个,或者可以根据用于处理信息的算法包括分别具有这样的全连接、卷积连接或递归连接的不同或重叠的神经网络部分。作为非限制性示例,DNN 231可以被配置为通过基于深度学习以非线性关系将输入数据和输出数据相互映射来执行对象分类、对象识别、语音识别和图像识别。作为非限制性示例,这样的深度学习指示用于解决问题(诸如,与来自数据集的自动图像或语音识别相关的问题)的处理器实现的机器学习方案。在此,注意的是,针对示例或实施例使用术语“可以”(例如,示例或实施例可以包括或实现什么)意味着存在包括或实现这样的特征的至少一个示例或实施例,而所有示例和实施例不限于此。
检测设备200可以基于HCF分数232来确定生物特征信息是活性信息还是假冒信息。HCF分数232对应于上述第一分数。因此,术语“HCF分数”和术语“第一分数”可以互换使用。与图像216相比,HCF 213具有相对少量的信息。因此,仅当在第一阶段中基于HCF分数232来清楚地确定生物特征信息是活性信息还是假冒信息时,检测设备200才可以检测生物特征信息是否被假冒。因此,基于HCF分数232立即检测生物特征信息是否被假冒的处理可以被称为“早期判定”处理。
在一个示例中,如果在第一阶段中不可能基于HCF分数232清楚地确定生物特征信息是否被假冒,则检测设备200可以延迟关于生物特征信息是否被假冒的确定,并将HCF分数232发送到通过将分数进行融合来检测生物特征信息是否被假冒的后续处理。在基于图像216来检测生物特征信息是否被假冒的后续处理中,可以利用与在早期判定处理中未确定生物特征信息是否被假冒的HCF分数232对应的HCF数据213。HCF 213包含与图像216不同维度的信息,因此,可以与图像216具有互补关系。因此,检测设备200可以通过HCF 213与图像216之间的相互补充来提高检测生物特征信息是否被假冒的速度和假冒检测的准确度。在该示例中,图像216可以是例如在处理210中由图像传感器获得的多条图像数据,或者单独的测试图像。作为示例,测试图像可以是指纹图像。通过HCF 213与图像216之间(更具体地,HCF分数232与图像分数234之间)的相互补充来检测生物特征信息是否被假冒的处理230可以被称为“多模态分数融合”或“分数融合”处理。
在处理230中,检测设备200可以通过作为示例的图像DNN 233的执行从图像216提取图像特征,并且基于图像特征来计算图像分数234。图像特征可以对应于上述第二特征信息。图像分数234对应于上述第二分数。因此,术语“图像分数”和术语“第二分数”可以互换使用。在操作235中,检测设备200可以通过将HCF分数232与图像分数234进行融合来计算融合分数。在该示例中,为了提高性能,检测设备200可以从自早期判定处理接收的HCF分数232之中排除其置信度比预定标准度低的HCF分数232,从而使用其置信度高于或等于预定标准的HCF分数232来执行分数融合。在该示例中,用于确定HCF分数232的置信度的预定标准可以是例如第二阈值范围。在操作205中,检测设备200可以基于通过融合235计算的融合分数来检测生物特征信息是活性的还是假冒的。将参照图8更详细地描述处理230中的多阶段判定逻辑。
图3示出了获得第一特征信息的示例。参照图3,示出了第一特征信息的配置。第一特征信息对应于图2和图3的HCF 213。
检测设备可以从传感器(例如,图2的传感器201)获得物理特征301和图像303。在一个示例中,传感器可以包括感测与用户的生物特征信息相关的物理特征301的物理传感器和捕获图像303的生物特征传感器(作为非限制性实例,超声波指纹传感器、虹膜扫描仪或面部识别传感器)。图像303可以是全图像(例如,全指纹图像、全面部图像或全虹膜图像)或部分图像(例如,部分指纹图像、部分面部图像或部分虹膜图像)。在一个示例中,图像303可以对应于图2的图像216。
检测设备可以从物理特征301获得静态特征310。静态特征310可以是可由传感器获得的物理特征301(诸如,氧饱和度、阻抗、温度等)。此外,检测设备可以基于从图像303提取的图像特征305之间的差异或变化来获得动态特征330。
检测设备可以通过将静态特征310和动态特征330进行组合来生成HCF213。静态特征310和动态特征330可以用作彼此互补的元素。换句话说,将静态特征310和动态特征330进行组合可以提高第一特征信息(例如,HCF 213)的准确度。
例如,检测设备可以通过使静态特征310的维度与动态特征330的维度相同并且然后将静态特征310和动态特征330进行组合来生成HCF 213。这里,“组合”可以对应于例如级联或计算加权和。
在一个示例中,检测设备可以通过将与静态特征310对应的嵌入向量和与动态特征330对应的嵌入向量级联或相加来生成HCF 213。在一个示例中,如果与静态特征310对应的嵌入向量是10维的并且与动态特征330对应的嵌入向量是100维的,则HCF 213可以是110维的信息。
如上面参照图2所述,HCF 213可以用于早期判定检测确定。当与基于图像216来确定生物特征信息是否被假冒的神经网络(例如,图2的图像DNN233)相比时,基于HCF 213来确定生物特征信息是否被假冒的神经网络(例如,图2的HCF DNN 231)可以仅需处理相对少量的信息,因此,可以需要更少的时间来确定生物特征信息是否被假冒。另外,通过将静态特征310和动态特征330进行组合来生成HCF 213。由于静态特征310对应于可直接从传感器获得的信息,因此可以不需要用于特征提取的附加时间。当与基于图像216来确定生物特征信息是否被假冒的神经网络(例如,图2的图像DNN233)相比时,用于提取动态特征330的特征提取方案可以仅需处理相对少量的信息。
通过检测设备获得动态特征330的处理的示例如下。
检测设备可以分别从图像303提取图像特征305。检测设备可以使用用于图像处理的特征提取方案来提取图像特征305。这里,与由图2的图像DNN 233提取的图像特征不同,图像特征305可以使用以下各种特征提取方案而不是深度神经网络在短时间内被提取。图像特征305可以对应于图4中示出的手工图像特征。特征提取方案可以包括例如通过使信噪比(SNR)归一化来提取特征向量的方案、提取局部二元模式(local binary pattern,LBP)特征的方案、提取偏斜(skew)的方案、测量图像质量的方案、提取定向梯度直方图(HoG)特征的方案以及提取表示彼此级联的一组图像像素的斑点的方案。
检测设备可以从传感器获得图像303。生物特征传感器可以通过捕获其间具有时间差的用户的生物特征信息来生成图像303。此时,图像303可以是例如在验证尝试认证的用户是否具有访问权限的匹配处理中获得的图像(例如,第一图像),以及以其后的时间差在检测生物特征信息是否被假冒的防假冒(ASP)处理中获得的图像(例如,第N图像)。在这种情况下,N可以是2。
可选择地,生物传感器可以使用通过捕获用户的生物特征信息而生成的图像和通过图像处理转换图像而获得的图像,来生成图像303。例如,生物特征传感器可以通过对在验证尝试认证的用户是否具有访问预定义或预定信息的权限的匹配处理中获得的第一图像执行预处理(例如,噪声去除或锐度增强),来生成第二图像。
图4示出了根据一个或多个实施例的通过第一分数检测生物特征信息是否被假冒的示例。
参照图4,示出了基于从传感器201获得的HCF 213通过分类器410来检测生物特征信息是否被假冒的处理。
检测设备可以通过将HCF 213施加到例如分类器410来检测生物特征信息是否被假冒,其中,HCF 213是基于作为检测目标的生物特征信息(例如,指纹)的物理特征301和图像特征305被获得。在该示例中,图像特征305可以是例如从单个图像提取的图像特征,或者基于图像之间的差异提取的动态特征。
在一个示例中,分类器410可以基于HCF 213来计算第一分数,并确定第一分数是否落入第一阈值范围内。响应于确定第一分数落入第一阈值范围内,分类器410可以将与第一分数对应的生物特征信息分类为活性信息或假冒信息。在这种情况下,分类器410可以通过基于第一分数执行活性或假冒之间的二元判定来确定生物特征信息是否被假冒。第一分数可以通过回归神经网络而不是分类器410来计算。当基于HCF 213来计算的第一分数在第一阈值范围之外时,检测设备可以将第一分数发送到多模态分数融合处理以进行更具体的确定。将参照图5详细描述第一阈值范围。
图5示出了根据一个或多个实施例的第一阈值范围的示例。
参照图5,示出了示出与假冒信息对应的第一分数的概率分布的曲线图507和示出与活性信息对应的第一分数的概率分布的曲线图509。
在一个示例中,可以假设第一特征信息可以被表示为形式(form)501、503和505,并且形式501中的“3”对应于假冒信息,并且形式505中的“5”对应于活性信息。如果可以清楚地确定与生物特征信息对应的第一分数是落入生物特征信息被确定为活性信息的范围内还是落入生物特征信息被确定为假冒信息的范围内(如在形式501和505中那样),则检测设备可以基于第一分数来立即检测生物特征信息是否被假冒。
然而,如果难以清楚地确定信息是“3”还是“5”(如在形式503中那样),换句话说,如果不可能清楚地确定与信息对应的第一分数是落入生物特征信息被确定为活性信息的范围内还是落入生物特征信息被确定为假冒信息的范围内,则检测设备可以不立即基于第一分数来确定生物特征信息是否被假冒。
在一个示例中,第一阈值范围可以对应于可以基于第一分数来清楚地确定生物特征信息是否被假冒的概率范围。如在形式503中那样,第一阈值范围用于与未确定生物特征信息是否被假冒(“未判定”)的第一分数区分开。如果不立即基于第一分数来做出生物特征信息是否被假冒的确定,则检测设备可以将第一分数发送到后续的多模态分数融合处理。
在图5中,曲线图507示出了生物特征信息被确定为假冒信息的第一分数的概率分布,并且曲线图509示出了生物特征信息被确定为活性信息的第一分数的概率分布。在该示例中,曲线图507中的拒绝阈值520可以对应于第一分数被确定为落入生物特征信息被清楚地确定为假冒信息的范围内的概率的最大值(Max(ScoreSpoof))。另外,曲线图509中的接受阈值540可以对应于第一分数被确定为落入生物特征信息被清楚地确定为活性信息的范围内的概率的最小值(Min(ScoreLive))。
第一阈值范围可以基于拒绝阈值520和接受阈值540被确定,拒绝阈值520与第一分数被确定为落入生物特征信息被确定为假冒信息的范围内的最大概率(Max(ScoreSpoof))对应,接受阈值540与第一分数被确定为落入生物特征信息被确定为活性信息的范围内的最小概率(Min(ScoreSpoof))对应。第一阈值范围可以与小于或等于曲线图507中的拒绝阈值520且大于或等于曲线图509中的接受阈值540的区间对应。在曲线图507中,如果第一分数落入小于或等于拒绝阈值520的区间530内,则可以确定第一分数落入生物特征信息被清楚地确定为假冒信息的范围内。此外,在曲线图509中,如果第一分数落入大于或等于接受阈值540的区间550内,则第一分数可以被确定为落入生物特征信息被清楚地确定为活性信息的范围内。
因此,如果第一分数落入区间530和区间550内,则检测设备可以确定第一分数落入第一阈值范围内。不同地,如果第一分数落入区间510内,则检测设备可以确定第一分数不落入第一阈值范围内。
图6示出了根据一个或多个实施例的将第一分数与第二分数进行融合的示例。
参照图6,示出了分数进行融合处理。
检测设备可以通过将由HCF DNN 231基于HCF 213计算的HCF分数232与由图像DNN233基于图像216计算的图像分数234进行融合来计算融合的最终分数650。
如上所述,由于HCF 213包含与图像216不同维度的信息,因此当一起使用HCF分数232和图像分数234来做出生物特征信息是否被假冒的确定时,HCF分数232与图像分数234之间的相互补充可以提高确定生物特征信息是否被假冒的速度和准确度。
当检测设备在操作235中将分数进行融合或结合时,如果不太准确的分数被融合,则融合的最终分数650的准确度会低。因此,检测设备可以将HCF分数232与预定标准进行比较,从而将HCF分数232分类为其置信度低于预定标准的分数610(下文中,低置信度分数610)和其置信度高于预定标准的分数630(下文中,高置信度分数630)。在该示例中,用于确定HCF分数232的置信度的预定标准可以是例如第一分数的置信度被接受的第二阈值范围。
在操作235中,检测设备可以排除低置信度分数610,并且将高置信度分数630与图像分数234进行融合或结合。由此,检测设备可以防止由于分数融合而可能发生的性能下降。
在该示例中,用于确定HCF分数232是否具有高置信度的预定标准可以是第二阈值范围。在一个示例中,检测设备可以例如基于HCF分数232是否落入其置信度被接受的第二阈值范围内来确定是否将HCF分数232与图像分数234进行融合。在操作235中,检测设备可以将落入第二阈值范围内的HCF分数232(例如,高置信度分数630)与图像分数234进行融合。这里,第二阈值范围可以例如基于与在第一分数的概率分布中错误接受率(FAR)和错误拒绝率(FRR)匹配的点对应的第三阈值来确定。将参照图7详细描述第二阈值范围。
在一个示例中,如果HCF分数232都在第二阈值范围之外,则检测设备可以不执行与图像分数234的融合,并且可以仅基于图像分数234来检测生物特征信息是否被假冒。
在一个示例中,操作235可以通过在由HCF DNN 231计算HCF分数232之前生成的嵌入向量与在由图像DNN 233计算图像分数234之前生成的嵌入向量之间的融合来执行。在该示例中,嵌入向量的融合可以由除了HCF DNN231和图像DNN 233之外的执行融合的单独的神经网络来执行。在将嵌入向量进行融合的情况下,嵌入向量和关于嵌入向量是具有高置信度还是低置信度的信息可以被一起发送到所述单独的神经网络。
图7A和图7B示出了第二阈值范围的示例。
参照图7A,曲线图700示出了生物特征信息被确定为假冒信息的分数的分布以及生物特征信息被确定为活性信息的分数的分布的相应的曲线图。在曲线图700中,示出生物特征信息被确定为假冒信息的第一分数的分布的曲线图701和示出生物特征信息被确定为活性信息的第一分数的分布的曲线图703被示出。
图701可以与生物特征信息被确定为假冒信息的第一分数的概率分布对应,并且图703可以与生物特征信息被确定为活性信息的第一分数的概率分布对应。在该示例中,在曲线图701的区间730中,可以确定第一分数落入生物特征信息被确定为假冒信息的具有高置信度的范围内。此外,在图703的区间750中,第一分数可以被确定为落入生物特征信息被确定为的活性信息的具有高置信度的范围内。区间730和750可以是置信度被接受的区间(即,落入第二阈值范围内的区间)。
另一方面,在中间区间710中,可能发生频繁的错误接受(FA)和频繁的错误拒绝(FR),尽管第一分数落入生物特征信息被确定为假冒信息的区间内,但是错误接受(FA)错误地接受生物特征信息作为活性信息,尽管第一分数落入生物特征信息被确定为活性信息的区间内,但是错误拒绝(FR)错误地拒绝生物特征信息作为假冒信息。区间710可以是不落入第二阈值范围内的区间(即,在第二阈值范围之外的区间)。在该示例中,FA和FR可以发生在图7B的曲线图770中FAR和FRR匹配的点处(即,发生在等错误率(EER)(例如,0.22)的点处)。FAR和FRR可以成反比。第二阈值范围可以基于曲线图701中的FAR为0.22的点705和曲线图703中的FRR为0.22的点707来确定。第二阈值范围可以基于例如与FAR和FRR匹配的点对应的第三阈值(例如,0.22)来确定。
图8示出了根据一个或多个实施例的检测生物特征信息是否被假冒的多阶段判定逻辑的结构的示例。
参照图8,示出了由检测设备800执行的级联分数融合处理。
响应于特征提取的完成,检测设备800可以通过两个阶段(早期判定阶段810和分数融合阶段830)来确定生物特征信息是否被假冒。
在早期判定阶段810中,检测设备800可以通过将HCF 213施加到HCF DNN 231来计算HCF分数232,并且在活性信息813、未判定信息815和假冒信息817之中确定HCF分数232所落入的范围。HCF DNN 231可以是神经网络,该神经网络基于HCF 213计算HCF分数232,并且将HCF分数232分类为活性信息813、未判定信息815或假冒信息817。HCF DNN 231可以是例如被训练以执行上述早期判定的轻量化网络,或者可以是上述分类器410。
在早期判定阶段810中,检测设备800使用轻量化网络231来检测生物特征信息是否被假冒。因此,当与用于分数融合830的图像DNN 233相比时,信息的量和/或网络231的容量受到限制。因此,如果在早期判定阶段810中判定能够通过HCF DNN 231清楚地确定生物特征信息是否被假冒,则检测设备800确定生物特征信息是否被假冒,如果不,则延迟将在分数融合阶段830中确定的生物特征信息是否被假冒的确定。
在分数融合阶段830中,在操作235中,检测设备可以通过将基于HCF 213计算的HCF分数232与图像分数234进行融合或结合来最终确定生物特征信息是否被假冒。在分数融合阶段830中,检测设备可以仅将高置信度HCF分数232与图像分数234融合,如上面参照图6所述。
图9示出了根据一个或多个实施例的检测生物特征信息是否被假冒的示例方法。图9中的操作可以以所示的顺序和方式来执行,但是在不脱离描述的说明性示例的精神和范围的情况下,可以改变一些操作的顺序或者省略一些操作。图9中示出的许多操作可以并行或同时执行。图9的一个或多个框以及框的组合可以由执行指定功能的基于专用硬件的计算机或者专用硬件和计算机指令的组合来实现。除了下面的图9的描述之外,图1至图8的描述也适用于图9,并且通过引用包含于此。因此,这里可以不重复以上描述。
参照图9,示出了由检测设备通过操作905至955检测生物特征信息是否被假冒的处理。
在操作905中,检测设备可以接收由传感器感测的信息。在一个示例中,检测设备可以接收物理值(诸如,但不限于氧饱和度、阻抗、面部深度信息、电阻、温度(体温)、心率和/或类似的图像信息)。
在操作910中,检测设备可以从接收的信息提取HCF。
在操作915中,检测设备可以通过HCF DNN从提取的HCF计算HCF分数。
在操作920中,检测设备可以基于计算的HCF分数来执行早期判定处理。在操作925中,检测设备可以通过基于HCF分数确定生物特征信息是活性信息还是假冒信息来检测生物特征信息是否被假冒。检测设备可以将在早期判定操作920中未确定生物特征信息是活性信息还是假冒信息的信息发送到后续的处理(即,融合判定操作930)。
在操作930中,检测设备可以确定接收的信息是否具有其置信度高于预设标准的分数。如果信息具有其置信度高于预设标准的分数,则检测设备可以将高置信度分数发送到融合操作945。在该示例中,可以从融合操作中排除低置信度分数。
另外,检测设备可在操作935中加载图像。在一个示例中,操作910和935可以同时执行或以预定的时间间隔执行。在操作940中,检测设备可以通过图像DNN计算图像分数。
在操作945中,检测设备可以通过将高置信度分数与图像分数进行融合来计算一个最终分数。
在操作950中,检测设备可以基于计算出的最终分数来确定生物特征信息是活性信息还是假冒信息。在操作955中,检测设备可以检测生物特征信息是否被假冒。
图10示出了将用于检测生物特征信息是否被假冒的设备应用于终端的示例。
参照图10,示出了执行上述早期判定处理和分数融合处理的终端。终端可以包括上述检测设备,或者可以包括检测设备的功能。
终端可以从匹配器获得图像1001,该匹配器执行验证尝试使用生物特征信息(例如,指纹)进行用户认证的用户是否具有访问系统的权限(即,是否是系统的注册用户)的匹配处理。另外,在匹配处理之后,终端可以从ASP获得确定生物特征信息是活性信息还是假冒信息的图像1003。图像1001与图像1003之间可以具有预定的时间差。
另外,终端可以通过将从传感器获得的HCF 1005施加到HCF DNN 1010来计算第一分数。在该示例中,终端可以向HCF DNN 1010发送通过滤波器1030进行滤波从图像1001和图像1003提取的动态特征,或者可以向图像DNN 1035发送从图像1001和图像1003提取的第二特征信息。
在一个示例中,在操作1025中,响应于确定第一分数落入第一阈值范围内,终端可以通过接通开关1020基于第一分数来早期确定生物特征信息是否被假冒。在该示例中,用于确定第一阈值范围的阈值(例如,第一阈值和第二阈值)(Th)1015可以根据最终判定1045的结果通过反馈来调整,这将在后面描述,或者可以以用户定制的方式来调整。当阈值1015被调整时,确定是否执行早期判定处理1025可以通过基于阈值1015接通/关断开关1020来激活。
当早期判定处理1025未被执行时,检测设备可以基于发送到图像DNN 1035的第二特征信息来计算第二分数。在该示例中,在操作1040中,终端可以通过接通开关1050将第一分数与第二分数进行融合。在操作1045,终端可以通过第一分数和第二分数的融合来执行最终判定。
在一个示例中,可以通过控制变量接通/关断开关1020以执行早期判定1025和分数融合处理1040来确定是否激活假冒检测功能。在该示例中,终端可以参照最终判定1045的结果以在早期判定1025中激活假冒检测功能。
此外,在一个示例中,可以通过自适应学习为每个终端得到第一阈值范围和/或第二阈值范围的最佳阈值,并且如果早期判定处理1025和分数融合处理1040有助于改善性能,则用于执行早期判定处理1025和分数融合处理1040的功能可以被激活。
图11示出了检测生物特征信息是否被假冒的设备的示例。参照图11,检测生物特征信息是否被假冒的装置1100(下文中,“检测设备”)可以包括传感器1110、通信接口1150、处理器1130、输出装置1170和存储器1190。传感器1110、通信接口1150、处理器1130、输出装置1170和存储器1190可以通过通信总线1105彼此连接。
传感器1110感测用户的生物特征信息。作为非限制性实例,传感器1110可以包括超声波指纹传感器、深度传感器、图像传感器、虹膜扫描仪和面部识别传感器中的任何一个或任何组合。然而,示例不限于此。作为非限制性实例,生物特征信息可以包括用户的指纹、虹膜和面部中的任何一个。然而,示例不限于此。
通信接口1150从传感器1110接收与用户的生物特征信息相关的静态特征和与生物特征信息相关的图像。在一个示例中,通信接口1150可以将从传感器1110接收的生物特征信息和/或与生物特征信息相关的图像输出到检测设备1100的外部。另外,通信接口1150可以将由处理器1130检测到的关于生物特征信息是否被假冒的信息与生物特征信息一起发送到另一装置,或者将关于生物特征信息是否被假冒的信息与生物特征信息一起输出到检测设备1100的外部。在该示例中,生物特征信息以及生物特征信息是否被假冒可以彼此匹配。
处理器1130获得包括通过通信接口1150接收的静态特征和基于图像来提取的动态特征的第一特征信息。处理器1130基于根据第一特征信息计算的第一分数来检测生物特征信息是否被假冒。此外,处理器1130基于根据第一分数确定生物特征信息是否被假冒的结果,将第一分数与基于从图像提取的第二特征信息计算的第二分数进行融合。处理器1130基于融合分数来检测生物特征信息是否被假冒。
然而,处理器1130的操作不限于此。可选择地,处理器1130可以与上面参照图1至图10描述的操作中的至少一个一起执行上述操作。
处理器1130可以是由包括具有用于执行期望操作的物理结构的电路的硬件实现的神经网络或检测设备。在一个示例中,期望的操作可以包括包含在程序中的指令或代码。在一个示例中,硬件实现的检测设备可以包括微型处理器、中央处理器(CPU)、图形处理器(GPU)、处理器核、多核处理器、多处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)和神经处理单元(NPU)。
处理器1130可以执行程序并控制检测设备1100。将由处理器1130执行的程序代码可以存储在存储器1190中。
在此描述的设备、单元、模块、装置和其他组件由硬件组件实现。可以用于执行本申请中描述的操作的硬件组件的示例在适当的情况下包括控制器、传感器、生成器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器以及被配置为执行本申请中描述的操作的任何其他电子组件。在其他示例中,执行本申请中描述的操作的硬件组件中的一个或多个由计算硬件(例如,由一个或多个处理器或计算机)实现。处理器或计算机可以由一个或多个处理元件(诸如,逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器或被配置为以定义的方式响应并执行指令以实现期望结果的任何其他装置或装置的组合)实现。在一个示例中,处理器或计算机包括存储由处理器或计算机执行的指令或软件的一个或多个存储器或连接到存储由处理器或计算机执行的指令或软件的一个或多个存储器。由处理器或计算机实现的硬件组件可以执行指令或软件(诸如,操作系统(OS)和在OS上运行的一个或多个软件应用),以执行本申请中描述的操作。硬件组件还可以响应于指令或软件的执行而访问、操纵、处理、创建和存储数据。为了简单,可以在本申请中描述的示例的描述中使用单数术语“处理器”或“计算机”,但是在其他示例中,可以使用多个处理器或计算机,或者处理器或计算机可以包括多个处理元件,或多种类型的处理元件,或两者。例如,单个硬件组件或者两个或更多个硬件组件可以由单个处理器、或两个或更多个处理器、或处理器和控制器来实现。一个或多个硬件组件可以由一个或多个处理器或者处理器和控制器实现,并且一个或多个其他硬件组件可以由一个或多个其他处理器或另外的处理器和另外的控制器实现。一个或多个处理器或者处理器和控制器可以实现单个硬件组件或者两个或更多个硬件组件。硬件组件可以具有不同处理配置中的任何一个或多个,不同处理配置的示例包括单个处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令单数据(MISD)多处理和多指令多数据(MIMD)多处理。
输出装置1170可以输出由处理器1130检测到的生物特征信息是否被假冒。输出装置1170可以包括例如显示器、警报器、扬声器或用于通知用户生物特征信息是否被假冒的其他各种类型的输出装置。
存储器1190可以存储由传感器1110感测到的用户的生物特征信息(即,与用户的生物特征信息相关的静态特征和通过捕获生物特征信息获得的图像)。此外,存储器1190可以存储由处理器1130获得的第一特征信息和/或第二特征信息。存储器1190可以存储由处理器1130计算的第一分数、第二分数和融合分数。另外,存储器1190可以通过将生物特征信息与生物特征信息是否被假冒彼此匹配来存储由处理器1130检测到生物特征信息是否被假冒以及生物特征信息。
存储器1190可以存储在上述处理器1130的处理过程中生成的各种信息。另外,存储器1190可以存储各种数据和程序。存储器1190可以包括易失性存储器或非易失性存储器。存储器1190可以包括大容量存储介质(诸如,硬盘)以存储各种数据。
用于控制计算硬件(例如,一个或多个处理器或计算机)以实现硬件组件并执行如上所述的方法的指令或软件可以被编写为计算机程序、代码段、指令或它们的任何组合,用于单独地或共同地指示或配置一个或多个处理器或计算机作为机器或专用计算机操作,以执行由硬件组件和如上所述的方法执行的操作。在一个示例中,指令或软件包括由一个或多个处理器或计算机直接执行的机器代码(诸如,由编译器产生的机器代码)。在另一示例中,指令或软件包括由一个或多个处理器或计算机使用解释器执行的更高级代码。可以基于附图中示出的框图和流程图以及说明书中的对应的描述使用任何编程语言来编写指令或软件,附图中示出的框图和流程图以及说明书中的对应的描述公开了用于执行由如上所述的硬件组件和方法执行的操作的算法。
用于控制计算硬件(例如,一个或多个处理器或计算机)以实现硬件组件并执行如上所述的方法的指令或软件以及任何相关的数据、数据文件和数据结构可以被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中或记录、存储或固定在一个或多个非暂时性计算机可读存储介质上。非暂时性计算机可读存储介质的示例包括只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储器、硬盘驱动器(HDD)、固态驱动器(SSD)、卡型存储器(诸如,多媒体卡或微型卡(例如,安全数字(SD)或极限数字(XD)))、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及被配置为以非暂时性方式存储指令或软件以及任何相关的数据、数据文件和数据结构并向一个或多个处理器或计算机提供指令或软件以及任何相关的数据、数据文件和数据结构使得一个或多个处理器或计算机可以执行指令的任何其他装置。在一个示例中,指令或软件以及任何相关的数据、数据文件和数据结构分布在联网的计算机系统上,使得指令和软件以及任何相关的数据、数据文件和数据结构由一个或多个处理器或计算机以分布的方式存储、访问和执行。
虽然本公开包括特定示例,但是在理解本申请的公开之后将清楚的是,在不脱离权利要求及其等同物的精神和范围的情况下,可以在这些示例中进行形式和细节上的各种改变。在此描述的示例将仅以描述性含义解释,而不是为了限制的目的。每个示例中的特征或方面的描述将被认为适用于其他示例中的类似特征或方面。如果描述的技术以不同的顺序执行,和/或如果描述的系统、架构、装置或电路中的组件以不同的方式组合,和/或由其他组件或其等同物替换或补充,则合适的结果可以被实现。因此,公开的范围不是由具体实施方式限定,而是由权利要求及其等同物限定,并且在权利要求及其等同物的范围内的所有变化将被解释为包括在公开中。
Claims (26)
1.一种生物特征信息假冒检测方法,所述方法包括:
从传感器接收第一特征信息,第一特征信息包括与用户的生物特征信息相关的静态特征和基于与生物特征信息相关的图像而获得的动态特征;
基于根据第一特征信息计算的第一分数来确定生物特征信息是否被假冒;
根据基于第一分数来确定生物特征信息是否被假冒的结果,将计算的第一分数与根据从图像提取的第二特征信息计算的第二分数进行融合;以及
基于融合的第一分数和第二分数来确定生物特征信息是否被假冒。
2.如权利要求1所述的方法,其中,基于第一分数来确定生物特征信息是否被假冒的步骤包括:
基于第一特征信息计算第一分数;
确定第一分数是否在用于早期判定生物特征信息是否被假冒的第一阈值范围内;以及
响应于确定第一分数在第一阈值范围内,基于第一分数来确定生物特征信息是否被假冒,
其中,响应于确定计算的第一分数落入第一阈值范围内,不执行计算的第一分数与第二分数的融合以及基于融合的分数来检测生物特征信息是否被假冒。
3.如权利要求1所述的方法,其中,接收第一特征信息的步骤包括:
从感测用户的生物特征信息的传感器接收静态特征;以及
基于从图像提取的图像特征之间的差异来接收动态特征。
4.如权利要求3所述的方法,其中,接收动态特征的步骤包括:
接收图像;
从图像提取图像特征;以及
基于提取的图像特征之间的差异来生成动态特征。
5.如权利要求4所述的方法,其中,接收图像的步骤包括以下步骤中的一个:
通过使用传感器以图像之间的时间差而顺序地捕获图像来接收图像;以及
通过对使用传感器捕获的图像执行图像处理来接收图像。
6.如权利要求1所述的方法,其中,基于第一分数来确定生物特征信息是否被假冒的步骤包括:基于训练的分类器来将与第一分数对应的生物特征信息分类为假冒信息或活性信息。
7.如权利要求1所述的方法,其中,第一分数与第二分数的融合的步骤包括:响应于确定第一分数不在用于早期判定生物特征信息是否被假冒的第一阈值范围内,将第一分数与第二分数进行融合。
8.如权利要求1所述的方法,还包括:
从图像提取第二特征信息;以及
基于提取的第二特征信息来计算第二分数,
其中,融合第一分数和第二分数的步骤包括:
当基于第一分数判定不能够基于第一分数确定生物特征信息是否被假冒时,确定是否将第一分数与第二分数进行融合;以及基于确定将第一分数与第二分数进行融合而将第一分数与第二分数进行融合。
9.如权利要求8所述的方法,其中,确定是否将第一分数与第二分数进行融合的步骤包括:基于第一分数在第二阈值范围内来确定是否将第一分数与第二分数进行融合。
10.如权利要求9所述的方法,其中,将第一分数与第二分数进行融合的步骤包括:将第二分数与在第二阈值范围内的第一分数进行融合。
11.如权利要求1至权利要求10中的任一项所述的方法,其中,传感器包括超声波指纹传感器、深度传感器和图像传感器中的任何一者或任何组合。
12.如权利要求1至权利要求10中的任一项所述的方法,其中,生物特征信息包括用户的指纹、虹膜和面部中的一个。
13.一种存储指令的非暂时性计算机可读存储介质,所述指令在由处理器执行时使处理器执行根据权利要求1至权利要求12中的任一项所述的方法。
14.一种检测生物特征信息是否被假冒的设备,所述设备包括:
传感器,被配置为感测用户的生物特征信息;
通信接口,被配置为从传感器接收与用户的生物特征信息相关的静态特征和与用户的生物特征信息相关的图像;以及
处理器,被配置为:
接收包括静态特征和基于图像获得的动态特征的第一特征信息,
基于根据第一特征信息计算的第一分数来确定生物特征信息是否被假冒,
根据基于第一分数确定生物特征信息是否被假冒的结果来将计算的第一分数与基于从图像提取的第二特征信息计算的第二分数进行融合以获得融合分数,以及
基于融合的第一分数和第二分数来确定生物特征信息是否被假冒。
15.如权利要求14所述的设备,其中,处理器还被配置为:
基于第一特征信息计算来第一分数,
确定第一分数是否在用于早期判定生物特征信息是否被假冒的第一阈值范围内,
响应于确定第一分数在第一阈值范围内,基于第一分数来确定生物特征信息是否被假冒,并且
响应于确定第一分数在第一阈值范围内,将第一分数与第二分数的融合以及基于融合分数来确定生物特征信息是否被假冒省略。
16.如权利要求14所述的设备,其中,处理器还被配置为:从感测用户的生物特征信息的传感器接收静态特征,并且基于从图像提取的图像特征之间的差异来接收动态特征。
17.如权利要求16所述的设备,其中,处理器还被配置为:接收图像,从图像提取图像特征,并且基于提取的图像特征之间的差异来生成动态特征。
18.如权利要求16所述的设备,其中,处理器还被配置为:通过使用传感器以图像之间的时间差而顺序地捕获图像来接收图像,或者通过对使用传感器捕获的图像执行图像处理来接收图像。
19.如权利要求14所述的设备,其中,处理器还被配置为:基于训练的分类器来将与第一分数对应的生物特征信息分类为假冒信息或活性信息。
20.如权利要求14所述的设备,其中,处理器还被配置为:响应于确定第一分数不在用于早期判定生物特征信息是否被假冒的第一阈值范围内,将第一分数与第二分数进行融合。
21.如权利要求14所述的设备,其中,处理器还被配置为:
从图像提取第二特征信息,并基于提取的第二特征信息来计算第二分数,以及
当基于第一分数判定不能够基于第一分数确定生物特征信息是否被假冒时,确定是否将第一分数与第二分数进行融合,并且基于确定将第一分数与第二分数进行融合而将第一分数与第二分数进行融合。
22.如权利要求21所述的设备,其中,处理器还被配置为:基于第一分数在第二阈值范围内来确定是否将第一分数与第二分数进行融合。
23.如权利要求22所述的设备,其中,处理器还被配置为:将第二分数与在第二阈值范围内的第一分数进行融合。
24.根据权利要求14至权利要求23中的任一项所述的设备,其中,传感器包括超声波指纹传感器、深度传感器和图像传感器中的任何一者或任何组合。
25.如权利要求14至权利要求23中的任一项所述的设备,其中,生物特征信息包括用户的指纹、虹膜和面部中的一个。
26.如权利要求14至权利要求23中的任一项所述的设备,还包括:
输出装置,输出装置被配置为:输出生物特征信息是否被假冒的通知。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200172382A KR20220082454A (ko) | 2020-12-10 | 2020-12-10 | 생체 정보의 도용 여부를 검출하는 방법 및 장치 |
KR10-2020-0172382 | 2020-12-10 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114626037A true CN114626037A (zh) | 2022-06-14 |
Family
ID=77627032
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110646774.1A Pending CN114626037A (zh) | 2020-12-10 | 2021-06-10 | 检测生物特征信息的假冒的方法和设备 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11915525B2 (zh) |
EP (1) | EP4012671B1 (zh) |
KR (1) | KR20220082454A (zh) |
CN (1) | CN114626037A (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ES2912165T3 (es) * | 2018-07-06 | 2022-05-24 | Veridas Digital Authentication Solutions S L | Autenticación de un usuario |
CN111507262B (zh) * | 2020-04-17 | 2023-12-08 | 北京百度网讯科技有限公司 | 用于检测活体的方法和装置 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100471645B1 (ko) | 2002-07-09 | 2005-03-10 | 씨큐트로닉스 (주) | 지문입력기의 위조지문 감지장치 및 방법 |
KR100593114B1 (ko) | 2004-05-06 | 2006-06-26 | 시큐젠 코포레이션 | 지문판독장치, 암호화 지문판독장치, 지문인식장치, 지문판독방법 및 암호화 지문판독방법 |
WO2007078934A2 (en) | 2005-12-29 | 2007-07-12 | Chemimage Corporation | Method and apparatus for counterfeiting protection |
US7659851B2 (en) | 2006-01-11 | 2010-02-09 | Microsoft Corporation | Radio frequency certificates of authenticity and related scanners |
KR100745980B1 (ko) | 2006-01-11 | 2007-08-06 | 삼성전자주식회사 | 분류기 통합을 위한 스코어 합성 방법 및 장치 |
KR20080017763A (ko) | 2006-08-22 | 2008-02-27 | 연세대학교 산학협력단 | 스코어 레벨 결합을 통한 홍채 인식 방법 |
KR100994239B1 (ko) | 2008-09-08 | 2010-11-12 | 주식회사 에스원 | 지문인식장치 및 방법, 위조지문 판별 시스템 및 방법 |
KR101054314B1 (ko) | 2009-12-10 | 2011-08-08 | 연세대학교 산학협력단 | 위조 지문 검출 장치 및 그 방법 |
KR101370514B1 (ko) | 2012-05-24 | 2014-03-06 | 한국과학기술원 | 얼굴 인식 방법 및 그 장치 |
US8457367B1 (en) | 2012-06-26 | 2013-06-04 | Google Inc. | Facial recognition |
KR101436786B1 (ko) | 2013-03-21 | 2014-09-11 | 주식회사 슈프리마 | 위조 지문 판별 장치 및 방법 |
US9633269B2 (en) | 2014-09-05 | 2017-04-25 | Qualcomm Incorporated | Image-based liveness detection for ultrasonic fingerprints |
JP2016057918A (ja) * | 2014-09-10 | 2016-04-21 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
US9726755B2 (en) | 2015-09-23 | 2017-08-08 | Qualcomm Incorporated | Spoof detection by ultrasonic subdermal probe |
US10262188B2 (en) | 2016-02-15 | 2019-04-16 | Qualcomm Incorporated | Liveness and spoof detection for ultrasonic fingerprint sensors |
KR101798395B1 (ko) | 2016-04-18 | 2017-11-16 | 주식회사 유니온커뮤니티 | 생체의 심장 박동에 따른 지문 이미지의 미세한 밝기 변화에 기초하여 위조지문을 판별할 수 있는 위조지문 판별 장치 및 그 방법 |
KR102014394B1 (ko) | 2016-06-01 | 2019-08-29 | 에코스솔루션(주) | 위조 지문에 대한 보안성이 향상된 휴대용 보안인증기의 인증방법 |
KR20180014624A (ko) * | 2016-08-01 | 2018-02-09 | 삼성전자주식회사 | 홍채 인증 시스템 및 방법 |
KR101862478B1 (ko) | 2016-11-18 | 2018-05-30 | 주식회사 동운아나텍 | 지문 위조 방지가 가능한 지문 인식 타입의 가구 |
KR102466997B1 (ko) | 2018-01-22 | 2022-11-14 | 삼성전자주식회사 | 라이브니스 검사 방법 및 장치 |
KR102127932B1 (ko) * | 2018-07-20 | 2020-06-29 | 엘지전자 주식회사 | 전자 장치 및 그 제어 방법 |
US20230114650A1 (en) * | 2019-12-10 | 2023-04-13 | Winkk, Inc | Encryption and privacy protection using human attributes and behaviors |
KR20210145458A (ko) | 2020-05-25 | 2021-12-02 | 삼성전자주식회사 | 위조 지문 검출 장치 및 위조 지문 방지를 위한 모델 업데이트 방법 |
-
2020
- 2020-12-10 KR KR1020200172382A patent/KR20220082454A/ko active Search and Examination
-
2021
- 2021-06-07 US US17/340,389 patent/US11915525B2/en active Active
- 2021-06-10 CN CN202110646774.1A patent/CN114626037A/zh active Pending
- 2021-09-02 EP EP21194586.0A patent/EP4012671B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
KR20220082454A (ko) | 2022-06-17 |
EP4012671A1 (en) | 2022-06-15 |
EP4012671B1 (en) | 2024-11-06 |
US11915525B2 (en) | 2024-02-27 |
US20220188556A1 (en) | 2022-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11721131B2 (en) | Liveness test method and apparatus | |
US11030470B2 (en) | Apparatus and method with liveness verification | |
US11971924B2 (en) | Liveness test method and apparatus | |
US11727720B2 (en) | Face verification method and apparatus | |
US11783639B2 (en) | Liveness test method and apparatus | |
Bayar et al. | Towards open set camera model identification using a deep learning framework | |
JP6838005B2 (ja) | 指紋に基づく認証のための装置及びコンピュータ実装方法 | |
US20230206700A1 (en) | Biometric facial recognition and liveness detector using ai computer vision | |
JP7191061B2 (ja) | ライブネス検査方法及び装置 | |
CN107423690A (zh) | 一种人脸识别方法及装置 | |
CN109117879A (zh) | 图像分类方法、装置及系统 | |
CN117121068A (zh) | 使用机器学习和登记数据的个性化生物测定反欺骗保护 | |
EP3674973A1 (en) | Method and apparatus with liveness detection and object recognition | |
EP4012671B1 (en) | Method and apparatus that detects spoofing of biometric information | |
Choras | Multimodal biometrics for person authentication | |
CN113361314A (zh) | 反欺骗方法和设备 | |
US12087096B2 (en) | Method and apparatus with biometric spoofing consideration | |
US20240257513A1 (en) | Model training apparatus, model training method, and computer readable medium | |
US11393255B2 (en) | Liveness determining method and apparatus and method and apparatus for training the liveness determining apparatus | |
CN115147875A (zh) | 防欺骗方法和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |