CN112825128A - 用于活性测试和/或生物特征识别验证的方法和设备 - Google Patents

用于活性测试和/或生物特征识别验证的方法和设备 Download PDF

Info

Publication number
CN112825128A
CN112825128A CN202010540357.4A CN202010540357A CN112825128A CN 112825128 A CN112825128 A CN 112825128A CN 202010540357 A CN202010540357 A CN 202010540357A CN 112825128 A CN112825128 A CN 112825128A
Authority
CN
China
Prior art keywords
image
processed
infrared image
depth image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010540357.4A
Other languages
English (en)
Inventor
郭荣竣
高民守
金暎星
金熙愿
宋周奂
兪炳仁
李宣旼
李容日
崔智镐
韩承周
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN112825128A publication Critical patent/CN112825128A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

提供了用于活性测试和/或生物特征识别验证的方法和设备。所述方法包括：通过基于包括对象的红外(IR)图像执行第一预处理来生成预处理的IR图像；通过基于包括对象的深度图像执行第二预处理来生成预处理的深度图像；以及基于预处理的IR图像和预处理的深度图像来确定对象是否是真实对象。

Description

用于活性测试和/或生物特征识别验证的方法和设备
本申请要求于2019年11月21日提交到韩国知识产权局的第10-2019-0150537号韩国专利申请的权益，所述韩国专利申请的全部公开出于所有目的通过引用包含于此。
技术领域
以下描述涉及一种具有活性测试和/或生物特征识别验证的方法和设备。
背景技术
在用户验证系统中，计算装置可基于由用户提供的验证信息来确定是否允许用户访问计算装置。验证信息可包括由用户输入的密码或用户的生物特征识别(biometric)信息。生物特征识别信息可包括与指纹、虹膜和/或面部有关的信息。
面部反欺骗技术可验证输入到计算装置的用户的面部是假冒面部还是真实面部。为此，可从输入图像提取特征(诸如，局部二进制模式(LBP)、方向梯度直方图(HOG)和高斯差(DoG))，并且可基于提取的特征来确定输入的面部是否是假冒面部。面部欺骗可包括使用照片、视频或面具的攻击(或者使面部反欺骗技术不正确地确定假冒面部用户输入是真实面部的尝试)。
发明内容
提供本发明内容以简化的形式介绍在以下具体实施方式中进一步描述的构思的选择。本发明内容既不意在标识要求权利的主题的关键特征或必要特征，也不意在用于帮助确定要求权利的主题的范围。
在一个总体方面，一种处理器实现的方法包括：通过基于包括对象的红外(IR)图像执行第一预处理来生成预处理的IR图像；通过基于包括对象的深度图像执行第二预处理来生成预处理的深度图像；以及基于预处理的IR图像和预处理的深度图像来确定对象是否是真实对象。
所述方法可包括：获取包括对象的IR图像和包括对象的深度图像。
确定对象是否是真实对象的步骤可包括：确定对象是否是有生命的对象。
生成预处理的IR图像的步骤可包括：生成预处理的IR图像，使得在预处理的IR图像中增强IR图像的边缘分量。
生成预处理的IR图像的步骤可包括：基于IR图像中的当前像素的像素值和当前像素的邻近像素的像素值来生成第一中间图像；通过对IR图像执行归一化来生成第二中间图像；以及基于IR图像、第一中间图像和第二中间图像来生成预处理的IR图像。
预处理的IR图像的像素可包括：IR图像中的当前像素的像素值、第一中间图像中的对应的位置处的像素的像素值和第二中间图像中的对应的位置处的像素的像素值。
生成第一中间图像的步骤可包括：将IR图像中的当前像素的像素值与生成的单通道IR图像中的对应的位置处的像素的像素值进行组合。
生成的单通道IR图像可通过将第一通道IR图像中的对应的位置处的像素的像素值、第二通道IR图像中的对应的位置处的像素的像素值、第三通道IR图像中的对应的位置处的像素的像素值和第四通道IR图像中的对应的位置处的像素的像素值进行组合来生成。
第一通道IR图像中的像素的像素值可以是紧位于IR图像中的当前像素上方的像素的像素值，第二通道IR图像中的像素的像素值可以是紧位于IR图像中的当前像素下方的像素的像素值，第三通道IR图像中的像素的像素值可以是紧位于IR图像中的当前像素的左侧的像素的像素值，以及第四通道IR图像中的像素的像素值可以是紧位于IR图像中的当前像素的右侧的像素的像素值。
生成预处理的深度图像的步骤可包括：确定深度图像中的对象的特征点；以及通过基于确定的特征点执行深度图像中的对象的平移和旋转中的任何一个或两者来执行第二预处理。
生成预处理的深度图像的步骤可包括：确定深度图像中的对象的特征点；以及通过基于预定面部区域的参考点和确定的特征点，将深度图像中的对象变换为正面面部来执行第二预处理。
确定对象的特征点的步骤可包括：将深度图像中的对象的特征点的位置确定为对应于在IR图像中检测到的对象的特征点的位置。
执行第二预处理的步骤可包括：基于深度图像中的对象的特征点的位置和预定面部区域的参考点的对应的位置确定变换矩阵；以及将确定的变换矩阵应用于深度图像中的对象。
确定对象是否是真实对象的步骤可包括：通过将预处理的IR图像作为输入输入到基于神经网络的第一活性测试模型来确定第一活性分数；通过将预处理的深度图像输入到基于神经网络的第二活性测试模型来确定第二活性分数；以及基于第一活性分数和第二活性分数来确定对象是否是真实对象。
确定对象是否是真实对象的步骤可包括：通过将预处理的IR图像和预处理的深度图像输入到基于神经网络的活性测试模型来确定活性分数；以及基于活性分数确定对象是否是真实对象。
所述方法可包括：基于预处理的IR图像和预处理的深度图像来确定对象的验证是否成功。
一种可存储指令的非暂时性计算机可读存储介质，所述指令在被处理器执行时，配置处理器执行所述方法。
在另一总体方面，一种处理器实现的方法包括：通过基于包括对象的红外(IR)图像执行第一预处理来生成预处理的IR图像；通过基于包括对象的深度图像执行第二预处理来生成预处理的深度图像；以及基于预处理的IR图像和预处理的深度图像来确定对象的验证是否成功。
所述方法可包括：获取包括对象的IR图像和包括对象的深度图像。
生成预处理的IR图像的步骤可包括：生成预处理的IR图像，使得在预处理的IR图像中增强IR图像的边缘分量。
生成预处理的IR图像的步骤可包括：通过对IR图像执行边缘增强来生成第一中间图像；通过对IR图像执行归一化来生成第二中间图像；以及基于IR图像、第一中间图像和第二中间图像来生成预处理的IR图像。
生成第一中间图像的步骤可包括：基于IR图像中的当前像素的像素值和当前像素的邻近像素的像素值来生成第一中间图像。
生成预处理的深度图像的步骤可包括：确定深度图像中的对象的特征点；以及通过基于确定的特征点执行深度图像中的对象的平移和旋转中的任何一个或两者来执行第二预处理。
生成预处理的深度图像的步骤可包括：确定深度图像中的对象的特征点；以及通过基于预定面部区域的参考点和确定的特征点，将深度图像中的对象变换为正面面部来执行第二预处理。
确定对象的验证是否成功的步骤可包括：确定从预处理的IR图像提取的第一特征与有效用户的第一登记特征之间的第一相似度；确定从预处理的深度图像提取的第二特征与有效用户的第二登记特征之间的第二相似度；以及基于第一相似度和第二相似度来确定对象的验证是否成功。
所述方法可包括：基于预处理的IR图像和预处理的深度图像来确定对象是否是真实对象。
在另一总体方面，一种设备可包括：一个或多个图像传感器，被配置为：获取包括对象的红外(IR)图像和包括对象的深度图像；以及处理器，被配置为：通过基于IR图像执行第一预处理来生成预处理的IR图像，通过基于深度图像执行第二预处理来生成预处理的深度图像，以及基于预处理的IR图像和预处理的深度图像来确定针对对象的活性测试结果和验证结果中的任何一个或两者。
处理器可被配置为：生成预处理的IR图像，使得在预处理的IR图像中增强IR图像的边缘分量。
处理器可被配置为：确定深度图像中的对象的特征点，并且通过基于预定面部区域的参考点和确定的特征点，将深度图像中的对象变换为正面面部来执行第二预处理。
在另一总体方面，一种处理器实现的方法包括：获取包括对象的红外(IR)图像和包括对象的深度图像；通过增强IR图像的边缘分量来生成预处理的IR图像；通过对深度图像中的对象进行平移和旋转中的任何一个或两者来生成预处理的深度图像；以及基于预处理的IR图像和预处理的深度图像来确定对象的活性和生物特征识别验证中的任何一个或两者。
从下面的具体实施方式、附图和权利要求，其他特征和方面将是清楚的。
附图说明
图1和图2示出生物特征识别验证和活性测试的示例。
图3示出活性测试方法和生物特征识别验证方法的操作的示例。
图4示出活性测试方法的示例。
图5示出生物特征识别验证方法的示例。
图6示出从红外(IR)图像检测面部区域和特征点的示例。
图7A和图7B示出活性测试或生物特征识别验证处理的示例。
图8A和8B示出针对IR图像的第一预处理过程的示例。
图9示出针对深度图像的第二预处理过程的示例。
图10示出具有活性测试的示例设备。
图11示出具有活性测试和生物特征识别验证的示例电子装置。
贯穿附图和具体实施方式，除非另有描述或提供，否则相同的附图参考标号将被理解为表示相同的元件、特征和结构。附图可不按比例，并且为了清楚、说明和方便，附图中的元件的相对尺寸、比例和描绘可被夸大。
具体实施方式
提供下面的具体实施方式以帮助读者获得对在此描述的方法、设备和/或系统的全面理解。然而，在理解本申请的公开之后，在此描述的方法、设备和/或系统的各种改变、修改和等同物将清楚。例如，在此描述的操作的顺序仅是示例，并且不限于在此阐述的那些顺序，而是除了必须以特定顺序发生的操作之外，可如在理解本申请的公开之后将清楚的那样改变。此外，为了更加清楚和简洁，可省略在理解本申请的公开之后对已知的特征的描述。
贯穿说明书，当元件被描述为“连接到”或“结合到”另一组件时，它可直接“连接到”或“结合到”所述另一组件，或者介于其间可存在一个或多个其他组件。相反，当元件被描述为“直接连接到”或“直接结合到”另一元件时，可不存在介于其间的其他元件。同样地，例如“在……之间”和“紧在……之间”以及“与……相邻”和“紧与……相邻”的类似表述也以相同的方式被解释。如在此使用的，术语“和/或”包括相关联的所列项的中任何一个以及任何两个或更多个的任何组合。
在此使用的术语仅出于描述特定示例的目的，而不用于对示例进行限制。如在此使用的，除非上下文另外清楚地指示，否则单数形式也意在包括复数形式。还将理解，术语“包含”和/或“包括”在此被使用时，说明存在阐述的特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组合。在此针对示例或实施例使用术语“可”(例如，关于示例或实施例可包括或实现什么)表示存在包括或实现这样的特征的至少一个示例或实施例，而所有的示例不限于此。
除非在此另有定义，否则在此使用的所有术语(包括技术术语和科学术语)具有与本公开所属领域的普通技术人员以及基于本申请的公开的理解通常理解的含义相同的含义。除非在此明确地如此定义，否则术语(诸如，在通用词典中定义的术语)将被解释为具有与它们在相关领域的上下文和本申请的公开中的含义一致的含义，并且将不以理想化或过于形式化的意义进行解释。
在下文中，将参照附图详细描述示例，并且在附图中同样的参考标号表示同样的元件。
图1和图2示出生物特征识别验证和活性(也称为活体)测试的示例。
作为非限制性示例，在用于用户验证的验证技术之中，生物特征识别验证是使用个人生物特征识别(诸如，指纹、虹膜、面部、静脉、皮肤)的验证技术。在生物特征识别验证之中，面部验证可基于尝试验证的用户的面部信息来确定用户是否是有效用户。作为非限制性示例，面部可以是用于验证用户登录、支付服务和/或访问控制的有效用户的验证。
参照图1，电子装置120可通过面部验证针对尝试访问电子装置120的用户110执行验证处理。例如，当用户110在电子装置120上尝试面部验证以解锁电子装置120时，电子装置120可使用图像传感器或图像获取装置(诸如，相机130)来获取用户110的面部图像，并且可通过分析获取的面部图像来确定是否解锁电子装置120。在一个示例中，当从用户110接收到输入时，电子装置120可通过面部验证来确定用户110正在尝试访问电子装置120。作为非限制性示例，输入可以是位于相机130的视场中的用户110的面部和/或电子装置120的显示器/用户接口140的触摸。分析面部图像的处理可包括检测面部图像中的面部区域并且使用特征提取器从面部区域提取特征的处理。可将提取的特征与有效用户的登记特征进行比较，并且可基于比较的结果来确定面部验证是否成功。响应于确定面部验证成功，用户110可成功地解锁电子装置120，并且例如使用显示器/用户接口140与电子装置120的附加功能进一步交互。相反地，响应于确定面部验证失败，电子装置120可继续在锁定状态下操作。在另一示例中，当用户110在电子装置120上执行面部验证以通过电子装置120执行支付服务时，电子装置120可获取用户110的面部图像，并且作为分析面部图像的结果当用户110被识别为有效用户时，批准并实现支付请求；否则，电子装置120可拒绝支付请求。
有效用户可通过面部登记处理预先在电子装置120中登记他/她的面部，并且电子装置120可将用于识别有效用户的信息存储在存储装置或云存储中。例如，有效用户的面部图像或者从面部图像提取的面部特征可被存储为有效用户的登记信息。
在诸如上述面部验证的生物特征识别验证处理中，可执行活性测试。在确定生物特征识别验证结果之前或之后，可执行活性测试。在另一示例中，生物特征识别验证处理和活性测试处理可被一起执行。活性测试可以是测试对象(作为测试主体)是否是有生命的对象，并且确定验证手段是否是真实的。例如，活性测试可测试在由相机130拍摄的图像中示出的面部是人的真实面部还是假冒面部。活性测试可用于区分无生命对象(例如，作为假冒的手段的照片、纸张、视频和模型)和有生命对象(例如，人的真实面部)。
图2示出假冒面部210和真实面部220的示例。通过活性测试，电子装置120可在通过拍摄真实用户面部而获取的测试主体图像中识别真实面部220。此外，作为非限制性示例，通过活性测试，电子装置120可在通过拍摄在PC屏幕或智能电话屏幕上显示的用户面部、照片中的用户面部、打印在纸上的用户面部或用户面部的模型而获取的测试主体图像中，识别假冒面部210。
无效用户可尝试使用欺骗技术导致用户验证系统的错误接受。例如，在面部验证中，无效用户可通过相机130呈现有效用户的面部的彩色照片、视频或模型来尝试引起错误接受。活性测试可通过过滤使用替代物(诸如，照片、视频、面具或模型)的验证尝试(例如，欺骗攻击)来防止错误接受。响应于确定验证主体是无生命对象作为活性测试的结果，电子装置120可以不进行到将输入对象与登记对象进行比较以确定它们之间的匹配的用户验证操作，或者无论用户验证的结果如何，电子装置120可确定用户验证最终失败。
返回参照图1，电子装置120可执行活性测试和生物特征识别验证中的一个，或者执行活性测试和生物特征识别验证两者。作为非限制性示例，电子装置120可以是智能电话、可穿戴装置、平板计算机、上网本、膝上型计算机、台式计算机、个人数字助理(PDA)、机顶盒、家用电器、生物特征识别门锁、安全装置和/或车辆启动装置。
对于活性测试和/或生物特征识别验证处理，电子装置120可通过相机130获取红外(IR)图像和深度图像。例如，IR图像可由IR相机获取，并且深度图像由深度相机获取。在另一示例中，在不使用单独的深度相机的情况下，IR图像和深度图像可由IR相机获取。例如，由深度图像表示的深度信息可基于由IR相机接收的IR反射光的图案来确定。因此，相机130代表包括一个或多个IR相机和一个或多个深度相机的电子装置120的一个或多个相机，并且相机130还可代表一个或多个彩色图像相机。
电子装置120可使用如上所述获取的IR图像和深度图像来执行活性测试和/或生物特征识别验证。与IR图像和深度图像不同，彩色图像可能受到(例如，由彩色图像相机)拍摄彩色图像的环境(例如，光照和阴影)的极大影响。因为彩色图像具有易受通过高清晰度介质(诸如，高清晰度显示装置或打印输出)的欺骗攻击的缺点，所以在使用彩色图像执行活性测试和/或生物特征识别验证中存在技术问题。当根据本公开的一个或更多个实施例使用IR图像和深度图像时，可解决这样的技术问题。通过IR图像，可考虑对象的反射特性和通过IR光线的反射的纹理特性，因此，可执行针对光照或阴影的影响具有鲁棒性的活性测试和/或生物特征识别验证。通过深度图像，可考虑对象的立方体效果特性，因此，可执行针对使用在平面(诸如，显示装置或打印输出)上示出的图像的欺骗攻击具有鲁棒性的活性测试和/或生物特征识别验证。因此，当使用IR图像和深度图像两者时，本公开的一个或多个实施例可通过有效地防止这样的错误接受来解决通过欺骗技术的错误接受的技术问题，并且活性测试和生物特征识别验证的准确性可有利地提高。
在下面阐述的示例中，IR图像和深度图像可被预处理以执行活性测试和/或生物特征识别验证。可通过使用预处理的IR图像和预处理的深度图像执行活性测试和/或生物特征识别验证来进一步提高活性测试和/或生物特征识别验证的性能。在下文中，将参照附图详细描述示例。
图3示出活性测试方法和生物特征识别验证方法的操作的示例。活性测试方法和生物特征识别验证方法可由在此描述的设备执行，为了解释方便，在没有术语“测试”的预期使用的情况下，在此描述的设备将被称为“测试设备”。
参照图3，在操作310中，测试设备可获取包括对象的IR图像和包括对象的深度图像。测试设备可通过图像传感器获取IR图像和深度图像。IR图像和深度图像可通过图像传感器被同时拍摄或者以一时间间隔被拍摄。IR图像和深度图像可通过被配置为分别感测IR值和深度值的图像传感器来获取，或者基于通过单个图像传感器感测的IR值来提取。
可通过在从IR光源发射IR光线之后，使用图像传感器感测由对象反射的IR光线来获取IR图像。深度图像可通过基于飞行时间(ToF)的传感器或基于结构化光的传感器来获取，并且深度图像的每个像素可具有指示到对应的点的深度或距离的值。然而，获取IR图像和深度图像的方法不限于此。
在操作320中，测试设备可通过针对IR图像执行第一预处理来生成预处理的IR图像。
测试设备可首先检测IR图像中的面部区域和特征点(诸如，面部关键点(landmark))。例如，测试设备可使用Viola-Jones检测器、被训练为检测面部区域的神经网络和/或基于哈尔级联AdaBoost分类器(Haar-based cascade AdaBoost classifier)来检测IR图像中的面部区域。然而，示例不限于此。测试设备可使用各种面部区域检测技术来检测输入图像中的面部区域。例如，测试设备可检测IR图像中的面部关键点，并且将包括检测的关键点的边界区域检测为面部区域。测试设备可检测作为面部区域中的特征点的非限制性示例的左眼的两个端点、右眼的两个端点、鼻尖点以及与嘴的两个边角对应的点。可针对在IR图像中检测到的面部区域，执行在操作320中执行的第一预处理。
测试设备可执行第一预处理，以将IR图像处理成更适合于活性测试或面部验证的形式。例如，测试设备可通过将边缘增强滤波器应用于IR图像来获取第一预处理图像。测试设备可生成预处理的IR图像(在下文中，称为“第一预处理图像”)，在预处理的IR图像中，通过针对IR图像执行第一预处理来增强(或增大)边缘分量。通过第一预处理，生成在与原始IR图像相比时具有被锐化的边缘的第一预处理图像。
关于第一预处理过程，测试设备可基于IR图像中的当前像素和邻近像素的像素值来生成第一中间图像，通过对IR图像执行归一化来生成第二中间图像，并且基于原始IR图像、第一中间图像和第二中间图像来生成第一预处理图像。
测试设备可通过基于IR图像中的当前像素的像素值和当前像素的邻近像素的像素值执行边缘增强来生成第一中间图像。详细地，测试设备可生成第一通道IR图像、第二通道IR图像、第三通道IR图像和第四通道IR图像，其中，第一通道IR图像配置有紧位于包括在IR图像中的每个像素上方的邻近像素的像素值，第二通道IR图像配置有紧位于包括在IR图像中的每个像素下方的邻近像素的像素值，第三通道IR图像配置有紧位于包括在IR图像中的每个像素的左侧的邻近像素的像素值，第四通道IR图像配置有紧位于包括在IR图像中的每个像素的右侧的邻近像素的像素值。测试设备可通过将如上所述生成的第一通道IR图像、第二通道IR图像、第三通道IR图像和第四通道IR图像中的对应的位置处的像素的像素值进行组合来生成其中组合了四通道IR图像的单通道IR图像。这里，像素值的组合可以是像素值的和、平均值或加权和。然而，组合方案不限于此。测试设备可通过对生成的单通道IR图像和原始IR图像中的对应的位置处的像素的像素值进行组合来生成第一中间图像。像素值的组合可以是像素值的平均值、加权和或简单和。然而，组合方案不限于此。在一个示例中，测试设备可通过对第一中间图像执行归一化(诸如，零均值技术)来调节第一中间图像的像素值的范围。
在另一示例中，测试设备可使用其它边缘增强技术(例如，Canny、方向梯度直方图(HOG)、局部二进制模式(LBP)和/或Sobel)来生成第一中间图像。然而，示例不限于上述的边缘增强技术。其他边缘增强技术可不受限制地应用于此。
此外，测试设备可通过对IR图像执行归一化来生成第二中间图像。例如，测试设备可通过确定IR图像的像素值之中的最大值和最小值并且基于最大值和最小值执行归一化(诸如，零均值技术)，来生成具有像素值的调节后的范围的第二中间图像。
测试设备可通过对IR图像、第一中间图像和第二中间图像进行组合来生成第一预处理图像。例如，测试设备可通过将IR图像、第一中间图像和第二中间图像中的彼此对应(即，在相同位置处)的像素的像素值配置为三个通道来生成第一预处理图像。在一个示例中，测试设备可生成具有三个通道的深度的第一预处理图像，其中，第一通道对应于IR图像，第二通道对应于第一中间图像，第三通道对应于第二中间图像。如上所述生成的第一预处理图像的像素可具有IR图像中的对应的位置处的像素的像素值、第一中间图像中的对应的位置处的像素的像素值以及第二中间图像中的对应的位置处的像素的像素值。
在操作330中，测试设备可通过针对深度图像执行第二预处理来生成预处理的深度图像(在下文中，称为“第二预处理图像”)。测试设备可执行第二预处理以将深度图像处理为更适合于活性测试或面部验证的形式。例如，测试设备可通过针对深度图像执行第二预处理来生成第二预处理图像，在第二预处理图像中，深度图像中示出的对象(例如，面部)被变换为面向前方的对象(例如，正面面部)。
测试设备可通过将在IR图像中检测到的面部区域和特征点与深度图像进行匹配来确定深度图像中的对象的特征点。测试设备可将深度图像中的与在IR图像中检测到的特征点的位置对应的位置确定为深度图像的特征点的位置。测试设备可基于在深度图像中确定的特征点来执行包括深度图像中示出的对象的平移和旋转中的至少一个的第二预处理。例如，测试设备可基于深度图像的各个特征点的位置和与各个特征点对应的参考点的位置来确定变换矩阵，并且可通过将确定的变换矩阵应用于深度图像中示出的对象来生成其中对象的姿势被变换为正面姿势的第二预处理图像。
在操作340中，测试设备可基于第一预处理图像(预处理的IR图像)和第二预处理图像(预处理的深度图像)，确定针对对象的活性测试结果和/或面部验证结果。
确定对象的活性可包括确定对象是有生命的真实对象还是无生命的假冒对象。可根据下面描述的处理来确定对象的活性。测试设备可使用基于神经网络的第一活性测试模型来确定第一活性分数，并且可使用基于神经网络的第二活性测试模型来确定第二活性分数，基于神经网络的第一活性测试模型使用第一预处理图像作为输入，基于神经网络的第二活性测试模型使用第二预处理图像作为输入。
测试设备可基于第一活性分数和第二活性分数来确定对象的活性。测试设备可将第一活性分数和第二活性分数进行组合，并且基于组合的结果来确定对象的活性。这里，第一活性分数和第二活性分数的组合可以是平均值、加权和或简单和。然而，组合方案不限于此。如果第一活性分数和第二活性分数的组合的结果值大于阈值，则测试设备可将对象(作为测试主体)确定为真实对象，如果组合的结果值小于或等于阈值，则测试设备可将对象确定为假冒对象。
在另一示例中，测试设备可使用单个基于神经网络的活性测试模型来确定活性分数并且基于确定的活性分数来确定对象的活性，单个基于神经网络的活性测试模型使用第一预处理图像和第二预处理图像作为输入。如果活性分数大于阈值，则测试设备可将对象(作为测试主体)确定为真实对象，如果活性分数小于或等于阈值，则测试设备可将对象确定为假冒对象。
上述示例中描述的活性测试模型可以是例如被配置为基于输入数据输出通过内部参数计算的值的神经网络。活性测试模型可基于输入数据提供指示面部对象(作为测试主体)对应于真实面部或假冒面部的特征值、概率值和/或值的活性分数。活性测试模型可以是或包括深度卷积神经网络(DCNN)模型。DCNN模型可包括一个或多个卷积层、一个或多个池化层和一个或多个全连接层，并且可提供用于通过由每个层执行的计算和激活处理从输入到活性测试模型的图像信息确定活性的信息。这里，图像信息可以是包括在图像中的像素的像素值(例如，颜色值和/或亮度值)。DCNN模型仅作为示例提供。活性测试模型可以是或包括除了DCNN模型的结构之外的结构的神经网络模型。
活性测试模型的参数可以是基于训练数据通过训练处理确定的参数。在训练处理中，可存在大量的训练数据和与训练数据对应的期望值。在训练处理中，活性测试模型可基于参数通过计算和激活处理，接收训练数据并输出与训练数据对应的结果值。可通过计算由输出值与期望值之间的差引起的损失并调节活性测试模型的参数以减少损失和/使损失或最小化来训练活性测试模型。通过针对大量训练数据中的每一项迭代地执行这个处理，可在各种示例中逐渐调节活性测试模型的参数。
测试设备可响应于针对对象的活性测试结果来执行控制操作。如果测试主体被最终确定为真实对象，则测试设备可生成用于请求用户验证过程的执行的控制信号。相反，如果对象被最终确定为假冒对象而非真实对象，则测试设备可生成用于阻止用户的访问而不是请求用户验证过程的执行的控制信号。
同时，测试设备可基于第一预处理图像(预处理的IR图像)和第二预处理图像(预处理的深度图像)来确定针对对象的面部验证结果。可根据下面描述的处理来执行针对对象的面部验证。测试设备可使用基于神经网络的第一特征提取模型来确定与第一预处理图像对应的第一特征，并且可使用基于神经网络的第二特征提取模型来确定与第二预处理图像对应的第二特征，基于神经网络的第一特征提取模型使用第一预处理图像作为输入，基于神经网络的第二特征提取模型使用第二预处理图像作为输入。测试设备可确定第一特征和第二特征是否分别与登记的有效用户的第一登记特征和第二登记特征相似，并且如果它们之间的相似度大于阈值，则测试设备可确定面部验证成功。如果相似度小于或等于阈值，则测试设备可确定面部验证失败。如果面部验证成功，则测试设备可生成用于允许对象(或对象的用户)的访问或请求的控制信号。相反，如果面部验证失败，则测试设备可生成用于阻止对象(或对象的用户)的访问或拒绝请求的控制信号。
如上所述，当IR图像和深度图像用于活性测试或生物特征识别验证时，本公开的一个或多个实施例可利用IR图像和深度图像的优点来克服如以上参照图1所述的使用彩色图像执行活性测试和/或生物特征识别验证的技术问题。此外，通过预处理的IR图像和深度图像并将预处理的IR图像和深度图像用于活性测试和/或生物特征识别验证，本公开的一个或多个实施例可通过提高活性测试的准确性和/或生物特征识别验证的准确性来解决活性测试和生物特征识别验证的技术问题。
图4示出活性测试方法的示例。
以上参照图1至图3提供的描述也应用于图4的非限制性示例，并且其描述通过引用包含于此。
参照图4，在操作410中，测试设备可接收IR图像。在操作420中，测试设备可检测IR图像中的面部区域和包括面部关键点的特征点。测试设备可使用Viola-Jones检测器、基于哈尔级联AdaBoost分类器和/或被训练为检测面部区域的神经网络来检测IR图像中的面部区域。作为非限制性示例，作为面部区域中的特征点，测试设备可检测左眼的两个端点、右眼的两个端点、鼻尖点和/或与嘴的两个边角对应的点。
在操作430中，测试设备可针对IR图像执行第一预处理。可针对与IR图像的面部区域对应的块(patch)区域执行第一预处理。测试设备可通过针对IR图像执行第一预处理来生成第一预处理图像，第一预处理图像是其中边缘分量被增强的IR图像。作为非限制性示例，测试设备可使用边缘增强滤波器(诸如，Canny、HOG、LBP和/或Sobel)或使用利用以上参照图3描述的中间图像的方案来生成具有IR图像的新特性的第一预处理图像。
在操作440中，测试设备可使用第一活性测试模型来确定第一活性分数，第一活性测试模型使用第一预处理图像作为输入。第一活性测试模型可基于输入的第一预处理图像的信息(例如，像素值)输出指示对象对应于真实对象的可能性指数的第一活性分数。
在操作450中，测试设备可接收与IR图像对应的深度图像。可通过从相同的视点拍摄相同的对象来获取IR图像和深度图像。在操作460中，测试设备可确定深度图像中的面部区域和特征点的位置。测试设备可通过将在操作420中检测到的IR图像中的面部区域和特征点的位置与深度图像进行匹配来确定深度图像中的面部区域和特征点的位置。
在操作470中，测试设备可针对深度图像执行第二预处理。例如，测试设备可生成第二预处理图像，在第二预处理图像中，深度图像中示出的对象(面部)通过第二预处理被变换为正面面部。测试设备可基于在深度图像中确定的特征点的位置和对应于正面面部的参考点的位置之间的关系来确定变换矩阵，并且可通过将确定的变换矩阵应用于深度图像来将深度图像中示出的对象所面对的方向调节为正面面部所面对的方向。通过变换矩阵的应用，IR图像可被变换，使得在深度图像中确定的各个特征点的位置转换为与各个特征点对应的参考点的位置。
在操作480中，测试设备可使用第二活性测试模型来确定第二活性分数，第二活性测试模型使用第二预处理图像作为输入。第二活性测试模型可基于输入的第二预处理图像的信息(例如，像素值)输出指示对象对应于真实对象的可能性指数的第二活性分数。
在操作490中，测试设备可基于第一活性分数和第二活性分数确定对象的活性。例如，测试设备可将第一活性分数和第二活性分数的总和或平均值确定为最终活性分数。在另一示例中，测试设备可将权重应用于第一活性分数和第二活性分数中的至少一个，并且可基于应用权重的结果(例如，加权和)来确定最终活性分数。权重可以是例如预定常数。不同的权重可被分别应用于第一活性分数和第二活性分数。在另一示例中，权重可以是基于确定的当前条件(例如，到对象的距离、图像的质量、面部区域的大小、面部区域中示出的面部的姿势、面部区域的位置、面部区域中是否存在被遮挡区域、或者面部区域的光照条件)确定的条件权重。
测试设备可基于最终活性分数是否满足预设条件来确定测试主体的活性。例如，如果最终活性分数大于预设阈值，则测试设备可确定对象是真实对象。如果最终活性分数小于或等于阈值，则测试设备可确定对象是假冒对象。
图5示出生物特征识别验证方法的示例。
以上参照图1至图3提供的描述也应用于图5的非限制性示例，并且其描述通过引用包含于此。此外，在非限制性示例中，图4的操作410、420、430、450、460和470可与图5的各个操作510、520、530、550、560和570类似或相同。
在操作540中，测试设备可使用第一特征提取模型来确定与第一预处理图像对应的第一特征，第一预处理图像是被执行第一预处理的IR图像，第一特征提取模型使用第一预处理图像作为输入。第一特征提取模型可基于输入的第一预处理图像的信息(例如，像素值)输出作为与对象对应的特征向量的第一特征。
在操作580中，测试设备可使用第二特征提取模型确定与第二预处理图像对应的第二特征，第二预处理图像是被执行第二预处理的深度图像，第二特征提取模型使用第二预处理图像作为输入。第二特征提取模型可基于输入的第二预处理图像的信息(例如，像素值)输出作为与对象对应的特征向量的第二特征。
在操作590中，测试设备可基于第一特征和第二特征来确定面部验证结果。测试设备可确定第一特征和第二特征是否分别类似于登记的有效用户的第一登记特征和第二登记特征，并且可确定它们之间的相似度。测试设备可将第一特征与第一登记特征之间的相似度和第二特征与第二登记特征之间的相似度的组合值(例如，和、差、平均值、加权和或标准差)确定为最终相似度。如果确定的最终相似度大于阈值，则测试设备可确定面部验证成功。如果确定的最终相似度小于或等于阈值，则测试设备可确定面部验证失败。在一个示例中，测试设备可基于第一特征与第一登记特征之间的差来确定第一特征与第一登记特征之间的相似度，并且可基于第二特征与第二登记特征之间的差来确定第二特征与第二登记特征之间的相似度。在一个示例中，测试设备可确定第一特征与第一登记特征之间的相似度与第一特征与第一登记特征之间的差成反比，并且可确定第二特征与第二登记特征之间的相似度与第二特征与第二登记特征之间的差成反比。在一个示例中，测试设备可将第一特征与第一登记特征之间的差和第二特征与第二登记特征之间的差的组合值(例如，和、差、平均值、加权和或标准差)确定为最终差。如果确定的最终差值小于阈值，则测试设备可确定面部验证成功。如果确定的最终差值大于或等于阈值，则测试设备可确定面部验证失败。
在一个示例中，可在预先执行用户登记处理期间确定第一登记特征和第二登记特征。第一登记特征可以是：通过针对有效用户的IR图像执行第一预处理获得第一预处理图像然后将第一预处理图像输入到第一特征提取模型中，从第一特征提取模型获得的特征向量。第二登记特征可以是：通过针对有效用户的深度图像执行第二预处理获得第二预处理图像然后将第二预处理图像输入到第二特征提取模型中，从第二特征提取模型获得的特征向量。
同时，在图3至图5的流程图中，在不同地实现的示例中，可与流程图不同地执行预定块中陈述的功能或操作。例如，实际上可基本上同时执行两个连续的块，或者根据相关的功能或操作以块的相反顺序执行两个连续的块。在另一示例中，实际上可基本上顺序地执行并行示出的块。
图6示出从IR图像检测面部区域和特征点的示例。
参照图6，测试设备可接收IR图像610并检测IR图像610中的面部区域620。例如，测试设备可使用作为非限制性示例的神经网络、Viola-Jones检测器和/或基于哈尔级联AdaBoost分类器来检测面部区域620。作为非限制性示例，测试设备可检测面部区域620中的与双眼的端点、鼻尖点和嘴的两个边角点对应的特征点630。例如，测试设备可使用诸如加速鲁棒特征(SURF)、主动外观模型(AAM)、主动形状模型(ASM)、监督下降方法(SDM)和/或深度学习的技术来检测特征点630。
图7A和图7B示出活性测试或生物特征识别验证处理的示例。
参照图7A，测试设备可通过对与面部区域对应的IR图像705执行第一预处理710来生成第一预处理图像715。第一预处理710可包括用于增强IR图像705的边缘的图像处理。此外，测试设备可通过对与面部区域对应的深度图像720执行第二预处理725来生成第二预处理图像730。第二预处理725可包括用于改变深度图像720的对象所面对的方向的图像处理。例如，第二预处理725可包括定义用于将对象所面对的方向改变为正面方向的变换矩阵并将变换矩阵应用于深度图像720的处理。
当测试设备执行活性测试时，第一预处理图像715可被输入到第一神经网络模型740中，并且第一神经网络模型740可输出与第一预处理图像715对应的第一活性分数。第二预处理图像730可被输入到第二神经网络模型745中，第二神经网络模型745可输出与第二预处理图像730对应的第二活性分数。在一个示例中，第一神经网络模型740和第二神经网络模型745可被单独提供并且分别对应于第一活性测试模型和第二活性测试模型。测试设备可基于第一活性分数和第二活性分数确定活性测试结果750。
当测试设备执行面部验证作为生物特征识别验证时，第一预处理图像715可被输入到第一神经网络模型740中，并且第一神经网络模型740可输出与第一预处理图像715对应的第一特征。第二预处理图像730可被输入到第二神经网络模型745中，并且第二神经网络模型745可输出与第二预处理图像730对应的第二特征。在一个示例中，第一神经网络模型740和第二神经网络模型745可分别对应于第一特征提取模型和第二特征提取模型。测试设备可基于第一特征与第一登记特征之间的相似度和第二特征与第二登记特征之间的相似度来确定面部验证结果750。
图7B示出使用单个神经网络模型760的示例。当测试设备执行活性测试时，第一预处理图像715和第二预处理图像730可被输入到单个神经网络模型760中，并且神经网络模型760可输出活性分数。测试设备可基于输出的活性分数确定针对对象的活性测试结果770。如在一个示例中，单个集成神经网络模型760可被配置为执行图7A的第一神经网络模型740和第二神经网络模型745的功能。
当测试设备执行面部验证时，第一预处理图像715和第二预处理图像730可被输入到单个神经网络模型760中，并且神经网络模型760可输出第一预处理图像715和第二预处理图像730的特征被结合为的单个特征。测试设备可基于从神经网络模型760输出的特征来确定面部验证结果770。例如，测试设备可确定特征与预先登记的登记特征之间的相似度。如果相似度大于阈值，则测试设备可确定面部验证成功。如果相似度小于或等于阈值，则测试设备可确定面部验证失败。
图8A和8B示出针对IR图像的第一预处理过程的示例。
参照图8A，测试设备可通过第一预处理获取更适合于活性测试或生物特征识别验证的形式的IR图像。首先，测试设备可接收IR图像810。例如，IR图像810可对应于面部区域。
测试设备可生成第一通道IR图像、第二通道IR图像、第三通道IR图像和第四通道IR图像，第一通道IR图像配置有紧位于包括在IR图像810中的每个像素上方的邻近像素的像素值，第二通道IR图像配置有紧位于包括在IR图像810中的每个像素下方的邻近像素的像素值，第三通道IR图像配置有紧位于包括在IR图像810中的每个像素的左侧的邻近像素的像素值，第四通道IR图像配置有紧位于包括在IR图像810中的每个像素的右侧的邻近像素的像素值。
测试设备可通过将如上所述生成的第一通道IR图像820、第二通道IR图像820、第三通道IR图像820和第四通道IR图像820中的对应的位置处的像素的像素值进行组合，来生成其中组合了四通道IR图像的单通道IR图像830。这里，作为非限制性示例，像素值的组合可以是像素值的平均值、加权和或简单和。
测试设备可通过单通道IR图像830和IR图像810中的相同的位置处的像素的像素值的组合840来生成第一中间图像850。作为非限制性示例，像素值的组合可以是像素值的平均值、加权和或简单和。在一个示例中，测试设备可对第一中间图像850执行归一化。例如，测试设备可对第一中间图像850的像素值进行变换，使得第一中间图像850的像素值在预定义或预定的范围内。
测试设备可通过对IR图像810执行归一化来生成第二中间图像860。测试设备可通过确定IR图像810的像素值之中的最大值和最小值并对IR图像810的像素值进行变换来生成第二中间图像860，使得IR图像810的像素值在预定义范围内。
测试设备可通过第一中间图像850、第二中间图像860和IR图像810的组合870来生成期望的第一预处理图像880。例如，测试设备可通过将第一中间图像850、第二中间图像860和IR图像810中的相同位置处的像素的像素值配置为三个通道来生成第一预处理图像880。因此，第一预处理图像880的每个像素可具有IR图像810中的对应的位置处的像素的像素值、第一中间图像850中的对应的位置处的像素的像素值以及第二中间图像860中的对应的位置处的像素的像素值。
在一个示例中，可以以不同方式生成图8A的第一中间图像850。测试设备可使用边缘增强技术(例如，Canny、HOG、LBP和/或Sobel)来生成第一中间图像。例如，如图8B中所示，测试设备可使用Canny边缘检测技术从IR图像810获取边缘检测结果图像825，并且可通过边缘检测结果图像825和IR图像810中的相同位置处的像素的像素值的组合835来生成第一中间图像855。然后，测试设备可通过第一中间图像855、第二中间图像860和IR图像810的组合875来生成期望的第一预处理图像885。
图9示出针对深度图像的第二预处理过程的示例。
参照图9，测试设备可通过第二预处理获取更适合于活性测试或生物特征识别验证的形式的深度图像。首先，测试设备可接收深度图像910。测试设备可通过将在与深度图像910对应的IR图像中检测到的面部区域和特征点映射到深度图像910，来确定深度图像910中的对象的面部区域920和特征点925。
测试设备可确定深度图像910的面部区域920和特征点925与预定义或预定的面部区域930和参考点935之间的对应关系。在这个示例中，作为非限制性示例，参考点935的位置可对应于双眼的端点、鼻尖点和/或与正面面部对应的嘴的两个边角点的位置。在操作940中，测试设备可基于深度图像910的特征点925与分别对应的参考点935之间的位置关系来确定变换矩阵。变换矩阵可以是被配置为执行对象的平移和旋转中的至少一个的平移和旋转矩阵。
测试设备可生成预处理的深度图像或第二预处理图像960，在预处理的深度图像或第二预处理图像960中，对象的姿势通过将确定的变换矩阵应用950到深度图像910或深度图像910的面部区域920被变换。作为应用变换矩阵的结果，第二预处理图像960中的对象可处于预定义或预定的姿势(例如，正面面部姿势)。
图10示出具有活性测试的示例设备。
参照图10，测试设备1000可对应于在此针对图1至图9描述的测试设备中的任何一个，并且可基于IR图像和深度图像执行活性测试和/或生物特征识别验证。测试设备1000可包括处理器1010(例如，一个或多个处理器)和存储器1020(例如，一个或多个存储器)。在一个示例中，测试设备1000还可包括一个或多个图像传感器，一个或多个图像传感器被配置为获取IR图像和深度图像。
存储器1020可连接到处理器1010，并且可存储将由处理器1010执行的指令、将由处理器1010计算的数据或由处理器1010处理的数据。
处理器1010可控制测试设备1000的总体功能和操作，并且执行以上参照图1至图9描述的一个或多个操作或者所有操作。在一个示例中，处理器1010可基于由一个或多个图像传感器获取的IR图像和深度图像来执行针对对象的活性测试。处理器1010可通过针对IR图像执行第一预处理来生成其中边缘分量被增强的第一预处理图像。此外，处理器1010可通过针对深度图像执行第二预处理来生成第二预处理图像。例如，处理器1010可确定深度图像中的对象的特征点，并且基于确定的特征点和参考点执行第二预处理以将深度图像中示出的对象变换为正面面部。处理器1010可基于第一预处理图像和第二预处理图像确定对象的活性。在一个示例中，为了进一步的细节，可参照对图3和图4的以上描述。
在另一示例中，处理器1010可基于由一个或多个图像传感器获取的IR图像和深度图像，针对对象执行生物特征识别验证。在这个处理中，如上所述，处理器1010可通过对IR图像执行第一预处理来生成第一预处理图像，并且通过对深度图像执行第二预处理来生成第二预处理图像。处理器1010可基于第一预处理图像和第二预处理图像确定针对对象的验证结果。为了进一步的细节，可参照对图3和图5的以上描述。
处理器1010可基于活性测试结果或生物特征识别验证结果生成控制信号。例如，处理器1010可基于结果生成用于确定允许或阻止对象的访问或者拒绝或执行来自对象的请求(例如，对预定功能的执行的请求)的控制信号。
图11示出具有活性测试和生物特征识别验证的示例电子装置。
参照图11，电子装置1100可对应于在此针对图1至图10描述的装置和设备中的任何一个。电子装置1100可包括处理器1110(例如，一或多个处理器)、存储器1120(例如，一或多个存储器)、图像传感器1130(例如，一或多个图像传感器)、光源1140、存储装置1150、输入装置1160、输出装置1170和网络接口1180。电子装置1100的元件可通过通信总线1190彼此通信。
处理器1110可执行指令和功能以执行活性测试和/或生物特征识别验证。例如，处理器1110可处理存储在存储器1120或存储装置1150中的指令。处理器1110可执行上面参照图1至图10描述的一个或多个操作或者所有操作。
存储器1120可存储用于执行活性测试和/或生物特征识别验证的信息。存储器1120可包括计算机可读存储介质或计算机可读存储装置。存储器1120可存储将由处理器1110执行的指令和必要的信息。
图像传感器1130可获取包括对象的IR图像和包括对象的深度图像。在一个示例中，图像传感器1130可包括被配置为获取IR图像的IR相机和被配置为获取深度图像的深度相机。在另一示例中，图像传感器1130可包括单个图像传感器(例如，IR深度传感器)，并且使用IR深度传感器获取IR图像和深度图像。
光源1140可在处理器1110的控制下发射IR光线。光源1140可包括例如被配置为投射IR光线的至少一个发光二极管(LED)和/或激光二极管(LD)。光源1140可发射预定图案的IR光线，并且当预定图案的IR光线被对象反射时，反射的IR光线可被图像传感器1130感测。当发射的预定图案的IR光线通过被对象反射而返回时，可通过分析反射图案的处理来确定深度图像的深度信息。
存储装置1150可包括计算机可读存储介质或计算机可读存储装置。存储装置1150可比存储器1120存储更大量的信息并且将信息存储相对长的时间。例如，存储装置1150可包括磁硬盘、光盘、闪存和/或软盘。
输入装置1160可通过触觉、视频、音频和/或触摸输入从用户接收输入。例如，输入装置1160可包括键盘、鼠标、触摸屏、麦克风和/或被配置为检测来自用户的输入并将检测到的输入发送到电子装置1100的任何装置。
作为非限制性示例，输出装置1170可通过视觉、音频和/或触觉通道向用户提供电子装置1100的输出。输出装置1170可包括例如显示器、触摸屏、扬声器、振动发生器和/或被配置为向用户提供输出的任何装置。网络接口1180可通过有线或无线网络与外部装置通信。
设备、测试设备、电子装置、相机、处理器、存储器、图像传感器、光源、存储装置、输入装置、输出装置、网络接口、通信总线、电子装置120、相机130、测试设备1000、处理器1010、存储器1020、电子装置1100、处理器1110、存储器1120、图像传感器1130、光源1140、存储装置1150、输入装置1160、输出装置1170、网络接口1180、通信总线1190以及在此针对图1至图11描述的其他设备、单元、模块、装置和其他组件通过硬件组件实现或代表硬件组件。可用于执行在本申请中描述的操作的硬件组件的示例在合适的情况下包括：控制器、传感器、生成器、驱动器、存储器、比较器、算术逻辑模单元、加法器、减法器、乘法器、除法器、积分器和被配置为执行在本申请中描述的操作的任何其他电子组件。在其他示例中，执行在本申请中描述的操作的硬件组件中的一个或多个通过计算硬件(例如，通过一个或多个处理器或计算机)来实现。可通过一个或多个处理元件(诸如，逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器或被配置为以限定的方式响应并执行指令以实现期望的结果的任何其他装置或装置的组合)来实现处理器或计算机。在一个示例中，处理器或计算机包括或连接到存储由处理器或计算机执行的指令或软件的一个或多个存储器。由处理器或计算机实现的硬件组件可执行用于执行在本申请中描述的操作的指令或软件(诸如，操作系统(OS)和在OS上运行的一个或多个软件应用)。硬件组件还可响应于指令或软件的执行来访问、操控、处理、创建和存储数据。为了简明，单数术语“处理器”或“计算机”可用于本申请中描述的示例的描述，但是在其他的示例中，多个处理器或计算机可被使用，或者处理器或计算机可包括多个处理元件或多种类型的处理元件或二者。例如，单个硬件组件或者两个或更多个硬件组件可通过单个处理器、或者两个或更多个处理器、或者处理器和控制器来实现。一个或多个硬件组件可通过一个或多个处理器、或者处理器和控制器来实现，一个或多个其他硬件组件可通过一个或多个其他处理器、或者另外的处理器和另外的控制器来实现。一个或多个处理器、或者处理器和控制器可实现单个硬件组件或者两个或更多个硬件组件。硬件组件可具有不同的处理配置中的任何一个或多个，不同的处理配置的示例包括：单个处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令单数据(MISD)多处理以及多指令多数据(MIMD)多处理。
图1至图11中示出的执行在本申请中描述的操作的方法通过计算硬件(例如，通过一个或多个处理器或计算机)来执行，计算硬件被实现为如上所述地执行指令或软件，以执行在本申请中描述的由所述方法执行的操作。例如，单个操作或者两个或更多个操作可通过单个处理器或者两个或更多个处理器、或者处理器和控制器来执行。一个或多个操作可通过一个或多个处理器、或者处理器和控制器来执行，并且一个或多个其他操作可通过一个或多个其他处理器、或者另外的处理器和另外的控制器来执行。一个或多个处理器、或者处理器和控制器可执行单个操作或者两个或更多个操作。
用于控制计算硬件(例如，一个或多个处理器或计算机)以实现硬件组件并执行如上所述的方法的指令或软件可被编写为计算机程序、代码段、指令或它们的任意组合，以单独地或共同地指示或配置一个或多个处理器或计算机如机器或专用计算机那样进行操作，以执行由如上所述的硬件组件和方法执行的操作。在一个示例中，指令或软件包括由一个或多个处理器或计算机直接执行的机器代码(诸如，由编译器产生的机器代码)。在另一示例中，指令或软件包括由一个或多个处理器或计算机使用解释器执行的高级代码。可基于附图中示出的框图和流程图以及在此使用的相应描述使用任何编程语言编写指令或软件，附图中示出的框图和流程图以及说明书中的相应描述公开了用于执行由如上所述的硬件组件和方法执行的操作的算法。
用于控制计算硬件(例如，一个或多个处理器或计算机)实现硬件组件并执行如上所述的方法的指令或软件、以及任何相关联的数据、数据文件以及数据结构可被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中或一个或多个非暂时性计算机可读存储介质上。非暂时性计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-RLTH、BD-RE、蓝光或光盘存储器、硬盘驱动器(HDD)、固态驱动器(SSD)、卡式存储器(诸如，多媒体卡或者微型卡(例如，安全数字(SD)或者极速数字(XD)))、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘、以及任何其他装置，任何其他装置被配置为以非暂时性方式存储指令或软件以及任何相关联的数据、数据文件和数据结构并将所述指令或软件以及任何相关联的数据、数据文件和数据结构提供给一个或多个处理器或计算机，使得一个或多个处理器或计算机能够执行指令。在一个示例中，指令或软件以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得指令、软件以及任何相关联的数据、数据文件和数据结构被一个或多个处理器或计算机以分布式方式存储、访问和执行。
虽然本公开包括特定的示例，但是在理解本申请的公开之后将清楚，在不脱离权利要求及它们的等同物的精神和范围的情况下，可在这些示例中进行形式和细节的各种改变。在此描述的示例仅应被认为是描述性的，而不是出于限制的目的。每个示例中的特征或方面的描述将被认为可适用于其他示例中的类似特征或方面。如果描述的技术以不同的顺序被执行，和/或如果描述的系统、架构、装置或电路中的组件以不同的方式被组合，和/或由其他组件或它们的等同物替换或补充，则可实现合适的结果。因此，公开的范围不是由具体实施方式限定，而是由权利要求及它们的等同物限定，并且在权利要求及它们的等同物的范围内的所有变化应被解释为包括在公开中。

Claims (30)

1.一种用于活性测试的方法，包括：
通过基于包括对象的红外图像执行第一预处理来生成预处理的红外图像；
通过基于包括对象的深度图像执行第二预处理来生成预处理的深度图像；以及
基于预处理的红外图像和预处理的深度图像来确定对象是否是真实对象。
2.根据权利要求1所述的方法，还包括：获取包括对象的红外图像和包括对象的深度图像。
3.根据权利要求1所述的方法，其中，确定对象是否是真实对象的步骤包括：确定对象是否是有生命的对象。
4.根据权利要求1所述的方法，其中，生成预处理的红外图像的步骤包括：通过增强红外图像的边缘分量来生成预处理的红外图像。
5.根据权利要求1至4中的任意一项所述的方法，其中，生成预处理的红外图像的步骤包括：
基于红外图像中的当前像素的像素值和当前像素的邻近像素的像素值来生成第一中间图像；
通过对红外图像执行归一化来生成第二中间图像；以及
基于红外图像、第一中间图像和第二中间图像来生成预处理的红外图像。
6.根据权利要求5所述的方法，其中，预处理的红外图像的像素包括：红外图像中的当前像素的像素值、第一中间图像中的对应的位置处的像素的像素值和第二中间图像中的对应的位置处的像素的像素值。
7.根据权利要求5所述的方法，其中，生成第一中间图像的步骤包括：将红外图像中的当前像素的像素值与生成的单通道红外图像中的对应的位置处的像素的像素值进行组合。
8.根据权利要求7所述的方法，其中，通过将第一通道红外图像中的对应的位置处的像素的像素值、第二通道红外图像中的对应的位置处的像素的像素值、第三通道红外图像中的对应的位置处的像素的像素值和第四通道红外图像中的对应的位置处的像素的像素值进行组合来生成单通道红外图像中的对应的位置处的像素的像素值。
9.根据权利要求8所述的方法，其中，
第一通道红外图像中的像素的像素值是紧位于红外图像中的当前像素上方的像素的像素值，
第二通道红外图像中的像素的像素值是紧位于红外图像中的当前像素下方的像素的像素值，
第三通道红外图像中的像素的像素值是紧位于红外图像中的当前像素的左侧的像素的像素值，以及
第四通道红外图像中的像素的像素值是紧位于红外图像中的当前像素的右侧的像素的像素值。
10.根据权利要求1至4中的任意一项所述的方法，其中，生成预处理的深度图像的步骤包括：
确定深度图像中的对象的特征点；以及
通过基于确定的特征点执行深度图像中的对象的平移和旋转中的任何一个或两者来执行第二预处理。
11.根据权利要求1至4中的任意一项所述的方法，其中，生成预处理的深度图像的步骤包括：
确定深度图像中的对象的特征点；以及
通过基于预定面部区域的参考点和确定的特征点，将深度图像中的对象变换为正面面部来执行第二预处理。
12.根据权利要求11所述的方法，其中，确定深度图像中的对象的特征点的步骤包括：将深度图像中的与在红外图像中检测到的对象的特征点的位置对应的位置确定为深度图像中的对象的特征点的位置。
13.根据权利要求12所述的方法，其中，执行第二预处理的步骤包括：
基于深度图像中的对象的特征点的位置和预定面部区域的对应的参考点的位置，确定变换矩阵；以及
将确定的变换矩阵应用于深度图像中的对象。
14.根据权利要求1至4中的任意一项所述的方法，其中，确定对象是否是真实对象的步骤包括：
通过将预处理的红外图像作为输入输入到基于神经网络的第一活性测试模型来确定第一活性分数；
通过将预处理的深度图像输入到基于神经网络的第二活性测试模型来确定第二活性分数；以及
基于第一活性分数和第二活性分数来确定对象是否是真实对象。
15.根据权利要求1至4中的任意一项所述的方法，其中，确定对象是否是真实对象的步骤包括：
通过将预处理的红外图像和预处理的深度图像输入到基于神经网络的活性测试模型来确定活性分数；以及
基于活性分数确定对象是否是真实对象。
16.根据权利要求1所述的方法，还包括：基于预处理的红外图像和预处理的深度图像来确定对象的验证是否成功。
17.一种用于生物特征识别验证的方法，包括：
通过基于包括对象的红外图像执行第一预处理来生成预处理的红外图像；
通过基于包括对象的深度图像执行第二预处理来生成预处理的深度图像；以及
基于预处理的红外图像和预处理的深度图像来确定对象的验证是否成功。
18.根据权利要求17所述的方法，还包括：获取包括对象的红外图像和包括对象的深度图像。
19.根据权利要求17所述的方法，其中，生成预处理的红外图像的步骤包括：通过增强红外图像的边缘分量来生成预处理的红外图像。
20.根据权利要求17至19中的任意一项所述的方法，其中，生成预处理的红外图像的步骤包括：
通过对红外图像执行边缘增强来生成第一中间图像；
通过对红外图像执行归一化来生成第二中间图像；以及
基于红外图像、第一中间图像和第二中间图像来生成预处理的红外图像。
21.根据权利要求20所述的方法，其中，生成第一中间图像的步骤包括：基于红外图像中的当前像素的像素值和当前像素的邻近像素的像素值来生成第一中间图像。
22.根据权利要求17至19中的任意一项所述的方法，其中，生成预处理的深度图像的步骤包括：
确定深度图像中的对象的特征点；以及
通过基于确定的特征点执行深度图像中的对象的平移和旋转中的任何一个或两者来执行第二预处理。
23.根据权利要求17至19中的任意一项所述的方法，其中，生成预处理的深度图像的步骤包括：
确定深度图像中的对象的特征点；以及
通过基于预定面部区域的参考点和确定的特征点，将深度图像中的对象变换为正面面部来执行第二预处理。
24.根据权利要求17至19中的任意一项所述的方法，其中，确定对象的验证是否成功的步骤包括：
确定从预处理的红外图像提取的第一特征与有效用户的第一登记特征之间的第一相似度；
确定从预处理的深度图像提取的第二特征与有效用户的第二登记特征之间的第二相似度；以及
基于第一相似度和第二相似度来确定对象的验证是否成功。
25.根据权利要求17所述的方法，还包括：基于预处理的红外图像和预处理的深度图像来确定对象是否是真实对象。
26.一种测试设备，包括：
一个或多个图像传感器，被配置为：获取包括对象的红外图像和包括对象的深度图像；以及
处理器，被配置为：
通过基于红外图像执行第一预处理来生成预处理的红外图像，
通过基于深度图像执行第二预处理来生成预处理的深度图像，以及
基于预处理的红外图像和预处理的深度图像来确定针对对象的活性测试结果和验证结果中的任何一个或两者。
27.根据权利要求26所述的测试设备，其中，处理器被配置为：通过增强红外图像的边缘分量来生成预处理的红外图像。
28.根据权利要求26所述的测试设备，其中，处理器被配置为：确定深度图像中的对象的特征点，并且通过基于预定面部区域的参考点和确定的特征点，将深度图像中的对象变换为正面面部来执行第二预处理。
29.一种测试方法，包括：
获取包括对象的红外图像和包括对象的深度图像；
通过增强红外图像的边缘分量来生成预处理的红外图像；
通过对深度图像中的对象进行平移和旋转中的任何一个或两者来生成预处理的深度图像；以及
基于预处理的红外图像和预处理的深度图像来确定对象的活性和生物特征识别验证中的任何一个或两者。
30.一种存储指令的非暂时性计算机可读存储介质，所述指令在被处理器执行时，配置处理器执行权利要求1、权利要求17和权利要求29中的任意一项所述的方法。
CN202010540357.4A 2019-11-21 2020-06-12 用于活性测试和/或生物特征识别验证的方法和设备 Pending CN112825128A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190150537A KR20210062381A (ko) 2019-11-21 2019-11-21 라이브니스 검사 방법 및 장치, 생체 인증 방법 및 장치
KR10-2019-0150537 2019-11-21

Publications (1)

Publication Number Publication Date
CN112825128A true CN112825128A (zh) 2021-05-21

Family

ID=72885461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010540357.4A Pending CN112825128A (zh) 2019-11-21 2020-06-12 用于活性测试和/或生物特征识别验证的方法和设备

Country Status (4)

Country Link
US (2) US11869272B2 (zh)
EP (1) EP3825905A1 (zh)
KR (1) KR20210062381A (zh)
CN (1) CN112825128A (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10963670B2 (en) 2019-02-06 2021-03-30 Alitheon, Inc. Object change detection and measurement using digital fingerprints
US11501531B2 (en) * 2020-03-03 2022-11-15 Cyberlink Corp. Systems and methods for anti-spoofing protection using motion detection and video background analysis
CN111507262B (zh) * 2020-04-17 2023-12-08 北京百度网讯科技有限公司 用于检测活体的方法和装置
US11334755B1 (en) * 2021-06-04 2022-05-17 EyeVerify Inc. Automated spoofing transformation
US11341225B1 (en) 2021-06-04 2022-05-24 EyeVerify Inc. Automated positional adaptive spoofing
US11341778B1 (en) 2021-06-04 2022-05-24 EyeVerify Inc. Automated adaptive displayed spoofing
KR20220169207A (ko) * 2021-06-18 2022-12-27 삼성전자주식회사 생체 라이브니스 인증 방법 및 전자 장치
CN116061878A (zh) * 2022-12-20 2023-05-05 上海势航网络科技有限公司 车辆无钥匙进入与启动方法、装置及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5106459B2 (ja) 2009-03-26 2012-12-26 株式会社東芝 立体物判定装置、立体物判定方法及び立体物判定プログラム
US20170091550A1 (en) * 2014-07-15 2017-03-30 Qualcomm Incorporated Multispectral eye analysis for identity authentication
WO2016107638A1 (en) 2014-12-29 2016-07-07 Keylemon Sa An image face processing method and apparatus
US10331945B2 (en) 2015-12-22 2019-06-25 Intel Corporation Fair, secured, and efficient completely automated public Turing test to tell computers and humans apart (CAPTCHA)
GB2549068B (en) 2016-03-22 2021-09-29 Toshiba Europe Ltd Image adjustment
CN106372615A (zh) 2016-09-19 2017-02-01 厦门中控生物识别信息技术有限公司 一种人脸防伪识别方法以及装置
KR101815697B1 (ko) 2016-10-13 2018-01-05 주식회사 에스원 위조 얼굴 판별 장치 및 방법
KR102317180B1 (ko) 2017-06-08 2021-10-27 (주)이더블유비엠 3차원 깊이정보 및 적외선정보에 기반하여 생체여부의 확인을 행하는 얼굴인식 장치 및 방법
CN107748869B (zh) * 2017-10-26 2021-01-22 奥比中光科技集团股份有限公司 3d人脸身份认证方法与装置
KR20190097640A (ko) 2018-02-12 2019-08-21 삼성전자주식회사 영상 정합 방법 및 장치
US10930010B2 (en) * 2018-05-10 2021-02-23 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for detecting living body, system, electronic device, and storage medium
US10956714B2 (en) * 2018-05-18 2021-03-23 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for detecting living body, electronic device, and storage medium

Also Published As

Publication number Publication date
KR20210062381A (ko) 2021-05-31
EP3825905A1 (en) 2021-05-26
US20240087358A1 (en) 2024-03-14
US11869272B2 (en) 2024-01-09
US20210158509A1 (en) 2021-05-27

Similar Documents

Publication Publication Date Title
CN109948408B (zh) 活性测试方法和设备
CN108073889B (zh) 虹膜区域提取的方法和设备
CN108664880B (zh) 活性测试方法和设备
US11869272B2 (en) Liveness test method and apparatus and biometric authentication method and apparatus
KR102483642B1 (ko) 라이브니스 검사 방법 및 장치
US20210064900A1 (en) Id verification with a mobile device
US11030470B2 (en) Apparatus and method with liveness verification
US11625954B2 (en) Method and apparatus with liveness testing
US8744141B2 (en) Texture features for biometric authentication
US11790494B2 (en) Facial verification method and apparatus based on three-dimensional (3D) image
US11625473B2 (en) Method and apparatus with selective combined authentication
US11238271B2 (en) Detecting artificial facial images using facial landmarks
EP3734503B1 (en) Method and apparatus with liveness detection
WO2015122789A1 (en) Facial recognition and user authentication method
CN113614731A (zh) 使用软生物特征的认证验证
CN113992812A (zh) 用于活性检测的方法和设备
KR102380426B1 (ko) 얼굴 인증 방법 및 장치
KR20200127818A (ko) 라이브니스 검사 방법 및 장치, 얼굴 인증 방법 및 장치
KR102483647B1 (ko) 라이브니스 검증 방법 및 장치
KR20190098672A (ko) 복합 인증을 수행하는 방법 및 장치
KR20210001270A (ko) 블러 추정 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination