CN110069970A - 活性测试方法和设备 - Google Patents

活性测试方法和设备 Download PDF

Info

Publication number
CN110069970A
CN110069970A CN201811276147.8A CN201811276147A CN110069970A CN 110069970 A CN110069970 A CN 110069970A CN 201811276147 A CN201811276147 A CN 201811276147A CN 110069970 A CN110069970 A CN 110069970A
Authority
CN
China
Prior art keywords
active testing
image
result
active
color image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811276147.8A
Other languages
English (en)
Inventor
韩在濬
郭荣竣
俞炳仁
崔昌圭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110069970A publication Critical patent/CN110069970A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Color Television Image Signal Generators (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

公开一种活性测试方法和设备。一种处理器实现的活性测试方法，包括：获得包括对象的彩色图像和包括对象的红外(IR)图像；使用彩色图像执行第一活性测试；使用IR图像执行第二活性测试；基于第一活性测试的结果和第二活性测试的结果来确定对象的活性。

Description

活性测试方法和设备
本申请要求于2018年1月22日提交到韩国知识产权局的第10-2018-0007814号韩国专利申请的权益，所述韩国专利申请的全部公开出于所有的目的通过引用包含于此。
技术领域
下面的描述涉及具有对图像中的对象的活性检测和验证的设备和方法。
背景技术
在用户验证系统中，计算设备可基于由用户提供的验证信息来确定是否允许用户访问计算设备。例如，验证信息可包括由用户输入的密码和用户的生物测量学信息。例如，生物测量学信息可包括与用户的指纹、虹膜和脸部相关联的信息。
近来，存在人脸反欺骗方法，其中，例如，人脸欺骗可以是一种使用图像、视频或面具的攻击，意在欺骗或欺诈底层装置或系统来相信授权用户或个人正在尝试访问或使用该装置。人脸反欺骗技术可用于确定输入到这样的装置或系统的用户的脸部是冒充的人脸还是真实的人脸。人脸反欺骗技术可包括：从输入图像提取特征(诸如，局部二进制模式(LBP)、方向梯度直方图(HOG)和高斯差分(DoG))，并基于提取的特征确定输入的人脸是冒充的还是真实的。
发明内容
提供本发明内容用于以简化的形式介绍对下面在具体实施方式中进一步描述的构思的选择。本发明内容不意在标识要求保护的主题的关键特征或必要特征，也不意在作为帮助确定要求保护的主题的范围而被使用。
在一个总体方面，提供一种处理器实现的活性测试方法，包括：获得包括对象的彩色图像和包括对象的红外(IR)图像；使用彩色图像执行第一活性测试；使用IR图像执行第二活性测试；基于第一活性测试的结果和第二活性测试的结果来确定对象的活性。
所述方法还可包括：验证对象是否对应于授权用户；基于验证的结果将装置从锁定状态切换到解锁状态，其中，获得彩色图像和IR图像的步骤包括使用所述装置的一个或多个图像传感器获得彩色图像和IR图像。
可根据确定对象的活性的结果选择地执行验证的步骤和切换的步骤。
可使用将彩色图像用作输入的基于神经网络的第一活性测试模型来实现执行第一活性测试的步骤。
执行第二活性测试的步骤可包括：使用将IR图像用作输入的基于神经网络的第二活性测试模型。
确定对象的活性的步骤可包括：响应于第一活性测试的结果指示对象是有生命的以及第二活性测试的结果指示对象是有生命的，确定对象是有生命的。
确定对象的活性的步骤可包括：基于从第一活性测试的结果得到的第一分数和从第二活性测试的结果得到的第二分数来确定对象是否是有生命的。
确定对象的活性的步骤可包括：响应于基于第一分数和第二分数获得的组合值大于阈值，确定对象是有生命的。
图像传感器可包括：一个或多个彩色光接收器，被配置为测量彩色图像的红(R)颜色值、绿(G)颜色值、蓝(B)颜色值中的任何一个或者任何两个或更多个的任何组合；一个或多个IR光接收器，被配置为测量IR图像的IR值。
彩色图像和IR图像可包括对象的脸部区域和对象的虹膜区域中的一个或二者。
所述方法还可包括：检测彩色图像中的对象的第一感兴趣区域(ROI)，其中，执行第一活性测试的步骤包括基于检测到的第一ROI执行第一活性测试；检测IR图像中的对象的第二ROI，其中，执行第二活性测试的步骤包括基于检测到的第二ROI执行第二活性测试。
第一ROI和第二ROI可对应于对象的不同的区域。
执行第一活性测试的步骤可包括：确定彩色图像是否已经捕捉到对象的IR表示；执行第二活性测试的步骤包括：确定IR图像是否已经捕捉到对象的颜色表示。
对象的IR表示可以是对象的材料IR图像，对象的颜色表示可以是对象的材料颜色图像。
所述方法还可包括：使用基于彩色图像和IR图像来执行第三活性测试，其中，对象的活性的确定是基于第三活性测试的结果。
所述方法还可包括：通过将IR图像和彩色图像进行融合来生成融合的图像，其中，使用融合的图像来执行第三活性测试。
在另一总体方面，提供一种处理器实现的活性测试方法，包括：基于包括对象的彩色图像和包括对象的红外(IR)图像，生成用于将对对象执行的活性测试的测试数据；基于使用所述测试数据作为输入实现活性测试模型的结果，确定对象的活性。
生成所述测试数据的步骤可包括：通过将彩色图像和IR图像进行组合来生成所述测试数据。
确定对象的活性的步骤可包括：基于将从活性测试模型获得的分数与预设阈值进行比较的结果来确定对象是否是有生命的。
在另一总体方面，提供一种处理器实现的活性测试方法，包括：使用包括测试对象的彩色图像执行第一活性测试；使用包括对象的红外(IR)图像执行第二活性测试；使用彩色图像和IR图像执行第三活性测试；基于第一活性测试的结果、第二活性测试的结果和第三活性测试的结果来确定对象的活性。
执行第三活性测试的步骤可包括：将彩色图像和IR图像组合成单个图像；使用所述单个图像来实现活性测试模型。
确定对象的活性的步骤可包括：基于从第一活性测试的结果得到的第一分数、从第二活性测试的结果得到的第二分数和从第三活性测试的结果得到的第三分数，来确定对象是否是有生命的。
一种非暂时性计算机可读存储介质可存储指令，其中，当所述指令由一个或多个处理器执行时，使得所述一个或多个处理器执行所述方法。
在另一总体方面，提供一种活性测试设备，包括：一个或多个图像传感器，被配置为获得包括对象的彩色图像和包括对象的红外(IR)图像；一个或多个处理器，被配置为：使用彩色图像执行第一活性测试；使用IR图像执行第二活性测试；基于第一活性测试的结果和第二活性测试的结果来确定对象的活性。
所述一个或多个处理器还可被配置为：使用将彩色图像用作输入的基于神经网络的第一活性测试模型来执行第一活性测试；使用将IR图像用作输入的基于神经网络的第二活性测试模型来执行第二活性测试。
所述一个或多个处理器还可被配置为：基于彩色图像和IR图像的组合执行第三活性测试；基于第一活性测试的结果、第二活性测试的结果和第三活性测试的结果，来确定对象的活性。
所述一个或多个处理器还可被配置为：检测彩色图像中的对象的第一感兴趣区域(ROI)；基于检测到的第一ROI执行第一活性测试；检测IR图像中的对象的第二ROI；基于检测到的第二ROI执行第二活性测试，其中，第一ROI和第二ROI对应于对象的不同的区域。
所述一个或多个图像传感器还可被配置为测量彩色图像的颜色值和IR图像的IR值。
所述一个或多个图像传感器还可包括：一个或多个彩色光接收器，被配置为测量彩色图像的红(R)颜色值、绿(G)颜色值、蓝(B)颜色值中的任何一个或者任何两个或更多个的任何组合；一个或多个IR光接收器，被配置为测量IR值。
所述设备还可包括：存储器，存储指令，其中，当所述指令被所述一个或多个处理器执行时，配置所述一个或多个处理器执行第一活性测试和第二活性测试以及活性的确定。
在另一总体方面，提供一种活性测试设备，包括：一个或多个图像传感器，被配置为获得包括对象的彩色图像和包括对象的红外(IR)图像；一个或多个处理器，被配置为：使用基于包括对象的彩色图像和包括对象的IR图像生成的数据来实现活性测试模型；基于实现活性测试模型的结果来确定对象的活性。
在另一总体方面，提供一种处理器实现的活性测试方法，包括：使用包括检测的对象的红外(IR)图像和包括检测的对象的彩色图像中一个或二者来执行第一活性测试；通过将IR图像和彩色图像进行融合来生成融合的图像；使用融合的图像来执行第二活性测试；基于第一活性测试的结果和第二活性测试的结果来确定对象的活性。
根据下面的具体实施方式、附图以及权利要求，其他特征和方面将是清楚的。
附图说明
图1是示出活性测试的示例执行的示图。
图2A至图4是示出示例活性测试方法的流程图。
图5A和图5B是示出在示例活性测试中使用彩色图像和红外(IR)图像的示例的示图。
图6是示出颜色传感器与IR传感器被组合的集成图像传感器的像素阵列的示例的示图。
图7A至图9是示出示例活性测试方法的示图。
图10是示出活性测试设备的示例的示图。
图11是示出计算设备的示例的示图。
贯穿附图和具体实施方式，除非另有描述或提供，否则相同的附图参考标号将被理解为表示相同或相似的元件、特征和结构。为了清楚、说明和方便，附图可不成比例，并且附图中的元件的相对大小、比例和描绘可被夸大。
具体实施方式
提供下面的详细描述以帮助读者获得对在此描述的方法、设备和/或系统的全面理解。然而，在理解本申请的公开之后，在此描述的方法、设备和/或系统的各种改变、修改和等同物将变得清楚。例如，在此描述的操作的顺序仅是示例，并且不限于在此阐述的那些顺序，而是除了必须以特定次序发生的操作之外，可如在理解本申请的公开之后将清楚的那样改变。另外，为了更加清楚和简洁，可省略对已知的特征的描述。
在此描述的特征可以以不同的形式实现，并且将不被解释为受限于在此描述的示例。相反，已提供在此描述的示例，仅用于示出实施在此描述的在理解本申请的公开之后将是清楚的方法、设备和/或系统的许多可能的方式中的一些方式。
在此使用的术语仅是为了描述具体示例的目的，而不是用于限制本公开。除非上下文另外清楚地指示，否则如在此使用的，单数形式也意图包括复数形式。如在此使用的，术语“和/或”包括关联所列项中的任何一个和任何两个或更多个的任何组合。如在此使用的，术语“包括”、“包含”和“具有”指明存在阐述的特征、数量、操作、元件、组件和/或它们的组合，但不排除存在或添加一个或多个其他特征、数量、操作、元件、组件和/或它们的组合。
此外，在此可使用诸如第一、第二、A、B、(a)、(b)等术语来描述组件。这些术语中的每个不用于限定相应组件的实质、次序或顺序，而仅用于将相应组件与其他组件区分开。
贯穿说明书，当元件(诸如，层、区域或基底)被描述为“在”另一元件上、“连接到”或“结合到”另一元件时，它可直接“在”该另一元件上，直接“连接到”或“结合到”该另一元件，或者它们之间可存在一个或多个其他元件。相反，当元件被描述为“直接在”另一元件上、“直接连接到”或“直接结合到”另一元件时，它们之间可不存在其他元件。类似地，例如，表述“在……之间”和“直接在……之间”以及“与……相邻”和“与……紧邻”也可如前所述被解释。
除非另外定义，否则在对本公开的理解后以及与对本公开的理解所一致的，在此使用的所有术语(包括技术术语和科学术语)具有与本公开所属领域的普通技术人员通常理解的含义相同的含义。除非在此明确如此定义，否则术语(诸如，在通用词典中定义的术语)将被解释为具有与它们在相关领域和本公开的上下文中的含义一致的含义，并且将不被解释为理想化或过于形式化的意义。
图1是示出活性测试的示例的示图。
活性测试可被执行以确定作为活性测试的目标的测试对象是否有生命。作为非限制性示例，活性测试可被执行以确定由相机捕捉的图像中的人脸是真实的人脸还是冒充的人脸，或确定图像中的脸部是属于图像中的有生命的人还是属于图像中的无生命的对象。在一个示例中，活性测试可用于确定为了各种示例中的用户登录、支付服务、访问控制等进一步执行的用户验证的验证对象的活性。在此，用户验证的验证对象表示处于用户验证下的目标。作为非限制性示例，在用户验证系统中，这样的活性测试可被执行以，诸如通过区分捕捉的图像中的对象是有生命的对象或更可能是有生命的对象还是所述对象是欺骗的对象或更可能是欺骗的对象，或者通过肯定地确定所述对象是或不是有生命的对象或者是或不是欺骗的对象，来使用捕捉的图像在无生命的对象(作为非限制性示例，作为冒充的机制或形式的照片、图像、纸和复制品)与有生命的对象(作为非限制性示例，有生命的人)之间进行区分。活性测试还可被执行以通过滤除或阻止对验证的尝试(作为非限制性示例，使用替代物(作为非限制性示例，图像、视频、面具、隐形眼镜、复制品等)进行的欺骗攻击)来防止错误接受。在此针对示例或实施例的术语“可”的使用(例如，针对示例或实施例可包括或可实现什么)表示存在包括或实现这样的特征的至少一个示例或实施例，而所有的示例和实施例不限于此。
无效用户可在尝试中使用欺骗技术以获得用户验证系统的错误接受。作为非限制性示例，无效用户可将有效用户的脸部所出现的彩色图像、视频、复制品等呈现给该用户验证系统的彩色相机以在脸部验证中获得错误接受。针对可使用红外(IR)图像可选地执行虹膜检测的另一示例验证，无效用户可将有效用户的虹膜区域所出现的IR图像、视频、复制品等呈现给该可选的用户验证系统的IR相机以在虹膜验证中获得错误接受。因此，活性测试还可被执行以通过滤除或阻止对基于这样的欺骗技术进行的验证的尝试来防止这样的错误接受。
活性测试可使用由图像获取器(作为非限制性示例，相机)获得的图像(作为非限制性示例，静止图像和视频)来执行。作为非限制性示例，将在下文中描述的活性测试可使用彩色图像和IR图像二者来执行。彩色图像中的脸部区域可通过一种方法中的典型的脸部验证来分析，而IR图像中的虹膜区域可通过明显不同的方法中的典型的虹膜验证来分析。这样的典型的方法是不同的并且针对特定应用仅分别单独执行一种，即，当脸部验证被执行时，对检测的脸部区域的彩色图像分析可被执行，而当虹膜验证被执行时，对检测的虹膜区域的IR图像分析可被执行。然而，与如在以上通常的方法中仅基于彩色图像和IR图像之一来执行活性测试相比，根据基础的脸部或虹膜应用，在此的示例基于对象的彩色图像和IR图像二者的考虑来执行示例活性测试。相比于前述方法中的任一个，在此的这样的示例可单独地提高活性测试的准确性。作为非限制性示例，因为当执行示例活性测试时彩色图像中的特征和IR图像中的特征可彼此互补或者示例可依赖于彩色图像和IR图像中的这样的特征的互补方面，所以这样的技术提高可被实现。
参照图1，被配置为对测试对象执行活性测试的活性测试设备可被包括在计算设备120中或由计算设备120表示。作为非限制性示例，计算设备120可以是智能电话、可穿戴装置、平板计算机、上网本、膝上型计算机、台式计算机、个人数字助理(PDA)、机顶盒、家庭电器、生物测量学门锁、安全装置和车辆启动装置。在一个示例中，活性测试设备可对应于图10的活性测试设备1000和/或图11的计算设备1100。
在图1中示出的示例中，用户110可通过由活性测试设备或计算设备执行的脸部验证或虹膜验证来尝试用户验证以访问计算设备120。作为非限制性示例，在用户110尝试脸部验证以取消计算设备120的锁定状态的情况下，计算设备120使用彩色相机130获得用户110的脸部图像，分析获得的脸部图像，并基于分析的验证结果来确定是否取消计算设备120的锁定状态。再例如，在用户110尝试虹膜验证以取消计算设备120的锁定状态的情况下，计算设备120激活IR光源135、分析通过IR相机140获得的用户110的虹膜图像，并基于分析的验证结果来确定是否取消计算设备120的锁定状态。在这个示例中，当用户验证成功时，计算设备120取消锁定状态并允许用户110访问计算设备120。相反，当用户验证不成功时，计算设备120继续在锁定状态下工作。
在这样的用户验证示例实施例中，活性测试可被执行以在用户验证的结果被确定之前通过活性测试设备来确定用户验证的验证对象是有生命的对象还是无生命的对象。在此，响应于确定验证对象是有生命的对象作为活性测试的结果，计算设备120然后可执行用户验证是否成功的确定。相反，响应于确定验证对象是无生命的对象，计算设备120可继续在锁定状态下工作，而不进行确定用户验证是否成功的这种操作。
在这种活性测试处理中，活性测试设备可例如不管用户验证的类型如何，使用由彩色相机130捕捉的彩色图像和由IR相机140捕捉的IR图像二者对测试对象执行活性测试。一起使用彩色图像和IR图像可能够全面考虑活性测试的测试对象的颜色、反射和纹理特征。在此，虽然IR图像可指示IR分布特征而不是颜色分布特征，使得IR图像不能用于确定测试对象的颜色特征和由可见光的反射指示的纹理特征，但是，例如，彩色图像可用于确定测试对象的颜色特征和由可见光的反射指示的纹理特征来执行活性测试。此外，IR图像还可用于确定测试对象的反射特征和由IR光的反射指示的纹理特征来执行活性测试。使用IR相机140获得的IR图像可指示与彩色图像中指示的脸部皮肤特征不同的脸部皮肤特征。此外，彩色图像还可用于确定是否已经捕捉到对象的IR表示，IR图像还可用于确定是否已经捕捉到对象的彩色表示，其中，对象的IR表示是对象的材料IR图像，对象的彩色示是对象的材料彩色图像。
作为非限制性示例，当无效用户将包括脸部(冒充的脸部)的彩色图像呈现给计算设备120以在脸部验证中诱导错误接受时，通过由IR相机140捕捉彩色图像而获得的IR图像可与通过由IR相机140直接捕捉测试对象而获得的IR图像不同。因此，虽然彩色相机130可捕捉包括用于活性验证的脸部的彩色图像，但是由于捕捉包括脸部的彩色图像的IR图像不同于捕捉有生命的测试对象的IR图像，所以对于IR相机140捕捉包括用于活性验证的脸部的彩色图像也是有益的。再例如，当无效用户将包括虹膜的IR图像呈现给计算设备120以在虹膜验证中诱导错误接受时，通过由彩色相机130捕捉IR图像而获得的彩色图像可与通过由彩色相机130直接捕捉有生命的测试对象而获得的彩色图像不同。因此，虽然IR相机140可捕捉包括用于活性测试的虹膜的IR图像，但是由于捕捉包括虹膜的IR图像的彩色图像不同于捕捉有生命的测试对象的彩色图像，所以对于彩色相机130捕捉包括用于活性测试的虹膜的IR图像也是有益的。因此，使用通过捕捉同一测试对象获得的彩色图像和IR图像二者确定测试对象的活性的本公开的活性测试设备比基于彩色图像或者IR图像而不是二者来确定测试对象的活性的典型的活性测试设备在基于前面描述的差异有效滤除或阻止对于这样的错误接受的尝试方面更有效。与例如仅基于IR图像确定测试对象的活性的典型的活性测试设备相比，使用由彩色相机130获得的彩色图像来确定测试对象的活性的本公开的活性测试设备可有效地帮助确定输入的测试对象是实际的人还是被呈现以诱导错误接受的IR图像。此外，使用由IR相机140获得的IR图像可帮助有效地确定输入的测试对象是实际的人还是被呈现以诱导错误接受的彩色图像。如所描述的，与例如基于彩色图像或IR图像而不是二者来确定测试对象的活性的前述典型的活性测试设备相比，使用彩色图像和IR图像二者来确定测试对象的活性的本公开的活性测试设备可提高活性测试的准确性。
因此，在一个示例中，活性测试设备可使用用于活性测试的活性测试模型。在一个示例中，活性测试模型可以基于被配置为基于输入数据输出由内部参数计算的值的神经网络或其他机器学习示例。作为非限制性示例，活性测试模型可以是基于神经网络的活性(或活性验证)模型并被配置为使得当由一个或多个处理器从存储器读取它的训练的参数时，该一个或多个处理器可实现输入图像的活性测试模型，以计算、确定或提取特定于训练的目标的活性分数，例如，彩色图像的活性分数、红外图像的活性分数和/或合成图像的活性分数。使用这样的基于神经网络的活性测试模型通过共同考虑彩色图像和IR图像来获得活性测试的结果可提高活性测试的性能和准确性。活性测试模型的内部参数可通过活性测试模型的训练来确定。作为非限制性示例，在训练中，可存在多组训练数据和活性测试模型的分别与多组训练数据对应的期望的值。当特定组的训练数据被输入到活性测试模型时，活性测试模型的初始内部参数可被调节，使得活性测试模型可输出与输入的训练数据对应的期望的值。可针对每组训练数据执行这样的训练处理，从而可在整个处理中调节初始的内部参数或临时的内部参数，使得活性测试模型可逐渐输出更期望的值。其中，训练可通过反向传播或基于梯度的训练来执行，注意，示例不限于此。在训练处理中，活性测试模型可被训练为对由彩色相机获得的彩色图像与由IR相机获得的IR图像之间的在颜色特征、反射特征、纹理特征等方面的差异进行区分，例如直到满足预定准确性和/或预定不准确性为止，并且最终训练的活性测试模型被存储在存储器中。
在一个示例中，活性测试模型可以是被配置为执行从图像数据(作为非限制性示例，像素值)提取特征值的功能的模型，而不是全部或部分地基于神经网络。作为非限制性示例，活性测试模型可使用在此描述的示例所属的领域中已知的图像特征提取方法提取其中反映测试对象的颜色特征、反射特征、纹理特征等的特征值。在一个示例中，可通过例如被训练为提取这样的特征值的神经网络提取器来执行该提取，然后可基于提取的特征值分别确定活性。
在下文中，将参照附图详细描述活性测试设备如何使用彩色图像和IR图像对测试对象执行活性测试方法。
图2A是示出活性测试方法的示例的流程图。将在下文中参照图2A描述的活性测试方法可由活性测试设备(诸如，图1、图9或图10的活性测试设备，注意示例不限于此)执行。
参照图2A，在操作210中，活性测试设备接收彩色图像和IR图像。彩色图像和IR图像可通过例如活性测试设备的被配置为独立地感测或测量颜色值和IR值的多个图像传感器或相机或者被配置为测量颜色值和IR值二者的单个图像传感器来获得。彩色图像和IR图像可被同时捕捉或者以预设时间间隔捕捉。
在一个示例中，彩色图像和IR图像可通过捕捉同一测试对象(作为非限制性示例，尝试用户验证的对象)的图像来获得，并包括测试对象的感兴趣区域(ROI)。根据一个示例，可分别在彩色图像和IR图像中检测同一类型的ROI(作为非限制性示例，脸部区域或虹膜区域)以对测试对象执行活性测试，或者可分别在彩色图像和IR图像中检测不同类型的ROI或具有不同特征的ROI。作为非限制性示例，针对活性测试，可从彩色图像提取整个脸部区域，并且可在IR图像中检测局部脸部区域。可选地，针对活性测试，可在彩色图像中检测脸部区域，并且可在IR图像中检测虹膜区域。在下文中，用于活性测试的彩色图像可以是与在彩色图像中检测到的ROI对应的图像，用于活性测试的IR图像可以是与在IR图像中检测到的ROI对应的图像。
虽然未示出，但是根据一个示例，活性测试设备可对接收到的彩色图像和接收到的IR图像中的至少一个执行图像预处理。图像预处理可包括用于对彩色图像和/或IR图像进行处理以更适合活性测试的至少一个处理。作为非限制性示例，图像预处理可包括调节图像的大小、旋转图像、去除包括在图像中的噪声、增大图像的对比度、对图像进行去模糊、从图像去除背景区域、扭曲以校正图像中的失真、对图像进行裁剪以及对图像进行二值化。
在操作220中，活性测试设备通过使用彩色图像执行活性测试来获得第一活性测试结果。在一个示例中，活性测试设备可使用第一活性测试模型获得针对彩色图像的第一活性测试结果。第一活性测试结果可包括关于在彩色图像中是否指示出测试对象的活性相关的特征的信息。第一活性测试模型可基于输入到第一活性测试模型的信息来提供将被用于确定测试对象的活性的信息(作为非限制性示例，概率值和特征值)。在一个示例中，活性测试设备还可确定彩色图像是否已经捕捉到对象的IR表示，其中，对象的IR表示是对象的材料IR图像。
在一个示例中，第一活性测试模型可以是将彩色图像用作输入的基于神经网络的活性测试模型。作为非限制性示例，第一活性测试模型可以是基于神经网络的活性(或活性验证)模型并被配置为使得当由一个或多个处理器从存储器读取它的训练的参数时，该一个或多个处理器可实现输入图像的第一活性测试模型，以计算、确定或提取特定于训练的目标的活性分数，例如，彩色图像的活性分数。作为非限制性示例，第一活性测试模型可基于深度卷积神经网络(DCNN)。DCNN可包括卷积层、池化层和全连接层。通过由每个层执行的操作，DCNN可基于输入到第一活性测试模型的图像信息来提供将被用于确定活性的信息。在此，图像信息可以是包括在图像中的像素的像素值(作为非限制性示例，颜色值和/或亮度值)。DNCC在此仅作为示例提供，因此第一活性测试模型可基于除了前面描述的DCNN之外的另一结构的神经网络。
在此，可通过基于训练数据执行的训练来确定配置第一活性测试模型的参数。在这样的训练处理中，可存在多组训练数据和分别与多组训练数据对应的期望的值。第一活性测试模型可接收训练数据作为输入，并基于参数通过计算或运算输出与训练数据对应的结果值。在此，可基于输出的结果值与期望的值之间的差来计算损失，并且可通过调节配置第一活性测试模型的参数来训练第一活性测试模型以减小损失。可针对多组训练数据中的每组训练数据反复地执行这样的训练处理，因此，贯穿训练处理可更如期望地那样调节第一活性测试模型的参数。
第一活性测试模型可以基于如上所述的神经网络，但不限于此。作为非限制性示例，第一活性测试模型可以是被配置为通过已知的特征提取方法而不是基于神经网络，从输入到第一活性测试模型的彩色图像输出其中反映测试对象的颜色特征、反射特征或纹理特征的特征值的模型。
第一活性测试结果可以是基于从第一活性测试模型输出的第一输出值来确定测试对象的活性(作为非限制性示例，确定测试对象是否是有生命的对象)的结果。作为非限制性示例，第一活性测试结果可以是指示测试对象是有生命的对象的结果值和指示测试对象是无生命的对象的结果值中的一个。再例如，第一活性测试结果可以是基于从第一活性测试模型输出的第一输出值的第一分数。作为非限制性示例，第一分数可等于第一输出值或者通过包括第一输出值作为元素的预先定义的计算获得的值。
在操作230中，活性测试设备通过使用IR图像执行活性测试来获得第二活性测试结果。活性测试设备可使用将IR图像用作输入的基于神经网络的第二活性测试模型来获得第二活性测试结果。第二活性测试结果可包括关于在IR图像中是否指示出与测试对象的活性相关的特征的信息。在一个示例中，活性测试设备还可确定IR图像是否已经捕捉到对象的彩色表示，其中，对象的彩色表示是对象的材料彩色图像。
与第一活性测试模型相似，第二活性测试模型可以是被配置为基于输入到第二活性模型的信息来提供将被用于确定测试对象的活性的信息(作为非限制性示例，概率值和特征值)的模型。第二活性测试模型也可基于DCNN或者与DCNN不同的另一结构的神经网络。作为非限制性示例，第二活性测试模型可以是基于神经网络的活性(或活性验证)模型并被配置为使得当由一个或多个处理器从存储器读取它的训练的参数时，该一个或多个处理器可实现输入图像的第二活性测试模型，以计算、确定或提取特定于训练的目标的活性分数，例如，IR图像的活性分数。可选地，第二活性测试模型可以是被配置为通过已知的特征提取方法而不是基于神经网络，从输入到第二活性测试模型的IR图像输出其中反映测试对象的颜色特征、反射特征或纹理特征的特征值的模型。
在一个示例中，第二活性测试结果可以是基于从第二活性测试模型输出的第二输出值来确定测试对象的活性(作为非限制性示例，确定测试对象是否是有生命的对象)的结果。作为非限制性示例，第二活性测试结果可以是指示测试对象是有生命的对象的结果值和指示测试对象是无生命的对象的结果值中的一个。
再例如，第二活性测试结果可以是基于从第二活性测试模型输出的第二输出值的第二分数。作为非限制性示例，第二分数可等于第二输出值或者通过包括第二输出值作为元素的预先定义的计算获得的值。
在操作240中，活性测试设备基于第一活性测试结果和第二活性测试结果来确定测试对象是否是有生命的对象。
在一个示例中，在第一活性测试结果和第二活性测试结果是指示测试对象是否是有生命的对象的结果值的情况下，活性测试设备可响应于基于第一活性测试结果和第二活性测试结果二者确定测试对象是有生命的对象而最终确定测试对象是有生命的对象。相反，活性测试设备可响应于基于第一活性测试结果和第二活性测试结果中的至少一个确定测试对象是无生命的对象而最终确定测试对象是无生命的对象。
在另一示例中，在第一活性测试结果和第二活性测试结果分别是第一分数和第二分数的情况下，活性测试设备可响应于基于第一分数和第二分数获得的组合值大于阈值而确定测试对象是有生命的对象。相反，活性测试设备可响应于组合值不大于阈值而确定测试对象是无生命的对象。在此，作为非限制性示例，组合值可通过第一分数与第二分数的和、平均值以及加权和来确定。然而，示例不限于在前面描述的示例，因此组合值可通过各种方法来确定。
活性测试设备可响应于活性测试的结果执行控制操作。在一个示例中，响应于最终确定测试对象是有生命的对象，活性测试设备可生成控制信号来请求用户验证的执行。相反，响应于最终确定测试对象不是有生命的对象，活性测试设备可生成控制信号来阻止用户的访问，而不请求用户验证的执行。
在图2A中示出的示例中，彩色图像和IR图像可用于活性测试，彩色图像的将被用于活性测试的ROI和IR图像的将被用于活性测试的ROI可对应于测试对象的相同的测试区域或不同的测试区域。作为非限制性示例，在彩色图像和IR图像中将被用于活性测试的ROI的测试区域相同的情况下，活性测试设备可在彩色图像和IR图像二者中检测脸部区域或虹膜区域，并基于检测到的脸部区域或检测到的虹膜区域执行活性测试。然而，在彩色图像和IR图像中ROI的测试区域可彼此不同，在下文中将参照图2B详细地描述这种情况。
图2B是示出活性测试方法的另一示例的流程图。
参照图2B，在操作252中，活性测试设备接收包括脸部的彩色图像。在操作262中，活性测试设备检测彩色图像中的包括脸部区域的第一ROI。在此，作为非限制性示例，活性测试设备可使用基于haar的级联adaboost分类器来检测彩色图像中的第一ROI。再例如，活性测试设备可检测彩色图像中的脸部标志，并基于检测到的脸部标志的位置来确定第一ROI。
在操作272中，活性测试设备通过基于第一ROI执行活性测试来获得第一活性测试结果。在此，除了第一ROI的图像数据被输入到第一活性测试模型之外，第一活性测试结果的获得与以上参照图2A描述的获得第一活性测试结果的操作220相同。因此，为了简洁和清楚，这里将省略操作272的详细描述和重复描述。
在操作254中，活性测试设备接收包括虹膜的IR图像。在操作264中，活性测试设备检测IR图像中的包括虹膜区域的第二ROI。活性测试设备可检测IR图像中的脸部标志，并基于检测到的脸部标志来检测眼部区域。活性测试设备可检测检测到的眼部区域中的虹膜区域，并设置包括虹膜区域的第二ROI。
在操作274中，活性测试设备通过基于第二ROI执行活性测试来获得第二活性测试结果。在此，除了第二ROI的图像数据被输入到第二活性测试模型之外，第二活性测试结果的获得与以上参照图2A描述的获得第二活性测试结果的操作230相同。因此，为了简洁和清楚，这里将省略操作274的详细的和重复的描述。
在操作280中，活性测试设备基于第一活性测试结果和第二活性测试结果来确定测试对象是否是有生命的对象。针对操作280的详细描述，可参考以上参照图2A描述的操作240。
在图2B中示出的示例中，第一ROI和第二ROI对应于测试对象的不同的测试区域。如示出的，第一ROI是脸部区域，第二ROI是虹膜区域。然而，示例不限于在前面描述的示例，并且将在彩色图像和IR图像中检测的ROI的类型不限于示出的示例。作为非限制性示例，在彩色图像中检测到的虹膜区域和在IR图像中检测到的脸部区域可用于活性检测。再例如，在彩色图像中检测到的整个脸部区域和在IR图像中检测到的局部脸部区域也可用于活性测试。
图3是示出活性测试方法的示例的流程图。
参照图3，在操作310中，活性测试设备接收彩色图像和IR图像。作为非限制性示例，针对操作310的详细描述，可参考以上参照图2A描述的操作210。
在操作320中，活性测试设备基于彩色图像和IR图像生成用于将对测试对象执行的活性测试的测试数据。在一个示例中，活性测试设备可通过将彩色图像和IR图像进行组合来生成测试数据。作为非限制性示例，活性测试设备可通过将彩色图像和IR图像连结来生成测试数据。作为另一示例，活性测试设备可通过对彩色图像和IR图像进行融合来生成测试数据。
在操作330中，活性测试设备通过使用在操作320中生成的测试数据执行活性测试来确定测试对象是否是有生命的对象。活性测试设备可基于将测试数据用作输入的活性测试模型的输出结果来确定测试对象是否是有生命的对象。在一个示例中，活性测试模型可对应于被配置为使用测试数据作为输入并输出与输入的测试数据对应的结果值的DCNN。DCNN可基于内部参数来输出与测试数据对应的结果值，并且将被用于确定活性测试的结果的分数可基于输出的结果值来计算。作为非限制性示例，该分数可等于从活性测试模型输出的结果值，或者使用结果值作为元素经由预先定义的计算获得的值。活性测试设备可基于将该分数与预设的阈值进行比较的结果来确定测试对象是否是有生命的对象。例如，响应于该分数大于阈值，活性测试设备可确定测试对象是有生命的对象。相反，响应于该分数不大于阈值，活性测试设备可确定测试对象是无生命的对象。活性测试模型可以基于如上所述的DCNN，但是示例不限于此。因此，活性测试模型可以基于与DCNN不同的神经网络。可选地，活性测试模型可以是被配置为使用在此描述的本公开的示例所属的领域已知的图像特征提取方法提取其中反映测试对象的颜色特征、反射特征或纹理特征的特征值的模型，而不是基于神经网络。
图4是示出活性测试方法的另一示例的流程图。作为非限制性示例，将在下文中参照图4描述的活性测试方法是将参照图2A描述的示例和参照图3描述的示例组合的示例。
参照图4，在操作410中，活性测试设备接收彩色图像和IR图像。针对操作410的详细描述，可参考以上参照图2A描述的操作210。
在操作420中，活性测试设备通过使用彩色图像执行活性测试来获得第一活性测试结果。在此，第一活性测试结果的获得与以上参照图2A描述的获得第一活性测试结果的操作220相同，因此，为了简洁和清楚，这里将省略更详细的和重复的描述。
在操作430中，活性测试设备通过使用IR图像执行活性测试来获得第二活性测试结果。在此，第二活性测试结果的获得与以上参照图2A描述的获得第二活性测试结果的操作230相同，因此，为了简洁和清楚，这里将省略更详细的和重复的描述。
在操作440中，活性测试设备通过使用基于彩色图像和IR图像生成的测试数据执行活性测试来获得第三活性测试结果。针对操作440的详细描述，可参考以上参照图3描述的生成测试数据的操作320。作为非限制性示例，活性测试设备可通过将彩色图像和IR图像组合成单个图像来生成测试数据，并使用将生成的测试数据用作输入的活性测试模型来获得第三活性测试结果。再例如，可将彩色图像和IR图像中的每个输入到活性测试模型，并可在活性测试模型的中间层中基于彩色图像和IR图像生成测试数据，然后可通过活性测试模型输出将被用于确定测试对象的活性的分数。
在操作450中，活性测试设备基于第一活性测试结果、第二活性测试结果和第三活性测试结果来确定测试对象是否是有生命的对象。在一个示例中，活性测试设备可基于从第一活性测试结果得到的第一分数、从第二活性测试结果得到的第二分数和从第三活性测试结果得到的第三分数来确定测试对象是否是有生命的对象。活性测试设备可响应于基于第一分数、第二分数和第三分数获得的组合值大于阈值来确定测试对象是有生命的对象，并响应于组合值小于或等于阈值来确定测试对象是无生命的对象。在此，作为非限制性示例，组合值可通过第一分数、第二分数和第三分数的和、平均值或者加权和来确定。然而，示例不限于在前面描述的示例，可通过各种方法来确定组合值。
在另一示例中，活性测试设备可基于第一活性测试结果、第二活性测试结果和第三活性测试结果中的每个来确定测试对象是否是有生命的对象。在这个示例中，当基于第一活性测试结果、第二活性测试结果和第三活性测试结果中的至少两个将测试对象确定为有生命的对象时，活性测试设备可响应于基于三个活性测试结果中的至少两个确定测试对象是有生命的对象而最终确定测试对象是有生命的对象。根据一个示例，响应于基于三个活性测试结果中的至少一个或全部三个确定测试对象是有生命的对象，活性测试设备可最终确定测试对象是有生命的对象。
图5A和图5B是示出如何获得将被用于活性测试的彩色图像和IR图像的示例的示图。
参照图5A，分别通过图像传感器515和图像传感器535获得彩色图像和IR图像。作为非限制性示例，在用户510期望捕捉用于用户验证的脸部或虹膜的图像的情况下，可通过彩色图像传感器515获得用于用户验证的彩色图像，并可通过IR图像传感器535获得用于用户验证的IR图像。当从IR光源530发射的IR光被用户510反射然后反射的IR光被IR图像传感器535感测到时可获得IR图像。在一个示例中，如示出的，彩色图像传感器515包括用于阻止IR光进入彩色图像传感器515的IR截止滤光片520和用于感测红、绿、蓝(RGB)颜色值的彩色像素阵列525。IR图像传感器535包括用于透射入射在IR图像传感器535上的IR光的IR通过滤光片540和用于感测IR值的IR像素阵列545。在图5A中示出的示例中，整个彩色像素阵列的一部分被示出为彩色像素阵列525，并且整个IR像素阵列的一部分被示出为IR像素阵列545。
当需要对用户510执行活性测试时，活性测试设备500可从彩色图像传感器515和IR图像传感器535分别接收彩色图像和IR图像，并使用接收到的彩色图像和接收到的IR图像执行活性测试。
参照图5B，通过单个集成图像传感器550来获得彩色图像和IR图像。当需要测试对象的彩色图像和IR图像来对测试对象执行活性测试时，活性测试设备500激活IR光源530，并接收由集成图像传感器550感测的图像信息。在一个示例中，如示出的，集成图像传感器550包括光学滤光片和像素阵列570，其中，光学滤光片包括阻止入射到集成图像传感器550上的IR光的IR截止区555和透射IR光的IR通过区560，像素阵列570被配置为感测颜色值和IR值。在图5B中示出的示例中，仅整个像素阵列的一部分被示出为像素阵列570，集成图像传感器550可包括在像素阵列570中示出的像素结构被重复布置的像素阵列。
集成图像传感器550通过像素阵列570测量颜色值和IR值二者。像素阵列570包括用于测量红(R)颜色值的第一光接收器、用于测量绿(G)颜色值的第二光接收器、用于测量蓝(B)颜色值的第三光接收器以及用于测量IR值的第四光接收器。活性测试设备500可将由集成图像传感器550测量的颜色值和IR值彼此分离，并可基于分离的结果生成彩色图像和IR图像。然后，活性测试设备500可基于生成的彩色图像和生成的IR图像执行活性测试。
图6是示出颜色传感器与IR传感器被组合的集成图像传感器的像素阵列的示例的示图。
图6示出被配置为获得彩色图像和IR图像二者的集成图像传感器的像素阵列。像素阵列可对应于图5B中示出的像素阵列570。参照图6，像素阵列包括多个像素单元610，并且多个像素单元610中的每个包括用于感测RGB颜色值的彩色像素622、彩色像素624和彩色像素626以及用于感测IR值的IR像素630。像素阵列可以以多个像素单元610中的每个被重复布置的结构来设置。彩色像素622、彩色像素624和彩色像素626中的每个包括用于感测与彩色像素622、彩色像素624和彩色像素626中的每个对应的颜色值的光接收器，并且IR像素630包括用于感测IR值的光接收器。每个像素单元的彩色像素622、彩色像素624和彩色像素626以及IR像素630的布置不限于示出的示例，并且可对示例布置进行各种修改或改变。使用这样的集成图像传感器可减少获得彩色图像和IR图像的位置或捕捉角度之间的差异。
图7A至图7D是示出活性测试方法的示例的示图。
图7A示出在虹膜验证期间如何执行活性测试的示例。参照图7A，针对活性测试，包括虹膜区域的彩色图像710被输入到第一活性测试模型720，包括虹膜区域的IR图像715被输入到第二活性测试模型725。在此，在将彩色图像710和IR图像715分别输入到第一活性测试模型720和第二活性测试模型725之前，可执行各种图像预处理方法，诸如，作为非限制性示例，图像裁剪、ROI提取以及图像分辨率转换。第一活性测试模型720输出与彩色图像710对应的第一活性测试结果。作为非限制性示例，第一活性测试模型720可基于输入的彩色图像710的图像数据(作为非限制性示例，颜色值和亮度值)通过由神经网络的内部参数确定的计算或运算操作输出与彩色图像710对应的第一分数。第二活性测试模型725输出与IR图像715对应的第二活性测试结果。作为非限制性示例，第二活性测试模型725可基于输入的IR图像720的图像数据(作为非限制性示例，IR值)通过由神经网络的内部参数确定的计算或运算操作输出与IR图像715对应的第二分数。
在操作730中，活性测试设备基于从第一活性测试模型720输出的第一分数和从第二活性测试模型725输出的第二分数来确定活性测试的结果。作为非限制性示例，响应于第一分数和第二分数中的每个大于预设阈值，或者响应于基于第一分数和第二分数获得的组合值大于预设阈值，活性测试设备可确定活性测试的测试对象是有生命的对象。基于第一分数和第二分数确定活性测试的结果的示例不限于在前面描述的示例，因此可通过各种方法来确定活性测试的结果。
图7B示出在脸部验证期间如何执行活性测试的示例。参照图7B，针对活性测试，将包括脸部区域的彩色图像740输入到第一活性测试模型750，将包括脸部区域的IR图像745输入到第二活性测试模型755。与图7A中示出的示例相似，在操作760中，活性测试设备基于从第一活性测试模型750输出的第一分数和从第二活性测试模型755输出的第二分数来确定活性测试的结果。
图7C示出如何使用单个集成测试模型执行活性测试的示例。参照图7C，图7A中示出的第一活性测试模型720和第二活性测试模型725被替换为单个集成活性测试模型770。彩色图像710和IR图像715被分别输入到活性测试模型770，活性测试模型770通过基于活性测试模型770的内部参数执行的计算或运算操作输出分数。在此，可在活性测试模型770的中间层中将彩色图像710的特征和IR图像715的特征进行组合，并可基于组合的结果来计算分数。在操作780中，活性测试设备基于该分数确定活性测试的结果。作为非限制性示例，响应于该分数满足预设标准，活性测试设备可确定测试对象是有生命的对象。
图7D示出如何针对活性测试使用彩色图像和IR图像中的不同类型的ROI来执行活性测试的示例。参照图7D，彩色图像712中的脸部区域以及IR图像714中的虹膜区域或眼部区域被使用。
针对活性测试，在彩色图像712中检测包括脸部区域的第一ROI 722，并将检测到的第一ROI 722输入到第一活性测试模型762。第一活性测试模型762通过基于第一活性测试模型762的内部参数执行的计算或运算操作输出与第一ROI 722对应的第一活性测试结果。此外，针对活性测试，在IR图像714中检测包括虹膜区域或眼部区域的第二ROI 724，并将检测到的第二ROI 724输入到第二活性测试模型764。第二活性测试模型764通过基于第二活性测试模型764的内部参数执行的计算或运算操作输出与第二ROI 724对应的第二活性测试结果。在操作790中，活性测试设备基于第一活性测试结果和第二活性测试结果来确定活性测试的最终结果。
图8是示出活性测试方法的另一示例的示图。
参照图8，基于彩色图像710和IR图像715生成将被用于将对测试对象执行活性测试的测试数据。作为非限制性示例，可通过将彩色图像710和IR图像715组合、融合、合成或连结成单组数据(诸如，组合的图像、融合的图像、合成的图像或连结的图像)来生成测试数据。作为非限制性示例，彩色图像710的相关信息和IR图像715的相关信息可被组合以创建与彩色图像710和IR图像715中的任何一个的空间分辨率相比更高空间分辨率的单个融合的图像，同时保留彩色图像710和IR图像715的频谱信息。生成的测试数据被输入到活性测试模型810，并且活性测试模型810通过基于活性测试模型810的内部参数执行的计算或运算操作输出与测试数据对应的结果值。在操作815中，活性测试设备基于结果值确定对测试对象执行的活性测试的结果。作为非限制性示例，响应于结果值或与结果值对应的分数满足预设标准，活性测试设备可确定测试对象是有生命的对象。
图9是示出活性测试方法的另一示例的示图。
参照图9，与图7A中示出的示例相似，将彩色图像710和IR图像715分别输入到第一活性测试模型910和第二活性测试模型920，并且第一活性测试模型910和第二活性测试模型920分别输出第一活性测试结果和第二活性测试结果。此外，与图8中示出的示例相似，基于彩色图像710和IR图像715生成将被用于将对测试对象执行活性测试的测试数据，并且将生成的测试数据输入到第三活性测试模型930，然后第三活性测试模型930输出第三活性测试结果。
在操作940中，活性测试设备基于第一活性测试结果、第二活性测试结果和第三活性测试结果来确定活性测试的最终结果。在一个示例中，当基于从第一活性测试结果得到的第一分数、从第二活性测试结果得到的第二分数以及从第三活性测试结果得到的第三分数确定的最终分数大于阈值时，活性测试设备可确定测试对象是有生命的对象。在这个示例中，可通过预先定义的计算或运算操作来确定最终分数。然而，计算操作不限于特定示例。作为非限制性示例，可通过分数之和或分数的加权和来确定最终分数。再例如，可基于第一分数、第二分数和第三分数中的至少两个是否满足预先定义的标准来确定针对测试对象的活性测试的最终结果。
在另一示例中，活性测试设备可仅使用三个活性测试结果中的一些来确定活性测试的最终结果。作为非限制性示例，在用户验证的类型是脸部验证的情况下，活性测试设备可仅使用第一活性测试结果和第三活性测试结果来确定活性测试的最终结果。再例如，在用户验证的类型是虹膜验证的情况下，活性测试设备可仅使用第二活性测试结果和第三活性测试结果来确定活性测试的最终结果。
图10是示出活性测试设备的示例的示图。
活性测试设备1000可使用通过捕捉活性测试的同一测试对象而获得的彩色图像和IR图像来执行活性测试，并提供活性测试的结果。活性测试设备1000可执行在此关于活性测试描述的一个或多个或所有的操作或阶段，诸如，验证操作以及活性测试设备基于活性测试的结果和/或验证操作的结果的进一步操作的执行。
参照图10，活性测试设备1000包括处理器1010和存储器1020。存储器1020可连接到处理器1010，并存储可由处理器1010执行的指令、将由处理器1010操作或计算的数据和/或由处理器1010处理的数据。存储器1020可包括非暂时性计算机可读介质(作为非限制性示例，高速随机存取存储器(RAM))和/或非易失性计算机可读存储介质(例如，至少一个磁盘存储装置、闪存装置和其他非易失性固态存储器装置)。
处理器1010可执行以上参照图1至图9描述的一个或多个或所有的操作或阶段。作为非限制性示例，处理器1010可基于由图像传感器获得的彩色图像和IR图像对测试对象执行活性测试，并输出活性测试的结果。
在一个示例中，如参照图2A和图2B描述的，处理器1010可使用彩色图像执行活性测试以获得第一活性测试结果，并使用IR图像执行活性测试以获得第二活性测试结果。处理器1010然后可基于获得的第一活性测试结果和获得的第二活性测试结果来确定测试结果是否是有生命的对象。在这个示例中，可使用将彩色图像用作输入的基于神经网络的第一活性测试模型以获得第一活性测试结果，并且可使用将IR图像用作输入的基于神经网络的第二活性测试模型以获得第二活性测试结果。
在另一示例中，如参照图3描述的，处理器1010可基于彩色图像和IR图像来生成用于对测试对象执行活性测试的测试数据，并基于将生成的测试数据用作输入的活性测试模型的输出结果来确定测试对象是否是有生命的对象。
在另一示例中，如参照图4描述的，除了第一活性测试结果和第二活性测试结果之外，处理器1010还可通过基于彩色图像和IR图像被组合的测试数据执行活性测试来获得第三活性测试结果。处理器1010然后可基于第一活性测试结果、第二活性测试结果和第三活性测试结果来确定测试对象是否是有生命的对象。
响应于确定测试对象是有生命的对象，活性测试设备1000可输出指示满足活性测试的通知数据。相反，响应于确定测试对象是无生命的对象，活性测试设备1000可输出指示不满足活性测试的通知数据。
图11是示出计算设备的示例的示图。
计算设备1100可对包括在输入图像中的测试对象执行活性测试，并执行用户验证。计算设备1100可对应于图1中示出的计算设备120，包括图10中示出的活性测试设备1000，或者是在此描述的这样的活性测试设备的代表。
参照图11，计算设备1100包括处理器1110、存储器1120、图像传感器1130、光源1140、存储装置1150、输入装置1160、输出装置1170和网络接口1180。处理器1110、存储器1120、图像传感器1130、光源1140、存储装置1150、输入装置1160、输出装置1170和网络接口1180可通过通信总线彼此通信。
处理器1110可执行功能并执行指令以使用彩色图像和IR图像执行活性测试，以及基于活性测试的结果和/或活性测试和验证操作的结果执行计算设备1100的验证和控制或不控制。作为非限制性示例，处理器1110可处理存储在存储器1120或存储装置1150中的指令。处理器1110可执行以上参照图1到10描述的一个或多个或所有的操作或阶段。
存储器1120可存储用于执行活性测试的信息。存储器1120可包括计算机可读存储介质或计算机可读存储装置。存储器1120可存储将由处理器1110执行的指令和执行活性测试所需的信息。
图像传感器1130可获得包括活性测试的测试对象的彩色图像和IR图像。在一个示例中，图像传感器1130可包括如图5A中所示的用于获得彩色图像的图像传感器和用于获得IR图像的图像传感器。在另一示例中，图像传感器1130可以是如图5B中所示的用于获得彩色图像和IR图像二者的集成图像传感器。在这个示例中，图像传感器1130可测量彩色图像的颜色值和IR图像的IR值二者，并包括用于测量R颜色值的第一光接收器、用于测量G颜色值的第二光接收器、用于测量B颜色值的第三光接收器以及用于测量IR值的第四光接收器。
光源1140可在处理器1110的控制下发射IR光。从光源1140发射的IR光可被测试对象反射，并且反射的IR光可通过图像传感器1130感测。
存储装置1150可包括计算机可读存储介质或计算机可读存储装置。存储装置1150可比存储器1120存储更大量的信息，并将信息存储很长一段时间。作为非限制性示例，存储装置1150可包括：磁性硬盘、光盘、闪存、电可擦除可编程只读存储器(EPROM)、软盘和在此描述的示例所属的技术领域中已知的其他类型的非易失性存储器。
输入装置1160可从用户接收输入，作为非限制性示例，触觉输入、视频输入、音频输入或触摸输入。作为非限制性示例，输入装置1160可从键盘、鼠标、触摸屏、麦克风和用户检测输入，并且包括被配置为将检测到的输入传送到计算设备1100的其他装置。
输出装置1170可通过视觉、听觉或触觉通道向用户提供计算设备1100的输出。作为非限制性示例，输出装置1170可包括显示器、触摸屏、扬声器、振动生成器和被配置为将输出提供给用户的其他装置。网络接口870可通过有线或无线网络与外部装置进行通信。
通过硬件组件来实现在此针对图1至图11描述的计算设备120、彩色相机130、IR光源135、IR相机140、活性测试设备500、彩色图像传感器515、IR截止滤光片520、彩色像素阵列525、IR光源530、IR图像传感器535、IR通过滤光片540、IR像素阵列545、集成图像传感器550、IR截止区555、IR通过区560、像素阵列570、像素单元610、彩色像素622、彩色像素624和彩色像素626、IR像素630、第一活性测试模型720、第二活性测试模型725、第一活性测试模型750、第二活性测试模型755、活性测试模型770、第一活性测试模型762、第二活性测试模型764、活性测试模型810、第一活性测试模型910、第二活性测试模型920、第三活性测试模型930、活性测试设备1000、处理器1010、存储器1020、计算设备1100、处理器1110、存储器1120、图像传感器1130、光源1140、存储装置1150、输入装置1160、输出装置1170、网络接口1180和其他设备、单元、模块、装置以及其他组件。可被用于执行本申请中的适当位置描述的操作的硬件组件的示例包括：控制器、传感器、生成器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器以及被配置为执行本申请中描述的操作的任何其他电子组件。在其他示例中，通过计算硬件(例如，通过一个或多个处理器或计算机)来实现执行本申请中描述的操作的硬件组件中的一个或多个硬件组件。可通过一个或多个处理元件(诸如，逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器或被配置为以定义的方式响应并执行指令以实现期望的结果的任何其他装置或装置的组合)来实现处理器或计算机。在一个示例中，处理器或计算机包括或连接到存储由处理器或计算机执行的指令或软件的一个或多个存储器。通过处理器或计算机实现的硬件组件可执行用于执行本申请中描述的操作的指令或软件(诸如，操作系统(OS)和在OS上运行的一个或多个软件应用)。硬件组件还可响应于指令或软件的执行来访问、操控、处理、创建并存储数据。为了简单起见，单数术语“处理器”或“计算机”可用于本申请中所描述的示例的描述中，但是在其他示例中，多个处理器或计算机可被使用，或者一个处理器或计算机可包括多个处理元件或多种类型的处理元件或二者。例如，单个硬件组件、或者两个或更多个硬件组件可通过单个处理器、或者两个或更多个处理器、或者一个处理器和一个控制器来实现。一个或多个硬件组件可通过一个或多个处理器、或者一个处理器和一个控制器来实现，一个或多个其他硬件组件可通过一个或多个其他处理器、或者另一处理器和另一控制器来实现。一个或多个处理器、或者一个处理器和一个控制器可实现单个硬件组件或者两个或更多个硬件组件。硬件组件可具有任何一个或多个不同的处理配置，其中，一个或多个不同的处理配置的示例包括：单个处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令单数据(MISD)多处理以及多指令多数据(MIMD)多处理。
图1至图11中示出的执行本申请中描述的操作的方法通过计算硬件(例如，通过一个或多个处理器或计算机)来执行，其中，计算硬件如上所述地被实现为执行用于执行本申请中描述的通过该方法执行的操作的指令或软件。例如，单个操作、或者两个或更多个操作可通过单个处理器、或者两个或更多个处理器、或者一个处理器和一个控制器来执行。一个或多个操作可通过一个或多个处理器、或者一个处理器和一个控制器来执行，并且一个或多个其他操作可通过一个或多个其他处理器、或者另一处理器和另一控制器来执行。一个或多个处理器、或者一个处理器和一个控制器可执行单个操作或者两个或更多个操作。
用于控制计算设备(例如，一个或多个处理器或计算机)实现硬件组件并执行如上所述的方法的指令或软件可被编写为计算机程序、代码段、指令或它们的任何组合，以单独地或共同地指示或配置一个或多个处理器或者计算机作为机器或专用计算机进行操作，以执行由硬件组件执行的操作和如上所述的方法。在一个示例中，指令或软件包括由一个或多个处理器或者计算机直接执行的机器代码(诸如，由编译器生成的机器代码)。在另一示例中，指令或软件包括由一个或多个处理器或者计算机使用解释器执行的高级代码。指令或软件可基于附图中所示的框图和流程图以及在此使用的对应描述使用任何编程语言来编写，其中，附图中所示的框图和流程图以及在此使用的对应描述公开了用于执行由硬件组件执行的操作和如上所述的方法的算法。
用于控制计算硬件(例如，一个或多个处理器或者计算机)实现硬件组件并执行如上所述的方法的指令或软件以及任何相关联的数据、数据文件和数据结构可被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中，或者可被记录、存储或固定在一个或多个非暂时性计算机可读存储介质上。非暂时性计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取存储器(RAM)、闪存、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘、以及任何其他装置，该任何其他装置被配置为以非暂时方式存储指令或软件以及任何相关联的数据、数据文件以及数据结构，并向一个或多个处理器或计算机提供指令或软件以及任何相关联的数据、数据文件以及数据结构，以便该一个或多个处理器和计算机能够执行指令。在一个示例中，指令或软件以及任何相关联的数据、数据文件和数据结果分布在联网的计算机系统上，使得指令和软件以及任何相关联的数据、数据文件和数据结果由一个或多个处理器或计算机以分布式方式存储、访问和执行。
虽然本公开包括特定的示例，但是在理解了本申请的公开之后将清楚，在不脱离权利要求和它们的等同物的精神和范围的情况下，可在这些示例中进行形式和细节的各种改变。在此描述的示例仅在描述性意义上被考虑，而不是为了限制的目的。每一个示例中的特征或方面的描述被认为可应用于其他示例中的相似特征或方面。如果描述的技术以不同的顺序被执行，和/或如果描述的系统、结构、装置或电路中的组件以不同方式被组合，和/或被其他组件或它们的等同物替换或补充，则可实现适当的结果。因此，本公开的范围不是由具体实施方式限定，而是由权利要求和它们的等同物限定，并且在权利要求和它们的等同物的范围内的所有变化将被解释为包括在本公开内。

Claims (32)

1.一种活性测试方法，包括：
获得包括对象的彩色图像和包括对象的红外IR图像；
使用彩色图像执行第一活性测试；
使用IR图像执行第二活性测试；
基于第一活性测试的结果和第二活性测试的结果来确定对象的活性。
2.根据权利要求1所述的活性测试方法，还包括：
验证对象是否对应于授权用户；
基于验证的结果将装置从锁定状态切换到解锁状态，
其中，获得彩色图像和IR图像的步骤包括使用所述装置的一个或多个图像传感器获得彩色图像和IR图像。
3.根据权利要求2所述的活性测试方法，其中，根据确定对象的活性的结果选择地执行验证的步骤和切换的步骤。
4.根据权利要求1所述的活性测试方法，其中，使用将彩色图像用作输入的基于神经网络的第一活性测试模型来实现执行第一活性测试的步骤。
5.根据权利要求1所述的活性测试方法，其中，使用将IR图像用作输入的基于神经网络的第二活性测试模型来实现执行第二活性测试的步骤。
6.根据权利要求1所述的活性测试方法，其中，确定对象的活性的步骤包括：
响应于第一活性测试的结果指示对象是有生命的以及第二活性测试的结果指示对象是有生命的，确定对象是有生命的。
7.根据权利要求1所述的活性测试方法，其中，确定对象的活性的步骤包括：
基于从第一活性测试的结果得到的第一分数和从第二活性测试的结果得到的第二分数来确定对象是否是有生命的。
8.根据权利要求7所述的活性测试方法，其中，基于第一分数和第二分数来确定对象的活性的步骤包括：响应于基于第一分数和第二分数获得的组合值大于阈值，确定对象是有生命的。
9.根据权利要求2所述的活性测试方法，其中，所述一个或多个图像传感器中的每一个包括：
一个或多个彩色光接收器，被配置为测量彩色图像的红R颜色值、绿G颜色值、蓝B颜色值中的任何一个或者任何两个或更多个的任何组合；
一个或多个IR光接收器，被配置为测量IR图像的IR值。
10.根据权利要求1所述的活性测试方法，其中，彩色图像和IR图像包括对象的脸部区域和对象的虹膜区域中的一个或二者。
11.根据权利要求1所述的活性测试方法，还包括：
检测彩色图像中的对象的第一感兴趣区域ROI，其中，执行第一活性测试的步骤包括基于检测到的第一ROI执行第一活性测试；
检测IR图像中的对象的第二ROI，其中，执行第二活性测试的步骤包括基于检测到的第二ROI执行第二活性测试。
12.根据权利要求11所述的活性测试方法，其中，第一ROI和第二ROI对应于对象的不同的区域。
13.根据权利要求1所述的活性测试方法，其中：
执行第一活性测试的步骤包括：确定彩色图像是否已经捕捉到对象的IR表示；
执行第二活性测试的步骤包括：确定IR图像是否已经捕捉到对象的彩色表示。
14.根据权利要求13所述的活性测试方法，其中，对象的IR表示是对象的材料IR图像，对象的彩色表示是对象的材料彩色图像。
15.根据权利要求1所述的活性测试方法，还包括：基于彩色图像和IR图像来执行第三活性测试，其中，对象的活性的确定基于第三活性测试的结果。
16.根据权利要求15所述的活性测试方法，还包括：通过将IR图像和彩色图像进行融合来生成融合的图像，其中，使用融合的图像来执行第三活性测试。
17.一种活性测试方法，包括：
基于包括对象的彩色图像和包括对象的红外IR图像，生成用于将对对象执行的活性测试的测试数据；
基于使用所述测试数据作为输入实现活性测试模型的结果，确定对象的活性。
18.根据权利要求17所述的方法，其中，生成所述测试数据的步骤包括：通过将彩色图像和IR图像进行组合来生成所述测试数据。
19.根据权利要求17所述的活性测试方法，其中，确定对象的活性的步骤包括：基于将从活性测试模型获得的分数与预设阈值进行比较的结果来确定对象是否是有生命的。
20.一种活性测试方法，包括：
使用包括对象的彩色图像执行第一活性测试；
使用包括对象的红外IR图像执行第二活性测试；
使用彩色图像和IR图像执行第三活性测试；
基于第一活性测试的结果、第二活性测试的结果和第三活性测试的结果来确定对象的活性。
21.根据权利要求20所述的活性测试方法，其中，执行第三活性测试的步骤包括：
将彩色图像和IR图像组合成单个图像；
使用所述单个图像来实现活性测试模型。
22.根据权利要求21所述的活性测试方法，其中，确定对象的活性的步骤包括：基于从第一活性测试的结果得到的第一分数、从第二活性测试的结果得到的第二分数和从第三活性测试的结果得到的第三分数，来确定对象是否是有生命的。
23.一种存储指令的非暂时性计算机可读存储介质，其中，当所述指令由一个或多个处理器执行时，使得所述一个或多个处理器执行权利要求1所述的活性测试方法。
24.一种活性测试设备，包括：
一个或多个图像传感器，被配置为获得包括对象的彩色图像和包括对象的红外IR图像；
一个或多个处理器，被配置为：
使用彩色图像执行第一活性测试；
使用IR图像执行第二活性测试；
基于第一活性测试的结果和第二活性测试的结果来确定对象的活性。
25.根据权利要求24所述的活性测试设备，其中，所述一个或多个处理器还被配置为：
使用将彩色图像用作输入的基于神经网络的第一活性测试模型来执行第一活性测试；
使用将IR图像用作输入的基于神经网络的第二活性测试模型来执行第二活性测试。
26.根据权利要求24所述的活性测试设备，其中，所述一个或多个处理器还被配置为：
基于彩色图像和IR图像的组合执行第三活性测试；
基于第一活性测试的结果、第二活性测试的结果和第三活性测试的结果，来确定对象的活性。
27.根据权利要求24所述的活性测试设备，其中，所述一个或多个处理器还被配置为：
检测彩色图像中的对象的第一感兴趣区域ROI；
基于检测到的第一ROI执行第一活性测试；
检测IR图像中的对象的第二ROI；
基于检测到的第二ROI执行第二活性测试，
其中，第一ROI和第二ROI对应于对象的不同的区域。
28.根据权利要求24所述的活性测试设备，其中，所述一个或多个图像传感器被配置为测量彩色图像的颜色值和IR图像的IR值。
29.根据权利要求28所述的设备，其中，所述一个或多个图像传感器包括：
一个或多个彩色光接收器，被配置为测量彩色图像的红R颜色值、绿G颜色值、蓝B颜色值中的任何一个或者任何两个或更多个的任何组合；
一个或多个IR光接收器，被配置为测量IR图像的IR值。
30.根据权利要求24所述的活性测试设备，还包括：存储器，存储指令，其中，当所述指令被所述一个或多个处理器执行时，配置所述一个或多个处理器执行第一活性测试和第二活性测试以及活性的确定。
31.一种活性测试设备，包括：
一个或多个图像传感器，被配置为获得包括对象的彩色图像和包括对象的红外IR图像；
一个或多个处理器，被配置为：
使用基于包括对象的彩色图像和包括对象的IR图像生成的数据来实现活性测试模型；
基于实现活性测试模型的结果来确定对象的活性。
32.一种活性测试方法，包括：
使用包括检测的对象的红外IR图像和包括检测的对象的彩色图像中一个或二者来执行第一活性测试；
通过将IR图像和彩色图像进行融合来生成融合的图像；
使用融合的图像来执行第二活性测试；
基于第一活性测试的结果和第二活性测试的结果来确定对象的活性。
CN201811276147.8A 2018-01-22 2018-10-30 活性测试方法和设备 Pending CN110069970A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0007814 2018-01-22
KR1020180007814A KR102466997B1 (ko) 2018-01-22 2018-01-22 라이브니스 검사 방법 및 장치

Publications (1)

Publication Number Publication Date
CN110069970A true CN110069970A (zh) 2019-07-30

Family

ID=65023776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811276147.8A Pending CN110069970A (zh) 2018-01-22 2018-10-30 活性测试方法和设备

Country Status (4)

Country Link
US (1) US11030470B2 (zh)
EP (1) EP3525133B1 (zh)
KR (1) KR102466997B1 (zh)
CN (1) CN110069970A (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11151828B2 (en) * 2018-05-17 2021-10-19 Johnson Controls Tyco IP Holdings LLP Frictionless building access control system with tailgate detection
CN111488756B (zh) * 2019-01-25 2023-10-03 杭州海康威视数字技术股份有限公司 基于面部识别的活体检测的方法、电子设备和存储介质
US11495041B2 (en) * 2019-03-29 2022-11-08 Jumio Corporation Biometric identification using composite hand images
KR102220677B1 (ko) * 2019-09-26 2021-03-02 주식회사 앤오픈 보안 카드를 이용한 사용자 인증 장치 및 사용자 인증 방법
EP3937038A4 (en) * 2019-09-26 2022-06-15 Andopen Co., Ltd. DEVICE AND METHOD FOR USER AUTHENTICATION BY MEANS OF A SECURITY CARD
CN110688967A (zh) * 2019-09-30 2020-01-14 上海依图信息技术有限公司 用于静态人脸活体检测的系统以及方法
KR20210074749A (ko) * 2019-12-12 2021-06-22 삼성전자주식회사 라이브니스 검사 방법 및 라이브니스 검사 장치
KR20210101049A (ko) * 2020-02-07 2021-08-18 삼성전자주식회사 전자 장치 및 객체 인식 방법
WO2022034371A1 (en) * 2020-08-10 2022-02-17 Quantum Integrity Sa Machine learning based system and method of detecting inauthentic content
KR20220082454A (ko) 2020-12-10 2022-06-17 삼성전자주식회사 생체 정보의 도용 여부를 검출하는 방법 및 장치
US11636700B2 (en) 2021-05-21 2023-04-25 Ford Global Technologies, Llc Camera identification
US11769313B2 (en) 2021-05-21 2023-09-26 Ford Global Technologies, Llc Counterfeit image detection
US11967184B2 (en) * 2021-05-21 2024-04-23 Ford Global Technologies, Llc Counterfeit image detection
US20220398820A1 (en) * 2021-06-11 2022-12-15 University Of Southern California Multispectral biometrics system
US11804060B1 (en) * 2021-07-26 2023-10-31 Amazon Technologies, Inc. System for multi-modal anomaly detection
US12020512B2 (en) * 2021-09-17 2024-06-25 Jumio Corporation Spoof detection using eye boundary analysis

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101814130A (zh) * 2009-02-19 2010-08-25 中国科学院自动化研究所 用摄像机阵列的虹膜识别装置和多模态生物特征识别方法
CN101964056A (zh) * 2010-10-26 2011-02-02 徐勇 一种具有活体检测功能的双模态人脸认证方法和系统
CN105100547A (zh) * 2014-05-09 2015-11-25 三星电子株式会社 活性测试方法和设备及图像处理方法和设备
US20160019420A1 (en) * 2014-07-15 2016-01-21 Qualcomm Incorporated Multispectral eye analysis for identity authentication
CN205430494U (zh) * 2014-12-09 2016-08-03 意法半导体(R&D)有限公司 传感器像素和传感器系统
CN106372601A (zh) * 2016-08-31 2017-02-01 上海依图网络科技有限公司 一种基于红外可见双目图像的活体检测方法及装置
CN107111743A (zh) * 2014-11-13 2017-08-29 英特尔公司 使用渐进式眼睑跟踪的生命活性检测
CN107292285A (zh) * 2017-07-14 2017-10-24 广东欧珀移动通信有限公司 虹膜活体检测方法及相关产品
CN107451510A (zh) * 2016-05-30 2017-12-08 北京旷视科技有限公司 活体检测方法和活体检测系统
CN107451455A (zh) * 2017-07-29 2017-12-08 广东欧珀移动通信有限公司 解锁控制方法及相关产品
CN107590473A (zh) * 2017-09-19 2018-01-16 杭州登虹科技有限公司 一种人脸活体检测方法、介质和相关装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000036310A (ko) 1999-12-28 2000-07-05 정훈 미국달러의 위조여부 판별장치 및 방법
KR100580630B1 (ko) 2003-11-19 2006-05-16 삼성전자주식회사 적외선을 이용한 사람 식별 장치 및 방법
CN201242756Y (zh) 2008-07-28 2009-05-20 汉王科技股份有限公司 一种人脸识别装置
US7915652B2 (en) 2008-10-24 2011-03-29 Sharp Laboratories Of America, Inc. Integrated infrared and color CMOS imager sensor
KR101035669B1 (ko) 2009-03-13 2011-05-19 (주)실리콘화일 위폐판별이 가능한 이미지센서 및 위폐 판별방법
KR101123834B1 (ko) 2009-05-22 2012-03-15 한국인식산업(주) 적외선 가변조명을 이용한 사진위조 판별방법 및 카메라 장치
KR101286454B1 (ko) 2012-02-29 2013-07-16 주식회사 슈프리마 눈 영상의 특성을 이용한 모조얼굴 식별장치 및 방법
US8542879B1 (en) 2012-06-26 2013-09-24 Google Inc. Facial recognition
US8457367B1 (en) * 2012-06-26 2013-06-04 Google Inc. Facial recognition
US20140071293A1 (en) 2012-09-12 2014-03-13 Google Inc. Method and device for authintication of live human faces using infra red images
US9996726B2 (en) * 2013-08-02 2018-06-12 Qualcomm Incorporated Feature identification using an RGB-NIR camera pair
KR102257897B1 (ko) * 2014-05-09 2021-05-28 삼성전자주식회사 라이브니스 검사 방법과 장치，및 영상 처리 방법과 장치
US20160019421A1 (en) 2014-07-15 2016-01-21 Qualcomm Incorporated Multispectral eye analysis for identity authentication
US10152631B2 (en) 2014-08-08 2018-12-11 Fotonation Limited Optical system for an image acquisition device
US9886640B1 (en) * 2016-08-08 2018-02-06 International Business Machines Corporation Method and apparatus to identify a live face image using a thermal radiation sensor and a visual radiation sensor
US10157323B2 (en) * 2016-08-30 2018-12-18 Qualcomm Incorporated Device to provide a spoofing or no spoofing indication
US11216933B2 (en) * 2018-04-09 2022-01-04 Altria Client Services Llc Mobile multi-feature product authentication
US10990805B2 (en) * 2018-09-12 2021-04-27 Apple Inc. Hybrid mode illumination for facial recognition authentication

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101814130A (zh) * 2009-02-19 2010-08-25 中国科学院自动化研究所 用摄像机阵列的虹膜识别装置和多模态生物特征识别方法
CN101964056A (zh) * 2010-10-26 2011-02-02 徐勇 一种具有活体检测功能的双模态人脸认证方法和系统
CN105100547A (zh) * 2014-05-09 2015-11-25 三星电子株式会社 活性测试方法和设备及图像处理方法和设备
US20160019420A1 (en) * 2014-07-15 2016-01-21 Qualcomm Incorporated Multispectral eye analysis for identity authentication
CN107111743A (zh) * 2014-11-13 2017-08-29 英特尔公司 使用渐进式眼睑跟踪的生命活性检测
CN205430494U (zh) * 2014-12-09 2016-08-03 意法半导体(R&D)有限公司 传感器像素和传感器系统
CN107451510A (zh) * 2016-05-30 2017-12-08 北京旷视科技有限公司 活体检测方法和活体检测系统
CN106372601A (zh) * 2016-08-31 2017-02-01 上海依图网络科技有限公司 一种基于红外可见双目图像的活体检测方法及装置
CN107292285A (zh) * 2017-07-14 2017-10-24 广东欧珀移动通信有限公司 虹膜活体检测方法及相关产品
CN107451455A (zh) * 2017-07-29 2017-12-08 广东欧珀移动通信有限公司 解锁控制方法及相关产品
CN107590473A (zh) * 2017-09-19 2018-01-16 杭州登虹科技有限公司 一种人脸活体检测方法、介质和相关装置

Also Published As

Publication number Publication date
KR20190089387A (ko) 2019-07-31
EP3525133B1 (en) 2024-07-03
EP3525133A2 (en) 2019-08-14
US20190228248A1 (en) 2019-07-25
EP3525133A3 (en) 2019-11-06
US11030470B2 (en) 2021-06-08
KR102466997B1 (ko) 2022-11-14

Similar Documents

Publication Publication Date Title
CN110069970A (zh) 活性测试方法和设备
US12014571B2 (en) Method and apparatus with liveness verification
CN109948408B (zh) 活性测试方法和设备
US10095927B2 (en) Quality metrics for biometric authentication
CN107766786B (zh) 活性测试方法和活性测试计算设备
CN107111750B (zh) 欺骗性脸部的检测
CN108629168A (zh) 脸部验证方法、设备以及计算设备
CN109117700A (zh) 脸部验证方法和设备
CN108073889A (zh) 虹膜区域提取的方法和设备
CN108664782A (zh) 面部验证方法和设备
CN110163899A (zh) 图像匹配方法和图像匹配装置
US10061996B1 (en) Face recognition method and system for personal identification and authentication
CN107438854A (zh) 使用移动设备捕获的图像执行基于指纹的用户认证的系统和方法
KR102352345B1 (ko) 라이브니스 검사 방법 및 장치
US20180336397A1 (en) Method for detecting a live face for access to an electronic device
EP3734503B1 (en) Method and apparatus with liveness detection
KR20210069404A (ko) 라이브니스 검사 방법 및 라이브니스 검사 장치
KR20210062381A (ko) 라이브니스 검사 방법 및 장치, 생체 인증 방법 및 장치
CN113614731A (zh) 使用软生物特征的认证验证
CN108875338A (zh) 解锁方法、装置和系统及存储介质
JP2021131737A (ja) データ登録装置、生体認証装置、およびデータ登録プログラム
KR20210024877A (ko) 라이브니스 판단 방법 및 장치
KR102483647B1 (ko) 라이브니스 검증 방법 및 장치
RU2774624C1 (ru) Способ и система определения синтетических изменений лиц в видео

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination