CN112989902A - 活体测试方法和活体测试装置 - Google Patents

活体测试方法和活体测试装置 Download PDF

Info

Publication number
CN112989902A
CN112989902A CN202010770095.0A CN202010770095A CN112989902A CN 112989902 A CN112989902 A CN 112989902A CN 202010770095 A CN202010770095 A CN 202010770095A CN 112989902 A CN112989902 A CN 112989902A
Authority
CN
China
Prior art keywords
radar
test
vivo
data
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010770095.0A
Other languages
English (en)
Inventor
韩承周
金柄官
金钟硕
崔成焘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN112989902A publication Critical patent/CN112989902A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/04—Systems determining presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/024—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using polarisation effects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G01S7/412—Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

公开了一种活体测试方法和活体测试装置。活体测试方法包括：使用雷达传感器来确定对象的存在；响应于对象存在，基于雷达传感器获得的雷达数据对对象执行第一活体测试；响应于第一活体测试的结果满足第一条件，使用图像传感器来获取对象的图像数据；以及基于图像数据对对象执行第二活体测试。

Description

活体测试方法和活体测试装置
技术领域
以下描述涉及用于测试对象的活性的技术。
背景技术
在用户认证系统中，计算设备基于用户提供的认证信息来确定是否允许对计算设备进行访问。在示例中，该认证信息包括由用户输入的密码或用户的生物特征信息。该生物特征信息包括与诸如指纹、虹膜或面部之类的特征有关的信息。
近来，对于作为用户认证系统的安全方法的面部防欺骗技术的兴趣日益浓厚。面部防欺骗技术验证输入到计算设备中的用户面部是假脸还是真脸。为此，从输入图像中提取诸如局部二值模式(LBP)、定向梯度直方图(HOG)和高斯差分(DoG)的特征，并且基于提取出的特征来确定输入面部是否为假脸。面部欺骗是使用照片、视频或面具进行攻击的形式。在面部认证中，识别此类攻击尤为重要。
发明内容
提供本发明内容以便以简化的形式介绍一些构思，下面会在具体实施方式中进一步描述这些构思。本发明内容并非意在标识所请求保护的主题的关键特征或基本特征，也并非意在帮助确定所请求保护的主题的范围。
在一个总体方面中，提供了一种活体测试方法，包括：使用雷达传感器确定对象的存在；响应于对象存在，基于雷达传感器获得的雷达数据对对象执行第一活体测试；响应于第一活体测试的结果满足第一条件，使用图像传感器来获取对象的图像数据；以及基于图像数据对对象执行第二活体测试。
活体测试方法可以包括：可以基于雷达数据来确定是否存在人脸。
可以使用雷达传感器中的天线的一部分来获得雷达数据。
该确定可以包括：从雷达数据中提取随距离变化的接收信号的强度特征；以及基于强度特征来确定对象的存在。
该确定可以包括：从雷达传感器连续获得数据；以及可以基于所连续获得的数据来确定是否可能存在对象。
执行第一活体测试可以包括：从雷达数据中提取特征；以及基于所提取的特征来确定对对象的第一活体测试的结果。
该提取可以包括：从雷达数据中提取到对象的距离、对象的大小、对象可能位于的方向和对象的形状中的任意一项或任何组合。
该获取可以包括：响应于第一活体测试的结果满足第一条件而激活图像传感器；以及从激活的图像传感器获取图像数据。
执行第二活体测试可以包括：在图像数据中检测对象的面部区域；以及基于面部区域来执行第二活体测试。
该检测可以包括：基于雷达数据来检测图像数据中的面部区域。
活体测试方法可以包括：响应于第二活体测试的结果满足第二条件，基于雷达数据和图像数据对对象执行第三活体测试。
执行第三活体测试可以包括：基于包括在图像数据中的面部区域中的像素的像素值来提取第一特征；使用雷达传感器来获得另一雷达数据；从该另一雷达数据中提取第二特征；以及基于第一特征和第二特征来确定第三活体测试的结果。
可以使用雷达传感器的多个极化天线来获得该另一雷达数据。
使用雷达传感器针对多个信道中的每个信道获得该另一雷达数据，并且提取第二特征可以包括：从该另一雷达数据中提取基于信道的信号特征。
在另一个总体方面中，提供了一种活体测试方法包括：使用雷达传感器来确定对象的存在；响应于对象存在，使用图像传感器来获取对象的图像数据；以及基于图像数据对对象执行第一活体测试。
该确定可以包括：从雷达传感器连续获得雷达数据；以及基于所获得的雷达数据确定对象是否可能存在。
该获取可以包括：响应于确定对象可能存在，激活图像传感器；以及从所激活的图像传感器获取图像数据。
该活体测试方法可以包括：响应于第一活体测试的结果满足第一条件，基于雷达传感器获得的雷达数据和图像传感器获取的图像数据对对象执行第二活体测试。
执行第二活体测试可以包括：基于包括在图像数据中的面部区域中的像素的像素值来提取第一特征；使用雷达传感器来获得另一雷达数据；从该另一雷达数据中提取第二特征；以及基于第一特征和第二特征来确定第二活体测试的结果。
在另一个总体方面中，提供了一种活体测试装置，包括雷达传感器、图像传感器和处理器，处理器被配置为：使用雷达传感器来确定对象的存在；响应于对象存在，基于雷达传感器获得的雷达数据对对象执行第一活体测试；响应于第一活体测试的结果满足第一条件，使用图像传感器来获取对象的图像数据；以及基于图像数据对对象执行第二活体测试。
处理器可以被配置为：从雷达传感器连续获得数据；以及基于所获得的数据来确定对象的存在。
处理器可以被配置为：响应于第一活体测试的结果满足第一条件，激活图像传感器；以及从所激活的图像传感器获取图像数据。
处理器可以被配置为：响应于第二活体测试的结果满足第二条件，基于雷达数据和图像数据对对象执行第三活体测试。
雷达传感器可以被配置为：在被包括在通信模块中的同时进行操作。
在另一个总体方面中，提供了一种活体测试装置，包括雷达传感器、图像传感器和处理器，处理器被配置为：使用雷达传感器来确定对象是否可能存在；响应于对象存在，使用图像传感器来获取对象的图像数据；以及基于图像数据对对象执行第一活体测试。
处理器可以被配置为：响应于第一活体测试的结果满足第一条件，基于雷达传感器获得的雷达数据和图像传感器获取的图像数据对对象执行第二活体测试。
在另一个总体方面中，提供了一种活体测试方法，包括：使用雷达传感器来确定对象的存在；响应于对象存在，基于雷达传感器获得的第一雷达数据对对象执行第一活体测试；响应于第一活体测试满足第一阈值，使用图像传感器来获取对象的图像数据；基于图像数据对对象执行第二活体测试；响应于第二活体测试满足第二阈值，基于第二雷达数据和图像数据对对象执行第三活体测试。
雷达传感器的用于获得第二雷达数据的天线数量可以大于用于雷达传感器的获得第一雷达数据的天线数量。
雷达传感器的用于获得第一雷达数据的天线数量可以大于雷达传感器的用于确定对象的存在的天线数量。
其他特征和方面将通过以下具体实施方式、附图和权利要求书变得清楚明白。
附图说明
图1和图2示出了生物特征认证和活体测试的示例。
图3示出了具有雷达传感器和相机传感器的电子设备的示例。
图4示出了活体测试处理的示例。
图5示出了基于雷达数据来控制图像传感器的激活的示例。
图6示出了检测图像数据中的面部区域的示例。
图7A和图7B示出了执行第三活体测试的示例。
图8示出了活体测试方法的示例。
图9示出了活体测试方法的示例。
图10示出了训练活体测试模型的处理的示例。
图11示出了活体测试装置的配置的示例。
图12示出了电子设备的配置的示例。
在整个附图和详细描述中，除非另有描述或提供，否则相同的附图标记应被理解为指代相同的元件、特征以及结构。附图可以不按比例绘制，并且为了清楚、说明和方便，可以扩大附图中元件的相对尺寸、比例和描绘。
具体实施方式
提供以下详细描述以帮助读者获得对本文中所描述的方法、装置和/或系统的全面理解。然而，在理解了本申请的公开内容之后，本文中所描述的方法、装置和/或系统的各种改变、修改和等同物将显而易见。例如，本文中所描述的操作序列只是示例，并且不限于本文中所阐述的操作序列，而是可以在理解了本申请的公开内容之后进行将是显而易见的改变，除了必须按一定顺序进行的操作以外。而且，为了增加清晰度和简洁性，可以省略对已知特征的描述。
可以以不同的形式具体实施本文中所描述的特征，并且不应将这些特征解释为限于本文中所描述的示例。相反，提供本文中所描述的示例仅是为了说明实现本文中所描述的方法、装置和/或系统的许多可能方式中的一些，这些方式在理解了本申请的公开内容之后将显而易见。
本文中所使用的术语仅出于描述特定示例的目的，并且不用于限制本公开。如本文中所使用的，除非上下文另外明确指出，否则单数形式“一”、“一个”和“该”也意图包括复数形式。如本文中所使用的，术语“和/或”包括相关联的所列项目中的任意一个或任何两个或更多个的任何组合。如本文中所使用的，术语“包括”、“包含”和“具有”表示所陈述的特征、数量、操作、元件、组件和/或它们的组合的存在，但是不排除存在或添加一个或多个其他特征、数字、操作、元件、组件和/或它们的组合的存在。
另外，诸如第一、第二、A、B、(a)、(b)等的术语在本文中可以用于描述组件。这些术语中的每一个都不用于定义对应组件的本质、顺序或序列，而仅用于将对应组件与其他组件区分开。尽管可以使用“第一”或“第二”的术语来解释各种组件，但是这些组件不限于这些术语。这些术语应仅用于将一个组件与另一个组件区分开。例如，在根据本公开的构思的权利范围内，“第一”组件可以被称为“第二”组件，或者类似地，“第二”组件可以被称为“第一”组件。
在整个说明书中，当诸如层、区域或衬底的元件被描述为在另一元件“上”、“连接到”或“耦接到”另一元件时，它可以直接在另一元件“上”、“连接到”或“耦接到”另一元件，或者在它们之间可能存在一个或多个其他元件。相反，当一个元件被描述为“直接在”另一个元件“上”、“直接连接到”或“直接耦接到”另一个元件时，在它们之间不能存在其他元件。同样，也可以如前所述地解释例如“在…之间”和“直接在…之间”以及“与…相邻”和“与…紧邻”。
在下文中，将参考附图来详细描述示例。附图中类似的附图标记表示类似的元件，并且将因此将省去它们的描述。
图1和图2示出了生物特征认证和活体测试的示例。
生物特征认证是用于用户验证的认证技术之中的使用个人生物特征(诸如，指纹、虹膜、面部、静脉、皮肤)的认证技术。在生物特征认证中，面部验证基于尝试进行认证的用户的面部信息来确定用户是否为有效用户。面部验证用于针对用户登录、支付服务和访问控制来认证有效用户。
参考图1，电子设备120针对试图通过生物特征认证来访问电子设备120的用户110执行认证处理。电子设备120使用包括在电子设备120中的雷达传感器130来感测用户110的接近，并且响应于确定用户110接近到一定距离内，而针对用户110执行生物特征认证(例如，面部验证)处理。即使用户110没有执行诸如按下按钮或触摸屏幕之类的单独操作以开始生物特征认证处理，电子设备120也使用雷达传感器130自动执行生物特征认证处理。
在示例中，电子设备120基于使用雷达传感器130而获得的雷达数据和/或使用诸如相机的图像传感器140而获得的图像数据来执行生物特征认证处理。电子设备120通过分析雷达数据和/或图像数据来确定认证结果。生物特征认证处理包括例如下列处理：从雷达数据和/或图像数据中提取特征；将所提取的特征和与有效用户有关的注册特征进行比较；并且基于比较来确定认证是否成功。例如，如果电子设备120被锁定，则电子设备120可以响应于确定针对用户110的认证成功而被解锁。在另一示例中，当确定用户110的认证失败时，电子设备120的操作可以继续被锁定。
有效用户通过注册处理预先在电子设备120中注册他/她的生物特征，并且电子设备120将要用于识别有效用户的信息存储在存储设备或云存储中。例如，将有效用户的面部图像或从面部图像中提取的面部特征存储为有效用户的注册生物特征。
在如上所述的生物特征认证处理中，执行活体测试。在示例中，在确定生物特征认证结果之前或之后，执行活体测试。在另一示例中，同时执行生物特征认证处理和活体测试处理。活体测试是测试作为测试对象的对象是否是有生命的对象，并且确定认证手段是否为真。例如，活体测试测试在相机140捕获的图像中显示的面部是人的真脸还是假脸。活体测试用于区分无生命的对象(例如，作为伪造手段的照片、纸张、视频、模型和面具)与有生命的对象(例如，人的真脸)。
图2示出了假脸210和真脸220的示例。电子设备120通过活体测试来识别通过捕获真实用户面部而获得的测试对象图像中的真脸220。此外，电子设备120通过活体测试来识别通过捕获显示在PC屏幕或智能电话屏幕上的用户面部、照片中的用户面部、打印在纸张上的用户面部、用户面部的模型而获得的测试对象图像中的假脸210。
无效用户可能会尝试使用欺骗技术造成用户验证系统的错误接受。例如，在面部验证中，无效用户将有效用户的彩色照片、视频、或者面部的模型或面具呈现给相机140，以造成错误接受。活体测试通过过滤使用诸如照片、视频、面具或模型之类的替代品进行的认证尝试(或者，欺骗攻击)，来防止错误接受。响应于作为活体测试的结果而确定认证对象是无生命的对象，电子设备120不进行将输入对象与注册对象进行比较以确定它们之间的匹配的用户认证操作，或者确定无论用户认证结果如何，用户认证最终都会失败。
返回参考图1，电子设备120执行活体测试和生物特征认证中的一种，或者执行活体测试和生物特征认证两者。电子设备120例如是诸如以下项的各种设备和/或系统，例如智能电话、移动电话、可穿戴设备(例如戒指、手表、眼镜、眼镜型设备、手环、脚环、腰带、项链、耳环、头带、头盔、嵌入衣服中的设备或眼镜显示器(EGD))、计算设备(例如服务器、膝上型计算机、笔记本电脑、亚笔记本电脑、上网本、超移动PC(UMPC)、平板个人计算机(平板电脑)、平板电话(phablet)、移动互联网设备(MID)、个人数字助理(PDA)、企业数字助理(EDA)、超移动个人计算机(UMPC)、便携式膝上型PC)、电子产品(例如机器人、数码相机、数码摄像机、便携式游戏机、MP3播放器、便携式/个人多媒体播放器(PMP)、手持电子书、全球定位系统(GPS)导航、个人导航设备、便携式导航设备(PND)、手持式游戏机、电子书、电视(TV)、智能TV、智能家电、家用电器、智能家居设备、生物识别门锁、安全设备、用于门禁控制的安全设备、智能扬声器、机器人)、各种物联网(IoT)设备、信息亭、车辆启动设备或车辆开启设备，并且可以通过安装在设备上的应用程序、中间件或操作系统，或者与设备上的对应应用进行交互的服务器的程序来执行。
对于活体测试和/或生物特征认证处理，电子设备120使用雷达传感器130和图像传感器140。通常，雷达传感器130不具有大功耗，而图像传感器140具有相对大的功耗。雷达传感器130始终或周期性地被激活以便进行常开感测。雷达传感器130在提供雷达功能的通信模块中进行操作。在示例中，电子设备120使用雷达传感器130自动感测用户110的接近。当电子设备120感测到用户110的接近时，基于雷达传感器130感测到的雷达数据来执行活体测试，并且如果活体测试的结果满足条件，则激活图像传感器140。在示例中，电子设备120第二次基于通过图像传感器140获取的用户110的面部图像来执行活体测试。
如果仅使用图像传感器而不使用雷达传感器，则难以保持消耗较高功率量的图像传感器始终处于激活状态。因此可以通过预定触发动作(诸如，按下开关/按钮、或者触摸或移动屏幕)激活图像传感器，以执行认证处理。在该示例中，无法通过常开感测执行认证。此外，由于图像传感器的特性，图像传感器的性能取决于周围照明环境而变化。因此，仅使用图像传感器的活体测试对于对抗使用照片或屏幕的二维(2D)欺骗攻击或基于模型/面具的3D欺骗攻击是不鲁棒的。
然而，本文中所描述的活体测试装置和活体测试方法可以使用雷达传感器130和图像传感器140来执行活体测试，从而克服了上述缺点。电子设备120使用具有相对小功耗的雷达传感器130来执行常开感测，并且使用从雷达传感器130获得的雷达数据来执行活体测试，从而克服了图像传感器140易受周围照明环境影响的缺点。此外，通过基于包括对象的3D形状信息和材料性质信息的雷达数据来执行活体测试，电子设备120可以鲁棒地处理2D欺骗攻击和3D欺骗攻击。这样，可以有效地阻止基于欺骗的错误接受，并且可以提高活体测试和生物特征认证的准确性。
图3示出了具有雷达传感器和相机传感器的电子设备的示例。
参考图3，电子设备120包括图像传感器140和雷达传感器310。可能会存在一个或多个图像传感器140和一个或多个雷达传感器310。图像传感器140是被配置为获取图像数据的传感器，并且包括例如颜色传感器或红外(IR)传感器。雷达传感器310是被配置为基于接收信号来获得雷达数据并被布置在电子设备120中的不同位置的传感器。包括在电子设备120中的通信模块可以执行雷达传感器310的功能。例如，提供IEEE 802.11 ad/ay通信技术的通信模块可以提供雷达传感器310的功能。
雷达传感器310通过发送天线对发送信号进行发送，并且通过接收天线获得由发送信号被对象反射而得到的反射信号。雷达传感器310包括一个或多个发送天线和一个或多个接收天线。在示例中，雷达传感器310可以包括多个发送天线和多个接收天线，并且使用发送天线和接收天线来执行多输入和多输出(MIMO)功能。
可以基于雷达传感器310的发送信号与在被对象反射之后接收到的接收信号之间的时间差来确定是否存在对象以及到对象的距离。此外，通过分析通过雷达传感器310的多个接收天线获得的接收信号，可以提取对象的3D形状信息和材料性质信息。例如，如果对象是面部，则可以通过分析接收信号来估计下列特征，诸如面部的大小、3D形状、反射性质、面部的主要点的深度和面部的主要点之间的距离。
图4示出了活体测试处理的示例。可以按照所示的顺序和方式来执行图4中的操作，但是可以在不脱离所描述的说明性示例的精神和范围的情况下改变一些操作的顺序或省略一些操作。图4中所示的许多操作可以并行或同时执行。图4的活体测试处理的块以及这些块的组合由活体测试装置执行。在示例中，活体测试装置由基于专用硬件的计算机和执行指定功能的设备(诸如，处理器)、或者包括在活体测试装置中的专用硬件和计算机指令的组合来实现。除了下面对图4的描述之外，对图1至图3的描述也适用于图4并通过引用并入于此。因此，在此可以不再重复上面的描述。
参考图4，在操作410中，作为用于执行活体测试的装置的活体测试装置使用雷达传感器来确定是否存在测试对象。活体测试装置使用雷达传感器来实现常开感测技术，该雷达传感器可以以低功率和短间隔进行操作。活体测试装置可以通过通信模块执行雷达传感器的功能。在示例中，雷达传感器仅使用所有天线中的一部分来确定是否存在测试对象。例如，雷达传感器使用成对的发送天线和接收天线来监测是否存在测试对象。
活体测试装置通过分析雷达传感器获得的雷达数据来检查是否存在测试对象。活体测试装置基于雷达数据来计算发送信号与接收信号之间的飞行时间，并且基于计算出的飞行时间来估计到测试对象的距离。如果到测试对象的距离小于或等于阈值，则活体测试装置确定存在测试对象。活体测试装置通过分析接收信号的随距离变化的信号强度来确定是否存在测试对象。
当确定不存在测试对象时，活体测试装置使用雷达传感器不断地或连续地检查是否存在测试对象。当确定测试对象存在时，在操作420中，响应于确定存在测试对象，活体测试装置使用雷达传感器来执行第一活体测试。活体测试装置使用雷达传感器获得雷达数据，并且使用所获得的雷达数据执行第一活体测试。在示例中，雷达传感器使用比操作410中所使用的天线数量更多的天线来获取更详细的雷达数据。活体测试装置通过分析雷达数据来提取与测试对象的形状、测试对象的曲率、测试对象的大小、测试对象的材料性质、测试对象所位于的方向和到测试对象的距离有关的特征。雷达传感器发送电磁波，并且当电磁波被测试对象反射时获得的接收信号包括与材料性质相关联的信息。例如，与材料性质相关联的信息基于测试对象的材料是金属、塑料还是真实的人类皮肤而改变。因此，活体测试装置基于与包括在雷达数据中的材料性质相关联的信息有效地确定测试对象是否是真实的人。
当作为第一活体测试的结果，确定测试对象为不是有生命的对象而是伪造的对象时，活体测试装置返回操作410并不断或连续地监测是否存在测试对象。当作为第一活体测试的结果，确定测试对象为有生命的对象时，在操作430中，活体测试装置激活图像传感器。例如，执行图像传感器的唤醒功能。所激活的图像传感器获取图像数据。例如，图像传感器获取一个或多个照片或视频。
在操作440中，活体测试装置检测图像数据中的感兴趣区域(例如，面部区域)。在一些示例中，雷达数据可以用于检测感兴趣区域。例如，响应于从图像数据中检测到多个感兴趣区域，可以基于雷达数据来识别检测到测试对象的方向或区域，并且可以将定位在所识别的方向上或区域中的感兴趣区域确定为最终感兴趣区域。在另一示例中，可以基于与雷达数据中的与测试对象有关的信息(例如，方向、距离或大小)来校正在图像数据中检测到的感兴趣区域。
在操作450中，活体测试装置基于感兴趣区域来执行第二活体测试。活体测试装置使用活体测试模型来执行第二活体测试。例如，与感兴趣区域有关的像素值信息被输入到活体测试模型中，并且活体测试模型提供得分(例如，预期值或概率值)，该得分指示感兴趣区域中显示的测试对象对应于有生命的对象的可能性。如果得分大于阈值，则将测试对象确定为有生命的对象。如果得分小于或等于阈值，则确定测试对象是伪造的对象。
在此所描述的活体测试模型可以是例如神经网络模型，该神经网络模型被配置为基于输入数据来输出通过内部参数计算出的值。例如，活体测试模型基于输入数据提供对作为测试对象的面部对象对应于真脸或假脸的特征值、概率值或值加以指示的得分。得分是用于确定测试对象的活性的标准的值。例如，活体测试模型可以基于深度卷积神经网络(DCNN)模型。在示例中，DCNN模型包括卷积层、池化层和完全连接层，并且提供通过由每层执行的计算处理根据输入到活体测试模型的输入数据来确定活性的信息。DCNN模型仅提供为示例。活体测试模型可以基于除DCNN模型的结构之外的结构的神经网络模型。
在另一示例中，活体测试装置通过将第一活体测试的结果与检测感兴趣区域的结果进行比较来计算相似度，并且如果计算出的相似度高于参考值，则将测试对象确定为有生命的对象，或者如果相似度小于或等于参考值，则将测试对象确定为伪造的对象。活体测试装置比较测试对象的方向、到测试对象的距离和测试对象的大小，并且鉴于每个传感器的错误率和每个传感器的分辨率来设置参考值。
当作为第二活体测试的结果，确定测试对象为不是有生命的对象而是伪造的对象时，活体测试装置返回操作410并不断或连续地监测是否存在测试对象。当作为第二活体测试的结果，确定测试对象为有生命的对象时，在操作460中，活体测试装置使用雷达数据和图像数据两者来执行第三活体测试。对于第三活体测试，活体测试装置使用多个天线来获得详细的雷达数据。优选地，可以使用最大数量的天线或使用相对宽的频带来获得雷达数据。活体测试装置使用不同的信道或多个极化天线来获得雷达数据。当使用不同的信道时，将从雷达数据中提取基于频率的特征。通过极化天线提取基于极化特性的特征。
活体测试装置从雷达数据和图像数据中提取特征，并且通过将提取到的特征输入到活体测试模型中来获得对测试对象对应于有生命的对象的可能性加以指示的得分。从雷达数据中提取与根据测试对象的介质的传播反射有关的特征，并且从图像数据中提取特征，例如主要部位(例如，两只眼睛)之间的距离以及主要部位(例如，眼睛、鼻子或嘴巴)的大小/形状。在另一示例中，活体测试装置通过将雷达数据与图像数据进行组合来生成组合数据并将组合数据输入到活体测试模型中。活体测试模型提供与组合数据相对应的分数。例如，活体测试模型被实现为单个神经网络模型或被实现为多个神经网络模型。
在一些示例中，可以省略第一活体测试、第二活体测试和第三活体测试之一。
活体测试装置通过上述处理使用常开感测技术来执行低功耗和高性能的活体测试。特别地，活体测试装置以低功率进行操作，因此即使在移动平台上也能有效地进行操作。此外，通过一起使用雷达数据和图像数据，可以减少由周围照明环境引起的活体测试性能的变化，并且可以有效地防止2D欺骗攻击和3D欺骗攻击。
图5示出了基于雷达数据来控制图像传感器的激活的示例。
参考图5，在操作510中，电子设备120使用雷达传感器130不断或连续地检查是否存在测试对象。雷达传感器130周期性地发送信号。如果用户110进入预定区域，则从雷达传感器130发送的信号被用户110反射，并且反射信号被雷达传感器130接收。电子设备120通过分析包括与接收信号有关的信息的雷达数据来确定在电子设备120附近和前方是否存在测试对象。
当确定存在测试对象时，电子设备120基于由雷达传感器130获得的雷达数据针对用户110执行第一活体测试。例如，如果用户110的面部接近电子设备120，则电子设备120自动识别面部的存在，并且首先执行用于面部验证处理的活体测试。电子设备120从雷达数据中提取测试对象的特征(例如，反射特征或3D形状特征)，并且确定提取到的特征是否对应于有生命的对象的特征。
响应于第一活体测试的结果满足第一条件，例如响应于确定从雷达数据中提取到的特征对应于有生命的对象的特征，在操作520中，电子设备120激活图像传感器140。所激活的图像传感器140获取与用户110的面部有关的图像数据，并且电子设备120基于获取到的图像数据来执行第二活体测试。响应于第一活体测试的结果不满足第一条件，电子设备120维持当前状态(例如，被锁定的状态)。因此，如果用户110的实际面部在图像传感器140的视场(FOV)内，则面部识别功能进行操作。然而，如果用于欺骗攻击的介质在图像传感器140的FOV内，则面部识别功能不进行操作。
在另一示例中，当通过雷达传感器130确定存在测试对象时，图像传感器140被激活，并且基于图像传感器140获取的图像数据来执行第一活体测试，而不是基于雷达数据来执行第一活体测试。
参考图5所描述的示例也可以由本文中所描述的活体测试装置而不是电子设备120执行。
图6示出了检测图像数据中的面部区域的示例。
参考图6，当基于图像数据610执行活体测试时，活体测试装置检测图像数据610中的面部区域620。例如，活体测试装置使用例如神经网络、Viola-Jones检测器或基于Haar的级联AdaBoost分类器来检测面部区域620。活体测试装置在面部区域620中检测与两只眼睛的端点、鼻尖点和嘴角的两个点相对应的特征点630。例如，活体测试装置使用诸如加速鲁棒特征(SURF)、主动外观模型(AAM)、主动形状模型(ASM)、监督下降方法(SDM)或深度学习的技术来检测特征点630。活体测试装置基于特征点630对面部区域620执行诸如图像缩放或图像变形之类的图像处理，并且基于处理后的面部区域来执行活体测试。
图7A和图7B示出了执行第三活体测试的示例。
参考图7A，基于雷达数据710和图像数据720两者来执行第三活体测试。雷达数据710被输入到活体测试模型730中，并且活体测试模型730输出与雷达数据710相对应的第一得分。图像数据720被输入到活体测试模型740中，并且活体测试模型740输出与图像数据720相对应的第二分数。在该示例中，分别提供了雷达数据710的活体测试模型730和图像数据720的活体测试模型740。活体测试装置基于第一得分和第二得分来确定针对测试对象的第三活体测试的结果750。
图7B示出了使用单个活体测试模型760的示例。当活体测试装置执行第三活体测试时，雷达数据710和图像数据720被输入到单个活体测试模型760中，并且活体测试模型760输出针对测试对象的得分。活体测试装置基于通过活体测试模型760获得的得分来确定针对测试对象的第三活体测试的结果770。如在该示例中，图7A的活体测试模型730和740可以用单个集成神经网络模型760进行替代。
图8示出了活体测试方法的操作的示例。可以按照所示的顺序和方式来执行图8中的操作，但是可以在不脱离所描述的说明性示例的精神和范围的情况下可以改变一些操作的顺序或省略一些操作。图8中所示的许多操作可以并行或同时执行。活体测试方法的块以及这些块的组合由本文中所描述的活体测试装置执行。在示例中，活体测试装置由基于专用硬件的计算机和执行指定功能的设备(诸如，处理器)、或者包括在活体测试装置中的专用硬件和计算机指令的组合来实现。除了下面对图8的描述之外，对图1至图7的描述也适用于图8并通过引用并入于此。因此，在此可以不再重复上面的描述。
参考图8，在操作810中，活体测试装置使用雷达传感器来检查是否存在测试对象。活体测试装置不断或连续地从雷达传感器获得雷达数据，并且基于所获得的雷达数据来检查是否存在测试对象。例如，活体测试装置基于雷达数据监测是否存在人脸。活体测试装置使用包括在雷达传感器中的天线中的一部分来获得雷达数据，并且从所获得的雷达数据中提取随距离变化的接收信号的强度特征。活体测试装置基于所提取的强度特征来估计与测试对象的大小和形状有关的信息，并且基于所估计的信息来检查是否存在测试对象。
在操作820中，活体测试装置基于操作810的检查结果来确定是否存在测试对象。如果不存在测试对象，则活体测试装置返回操作810，并且不断或连续地检查测试对象是否存在。当确定测试对象存在时，在操作830中，活体测试装置基于雷达传感器获得的雷达数据针对测试对象执行第一活体测试。
在执行第一活体测试中，活体测试装置使用比在操作810中使用的雷达传感器天线的数量更多的雷达传感器天线来获得雷达数据，并且从所获得的雷达数据中提取特征。例如，活体测试装置从雷达数据中提取一个或多个特征，例如，到测试对象的距离、测试对象的大小、测试对象所位于的方向、测试对象的材料性质和测试对象的形状。活体测试装置基于所提取的特征来确定针对测试对象的第一活体测试的结果。测试测试对象的活性包括：确定测试对象是有生命的真实对象还是无生命的伪造对象。
在操作840中，活体测试装置确定第一活体测试的结果是否满足第一条件。将第一活体测试的结果确定为对测试对象对应于有生命的对象的可能性加以指示的得分，并且确定得分大于阈值的条件是否被满足。
当第一活体测试的结果不满足第一条件时，活体测试装置返回到操作810，并不断或连续地检查是否存在测试对象。在操作850中，当第一活体测试的结果满足第一条件时，活体测试装置使用图像传感器来获取与测试对象有关的图像数据。活体测试装置激活图像传感器并从所激活的图像传感器获取图像数据。如上所述，如果使用雷达传感器确定存在测试对象且基于雷达传感器的雷达数据所确定的第一活体测试的结果满足条件，则活体测试装置激活图像传感器。
在操作860中，活体测试装置基于所获取的图像数据对测试对象执行第二活体测试。活体测试装置在图像数据中检测测试对象的面部区域，并且基于检测到的面部区域来执行第二活体测试。
活体测试装置使用Viola-Jones检测器、被训练为检测面部区域的神经网络或基于Haar的级联AdaBoost分类器来检测图像数据中的面部区域。然而，示例不限于此。活体测试装置可以使用各种面部区域检测技术来检测图像数据中的面部区域。例如，活体测试装置检测图像数据中的面部界标，并且检测包括检测到的界标在内的边界区域作为面部区域。
在示例中，由雷达传感器获得的雷达数据可以用于检测面部区域。例如，当在图像数据中检测到多个面部区域时，基于根据雷达数据而确定的测试对象的位置或测试对象所面对的方向，来确定作为第二活体测试的对象的面部区域。
活体测试装置使用接收面部区域的图像作为输入的活体测试模型来确定针对测试对象的得分，并且将所确定的得分确定为第二活体测试的结果。
在操作870中，活体测试装置确定第二活体测试的结果是否满足第二条件。将第二活体测试的结果确定为对测试对象对应于有生命的对象的可能性加以指示的得分，并且确定得分大于阈值的条件是否被满足。
当第二活体测试的结果不满足第二条件时，活体测试装置返回到操作810，并不断或连续地检查是否存在测试对象。当第二活体测试的结果满足第二条件时，在操作880中，活体测试装置基于雷达传感器获得的雷达数据和图像传感器获取的图像数据针对测试对象执行第三活体测试。
活体测试装置基于用于第二活体测试的包括在图像数据的面部区域中的像素的像素值来提取第一特征，并且从使用雷达传感器获得的雷达数据中提取第二特征。使用活体测试模型来提取第一特征和第二特征。活体测试装置基于所提取的第一特征和所提取的第二特征来确定第三活体测试的结果。
活体测试装置基于包括在图像数据的面部区域中的像素的像素值来提取第一特征。活体测试装置使用雷达传感器获得雷达数据，并且从所获得的雷达数据中提取第二特征。例如，活体测试装置使用包括多个极化天线的雷达传感器来获得雷达数据，或者使用雷达传感器来获得多个信道中的每个信道的雷达数据。活体测试装置从所获得的雷达数据中提取基于信道的信号特征作为第二特征。使用活体测试模型来提取第一特征和第二特征。活体测试装置基于所提取的第一特征和所提取的第二特征来确定第三活体测试的结果。
在另一示例中，活体测试装置通过将雷达数据与图像数据进行组合来生成组合数据，从组合数据中提取特征，并且基于所提取的特征来确定第三活体测试的结果。当第三活体测试的结果满足第三条件时，活体测试装置将测试对象确定为有生命的对象。
活体测试装置响应于第三活体测试的结果，针对测试对象进行控制操作。在示例中，在将测试对象确定为有生命的对象时，活体测试装置生成控制信号以请求执行用户认证处理。在另一示例中，在将测试对象确定为不是有生命的对象而是伪造的对象时，活体测试装置生成控制信号以阻止用户访问，而不请求执行用户认证处理。在另一示例中，活体测试装置返回操作810，并且继续关于是否存在测试对象的检查。
在一些示例中，可以从本活体测试方法中省略第一活体测试、第二活体测试和第三活体测试之一。
图9示出了活体测试方法的操作的示例。可以按照所示的顺序和方式来执行图9中的操作，但是可以在不脱离所描述的说明性示例的精神和范围的情况下改变一些操作的顺序或省略一些操作。图9中所示的许多操作可以并行或同时执行。活体测试方法的块由本文中所描述的活体测试装置执行。在示例中，活体测试装置由基于专用硬件的计算机和执行指定功能的设备(诸如，处理器)，或者包括在活体测试装置中的专用硬件和计算机指令的组合来实现。除了下面对图9的描述之外，对图1至图8的描述也适用于图9并通过引用并入于此。因此，在此可以不再重复上面的描述。
参考图9，在操作910中，活体测试装置使用雷达传感器来检查是否存在测试对象。活体测试装置如常开感应功能一样，不断或连续地从雷达传感器获得雷达数据，并且监测所获得的雷达数据，直到基于雷达数据检测到测试对象为止。
在操作920中，活体测试装置基于操作910的检查结果来确定是否存在测试对象。当确定不存在测试对象时，活体测试装置返回操作910，并且不断或连续地检查是否存在测试对象。当确定存在测试对象时，在操作930中，活体测试装置使用图像传感器来获取关于测试对象的图像数据。响应于确定存在测试对象，活体测试装置激活图像传感器并从所激活的图像传感器获取图像数据。
在操作940中，活体测试装置基于图像数据针对测试对象执行第一活体测试。本示例中的第一活体测试对应于图8的操作860中所描述的第二活体测试。
在操作950中，活体测试装置确定第一活体测试的结果是否满足第一条件。当第一活体测试的结果不满足第一条件时，活体测试装置返回到操作910。
当第一活体测试的结果满足第一条件时，在操作960中，活体测试装置基于雷达传感器获得的雷达数据和图像传感器获取的图像数据针对测试对象执行第二活体测试。本示例中的第二活体测试对应于图8的操作880中所描述的第三活体测试。
在示例中，活体测试装置基于用于第二活体测试的包括在图像数据的面部区域中的像素的像素值来提取第一特征，并且从使用雷达传感器获得的雷达数据中提取第二特征。使用活体测试模型来提取第一特征和第二特征。活体测试装置基于所提取的第一特征和所提取的第二特征来确定第二活体测试的结果。
在另一示例中，活体测试装置通过将雷达数据与图像数据进行组合来生成组合数据，从组合数据中提取特征，并且基于所提取的特征来确定第二活体测试的结果。
当第二活体测试的结果满足第二条件时，活体测试装置将测试对象确定为有生命的对象。当第二活体测试的结果不满足第二条件时，活体测试装置返回到操作910，并不断或连续地监测是否存在测试对象。
图10示出了训练活体测试模型的处理的示例。
对于本文所描述的活体测试模型，通过训练处理确定参数。参考图10，在训练处理中，准备了大量训练数据1010和包括分别与训练数据110相对应的期望值信息在内的标签数据。在示例中，训练数据1010可以是雷达数据、图像数据或它们的组合。
训练数据选择器1020从训练数据1010之中选择要用于当前训练操作的训练数据。由训练数据选择器1020选择的训练数据被输入到活体测试模型1030中，并且活体测试模型1030通过基于内部参数而执行的计算处理来输出与训练数据相对应的结果值。在示例中，活体测试模型1030可以是神经网络模型，并且被实现为一个或多个神经网络模型。
训练器1040基于从活体测试模型1030输出的结果值来更新活体测试模型1030的参数。在一个示例中，训练器1040计算从活体测试模型1030输出的结果值与包括在标签数据中的期望值之间的差所引起的损失，并且通过调节活体测试模型1030的参数来训练活体测试模型以减少损失。然后，训练器1040控制训练数据选择器1020选择后续训练数据，并且基于所选择的后续训练数据再次训练活体测试模型1030。通过针对大量训练数据1010中的每一个迭代地执行如上所述的处理，根据需要逐渐地调节活体测试模型1030的参数。另外，训练器1040还使用各种机器学习算法来训练活体测试模型1030。
图11示出了活体测试装置的配置的示例。
参考图11，活体测试装置1100对应于本文中所描述的活体测试装置。活体测试装置1100基于雷达数据和/或图像数据来执行活体测试。活体测试装置1100包括处理器1110和存储器1120。在一些示例中，活体测试装置1100还可以包括雷达传感器1130和图像传感器1140中的至少一个。
雷达传感器1130通过天线获得雷达数据。雷达传感器1130通过发送天线发送信号，并且通过接收天线接收作为由发送信号被对象反射而得到的反射信号。在示例中，雷达传感器1130对通过接收天线接收的信号进行采样，并且将采样的信号转换为数字信号。通过上述处理，获得了雷达数据。图像传感器1140是被配置为获取图像数据的传感器，并且包括诸如颜色传感器、IR传感器或深度传感器之类的传感器。
存储器1120连接到处理器1110，并且存储将由处理器1110执行的指令、将由处理器1110计算的数据或由处理器1110处理的数据。存储器1120包括计算机可读指令。处理器1420响应于在处理器1110中执行的存储在存储器1120中的指令而执行上述操作。存储器1120是易失性存储器或非易失性存储器。存储器1120包括诸如硬盘的大容量存储介质以存储各种数据。下面提供关于存储器1120的更多细节。
处理器1110控制活体测试装置1100的整体功能和操作，并且执行与参考图1至图10所描述的活体测试处理有关的一个或多个操作。处理器1110使用雷达传感器1130和图像传感器1140中的至少一个针对测试对象执行活体测试。
在示例中，处理器1110被配置为执行指令或程序，或者控制活体测试装置1100。处理器1110包括例如中央处理器(CPU)、处理器核、多核处理器、可重配置处理器、多核处理器、多处理器、专用集成电路(ASIC)和现场可编程门阵列(FPGA)和/或图形处理单元(GPU)、或者任何其他类型的多处理器或单处理器配置。在示例中，活体测试装置1100经由多个通信模块中的一个或多个连接到外部设备，并且交换数据。下面提供关于处理器1110的更多细节。
在示例中，处理器1110使用雷达传感器1130来确定测试对象是否存在。处理器1110不断或连续地从雷达传感器1130获得雷达数据，并且基于所获得的雷达数据来确定是否存在测试对象。当确定测试对象存在时，处理器1110基于雷达传感器1130获得的雷达数据针对测试对象执行第一活体测试。当第一活体测试的结果满足第一条件时，处理器1110激活图像传感器1140并从所激活的图像传感器1140获取图像数据。然后，处理器1110基于图像数据针对测试对象执行第二活体测试。当第二活体测试的结果满足第二条件时，处理器1110基于雷达传感器1130获得的雷达数据和图像传感器1140获取的图像数据针对测试对象执行第三活体测试。当第三活体测试的结果满足第三条件时，处理器1110最终确定测试对象为有生命的对象。
在另一示例中，处理器1110使用雷达传感器1130来检查是否存在测试对象。当确定测试对象存在时，处理器110激活图像传感器1140并从图像传感器1140获取图像数据。处理器1110基于所获取的图像数据针对测试对象执行第一活体测试。当第一活体测试的结果满足第一条件时，处理器1110基于雷达传感器1130获得的雷达数据和图像传感器1140获取的图像数据针对测试对象执行第二活体测试。当第二活体测试的结果满足第二条件时，处理器1110确定测试对象为有生命的对象。
处理器1110基于活体测试的最终结果来生成控制信号。例如，当作为活体测试的结果，将测试对象确定为无生命的对象(或者，伪造对象)时，处理器1110生成控制信号以阻止对象的访问或拒绝执行所请求的功能。
图12示出了电子设备的配置的示例。
参考图12，电子设备1200可以对应于本文中所描述的电子设备，并且执行图11的活体测试装置1100的功能。因此，在此可以不再重复上面对图12的描述。电子设备1200包括处理器1210、存储器1220、雷达传感器1230、图像传感器1240、存储设备1250、输入设备1260、输出设备1270和通信设备1180。电子设备1200的元件通过通信总线1290彼此通信。
处理器1210执行指令和功能以执行活体测试和/或生物特征认证。例如，处理器1210处理存储在存储器1220或存储设备1250中的指令。处理器1210执行参考图1至图11所描述的一个或多个操作。
存储器1220存储将由处理器1210执行的指令以及将用于执行活体测试和/或生物特征认证的信息。存储器1220可以包括计算机可读存储介质。
雷达传感器1230通过信号的发送和信号的接收获得雷达数据。图像传感器1240获取图像数据。在示例中，图像传感器1240包括颜色传感器、IR传感器和深度传感器。
存储设备1250可以包括计算机可读存储介质。与存储器1220相比，存储设备1250可以存储更多的信息，并且可以将信息存储相对长的时间。例如，存储设备1250可以包括磁硬盘、光盘、闪存或软盘。下面提供关于存储设备1250的更多细节。
输入设备1260通过触觉、视频、音频或触摸输入接收来自用户的输入。例如，输入设备1260可以包括键盘、鼠标、触摸屏、麦克风、或者被配置为检测来自用户的输入并将检测到的输入发送到电子设备1200的任何设备。
输出设备1270通过视觉、音频或触觉信道将电子设备1200的输出提供给用户。输出设备1270可以包括例如显示器、触摸屏、扬声器、振动生成器、或者被配置为将输出提供给用户的任何设备。通信设备1280通过有线或无线网络与外部设备通信。
活体测试装置、活体测试装置1100、1200以及本文中关于图1至图12描述的其他装置、单元、模块、设备和其他组件由硬件组件实现。在适当的情况下可用于执行本申请中所描述的操作的硬件组件的示例包括控制器、传感器、生成器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器、以及被配置为执行本申请所述的操作的任何其他电子组件。在其他示例中，用于执行本申请中所描述的操作的一个或多个硬件组件由计算硬件(例如，由一个或多个处理器或计算机)实现。处理器或计算机可以由一个或多个处理元件(例如，逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器、或被配置为以定义的方式响应并执行指令以实现期望的结果的任何其他设备或设备的组合)来实现。在一个示例中，处理器或计算机包括(或连接到)存储由处理器或计算机执行的指令或软件的一个或多个存储器。由处理器或计算机实现的硬件组件可以执行指令或软件，例如，操作系统(OS)和在OS上运行的一个或多个软件应用，以执行本申请中描述的操作。硬件组件还可以响应于指令或软件的执行来访问、操纵、处理、创建和存储数据。为了简洁起见，在本申请中描述的示例的描述中可以使用单数术语“处理器”或“计算机”，但是在其他示例中可以使用多个处理器或计算机，或者处理器或计算机可以包括多个处理元件、或多种类型的处理元件、或两者兼有。例如，单个硬件组件或者两个或更多个硬件组件可以由单个处理器、或两个或更多个处理器、或者处理器和控制器来实现。一个或多个硬件组件可以由一个或多个处理器、或处理器和控制器来实现，并且一个或多个其他硬件组件可以由一个或多个其他处理器或另一处理器和另一控制器来实现。一个或多个处理器或者处理器和控制器可以实现单个硬件组件、或者两个或更多个硬件组件。硬件组件可以具有不同的处理配置中的任一种或多种，所述处理配置的示例包括单处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令单数据(MISD)多处理、和多指令多数据(MIMD)多处理。
执行本申请中所描述的操作的图1至图12中所示出的方法由计算硬件执行，例如由一个或多个处理器或计算机执行，其中计算硬件如上所述地实现为执行指令或软件以执行本申请中所描述的由这些方法执行的操作。例如，单个操作或者两个或更多个操作可以由单个处理器、或者两个或更多个处理器、或者处理器和控制器执行。一个或多个操作可以由一个或多个处理器或者处理器和控制器执行，并且一个或多个其他操作可以由一个或多个其它处理器或者另一处理器和另一控制器执行。一个或多个处理器或者处理器和控制器可以执行单个操作或者两个或更多个操作。
用于控制处理器或计算机如上所述地实现硬件组件并执行所述方法的指令或软件被写为计算机程序、代码段、指令或其任何组合，用于单独地或共同地指示或配置处理器或计算机作为机器或专用计算机来操作，以执行由硬件组件执行的操作和上述方法。在示例中，指令或软件包括存储活体测试方法的小应用程序、动态链接库(DLL)、中间件、固件、设备驱动程序、应用程序中的至少一个。在一个示例中，指令或软件包括由处理器或计算机直接执行的机器代码，例如由编译器产生的机器代码。在另一个示例中，指令或软件包括由处理器或计算机使用解释器执行的高级代码。本领域的普通程序员能够基于附图中所示的框图和流程图以及说明书中的对应描述来容易地编写指令或软件，其中公开了用于执行由硬件组件和如上所述的方法执行的操作的算法。
用于控制计算硬件(例如，一个或多个处理器或计算机)以实现硬件组件并执行如上所述的方法的指令或软件、以及任何相关联数据、数据文件和数据结构可以被记录、存储或固定在一个或多个非暂时性计算机可读存储介质之中或之上。非暂时性计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储设备、硬盘驱动器(HDD)、固态驱动器(SSD)、闪存、卡类型的存储器(比如，多媒体卡、安全数字(SD)卡或极限数字(XD)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘、以及被如下配置的任何其它装置：以非暂时性方式存储指令或软件以及任何相关联的数据、数据文件和数据结构，并且向处理器或计算机提供指令或软件以及任何相关联的数据、数据文件和数据结构，使得处理器或计算机可以执行该指令。在一个示例中，指令或软件以及任何相关联的数据、数据文件和数据结构分布在网络耦合的计算机系统上，使得指令、软件和任何相关联的数据、数据文件和数据结构被存储、访问并被一个或多个处理器或计算机以分布式的方式执行。
虽然本公开包括特定的示例，但是在理解本申请的公开内容之后将显而易见的是：在不脱离权利要求及其等同物的精神和范围的情况下，可以在这些示例中进行形式和细节上的各种改变。本文中所描述的示例应仅被认为是描述性的，而不是出于限制的目的。每个示例中的特征或方面的描述被认为适用于其他示例中的类似特征或方面。如果所描述的技术以不同的顺序执行和/或如果所描述的系统、架构、设备或电路中的组件以不同的方式组合和/或被其他组件或其等同物替换或补充，则可以实现合适的结果。因此，本公开的范围不是由具体实施方式限定，而是由权利要求书及其等同物限定，并且在权利书要求及其等同物的范围内的所有变化都被解读为包括在本公开中。

Claims (30)

1.一种活体测试方法，包括：
使用雷达传感器来确定对象的存在；
响应于所述对象存在，基于所述雷达传感器获得的雷达数据对所述对象执行第一活体测试；
响应于所述第一活体测试的结果满足第一条件，使用图像传感器获取所述对象的图像数据；以及
基于所述图像数据对所述对象执行第二活体测试。
2.根据权利要求1所述的活体测试方法，其中所述确定包括：基于所述雷达数据来确定是否存在人脸。
3.根据权利要求2所述的活体测试方法，其中使用所述雷达传感器中的天线的一部分来获得所述雷达数据。
4.根据权利要求1所述的活体测试方法，其中所述确定包括：
从所述雷达数据中提取随距离变化的接收信号的强度特征；以及
基于所述强度特征来确定所述对象的存在。
5.根据权利要求1所述的活体测试方法，其中所述确定包括：
从所述雷达传感器连续获得数据；以及
基于连续获得的数据来确定对象是否存在。
6.根据权利要求1所述的活体测试方法，其中执行所述第一活体测试包括：
从所述雷达数据中提取特征；以及
基于所提取的特征来确定对所述对象进行的所述第一活体测试的结果。
7.根据权利要求6所述的活体测试方法，其中所述提取包括：从所述雷达数据中提取到所述对象的距离、所述对象的大小、所述对象所位于的方向和所述对象的形状中的任意一项或任何组合。
8.根据权利要求1所述的活体测试方法，其中所述获取包括：
响应于所述第一活体测试的结果满足所述第一条件，激活所述图像传感器；以及
从所激活的图像传感器获取所述图像数据。
9.根据权利要求1所述的活体测试方法，其中执行所述第二活体测试包括：
在所述图像数据中检测所述对象的面部区域；以及
基于所述面部区域来执行所述第二活体测试。
10.根据权利要求9所述的活体测试方法，其中所述检测包括：基于所述雷达数据来检测所述图像数据中的所述面部区域。
11.根据权利要求1所述的活体测试方法，还包括：
响应于所述第二活体测试的结果满足第二条件，基于所述雷达数据和所述图像数据对所述测试对象执行第三活体测试。
12.根据权利要求11所述的活体测试方法，其中执行所述第三活体测试包括：
基于包括在所述图像数据中的面部区域中的像素的像素值来提取第一特征；
使用所述雷达传感器获得另一雷达数据；
从所述另一雷达数据中提取第二特征；以及
基于所述第一特征和所述第二特征来确定所述第三活体测试的结果。
13.根据权利要求12所述的活体测试方法，其中使用所述雷达传感器的多个极化天线来获得所述另一雷达数据。
14.根据权利要求12所述的活体测试方法，其中使用所述雷达传感器针对多个信道中的每个信道获得所述另一雷达数据，以及
提取所述第二特征包括：从所述另一雷达数据中提取基于信道的信号特征。
15.一种活体测试方法，包括：
使用雷达传感器来确定对象的存在；
响应于所述对象存在，使用图像传感器来获取所述对象的图像数据；以及
基于所述图像数据对所述对象执行第一活体测试。
16.根据权利要求15所述的活体测试方法，其中所述确定包括：
从所述雷达传感器连续获得雷达数据；以及
基于所获得的雷达数据来确定所述对象是否存在。
17.根据权利要求15所述的活体测试方法，其中所述获取包括：
响应于确定所述对象存在，激活所述图像传感器；以及
从所激活的图像传感器获取所述图像数据。
18.根据权利要求15所述的活体测试方法，还包括：
响应于所述第一活体测试的结果满足第一条件，基于所述雷达传感器获得的雷达数据和所述图像传感器获取的图像数据对所述对象执行第二活体测试。
19.根据权利要求18所述的活体测试方法，其中执行所述第二活体测试包括：
基于包括在所述图像数据中的面部区域中的像素的像素值来提取第一特征；
使用所述雷达传感器来获得另一雷达数据；
从所述另一雷达数据中提取第二特征；以及
基于所述第一特征和所述第二特征来确定所述第二活体测试的结果。
20.一种存储指令的非暂时性计算机可读存储介质，所述指令在由处理器执行时，使所述处理器执行根据权利要求1所述的活体测试方法。
21.一种活体测试装置，包括：
雷达传感器；
图像传感器；以及
处理器，被配置为：
使用所述雷达传感器来确定对象的存在；
响应于所述对象存在，基于所述雷达传感器获得的雷达数据对所述对象执行第一活体测试，
响应于所述第一活体测试的结果满足第一条件，使用所述图像传感器获取所述对象的图像数据，以及
基于所述图像数据对所述对象执行第二活体测试。
22.根据权利要求21所述的活体测试装置，其中所述处理器还被配置为：从所述雷达传感器连续获得数据，并且基于所获得的数据来确定所述对象的存在。
23.根据权利要求21所述的活体测试装置，其中所述处理器还被配置为：响应于所述第一活体测试的结果满足所述第一条件而激活所述图像传感器，并且从所激活的图像传感器获取所述图像数据。
24.根据权利要求21所述的活体测试装置，其中所述处理器还被配置为：响应于所述第二活体测试的结果满足第二条件，基于所述雷达数据和所述图像数据对所述对象执行第三活体测试。
25.根据权利要求21所述的活体测试装置，其中所述雷达传感器被配置为：在被包括在通信模块中的同时进行操作。
26.一种活体测试装置，包括：
雷达传感器；
图像传感器；以及
处理器，被配置为：
使用所述雷达传感器来确定对象是否存在，
响应于所述对象存在，使用所述图像传感器来获取所述对象的图像数据；以及
基于所述图像数据对所述对象执行第一活体测试。
27.根据权利要求26所述的活体测试装置，其中所述处理器还被配置为：响应于所述第一活体测试的结果满足第一条件，基于所述雷达传感器获得的雷达数据和所述图像传感器获取的图像数据对所述对象执行第二活体测试。
28.一种活体测试方法，包括：
使用雷达传感器来确定对象的存在；
响应于所述对象存在，基于所述雷达传感器获得的第一雷达数据对所述对象执行第一活体测试；
响应于所述第一活体测试满足第一阈值，使用图像传感器来获取所述对象的图像数据；
基于所述图像数据对所述对象执行第二活体测试；
响应于所述第二活体测试满足第二阈值，基于所述雷达传感器获得的第二雷达数据和所述图像数据对所述对象进行第三活体测试。
29.根据权利要求28所述的活体测试方法，其中所述雷达传感器的用于获得所述第二雷达数据的天线数量大于所述雷达传感器的用于获得所述第一雷达数据的天线数量。
30.根据权利要求28所述的活体测试方法，其中所述雷达传感器的用于获得所述第一雷达数据的天线数量大于所述雷达传感器的用于确定所述对象的存在的天线数量。
CN202010770095.0A 2019-12-12 2020-08-03 活体测试方法和活体测试装置 Pending CN112989902A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0165777 2019-12-12
KR1020190165777A KR20210074749A (ko) 2019-12-12 2019-12-12 라이브니스 검사 방법 및 라이브니스 검사 장치

Publications (1)

Publication Number Publication Date
CN112989902A true CN112989902A (zh) 2021-06-18

Family

ID=73014431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010770095.0A Pending CN112989902A (zh) 2019-12-12 2020-08-03 活体测试方法和活体测试装置

Country Status (4)

Country Link
US (2) US11776239B2 (zh)
EP (1) EP3836011A1 (zh)
KR (1) KR20210074749A (zh)
CN (1) CN112989902A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230105986A (ko) * 2022-01-05 2023-07-12 삼성전자주식회사 라이브니스 검사 방법 및 라이브니스 검사 장치

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101961052B1 (ko) 2007-09-24 2019-03-21 애플 인크. 전자 장치 내의 내장형 인증 시스템들
US7924146B2 (en) * 2009-04-02 2011-04-12 GM Global Technology Operations LLC Daytime pedestrian detection on full-windscreen head-up display
CN102006402B (zh) * 2009-08-28 2014-02-19 鸿富锦精密工业（深圳）有限公司 摄像装置及其身份识别方法
KR101437448B1 (ko) 2012-12-05 2014-09-05 삼성전자주식회사 디스플레이 장치 및 그 디스플레이 장치의 제어 방법
KR102257897B1 (ko) 2014-05-09 2021-05-28 삼성전자주식회사 라이브니스 검사 방법과 장치，및 영상 처리 방법과 장치
US20160019421A1 (en) * 2014-07-15 2016-01-21 Qualcomm Incorporated Multispectral eye analysis for identity authentication
WO2016076914A1 (en) * 2014-11-13 2016-05-19 Intel Corporation Facial liveness detection in image biometrics
EP3286577B1 (en) * 2015-04-20 2021-03-17 ResMed Sensor Technologies Limited Detection and identification of a human from characteristic signals
RU2715521C2 (ru) * 2015-06-16 2020-02-28 Айверифай Инк. Системы и способы для обнаружения обманных объектов и анализа жизненности
US20160373690A1 (en) 2015-06-18 2016-12-22 Mario A. Campos Surveillance system and method
US10817065B1 (en) * 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
US10102419B2 (en) * 2015-10-30 2018-10-16 Intel Corporation Progressive radar assisted facial recognition
KR20170070754A (ko) 2015-12-14 2017-06-22 이우균 초광대역 레이더를 이용한 보안 시스템 및 그를 이용한 보안 서비스 제공 방법
KR101653278B1 (ko) 2016-04-01 2016-09-01 수원대학교산학협력단 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템
KR20180097403A (ko) 2017-02-23 2018-08-31 삼성전자주식회사 전자 장치의 생체 정보 획득 방법 및 이를 위한 전자
US10679083B2 (en) * 2017-03-27 2020-06-09 Samsung Electronics Co., Ltd. Liveness test method and apparatus
KR102387571B1 (ko) * 2017-03-27 2022-04-18 삼성전자주식회사 라이브니스 검사 방법 및 장치
CN111108408A (zh) * 2017-06-27 2020-05-05 苹果公司 手势识别雷达系统和方法
US10591586B2 (en) * 2017-07-07 2020-03-17 Infineon Technologies Ag System and method for identifying a target using radar sensors
KR102441588B1 (ko) 2017-07-10 2022-09-07 삼성전자주식회사 빔 스캐닝 장치 및 이를 포함하는 광학 장치
US10725161B2 (en) * 2017-12-15 2020-07-28 Google Llc Seamless authentication using radar
KR102466997B1 (ko) * 2018-01-22 2022-11-14 삼성전자주식회사 라이브니스 검사 방법 및 장치
US11391817B2 (en) * 2018-05-11 2022-07-19 Qualcomm Incorporated Radio frequency (RF) object detection using radar and machine learning
KR102522415B1 (ko) * 2018-05-15 2023-04-17 삼성전자주식회사 전자 장치의 객체 인증 장치 및 방법
KR102511292B1 (ko) * 2018-07-11 2023-03-17 삼성전자주식회사 전자 장치의 객체 인증 장치 및 방법
US11100204B2 (en) * 2018-07-19 2021-08-24 Motorola Mobility Llc Methods and devices for granting increasing operational access with increasing authentication factors
US20200236545A1 (en) * 2018-09-14 2020-07-23 The Research Foundation For The State University Of New York Method and system for non-contact motion-based user authentication
US11017209B2 (en) * 2019-03-15 2021-05-25 Samsung Electronics Co., Ltd. Millimeter wave radar and camera fusion based face authentication system
US11550031B2 (en) * 2019-03-18 2023-01-10 Samsung Electronics Co., Ltd. Method and apparatus for biometric authentication using face radar signal
CN110011037B (zh) * 2019-04-12 2024-01-30 深圳市安拓浦科技有限公司 一种垂直极化全向天线及其双极化全向天线
CN113557701B (zh) * 2019-09-09 2023-04-28 谷歌有限责任公司 面部认证嵌入迁移和偏移补偿
KR20210069404A (ko) * 2019-12-03 2021-06-11 삼성전자주식회사 라이브니스 검사 방법 및 라이브니스 검사 장치

Also Published As

Publication number Publication date
US20230401823A1 (en) 2023-12-14
EP3836011A1 (en) 2021-06-16
KR20210074749A (ko) 2021-06-22
US20210181305A1 (en) 2021-06-17
US11776239B2 (en) 2023-10-03

Similar Documents

Publication Publication Date Title
US11783639B2 (en) Liveness test method and apparatus
EP3379458B1 (en) Facial verification method and apparatus
US11645875B2 (en) Multispectral anomaly detection
US11030470B2 (en) Apparatus and method with liveness verification
EP3382602B1 (en) Liveness test method and apparatus
EP3382598A2 (en) Liveness test method and apparatus
US20190163954A1 (en) Fingerprint enrollment method and apparatus
US11625954B2 (en) Method and apparatus with liveness testing
Das et al. Recent advances in biometric technology for mobile devices
EP3825905A1 (en) Method and apparatus with liveness test and/or biometric authentication, computer program therefore and medium storing the same
US10726261B2 (en) Method and apparatus to recognize user
US11829460B2 (en) Systems and methods for biometric authentication via face covering
US20230401823A1 (en) Liveness test method and liveness test apparatus
US20220044014A1 (en) Iris authentication device, iris authentication method and recording medium
US20220130019A1 (en) Electronic device and method for processing image by same
CN115906036A (zh) 使用访问控制信息的机器学习辅助意图确定
KR20220005960A (ko) 지문 인증 방법 및 지문 인증 장치
CN110321758A (zh) 生物特征识别的风险管控方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination