CN111788572A - 用于面部识别的方法和系统 - Google Patents

用于面部识别的方法和系统 Download PDF

Info

Publication number
CN111788572A
CN111788572A CN201980015475.9A CN201980015475A CN111788572A CN 111788572 A CN111788572 A CN 111788572A CN 201980015475 A CN201980015475 A CN 201980015475A CN 111788572 A CN111788572 A CN 111788572A
Authority
CN
China
Prior art keywords
face
image
user
landmark points
facial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980015475.9A
Other languages
English (en)
Inventor
A.科拉贡达
王小龙
S.塔西
李大为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111788572A publication Critical patent/CN111788572A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Studio Devices (AREA)

Abstract

一个实施例提供了一种用于面部活度检测的方法。该方法包括：接收包括用户面部的第一图像；基于第一图像确定一个或多个二维(2D)面部界标点；以及基于一个或多个确定的2D面部界标点和在针对用户的3维(3D)面部模型中的一个或多个相对应的3D面部界标点来确定第一图像中的面部的3D姿势。所述方法还包括：确定一个或多个确定的2D面部界标点与基于3D姿势透视地投影的一个或多个相对应的3D面部界标点之间的单应性映射；以及基于单应性映射来确定第一图像中的面部的活度。

Description

用于面部识别的方法和系统
技术领域
一个或多个实施例一般地涉及面部识别，并且具体地，涉及一种用于经由面部识别系统来检测呈现(presentation)攻击的方法和系统。
背景技术
面部识别(即，脸部识别)一般地指代通过将实时捕获或数字图像数据与用户的一个或多个存储的记录进行比较来标识用户的方法。面部识别正在成为控制用户对设备、位置和服务的访问的流行方式。
发明内容
技术问题
例如，面部识别系统在我们的日常生活中被广泛地用于生物认证。然而，这样的系统对于各种类型的欺骗攻击是高度易受攻击的。
解决方案
一个实施例提供了一种用于面部活度(liveness)检测的方法。该方法包括：接收包括用户面部的第一图像；基于第一图像确定一个或多个二维(2D)面部界标(landmark)点；以及基于一个或多个确定的2D面部界标点和在针对用户的3维(3D)面部模型中的一个或多个相对应的3D面部界标点来确定第一图像中的面部的3D姿势。所述方法还包括：确定一个或多个确定的2D面部界标点与基于3D姿势透视地投影的一个或多个相对应的3D面部界标点之间的单应性映射；以及基于单应性映射来确定第一图像中的面部的活度。
发明的有益效果
参考以下描述、所附权利要求和附图，将理解一个或多个实施例的这些和其他特征、方面和优点。
附图说明
图1示出了一个或多个实施例中的用于实现面部识别系统的示例计算架构；
图2详细地示出了一个或多个实施例中的面部识别系统；
图3示出了一个或多个实施例中的用户注册系统的一个或多个组件；
图4示出了一个或多个实施例中的面部活度检测系统的一个或多个组件；
图5示出了一个或多个实施例中由面部活度检测系统执行的面部活度检测处理；
图6是一个或多个实施例中用于执行面部活度检测以检测呈现攻击的示例处理的流程图；和
图7是示出包括对于实现所公开的实施例有用的计算机系统的信息处理系统的高级框图。
具体实施方式
出于示出一个或多个实施例的一般原理的目的而进行以下描述，并且以下描述不意味着限制本文所要求保护的发明构思。此外，本文描述的特定特征可以按照各种可能的组合和排列中的每个来与其他描述的特征组合使用。除非本文另有明确地定义，否则所有术语将被给予其最宽泛的可能解释，包括说明书中隐含的含义以及本领域技术人员所理解的含义和/或如字典、专著等所定义的含义。
在本说明书中，术语“呈现攻击”被用于一般地指代下述欺骗(即，欺骗攻击)的方法：其涉及向由面部识别系统利用的图像传感器(例如，相机)呈现用户的面部的二维(2D)图像。可以使用打印的介质(例如，打印的照片)或显示设备(例如，诸如智能电话、平板设备等的移动设备)来将2D图像呈现给图像传感器。例如，攻击者可以获得用户的肖像图片，将该图片打印/显示在平面表面(即，打印的介质或显示设备)上，以及将该平面表面呈现给图像传感器。
在本说明书中，术语“面部活度检测”被用于一般地指代下述处理：确定被呈现给由面部识别系统利用的图像传感器(例如，相机)的对象是用户的真实三维(3D)面部(例如，用户正站立在图像传感器前)还是用户的2D面部图像(例如，作为呈现攻击的一部分而使用打印的介质或显示设备被呈现给图像传感器的2D面部图像)。
一个或多个实施例一般地涉及面部识别，并且具体地，涉及一种用于经由面部识别系统来检测呈现攻击的方法和系统。一个实施例提供了一种用于面部活度检测的方法。该方法包括：接收包括用户面部的第一图像；基于第一图像确定一个或多个二维(2D)面部界标点；以及基于检测到的一个或多个确定的2D面部界标点和在针对用户的3维(3D)面部模型中的一个或多个相对应的3D面部界标点来确定第一图像中的面部的3D姿势。所述方法还包括：确定一个或多个确定的2D面部界标点与基于3D姿势透视地投影的一个或多个相对应的3D面部界标点之间的单应性映射；以及基于单应性映射来确定第一图像中的面部的活度。
用于面部活度检测的常规方法利用具有不同3D姿势变化的多个用户图像来确定呈现给面部识别系统的图像传感器的面部是真实的3D面部还是打印/显示在平面表面(诸如，打印的介质或显示设备)上的2D面部图像。这样的常规方法涉及通过跟踪多个图像中的关键点(例如，2D面部界标点)来确定场景几何形状(geometry)。这样的常规方法影响面部识别系统的可用性，因为其需要更多的用户动作(例如，需要多个用户图像)。
一个实施例提供了一种面部识别系统，该面部识别系统被配置为通过确定呈现给由系统所利用的图像传感器的对象(例如，实际的、活动的用户的面部，打印的照片等)是具有2D平面表面(例如，对象是使用打印的介质或显示设备呈现给相机的2D打印的/显示的图像)，还是具有活动的3D表面(例如，对象是位于图像传感器附近的用户的实际3D面部)来检测呈现攻击。在一个实施例中，该系统被配置为执行以下中的至少一个：(1)来自多个视图的3D形状构建，(2)使用平面校准对象进行的图像传感器校准，(3)确定2D面部界标点，(4)3D姿势估计以及(5)确定将一个平面上的面部界标点映射到另一平面的单应性映射。该系统被配置为使用用户的已知的3D面部形状和校准的图像传感器来确定场景和图像传感器几何形状(geometry)，以检测诸如呈现攻击的欺骗攻击。在一个实施例中，该系统被配置为基于由图像传感器捕获的单个图像以及用于该图像传感器的一个或多个相机固有参数来执行面部活度检测。与传统方法不同，该系统不需要捕获具有3D姿势变化的多个面部图像来检测呈现攻击，从而减少了准备时间(turnaround time)。
图1示出了一个或多个实施例中的用于实现面部识别系统300的示例计算架构10。计算架构10包括电子设备100，该电子设备100包括计算资源，诸如一个或多个处理器110和一个或多个存储单元120。一个或多个应用可以利用电子设备100的计算资源在电子设备100上执行/操作。
电子设备100的示例包括但不限于：桌面型计算机、移动电子设备(例如，平板型设备、智能电话、膝上型计算机等)或消费产品，诸如智能电视、智能汽车或利用面部识别进行验证的任何其他产品。
在一个实施例中，电子设备100包括集成在或耦合到电子设备100的图像传感器140，诸如相机。电子设备100上的一个或多个应用可以利用图像传感器140来捕获呈现给图像传感器140的对象的图像。
在一个实施例中，电子设备100上的应用包括但不限于面部识别系统300，该面部识别系统300被配置为执行以下中的至少一个：(1)接收对象的图像，并且在一个实施例中，将对象呈现给图像传感器140，(2)执行面部验证，以验证接收到的图像和针对注册用户所存储的记录捕获了同一用户，以及(3)执行面部活度检测，以确定对象是用户50的真实3D面部还是在平面表面(诸如，打印的介质(例如，打印的照片)或显示设备(例如，移动设备，诸如智能电话、平板型设备等))上打印的/显示的2D面部图像55。在一个实施例中，面部识别系统300还被配置为接收包括与用户的面部相对应的部分的第一图像，基于第一图像获得与用户的面部有关的二维(2D)图像信息，基于用于用户的3D面部模型获得用户面部的三维(3D)形状信息，提供2D图像信息和3D形状信息之间的映射(例如，2D图像信息中|包括的[GY1]一个或多个确定的2D面部界标点与3D形状信息中包括的一个或多个分别地相对应的投影的3D面部界标点之间的映射)，以及根据该映射标识第一图像中的脸部的活度。
在一个实施例中，电子设备100上的应用可以进一步包括被加载到或下载到电子设备100上的一个或多个软件移动应用150，诸如移动银行应用。电子设备100上的软件移动应用150可以与面部识别系统300交换数据。例如，当用户登录到移动银行应用时，移动银行应用可以调用面部识别系统300以验证用户的身份。
在一个实施例中，电子设备100可以进一步包括一个或多个附加的传感器，诸如麦克风、GPS或深度传感器。电子设备100的传感器可以被用来捕获内容和/或基于传感器的上下文信息。例如，面部识别系统300和/或软件移动应用150可以利用电子设备100的一个或多个附加的传感器来捕获内容和/或基于传感器的上下文信息，诸如用于音频数据的麦克风(例如，语音记录)、用于位置数据的GPS(例如，位置坐标)或用于呈现给图像传感器140的对象形状的深度传感器。
在一个实施例中，电子设备100包括集成在电子设备100中或耦合到电子设备100的一个或多个输入/输出(I/O)单元130，诸如键盘、小键盘、触摸界面或显示屏。
在一个实施例中，电子设备100被配置为通过连接(例如，诸如WiFi连接或蜂窝数据连接的无线连接、有线连接或者无线连接和有线连接两者的组合)与一个或多个远程服务器200或远程电子设备交换数据。例如，远程服务器200可以是用于托管一个或多个在线服务(例如，在线银行服务)和/或分发一个或多个软件移动应用150的在线平台。
在一个实施例中，计算架构10是集中式计算架构。在另一实施例中，计算架构10是分布式计算架构。
图2详细地示出了一个或多个实施例中的面部识别系统300。在一个实施例中，面部识别系统300利用图像传感器140来捕获呈现给图像传感器140的对象的图像。电子设备100上的面部识别系统300和/或软件移动应用150可以调用图像传感器140以捕获对象的图像。
在一个实施例中，面部识别系统300具有至少两个不同的操作阶段(即，模式)-注册(即，设置)阶段和识别阶段。如本文稍后详细地描述的，注册阶段涉及执行以下中的至少一个：(1)图像传感器140的校准，以及(2)使用处于不同3D姿势的用户的多个图像来向面部识别系统300注册用户(即，新用户或第一用户)。在一个实施例中，面部识别系统300包括被配置为执行注册阶段的用户注册系统310。
在一个实施例中，注册阶段针对每个用户执行一次。
在一个实施例中，注册阶段可以离线(即，不在电子设备100上)发生。例如，在一个实施例中，注册阶段可以利用远程服务器200或远程电子设备发生。
如本文稍后详细地描述的，识别阶段涉及执行以下中的至少一个：(1)基于由图像传感器140捕获的单个图像的面部验证，以及(2)基于单个图像的面部活度检测。通过仅需要单个图像用于面部活度检测，面部识别系统300去除了针对在识别阶段期间捕获呈现给图像传感器140的对象的3D形状的昂贵的传感器的需求。
在一个实施例中，面部识别系统300包括被配置为执行识别阶段的面部活度检测系统320。
在一个实施例中，每当图像传感器140捕获呈现给图像传感器140的对象的图像以用于面部识别时，执行识别阶段。
在一个实施例中，识别阶段可以在线(即，在电子设备100上)发生。
图3示出了一个或多个实施例中的用户注册系统310的一个或多个组件。在本说明书中，术语“相机固有参数”一般地指代用于图像传感器(例如，相机)的参数，其中，参数与图像形成处理相关联。不同相机固有参数的示例包括但不限于焦距、投影中心、径向失真等。在本说明书中，术语“相机固有矩阵”一般地指代表示用于图像传感器的一个或多个相机固有参数的矩阵。
在一个实施例中，用户注册系统310包括校准单元410。在注册阶段，校准单元410被配置为：(1)执行电子设备100的图像传感器140的校准，以及(2)基于校准，生成包括用于图像传感器140的一个或多个相机固有参数的相机固有信息415。在一个实施例中，由校准单元410执行的校准涉及利用图像传感器140来捕获处于不同的3D姿势的平面校准对象(例如，棋盘等)的多个图像。相机固有信息415可以作为针对图像传感器140所存储的记录而被存储在电子设备100的一个或多个存储单元120上。
在一个实施例中，如果图像传感器140是固定焦距相机，则仅需要校准图像传感器140一次。
在一个实施例中，用户注册系统310包括多视图捕获单元420，该多视图捕获单元420被配置为接收向面部识别系统300注册用户的请求，其中，该请求包括处于不同3D姿势的用户的多个面部图像425。在一个实施例中，可以使用图像传感器140或不同的图像传感器(例如，远程电子设备上的相机)来捕获多个面部图像425。多个面部图像425可以被存储在电子设备100的一个或多个存储单元120上，作为针对注册用户所存储的记录。
在一个实施例中，用户注册系统310包括3D形状重建单元430，该3D形状重建单元430被配置为使用运动技术来生成用户的面部的3D面部模型(即，结构、形状)435。具体地，3D形状重建单元430被配置为：(1)从校准单元410接收用于图像传感器140的相机固有信息415，(2)从多视图捕获单元420接收处于不同3D姿势的用户的多个面部图像425，(3)确定/标识并且跟踪多个面部图像425中的2D面部界标点，以及(4)通过基于确定的2D面部界标点和相机固有信息415恢复/重建用户面部的3D形状，来为用户生成相对应的3D面部模型435。相对应的3D面部模型435可以被存储在电子设备100的一个或多个存储单元120上，作为针对注册用户所存储的记录。相对应的3D面部模型435可以包括一个或多个标记的3D面部界标点，其是从多个面部图像425中的确定的2D面部界标点重建的。如本文稍后详细地描述的，在识别阶段期间可以利用在注册阶段期间生成的相对应的3D面部模型435。
在一个实施例中，可以使用基于传感器的上下文信息来形成用于用户的3D面部模型435，该基于传感器的上下文信息是使用电子设备100或远程电子设备的一个或多个深度传感器捕获的。
图4示出了一个或多个实施例中的面部活度检测系统320的一个或多个组件。在本说明书中，术语“查询图像”一般地指代在识别阶段期间呈现给图像传感器140的对象的单个图像，其中，查询图像由图像传感器140捕获/形成并且转发到面部识别系统300以用于面部识别。
在一个实施例中，面部活度检测系统320包括单个捕获单元510，该单个捕获单元510配置为接收针对呈现给图像传感器140的对象的面部识别的请求。在一个实施例中，从电子设备100、远程服务器200或远程电子设备上的软件移动应用150中的至少一个接收请求。该请求包括对象的查询图像515，其中，查询图像515由图像传感器140捕获。
在一个实施例中，面部活度检测系统320包括界标确定单元520，该界标确定单元520被配置为：(1)从单个捕获单元510接收对象的查询图像515，以及(2)确定/标识查询图像515中的2D面部界标点525。在一个实施例中，确定的2D面部界标点525被表示为相对于查询图像515的坐标(“图像坐标”)。
在一个实施例中，面部活度检测系统320包括面部验证单元530，该面部验证单元530被配置为：(1)从单个捕获单元510接收对象的查询图像515，(2)基于查询图像515执行面部验证，以及(3)生成指示面部验证结果的验证状态535。在一个实施例中，面部验证单元530通过将查询图像515与针对注册的用户所存储的记录(例如，在注册阶段期间捕获的并且在一个或多个存储单元120上存储的面部图像)进行比较来执行面部验证，以确定查询图像515和所存储的记录是否捕获同一用户。在一个实施例中，验证状态535为以下中的一个：(1)指示对查询图像515中捕获的用户已被验证的肯定验证状态(即，该用户是注册的用户)，或(2)指示对查询图像515中捕获的用户未被验证的否定验证状态(即，该用户不是注册的用户)。
在一个实施例中，面部活度检测系统320包括3D姿势估计单元560，该3D姿势估计单元560被配置为确定查询图像515中捕获的用户的面部的估计的3D姿势。
在一个实施例中，面部活度检测系统320包括第一控制单元550，该第一控制单元550被配置为基于对查询图像515执行的面部验证的结果来控制是应该执行面部活度检测还是应当绕过面部活度检测。具体地，响应于从面部验证单元530接收到否定验证状态，第一控制单元550绕过面部活度检测并且生成失败验证报告555，该失败验证报告555指示查询图像515中捕获的用户未被验证(即，不是注册用户)。响应于从面部验证单元530接收到肯定验证状态535，第一控制单元550通过调用3D姿势估计单元560来确定查询图像515中捕获的用户的面部的估计的3D姿势，以继续面部活度检测。
在一个实施例中，面部活度检测系统320包括3D姿势和单应性优化单元540，该3D姿势和单应性优化单元540被配置为接收以下中的每个作为输入：(1)与查询图像515中捕获的用户相对应的3D面部模型435(例如，在注册阶段期间生成的并且在一个或多个存储单元120上存储的3D面部模型435)，(2)图像传感器140的相机固有信息415(例如，在注册阶段期间生成的并且在一个或多个存储单元120上存储的相机固有信息415)，(3)查询图像515中确定的2D面部界标点525(例如，来自地标确定单元520的确定的2D面部界标点525)，以及(4)查询图像515中捕获的用户的面部的估计3D姿势(例如，来自3D姿势估计单元560的估计的3D姿势)。
在一个实施例中，每个注册用户具有在注册阶段期间捕获的和存储的他/她的面部的相对应的3D面部模型435。如果面部活度检测系统320响应于接收到查询图像515而生成指示在查询图像515中捕获的用户已被验证的肯定验证状态(即，用户是注册用户)，则面部活度检测系统320(例如，从一个或多个存储单元120)检索与用户相对应的3D面部模型435。
3D姿势和单应性优化单元540还被配置为：(1)确定查询图像515中确定的2D面部界标点525与3D面部模型435中标记的3D面部界标点之间的对应性，(2)通过将确定的2D面部界标点525乘以包括在相机固有信息415中的相机固有矩阵的逆来生成2D面部界标点的第一图像，以将图像坐标中的确定的2D面部界标点525变换为相对于同质相机的坐标(“同质相机坐标”)，(3)通过基于估计的3D姿势的相对应的3D面部界标点的透视投影(perspective projection)生成3D面部界标点的第二图像，以及(4)经由迭代完善(refinement)来共同地优化估计的3D姿势和第一图像与第二图像之间的单应性映射，以减少或最小化第一图像中的2D面部界标点与第二图像中相对应的透视地投影的3D界标点之间的距离。在一个实施例中，3D姿势和单应性优化单元540还被配置为通过基于图像传感器140的一个或多个相机固有参数分解(decompose)单应性映射来确定单应性映射。
在一个实施例中，面部活度检测系统320还包括：(1)距离单元570，被配置为确定单应性映射和表示单位变换的单位矩阵之间的距离，以及(2)比较单元580，被配置为将单应性映射和单位矩阵之间的距离与预先确定的阈值进行比较。在一个实施例中，如果单应性映射与单位矩阵之间的距离超过预先确定的阈值，则比较单元580确定呈现给图像传感器140的对象具有平面2D表面，并且生成失败的面部活度检测报告586，指示对象是可能已经作为呈现攻击的一部分呈现给图像传感器140的2D打印的/显示的面部图像55(即，对象是欺骗)。如果单应性映射与单位矩阵之间的距离未超过预先确定的阈值，则比较单元580确定对象具有活动的3D表面，并且生成成功的面部活动性检测报告585，指示对象是真实的3D面部(即，对象是活动的)。在一个实施例中，如果对象是以特定尺度(scale)和特定距离呈现给图像传感器140的真实3D面部，则单应性映射与单位矩阵相同。因此，面部活度检测系统320被配置检测图像传感器140是从实际的3D对象还是从对象的2D图像来形成查询图像515。
在一个实施例中，面部活度检测系统320被配置为基于利用图像传感器140捕获的图像序列来执行面部活度检测。面部活度检测系统320汇总结果，并且基于汇总的结果关于呈现给图像传感器140的对象是否是活动的来进行最终确定。
图5示出了一个或多个实施例中由面部活度检测系统320执行的面部活度检测处理。假定图像传感器C'用于捕获用户的真实3D面部。用户的面部具有3D形状(即，模型、结构)S和相对于图像传感器C'的3D姿势[R|T]。在一个实施例中，用户的面部的3D形状S对于面部识别系统300是已知的。例如，在一个实施例中，面部识别系统300的一个或多个组件(例如，校准单元410、多视图捕获单元420和3D形状重建单元430)被配置为当用户在注册阶段期间向面部识别系统300注册时，确定/获取用户的面部的3D形状S。
图像传感器C'经由多种变换形成用户的面部的2D图像I'，包括：(1)到透视投影平面P'上的形状S的透视投影，以及(2)通过将透视投影乘以图像传感器C'的相机固有矩阵K'进行的仿射变换(affine transformation)K'。通过将2D图像I'打印/显示在打印的介质或显示设备上使得2D图像I'经历另一仿射变换A，攻击者可以产生在呈现攻击期间要使用的用户的面部的2D照片J。
假定面部识别系统使用图像传感器C(例如，面部识别系统300的图像传感器140)来捕获呈现给面部识别系统的对象以用于面部识别。假定攻击者将2D照片J呈现给图像传感器C作为呈现攻击的一部分。2D照片J中的用户的面部相对于图像传感器C具有3D姿势[r|t]。图像传感器C经由多种变换形成2D照片J的2D图像I，包括：(1)到透视投影平面P上的2D照片J的透视投影，以及(2)通过将透视投影乘以图像传感器C的相机固有矩阵K进行的仿射变换K。在一个实施例中，面部识别系统300的一个或多个组件(例如，校准单元410)被配置为通过在注册阶段期间执行图像传感器C的校准来确定图像传感器C的相机固有矩阵K。
在一个实施例中，可以根据下面提供的等式数学表示1(Math Figure 1)来表示2D图像I：
【数学表示1】
I＝Kπ([r|t]AK′π([R|T]S))
其中，π是由图像传感器C应用的透视投影函数，并且π([r|t]AK′)是表示3D欧几里得空间中的刚性变换[r|t]与2D空间中的仿射变换AK'的乘积，之后根据透视投影函数π进行投射投影。变换π([r|t]AK′由图5所示的阴影区域330表示。可以将变换π([r|t]AK′)组合到表示平面投影变换的单应性映射H，使得还可以根据下面提供的等式数学表示2来表示2D图像I：
【数学表示2】
I＝KHπ([R|T]S)
在一个实施例中，面部识别系统300的一个或多个组件(例如，3D姿势和单应性优化540)被配置为使用非线性优化方法，来估计单应性映射H和相对于图像传感器C'的用户的脸部的3D姿势[R|T]。具体地，面部识别系统300首先将单应性映射H初始化为表示单位变换的单位矩阵，并且将3D姿势[R|T]初始化为正面3D姿势。接下来，面部识别系统300确定2D图像I中的检测到的2D面部界标点与3D形状S中标记的3D面部界标点之间的对应性。然后，面部识别系统300使用对应性、通过根据下面提供的等式数学表示3使误差E最小化来估计单应性映射H和3D姿势[R|T]：
【数学表示3】
Figure BDA0002650650190000111
其中，LiI是2D图像I中的2D界标点，LiS是3D形状S中的相对应的标记的3D界标点，以及wi是相对应的权重函数，其被设置为使权重函数wi与标记的3D界标点的深度成反比。示例权重函数wi可以根据下面提供的等式数学表示4来表示：
【数学表示4】
Figure BDA0002650650190000112
其中，siz是3D形状S中的第i标记的3D界标点的z坐标。
在一个实施例中，面部识别系统300的一个或多个组件(例如，距离单元570和比较单元580)被配置为基于估计的单应性映射H、估计的3D姿势[R|T]以及最小化的误差E来检测呈现攻击。具体地，面部识别系统300被配置为基于下述来检测呈现攻击：(1)估计的单应性映射H与单位矩阵的偏差，以及(2)最小化的误差E。在一个实施例中，基于最小化的误差E和估计的单应性映射H的每个元素与单位矩阵的偏差，针对面部活度检测来训练神经网络。
如果没有欺骗尝试(例如，没有呈现攻击)并且呈现给图像传感器C的对象是用户的真实3D面部而不是2D照片J(例如，用户正站在图像传感器C的前面)，则单应性映射H与单位矩阵相同。
在一个实施例中，面部识别系统300可以被实现为被配置为识别并且执行不同3D对象(例如，汽车、动物、个人等)的活度检测的对象识别系统。
图6是一个或多个实施例中的用于执行面部活度检测以检测呈现攻击的示例处理800的流程图。处理块(block)801包括接收包括用户的面部(例如，如由图像传感器140捕获)的第一图像(例如，查询图像515)。在一个实施例中，处理块801包括接收第一图像，该第一图像包括与用户的面部相对应的部分。处理块802包括基于第一图像确定一个或多个2D面部界标点。在一个实施例中，处理块802包括基于第一图像获得与用户的面部有关的二维(2D)图像信息。处理块803包括基于一个或多个确定的2D面部界标点和用于用户的3D面部模型中的一个或多个相对应的3D面部界标点，来确定第一图像中的面部的3D姿势。在一个实施例中，处理块803包括基于用于用户的3D面部模型获得用户的面部的三维(3D)形状信息。处理块804包括确定在一个或多个确定的2D面部界标点与基于3D姿势透视地投影的一个或多个相对应的3D面部界标点之间的单应性映射。在一个实施例中，处理块804包括提供2D图像信息和3D形状信息之间的映射(例如，2D图像信息中包括的一个或多个确定的2D面部界标点与3D形状信息中包括的一个或多个相对应的透视投影的3D面部界标点之间的映射)。处理块805包括基于单应性映射(即，第一图像中的面部是否是真实的3D面部)来确定第一图像中的面部的活度。在一个实施例中，处理块805包括基于映射来标识第一图像中的面部的活度。
在一个实施例中，处理块801-805可以由面部识别系统300的一个或多个组件(诸如面部活度检测系统320)执行。
图7是示出包括对于实现所公开的实施例有用的计算机系统600的信息处理系统的高级框图。每个系统300、310、320可以并入显示设备或服务器设备中。计算机系统600包括一个或多个处理器601，并且可以进一步包括：电子显示设备602(用于显示视频、图形、文本和其他数据)、主存储器603(例如，随机存取存储器(RAM))、存储器设备604(例如硬盘驱动器)、可移动存储设备605(例如，可移动存储驱动器、可移动存储模块、磁带驱动器、光盘驱动器、已在其中存储有计算机软件和/或数据的计算机可读介质)、用户接口设备606(例如，键盘、触摸屏、小键盘、指点设备)和通信接口607(例如，调制解调器、网络接口(例如以太网卡)、通信端口或PCMCIA槽和卡)。通信接口607允许软件和数据在计算机系统和外部设备之间传输。系统600还包括与上述设备/模块601至607连接的通信基础设施608(例如，通信总线、交叉条或网络)。
经由通信接口607传输的信息可以是信号的形式，诸如电、电磁、光或其他能够由通信接口607经由携带信号的通信链路接收的信号，并且可以使用电线或电缆、光纤、电话线，蜂窝电话链路、射频(RF)链路和/或其他通信通道来实现。可以将表示本文的框图和/或流程图的计算机程序指令加载到计算机、可编程数据处理装置或处理设备上，以使在其上执行的一系列操作生成计算机实现的过程。在一个实施例中，用于处理800的处理指令(图6)可以作为程序指令存储在存储器603、存储设备604和/或可移动存储设备605上，以供处理器601执行。
已经参考方法、装置(系统)和计算机程序产品的流程图和/或框图描述了实施例。可以通过计算机程序指令来实现这样的图示/图表中的每个块或其组合。当计算机程序指令被提供给处理器时，产生机器，使得经由处理器执行的指令创建用于实现流程图和/或框图中指定的功能/操作的装置。流程图/框图中的每个块可以表示硬件和/或软件模块或逻辑。在替代的实施方式中，块中指示的功能可以不按照图中指示的顺序、并发地发生等。
术语“计算机程序介质”、“计算机可用介质”、“计算机可读介质”和“计算机程序产品”被用于一般地指代介质，诸如主存储器、辅助存储器、可移动存储驱动器、安装在硬盘驱动器中的硬盘和信号。这些计算机程序产品是用于向计算机系统提供软件的装置。计算机可读介质允许计算机系统从计算机可读介质读取数据、指令、消息或消息分组以及其他计算机可读信息。例如，计算机可读介质可以包括非易失性存储器，诸如软盘、ROM、闪速存储器、盘驱动器存储器、CD-ROM和其他永久存储装置。例如，其对于在计算机系统之间传输信息(诸如数据和计算机指令)是有用的。可以将计算机程序指令存储在计算机可读介质中，该计算机可读介质可以指令计算机、其他可编程数据处理装置或其他设备以特定方式起作用，以使得存储在计算机可读介质中的指令产生包括指令的制品，其实现流程图和/或框图的一个或多个块中指定的功能/动作。
如本领域技术人员将理解的，实施例的各方面可以体现为系统，方法或计算机程序产品。因此，实施例的方面可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)或结合了软件和硬件方面的实施例的形式，在本文中上述所有可以一般地被称为“电路”、“模块”或“系统”。此外，实施例的各方面可以采取体现在一个或多个计算机可读介质中的计算机程序产品的形式，在该一个或多个计算机可读介质上体现有计算机可读程序代码。
可以利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读存储介质。计算机可读存储介质可以是例如但不限于，电、磁、光、电磁、红外或半导体系统、装置或设备，或前述的任何适当组合。计算机可读存储介质的更具体示例(非穷尽列表)将包括下述：具有一个或多个电线的电连接、便携式计算机碟盘(diskette)、硬盘、随机存取存储器(RAM)，只读存储器(ROM)、可擦可编程只读存储器(EPROM或闪速存储器)、光纤、便携式压缩盘只读存储器(CD-ROM)、光存储设备、磁存储设备或前述的任何适当组合。在本文档的上下文中，计算机可读存储介质可以是任何有形介质，其可以包含或存储供指令执行系统、装置或设备使用或与其结合使用的程序。在一个实施例中，一种非暂时性计算机可读存储介质，包括用于执行面部活度检测方法的指令，该方法包括：接收包括与用户的面部相对应的部分的第一图像；基于第一图像确定一个或多个二维(2D)面部界标点；基于一个或多个确定的2D面部界标点和用户的3D面部模型中的一个或多个相对应的3D面部界标点，确定第一图像中的面部的三维(3D)姿势；确定一个或多个确定的2D面部界标点与基于3D姿势透视地投影的一个或多个相对应的3D面部界标点之间的单应性映射；基于单应性映射确定第一图像中的面部的活度。
可以以一种或多种编程语言的任意组合来编写用于执行针对一个或多个实施例的各方面的操作的计算机程序代码，编程语言包括诸如Java、Smalltalk、C++等的面向对象的编程语言以及诸如“C”编程语言或类似的编程语言的传统的过程编程语言。程序代码可以如下执行：完全在用户计算机上执行，部分在用户计算机上执行，作为独立软件包执行，部分在用户计算机上并且部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户计算机，或者可以与外部计算机建立连接(例如，通过使用互联网服务提供商的互联网)。
上面参考方法、装置(系统)和计算机程序产品的流程图和/或框图描述了一个或多个实施例的各方面。将理解的是，流程图图示和/或框图的每个块以及流程图图示和/或框图中的块的组合可以由计算机程序指令来实现。可以将这些计算机程序指令提供给专用计算机或其他可编程数据处理装置，以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图的一个或多个块中指定的功能/动作。
这些计算机程序指令也可以存储在计算机可读介质中，该计算机可读介质可以指令计算机、其他可编程数据处理装置或其他设备以特定方式运行，以使存储在计算机可读介质中的指令产生制品，其实现流程图和/或框图的一个或多个块中指定的功能/动作。
也可以将计算机程序指令加载到计算机、其他可编程数据处理装置或其他设备上，以使一系列操作步骤在计算机、其他可编程装置或其他设备上执行以产生计算机实现的处理，以使在计算机或其他可编程装置上执行的指令提供了用于实现流程图和/或框图的一个或多个块中指定的功能/动作。
附图中的流程图和框图示出了根据各种实施例的系统、方法和计算机程序产品的可能实施方式的架构、功能和操作。关于这点，流程图或框图中的每个块可以代表模块、片段或指令的一部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些替代实施方式中，块中指示的功能可以不按照图中指出的顺序发生。例如，依赖于所涉及的功能，实际上可以基本上同时执行连续示出的两个块，或者有时可以以相反的顺序执行这些块。还应注意，框图和/或流程图图示的每个块以及框图和/或流程图图示的块的组合可以由执行指定功能或动作的基于专用硬件的系统来实现，或者可以执行专用硬件和计算机指令的组合。
权利要求中对单数形式的提及并不旨在意味着“一个和仅有”，除非明确地这样指示，而意味着为“一个或多个”。本领域的普通技术人员当前已知或以后将知道的与上述示例性实施例的元件等同的所有结构和功能旨在被本权利要求书涵盖。本文要求包含的元件不应根据35U.S.C.112节第6段的规定来解释，除非该元件被明确的陈述为“装置，用于……”或“步骤，用于……”。
本文所使用的术语仅出于描述特定实施例的目的，而不旨在限制本发明。如本文所用，单数形式的“一”、“一个”和“该”意图也包括复数形式，除非上下文清楚地另外指出。将进一步理解的是，术语“包括”和/或“包含”，当在本说明书中使用时，指定所陈述的特征、整数、步骤、操作、元素和/或组件的存在，但不排除一个或多个其他特征、整数、步骤、操作、元素、组件和/或其分组的存在或添加。
所附权利要求中的所有装置或步骤加上功能元件的相对应的结构、材料、动作和等同物旨在包括用于与如具体地要求保护的其他要求保护的元件组合地执行功能的任何结构、材料或动作。已经出于说明和描述的目的给出了实施例的描述，但是其并不旨在是对于公开形式的实施例的穷举或限制。在不脱离本发明的范围和精神的情况下，许多修改和变型对于本领域普通技术人员将是明显的。
尽管已经参考实施例的某些版本描述了实施例；然而，其他版本也是可能的。因此，所附权利要求书的精神和范围不限于本文包含的优选版本的描述。

Claims (15)

1.一种用于面部活度检测的方法，包括：
接收包括与用户的面部相对应的部分的第一图像；
基于第一图像获得与用户的面部有关的二维2D图像信息；
基于用户的三维3D面部模型，获得用户的面部的3D形状信息；
提供2D图像信息和3D形状信息之间的映射；以及
基于映射标识第一图像中的面部的活度。
2.根据权利要求1所述的方法，还包括：
基于第一图像确定一个或多个二维2D面部界标点；
基于所述一个或多个确定的2D面部界标点和用户的三维3D面部模型中的一个或多个相对应的3D面部界标点，确定第一图像中的面部的3D姿势；
确定所述一个或多个确定的2D面部界标点与基于3D姿势透视地投影的一个或多个相对应的3D面部界标点之间的单应性映射；以及
基于单应性映射确定第一图像中的面部的活度。
3.根据权利要求2所述的方法，进一步包括：
基于用于图像传感器的一个或多个参数，将所述一个或多个确定的2D面部界标点变换为一个或多个其他2D面部界标点，以生成包括所述一个或多个其他2D面部界标点的第二图像；
其中，单应性映射还基于第二图像。
4.根据权利要求2所述的方法，进一步包括：
接收注册第一用户的请求，其中，所述请求包括处于不同姿势的第一用户的多个面部图像；
确定并且跟踪所述多个面部图像中的一组2D面部界标点；以及
基于所述一组2D面部界标点和图像传感器的一个或多个参数，生成第一用户的3D面部模型。
5.根据权利要求2所述的方法，进一步包括：
处理3D姿势和单应性映射以减小所述一个或多个确定的2D面部界标点与所述一个或多个相对应的透视地投影的3D面部界标点之间的距离。
6.根据权利要求2所述的方法，其中，确定第一图像中的面部的活度包括确定单应性映射与单位矩阵的偏差。
7.根据权利要求2所述的方法，其中，确定单应性映射包括基于图像传感器的一个或多个参数分解单应性映射。
8.根据权利要求2所述的方法，进一步包括：
基于第一图像执行面部验证，以确定用户是注册的用户；和
响应于确定用户是注册的用户，获得用户的3D面部模型。
9.一种用于面部活度检测的电子设备，包括：
至少一个处理器；和
非暂时性处理器可读存储器，存储有当由所述至少一个处理器执行时使所述至少一个处理器执行操作的指令，所述操作包括：
接收包括用户的面部的第一图像；
基于第一图像获得与用户的面部有关的二维2D图像信息；
基于用户的三维3D面部模型，获得用户的面部的3D形状信息；
标识2D图像信息和3D形状信息之间的映射；和
基于映射标识第一图像中的面部的活度。
10.根据权利要求9所述的电子设备，其中，所述操作进一步包括：
基于第一图像确定一个或多个二维2D面部界标点；
基于所述一个或多个确定的2D面部界标点和用户的三维3D面部模型中的一个或多个相对应的3D面部界标点，确定第一图像中的面部的3D姿势；
确定所述一个或多个确定的2D面部界标点与基于3D姿势透视地投影的一个或多个相对应的3D面部界标点之间的单应性映射；以及
基于单应性映射确定第一图像中的面部的活度。
11.根据权利要求10所述的电子设备，其中，所述操作进一步包括：
基于用于图像传感器的一个或多个参数，将所述一个或多个确定的2D面部界标点变换为一个或多个其他2D面部界标点，以生成包括所述一个或多个其他2D面部界标点的第二图像；
其中，单应性映射还基于第二图像。
12.根据权利要求10所述的电子设备，其中，所述操作进一步包括：
接收注册新用户的请求，其中，所述请求包括处于不同姿势的新用户的多个面部图像；
确定并且跟踪所述多个面部图像中的一组2D面部界标点；以及
基于所述一组2D面部界标点和图像传感器的一个或多个参数，生成新用户的3D面部模型。
13.根据权利要求10所述的电子设备，其中，所述操作进一步包括：
处理3D姿势和单应性映射以减小所述一个或多个确定的2D面部界标点与所述一个或多个相对应的透视地投影的3D面部界标点之间的距离。
14.根据权利要求10所述的电子设备，其中，确定第一图像中的面部的活度包括确定单应性映射与单位矩阵的偏差，以及其中，确定单应性映射包括基于图像传感器的一个或多个参数分解单应性映射。
15.根据权利要求9所述的电子设备，其中，所述操作进一步包括：
基于第一图像执行面部验证，以确定用户是注册的用户；和
响应于确定用户是注册的用户，获得用户的3D面部模型。
CN201980015475.9A 2018-02-26 2019-02-26 用于面部识别的方法和系统 Pending CN111788572A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/905,609 2018-02-26
US15/905,609 US10776609B2 (en) 2018-02-26 2018-02-26 Method and system for facial recognition
PCT/KR2019/002317 WO2019164379A1 (en) 2018-02-26 2019-02-26 Method and system for facial recognition

Publications (1)

Publication Number Publication Date
CN111788572A true CN111788572A (zh) 2020-10-16

Family

ID=67685904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980015475.9A Pending CN111788572A (zh) 2018-02-26 2019-02-26 用于面部识别的方法和系统

Country Status (5)

Country Link
US (1) US10776609B2 (zh)
EP (1) EP3721380A4 (zh)
KR (1) KR20200116138A (zh)
CN (1) CN111788572A (zh)
WO (1) WO2019164379A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642428A (zh) * 2021-07-29 2021-11-12 北京百度网讯科技有限公司 人脸活体检测方法、装置、电子设备及存储介质

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10552986B1 (en) * 2018-07-20 2020-02-04 Banuba Limited Computer systems and computer-implemented methods configured to track multiple eye-gaze and heartrate related parameters during users' interaction with electronic computing devices
JP6956051B2 (ja) * 2018-09-03 2021-10-27 株式会社東芝 画像処理装置、運転支援システム、画像処理方法及びプログラム
CN111382596A (zh) * 2018-12-27 2020-07-07 鸿富锦精密工业(武汉)有限公司 人脸识别方法、装置及计算机存储介质
CN110245612A (zh) * 2019-06-14 2019-09-17 百度在线网络技术（北京）有限公司 人脸图像的检测方法和装置
US10803301B1 (en) * 2019-08-02 2020-10-13 Capital One Services, Llc Detecting fraud in image recognition systems
KR20210108082A (ko) 2020-02-25 2021-09-02 삼성전자주식회사 위상 차를 이용하는 라이브니스 검출 방법 및 장치
KR20210128274A (ko) 2020-04-16 2021-10-26 삼성전자주식회사 라이브니스 검사 방법 및 장치
CN111753750B (zh) * 2020-06-28 2024-03-08 中国银行股份有限公司 活体检测方法及装置、存储介质及电子设备
CN111563049B (zh) * 2020-07-13 2020-11-03 支付宝(杭州)信息技术有限公司 一种生物特征识别的攻击测试方法、装置及设备
US11694480B2 (en) * 2020-07-27 2023-07-04 Samsung Electronics Co., Ltd. Method and apparatus with liveness detection
KR102393543B1 (ko) 2020-11-02 2022-05-03 김효린 안면 인증 딥러닝 모델을 스마트폰 디바이스 내에서 학습하기 위한 안면 데이터 수집 및 처리 방법과 그 방법을 수행하는 디바이스
IL281554B2 (en) * 2021-03-16 2023-02-01 Emza Visual Sense Ltd Apparatus and method for detecting and outputting three-dimensional objects
CN113705428B (zh) * 2021-08-26 2024-07-19 北京市商汤科技开发有限公司 活体检测方法及装置、电子设备及计算机可读存储介质
KR102688435B1 (ko) 2023-11-28 2024-07-25 주식회사 캡쳐 사용자 단말기 정보와 안면 인식 검출 기반의 방문자 출입 보안 시스템
KR102685895B1 (ko) 2023-11-28 2024-07-17 주식회사 캡쳐 실시간 사용자 이미지 추적을 이용한 출입 보안 시스템

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005115847A (ja) * 2003-10-10 2005-04-28 Babcock Hitachi Kk 特定立体画像と２次元画像に映し出された被写体の照合方法
CN101159015A (zh) * 2007-11-08 2008-04-09 清华大学 一种二维人脸图像的识别方法
CN101669352A (zh) * 2007-02-05 2010-03-10 艾美格世界有限公司 用于语音-文本和文本-面部动画转换的通信网络和设备
KR20110080327A (ko) * 2010-01-05 2011-07-13 삼성전자주식회사 얼굴 인식 장치 및 그 방법
EP2993614A1 (en) * 2014-09-05 2016-03-09 Samsung Electronics Co., Ltd Method and apparatus for facial recognition
CN106203248A (zh) * 2014-09-05 2016-12-07 三星电子株式会社 用于脸部识别的方法和设备
US20170048244A1 (en) * 2015-08-10 2017-02-16 Yoti Ltd Liveness detection
CN107609383A (zh) * 2017-10-26 2018-01-19 深圳奥比中光科技有限公司 3d人脸身份认证方法与装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100851981B1 (ko) 2007-02-14 2008-08-12 삼성전자주식회사 비디오 영상에서 실 객체 판별 방법 및 장치
US8675926B2 (en) 2010-06-08 2014-03-18 Microsoft Corporation Distinguishing live faces from flat surfaces
CN101894254B (zh) 2010-06-13 2013-01-09 南开大学 一种基于等高线法的三维人脸识别方法
CN101923641B (zh) 2010-09-09 2012-08-08 北京交通大学 一种改进的人脸识别方法
CN101976339B (zh) 2010-11-12 2015-07-15 北京邮电大学 一种用于人脸识别的局部特征提取方法
US20140043329A1 (en) * 2011-03-21 2014-02-13 Peng Wang Method of augmented makeover with 3d face modeling and landmark alignment
US8457367B1 (en) 2012-06-26 2013-06-04 Google Inc. Facial recognition
US8856541B1 (en) 2013-01-10 2014-10-07 Google Inc. Liveness detection
US9842423B2 (en) * 2013-07-08 2017-12-12 Qualcomm Incorporated Systems and methods for producing a three-dimensional face model
US9202119B2 (en) 2013-10-18 2015-12-01 Daon Holdings Limited Methods and systems for determining user liveness
CN105096377B (zh) 2014-05-14 2019-03-19 华为技术有限公司 一种图像处理方法和装置
CN106937532B (zh) 2014-11-07 2018-08-14 北京市商汤科技开发有限公司 用于检测真正用户的系统和方法
US10134177B2 (en) * 2015-01-15 2018-11-20 Samsung Electronics Co., Ltd. Method and apparatus for adjusting face pose
CN104915649B (zh) 2015-06-04 2018-12-14 南京理工大学 一种应用于人脸识别的活体检测方法
US9600715B2 (en) * 2015-06-26 2017-03-21 Intel Corporation Emotion detection system
WO2017025573A1 (en) 2015-08-10 2017-02-16 Yoti Ltd Liveness detection
US10489973B2 (en) * 2015-08-17 2019-11-26 Cubic Corporation 3D face reconstruction from gate camera
CN105205455B (zh) 2015-08-31 2019-02-26 李岩 一种移动平台上人脸识别的活体检测方法及系统
US9898674B2 (en) * 2015-12-10 2018-02-20 International Business Machines Corporation Spoof detection for facial recognition
CN105590097B (zh) 2015-12-17 2019-01-25 重庆邮电大学 暗视觉条件下双摄像头协同实时人脸识别安防系统及方法
US10289822B2 (en) 2016-07-22 2019-05-14 Nec Corporation Liveness detection for antispoof face recognition

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005115847A (ja) * 2003-10-10 2005-04-28 Babcock Hitachi Kk 特定立体画像と２次元画像に映し出された被写体の照合方法
CN101669352A (zh) * 2007-02-05 2010-03-10 艾美格世界有限公司 用于语音-文本和文本-面部动画转换的通信网络和设备
CN101159015A (zh) * 2007-11-08 2008-04-09 清华大学 一种二维人脸图像的识别方法
KR20110080327A (ko) * 2010-01-05 2011-07-13 삼성전자주식회사 얼굴 인식 장치 및 그 방법
EP2993614A1 (en) * 2014-09-05 2016-03-09 Samsung Electronics Co., Ltd Method and apparatus for facial recognition
CN106203248A (zh) * 2014-09-05 2016-12-07 三星电子株式会社 用于脸部识别的方法和设备
US20170048244A1 (en) * 2015-08-10 2017-02-16 Yoti Ltd Liveness detection
CN107609383A (zh) * 2017-10-26 2018-01-19 深圳奥比中光科技有限公司 3d人脸身份认证方法与装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
孙艳丰;张扬;唐恒亮;: "基于二维、三维信息融合的人脸识别", 北京工业大学学报, vol. 37, no. 06, 15 June 2011 (2011-06-15), pages 928 - 932 *
赵军;: "基于界标点的颅骨数据三维交互式测量", 兰州交通大学学报, no. 06, 15 December 2008 (2008-12-15), pages 115 - 118 *
黎欣;吴黎明;王桂棠;熊峰;陈宇俊;: "基于单应性矩阵的大尺寸零件视觉测量图像拼接方法", 计算机测量与控制, no. 11, 25 November 2017 (2017-11-25), pages 26 - 29 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642428A (zh) * 2021-07-29 2021-11-12 北京百度网讯科技有限公司 人脸活体检测方法、装置、电子设备及存储介质
CN113642428B (zh) * 2021-07-29 2022-09-27 北京百度网讯科技有限公司 人脸活体检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
EP3721380A4 (en) 2021-01-27
KR20200116138A (ko) 2020-10-08
EP3721380A1 (en) 2020-10-14
WO2019164379A1 (en) 2019-08-29
US10776609B2 (en) 2020-09-15
US20190266388A1 (en) 2019-08-29

Similar Documents

Publication Publication Date Title
US10776609B2 (en) Method and system for facial recognition
US10691929B2 (en) Method and apparatus for verifying certificates and identities
CN109788189B (zh) 将相机与陀螺仪融合在一起的五维视频稳定化装置及方法
CN105868677B (zh) 一种活体人脸检测方法及装置
EP2614487B1 (en) Online reference generation and tracking for multi-user augmented reality
CN103971400B (zh) 一种基于标识码的三维交互的方法和系统
CN110517214B (zh) 用于生成图像的方法和装置
TWI616821B (zh) Bar code generation method, bar code based authentication method and related terminal
CN110111241B (zh) 用于生成动态图像的方法和装置
US20190073825A1 (en) Enhancing depth sensor-based 3d geometry reconstruction with photogrammetry
WO2021218568A1 (zh) 图像深度确定方法及活体识别方法、电路、设备和介质
JP6046501B2 (ja) 特徴点出力装置、特徴点出力プログラム、特徴点出力方法、検索装置、検索プログラムおよび検索方法
US20210334569A1 (en) Image depth determining method and living body identification method, circuit, device, and medium
US11244182B2 (en) Spoof detection by estimating subject motion from captured image frames
CN111612842A (zh) 生成位姿估计模型的方法和装置
US20190073787A1 (en) Combining sparse two-dimensional (2d) and dense three-dimensional (3d) tracking
CN114742866A (zh) 图像配准方法、装置、存储介质及电子设备
CN111310512A (zh) 用户身份鉴权方法及装置
CN107733874B (zh) 信息处理方法、装置、计算机设备和存储介质
JP6086491B2 (ja) 画像処理装置およびそのデータベース構築装置
JP6931267B2 (ja) 原画像を目標画像に基づいて変形した表示画像を生成するプログラム、装置及び方法
CN113743396B (zh) 在证件识别过程中识别注入攻击的方法及装置
US10282633B2 (en) Cross-asset media analysis and processing
US20220392256A1 (en) Authentication device, registration device, authentication method, registration method, and storage medium
CN109934930A (zh) 一种基于用户精准位置的现实增强方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination