CN107111750B - 欺骗性脸部的检测 - Google Patents

欺骗性脸部的检测 Download PDF

Info

Publication number
CN107111750B
CN107111750B CN201580070912.9A CN201580070912A CN107111750B CN 107111750 B CN107111750 B CN 107111750B CN 201580070912 A CN201580070912 A CN 201580070912A CN 107111750 B CN107111750 B CN 107111750B
Authority
CN
China
Prior art keywords
image data
human face
feature
spectral region
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580070912.9A
Other languages
English (en)
Other versions
CN107111750A (zh
Inventor
李劲宇
F·闻
Y·魏
M·J·康拉德
C-T·楚
A·贾瓦德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107111750A publication Critical patent/CN107111750A/zh
Application granted granted Critical
Publication of CN107111750B publication Critical patent/CN107111750B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

在此公开了涉及检测欺骗性人类脸部的各个示例。一个示例提供了一种包括处理器的计算设备，所述处理器被配置用于计算在第一频谱区域中人类脸部的已注册的图像数据和在该第一频谱区域中人类脸部的测试图像数据之间的第一特征距离、计算已注册的图像数据和在第二频谱区域中人类脸部的测试图像数据之间的第二特征距离、计算在第一频谱区域中的测试图像数据和在第二频谱区域中的测试图像数据之间的测试特征距离、基于预定的关系确定在第一和第二频谱区域中的测试图像数据对应的人类脸部是真实的人类脸部还是欺骗性人类脸部，并且修改计算设备的行为。

Description

欺骗性脸部的检测
背景
在许多计算环境中，用户认证被执行以确保某些计算资源仅被经授权用户访问。脸部识别是一种用于执行用户认证的技术。人类脸部的即时图像可以与先前捕捉到的人类脸部的图像相比较以例如确定或验证在即时图像中的人类脸部对应的身份。
概述
在此公开了涉及检测欺骗性人类脸部的各个示例。一个示例提供了一种包括处理器的计算设备，所述处理器被配置用于计算在第一频谱区域中人类脸部的已注册的图像数据和在该第一频谱区域中人类脸部的测试图像数据之间的第一特征距离、计算已注册的图像数据和在第二频谱区域中人类脸部的测试图像数据之间的第二特征距离、计算在第一频谱区域中的测试图像数据和在第二频谱区域中的测试图像数据之间的测试特征距离、基于预定的关系确定在第一和第二频谱区域中的测试图像数据对应的人类脸部是真实的人类脸部还是欺骗性人类脸部，并且修改计算设备的行为。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。
附图简述
图1示意地示描绘了示例计算设备。
图2示出说明训练运行时分类器的示例过程的流程图。
图3示出一种说明确定在图像数据中的人类脸部是真实人类脸部还是欺骗性人类脸部的方法的流程图。
图4示出一种说明导出用于在真实人类脸部图像数据和欺骗性人类脸部图像数据之间进行区分的分类器的方法的流程图。
详细描述
如上所述，脸部识别是一种用于执行用户认证的机制。在一些脸部识别系统中，人类脸部的即时图像可以与先前捕捉到的人类脸部的图像相比较以确定或验证在即时图像中的人类脸部对应的身份。然而，一些这样的脸部识别系统易受欺骗攻击，在所述欺骗中通过伪造脸部来模拟真实人类脸部以愚弄脸部识别系统。欺骗可以以各种形式发生，例如恶意用户可以将打印的人类脸部的图像或三维模型(诸如脸模)提交给图像捕捉设备以实现作为不同用户的用户认证。如果欺骗技术愚弄了脸部识别系统，则恶意用户可以获得对计算资源和/或数据的未经授权的访问。
为了解决这些问题，提供了下述用于检测欺骗性人类脸部的设备和方法。图1示意性地描绘用于执行用户102的生物测定的验证的计算设备100。具体而言，计算设备100可以确定由相机104所捕捉的图像数据是否对应于通过用户的物理存在所呈现的用户102的真实人类脸部，或图像数据是否对应于打印在纸上的、在三维模型上呈现的或以某种其它方式进行欺骗的欺骗性脸部。这样，在此对用户的脸部的图像数据作出的引用也可以意指用户的欺骗性脸部的图像数据。
相机104可以是多频谱相机，用于在电磁频谱的两个或更多区域中捕捉图像数据。这样，相机104可以包括用于在电磁频谱的第一频谱区域中捕捉图像数据的第一频谱捕捉模块106，以及用于在电磁频谱的第二频谱区域中捕捉图像数据的第二频谱捕捉模块108。所述第一和第二频谱区域可以对应于电磁频谱的任何合适的区域，诸如分别是红外频谱区域(例如800-1800nm)以及可见光频谱区域(例如400-700nm)、可见光频谱的两个不同区域或非可见光频谱的两个区域。而且，第一和第二频谱区域可以被选择以使得第一和第二频谱捕捉模块106和108的各自的输出展现出可检测到的差异。这些差异可以是人类皮肤的特性，并且如此它们无法通过不是由人类皮肤构成的欺骗对象来再现。所述差异可以至少部分是由于人类皮肤对光的皮下散射导致的，在一个示例中这可导致在可见光图像数据与红外图像数据之间可检测到的颜色和/或亮度差异。
第一和第二频谱捕捉模块106和108是可以以任何合适的方式被实现的硬件模块。在一个示例中，第一和第二频谱捕捉模块106和108可以包括不同的、相应的光敏表面，每个表面由促进其对期望的波长的敏感度的合适材料构成。在另一个示例中，第一和第二频谱捕捉模块106和108可以在公共光敏表面中实现，在所述公共光敏表面上各滤镜是分开的且将第一和第二频谱光路由到光敏表面的相应的区域。在又另一个示例中，公共光敏表面可以接收第一和第二频谱光并基于所述第一和第二频谱光产生输出，其中所述输出的处理创建了单独的第一和第二频谱图像数据。第一和第二频谱捕捉模块106和108可包括任意合适的图像感测技术，包括但不限于例如电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)技术。
相机104可以包括用于照亮用户102的照明器110。由照明器110产生并从用户102的脸部被反射的光的一部分可以由第一和第二频谱捕捉模块106和108捕捉以成像用户的脸部。照明器110可以采用任何合适的形式，包括但不局限于包括散射器和发光二极管(LED)的光学组件的照明器，并且可以被配置为在任意合适的频谱区域中发射光。诸如红外之类的频谱区域可以根据人类皮肤的反射系数和散射属性被选择和/或以最大化例如信噪比(SNR)。而且，在一些示例中，照明器110的光输出可以例如在空间上和/或在时间上被调制，这允许相机104感测深度。替换地或另外地，由照明器110发射的光可以被(例如线性地、环形地)极化，例如以减少由镜面反射表面所产生的闪光/眩光。尽管在图1中描绘了单个照明器110，但可以构想两个或更多的照明器，所述照明器在它们的光输出方面可以不同或可以相同。
由相机104产生的图像数据连同先前存储的用户102的图像数据可以被用于确定相机所感知的用户的脸部是真实的还是欺骗性的。如此，图1示出基于由第一频谱捕捉模块106所捕捉的光产生的在第一频谱区域中的用户脸部的测试图像数据112、基于由第二频谱捕捉模块108所捕捉的光产生的在第二频谱区域中的用户脸部的测试图像数据114、以及正被馈送到计算设备100的先前存储的在第一频谱区域中的用户脸部的已注册图像数据116，在该计算设备处可以进行生物测定验证。已注册的图像数据116与用户102的真实脸部而非欺骗性用户脸部的对应性可能已经被验证，并且用户的身份可能已经与已注册的图像数据相关联。这样，已注册的图像数据116提供了经验证的参考，依据其测试第一和第二测试图像数据112和114以寻找欺骗。
图1示出了从已注册人类脸部图像数据的数据库118中获得的已注册图像数据116。数据库118可以存储多个用户的经验证的人类脸部图像数据，并且还可以存储每个用户的身份。当以这样的方式被配置时，数据库118可以部分地便利于对在数据库中的每个用户的身份欺骗的检测。而且，通过将经验证身份与每个用户相关联，数据库118可以部分便利于在数据库中的每个用户的身份验证。存储在数据库118中的已注册人类脸部图像数据可以对应于任何合适的频谱区域——在一个示例中，已注册的图像数据可以对应于第一频谱区域。
计算设备100可以包括或被耦合到处理器120、易失存储器122(例如随机存取存储器)、输入设备124(例如键盘、鼠标、游戏控制器、操纵杆、触摸传感器、话筒)、非易失存储器126以及输出设备128(例如显示器、扬声器)中的一个或多个。计算设备100可以采用任意合适的形式，包括但不限于台式计算机、膝上计算机、平板计算机、智能电话、智能屏幕、控制台计算设备、头戴式显示设备等。
输出设备128可以输出关于第一和第二测试图像数据112和114是对应真实人类脸部还是欺骗性人类脸部的判定130。计算设备100和/或其它设备可以在判定130的基础上采取各种行动，诸如允许或拒绝对受保护的计算资源和/或数据的访问、(例如在输出设备128上)显示指示用户认证是通过还是失败的图形用户界面等。如在此使用的“受保护数据”可以意指基于判定130来控制对其的访问的数据，例如当人类脸部被确定为真实人类脸部时对受保护的数据的访问可以被允许，并且当人类脸部被确定为欺骗性人类脸部时则被拒绝。受保护的数据可被加密或未加密。
非易失存储器126可以包括特征距离模块132，其是用于计算从图像数据中提取的特征(或包括特征的数据结构)之间的特征距离的软件程序。如下进一步描述的，“特征”可以意指各种各样的可以从图像数据中被提取并被用于表示其中的内容的数据类型。通过计算各特征之间的距离，可以确定由各特征所表示的图像数据集的相似性的评估。图1示出特征距离模块132可以如何计算在第一频谱区域中的用户102的人类脸部的已注册图像数据116和在第一频谱区域中的用户的人类脸部的测试图像数据112之间的第一特征距离133A、已注册图像数据和在第二频谱区域中人类脸部的第二测试图像数据114之间的第二特征距离133B、以及在第一频谱区域中的测试图像数据和在第二频谱区域中的测试图像数据之间的测试特征距离133C。
由特征距离模块132所计算的特征距离可以被提供到运行时分类器134，所述运行时分类器被配置为在真实人类脸部图像数据和欺骗性人类脸部图像数据类之间进行区分。作为训练分类器134的一部分，可以导出用于在真实人类脸部图像数据和欺骗性人类脸部图像数据之间进行区分的预定关系136。判定130可以通过将特征距离133A-C提供给预定关系136来生成，例如如下结合图2进一步详细描述的，所述判定可以基于特征距离133A-C的线性组合是否超出预定关系所指定的阈值或落入所述阈值之下来做出。
运行时分类器134可以用训练数据138来训练。训练数据138可以包括与被用于评估用户102的脸部的欺骗的类型相同的类型的数据集。为此，训练数据138可以包括已注册训练图像数据集140、在第一频谱区域中的测试训练图像数据集142以及在第二频谱区域中的测试训练图像数据集144。已注册训练图像数据集140可以包括对应于真实人类脸部而非欺骗性人类脸部的图像数据。相反，第一和第二测试训练图像数据集142和144可以包括对应于真实人类脸部的图像数据的子集以及对应于欺骗性人类脸部的图像数据的子集。在训练数据138中包括欺骗性和非欺骗性图像数据可以实现欺骗性和非欺骗性人类脸部图像数据类的标识。利用以这种方式配置的训练数据138，运行时分类器134可以被训练以在欺骗性和非欺骗性人类脸部图像数据之间进行实时区分。下面参考图4描述训练分类器134的示例方法。
训练数据138可以被存储为数据集的子集的三元组140、142和144。将图像用作示例表示，已注册图像、第一频谱区域中的测试训练图像和第二频谱区域中的测试训练图像(都针对一个给定用户)的三元组可以被存储以用于该给定用户。在这样的一种配置中，训练数据138可以包括已注册图像、第一测试训练和第二测试训练图像数据子集的多个三元组，每个三元组与相应的用户相关联。训练数据138可以以任何合适的方式被存储和表示，但是在一些示例中，两个或更多三元组可以与同一用户相关联。
在此所述的图像数据，例如由相机104产生的图像数据、训练数据138中的图像数据，可以采用任何合适的形式。在一些实现中，这样的图像数据可以采用以任何合适的格式(例如位图)编码的脸部图像、所提取的特征(例如纹理、二元图、边缘、点、形状)、特征向量等形式。
图2示出说明用训练数据138训练运行时分类器134的示例过程200的流程图。对图1的参考贯穿图2的说明作出。为了简明起见，过程200结合局部二元图(LBPs)被描述，但是可以使用任何合适的特征和特征提取的方法。
过程200可以包括，在201处，接收来自已注册训练图像数据集140的已注册训练图像数据。出于说明的目的，已注册训练图像数据在图2中被描绘为已注册训练图像202，但可以采用如上所述的任意合适的形式。图像202包括其与真实人类脸部的对应性被验证的图像数据。多个感兴趣的区域(ROIs)，例如ROI 204，可以在图像202中被标识。通常，每个ROI可以对应于在图像数据中的一个区域，在该区域中可提取特征是已知的或期望存在的。所述特征对于后续分析可以是有用的，并且可潜在地为所述特征从其中被提取的图像数据提供唯一的数据。在图2中描述的示例中，ROI 204对应于图像202中的用户的嘴角。
过程200可以包括，在206处，在每个ROI中执行纹理分类。图2以针对ROI 204执行的LBP分析的形式示出纹理分类。ROI 204包括多个像素，例如中心像素208A，每个所述像素指定了对应于在其中的视觉内容的至少一个参数。作为非限制性示例，在此参考由每个像素所指定的亮度来描述纹理分类，但是纹理分类可以考虑任何合适的参数，包括两个或更多参数(例如颜色、亮度、色调、饱和度)。尽管被示出为圆形，ROI 204的几何形状可以采用任何合适的形式，包括矩形、三角形、环形和非连续的几何形状。
根据典型的LBP过程，将在ROI 204中心处的中心像素208A的亮度与其处于距离所述中心像素一共同半径距离处的所有相邻像素(例如相邻像素208B)的相应的亮度相比较。考虑了在图2所示的示例半径距离处的12个相邻像素。对于特定相邻像素，如果相邻像素的亮度大于中心像素208A的亮度，两个值中的一个(例如0)可以与该相邻像素相关联。如果相邻像素的亮度小于中心像素208A的亮度，两个值中的另一个(例如1)可以与该相邻像素相关联。这一过程可以对于相对于中心像素208A的剩余相邻像素重复，每一相邻像素的数字被收集到纹理值(例如二进制数如00101100)中。在一些示例中，可以为各自处于相对于给定中心的不同半径差处的多个相邻像素集确定二进制数字。可以针对图像202的每个ROI204中的能够执行LBP的每个像素确定LBP，例如，由于缺少相邻像素，不能为边缘像素确定LBP。过程200可以包括，在212处，从多个ROI的每个ROI提取至少一个特征。图2示出从ROI204提取特征214。特征214可以采用直方图的形式，所述直方图描绘了为ROI 204计算的每个纹理值(例如t1、t2、t3、t4、t5)的频率—例如为ROI中的每个适用像素所计算的纹理值。然而，可以从多个ROI中提取任意合适的特征或特征的组合。
过程200可以包括，在216处，将所提取的特征汇编成一个特征向量。图2示出将从多个ROI中提取的所有特征汇编成特征向量218。在图2所示的示例中，由于从图像202中提取的特征是纹理值频率的直方图，特征向量218可以采用其每个基础向量对应于直方图的集合中的所有柱的一个相应柱的向量形式。每个基础向量可以与指示其对应的纹理值的(例如相对的)频率的相应的标量相关联。特征向量218可以采用任意合适的形式，但是所述形式也可以由其所基于的特征来确定。
如所示且迄今所描述的，过程200可以针对与从其导出特征向量218的已注册训练图像数据所表示的同一人类脸部相对应的测试训练图像数据来大致重复。这样，在一些示例中，可以在给定训练数据138的三元组中的每个数据集上执行基本上相同的处理。过程200可以相应地包括从第一测试训练图像数据集142中接收第一频谱区域中的测试训练图像数据，并且还从第二测试训练图像数据集144中接收第二频谱区域中的测试训练图像数据。以此方式，对于每个已注册图像数据、第一测试训练图像数据以及第二测试训练图像数据，可以标识多个ROI，可以从多个ROI的每个ROI提取至少一个特征，并且所提取的特征可以被汇编成一个特征向量。因此，图2示出了分别为第一和第二测试训练图像数据所计算的特征向量220和222。
通过分别为已注册训练图像数据、第一测试训练图像数据和第二测试训练图像数据所汇编的特征向量218、220和222，可以计算特征向量之间的距离以评估从其中导出这些特征向量的图像数据的相似性。这样，过程200可以包括，在224处，计算每对图像数据集的特征距离。图2示出了在第一频谱区域中的已注册训练图像数据的特征向量218和第一频谱区域中的测试训练图像数据的特征向量220之间所计算的第一特征距离226、在已注册训练图像数据的特征向量218和第二频谱区域中的测试训练图像数据的特征向量222之间所计算的第二特征距离228、以及在第一测试训练图像数据的特征向量220和第二测试训练图像数据的特征向量222之间所计算的第三特征距离230。
特征距离可以以各种合适的方式被计算。在一个实现中，特征距离计算可以基于脸部表示，该脸部表示对用户的身份和人内变量(例如照明、姿势、表情)这两者建模-例如脸部x可以被表示为x＝μ+ε。脸部x可以指脸部的任何合适的表示(例如脸部图像、特征、特征向量)，而μ和ε可以是分别表示脸部的身份和人内变化的独立的高斯变量。脸部x可以是具有从其减去多个脸部xi的平均的对应的用户的脸部。所述多个脸部xi可以表示人类脸部的域(gamut)，其可以允许例如当从脸部x被减去时在脸部x中的唯一特征的强调。所述多个脸部xi可以从数据库118或任何其它合适的源中导出。变量μ和ε可以是分别遵循两种高斯分布N(0,Sμ)和N(0,Sε)的潜变量。Sμ和Sε可以是未知的协方差矩阵。这样的脸部x的表示可以被称为“脸部先验”。
通过上述脸部先验，两个脸部x1、x2的联合分布可以被建模为具有均值为零的高斯分布。脸部x1可以对应于已注册训练图像数据、第一测试训练图像数据、以及第二测试训练图像数据中的一个，而脸部x2可以对应于例如已注册训练图像数据、第一测试训练图像数据、以及第二测试训练图像数据中的不同的一个。这两个脸部x1,x2的协方差可以被表示为cov(x1,x2)＝cov(μ1,μ2)+cov(ε1，ε2)。依据二元贝叶斯决策问题，这两个脸部x1,x2属于同一用户的人内假设HI以及这两个脸部x1,x2不属于同一用户的人外假设HE可以被测试。在HI假设的情况下，身份对μ1,μ2是相同的，并且它们的人内变量ε1，ε2是独立的。分布P(x1,x2|HI)的协方差矩阵可以被导出为∑I＝[Sμ+Sε,Sμ；Sμ,Sμ+Sε]。在假设HE的情况下，所述身份和人内变量两者是独立的。这样，分布P(x1,x2|HE)的协方差矩阵可以被导出为∑E＝[Sμ+Sε,0；0,Sμ+Sε]。利用这些条件化联合概率，对数似然比r(x1,x2)可以被获得：r(x1,x2)＝log[(P(x1,x2|HI))/(P(x1,x2|HE))]＝xT 1＊Ax1+xT 2＊Ax2-2xT 1＊Gx2。在该示例中，A＝(Sμ+Sε)-1-(F+G),其中[F+G,G；G,F+G]＝[Sμ+Sε,Sμ；Sμ,Sμ+Sε]-1。Sμ和Sε是从对应的数据中习得的两个未知的协方差矩阵。除了上述方法之外，其它合适的机器学习方法也可以被使用，例如通过在线性判别分析(LDA)中使用的类间以及类内协方差矩阵来进行近似。作为另一个非限制性示例，类似期望最大化的算法可以被用于联合地估计这两个矩阵。
继续图2，每个特征距离226、228和230可以被计算为相应的特征向量对属于真实人类脸部的概率以及相应的特征向量对属于欺骗性人类脸部的概率的似然比。在多个三元组训练数据138中的每个数据集的特征距离可以类似地被计算。随后，这些特征距离可以在二维特征空间中被绘制以用于标识特征距离并将特征距离分开到分别对应于欺骗性人类脸部图像数据和非欺骗性人类脸部图像数据的两类中。
这样，过程200可以包括，在232处，将第一、第二和第三特征距离226、228和230分到真实人类脸部图像数据类和欺骗性人类脸部图像数据类中的一个中。图2示出绘制多个特征距离坐标的二维特征距离空间234。空间234的第一轴236绘制了在第一频谱区域中的人类脸部的测试训练图像数据和在第二频谱区域中的人类脸部的测试训练图像数据的对应对之间的测试特征距离(例如第三特征距离230)的范围。空间234的第二轴238绘制了在第一特征距离和第二特征距离的对应的对之间的差异范围(例如从第二特征距离228中减去第一特征距离226)。在特征距离空间234中的多个特征距离坐标中的每个可以被分到真实人类脸部图像数据类240和欺骗性人类脸部图像数据类242中。通过真实和欺骗性人类脸部图像数据类分开，分类器(例如运行时分类器134)可以被训练以通过下述步骤在真实和欺骗性图像数据类之间进行区分：接收第一、第二和第三(例如测试)特征距离、并基于所述特征距离在空间234中绘制对应的特征距离坐标以确定特征距离坐标属于哪个类并且对应的图像数据因而属于哪个类。作为训练分类器的一部分，可以导出预定关系244(例如预定关系136)，所述预定关系提供了在运行时期间确定图像数据属于哪个类的有效判定。预定关系244可以根据如上所述的线性判别分析来确定，并且可以采用下述示例形式：c1＊d3+c2＊(d2-d1)>t,其中c1和c2是从特征距离坐标导出的常数，d1,d2,d3分别是第一、第二和第三(例如测试)特征距离，并且t是从特征距离坐标中导出的阈值。因此，借助于预定关系244，分类器可以将(例如给定三元组的)第一、第二和测试(例如第三)特征距离的线性组合与阈值t进行比较。分类器可以被配置为当所述比较超过阈值t时确定人类脸部是真实人类脸部，而当所述比较落在阈值t之下时确定人类脸部是欺骗性人类脸部。
除了上述确定之外或作为其替换，还可以做出关于人类脸部是欺骗性的还是真实的其它确定。例如，当(例如第一和第二测试图像数据的特征向量之间的)测试特征距离超过测试特征距离阈值时，在第一和第二频谱区域中的测试图像数据所对应的人类脸部可以被确定为是真实人类脸部。作为另一个示例，当(例如对应的已注册图像数据和第二测试图像数据之间的)第二特征距离超过(例如在对应的已注册图像数据和第一测试图像数据之间的)第一特征距离时，在第一和第二频谱区域中的测试图像数据所对应的人类脸部可以被确定为是真实人类脸部。
上述系统和过程提供了抵抗人类脸部欺骗的稳健的脸部识别的潜在优势。这样，可以为基于这样的脸部识别控制访问的系统提供更高的安全程度，同时身份被盗用的潜在风险被减少。
图3示出说明一种确定图像数据中的人类脸部是真实人类脸部还是欺骗性人类脸部的方法300的流程图。
方法300可以包括，在302处，计算在第一频谱区域中的人类脸部的已注册图像数据和在第一频谱区域中的人类脸部的测试图像数据之间的第一特征距离。如上所述，可以计算在已注册图像数据和第一测试图像数据的相应特征向量之间的第一特征距离。第一频谱区域可以是红外频谱区域，但是可以替换地使用其它频谱区域，如上所述。
方法300可以包括，在304处，计算在第一频谱区域中的人类脸部的已注册图像数据和在第二频谱区域中的人类脸部的测试图像数据之间的第二特征距离。如上所述，可以计算在已注册图像数据和第二测试图像数据的相应特征向量之间的第二特征距离。第二频谱区域可以是可见光频谱区域，但是可以替换地使用其它频谱区域作为第二频谱区域，如上所述。
方法300可以包括，在306处，计算在第一频谱区域中的人类脸部的测试图像数据和在第二频谱区域中的人类脸部的测试图像数据之间的测试特征距离。可以计算在第一测试图像数据和第二测试图像数据的相应特征向量之间的测试特征距离。
每个特征距离(例如第一、第二和测试特征距离)可以被计算为相应的特征向量对属于真实人类脸部的概率以及相应的特征向量对属于欺骗性人类脸部的概率的似然比。作为一个示例，可以基于局部二元图分析或通过另外的合适的过程来计算特征向量。计算第一、第二和测试特征距离可以包括计算相应的特征向量对，每个特征向量针对对应的图像数据编码纹理值、边缘、点、形状和亮度的直方图中的一个或多个。
方法300可以包括，在308处，基于在真实人类脸部图像数据和欺骗性人类脸部图像数据之间进行区分的预定关系来确定第一和第二频谱区域中的测试图像数据所对应的人类脸部是真实人类脸部还是欺骗性人类脸部。可以通过在二维特征空间(例如图2的空间234)中训练分类器(例如图1的分类器134)以在真实人类脸部图像数据和欺骗性人类脸部图像数据类之间进行区分来确定预定关系。作为一个示例，二维特征距离空间的第一轴可以绘制测试特征距离的范围，而二维特征距离空间的第二轴可以绘制在第一和第二特征距离的对应对之间的差异范围。
预定关系可以将第一、第二和测试特征距离的线性组合与阈值进行比较。所述分类器可以被配置为当所述比较超过阈值时确定人类脸部是真实人类脸部，而当所述比较落在阈值之下时确定人类脸部是欺骗性人类脸部。当所述测试特征距离超过阈值时，可以确定在第一和第二频谱区域中的测试图像数据所对应的人类脸部是真实人类脸部。而且，当所述第二特征距离超过第一特征距离时，可以确定在第一和第二频谱区域中的测试图像数据所对应的人类脸部是真实人类脸部。下面参考图4描述训练分类器的示例方法。方法300可以包括，在310处，基于人类脸部是被确定为真实人类脸部还是欺骗性人类脸部来修改计算设备(例如图1的计算设备100)的行为。修改计算设备的行为可以包括例如当人类脸部被确定为是真实人类脸部时允许对受保护数据的访问，而当人类脸部被确定为是欺骗性人类脸部时拒绝对受保护数据的访问。对计算设备的行为的其它修改可以包括允许或拒绝对计算资源的访问，和/或将在308处做出的确定提供给输出设备(例如输出设备128)，其可以包括(例如在输出设备上)显示例如指示用户认证是通过还是失败的图形用户界面。然而，任何合适的对计算设备的行为的修改都可以做出。而且，将理解在此所述的技术可以与其它安全技术相结合以在允许访问受保护数据之前启动用户的多因子认证。
图4示出一种说明导出用于在真实人类脸部图像数据和欺骗性人类脸部图像数据之间进行区分的分类器的方法400的流程图。
方法400可以包括，在402处接收在第一频谱区域中的人类脸部的已注册图像数据，在404处接收在第一频谱区域中的人类脸部的测试图像数据，并且在406处接收在第二频谱区域中的人类脸部的测试图像数据。
对于已注册的图像数据、在第一频谱区域中的测试图像数据以及在第二频谱区域中的测试图像数据中的每个，方法400可以包括，在408处，标识多个感兴趣的区域，在410处，从多个感兴趣的区域中的每个区域提取至少一个特征，并且在412处，将所提取的特征汇编成特征向量。
方法400可以包括，在414处，计算已注册图像数据的特征向量和在第一频谱区域中的测试图像数据的特征向量之间的第一特征距离。
方法400可以包括，在416处，计算在已注册图像数据的特征向量和在第二频谱区域中的测试图像数据的特征向量之间的第二特征距离。
方法400可以包括，在418处，计算在第一频谱区域中的测试图像数据的特征向量和在第二频谱区域中的测试图像数据的特征向量之间的测试特征距离。
方法400可以包括，在420处，在二维特征距离空间中将第一、第二和测试特征距离分到真实人类脸部图像数据类和欺骗性人类脸部图像数据类的一个类中。方法400可以包括，在422处，从所分开的特征距离中导出分类器，所述分类器被配置为在真实人类脸部图像数据和欺骗性人类脸部图像数据之间进行区分。
在图3和4中所示的上述方法和在图2中所示的过程可以在关于图1描述的硬件和软件或在另外的合适的硬件和软件环境中被实现。
将理解在图1中所示并在此所述的计算设备10可采取以下形式：一个或多个个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)和/或其他计算设备。
每个这样的计算设备包括处理器、易失存储器以及非易失存储器以及显示器、输入设备以及被配置为允许计算设备通过计算机网络与其它设备进行通信的通信系统。
每个计算设备的处理器被配置成执行指令，所述指令是一个或多个应用、程序、例程、库、对象、部件、数据结构或其他逻辑构造的一部分。这种指令可被实现以执行任务、实现数据类型、转换一个或多个组件的状态、实现技术效果、或以其他方式得到期望结果。
每个设备的所述处理器通常被配置为使用易失存储器的各部分执行被存储在非易失存储器上的软件指令。另外地或替代地，处理器可以包括被配置成执行硬件或固件指令的一个或多个硬件或固件处理器。在此所述的设备使用的处理器可以是单核的或多核的，并且其上执行的指令可以被配置用于串行、并行和/或分布式处理。处理器的个体组件可任选地分布在两个或更多个分开的设备之间，所述设备可以位于远程以及/或者被配置用于协同处理。处理器的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。
非易失存储器被配置为即使当到设备的电力被切断也保存软件指令，并且可以包括光学存储器(例如，CD、DVD、HD-DVD、蓝光碟等)、固态存储器(例如，EPROM、EEPROM、闪存等)和/或磁性存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)、等等。易失存储器被配置为在通过处理器执行程序期间临时保存软件指令和数据，并且当到设备的电力被切断时这样的数据通常被丢失。可以被使用的易失存储器的示例包括RAM,DRAM等。
处理器、非易失存储器和易失存储器的各方面可以被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上系统(SOC)以及复杂可编程逻辑器件(CPLD)。术语“模块”、“程序”和“引擎”可用于描述被实现为执行一个特定功能的计算设备10的一方面。在一些情况下，模块、程序或引擎可经由处理器在执行时使用易失存储器的各部分执行存储在非易失存储器中的指令来实例化。将理解，可以从同一应用、服务、代码块、对象、库、例程、API、函数等实例化不同的模块、程序和/或引擎。同样，可以由不同的应用、服务、代码块、对象、例程、API、函数等来实例化同一模块、程序和/或引擎。术语“模块”、“程序”和“引擎”可涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。术语模块在一些情形下还可以指代硬件，并且当在这样的上下文中被使用时，说明书将明确指出模块是否是硬件。
每个计算设备可以包括相关联的显示器，其可以被用于呈现由处理器计算和输出的数据的视觉表示。此视觉表示可采取图形用户界面(GUI)的形式。可将此类显示设备与处理器、易失存储器以及非易失存储器结合在共享外壳中，或此类显示设备可以是外围显示设备。可以使用既用作显示器又作为输入设备的触摸屏。
每一计算设备可任选地包括用户输入设备，诸如键盘、鼠标、触摸垫、触摸屏、话筒或游戏控制器。
每个计算设备可包括通信子系统，它被配置成将计算设备与一个或多个其他计算设备通信地耦合。通信子系统可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置成用于经由无线电话或数据网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，通信子系统可允许计算设备经由网络(比如因特网)向其他设备发送信息和/或从其他设备接收信息。
另一个示例提供了一种包括处理器的计算设备，所述处理器被配置用于计算在第一频谱区域中人类脸部的已注册图像数据和在该第一频谱区域中人类脸部的测试图像数据之间的第一特征距离、计算在第一频谱区域中人类脸部的已注册图像数据和在第二频谱区域中人类脸部的测试图像数据之间的第二特征距离、计算在第一频谱区域中人类脸部的测试图像数据和在第二频谱区域中人类脸部的测试图像数据之间的测试特征距离、基于在真实的人类脸部图像数据和欺骗性人类脸部图像数据之间进行区分的预定的关系确定第一和第二频谱区域中的测试图像数据对应的人类脸部是真实的人类脸部还是欺骗性人类脸部，并且基于所述人类脸部被确定为是真实的人类脸部还是欺骗性人类脸部来修改计算设备的行为。在这样的一个示例中，替换地或另外地，可以通过在二维特征距离空间中训练分类器以在真实人类脸部图像数据和欺骗人类脸部图像数据类之间进行区分来确定预定关系。在这样的示例中，替换地或另外地，二维特征距离空间的第一轴可以绘制测试特征距离的范围。在这样的示例中，替换地或另外地，二维特征空间的第二轴可以绘制在第一和第二特征距离的对应对之间的差异的范围。在这样的示例中，替换地或另外地，预定关系可以将第一、第二和测试特征距离的线性组合与阈值相比较。在这样的示例中，替换地或另外地，所述分类器可以被配置为当所述比较超过阈值时确定人类脸部是真实人类脸部，而当所述比较落在阈值之下时确定人类脸部是欺骗性人类脸部。在这样的示例中，替换地或另外地，每个特征距离可以被计算为相应的特征向量对属于真实人类脸部的概率以及相应的特征向量对属于欺骗性人类脸部的概率的似然比。在这样的示例中，替换地或另外地，可以基于局部二元图分析来计算特征向量。在这样的示例中，替换地或另外地，第一频谱区域可以是红外频谱区域。在这样的示例中，替换地或另外地，第二频谱区域可以是可见光频谱区域。在这样的示例中，替换地或另外地，当所述测试特征距离超过阈值时，可以确定在第一和第二频谱区域中的测试图像数据所对应的人类脸部是真实人类脸部。在这样的示例中，替换地或另外地，当第二特征距离超过第一特征距离时，可以确定在第一和第二频谱区域中的测试图像数据所对应的人类脸部是真实人类脸部。在这样的示例中，替换地或另外地，计算第一、第二和测试特征距离可以包括计算相应的特征向量对，每个特征向量针对对应的图像数据编码纹理值、边缘、点、形状和亮度的直方图中的一个或多个。以上描述的示例中的任何一个或全部可按任何合适的方式被组合在各实现中。
另一个示例提供了一种生物测定验证的方法，包括：计算在第一频谱区域中人类脸部的已注册图像数据和在该第一频谱区域中人类脸部的测试图像数据之间的第一特征距离、计算在第一频谱区域中人类脸部的已注册图像数据和在第二频谱区域中人类脸部的测试图像数据之间的第二特征距离、计算在第一频谱区域中人类脸部的测试图像数据和在第二频谱区域中人类脸部的测试图像数据之间的测试特征距离、基于在真实的人类图像数据和欺骗性人类图像数据之间进行区分的预定的关系确定第一和第二频谱区域中的测试图像数据对应的人类脸部是真实的人类脸部还是欺骗性人类脸部，并且基于所述人类脸部被确定为是真实的人类脸部还是欺骗性人类脸部来修改计算设备的行为。在这样的示例中，替换地或另外地，可以通过在二维特征距离空间中训练分类器以在真实人类脸部图像数据和欺骗人类脸部图像数据类之间进行区分来确定预定关系。在这样的示例中，替换地或另外地，二维特征距离空间的第一轴可以绘制测试特征距离的范围。在这样的示例中，替换地或另外地，二维特征空间的第二轴可以绘制在第一和第二特征距离的对应对之间的差异的范围。在这样的示例中，替换地或另外地，预定关系可以将第一、第二和测试特征距离的线性组合与阈值相比较。在这样的示例中，替换地或另外地，所述分类器可以被配置为当所述比较超过阈值时确定人类脸部是真实人类脸部，而当所述比较落在阈值之下时确定人类脸部是欺骗性人类脸部。在这样的示例中，替换地或另外地，每个特征距离可以被计算为相应的特征向量对属于真实人类脸部的概率以及相应的特征向量对属于欺骗性人类脸部的概率的似然比。在这样的示例中，替换地或另外地，可以基于局部二元图分析来计算特征向量。在这样的示例中，替换地或另外地，第一频谱区域可以是红外频谱区域。在这样的示例中，替换地或另外地，第二频谱区域可以是可见光频谱区域。在这样的示例中，替换地或另外地，当所述测试特征距离超过阈值时，可以确定在第一和第二频谱区域中的测试图像数据所对应的人类脸部是真实人类脸部。在这样的示例中，替换地或另外地，当第二特征距离超过第一特征距离时，可以确定在第一和第二频谱区域中的测试图像数据所对应的人类脸部是真实人类脸部。以上描述的示例中的任何一个或全部可按任何合适的方式被组合在各实现中。
另一个示例提供了一种计算设备，包括处理器和保持能够由所述处理器执行以下操作的指令的存储器：接收在第一频谱区域中的人类脸部的已注册图像数据，接收在第一频谱区域中的人类脸部的测试图像数据，接收在第二频谱区域中的人类脸部的测试图像数据，对于已注册的图像数据、在第一频谱区域中的测试图像数据以及在第二频谱区域中的测试图像数据中的每个，标识多个感兴趣的区域，从所述多个感兴趣的区域中的每个区域提取至少一个特征，并且将所提取的特征汇编成特征向量。在这样的示例中，替换地或另外地，所述指令可执行以计算已注册的图像数据的特征向量和在第一频谱区域中的测试图像数据的特征向量之间的第一特征距离、计算已注册的图像数据的特征向量和在第二频谱区域中测试图像数据的特征向量之间的第二特征距离、计算在第一频谱区域中的测试图像数据的特征向量和在第二频谱区域中的测试图像数据的特征向量之间的测试特征距离、在二维特征距离空间中，将第一、第二和测试特征距离分开到真实人类脸部图像数据类和欺骗性人类脸部图像数据类中的一个中，并且从所分开的特征距离导出分类器，所述分类器被配置为在真实的人类脸部图像数据和欺骗性人类脸部图像数据之间进行区分。以上描述的示例中的任何一个或全部可按任何合适的方式被组合在各实现中。
将会理解，本文描述的配置和/或方式本质是示例性的，这些具体实施例或本文示例不应被视为限制性的，因为许多变体是可能的。本文描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。
本公开的主题包括本文公开的各种过程、系统和配置以及其他特征、功能、动作和/或性质的所有新颖和非显而易见的组合和子组合，以及其任何和所有等同物。

Claims (20)

1.一种生物测定验证的设备，包括：
处理器，所述处理器被配置成：
计算在第一频谱区域中的人类脸部的已注册图像数据的特征向量和在所述第一频谱区域中所述人类脸部的测试图像数据的特征向量之间的第一特征距离；
计算在所述第一频谱区域中所述人类脸部的所述已注册图像数据的特征向量和在第二频谱区域中所述人类脸部的测试图像数据的特征向量之间的第二特征距离；
计算在所述第一频谱区域中所述人类脸部的所述测试图像数据的特征向量和在所述第二频谱区域中所述人类脸部的所述测试图像数据的特征向量之间的测试特征距离；
基于在真实人类脸部图像数据和欺骗性人类脸部图像数据之间进行区分的预定关系来确定在所述第一和第二频谱区域中的所述测试图像数据所对应的人类脸部是真实人类脸部还是欺骗性人类脸部，所述预定关系可以将所述第一、第二和测试特征距离的线性组合与阈值进行比较；以及
基于所述人类脸部是被确定为真实人类脸部还是欺骗性人类脸部来修改所述计算设备的行为；
其中每个特征距离被计算为相应的特征向量对属于真实人类脸部的概率以及相应的特征向量对属于欺骗性人类脸部的概率的似然比。
2.如权利要求1所述的设备，其特征在于，其中通过在二维特征距离空间中训练分类器以在真实人类脸部图像数据和欺骗性人类脸部图像数据类之间进行区分来确定所述预定关系。
3.如权利要求2所述的设备，其特征在于，其中二维特征距离空间的第一轴绘制了测试特征距离的范围，并且
其中所述二维特征空间的第二轴绘制了在第一和第二特征距离的对应对之间的差异的范围。
4.如权利要求2所述的设备，其特征在于，其中所述分类器被配置为当所述比较超过所述阈值时确定所述人类脸部是真实人类脸部，而当所述比较落在所述阈值之下时确定所述人类脸部是欺骗性人类脸部。
5.如权利要求1所述的设备，其特征在于，其中基于局部二元图分析计算所述特征向量。
6.如权利要求1所述的设备，其特征在于，所述第一频谱区域是红外频谱区域，并且
其中所述第二频谱区域是可见光频谱区域。
7.如权利要求1所述的设备，其特征在于，当所述测试特征距离超过阈值时确定在所述第一和第二频谱区域中的所述测试图像数据所对应的人类脸部是真实人类脸部。
8.如权利要求1所述的设备，其特征在于，当所述第二特征距离超过所述第一特征距离时确定在所述第一和第二频谱区域中的所述测试图像数据所对应的人类脸部是真实人类脸部。
9.如权利要求1所述的设备，其特征在于，其中计算所述第一、第二和测试特征距离包括计算相应的特征向量对，每个特征向量针对对应的图像数据编码纹理值、边缘、点、形状和亮度的直方图中的一个或多个。
10.一种生物测定验证的方法，包括：
计算在第一频谱区域中的人类脸部的已注册图像数据的特征向量和在所述第一频谱区域中所述人类脸部的测试图像数据的特征向量之间的第一特征距离；
计算在所述第一频谱区域中所述人类脸部的所述已注册图像数据的特征向量和在第二频谱区域中所述人类脸部的测试图像数据的特征向量之间的第二特征距离；
计算在所述第一频谱区域中所述人类脸部的所述测试图像数据的特征向量和在所述第二频谱区域中所述人类脸部的所述测试图像数据的特征向量之间的测试特征距离；
基于在真实人类图像数据和欺骗性人类图像数据之间进行区分的预定关系来确定在所述第一和第二频谱区域中的所述测试图像数据所对应的人类脸部是真实人类脸部还是欺骗性人类脸部，所述预定关系可以将所述第一、第二和测试特征距离的线性组合与阈值进行比较；以及
基于所述人类脸部是被确定为真实人类脸部还是欺骗性人类脸部来修改计算设备的行为；
其中每个特征距离被计算为相应的特征向量对属于真实人类脸部的概率以及相应的特征向量对属于欺骗性人类脸部的概率的似然比。
11.如权利要求10所述的方法，其特征在于，通过在二维特征距离空间中训练分类器以在真实人类脸部图像数据和欺骗性人类脸部图像数据类之间进行区分来确定所述预定关系。
12.如权利要求11所述的方法，其特征在于，其中二维特征距离空间的第一轴绘制了测试特征距离的范围，并且
其中所述二维特征空间的第二轴绘制了在对应的第一和第二特征距离对之间的差异的范围。
13.如权利要求11所述的方法，其特征在于，其中所述分类器被配置为当所述比较超过所述阈值时确定所述人类脸部是真实人类脸部，而当所述比较落在所述阈值之下时确定所述人类脸部是欺骗性人类脸部。
14.如权利要求10所述的方法，其特征在于，其中基于局部二元图分析计算所述特征向量。
15.如权利要求10所述的方法，其特征在于，所述第一频谱区域是红外频谱区域，并且
其中所述第二频谱区域是可见光频谱区域。
16.如权利要求10所述的方法，其特征在于，当所述测试特征距离超过阈值时确定在所述第一和第二频谱区域中的所述测试图像数据所对应的人类脸部是真实人类脸部。
17.如权利要求10所述的方法，其特征在于，当所述第二特征距离超过所述第一特征距离时确定在所述第一和第二频谱区域中的所述测试图像数据所对应的人类脸部是真实人类脸部。
18.一种检测欺骗性人类脸部的设备，包括：
处理器；以及
保持指令的存储器，所述指令可由所述处理器来执行以：
接收在第一频谱区域中的人类脸部的已注册图像数据；
接收在所述第一频谱区域中所述人类脸部的测试图像数据；
接收在第二频谱区域中所述人类脸部的测试图像数据；
对于所述已注册的图像数据、在所述第一频谱区域中的所述测试图像数据以及在所述第二频谱区域中的所述测试图像数据中的每个：
标识多个感兴趣的区域；
从所述多个感兴趣的区域中的每个区域提取至少一个特征；以及
将所提取的特征汇编成特征向量；
计算所述已注册图像数据的特征向量和在所述第一频谱区域中的所述测试图像数据的特征向量之间的第一特征距离；
计算所述已注册图像数据的特征向量和在所述第二频谱区域中的所述测试图像数据的特征向量之间的第二特征距离；
计算在所述第一频谱区域中的所述测试图像数据的特征向量和在所述第二频谱区域中的所述测试图像数据的特征向量之间的测试特征距离；
在二维特征距离空间中，将所述第一、第二和测试特征距离分开到真实人类脸部图像数据类和欺骗性人类脸部图像数据类中的一个中；以及
从所分开的特征距离导出分类器，所述分类器被配置为在真实的人类脸部图像数据和欺骗性人类脸部图像数据之间进行区分；
其中每个特征距离被计算为相应的特征向量对属于真实人类脸部的概率以及相应的特征向量对属于欺骗性人类脸部的概率的似然比。
19.一种具有指令的计算机可读存储介质，当所述指令被执行时使得机器执行如权利要求10-17中任一权利要求所述的方法。
20.一种计算机系统，包括用于执行如权利要求10-17中任一权利要求所述的方法的装置。
CN201580070912.9A 2015-10-30 2015-10-30 欺骗性脸部的检测 Active CN107111750B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/093334 WO2017070920A1 (en) 2015-10-30 2015-10-30 Spoofed face detection

Publications (2)

Publication Number Publication Date
CN107111750A CN107111750A (zh) 2017-08-29
CN107111750B true CN107111750B (zh) 2020-06-05

Family

ID=58629791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580070912.9A Active CN107111750B (zh) 2015-10-30 2015-10-30 欺骗性脸部的检测

Country Status (4)

Country Link
US (1) US10452935B2 (zh)
EP (1) EP3369036A4 (zh)
CN (1) CN107111750B (zh)
WO (1) WO2017070920A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3369036A4 (en) * 2015-10-30 2019-05-22 Microsoft Technology Licensing, LLC DETECTION OF MANIPULATED FACES
CN107480601B (zh) * 2017-07-20 2019-12-13 Oppo广东移动通信有限公司 检测方法及相关产品
US11003933B2 (en) * 2017-08-15 2021-05-11 Noblis, Inc. Multispectral anomaly detection
EP3447684A1 (en) * 2017-08-22 2019-02-27 Eyn Limited Verification method and system
US10726245B2 (en) * 2017-12-12 2020-07-28 Black Sesame International Holding Limited Secure facial authentication system using active infrared light source and RGB-IR sensor
TWI672957B (zh) * 2018-03-29 2019-09-21 瑞昱半導體股份有限公司 影像處理裝置及影像處理方法
CN108596141B (zh) * 2018-05-08 2022-05-17 深圳大学 一种深度网络生成人脸图像的检测方法及系统
CN112639802B (zh) * 2018-09-18 2024-06-28 Oppo广东移动通信有限公司 用于生成伪结构光照射面部的方法、系统及存储介质
US10885363B2 (en) * 2018-10-25 2021-01-05 Advanced New Technologies Co., Ltd. Spoof detection using structured light illumination
US11170242B2 (en) 2018-12-26 2021-11-09 Advanced New Technologies Co., Ltd. Spoof detection using dual-band fluorescence
WO2020140893A1 (en) * 2019-01-04 2020-07-09 Shenzhen GOODIX Technology Co., Ltd. Anti-spoofing live face sensing for enhancing security of facial recognition
US10970574B2 (en) * 2019-02-06 2021-04-06 Advanced New Technologies Co., Ltd. Spoof detection using dual-band near-infrared (NIR) imaging
US11328043B2 (en) * 2019-03-15 2022-05-10 Advanced New Technologies Co., Ltd. Spoof detection by comparing images captured using visible-range and infrared (IR) illuminations
US20200314411A1 (en) 2019-03-29 2020-10-01 Alibaba Group Holding Limited Synchronizing an illumination sequence of illumination sources with image capture in rolling shutter mode
US11049239B2 (en) * 2019-03-29 2021-06-29 GE Precision Healthcare LLC Deep neural network based identification of realistic synthetic images generated using a generative adversarial network
FR3095064A1 (fr) 2019-04-09 2020-10-16 Cynove Procédés et dispositifs de levée de doute biométrique
US11398127B2 (en) 2019-10-07 2022-07-26 Sg Gaming, Inc. Gaming systems and methods using image analysis authentication
US11074467B2 (en) * 2019-12-05 2021-07-27 Shenzhen GOODIX Technology Co., Ltd. Anti-spoofing of transparent fake object overlays with optical sensing modules
CN111339832B (zh) * 2020-02-03 2023-09-12 中国人民解放军国防科技大学 人脸合成图像的检测方法及装置
DE102020206350A1 (de) * 2020-05-20 2022-01-27 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Detektion von Vergleichspersonen zu einer Suchperson, Überwachungsanordnung, insbesondere zur Umsetzung des Verfahrens, sowie Computerprogramm und computerlesbares Medium
EP4209932A4 (en) * 2020-09-03 2023-09-13 NEC Corporation INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD AND COMPUTER PROGRAM
CN111968264A (zh) * 2020-10-21 2020-11-20 东华理工大学南昌校区 体育项目时间登记装置
US11443527B2 (en) * 2021-01-13 2022-09-13 Ford Global Technologies, Llc Material spectroscopy
US11657589B2 (en) 2021-01-13 2023-05-23 Ford Global Technologies, Llc Material spectroscopy
US11538283B1 (en) * 2021-06-09 2022-12-27 Nec Corporation Of America Detecting people wearing masks to prevent impersonation attacks
US20220398820A1 (en) * 2021-06-11 2022-12-15 University Of Southern California Multispectral biometrics system
CN115641649A (zh) * 2021-07-19 2023-01-24 清华大学 一种人脸识别方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739555A (zh) * 2009-12-01 2010-06-16 北京中星微电子有限公司 假脸检测方法及系统、假脸模型训练方法及系统
CN101964056A (zh) * 2010-10-26 2011-02-02 徐勇 一种具有活体检测功能的双模态人脸认证方法和系统
CN102024145A (zh) * 2010-12-01 2011-04-20 五邑大学 一种伪装人脸分层识别方法及系统
CN102385704A (zh) * 2010-08-27 2012-03-21 北京中星微电子有限公司 一种生物特征识别中的反样本挑选方法及装置
CN102622588A (zh) * 2012-03-08 2012-08-01 无锡数字奥森科技有限公司 双验证人脸防伪方法及装置
CN103514438A (zh) * 2012-06-25 2014-01-15 盈泰安股份有限公司 人脸判断系统以及方法
WO2015040001A2 (de) * 2013-09-19 2015-03-26 Muehlbauer Ag Vorrichtung, system und verfahren zum identifizieren einer person
CN104751110A (zh) * 2013-12-31 2015-07-01 汉王科技股份有限公司 一种活体检测方法和装置
CN104766063A (zh) * 2015-04-08 2015-07-08 宁波大学 一种活体人脸识别方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7921297B2 (en) 2001-01-10 2011-04-05 Luis Melisendro Ortiz Random biometric authentication utilizing unique biometric signatures
US7460696B2 (en) 2004-06-01 2008-12-02 Lumidigm, Inc. Multispectral imaging biometrics
CN1627317A (zh) 2003-12-12 2005-06-15 北京阳光奥森科技有限公司 利用主动光源获取人脸图像的方法
US7602942B2 (en) 2004-11-12 2009-10-13 Honeywell International Inc. Infrared and visible fusion face recognition system
CN101641049A (zh) 2007-03-21 2010-02-03 光谱辨识公司 基于局部一致特征的生物测定
US8090160B2 (en) 2007-10-12 2012-01-03 The University Of Houston System Automated method for human face modeling and relighting with application to face recognition
WO2010007094A2 (de) 2008-07-15 2010-01-21 Gfmesstechnik Gmbh Verfahren und anordnung zur 3d-erfassung von objekten sowie ein entsprechendes computerprogramm und ein computerlesbares speichermedium
KR101064945B1 (ko) 2008-11-25 2011-09-15 한국전자통신연구원 적외선 영상을 이용한 위조 얼굴 검출 방법 및 그 장치
US8587657B2 (en) 2011-04-13 2013-11-19 Xerox Corporation Determining a number of objects in an IR image
US8509495B2 (en) 2011-04-15 2013-08-13 Xerox Corporation Subcutaneous vein pattern detection via multi-spectral IR imaging in an identity verification system
US9082235B2 (en) * 2011-07-12 2015-07-14 Microsoft Technology Licensing, Llc Using facial data for device authentication or subject identification
WO2013098708A2 (en) 2011-12-30 2013-07-04 Koninklijke Philips Electronics N.V. Multispectral data acquisition
CN103324904A (zh) 2012-03-20 2013-09-25 凹凸电子（武汉）有限公司 人脸识别系统及其方法
US9173570B2 (en) 2012-04-12 2015-11-03 Thomas Nathan Millikan Viewing and processing multispectral images
EP2711899A3 (de) 2012-09-21 2016-12-28 Burg-Wächter Kg Vorrichtung zur optischen Gesichtsfelderkennung
US8924735B2 (en) 2013-02-15 2014-12-30 Microsoft Corporation Managed biometric identity
CN103324911A (zh) 2013-05-30 2013-09-25 苏州福丰科技有限公司 一种基于人脸识别的防作弊系统
CN104766039A (zh) 2014-01-02 2015-07-08 深圳市元轩科技发展有限公司 一种防欺骗人脸识别系统及方法
WO2015127394A1 (en) * 2014-02-23 2015-08-27 Northeastern University System for beauty, cosmetic, and fashion analysis
CN109213882B (zh) * 2014-03-12 2020-07-24 华为技术有限公司 图片排序方法及终端
EP3218844A4 (en) * 2014-11-13 2018-07-04 Intel Corporation Spoofing detection in image biometrics
EP3218842A4 (en) * 2014-11-13 2018-08-22 Intel Corporation Facial spoofing detection in image based biometrics
US20180034852A1 (en) * 2014-11-26 2018-02-01 Isityou Ltd. Anti-spoofing system and methods useful in conjunction therewith
CN204288308U (zh) 2015-02-26 2015-04-22 四川浩特通信有限公司 双摄像组合人脸识别考勤设备
EP3369036A4 (en) * 2015-10-30 2019-05-22 Microsoft Technology Licensing, LLC DETECTION OF MANIPULATED FACES
US10990808B2 (en) * 2016-02-09 2021-04-27 Aware, Inc. Face liveness detection using background/foreground motion analysis
EP3301476B1 (en) * 2016-09-28 2023-03-15 STMicroelectronics (Research & Development) Limited Apparatus having a camera and a time of flight single photon avalanche diode based range detecting module for controlling the camera and corresponding method
EP3545462A1 (en) * 2016-12-23 2019-10-02 Aware, Inc. Analysis of reflections of projected light in varying colors, brightness, patterns, and sequences for liveness detection in biometric systems

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739555A (zh) * 2009-12-01 2010-06-16 北京中星微电子有限公司 假脸检测方法及系统、假脸模型训练方法及系统
CN102385704A (zh) * 2010-08-27 2012-03-21 北京中星微电子有限公司 一种生物特征识别中的反样本挑选方法及装置
CN101964056A (zh) * 2010-10-26 2011-02-02 徐勇 一种具有活体检测功能的双模态人脸认证方法和系统
CN102024145A (zh) * 2010-12-01 2011-04-20 五邑大学 一种伪装人脸分层识别方法及系统
CN102622588A (zh) * 2012-03-08 2012-08-01 无锡数字奥森科技有限公司 双验证人脸防伪方法及装置
CN103514438A (zh) * 2012-06-25 2014-01-15 盈泰安股份有限公司 人脸判断系统以及方法
WO2015040001A2 (de) * 2013-09-19 2015-03-26 Muehlbauer Ag Vorrichtung, system und verfahren zum identifizieren einer person
CN104751110A (zh) * 2013-12-31 2015-07-01 汉王科技股份有限公司 一种活体检测方法和装置
CN104766063A (zh) * 2015-04-08 2015-07-08 宁波大学 一种活体人脸识别方法

Also Published As

Publication number Publication date
EP3369036A4 (en) 2019-05-22
CN107111750A (zh) 2017-08-29
US20180285668A1 (en) 2018-10-04
US10452935B2 (en) 2019-10-22
EP3369036A1 (en) 2018-09-05
WO2017070920A1 (en) 2017-05-04

Similar Documents

Publication Publication Date Title
CN107111750B (zh) 欺骗性脸部的检测
CN109948408B (zh) 活性测试方法和设备
KR102387571B1 (ko) 라이브니스 검사 방법 및 장치
Zhang et al. Automated face swapping and its detection
Chan et al. Face liveness detection using a flash against 2D spoofing attack
Chingovska et al. Face recognition systems under spoofing attacks
US10108858B2 (en) Texture features for biometric authentication
US11869272B2 (en) Liveness test method and apparatus and biometric authentication method and apparatus
US11625954B2 (en) Method and apparatus with liveness testing
KR102257897B1 (ko) 라이브니스 검사 방법과 장치，및 영상 처리 방법과 장치
CN112868028A (zh) 利用虹膜图像的欺骗检测
US9501719B1 (en) System and method for verification of three-dimensional (3D) object
CN111881429A (zh) 活性检测方法和设备以及面部验证方法和设备
Tapia et al. Single morphing attack detection using feature selection and visualization based on mutual information
EP3948597A2 (en) Learned forensic source system for identification of image capture device models and forensic similarity of digital images
JP2015041307A (ja) 照合装置及び照合方法、照合システム、並びにコンピュータ・プログラム
CN112766175B (zh) 活体检测方法、装置及非易失性存储介质
Liu et al. Multifeature fusion detection method for fake face attack in identity authentication
Maurya et al. Spoofed Video Detection Using Histogram of Oriented Gradients
US11393255B2 (en) Liveness determining method and apparatus and method and apparatus for training the liveness determining apparatus
Shahriar et al. Presentation attack detection framework
Kechagias‐Stamatis et al. Performance evaluation of single and cross‐dimensional feature detection and description
Parate et al. A bio inspired algorithm for biometric fake detection using face, finger & iris
Etienne A Framework to Detect Presentation Attacks
Singh Fast Domain Adaptation in Face Recognition by Decomposed Meta Batch Normalization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant