CN116982093A - 呈现攻击检测 - Google Patents

呈现攻击检测 Download PDF

Info

Publication number
CN116982093A
CN116982093A CN202080107787.5A CN202080107787A CN116982093A CN 116982093 A CN116982093 A CN 116982093A CN 202080107787 A CN202080107787 A CN 202080107787A CN 116982093 A CN116982093 A CN 116982093A
Authority
CN
China
Prior art keywords
image
texture
object image
stage
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080107787.5A
Other languages
English (en)
Inventor
黄为
克坦·科特瓦尔
徐文康
黄晓林
塞巴斯蒂安·马塞尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN116982093A publication Critical patent/CN116982093A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种用于检测图像呈现攻击的方法。所述方法包括：获取对象图像；对所述对象图像进行去噪，以获取所述对象图像的去噪表示；计算表示所述对象图像与所述对象图像的所述去噪表示之间差异的残差图像；获取一个或多个纹理基元的数据库；生成纹理描述符，所述纹理描述符将所述残差图像的一个或多个区域的图像纹理细节表示为所述数据库中的纹理基元的函数；对所述纹理描述符执行分类操作，以基于图像纹理细节预测图像呈现攻击。

Description

呈现攻击检测
技术领域
本发明涉及检测图像呈现攻击。
背景技术
生物特征认证在计算机科学中用于用户验证，以进行访问控制。生物特征认证的形式依赖于对用户的生物特征进行成像，例如，对用户的面部、手部、手指或虹膜进行成像以检测物理特征，由此可以将检测到的物理特征与授权用户的已知物理特征进行比较以认证访问尝试。未经授权用户试图非法访问计算机系统，由此该未经授权用户尝试模仿授权用户的生物特征呈现，从而可以在此类生物特征认证系统上实施呈现攻击。例如，此类未经授权用户可以佩戴面罩或手部/手指假体，或者展示打印图像或电子显示器，以描绘授权用户的呈现。为了降低未经授权访问计算机系统的风险，需要能够可靠地检测呈现攻击。
发明内容
本发明的目的在于提供一种用于检测图像呈现攻击的方法。
上述和其它目的通过独立权利要求请求保护的特征实现。其它实现方式在从属权利要求、说明书和附图中是显而易见的。
本发明的各方面涉及一种基于纹理的呈现攻击检测方法，由此，可以通过检测真实呈现(例如，真实人脸)与伪影(例如，面罩、印刷照片或电子显示器上显示的视频)之间的微纹理差异来识别呈现攻击。此类基于纹理的方法可以基于诸如存在颜料(印刷缺陷)及镜面反射和阴影(显示攻击)等伪影特征来有效区分真实呈现和攻击呈现。换言之，本发明的各方面涉及基于真实呈现与呈现攻击伪影之间的特征微纹理差异对呈现攻击进行分类。
本发明的第一方面提供了一种用于检测图像呈现攻击的方法，所述方法包括：获取对象图像；对所述对象图像进行去噪，以获取所述对象图像的去噪表示；计算表示所述对象图像与所述对象图像的所述去噪表示之间差异的残差图像；获取一个或多个纹理基元的数据库；生成纹理描述符，所述纹理描述符将所述残差图像的一个或多个区域的图像纹理细节表示为所述数据库中的纹理基元的函数；对所述纹理描述符执行分类操作，以基于图像纹理细节预测图像呈现攻击。
在示例中，所述方法用于检测针对用户验证系统的图像呈现攻击。例如，用户识别系统可以部署为用于控制对计算机系统的访问的计算机访问控制系统的用户验证系统的一部分。例如，所述用户验证系统可以包括图像捕获设备，所述图像捕获设备用于捕获用户向所述用户验证系统呈现的图像(例如，所述呈现用户的面部或指纹的图像)，从而预测所述呈现用户是授权用户还是未经授权用户。
以此方式获取对象图像，即出于分析目的呈现的图像。例如，可以使用图像捕获设备来获取所述对象图像，所述方法可以涉及使用图像捕获设备来捕获所述图像。在其它示例中，可以使用外部系统捕获所述对象图像，获取所述对象图像可以涉及可选地在图像文件的初始处理之后获取所述图像文件。
对所述对象图像进行初始去噪。例如，可以使用神经网络对所述对象图像进行去噪，所述神经网络被训练用于对(例如，真人)真实呈现的图像进行去噪。所述残差图像计算为所述对象图像与所述对象图像的去噪版本之间的差异，例如，计算为所述对象图像与所述去噪表示之间的像素差异。因此，所述残差图像是所述对象图像的平滑表示，主要表示所述对象图像的微纹理特征。
然而，残差图像中包含的纹理细节与输入呈现的其它破坏性噪声或高频内容相叠加，这可能会损害预测所述图像是否描绘呈现攻击的过程。因此，然后使用纹理基元的数据库生成纹理描述符，所述纹理描述符表示所述残差图像的一个或多个区域/块。例如，所述纹理描述符可以包括码矢量，其中，所述残差图像的所述区域/块的纹理细节被编码为纹理基元的组合。所述纹理描述符以更具区分性的方式将所述残差图像的内容表示为所述数据库中的纹理基元的函数。因此，可以有利地提高用于预测图像呈现攻击的所述分类操作的准确性和可靠性。
在示例中，专门针对预期成像应用(例如，用于在近红外(near-infrared，NIR)通道中对面部进行成像)而获知所述纹理基元的数据库。这种方法的优点在于，所述纹理基元然后是特定于应用的，可以最准确地定义所述图像的纹理，并且因此可以允许将所述对象图像更准确/可靠地分类为表示真实呈现或攻击呈现。
在一种实现方式中，生成纹理描述符包括：生成纹理描述符，所述纹理描述符将所述残差图像的多个区域的图像纹理细节表示为所述数据库中的纹理基元的函数。
换言之，在示例中，所述纹理描述符可以将所述残差图像的多个不同区域表示为一个或多个所述纹理基元的函数。因此，所述对象图像的所述纹理细节可以更充分地由所述纹理描述符表示。因此，可以有利地提高用于预测图像呈现攻击的所述分类操作的准确性和可靠性。在示例中，所述纹理描述符可以将所述残差图像的每个区域表示为所述纹理基元的函数，使得最充分地表示所述对象图像的所述纹理细节。
在一种实现方式中，生成纹理描述符包括：生成纹理描述符，所述纹理描述符将所述残差图像的所述一个或多个区域中的每个区域的图像纹理细节表示为所述数据库中的多个纹理基元的函数。
换言之，在示例中，所述纹理描述符可以将所述残差图像的所述一个或多个不同区域中的每个不同区域表示为多个所述纹理基元的函数。因此，可以表示定义所述对象图像的所述纹理细节的更完整的纹理信息。因此，可以有利地提高用于预测图像呈现攻击的所述分类操作的准确性和可靠性。在示例中，所述纹理描述符可以将所述残差图像的所述一个或多个区域中的每个区域表示为所述数据库中的所述纹理基元中的每个纹理基元的函数，使得最充分地表示所述对象图像的所述纹理细节。
在一种实现方式中，生成纹理描述符包括：生成纹理描述符，所述纹理描述符将所述残差图像的所述一个或多个区域中的每个区域的图像纹理细节表示为所述数据库中的所述多个纹理基元和相应系数的线性组合，所述相应系数将所述残差图像的所述区域的纹理细节与所述纹理基元中的每个纹理基元关联。换言之，所述纹理描述符可以将所述一个或多个区域的所述纹理信息表示为多个所述纹理基元的线性组合。这可以有利地表示用于全面表示纹理信息的计算高效方式。
在一种实现方式中，对所述对象图像进行去噪包括：使用卷积神经网络对所述对象图像进行去噪，以预测输入图像的去噪表示。
卷积神经网络可以有利地允许以相对较低的计算复杂度对图像进行准确、可靠的去噪。例如，所述卷积神经网络可以是去噪自动编码器。所述卷积神经网络可以仅使用用户的真实图像(例如用户面部的真实图像)而不是攻击表现进行训练。因此，与攻击呈现相比，所述去噪器预计会成为用于真实呈现的更高效去噪器。因此，可以有利地提高用于预测图像呈现攻击的所述分类操作的准确性和可靠性。
在一种实现方式中，对所述纹理描述符执行分类操作包括：对所述纹理描述符执行卷积神经网络操作，以基于图像纹理细节预测图像呈现攻击。
卷积神经网络可以有利地允许以相对较低的计算复杂度对呈现攻击进行准确、可靠的预测。例如，所述卷积神经网络可以是多层感知器。
在一种实现方式中，所述方法还包括对所述对象图像执行：图像强度归一化操作，以将所述已接收图像的强度范围更改为预定义强度范围；和/或图像大小调整操作，以将所述已接收图像的大小更改为预定义大小。
换言之，可以在所述去噪阶段之前对所述对象图像执行强度归一化/大小调整操作。因此，所述对象图像以及所述对象图像的所述纹理细节可以用于尽可能紧密地匹配所述纹理细节的期望强度/大小，例如匹配已训练去噪器和/或分类器操作的强度/大小和/或已获知纹理基元数据库的强度/大小。因此，可以有利地提高用于预测图像呈现攻击的所述分类操作的准确性和可靠性。
在一种实现方式中，所述方法还包括：对所述对象图像执行特征位置检测操作，以检测所述对象图像中包含预定义图像特征的区域；对所述对象图像的所述检测区域执行可见性检测操作，以检测所述预定义图像特征在所述输入图像的所述检测区域中的可见性。
换言之，所述方法涉及检测和检查图像的某些特征的可见性。例如，所述操作可以旨在检测面部图像中面部标志(如眼睛和/或嘴部区域)的位置，并且随后检查这些特征在所述对象图像中的可见性。因此，可以确定所述图像的特定特征的存在，这可以指示成像对象的活跃度。因此，可以有利地提高用于预测图像呈现攻击的所述分类操作的准确性和可靠性。在示例中，所述可见性检测操作可以包括计算所述区域的熵，并将所计算的熵与描绘所述预定义特征(例如，嘴部或眼睛)的区域的预期熵进行比较。
在一种实现方式中，所述方法还包括：对所述对象图像执行特征位置检测操作，以检测所述对象图像中包含预定义图像特征的区域；将所述对象图像的所述检测区域与边缘检测核进行卷积，并计算表示所述卷积的输出的直方图；获取参考直方图；计算所述直方图与所述参考直方图之间的差异。
例如，该实现方式可用于检测面罩的边缘，例如界定切口区域的边缘，从而检测攻击呈现。因此，可以有利地提高用于预测图像呈现攻击的所述分类操作的准确性和可靠性。
可以针对真实图像的特定特征(例如，眼睛/嘴部)生成所述参考直方图，并且计算所述直方图之间的差异可以涉及计算所述边缘特征之间的差异/相似性。所述差异的大小可以用作存在面罩边缘(例如，切口)的可靠指标。
在一种实现方式中，所述方法还包括：获取另一对象图像；对所述另一对象图像进行去噪，以获取所述另一对象图像的去噪表示；计算表示所述另一对象图像与所述另一对象图像的所述去噪表示之间差异的另一残差图像；生成另一纹理描述符，所述另一纹理描述符将所述另一残差图像的区域的图像纹理细节表示为所述数据库中的纹理基元的函数，所述另一残差图像的区域在空间上对应于所述残差图像的所述一个或多个区域中的一个区域；计算所述另一纹理描述符与所述残差图像的对应区域的所述纹理描述符之间的差异。
所述方法可以有利地允许检测在所述对象图像的采集时间与所述另一对象图像的采集时间之间发生的所述对象图像的对象的局部运动。例如，所述方法可以用于检测成像用户的眼睛或嘴部区域的运动。此类比较可以检测所述成像对象的运动，从而可以用于推断所述对象的活跃度。因此，可以有利地提高用于预测图像呈现攻击的所述分类操作的准确性和可靠性。
在一种实现方式中，获取卷积神经网络以预测对象图像的去噪表示包括：获取卷积神经网络；接收训练图像；将图像噪声添加到所述训练图像中，以生成所述训练图像的噪声表示；对所述训练图像的所述噪声表示执行所述卷积神经网络操作，并生成对所述训练图像的所述噪声表示的去噪表示的预测；对所述训练图像的所述噪声表示的去噪表示的所述预测与所述训练图像之间的差异进行量化；基于所述差异对所述卷积神经网络操作进行修改。
添加图像噪声可以涉及添加高斯白噪声。基于所述差异对所述卷积神经网络操作进行修改可以涉及更新所述卷积神经网络(convolutional neural network，CNN)的参数，例如权重。
在一种实现方式中，接收对象图像包括接收近红外辐射图像，获取一个或多个纹理基元的数据库包括获取表示近红外辐射图像的纹理的一个或多个纹理基元的数据库。
换言之，可以在NIR通道中采集所述对象图像。有利地，NIR图像在成像期间通过不同程度的背景可见光而相对不易受到损坏，适于在低可见光水平下(例如，在夜间)成像，并且适于对区分真实呈现与攻击呈现的某些关键纹理细节进行成像。因此，可以有利地提高用于预测图像呈现攻击的所述分类操作的准确性和可靠性。
在一种实现方式中，接收输入图像包括：使用光学成像设备进行成像。例如，所述成像设备可以是对近红外辐射敏感的近红外成像设备。
本发明的第二方面提供了一种包括指令的计算机程序，所述指令在由计算机系统执行时，使所述计算机系统执行根据本发明第一方面的任何实现方式所述的方法。
本发明的第三方面包括计算机可读数据载体，其上存储有根据本发明第二方面所述的计算机程序。
本发明的第四方面提供了一种用于检测图像呈现攻击的计算机，其中，所述计算机用于：获取对象图像；对所述对象图像进行去噪，以获取所述对象图像的去噪表示；计算表示所述对象图像与所述对象图像的所述去噪表示之间差异的残差图像；获取一个或多个纹理基元的数据库；生成纹理描述符，所述纹理描述符将所述残差图像的一个或多个区域的图像纹理细节表示为所述数据库中的纹理基元的函数；对所述纹理描述符执行分类操作，以基于图像纹理细节预测图像呈现攻击。
在实现方式中，根据本发明第四方面所述的计算机系统还可以用于执行根据本发明第一方面的任何实现方式所述的方法。
根据下面描述的实施例，本发明的这些方面和其它方面将变得显而易见。
附图说明
为了更容易理解本发明，现在将结合附图通过示例说明本发明的实施例，其中：
图1示意性地示出了实施本发明的一个方面的计算系统的示例，所述计算系统包括计算机和生物特征验证系统；
图2示意性地示出了先前结合图1识别的生物特征验证系统的示例性实现方式，所述生物特征验证系统包括呈现攻击检测模块；
图3示意性地示出了先前结合图2识别的呈现攻击检测模块的示例性实现方式；
图4示意性地示出了生物特征验证系统x执行的示例性方法，所述示例性方法包括用于检测呈现攻击的方法；
图5示意性地示出了先前结合图4识别的用于检测呈现攻击的方法中所涉及的过程；
图6示意性地示出了由先前结合图3识别的呈现攻击检测模块提供的计算功能的示例；
图7示意性地示出了先前结合图5识别的用于检测呈现攻击的方法中获取对象图像所涉及的过程；
图8示意性示出了先前结合图5识别的用于检测呈现攻击的方法中对对象图像进行去噪所涉及的过程；
图9示意性地示出了先前结合图8识别的用于对对象图像进行去噪的过程中所涉及的去噪自动编码器的各个阶段；
图10示意性地示出了先前结合图5识别的用于检测呈现攻击的方法中计算对应于对象图像的残差图像所涉及的过程；
图11示意性地示出了先前结合图5识别的用于检测呈现攻击的方法中获取纹理基元数据库所涉及的过程；
图12示意性示出了先前结合图5识别的用于检测呈现攻击的方法中生成纹理描述符所涉及的过程；
图13示意性地示出了先前结合图5识别的用于检测呈现攻击的方法中评估对象图像的特征所涉及的过程；
图14示意性地示出了先前结合图5识别的用于检测呈现攻击的方法中预测对象图像中的呈现攻击所涉及的过程；
图15示意性地示出了先前结合图14识别的用于检测对象图像中的呈现攻击的过程中利用的多层感知器分类器模型。
具体实施方式
首先参考图1，实施本发明的一个方面的计算系统101包括计算机102和生物特征验证系统103，生物特征验证系统103通过连接104与计算机102通信。
计算机102可操作以执行计算功能。例如，计算机102可以运行用于执行功能的计算机程序。例如，计算机102是个人计算机、智能手机或安装在车辆上用于控制所述车辆功能的计算机。在其它示例中，计算机102是用于接受用户付款的支付设备(例如，销售点设备)或用于向用户分发付款的支付设备(例如，自动取款机)。在此类应用中，可能需要控制对所述计算机或所述计算机的功能的访问，以防止未经授权使用所述计算机。例如，在计算机102是个人计算机的情况下，可能需要将所述计算机的功能的访问限制为所述个人计算机的一个或多个授权用户，从而防止未经授权用户使用所述计算机。
生物特征验证系统103用于验证请求访问计算机102的用户是否为授权用户。因此，计算机102可以使用生物特征验证系统103的输出来确定是否向所述用户授予对所述计算机的访问权限，例如对在所述计算机上运行的操作系统或程序的访问权限。在示例中，生物特征验证系统103用于对请求访问计算机102的用户进行成像，并通过将从所述图像中提取的生物特征信息与授权用户的预定义义生物特征进行比较来验证所述成像用户是所述计算机的授权用户。此类系统遇到的困难在于，未经授权用户可以对生物特征验证系统103实施呈现攻击，由此所述未经授权用户可以尝试模仿授权用户的生物特征呈现，从而非法访问所述计算机。例如，此类未经授权用户可以佩戴面罩或手部/手指假体，或者展示打印图像或电子显示器，以描绘授权用户的呈现。如将结合后面的附图进一步详细描述的，在示例中，因此生物特征验证系统103用于检测所述用户的图像中的某些形式的呈现攻击，从而降低未经授权访问计算机102的风险。
例如，生物特征验证系统103可以通过网络104连接到计算机102。例如，网络104可以通过诸如互联网等广域网(wide area network，WAN)、局域网(local area network，LAN)、城域网(metropolitan area network，MAN)和/或个人局域网(personal areanetwork，PAN)实现。所述网络可以使用诸如以太网、有线数据传输业务接口规范(DataOver Cable Service Interface Specification，DOCSIS)、同步光网络(synchronousoptical networking，SONET)和/或同步数字体系(synchronous digital hierarchy，SOH)等有线技术和/或诸如电气和电子工程师学会(Institute of Electrical andElectronics，IEEE)802.11(Wi-Fi)、IEEE 802.15(WiMAX)、蓝牙、ZigBee、近场通信(near-field communication，NFC)和/或长期演进(Long-Term Evolution，LTE)等无线技术实现。网络104可以包括至少一个用于在所述网络中传送数据的设备。例如，网络104可以包括计算设备、路由器、交换机、网关、接入点和/或调制解调器。在其它示例中，生物特征验证系统103可以通过更简单的数据传输连接104(例如，通过根据通用串行总线标准的连接)连接到计算机102。
在图示的示例中，生物特征验证系统103被示为在结构上与计算机102不同，并且与计算机102位于同一位置。在其它示例中，生物特征验证系统103可以位于距离计算机102较远的位置，或者可以合并到计算机102中，使得生物特征验证系统103利用计算机102的计算资源。例如，计算机102可以包括手持计算设备(例如，智能手机)，生物特征验证系统103可以集成在所述手持计算设备中。
具体参考图2，在示例中，生物特征验证系统103包括用户验证模块201、用户识别模块202、呈现攻击检测模块203和图像采集模块204。图像采集模块204包括成像设备205。生物特征验证系统103的组件201至组件205通过系统总线106通信，系统总线106又通过连接104连接到计算机102。
用户验证模块201用于基于来自用户识别模块202和来自呈现攻击检测模块203的输入，确定请求访问计算机102的用户是否为所述系统的授权用户，并且用于通过连接104向计算机102传送此类确定信息。例如，用户验证系统201可以包括用于执行用户验证任务的计算机处理器。
用户识别模块202用于从图像采集模块204采集的用户图像中识别所述计算机的尝试用户。在示例中，用户识别模块202用于：从图像采集模块204采集的图像中提取和分析生物特征信息；访问存储在存储器中的预定义义生物特征信息(例如，存储在用户识别模块内部的存储器中)，所述存储器中存储有授权用户的生物特征信息；确定从所述采集的图像中提取的所述生物特征信息是否与授权用户的生物特征信息相匹配。然后，用户识别系统202可以向用户验证系统传达关于所述请求访问的用户看起来是否为授权用户的确定信息。在本文中将详细描述的示例中，用户识别模块202用于面部识别，并且用于分析成像用户的面部特征，以确定所述面部特征是否与授权用户的预定义义面部特征相匹配。在其它示例中，用户识别模块202可以用于替代形式的生物特征识别，例如指纹或虹膜识别。本领域技术人员已熟知用于分析用于识别用户的生物特征图像的各种适当方法，例如面部、指纹或虹膜识别。例如，用户识别模块202可以包括用于存储授权用户的预定义义生物特征信息的计算机存储器和用于执行用户识别任务的计算机处理器。
呈现攻击检测模块203用于检测由图像采集模块204采集的图像中的呈现攻击尝试。具体地，在示例中，呈现攻击检测模块203用于预测由图像采集模块204采集的图像是否描绘呈现攻击。将特别结合图3和图6进一步详细描述呈现攻击检测模块203。
图像采集模块204用于采集请求访问计算机102的用户的一个或多个图像，并且用于与用户识别系统202和呈现攻击检测系统203进行通信。例如，图像采集模块204可以用于对用户的面部进行成像，并且成像设备205因此可以固定在适当位置，使得可以对请求访问计算机102的用户的面部区域进行成像。在示例中，成像设备205是光学相机。在本文中将详细描述的示例中，成像设备205用于对用户的面部进行成像。在示例中，成像设备205用于对近红外(near-infrared，NIR)辐射进行成像，例如，用于在所述NIR通道中对用户的面部进行成像。在此类示例中，成像设备205可以包括具有装配到透镜上的NIR滤光片的光学相机。因此，所述滤光片可以选择性地将NIR光谱辐射传递到图像传感器。在其它示例中，例如，图像采集设备可以作为指纹或虹膜成像器用于对用户身体的其它区域进行成像。图像采集模块204可以包括用于执行所述成像任务的计算机处理器，并且可选地，还包括用于存储所采集图像的存储器。
在所述示例中，生物特征验证系统被描述为包括四个不同的模块201至204，每个模块具有独立的计算资源、处理器和/或存储器资源。然而，在其它示例中，一个或多个所述模块的功能可以由共享计算资源组合和实现。例如，所述模块201至模块204中的所有模块的功能可以由通用处理器实现。
参考图3，在一个示例中，呈现攻击检测模块203包括处理器301、存储器302、存储器303、输入/输出接口304和系统总线305。呈现攻击检测模块203用于运行计算机程序，以检测由图像采集模块204采集的图像中的呈现攻击。
处理器301用于执行计算机程序的指令。存储器302用于计算机程序的非易失性存储，以供处理器301执行。在本实施例中，用于预测由图像采集模块204采集的图像中的呈现攻击的计算机程序存储在存储器302中。存储器303被配置为读/写存储器，用于存储与由处理器301执行的计算机程序相关联的操作数据。提供输入/输出接口304，用于使呈现攻击检测模块203与系统总线206进行通信。呈现攻击检测模块203的组件301至组件304通过系统总线305进行通信。
参考图4，在一个示例中，生物特征验证系统103用于执行用户验证流程，以验证所述请求访问计算机102的用户是所述计算机的授权用户。例如，生物特征验证系统103可以响应于通过连接104从计算机102接收提示来执行验证流程。
在阶段401，图像采集模块204使用成像设备205对请求访问计算机102的用户进行成像。在示例中，阶段401涉及可选地在所述NIR通道中对所述用户的面部进行成像，其中可以预先配置实际波长范围。在示例中，图像采集模块204采集多个帧，其中，可以在阶段401定义帧采集的持续时间和连续帧之间的时间间隔(帧速率)。在示例中，图像采集模块204能够以多个不同分辨率进行成像，并且阶段401可以涉及定义成像分辨率。在示例中，成像设备205可以具有用于指定NIR范围的一个或多个照明设备。因此，阶段401还可以涉及调整照明设备，使得名义上包含对象头部/面部的区域被适当且均匀地照明。尽管环境光的微小变化是可以接受的，但捕获过程应具有合理的照明条件。在捕获过程中，所述对象的面部最好占据所述捕获图像的主要区域。然后，图像采集模块204可以将所述采集的图像传送到用户识别模块202和呈现攻击检测模块203。
在阶段402，用户识别模块202对在阶段401采集的所述图像数据进行分析，提取与所述成像用户相关的生物特征信息(例如，面部特征信息)，并通过将所述提取的生物特征信息与授权用户的预定义义生物特征信息(即存储在用户识别模块202可访问的计算机存储器中的预定义义生物特征信息)进行比较来确定所述用户是否为所述计算机的授权用户。用户识别模块202可以将所述确定信息输出到用户验证模块201。
在阶段403，呈现攻击检测模块203对在阶段401采集的所述图像数据进行分析，并生成有关所述采集的图像是否描绘呈现攻击的预测，即有关所述图像是否为尝试模仿呈现攻击的未经授权用户的图像的预测。例如，该阶段可以涉及呈现攻击检测模块203预测所述采集的图像是否显示面罩或印刷照片。将结合后面的图5至图15进一步详细描述呈现攻击检测模块203的操作。呈现攻击检测模块203可以将所述确定信息输出到用户验证模块201。
在阶段404，用户验证模块201可以对分别在阶段402和阶段403接收的来自用户识别模块202和呈现攻击检测模块203的确定信息进行评估，确定所述成像用户是否为授权用户，并将该确定信息传送到计算机102。例如，在用户识别模块202在阶段402确定所述成像用户似乎是授权用户且呈现攻击检测模块203在阶段403预测所述图像未描绘呈现攻击的情况下，用户验证系统201可以确定所述请求访问的用户是授权用户。相反，如果用户识别模块202在阶段402确定所述成像用户似乎不是授权用户，或者如果呈现攻击检测模块203在阶段403预测所述图像确实描绘了呈现攻击，则用户验证系统101可以在阶段404确定所述请求访问的用户不是授权用户，并且可以相应地通知计算机102。
具体参考图5，在一个示例中，在阶段403执行的用于检测呈现攻击的方法包括七个阶段。在示例中，在阶段402执行的方法由呈现攻击检测模块203的处理器301响应于存储在呈现攻击检测模块203的存储器302中的计算机程序的指令来实现。
在阶段501，存储在存储器302中的所述计算机程序使处理器301获取一个或多个对象图像以供分析，即获取尝试用户的图像以供分析。
在阶段502，存储在存储器302中的所述计算机程序使处理器301对在阶段501获取的所述一个或多个对象图像进行去噪，即从所述图像中去除图像噪声，以获取所述对象图像的去噪表示。
在阶段503，存储在存储器302中的所述计算机程序使处理器301计算一个或多个残差图像，每个残差图像表示在阶段501获取的对象图像与在阶段502计算的相应去噪图像之间的差异。
在阶段504，存储在存储器302中的所述计算机程序使处理器301获取纹理基元的数据库，每个纹理基元对表示纹理特征的信息进行编码。
在阶段505，存储在存储器302中的所述计算机程序使处理器301生成一个或多个纹理描述符(例如，编码向量)，每个纹理描述符将在阶段503计算的残差图像的一个或多个区域表示为在阶段504获取的所述数据库中的纹理基元的函数。
在阶段506，存储在存储器302中的所述计算机程序使处理器301对在阶段501获取的所述对象图像执行一个或多个特征评估操作。
在阶段507，存储在存储器302中的所述计算机程序使处理器301基于阶段505和阶段506的输出执行分类操作，以预测在阶段501获取的所述对象图像是否描绘呈现攻击。
在其它示例中，阶段403可以包括更少或更多操作阶段，具体取决于所述计算机程序中包含的指令。例如，在其它实现方式中，可以从所述方法中省略在阶段506执行的操作。
然后，参考图6，在示例中，前述结合图3描绘的呈现攻击检测模块203用于支持多个功能模块的功能。在所述示例中，所述功能模块中的每一个利用呈现攻击检测模块203的处理器301、存储器302和存储器303。
提供预处理器模块601，用于支持在阶段501执行的方法，以从图像采集模块204检索图像(例如，面部图像)，对所述采集的图像执行图像处理操作，并用于输出对象图像以供后续模块分析。
提供去噪器模块602，用于支持在阶段502执行的方法，以对由预处理器模块601输出的图像进行去噪以从所述图像中去除图像噪声，从而获取所述图像的去噪表示。
提供残差图像计算模块603，用于支持在阶段503执行的方法，以计算表示由预处理器模块601输出的对象图像与由去噪器模块602输出的相应去噪图像之间差异的残差图像。
提供纹理描述符生成器模块604，用于支持在阶段504和阶段505执行的方法，以生成纹理基元的数据库并生成纹理描述符，所述纹理描述符将由残差图像计算模块603输出的残差图像的区域表示为一个或多个所述纹理基元的函数。
提供特征评估模块605，用于支持在阶段506执行的方法，以对由预处理器模块601输出的对象图像执行特征评估操作。在利用图像采集模块204对用户面部进行成像的示例中，特征评估模块605可以分别包括眼睛区域和/或嘴部区域评估子模块606、607。
提供分类器模块608，用于支持在阶段507执行的方法，以基于纹理描述符生成器模块604和特征评估模块605的输出，分别在阶段505和阶段506预测在阶段501获取的所述图像是否描绘呈现攻击。
参考图7，在示例中，在阶段501执行的用于获取对象图像的方法包括六个阶段。
在阶段701，图像采集模块204采集尝试访问计算机102的用户的一个或多个图像。在示例中，阶段701可以涉及呈现攻击检测模块203从图像采集模块204检索预先采集的图像，或者可以涉及呈现攻击检测模块203指示图像采集模块204通过成像设备205可选地在所述NIR通道中采集呈现用户的图像(例如，所述用户的面部图像)。
在阶段702至阶段706，预处理器模块601对在阶段701采集的所述图像执行某些图像处理操作。在示例中，预处理器模块601独立且相同地处理每个图像(或帧)。
在阶段702，预处理器模块601执行图像归一化操作，由此针对特定的预定义义强度范围对在阶段701采集的所述图像进行归一化。
在示例中，阶段702涉及根据图像统计数据计算强度阈值的最小值(Imin)和最大值(Imax)。对每帧图像数据执行的归一化操作可以如等式1所示：
可以为每个采集的图像动态计算这些值，以捕获大多数有效强度值，同时忽略杂散噪声像素。一旦计算出范围阈值，即可将有效像素范围(‖Imax-Imin‖)映射到不同的有限范围以供进一步处理。
在阶段703，预处理器模块601执行图像大小调整操作，由此通过适当的大小调整将在阶段702输出的归一化图像转换为预定义义的固定尺寸。
在阶段704，预处理器模块601对在阶段703输出的已调整大小的图像执行特征检测操作，例如，检测所述图像中的用户面部和/或用户面部的面部标志(如所述用户的嘴部和/或眼睛区域)。该操作可以利用dlib等最先进的库或可变形部件模型、卷积神经网络(convolutional neural network，CNN)、级联姿态回归和/或多任务CNN等技术。在面部成像的情况下，如果预处理器模块601在阶段704无法检测到有效面部，则可以生成要传送到计算机102的信号，以告知所述用户。此外，如果检测到的面部尺寸小于预定义阈值，则可以拒绝输入图像。如果在几个帧中观察到这种行为，则可以通过计算机102等向用户传送适当的信号。
在阶段705，为响应在阶段704检测到有效特征，例如，有效面部/面部标志(即，各种面部特征的坐标)，预处理器模块601对所述图像执行对齐操作，由此对所述图像进行对齐以供后续处理。该阶段可以包括选择一个或多个图像特征，例如，面部特征(如左眼和右眼，或嘴部左侧/右侧/中间点)；计算所述图像的二维变换，使得这些特定特征的坐标在连续的图像中是一致的。
在阶段706，预处理器模块601对所述图像执行裁剪操作。例如，可以使用可用特征(例如，面部标志)对所述图像进行裁剪，以便仅描绘期望的图像特征(例如，面部区域)。所述图像的大小也可以在阶段706调整为预定义尺寸。
因此，预处理器模块601的输出是裁剪并对齐的对象图像(例如，面部图像)和相应的图像特征(例如，眼睛/嘴部区域等面部标志)。
共同参考图8和图9，在示例中，在阶段502执行的用于对图像进行去噪的方法包括两个阶段。
在阶段801，对去噪器模块602进行训练，以对待分析类型的图像(例如，所述NIR通道中的图像)进行去噪。在示例中，利用去噪自动编码器(denoising auto-encoder，DAE)CNN对图像进行去噪。在示例中，所述DAE包括卷积层、池化层和归一化层的一个或多个单元；以及全连接层的一个或多个单元。
为了在阶段801对所述DAE进行训练，获取真实训练图像，例如非呈现攻击图像(如真实人脸图像)，并且如前所述，所述图像由预处理器模块601通过在阶段702至阶段706执行的方法进行预处理。
在所述DAE的训练过程中，通过添加不同级别的适当噪声(如高斯白噪声(whiteGaussian voice，AWGN)，故意破坏所述训练图像。在AWGN的情况下，这些级别由用于生成噪声概率质量函数(probability mass function，pmf)的高斯函数的方差(或标准偏差)的离散值确定。因此，对于N个预处理图像和m级噪声，可以通过增强获取mN个图像的总训练数据。对于输入图像IF，可以通过等式2给出的随机映射获取噪声或损坏图像
其中，σ是噪声级。
在更高级别，DAE的架构由编码器和解码器组成。在训练过程中，所述编码器将噪声输入映射到隐藏表示h，作为通过等式3给出的函数：
其中，f表示具有参数θE的整体编码器模型。在所述解码器端，使用由参数θD组成的解码器函数g将隐藏表示h重建为IF-DN，使得等式4适用：
在训练过程中，通过最小化训练图像(仅授权用户图像)的平均重建误差E(‖IF-DN-IF‖)的损失函数来获知所述DAE的参数θE和θD。可以通过使用适当的优化方法(如随机梯度下降(Stochastic gradient descent，SGD)或Adam)并学习参数进行所述训练。训练图像的批量大小可以由可用于所述训练的计算资源量来决定。在实现合理的收敛和良好的准确性之后，可以将所述模型保存在诸如存储器302中以用于部署阶段。所述模型由参数θE和θD组成。
具体参考图9，在阶段802，部署在阶段801训练的所述DAE，以在阶段501对由预处理器模块601输出的预处理对象图像进行去噪。在阶段802，所述预处理对象图像通过所述DAE，而不会出现任何噪声损坏。由于所述DAE模型在阶段801仅使用真实图像(即真人的图像而不是呈现攻击)在特定相关通道(例如，NIR)中进行训练，因此它已获知真人的更精细纹理细节。因此，与攻击呈现相比，它预计会成为用于真实呈现的更高效去噪器。因此，所述DAE在阶段802的输出是所述输入图像的平滑/滤波版本。
尽管在所述示例中，用于训练所述DAE的训练阶段801被描述为紧接在去噪阶段802之前执行，但在替代示例中，训练阶段801可以在去噪阶段802之前很久执行。实际上，在示例中，训练阶段801可以由工程师在部署生物特征验证系统103之前执行。
参考图10，在示例中，在阶段503执行的用于计算残差图像的方法包括从预处理器模块601在阶段501输出的预处理图像中以像素方式减去DAE去噪器模块602在阶段502输出的滤波图像，作为所述DAE去噪器模块的输入。该过程会生成主要由所述输入图像中的纹理信息组成的图像。例如，在使用数字显示器构造的呈现攻击的情况下，所述残差图像预计会包含线性扫描噪声的图案。类似地，对于纸质三维面罩，所述残差图像预计主要表示纸质材料的细粒度纹理。
对于输入图像(例如，面部图像IF)，所述DAE生成稍微平滑的输出IF-DN。通过两者之间的像素差异获取所述残差图像Iresidue，如通过等式5所给出的：
Iresidue＝IF-DN- IF (5)
因此，所得到的残差图像主要对与所述输入图像的纹理图案相关的信息进行编码。
然而，这些纹理细节与输入呈现的其它破坏性噪声或高频内容相叠加。此类损坏可能会损害预测所述图像是否描绘呈现攻击的过程。因此，稍后阶段505的目的在于以更具区分性的方式表示所述残差图像的内容。
参考图11，在示例中，在阶段504执行的用于获取纹理基元的数据库的方法包括五个阶段。在所述示例中，阶段504涉及通过以下描述的训练过程生成所述数据库。在其它示例中，阶段504可以涉及可选地由第三方(例如，使用以下过程)获取预先生成的纹理基元的数据库(即在先前时间步骤生成的数据库)。
在示例中，所述纹理基元的数据库是专门针对预期成像应用(例如，用于在所述NIR通道中对面部进行成像)而获知的纹理基元或码字的“字典”。这种生成特定于预期成像应用的纹理基元(例如，所述预期成像应用将在所述NIR通道中进行成像的NIR图像的纹理基元)的方法的优点在于，所述纹理基元随后特定于所述应用，可以最准确地定义所述图像的纹理，并且因此可以允许在稍后阶段507更准确/可靠地进行分类。
稍后阶段505的目的在于将残差图像Iresidue的局部块表示为纹理基元的线性组合，即所述字典的码字。因此，所述数据库中的条目应对纹理基元进行编码，使得在505阶段，可以将输入图像通过其残差图像表示为纹理基元的矢量。
在阶段1101，获取训练图像，包括真实图像(例如，真实人脸的图像)和攻击呈现(例如，佩戴面罩的对象的图像)。
在阶段1102，例如，通过在阶段501至阶段503执行的方法，获取每个输入训练图像(真实呈现和攻击呈现两类)的残差图像。
在阶段1103，可以对在阶段1102获取的所述残差图像进行拼接，以获取n*n维的小型非重叠区域(也称为块)。
在阶段1104，对于每个区域/块Iresidue[i,j]，0＜＜i<n，0＜＜j<n，可以通过最小化等式6来计算包含在所述数据库中的纹理基元(也称为码)：
其中，α和C分别表示系数和纹理基元。通过交替最小化技术计算它们的值，其中可以预先确定可接受的误差范数emin。因此，该训练过程会生成一组纹理基元或码字，表示所述真实训练图像和攻击训练图像的不同纹理特征。
在阶段1105，编译在阶段1104生成的所述纹理基元，以形成纹理基元的数据库。因此，所述数据库的列可以表示单独的纹理基元，即单独的码字。
参考图12，在示例中，在阶段505执行的方法包括计算将在阶段503生成的所述残差图像的区域映射到在阶段504生成的所述数据库中的纹理基元的系数。
如前所述，残差图像中包含的纹理细节与输入呈现的其它破坏性噪声或高频内容相叠加，这可能会损害在阶段507预测所述图像是否描绘呈现攻击的稍后分类过程。因此，阶段505的目的在于以更具区分性的方式将所述残差图像的内容表示为所述数据库中的纹理基元的函数。因此，在稍后阶段507，可以提高呈现攻击检测预测的准确性和可靠性。如前所述，在示例中，所述数据库中的纹理基元是专门针对所述成像应用(例如，在所述NIR通道中)生成的，因此可以准确地表示所述对象图像的纹理。
在阶段505，在阶段504获知的所述纹理基元数据库用于获取由DAE去噪器模块602在阶段502输出的所述残差图像的纹理描述符(也称为特征描述符)。将输入的残差图像Iresidue划分为n*n维的较小的非重叠块。对于每个块，可以使用等式(7)计算系数的最优矢量：
因此，该操作涉及计算系数α，使得每个残差图像的每个块可以表示为所述纹理基元数据库中包含的一个或多个所述(微)纹理基元及其相应系数的函数，例如，表示为由图12中的函数给出的多个纹理基元的线性组合。
尽管在所述示例中，用于生成所述纹理基元的数据库的学习阶段504被描述为紧接在部署阶段505之前执行，但在替代示例中，学习阶段504可以在部署阶段505之前很久执行。实际上，在示例中，训练阶段504可以由工程师在部署生物特征验证系统103之前执行。
所述残差图像的拼接块/区域的顺序应该是预定义义的，并且应该是一致的，以获取特定于空间坐标的描述符。如果所述残差图像被拼接成大小均匀的i×j个块，并且所述纹理基元的数据库由P个编码字组成，则所述特征描述符Ftexture具有通过等式8给出的维数：
Ftexture∈Ri×j×P (8)
然后，可以将在阶段505生成的所述纹理/特征描述符传递到分类器模块608，以便包含在在稍后阶段507执行的分类操作中，如将进一步结合图15描述的。
参考图13，在与对象面部图像相关的示例中，在阶段506执行的用于执行特征评估的方法包括两个操作，这两个操作可以适当地并行执行，每个操作包括三个阶段。部署阶段1301至阶段1303以评估对象面部图像的眼睛区域，并且部署阶段1304至阶段1306以评估对象面部图像的嘴部区域。
眼睛区域和嘴部区域为检测与面部图像相关的呈现攻击提供几个重要提示。因此，阶段506涉及对一系列图像帧上的眼睛区域和嘴部区域进行评估，以测试遮挡、局部运动和掩蔽可能性。阶段506涉及从单个图像帧以及一系列图像帧中检查各种此类提示。从单个帧以及一系列帧中提取特征。
部署阶段1301至阶段1303以评估对象面部图像的眼睛区域。
仅当眼睛在所述图像中可见时，即当眼睛在阶段501对所述成像设备可见时，面部图像的眼睛区域的特征才可被视为呈现攻击的有用指标。对于佩戴墨镜或使用其它方式遮盖或遮掩眼睛的对象，对眼睛区域特征的评估没有用处，并且应排除在稍后分类阶段507的考虑范围之外。此外，部分遮挡一只眼睛或两只眼睛可能会导致降低在稍后阶段507预测呈现攻击的准确性。
因此，在阶段1301，检查用户的眼睛在对象面部图像中的可见性。
在阶段1301执行的可见性检查可以涉及分析由预处理器模块601在阶段705检测到的面部标志，以识别所述图像的相关区域。基于与眼睛相关的标志和预定义的特征维度(例如，面部尺寸)，识别包含眼睛的所述图像的区域。在部分遮挡的情况下，在阶段704执行的特征检测可以近似或估算这些位置。因此，需要对可见性进行显式检查。在使用眼镜或其它材料遮挡的情况下，可以预计，所述图像的眼睛区域呈现近乎均匀。在眼睛区域(即包括瞳孔、眉毛、眼睑等)的可见视图中，所述区域将包括可见特征。阶段1301涉及在相关区域中寻找此类可见特征。首先，通过等式9计算矩形眼睛区域Ieye的熵：
Heye＝ -∑kpklog2(pk) (9)
其中，pk是眼睛区域Ieye的直方图。可见眼睛区域的熵预计会远远高于被遮挡的眼睛区域的熵。
然而，用户的眼睛也可能被包括明显不同特征的替代方式遮盖，这可能使得上述熵计算Heye在检测用户的眼睛区域的可见性时没有用处。因此，阶段1301还可以涉及图案检查操作。在该操作中，使用Sobel、Prewitt或Canny等边缘检测算子来计算图像的眼睛区域的边缘图。通过卷积具有小方差的二维高斯核，使所述边缘图略微模糊。根据一小组可见且清晰的真实呈现预先计算所述眼部区域的模板。所述模糊过程会略微扩大所述边缘图，从而补偿个体眼睛形状的细微差异。
在所述可见性检查过程中，使用归一化互相关(normalized cross-correlation，NCC)技术将所述对象图像的所述眼睛区域的模糊边缘图与所述预先计算的模板进行匹配，如通过等式10给出的：
其中，是模糊眼睛区域的归一化图像，Teye是眼睛区域的归一化模板。
将分别通过等式9和等式10计算的熵值Heye和归一化互相关值NCCeye传递到分类器模块608，以便包含在稍后分类阶段507中。
人眼在短时间间隔内表现出自然运动(例如，眨眼和凝视变化)。因此，在输入对象图像中出现此类运动可以有用地用作所述图像描绘真人的指示，而不是例如打印图像形式的呈现攻击。因此，阶段506还可以涉及评估图像序列中帧之间的运动。在所述示例中，此类评估不会显式检查眨眼或凝视；相反，此类评估会计算一般局部运动的程度。该特征是在一系列帧上计算的。仅当在阶段1301执行的所述可见性检查提供正输出时，才计算该特征。
因此，在阶段1302，将所述眼睛区域Ieye划分为m*n维的小块。对于给定的第p帧，计算第p帧的块Ieye[k1m,k2n]与第(p-1)帧相同空间位置的块之间的平均绝对差(meanabsolute difference，MAD)。所述MAD是一个标量值，如果所述块在帧序列上不发生变化，则所述标量值将保持接近于零。对于自然的眼球运动—以眨眼、凝视、睁眼、闭眼等形式，所述MAD序列预计是不一致的。对于眨眼或头部快速运动等突然变化，所述MAD序列由高频(脉冲)信号组成；而对于凝视等缓慢运动，所述MAD序列包含相对较低的频率内容。
在帧的移动窗口上分析所述MAD序列，并且可以根据每个第n帧(n可以是2、3、5……)而不是在连续帧上计算所述MAD序列。这些参数可以根据整个系统的帧速率来定义。将所述MAD的差分值传递到分类器模块601，以便包含在在稍后阶段507执行的分类操作中。
另外，对于眼睛区域的每个块，也由纹理描述符生成器604以先前结合阶段505描述的方式生成纹理描述符。如前所述，这些纹理描述符捕获所述块/区域的精细纹理特征。因此，如果图像块的内容发生变化(由于眼球运动)，相应的纹理也会发生大幅变化。因此，阶段1302还可以计算给定空间块在帧序列上的纹理描述符之间的差异，从而使用所述差异来估算局部变化/运动。需要注意的是，该功能不会检查是否有明显的眨眼或凝视运动；但会查找任何类型的整体运动的指示。该操作的目的不是量化运动量，而是识别可能有助于评估呈现活跃度的任何运动。
虽然眼睛区域的局部运动是一个重要的活跃度特征，但是攻击者可以通过重放对象的视频或通过使用在所述眼睛区域带有切口的面罩(其中将通过所述面罩的切口看到攻击者的眼睛)来模仿。因此，阶段506还涉及检查所述眼睛区域周围存在切口特征的可能性(在检测到面罩或印刷攻击的情况下)。仅当在阶段1301针对所述眼睛区域执行的所述可见性检查结果为正时，才测试该功能。
可以预计，在面罩中存在切口的情况下，在眼睛周围的区域中可以看到强切口边缘。因此，在阶段1303，所述眼睛区域Ieye与Sobel等边缘检测核卷积，并且卷积运算的输出针对平均值和标准偏差进行归一化。计算该归一化边缘图像的直方图。通过选择眼睛区域，然后通过卷积获取边缘图，根据训练数据中一组可见的真实呈现计算参考/模板直方图。
与真实样本的相应直方图相比，具有切口的攻击呈现的直方图预计包含更高的值。参考直方图与测试直方图之间差异的大小被视为给定区域中存在切口的有用指标，并被传递到分类器模块608，以便包含在在稍后阶段507执行的分类操作中。
面部图像的嘴部区域也为检测呈现攻击提供几个重要提示。因此，阶段1304至阶段1306涉及以与在阶段1301至阶段1303执行的眼睛区域评估类似的方式提取各种此类提示。
仅当嘴部在所述图像中可见时，即当嘴部在阶段501对所述成像设备可见时，嘴部区域的特征才可被视为呈现攻击的有用指标。对象(或攻击者)可以通过遮盖(例如，用手或衣物)完全或部分遮挡嘴部。由于高遮挡会降低呈现攻击预测的准确性，因此需要检查对象图像中嘴部区域的遮挡量或可见性。
因此，在阶段1304，执行可见性检查，以检查对象面部图像中嘴部区域的可见性。通过分析由预处理器模块601在阶段704检测到的特征(例如，面部标志)，对所述嘴部区域执行所述可见性检查，以识别所述对象图像的相关区域。基于相应的标志和平均人脸的预定义尺寸，识别包含所述嘴部的区域。具体地，需要显式检查嘴唇/嘴部，其中，在阶段704执行的特征检测侧重于识别面部的轮廓，而不是具体地识别嘴部特征。在所述嘴部区域被遮挡(例如，用衣物)的情况下，可以预计，所述嘴部区域将呈现近乎均匀。相反，在可见视图中，所述嘴部区域(如嘴唇)的特征应该是可见的。与所述眼睛区域评估类似，该阶段会生成基于熵和边缘图的函数，以便进行可见性检查。通过等式11计算矩形嘴部区域Imouth的熵：
Hmouth＝-∑kpklog2(pk) (11)
其中，pk是嘴部区域Imouth的直方图。可见嘴部区域的熵预计会高于被遮挡的嘴部区域的熵。然而，如果所述嘴部被遮盖(例如，用衣物或面罩)，则熵计算可能不是所述嘴部可见性的有用指标。
因此，阶段1304还涉及用于评估嘴部区域可见性的图案检查操作。使用Sobel、Prewitt或Canny等边缘检测算子来计算嘴部区域的边缘图。使用具有小方差的二维(two-dimensional，2D)高斯核，使该边缘图略微模糊。根据所述嘴部区域可见的一小组面部图像预先计算所述嘴部区域的模板。所述模糊过程会略微扩大所述边缘图，从而补偿不同个体嘴部形状的细微差异。
在所述可见性检查过程中，使用NCC技术将对象图像的所述嘴部区域的模糊边缘图与所述预先计算的模板进行匹配，如通过等式12给出的：
其中，是模糊嘴部区域的归一化图像，Tmouth是嘴部区域的归一化模板。然后，将该值以及区域熵Hmouth传递到分类器模块608，以便包含在在稍后阶段507执行的分类操作中。
所述嘴部区域(例如，嘴唇)的自然运动可以是呈现活跃度的有用指标。因此，阶段506还可以涉及检测连续图像帧之间的局部运动。由于阶段1305需要检查运动，因此该特征是在一系列帧上计算的。此外，仅当在阶段1304针对所述嘴部区域执行的所述可见性检查返回正输出时，才计算该特征。
因此，在阶段1305，将所述嘴部区域Imouth划分为m*n维的小块。对于给定的第p帧，计算连续帧第p帧和第(p-1)帧上相同空间位置(Imouth[k1m,k2n]))的块之间的平均绝对差(mean absolute difference，MAD)。所述MAD是一个标量值，如果所述块在帧序列上不发生变化，则所述标量值将保持接近于零。对于嘴唇的适度运动(自然运动或说话)，所述MAD序列预计是不一致的。对于特定言语发音或头部快速运动，可以预计所述MAD序列由高频(脉冲)信号组成，而对于缓慢自然运动，可以预计所述MAD序列包含相对较低的频率内容。
在帧的移动窗口上分析所述MAD序列，并且可以根据每个第n帧(n可以是2、3、5……)而不是在连续帧上计算所述MAD序列。这些参数可以根据整个系统的帧速率来定义。将所述MAD的差分值传递到分类器模块608，以便包含在在稍后阶段507执行的分类操作中。
另外，对于嘴部区域的每个块，也由纹理描述符生成器604以先前结合阶段505描述的方式生成纹理描述符。如前所述，这些纹理描述符捕获所述块的精细纹理特征。因此，如果图像块的内容发生变化(例如，由于嘴唇运动)，预计相应的纹理也会发生大幅变化。因此，在该阶段，计算给定空间块在帧序列上的纹理描述符之间的差异，并使用所述差异来估算局部变化/运动。该操作的目的不是量化运动量或发音量，而仅仅是检测可能是呈现活跃度的有用指标的任何运动。
尽管图像中嘴部区域的局部运动检测是一个有用的活跃度特征，但是攻击者可以通过重放对象的视频或通过使用在所述嘴部区域带有切口的面罩(其中可以通过所述切口看到所述攻击者的嘴部)来模仿。因此，阶段1306涉及检查面部的所述嘴部区域周围存在切口的可能性(在使用面罩或印刷攻击的情况下)。仅当在阶段1304针对所述嘴部区域执行的可见性检查结果为正时，才测试该功能。
根据非自然强边缘的存在，可以推断出所述嘴部区域周围存在切口。所述嘴部区域Imouth与Sobel等边缘检测核卷积，并且卷积输出针对平均值和标准偏差进行归一化。计算该归一化边缘图像的直方图，然后将其用作特征。通过选择嘴部区域，然后通过卷积获取其边缘图，根据对象的嘴部区域中可见的一组图像计算参考直方图。
与真实呈现的相应直方图相比，所述嘴部区域周围具有切口的攻击呈现的直方图预计具有更高的值。将参考直方图和测试直方图之间差异的总大小传递到分类器模块608，以便包含在在稍后阶段507执行的分类操作中。
下面共同参考图14和图15，在示例中，在阶段507执行分类操作以预测呈现攻击包括两个阶段。
在阶段1401，训练分类器模块608，使其基于在阶段505的纹理描述符生成器604和在阶段506的特征评估模块605的输出来预测呈现攻击。在示例中，分类器模块608利用神经网络，如具有一个或多个隐藏层、一个输入层和一个输出层的多层感知器(multi-layerperceptron，MLP)网络。所述输入层中的神经元数量等于由纹理描述符生成器604和特征评估模块605提供的输入特征的维度之和。该数量本身由所述纹理基元数据库的大小和所述对象图像的尺寸决定。
为了在1401阶段训练所述MLP，利用真实类和攻击类训练图像的特征区域(例如，眼睛区域和嘴部区域)，以及识别所述数据库中纹理基元的性质(即真实或攻击)的标签。可以通过使用适当的优化方法(如随机梯度下降(Stochastic gradient descent，SGD)或Adam)并学习参数进行所述训练。训练图像的批量大小可以由可用于所述训练的计算资源量来决定。在实现合理的收敛和良好的准确性之后，可以保存所述模型以用于部署阶段。所述模型由获知的权重参数组成。
在分类阶段1402过程中，所述分类器模块将分别在阶段505和阶段506输出的纹理描述符生成器模块604和特征评估模块605的输出作为输入，并且通过获知的神经网络的操作，输出关于在阶段501获取的所述对象图像是显示人类的真实呈现还是显示攻击呈现(例如，面罩或打印图像)的预测。所述分类器模块使用的所述MLP模型由输出端的两个神经元组成。一个输出端提供呈现攻击检测的分类，即所述输入图像描绘的是真人还是呈现攻击。如果在所述输入图像中观察到较大遮挡，则第二输出端用于诸如通过计算机102向用户提供信号。虽然所述分类器模块的所述操作对较小的图像遮挡具有鲁棒性，但其性能可能随着遮挡量的增加而降低。眼睛和嘴部等区域的可见性可以提供这方面的有用提示。
在其它示例中，可以使用其它分类过程。例如，在其它示例中，可以使用更简单或更复杂的神经网络。如前所述，在示例中，执行特征评估的阶段506可以从所述方法中省略，并且分类器模块608因此可以仅接收由纹理描述符生成器模块在阶段505输出的纹理描述符作为输入。在此类示例中，可以利用更简单的神经网络。在其它示例中，可以利用不涉及神经网络的分类方法。
尽管在所述示例中，用于训练分类器模块608的训练阶段1401被描述为紧接在分类阶段1402之前执行，但在替代示例中，训练阶段1401可以在分类阶段1402之前很久执行。实际上，在示例中，训练阶段1401可以由工程师在部署生物特征验证系统103之前执行。
作为计算机访问控制系统的一部分，本文在生物特征验证系统的上下文中详细描述了本发明的各个方面，所述生物特征验证系统用于验证请求访问计算机的用户的权限。然而，本发明的实用性不限于此类应用。具体地，应当理解，呈现攻击检测模块203以及用于使用模块203检测呈现攻击的方法在用于检测图像中的呈现攻击方面通常具有更广泛的实用性。因此，在本发明的各个方面的其它示例中，呈现攻击检测模块203和/或用于使用模块203检测呈现攻击的方法可以与计算系统101的一个或多个其它特征单独部署。例如，在替代实施例中，呈现攻击检测模块203可以部署为独立模块，以检测输入到所述模块的图像中的呈现攻击。
尽管已经详细描述了本发明及其优点，但应理解，在不脱离所附权利要求所定义的公开内容精神和范围的情况下，本文可以进行各种改变、替换和修改。在权利要求中，词语“包括”不排除其它元件或步骤，并且“一”或“一个”不排除多个。

Claims (16)

1.一种用于检测图像呈现攻击的方法，其特征在于，所述方法包括：
获取对象图像；
对所述对象图像进行去噪，以获取所述对象图像的去噪表示；
计算表示所述对象图像与所述对象图像的所述去噪表示之间差异的残差图像；
获取一个或多个纹理基元的数据库；
生成纹理描述符，所述纹理描述符将所述残差图像的一个或多个区域的图像纹理细节表示为所述数据库中的纹理基元的函数；
对所述纹理描述符执行分类操作，以基于图像纹理细节预测图像呈现攻击。
2.根据权利要求1所述的方法，其特征在于，生成纹理描述符包括：生成纹理描述符，所述纹理描述符将所述残差图像的多个区域的图像纹理细节表示为所述数据库中的纹理基元的函数。
3.根据权利要求1或2所述的方法，其特征在于，生成纹理描述符包括：生成纹理描述符，所述纹理描述符将所述残差图像的所述一个或多个区域中的每个区域的图像纹理细节表示为所述数据库中的多个纹理基元的函数。
4.根据权利要求3所述的方法，其特征在于，生成纹理描述符包括：生成纹理描述符，所述纹理描述符将所述残差图像的所述一个或多个区域中的每个区域的图像纹理细节表示为所述数据库中的所述多个纹理基元和相应系数的线性组合，所述相应系数将所述残差图像的所述区域的纹理细节与所述纹理基元中的每个纹理基元关联。
5.根据权利要求1-4中任一项所述的方法，其特征在于，对所述对象图像进行去噪包括：使用卷积神经网络对所述对象图像进行去噪，以预测图像的去噪表示。
6.根据权利要求1-5中任一项所述的方法，其特征在于，对所述纹理描述符执行分类操作包括：对所述纹理描述符执行卷积神经网络操作，以基于图像纹理细节预测图像呈现攻击。
7.根据权利要求1-6中任一项所述的方法，其特征在于，包括对所述对象图像执行：
图像强度归一化操作，以将所述对象图像的强度范围更改为预定义强度范围；和/或
图像大小调整操作，以将所述对象图像的大小更改为预定义大小。
8.根据权利要求1-7中任一项所述的方法，其特征在于，还包括：
对所述对象图像执行特征位置检测操作，以检测所述对象图像中包含预定义图像特征的区域；
对所述对象图像的所述检测区域执行可见性检测操作，以检测所述预定义图像特征在所述对象图像的所述检测区域中的可见性。
9.根据权利要求1-8中任一项所述的方法，其特征在于，还包括：
对所述对象图像执行特征位置检测操作，以检测所述对象图像中包含预定义图像特征的区域；
将所述对象图像的所述检测区域与边缘检测核进行卷积，并计算表示所述卷积的输出的直方图；
获取参考直方图；
计算所述直方图与所述参考直方图之间的差异。
10.根据权利要求1-9中任一项所述的方法，其特征在于，还包括：
获取另一对象图像；
对所述另一对象图像进行去噪，以获取所述另一对象图像的去噪表示；
计算表示所述另一对象图像与所述另一对象图像的所述去噪表示之间差异的另一残差图像；
生成另一纹理描述符，所述另一纹理描述符将所述另一残差图像的区域的图像纹理细节表示为所述数据库中的纹理基元的函数，所述另一残差图像的区域在空间上对应于所述残差图像的所述一个或多个区域中的一个区域；
计算所述另一纹理描述符与所述残差图像的对应区域的所述纹理描述符之间的差异。
11.根据权利要求5至10中任一项所述的方法，其特征在于，对所述对象图像进行去噪包括：
获取卷积神经网络；
接收训练图像；
将图像噪声添加到所述训练图像中，以生成所述训练图像的噪声表示；
对所述训练图像的所述噪声表示执行所述卷积神经网络操作，并生成对所述训练图像的所述噪声表示的去噪表示的预测；
对所述预测与所述训练图像之间的差异进行量化；
基于所述差异对所述卷积神经网络操作进行修改。
12.根据权利要求1-11中任一项所述的方法，其特征在于，获取所述对象图像包括接收近红外辐射图像，获取一个或多个纹理基元的数据库包括获取表示近红外辐射图像的纹理的一个或多个纹理基元的数据库。
13.根据权利要求1-12中任一项所述的方法，其特征在于，获取对象图像包括：使用光学成像设备进行成像。
14.一种包括指令的计算机程序，其特征在于，所述指令在由计算机执行时，使所述计算机执行根据权利要求1至13中任一项所述的方法。
15.一种计算机可读数据载体，其特征在于，其上存储有根据权利要求14所述的计算机程序。
16.一种用于检测图像呈现攻击的计算机，其特征在于，所述计算机用于：
获取对象图像；
对所述对象图像进行去噪，以获取所述对象图像的去噪表示；
计算表示所述对象图像与所述对象图像的所述去噪表示之间差异的残差图像；
获取一个或多个纹理基元的数据库；
生成纹理描述符，所述纹理描述符将所述残差图像的一个或多个区域的图像纹理细节表示为所述数据库中的纹理基元的函数；
对所述纹理描述符执行分类操作，以基于图像纹理细节预测图像呈现攻击。
CN202080107787.5A 2020-12-07 2020-12-07 呈现攻击检测 Pending CN116982093A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/134321 WO2022120532A1 (en) 2020-12-07 2020-12-07 Presentation attack detection

Publications (1)

Publication Number Publication Date
CN116982093A true CN116982093A (zh) 2023-10-31

Family

ID=81972803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080107787.5A Pending CN116982093A (zh) 2020-12-07 2020-12-07 呈现攻击检测

Country Status (2)

Country Link
CN (1) CN116982093A (zh)
WO (1) WO2022120532A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117928051B (zh) * 2024-03-22 2024-05-17 山东电工电气集团数字科技有限公司 一种中央空调节能降碳控制系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8160293B1 (en) * 2006-05-19 2012-04-17 The Research Foundation Of State University Of New York Determining whether or not a digital image has been tampered with
CN106097379B (zh) * 2016-07-22 2018-11-09 宁波大学 一种使用自适应阈值的图像篡改检测与定位方法
CN109086718A (zh) * 2018-08-02 2018-12-25 深圳市华付信息技术有限公司 活体检测方法、装置、计算机设备及存储介质
CN109948776A (zh) * 2019-02-26 2019-06-28 华南农业大学 一种基于lbp的对抗网络模型图片标签生成方法
CN111126190B (zh) * 2019-12-10 2022-07-05 武汉大学 一种基于自由能理论和动态纹理分析的伪装人脸识别方法

Also Published As

Publication number Publication date
WO2022120532A1 (en) 2022-06-16

Similar Documents

Publication Publication Date Title
KR102483642B1 (ko) 라이브니스 검사 방법 및 장치
CN107423690B (zh) 一种人脸识别方法及装置
Dua et al. Biometric iris recognition using radial basis function neural network
Raghavendra et al. Robust scheme for iris presentation attack detection using multiscale binarized statistical image features
CN101339607B (zh) 人脸识别方法及系统、人脸识别模型训练方法及系统
US20190095701A1 (en) Living-body detection method, device and storage medium
JP6650946B2 (ja) モバイル・デバイスを用いてキャプチャしたイメージを使用する指紋ベースのユーザ認証を実行するためのシステムおよび方法
JP5010905B2 (ja) 顔認証装置
JP5107045B2 (ja) 目に関して取得される画像中の虹彩を表す画素を特定する方法
US7925093B2 (en) Image recognition apparatus
KR20190001066A (ko) 얼굴 인증 방법 및 장치
CN110705392A (zh) 一种人脸图像检测方法及装置、存储介质
CN112232155B (zh) 非接触指纹识别的方法、装置、终端及存储介质
KR20230116095A (ko) 모바일 디바이스를 사용하여 캡처된 화상을 사용하여지문 기반 사용자 인증을 수행하기 위한 시스템 및 방법
WO2016084072A1 (en) Anti-spoofing system and methods useful in conjunction therewith
CN105426843B (zh) 一种单镜头下掌静脉和掌纹图像采集装置及图像增强和分割方法
CN106372629A (zh) 一种活体检测方法和装置
CN112232163B (zh) 指纹采集方法及装置、指纹比对方法及装置、设备
JP2009523265A (ja) 画像中の虹彩の特徴を抽出する方法
JP2007188504A (ja) 画像中の画素強度をフィルタリングする方法
CN112016525A (zh) 非接触式指纹采集方法和装置
WO2020195732A1 (ja) 画像処理装置、画像処理方法、およびプログラムが格納された記録媒体
CN112232159A (zh) 指纹识别的方法、装置、终端及存储介质
CN112232157B (zh) 指纹区域检测方法、装置、设备、存储介质
WO2022120532A1 (en) Presentation attack detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination