CN117121068A - 使用机器学习和登记数据的个性化生物测定反欺骗保护 - Google Patents

使用机器学习和登记数据的个性化生物测定反欺骗保护 Download PDF

Info

Publication number
CN117121068A
CN117121068A CN202280025687.7A CN202280025687A CN117121068A CN 117121068 A CN117121068 A CN 117121068A CN 202280025687 A CN202280025687 A CN 202280025687A CN 117121068 A CN117121068 A CN 117121068A
Authority
CN
China
Prior art keywords
biometric data
data source
received image
image
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280025687.7A
Other languages
English (en)
Inventor
D·贝里
B·马乔
D·H·F·德克曼
F·M·波利克里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Priority claimed from PCT/US2022/071653 external-priority patent/WO2022217294A1/en
Publication of CN117121068A publication Critical patent/CN117121068A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1382—Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger
    • G06V40/1388—Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger using image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/1466—Active attacks involving interception, injection, modification, spoofing of data unit addresses, e.g. hijacking, packet injection or TCP sequence number attacks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本公开的某些方面提供了用于使用基于神经网络的反欺骗保护机制来进行生物测定认证的技术和装置。示例方法一般包括：接收用户的生物测定数据源的图像；通过第一人工神经网络来提取至少所接收到的图像的特征；将该至少所接收到的图像的所提取特征与多个登记生物测定数据源图像的经组合特征表示相组合；通过将该至少所接收到的图像的经组合的所提取特征和该经组合特征表示用作到第二人工神经网络的输入，确定用户的生物测定数据源的所接收到的图像是来自真实生物测定数据源还是来自真实生物测定数据源的副本；以及基于该确定来采取一个或多个动作以允许或者拒绝对受保护资源的用户访问。

Description

使用机器学习和登记数据的个性化生物测定反欺骗保护
相关申请的交叉引用
本申请要求于2022年4月8日提交的题为“Personalized Biometric Anti-Spoofing Protection Using Machine Learning and Enrollment Data(使用机器学习和登记数据的个性化生物测定反欺骗保护)”的美国专利申请No.17/658,573的优先权，该美国专利申请要求2021年4月9日提交并被转让给本申请受让人的题为“PersonalizedBiometric Anti-Spoofing Protection Using Machine Learning and Enrollment Data(使用机器学习和登记数据的个性化生物测定反欺骗保护)”的美国临时专利申请S/N.63/173,267的权益和优先权，这两件申请的内容藉此通过援引全部纳入于此。
引言
本公开的各方面涉及机器学习，并且更具体地涉及使用人工神经网络来在生物测定认证系统中防范生物测定凭证欺骗。
在各种计算系统(诸如智能电话、平板计算机等上的计算系统)中，用户可使用各种技术单独地(单因素认证)或相互组合地(多因素认证)进行认证并获得对这些计算系统的访问。这些技术之一包括使用生物测定数据来认证用户。生物测定数据一般包括从与生物测定数据相关联的用户的物理特性导出的信息，诸如指纹数据、虹膜扫描数据、面部图像(例如，具有或不具有三维深度数据)等。
在生物测定认证系统中，用户通常通过向认证服务提供相关身体部位的一个或多个扫描来登记(例如，在设备上本地执行的或在单独的计算设备上远程执行的)认证服务，该一个或多个扫描可以被用作参考数据源。例如，在其中指纹被用于认证用户的生物测定认证系统中，多个指纹扫描可被提供以计及用户握持设备的方式的差异、计及手指的不同区域之间的差异、以及计及可用于认证用户的不同的手指。在另一示例中，在其中面部图像被用于认证用户的生物测定认证系统中，从多个角度(例如，直视前方、向上看、向下看、向侧面看等)捕捉的多个面部图像可被提供以计及用户查看设备的方式的差异。当用户尝试访问设备时，用户可以扫描相关的身体部位，并且所捕捉到的图像(或其表示)可以与参考(例如，参考图像或其表示)进行比较。如果所捕捉的图像与参考图像充分匹配，则可以向用户授权对设备或应用的访问。否则，对设备或应用的访问可以被拒绝，因为不充分的匹配可以指示未经授权或未知用户正在尝试访问设备或应用。
虽然生物测定认证系统相对于口令或通行码为访问受控系统增加了附加的安全层，但仍然存在规避这些生物测定认证系统的技术。例如，在基于指纹的生物测定认证系统中，可以基于在查询图像中捕捉的和在一个或多个登记图像中捕捉的脊线和谷线之间的相似性来认证指纹(例如，通过超声传感器、光学传感器等)。由于这些生物测定认证系统认证用户的一般技术是已知的，因此有可能攻击这些认证系统并使用用户指纹的复制来获得对受保护资源的未经授权的访问。这些类型的攻击可被称为指纹“欺骗”。在另一示例中，由于面部图像广泛可用(例如，在因特网上)，因而这些图像也可用于攻击面部识别系统。
相应地，需要改进的用于通过生物测定认证系统来认证用户的技术。
简要概述
某些方面提供了一种用于生物测定认证的方法。该方法一般包括：接收用户的生物测定数据源的图像；通过第一人工神经网络来提取至少所接收到的图像的特征；将该至少所接收到的图像的所提取特征与多个登记生物测定数据源图像的经组合特征表示相组合；通过将该至少所接收到的图像的经组合的所提取特征和该多个登记生物测定数据源图像的经组合特征表示用作到第二人工神经网络的输入，确定用户的生物测定数据源的所接收到的图像是来自真实生物测定数据源还是来自真实生物测定数据源的副本；以及基于该确定来采取一个或多个动作以允许或者拒绝对受保护资源的用户访问。
其他方面提供了：处理系统，其被配置成执行前述方法以及本文中所描述的那些方法；非瞬态计算机可读介质，其包括在由处理系统的一个或多个处理器执行时使该处理系统执行前述方法以及本文中所描述的那些方法的指令；计算机程序产品，其被实施在计算机可读存储介质上，该计算机可读存储介质包括用于执行前述方法以及本文中进一步描述的那些方法的代码；以及处理系统，其包括用于执行前述方法以及本文中进一步描述的那些方法的装置。
以下描述和相关附图详细阐述了一个或多个实施例的某些解说性特征。
附图简述
附图描绘了该一个或多个实施例的某些方面，并且因此不被认为限制本公开的范围。
图1描绘了示例指纹认证流水线。
图2解说了指纹认证流水线中的示例反欺骗保护系统。
图3解说了根据本公开的各方面的用于指纹认证的示例操作。
图4解说了根据本公开的各方面的指纹反欺骗保护流水线，其中查询图像和登记数据被用于确定查询图像是否来自真实手指。
图5解说了根据本公开的各方面的用于从查询图像和登记图像提取指纹特征的示例特征提取流水线。
图6解说了根据本公开的各方面的用于将从登记图像的表示提取的指纹特征聚集成合并的特征集的示例特征聚集流水线。
图7解说了根据本公开的各方面的可被用于聚集从多个登记图像提取的特征的神经网络的示例架构。
图8A到8C解说了根据本公开的各方面的用于组合从查询图像和登记图像提取的特征以供在确定查询图像是否来自真实手指时使用的示例特征融合流水线。
图8解说了根据本公开的各方面的可在确定查询图像是否来自真实手指之前对查询图像或一个或多个登记图像执行的示例对齐预处理。
图9解说了根据本公开的各方面的处理系统的示例实现，在该处理系统中可执行指纹认证流水线内的指纹认证和反欺骗保护。
为了促成理解，在可能之处使用了相同的附图标记来指定各附图共有的相同要素。构想一个实施例的要素和特征可有益地纳入其他实施例而无需进一步引述。
详细描述
本公开的各方面提供了用于生物测定认证流水线内的反欺骗保护的技术。
在许多生物测定安全系统中，一般捕捉用户的生物测定特性的图像(例如，从图像扫描获得的指纹图像或从配置成基于来自指纹中的脊线和谷线的反射来生成图像的超声传感器获得的指纹图像、从面部扫描导出的面部结构、从虹膜扫描导出的虹膜结构等)以供在认证用户时使用。捕捉到的图像与参考图像之间可接受的相似度可以被定制以满足错误接受率(FAR)和错误拒绝率(FRR)度量。FAR可以表示生物测定安全系统错误地允许访问系统或应用(例如，除了与生物测定安全系统中的(诸)参考图像相关联的(诸)用户之外的用户)的比率，并且FRR可以表示生物测定安全系统错误地阻止对系统或应用的访问的比率。一般来说，错误接受可能构成安全漏洞，而错误拒绝可能会造成烦恼。由于生物测定安全系统经常用于允许或禁止对潜在敏感信息或系统的访问，并且由于错误接受一般是危险的，因此生物测定安全系统通常可以被配置成将FAR最小化到尽可能接近零，通常需要权衡增加的FRR。
在一些情形中，生物测定安全系统可能会被欺骗而错误地接受欺骗性的生物测定凭证，这可能会允许对受保护资源的未经授权的访问以及计算系统内的其他安全漏洞。例如，在一些指纹认证系统中，使用从另一位置提取的指纹所创建的虚假手指可被用于获得对受保护计算资源的未经授权的访问。这些虚假手指可以很容易地创建，例如，使用三维印刷或其他增材制造工艺、明胶成型或其他工艺。在其他情形中，用户面部图像或模型可用于获得对受面部识别系统保护的受保护计算资源的未经授权的访问。由于伪造的生物测定数据源可以很容易地创建，因此生物测定认证系统一般包括反欺骗保护系统，该系统尝试区分来自真实源或伪造源的生物测定数据。
示例指纹认证流水线
图1解说了根据本公开的某些方面的示例生物测定认证流水线100。虽然生物测定认证流水线100被解说为指纹认证流水线，但是应当认识到，生物测定认证系统100还可以或者替换地用于捕捉和认证其他生物测定数据(诸如面部扫描、虹膜扫描以及其他类型的生物测定数据)。
如所解说的，生物测定数据(诸如指纹图像)由传感器110捕捉并且被提供给比较器120，比较器120确定由传感器110捕捉的生物测定数据是否对应于多个已知生物测定数据集之一(例如，捕捉到的指纹图像是否对应于已知的指纹)。为了确定由传感器110捕捉的生物测定数据是否对应于多个已知生物测定数据集之一，比较器120可以将捕捉到的生物测定数据(或从其推导出的特征)与当用户登记一个或多个生物测定数据源(例如，手指)时捕捉的登记样本集中的样本(或从其推导出的特征)进行比较以用于对用户进行认证。一般而言，登记图像集包括在指纹认证系统中登记的每个生物测定数据源的多个图像。然而，出于安全目的，实际登记图像可以存储在存储器中的安全区域中，或者可以存储登记图像的表示来代替实际登记图像，以防止对登记图像的提取和恶意使用。
一般而言，比较器120可以标识捕捉到的生物测定数据内的唯一性物理特征并且尝试将这些唯一性物理特征与登记样本之一(例如，登记图像)中的相似物理特征相匹配。例如，在指纹认证系统中，比较器120可以标识指纹中的脊线和谷线的图案和/或指纹细节(诸如脊线/谷线分叉或终止)，以尝试将捕捉到的指纹与登记图像相匹配。在另一示例中，在面部识别系统中，在尝试将捕捉到的用户面部图像与登记图像相匹配时，比较器120可以标识面部上的各个点并标识位于这些点处的视觉图案(例如，眼睛区域周围的“鱼尾纹”、酒窝、皱纹等)。在一些情形中，比较器120可以将各种变换应用于捕捉到的生物测定数据以尝试将捕捉到的生物测定数据中的特征与登记图像集中的一个或多个图像中的相似特征对齐。这些变换可以包括例如对捕捉到的生物测定数据应用旋转变换(即，旋转捕捉到的生物测定数据)、横向移动(即，平移)捕捉到的生物测定数据、将捕捉到的生物测定数据缩放至所定义的分辨率、将捕捉到的生物测定数据与登记图像集中的一个或多个登记图像相组合以创建合成图像、等等。如果比较器120确定捕捉到的生物测定数据不匹配登记图像集中的任何图像，则比较器120可以确定捕捉到的生物测定数据不是来自登记用户并且可以拒绝对受保护计算资源的访问。
否则，如果比较器120确定捕捉到的生物测定数据的确与登记图像集中的至少一个图像相匹配，则反欺骗保护引擎130可以确定捕捉到的生物测定数据来自真实源还是虚假源。如果捕捉到的生物测定数据来自真实源，则反欺骗保护引擎130可以允许对受保护计算资源的访问；否则，反欺骗保护引擎130可以拒绝对受保护计算资源的访问。可使用各种技术来确定捕捉到的生物测定数据来自真实源还是虚假源。例如，在指纹认证系统中，表面导电性可以被用于确定指纹图像来自真实手指还是虚假手指。由于人类皮肤具有某些已知的导电特性，因此从不具有这些导电特性的源捕捉的图像可被确定为源自虚假手指。然而，由于这些技术通常是在不参考登记图像集和/或捕捉到的指纹图像的情况下执行的，因此可以通过使用复制真实生物测定数据源的已知解剖特性的各种材料或其他技术手段来击败反欺骗保护系统，这些已知解剖特性原本可用于防止欺骗攻击。在另一示例中，在面部识别系统中，深度图、温度读数和其他信息可被用于确定源是真实的还是虚假的，这基于如下假设：真实源将具有大量三维数据(与打印图像相反，打印图像将不会具有大量三维数据)，并且可能会发射等于或接近假定正常体温(例如98.6°F或37℃)的温度。
虽然图1解说了其中在确定捕捉到的生物测定数据(例如，捕捉到的指纹图像)来自真实源还是虚假源之前执行比较的生物测定认证流水线，但是本领域普通技术人员应当认识到，这些操作可以按任何次序或者并发地执行。即，在生物测定认证流水线内，反欺骗保护引擎130可以在比较器120确定在由传感器110捕捉到的生物测定数据与登记图像集中的一个或多个图像之间是否存在匹配之前确定捕捉到的生物测定数据来自真实源还是虚假源。
指纹认证流水线中的示例反欺骗保护系统
图2解说了指纹认证流水线中的示例反欺骗保护系统。在反欺骗保护系统200中，由指纹传感器(例如，超声传感器、光学传感器等)捕捉的样本202可被提供来作为到反欺骗保护(ASP)模型204的输入。该反欺骗保护模型一般可以基于预定义的训练数据集来训练以确定捕捉到的样本202是来自真实手指还是虚假手指(例如，以做出可以在指纹认证流水线中使用的用以确定是否授予对受保护计算资源的用户访问的实时或欺骗决策)。然而，反欺骗保护模型204可能不准确，因为用于训练反欺骗保护模型204的训练数据集可能不计及用户之间的自然变化，该自然变化可能改变针对不同用户捕捉到的样本202的特性。例如，用户可能具有不同的皮肤特性(诸如干性皮肤、油性皮肤等)，这些特性可能影响样本202中捕捉到的数据。例如，具有干性皮肤的用户可能导致生成具有比具有油性皮肤的用户更低的视觉敏锐度的样本202。另外，反欺骗保护模型204可能不计及传感器和/或用于捕捉样本202的传感器的表面覆盖物之间的差异。例如，传感器可能具有不同水平的敏锐度或者可以设置在不同厚度、折射率等的盖玻璃下方。此外，由于制造可变性(例如，对齐、传感器厚度、玻璃盖厚度等)以及由此产生的校准差异，相同型号的传感器的不同实例可能具有不同的特性。此外，一些用户可能用保护膜来覆盖用于捕捉样本202的传感器，该保护膜可能会影响由传感器捕捉的图像。另外，不同的传感器可能具有不同的空间分辨率。
为了提高指纹认证流水线中的反欺骗保护的准确性，本公开的各方面允许将主体和传感器信息集成到反欺骗保护模型216中如所解说的，在反欺骗保护系统210中，由指纹传感器捕捉的样本212以及关于主体和/或传感器的信息214可以被输入到反欺骗保护模型216中，该模型216被训练以预测样本212中捕捉到的指纹是来自真实手指还是虚假手指。如以下进一步详细讨论的，关于主体和/或传感器的信息可以从登记图像集导出或者是从登记图像集中的图像导出的信息。由于登记图像集中的图像一般可以捕捉用户和设备变化，因此反欺骗保护模型216可被训练以基于可能无法在通用训练数据集中捕捉到的用户和设备特性来标识样本212是来自真实手指还是虚假手指。因此，可以提高指纹认证系统在标识欺骗攻击方面的准确性，这可以提高由指纹认证系统保护的计算资源的安全性。
反欺骗保护模型还可以在其他生物测定认证系统(诸如使用虹膜扫描、面部识别、或其他生物测定数据的认证系统)中使用。与上面讨论的指纹认证流水线的反欺骗保护模型一样，反欺骗保护模型可能不准确，因为用于训练这些模型的训练数据集可能不计及用户之间的自然变化，该自然变化可能改变针对不同用户捕捉的样本的特性。例如，用户的虹膜颜色可能具有不同水平的对比度，这可能导致生成具有不同视觉敏锐度水平的样本，用户可能佩戴影响样本中捕捉的细节的眼镜或其他光学器件，等等。此外，反欺骗保护模型可能不计及可被用于捕捉虹膜或面部识别系统中使用的样本的相机的差异(诸如分辨率、光学公式等)。
在一些方面，可以使用从大规模反欺骗数据集生成的训练数据集来训练反欺骗保护系统(例如，在无法访问传感器和用户以进行数据收集的场景中)。个性化数据集可以包括数个不同用户的数据，每个用户具有恒定数目的登记图像。例如，在基于静止图像的反欺骗数据集中，前N个实时样本可以被选择来作为反欺骗数据集中的针对每个用户的登记数据集，而其余的实时样本以及从其他数据源(例如，图像库、因特网上的数据源等)随机获得的数个欺骗样本可以被选择来作为用于训练反欺骗保护系统的查询样本集。在包括视频数据的反欺骗数据集中，用作登记数据的N个图像可以从照明变化低于阈值(例如，使得在照明变化最小并且因此视频中捕捉到的数据质量的变化最小的情况下在视频中捕捉生物测定数据源)并且具有主体姿势变化的所选视频剪辑中等距采样。具有与所选视频剪辑相同的空间分辨率的用户的其他视频可以被视为可以针对其训练反欺骗保护系统的相关联的查询数据。
用于使用基于机器学习的反欺骗保护来进行生物测定认证的示例方法
图3解说了根据本公开的某些方面的可针对生物测定认证执行的示例操作300。
如所解说的，操作300始于框310，其中计算系统接收用户的生物测定数据源的图像。所接收到的图像可以是由各种传感器之一(诸如超声传感器、光学传感器、或可以捕捉生物测定数据源(诸如手指、虹膜、用户的面部等等)的唯一性特征的其他设备)生成的图像，以用于认证计算系统的用户。在一些方面，所接收到的图像可以是二元颜色空间中的图像。例如，在其中捕捉指纹图像的二元颜色空间中，第一颜色表示所捕捉到的指纹的脊线，而第二颜色表示所捕捉到的指纹的谷线。在一些方面，所接收到的图像可以是低比特深度单色颜色空间中的图像，在该单色颜色空间中，第一颜色表示所捕捉到的指纹的脊线，第二颜色表示所捕捉到的指纹的谷线，并且第一颜色与第二颜色之间的颜色表示所捕捉到的指纹的脊线与谷线之间的转变。
在框320，计算系统通过第一人工神经网络来提取至少所接收到的图像的特征。第一人工神经网络可以包括例如卷积神经网络(CNN)、变换器神经网络、循环神经网络(RNN)、或者可以用于从图像或其表示中提取特征的各种其他合适的人工神经网络中的任何一种。可以使用使用不同权重或使用相同权重的神经网络来针对所接收到的图像和针对登记图像集中的图像提取特征。在一些方面，可以先验地针对登记图像集中的图像提取特征(例如，当用户登记手指以用于指纹认证、登记虹膜以用于虹膜认证、登记面部以用于基于面部识别的认证等时)。在其他方面，可以在用户尝试通过生物测定认证流水线进行认证时，基于所接收到的图像的非图像表示(亦称为查询图像)来针对登记图像集中的图像提取特征。
在框330，计算系统将至少所接收到的图像的所提取特征与多个登记生物测定数据源图像的经组合特征表示相组合。多个登记生物测定数据源图像的经组合特征表示可以例如通过将从多个登记生物测定数据源图像中的个体图像提取的特征聚集成经组合特征表示来生成。如本文进一步详细讨论的，针对所接收到的图像提取的特征以及多个登记生物测定数据源图像的经组合特征表示可以使用可生成经组合特征集的各种特征融合技术来组合，该经组合特征集可用于确定用户的生物测定数据源的所接收到的图像是来自真实生物测定数据源还是作为真实生物测定数据源的副本的虚假生物测定数据源(例如，真实指纹还是作为真实指纹的副本的虚假指纹)。
在框340，计算系统通过将至少所接收到的图像的经组合的所提取特征以及多个登记生物测定数据源图像的经组合特征表示用作到第二人工神经网络的输入来确定用户的生物测定数据源的所接收到的图像是来自真实生物测定数据源还是真实生物测定数据源的副本。如本文所使用的，真实生物测定数据源的副本可以包括真实生物测定数据源的复制(例如，在虚假手指上实现的真实指纹的复制)、从其他源捕捉到的细节生成的合成输入、生物测定数据源的合成生成且经完善的图像、或者被设计成匹配指纹认证系统的许多用户的生物测定数据源的图像(例如，来自图像集合)。真实生物测定数据源的副本还可以或者替换地包括来自非生物测定源的数据。在一些方面，系统可以使用多层感知器(MLP)神经网络或者能够使用从所接收到的图像提取的特征和多个登记生物测定数据源图像的经组合特征表示来确定所接收到的图像是来自真实生物测定数据源还是真实生物测定数据源的副本的其他神经网络来确定用户的生物测定数据源的所接收到的图像是来自真实生物测定数据源还是真实生物测定数据源的副本。
在框350，计算系统基于该确定来采取一个或多个动作以允许或者拒绝对受保护资源的用户访问。在一些方面，在该确定是在确定生物测定数据源的所接收到的图像匹配一个或多个登记图像之后执行的情况下，计算系统可以在该确定是关于生物测定数据源的图像是来自真实生物测定数据源的情况下允许对受保护计算资源的用户访问，并且在该确定是关于生物测定数据源的图像是来自真实生物测定数据源的副本的情况下拒绝对受保护计算资源的用户访问。在该确定是在确定生物测定数据源的所接收到的图像是否匹配一个或多个登记图像之前执行的情况下，计算系统可以在该确定是关于指纹图像是来自真实指纹的情况下行进至执行针对登记图像的生物测定匹配，并且可以在该确定是关于生物测定数据源的图像是来自真实生物测定数据源的副本的情况下拒绝对受保护计算资源的用户访问而不执行针对登记图像的生物测定匹配。
示例指纹反欺骗保护流水线
图4解说了根据本公开的各方面的使用查询和登记数据来确定查询图像是否来自真实生物测定源的反欺骗保护流水线400。在该示例中，可以在指纹认证系统中使用反欺骗保护流水线400以确定查询图像是否来自真实指纹。然而，应当认识到，反欺骗保护流水线400可被应用于从任何类型的生物测定数据源获得的数据的登记和查询图像(诸如虹膜图像、用户面部图像、用户语音的图形表示、或在其中用户的生物测定数据源的图像被用于认证用户的基于图像的其他认证)。指纹反欺骗保护流水线400可以包括特征提取阶段410、特征聚集阶段420和特征融合阶段430。
如所解说的，反欺骗保护流水线400可以始于特征提取阶段410。在特征提取阶段410，卷积神经网络可被用于从用户指纹的所接收到的查询图像和一个或多个先前生成的登记图像提取特征。如所讨论的，登记图像可以是用户在登记手指以用于指纹认证时提供给指纹认证系统的图像，并且这些图像可被用于确定所接收到的查询图像是否对应于登记指纹的图像并且确定是否授予对由指纹认证系统保护的计算资源的访问。在一些方面，特征提取阶段410可以从用户指纹的所接收到的查询图像提取特征，并且可以基于多个登记图像中的每一者的表示而不是登记图像本身来提取与多个登记图像中的每一者相关联的特征。一般而言，可以使用卷积神经网络来从所接收到的查询图像和一个或多个先前生成的登记图像提取特征。一般而言，这些特征可以是由卷积神经网络学习为对于特定分类任务(例如，本文中讨论的指纹欺骗)而言可以有用的特征的特征。例如，由卷积神经网络的最后一层提取的特征可以表示输入图像或其诸部分的具体质量，诸如亮度、与图像中的斑点、点、分叉相关的统计数据、等等。由卷积神经网络提取的特征还可以或者替换地包括在所接收到的查询图像和登记图像中标识的特征和形状的抽象高级组合。卷积神经网络可以共享参数(诸如权重和偏置)或者可以使用不同参数。各种技术可被用于从指纹图像或从这些指纹图像导出的数据提取特征，如以下关于图5进一步详细讨论的。
在一些方面，可以在特征提取阶段410接收查询图像和N个登记图像/>其中i∈{1，2，...，N}。查询图像Iq可以通过特征提取器φq(·)来处理以将查询图像编码成特征集fq＝φq(Iq)，其中/>类似地，N个登记图像/>可以通过特征提取器φe(·)来处理以生成特征集/>其中/>并且D表示描述从每个图像提取的特征的值的数目(亦称为从图像提取的特征的维度)。
特征聚集阶段420一般从在特征提取阶段410针对多个登记指纹图像提取的特征创建该多个登记指纹图像的经组合特征表示。例如，经组合特征表示可以通过将从多个登记指纹图像提取的特征级联成单个特征集来生成。各种技术可被用于生成经组合特征表示，如以下关于图6进一步详细讨论的。
在一些方面，特征聚集阶段420可以使用各种技术来将登记特征组合成单个特征/>如以下关于图5到图7进一步详细讨论的。一般而言，将特征聚集成/>可以基于向量级联、算术平均值的计算、或者可用于将特征聚集成单个经聚集特征的其他技术来执行。在向量级联中，可以沿给定轴级联登记特征以获得具有N*D个维度的一维向量。在基于算术平均值来聚集特征时，可以根据下式来计算经聚集特征向量。
在此情形中，从图像(其中i∈{1，2，...，N})提取的登记特征可以被压缩成D个值。
特征融合阶段430一般将在特征提取阶段410中生成的所接收到的图像的所提取特征与在特征聚集阶段420中生成的多个登记图像的经组合特征表示组合成可由MLP 440用来确定所接收到的查询图像是来自真实指纹还是真实指纹的副本的数据。特征融合阶段430可以使用一个或多个人工神经网络来将所接收到的图像的所提取特征和多个登记指纹图像的经组合特征表示组合成经组合视觉特征集。以下关于图7A到7C进一步详细讨论用于组合所接收到的图像的所提取特征和多个登记指纹图像的经组合特征表示的技术。
从所接收到的指纹图像和登记指纹图像的示例特征提取
一般而言，为了从所接收到的指纹图像和登记指纹图像提取特征，这些图像可以通过一个或多个卷积神经网络来处理。这些卷积神经网络的输出可以是描述所接收到的指纹图像的低维度视觉特征。图5解说了可在特征提取阶段410中实现用于从所接收到的指纹图像和登记指纹图像提取特征的各种技术。再一次，虽然图5在指纹图像的上下文中解说这些技术，但是应当认识到，本文讨论的特征提取技术可被应用于从任何类型的生物测定数据源获得的数据的登记和查询图像。
示例500A解说了使用权重共享卷积神经网络的特征提取。在此示例中，使用相同参数(例如，权重、偏置等)的两个CNN 502可被用于从登记图像和查询图像提取特征。经组合特征表示510可以从CNN 502的输出生成。在生成了经组合特征表示510之后，人工神经网络(诸如MLP 520)可以使用经组合特征表示510来确定所接收到的查询指纹图像是来自真实指纹还是真实指纹的副本。人工神经网络的输出(例如，关于所接收到的查询指纹图像是来自真实指纹还是真实指纹的副本的确定)可被用于采取一个或多个动作以允许或阻止对受保护计算资源的访问。在此示例中，从所接收到的查询图像和登记图像提取的特征可以具有相同的或不同的维度并且可以从相同神经网络或不同神经网络获得，并且视觉特征可以是空间特征或非空间特征。在一些方面，CNN 502可以用多个层来实现，其中CNN 502中的最后一层是全局空间池化算子。在一些方面，CNN 502可以作为端对端反欺骗保护模型的一部分来训练。在另一方面，CNN 502可以作为反欺骗保护模型的一部分在查询图像上预训练。随后，可以修改权重以从在计算设备本地捕捉到的登记图像提取特征。
示例500B解说了使用权重分离卷积神经网络的特征提取。在此示例中，使用第一参数集(例如，权重、偏置等)的CNN 502可被用于从查询图像提取特征，并且使用第二参数集的第二CNN 504可被用于从多个登记图像提取特征。在此示例中，CNN 502和504可以使用不同的权重和相同或不同的模型架构来从查询和登记图像提取视觉特征。由于在CNN 502和504中使用的权重是不同的，因而这些CNN可被训练以提取不同信息。例如，CNN 502可被训练以提取对于反欺骗任务而言有辨别能力的图像，而CNN 504可被训练以从登记图像提取对于表示用户和/或用于捕捉查询和登记图像的(诸)传感器而言可以有用的信息。例如，CNN 502和504可以作为端对端反欺骗保护模型的一部分来联合训练。
示例500C解说了使用权重混合卷积神经网络的特征提取。示例500C可以被认为是示例500A和500B的混合。在使用权重混合CNN的特征提取的一个示例中，权重分离的CNN502和504可分别被用于从查询图像和多个登记图像提取第一特征集，如以上关于示例500B所讨论的。如所讨论的，由CNN 502和504提取的第一特征集可以是分别特定于查询图像和登记图像域的低级特征。该第一特征集可被输入权重共享CNN 506，CNN 506可被训练以在共享特征空间中输出查询图像和登记图像的高级特征。即，由权重共享CNN 506生成的经组合特征表示510可以包括从登记和查询图像的不同特征空间中的低级特征生成的公共特征空间中的特征。
在使用权重混合CNN的特征提取的另一示例中，由CNN 502和504提取的视觉特征可被组合成视觉特征的堆叠。视觉特征的堆叠可被输入权重共享CNN 506以生成经组合特征表示510。在此示例中，由CNN 502和504提取的视觉特征可以具有相同的空间形状以允许堆叠这些特征。通过堆叠从查询图像和登记图像提取的视觉特征，权重共享CNN 506中的卷积层可以学习对空间维度中的输入进行比较的过滤器。然而，推断可能效率较低，因为登记图像特征可能仅预先计算到权重共享CNN 506的输入。
示例500D解说了从包括查询图像和多个登记图像的图像堆叠的特征提取。在此示例中，查询图像和登记图像可以基于一个或多个维度来堆叠并且被馈送到单个CNN 502以供进一步提取。为了堆叠这些图像，这些图像可以在空间上对齐，以使得视觉特征(例如，指纹图像中捕捉到的脊线和谷线)在图像堆叠中的每个图像中类似地对齐。(例如，来自图像堆叠的视觉特征的)经组合特征表示集510可由CNN 502提取，并且经组合视觉特征集可被馈送到人工神经网络(诸如MLP 520)中，以确定所接收到的查询指纹图像是来自真实指纹还是真实指纹的副本。在此示例中，CNN 502可以作为端对端反欺骗保护模型的一部分来训练并且部署到在其上执行指纹认证和反欺骗保护操作的计算设备。
在一些方面，从所接收到的指纹图像和登记指纹图像提取的特征可以包括一个或多个预先计算的特征。这些预先计算的特征可以包括反欺骗系统中的其他组件(例如，温度、阻抗、时间等)或者从反欺骗系统中的其他组件导出。在一些方面，预先计算的过程可以从所接收到的图像(诸如指纹图像中的脊线或谷线的数目、信号强度等)生成。这些预先计算的特征可以类似地从查询和登记指纹图像提取，并且可以包括来自查询和登记指纹图像的视觉特征以及与关于传感器或计算系统在其中操作的环境的元数据相关联的特征。在一些方面，预先计算的特征可以与由一个或多个CNN 502、504和/或506提取的视觉特征级联以作为用于确定查询指纹图像是来自真实指纹还是真实指纹的副本的人工神经网络的输入。在另一方面，预先计算的特征可以被融合到一个或多个CNN中以调节从查询和登记指纹图像提取视觉特征。
应当理解，虽然示例500A-500D解说了使用CNN来从查询图像和多个登记图像提取特征，但是任何类型的人工神经网络可被用于从查询图像和多个登记图像提取特征。例如，如以上讨论的，可以使用循环神经网络、变换器神经网络等来从查询图像和多个登记图像提取特征。
从登记指纹图像的示例特征聚集
如以上讨论的，从所接收到的查询图像提取的特征可以与多个登记指纹图像的经组合特征表示相组合以生成经组合表示，该经组合表示可以由人工神经网络处理以确定所接收到的查询图像是来自真实指纹还是真实指纹的副本。由于登记指纹图像一般包括每个登记手指的多个图像，因而可以从每个手指的图像提取特征并且这些特征可被聚集成单个登记特征表示。在特征聚集阶段420中，可以使用各种技术来组合从每个登记指纹图像提取的特征，包括其中特征被级联或计算的非参数技术以及学习用以组合从每个登记指纹图像提取的特征的最优技术的参数技术。图6解说了用于生成多个登记指纹图像的经组合特征表示的各种技术。
示例600A解说了基于图像堆叠技术来生成多个登记指纹图像的经组合特征表示的示例。在示例600A中，可以在通道、宽度和高度的三维空间中表示查询图像和登记指纹图像。查询图像和一个或多个登记指纹图像可以在通道维度上堆叠并且作为输入馈送到卷积神经网络602中以从查询指纹图像和登记指纹图像提取视觉特征604。一般而言，CNN 602可被配置成将来自堆叠中的查询指纹图像和登记指纹图像的信息组合成单个视觉表示。由于CNN 602可以在多个通道上处理相同的空间区域，因而在查询和登记图像共享相同的坐标系(例如，具有相同的高度、宽度和通道维度)时，基于图像堆叠来生成经组合特征表示可以是有效的。
示例600B解说了特征堆叠或级联成经级联特征输出612的示例。如所解说的，每个登记图像1到N可以与使用CNN提取(例如，先验地、在指纹登记期间等)的特征1到N相关联，如以上所讨论的。在一些方面，在一图像从登记指纹图像集中缺失的情况下，可以使用零向量来替代它。如所解说的，与登记图像相关联的每个特征可以具有维度M x 1，并且N个图像的登记指纹图像集的经级联特征输出612可以具有维度M*N x 1。在一些方面，尽管未解说，从所接收到的查询图像提取的特征还可以与经级联特征输出612级联，以生成从所接收到的查询图像提取的特征与多个登记指纹图像的经组合特征表示的组合。
在一些方面，多个登记指纹图像的经组合特征表示可以被压缩成在其中各特征被聚集的紧凑表示。示例600C解说了基于平均值和标准差信息来生成此紧凑表示的示例。在此示例中，如示例600B中那样，从每个登记指纹图像提取的特征可以具有维度M x 1。计算系统可以跨从N个登记指纹图像提取的特征来计算平均值，并且附加信息(诸如标准差、高阶矩、或其他统计信息)也可以根据从N个登记指纹图像提取的特征的值来计算。在此示例中，具有大小M x 2的向量可以被生成为平均值特征向量622和标准差特征向量624的级联。由于经组合特征表示可以被表示为大小M x 2的向量，因而存储经组合特征表示所需的存储器可以从基于与登记指纹图像的数目的线性关系减少到常数，这可以减少在处理经聚集特征的神经网络的层中输入的参数的数目。此外，由于诸如平均值和标准差之类的统计度量可能对于数个数据点来说是不变的，因而基于这些统计度量的登记手指聚集对于数据集中丢失的登记图像而言可能更加稳健。
示例600A到600C解说了用于聚集登记指纹图像特征并且将这些登记指纹图像特征与从所接收到的查询指纹图像提取的特征融合的非参数技术。非参数特征的使用可以限制模型的表达能力及其处理和组合特征的能力。为了允许增强处理和组合特征的能力，可以使用各种自回归模型来生成多个登记指纹图像的经组合特征表示，如示例600D中所解说的。在示例600D中，从登记指纹图像提取的特征可以通过自回归模型632来处理以生成具有维度M x 1的经组合特征输出634。
在示例600D中，自回归模型632可以包括例如循环神经网络(RNN)、门控循环单元(GRU)、长短期记忆(LSTM)模型、变换器模型等。RNN可以是相对简单、紧凑和资源高效的；然而，自回归模型的变型(诸如GRU或LSTM模型)可以增加模型的表达能力(以附加的乘法累加(MAC)运算和数个参数为代价)。变换器模型可以允许登记指纹图像序列中彼此远离的元素之间的关系被捕捉，并且还可以允许关于登记指纹图像被呈现给变换器模型的次序的不变性。一般而言，这些自回归模型可以允许将具有任意长度的图像序列处理成M×1特征输出634，以使得可以使用任意数目的登记图像来登记指纹。此外，自回归模型可以允许登记指纹图像被顺序地处理，例如按照在指纹登记期间登记指纹图像被捕捉的次序。例如，这些自回归模型可以允许从图像序列中学习模式，诸如增加用于生成登记指纹图像的传感器处的湿度和/或温度，这进而可以用于计及当传感器捕捉用户的指纹时可能存在的环境因素。
例如，如果如图7中所解说的GRU 710被用于生成登记图像集的经聚集特征，则可以根据下式来定义GRU的输入和输出：
其中fl i表示层l处的第i个隐性向量，表示层l的先前激活，并且/>表示层l的当前激活。在此示例中，到第一层的输入可以是登记特征/>最终GRU层的最后激活可以被选择来作为登记集的经聚集特征，以使得/>
在一些方面，查询与登记特征之间的键-查询-值注意力机制可被用于生成登记数据集和查询图像的经聚集特征。通过使用注意力机制来生成经聚集特征，模型可以学习登记数据集中的每个图像相对于特定查询图像的重要性，如以下关于图8B进一步详细讨论的。
在一些方面，登记图像的特征可以使用图神经网络(GNN)(诸如图7中解说的GNN720)来聚集，该GNN可以对登记特征与查询特征之间的复杂关系进行建模。在此类情形中，登记和查询特征可以被表示为图中的节点。GNN可以在逐层基础上操作以处理该图。例如，如所解说的，GNN 720包括用于GNN 720的第一层的邻接计算块722和图计算块724以及用于GNN 720的第二层的邻接计算块726和图计算块728，其中第二层采用由GNN 720中的第一层的图计算块724计算的图作为输入。虽然GNN 720解说了包括邻接计算块和图计算块的两个层，但是应当认识到，GNN 720可以包括任何数目的层。
在任何给定层，可以基于给定节点中的特征来计算多个邻接矩阵，并且可以在各种图卷积运算中应用这些邻接矩阵。
邻接矩阵A可以包括使用节点特征fl i与fl j之间的距离函数ψi(·)来获得的多个元素，以使得在一些方面，神经网络可以参数化距离函数ψi(·)，以使得从表示节点特征fl i和fl i的向量输出标量值。在生成邻接矩阵A之后，可以根据下式来执行图卷积运算：
在此式中，表示从邻接矩阵集合/>生成的习得邻接矩阵，并且表示GNN中的第l层的特征矩阵。特征矩阵可以包括N个登记特征和一个维度dl的查询特征。/>可以是与层l相关联的映射矩阵，该映射矩阵从具有维度dl的特征空间映射到具有维度dl+1的特征空间。最后，ρ表示非线性函数。
在此示例中，到GNN的第一层的输入可以包括N+1个节点，该N+1个节点包括N个登记特征以及查询特征。查询模式的输出特征可以被用作关于查询图像是正被认证的用户的真实生物测定源的图像还是真实生物测定源的副本的预测。
示例查询图像特征和登记图像特征融合
在从登记和查询图像提取特征(或某个其他表示)之后，可以使用神经网络来组合这些特征。如所讨论的，经组合特征可以通过人工神经网络(诸如MLP)来处理，该人工神经网络可以生成指示所接收到的查询图像是真实指纹的图像还是真实指纹的副本的输出。各种技术可被用于在特征融合阶段430中组合查询和登记指纹图像，包括非参数技术和参数技术。一般而言，用于组合来自查询和登记指纹图像的特征的非参数技术可以包括使用距离度量来比较查询和登记图像。参数技术可以例如使用自注意力和/或门控机制来学习可以组合从查询和登记指纹图像提取的特征的技术。图8A-8C解说了这些各种技术的示例。
图8A解说了示例800A，其中在给定基于从登记指纹图像提取的特征所计算出的平均值和标准差的情况下，基于所接收到的查询图像是来自真实指纹的可能性来组合从查询和登记指纹图像提取的特征。如所解说的，给定从所接收到的查询图像提取的特征的M x 1特征向量802(指定为x)，以及包括平均值特征向量804(指定为μ)和标准差特征向量(指定为σ)的M x 2特征向量，具有维度M x 1的经组合向量808，其中经组合向量808中的每个值被计算为关于x是来自真实指纹的概率(以μ和σ为条件)的对数似然(即，logp(x|μ，σ))。平均值特征向量804和标准差向量806可以被解读为实时数据点的预期特征的表示(例如，与真实指纹的副本相反，真实指纹的所捕捉到的图像)。在一些方面，可以假定M个高斯分布可被用于对M维特征进行建模，并且因此，可以根据下式来计算查询特征的每个维度的对数似然：
这导致经组合向量808是组合登记和查询特征的M维表示。经组合向量808可以随后通过人工神经网络(诸如MLP)来处理以确定x是对应于从真实指纹捕捉到的图像还是对应于真实指纹的副本。
在使用基于所接收到的查询图像是来自真实指纹的可能性的组合的另一示例中，给定基于从登记指纹图像提取的特征所计算出的平均值和标准差，可以假定具有独立维度的单个M维高斯分布可以对特征表示进行建模。在此情形中，可以在对角协方差矩阵中表示这些维度。查询在登记图像平均值μ和登记图像标准差σ下的对数似然可以被输出为标量值，该标量值随后可以(直接)用于确定x是对应于从真实指纹捕捉到的图像还是对应于真实指纹的副本。
在参数模型之中，基于注意力的模型可用于组合以查询指纹图像特征为条件的登记指纹图像特征。图8B解说了示例800B，其中使用基于注意力的模型(例如，使用自注意力)来组合从查询和登记指纹图像提取的特征。在此示例中，自注意力层可以包括多个MLP。MLP_Q812可以将从查询指纹图像提取的特征嵌入查询向量822。MLP_K 814可以在具有与查询向量822相同维度的键向量824中嵌入登记特征。MLP_V 816可以将每个登记指纹图像特征嵌入值向量826。
键向量824中的信息可用于计算值向量826中的每个视觉特征相对于查询向量822中的特征的重要性。为了通过重要性计算层832来计算该重要性，可以计算查询向量822和键向量824之间的内积，并且然后缩放层和softmax层可以将重要性分数变换为概率值。概率值可以根据下式来表示：
更具体地，可以根据下式来定义注意力查询：
Q＝AQ(fq)
并且可以分别根据下式从登记图像生成注意力键和值：
和
其中AQ、AK和AV是从D维特征空间映射到M维特征空间的线性层。在此情形中，从和/>获得的注意力权重可被应用于值向量/>以获得经聚集特征经聚集特征可以由下式表示：
其中Q对应于查询图像，KT对应于来自登记图像集的键图像，并且V对应于与Q与KT的配对相关联的值。
从重要性计算层832输出的概率值可以在组合层834处与值向量826线性地组合。这一般导致值向量826的线性组合，其包括以查询特征为条件的登记指纹图像特征的经聚集表示。跳过连接可被用于在CNN的下一层或MLP分类器836的输入中包括查询特征。
在图8C中解说的另一示例800C中，可以使用挤压-激发门控来组合从查询和登记指纹图像提取的特征。如同800B中解说的自注意力机制，挤压-激发门控可被用于在给定查询特征的情况下聚集和融合(组合)登记信息。在此示例中，挤压-激发门控可被用于以登记特征为条件来门控查询特征。
采用查询图像作为输入的卷积神经网络840可以包括多个挤压-激发模块。在挤压-激发模块内，具有宽度、高度和通道维度W x H x C的中间查询视觉特征的堆叠842可被挤压成C x 1表示844，该C x 1表示844可以与登记指纹图像特征组合并且通过MLP 846来处理以生成大小为C x 1的表示848。可以计算堆叠842与C x 1表示848的乘积以生成特征的堆叠850，堆叠850也可以具有宽度、高度和通道维度W x H x C。门控可以在视觉特征的通道维度上执行并且可以在解析查询图像的CNN 840中的任何层处执行。
查询指纹图像的示例几何变换
在一些方面，反欺骗保护模型可以访问指纹匹配系统的输出，该输出可以用于调节反欺骗保护模型以使用给定手指的最具信息量的登记图像。例如，反欺骗保护模型可以从指纹匹配系统接收标识匹配查询指纹图像的登记指纹图像的信息。附加地，反欺骗保护模型可以从指纹匹配系统接收关于应用于查询或登记图像以寻找匹配的登记图像的变换的信息。一般而言，关于变换的信息可以表示为矩阵，以使得经变换图像被计算为变换矩阵与原始图像的乘积。即，对于任何给定变换，经变换图像可以通过下式来表示：
图9解说了根据本公开的各方面的可在确定查询图像是否来自真实指纹之前对查询图像或一个或多个登记图像执行的对齐预处理的示例。如所解说的，对于给定查询图像902和匹配的登记图像904，可以将变换应用于匹配的登记图像904以生成经组合图像906。经组合图像906可以包括登记图像到查询图像的坐标系的变换，并且经组合图像906可被填充以生成输入图像908。包括查询图像902和匹配的登记图像904的经填充组合在内的输入图像908可以被输入到反欺骗保护模型中，其中CNN 910从查询图像902和匹配的登记图像904的组合提取视觉特征912，并且视觉特征912通过神经网络(诸如MLP 914)来处理以确定查询图像912是来自真实指纹还是真实指纹的副本。通过在空间上对齐查询图像和登记图像，匹配器算法的输出可以提高用于基于登记指纹图像的特征来确定查询图像902是来自真实指纹还是真实指纹的副本的个性化反欺骗保护模型的性能。
各种技术可被用于在反欺骗保护模型中利用空间对齐信息。在一个示例中，查询图像和经对齐的登记图像可以在通道维度中堆叠，并且CNN可以学习跨空间上对齐的输入来比较特征的过滤器。在另一示例中，从查询图像减去登记图像的差异技术可被用于突出显示在交叠区域中的登记图像与查询图像之间变化的特征。在又一示例中，覆盖技术可以允许CNN观察形状如何组合(例如，在图像的边缘处)。仅将查询图像和登记图像的交集呈现给CNN的交集技术可以限制CNN检查可比较的特征，并且可以排除CNN没有参考的内容。最后，在几何变换系数可用于多个登记指纹图像的情况下，可以使用图像拼接技术。在此类情形中，多个登记指纹图像中的每个图像可以被传输到相同的空间坐标并拼接在一起，这可以允许登记手指的较大区域被恢复并增加登记指纹信息相对于单个捕捉到的查询指纹图像的覆盖。
类似的技术可用于在空间上对齐三维图像，诸如面部识别系统中使用的面部扫描。在此类情形中，查询图像和登记图像可以通过三维变换在空间上对齐。例如，为了对齐查询图像和登记图像，可以使用三维旋转和移位来变换登记图像，以使得查询图像和经对齐的登记图像可以在一个或多个通道维度中堆叠。
用于使用基于机器学习的反欺骗保护来进行生物测定认证的系统的示例架构
一般而言，本文描述的反欺骗保护模型的性能可以基于所考虑的域、任务、数据集和硬件。在一个示例中，为了优化或者至少增强性能，本文描述的反欺骗保护模型架构可以基于CNN和MLP组件。作为示例，CNN可具有11个二维卷积层，其与二维批量归一化层和修正线性单元(ReLU)激活函数交替。为了允许个性化，可以为用于从所接收到的查询指纹图像和多个登记指纹图像提取特征的CNN维护相同的架构。在使用混合权重的情况下(例如，如关于图5中的示例500C所讨论的)，在大约位于CNN中间的卷积层之后，CNN可以被划分成分离部分和共享部分。CNN内核可具有3x 3维度的感受野，并且可在步幅之间交替以对原始图像进行下采样。网络的输入可以例如具有为(180,80,2)的三个维度(即，宽度、高度和通道维度)。输出的视觉特征可具有宽度、高度和通道维度为(3,2,32)的形状，这允许CNN捕捉通道维度上的不同特征并在3x 2空间坐标内保留一些空间信息。
MLP可以具有在批量归一化和ReLU激活函数之间交替的四个线性层，并且可以省略dropout函数。包括大约200个特征的输入阵列可以通过MLP来逐渐压缩，直到压缩导致二维输出。输出一般包括针对输入是实时样本(例如，来自真实生物测定数据源)和输入是欺骗样本(例如，来自真实生物测定数据源的副本)的分数。Softmax函数可以将这些值映射成概率。MLP可以使用监督式学习技术来训练，例如利用交叉熵损失。
与非个性化反欺骗保护模型相比，本公开的各方面利用登记数据来确定查询图像是来自真实生物测定数据源还是真实生物测定数据源的副本。本文描述的反欺骗保护模型可以通过以登记数据作为参考来从登记数据提取因传感器而异的信息，并且可以从登记数据提取因主体而异的信息。在需要访问登记数据时，本公开的各方面可以在传感器校准和登记期间将登记数据预处理成所提取的特征，这可以允许本文的反欺骗保护模型访问登记指纹图像的抽象表示。此外，从登记图像提取的特征可以被预先计算，这可以减少用于指纹认证和反欺骗保护的内存和计算成本。
一般而言，在训练时，查询图像和登记图像可以通过(诸)神经网络来处理。训练可以基于在其上训练模型的硬件来优化，例如通过约束神经网络的大小，或者通过将部分数据集加载到存储器和用于训练(诸)神经网络的处理器中。在推断时，由于(诸)神经网络的参数可以保持静态，因而来自登记图像的特征可以至少部分地被预先计算并存储到这些特征与查询特征组合的点，这可以减少用于执行关于查询图像是来自真实生物测定数据源还是真实生物测定数据源的副本的推断的计算时间和存储器。最后，本文描述的反欺骗保护模型的行为可以是手指和用户不可知的，因为反欺骗保护模型可以被配置成关注生物测定数据源和正被认证的用户的相关登记图像集。
一般而言，与非个性化反欺骗保护模型相比，本文描述的个性化反欺骗保护模型可以提供改进的反欺骗保护准确度。当通过本文描述的个性化反欺骗保护模型来处理时，欺骗攻击一般以比通过非个性化反欺骗保护模型来处理时更高的比率失败。由于使用个性化反欺骗保护模型(本文描述了其各方面)，欺骗攻击一般以更高的比率失败，因而可以使计算系统更安全，以防止尝试使用伪造的生物测定数据源和/或从其导出的图像来获得对受保护计算资源的未经授权的访问。
用于使用基于机器学习的反欺骗保护来进行生物测定认证的示例处理系统
图10描绘了用于使用基于机器学习的生物测定认证(诸如举例而言在本文中关于图3所描述的)的示例处理系统1000。
处理系统1000包括中央处理单元(CPU)1002，其在一些示例中可以是多核CPU。在CPU 1002处执行的指令可例如从与CPU 1002相关联的程序存储器加载或可从存储器1024中的分区加载。
处理系统1000还包括为特定功能定制的附加处理组件，诸如图形处理单元(GPU)1004、数字信号处理器(DSP)1006、神经处理单元(NPU)1008、多媒体处理单元1010和无线连通性组件1010。
NPU(诸如1008)一般是被配置成用于实现用于执行机器学习算法(诸如用于处理人工神经网络(ANN)、深度神经网络(DNN)、随机森林(RF)等的算法)的所有必要的控制和算术逻辑的专用电路。NPU有时可替换地被称为神经信号处理器(NSP)、张量处理单元(TPU)、神经网络处理器(NNP)、智能处理单元(IPU)、视觉处理单元(VPU)、或图形处理单元。
NPU(诸如1008)被配置成加速常见机器学习任务(诸如图像分类、机器翻译、对象检测以及各种其他预测模型)的执行。在一些示例中，多个NPU可在单个芯片(诸如片上系统(SoC))上实例化，而在其他示例中，多个NPU可以是专用神经网络加速器的一部分。
NPU可被优化用于训练或推断，或者在一些情形中被配置成平衡两者之间的性能。对于能够执行训练和推断两者的NPU，这两个任务一般仍可独立地执行。
被配置成加速训练的NPU一般被配置成加速新模型的优化，这是涉及输入现有数据集(通常是被标记的或含标签的)、在数据集上进行迭代、并且随后调整模型参数(诸如权重和偏置)以便提高模型性能的高度计算密集的操作。一般而言，基于错误预测进行优化涉及往回传递通过模型的各层并确定梯度以减少预测误差。
被设计成加速推断的NPU一般被配置成在完整模型上操作。此类NPU由此可被配置成：输入新的数据片段并通过已经训练的模型对其快速处理以生成模型输出(例如，推断)。
在一种实现中，NPU 1008是CPU 1002、GPU 1004和/或DSP 1006中的一者或多者的一部分。
在一些示例中，无线连通性组件1012可包括例如用于第三代(3G)连通性、第四代(4G)连通性(例如，4G LTE)、第五代连通性(例如，5G或NR)、Wi-Fi连通性、蓝牙连通性、以及其他无线数据传输标准的子组件。无线连通性组件1012进一步连接到一个或多个天线1014。
处理系统1000还可包括与任何方式的传感器相关联的一个或多个传感器处理单元1016、与任何方式的图像传感器相关联的一个或多个图像信号处理器(ISP)1018、和/或导航处理器1020，该导航处理器1020可包括基于卫星的定位系统组件(例如，GPS或GLONASS)以及惯性定位系统组件。
处理系统1000还可包括一个或多个输入和/或输出设备1022，诸如屏幕、触敏表面(包括触敏显示器)、物理按钮、扬声器、话筒等等。
在一些示例中，处理系统1000的一个或多个处理器可基于ARM或RISC-V指令集。
处理系统1000还包括存储器1024，该存储器1024代表一个或多个静态和/或动态存储器，诸如动态随机存取存储器、基于闪存的静态存储器等。在该示例中，存储器1024包括计算机可执行组件，其可由处理系统1000的前述处理器中的一个或多个处理器执行。
具体地，在此示例中，存储器1024包括图像特征提取组件1024A、特征表示组合组件1024B、生物测定真实性确定组件1024C、以及用户访问控制组件1024D。所描绘的组件以及其他未描绘的组件可被配置成执行本文所描述的方法的各个方面。
一般而言，处理系统1000和/或其组件可被配置成执行本文所描述的方法。
值得注意的是，在其他实施例中，处理系统1000的各方面可被略去，诸如在处理系统1000是服务器计算机等的情况下。例如，在其他实施例中，多媒体处理组件1010、无线连通性组件1012、传感器处理单元1016、ISP 1018和/或导航组件1020可被省略。此外，处理系统1000的各方面可以是分布式的，诸如训练模型并使用该模型来生成推断，诸如用户验证预测。
示例条款
本公开的各个方面的实现细节在以下经编号条款中描述。
条款1：一种生物测定认证方法，包括：接收用户的生物测定数据源的图像；通过第一人工神经网络来提取至少所接收到的图像的特征；将该至少所接收到的图像的所提取特征与多个登记生物测定数据源图像的经组合特征表示相组合；通过将该至少所接收到的图像的经组合的所提取特征和该多个登记生物测定数据源图像的经组合特征表示用作到第二人工神经网络的输入，确定用户的生物测定数据源的所接收到的图像是来自真实生物测定数据源还是来自真实生物测定数据源的副本；以及基于该确定来采取一个或多个动作以允许或者拒绝对受保护资源的用户访问。
条款2：条款1的方法，进一步包括将由神经网络从根据多个登记生物测定数据源图像导出的信息提取的特征聚集成该多个登记生物测定数据源图像的经组合特征表示。
条款3：条款2的方法，其中从根据多个登记生物测定数据源图像导出的信息提取的特征是在用户指纹登记期间提取的。
条款4：条款2或3中任一项的方法，其中从根据多个登记生物测定数据源图像导出的信息提取的特征包括从根据该多个登记生物测定数据源图像中的每一者导出的表示提取的特征。
条款5：条款2到4中任一项的方法，其中将从根据多个登记生物测定数据源图像导出的信息提取的特征聚集成经组合特征表示包括将从该多个登记生物测定数据源图像中的每一者提取的特征级联成单个特征集。
条款6：条款2到4中任一项的方法，其中将从根据多个登记生物测定数据源图像导出的信息提取的特征聚集成经组合特征表示包括基于自回归模型以及从该多个登记生物测定数据源图像中的每一者提取的特征来生成特征输出。
条款7：条款2到4中任一项的方法，其中将从根据多个登记生物测定数据源图像导出的信息提取的特征聚集成经组合特征表示包括根据该多个登记生物测定数据源图像提取的特征生成与从该多个登记生物测定数据源图像提取的特征相关联的平均值和标准差。
条款8：条款2到7中任一项的方法，其中：第一神经网络和第二神经网络包括卷积神经网络，并且第一人工神经网络至少共享与第二人工神经网络相关联的权重的子集。
条款9：条款2到8中任一项的方法，进一步包括使用权重共享卷积神经网、所接收到的图像的所提取特征、以及从多个登记生物测定数据源数据提取的特征来从所接收到的图像和多个登记图像提取附加特征。
条款10：条款1到9中任一项的方法，其中提取至少所接收到的图像的特征包括：将所接收到的图像和多个登记生物测定数据源图像组合成图像堆叠；以及通过经由第一人工神经网络处理该图像堆叠来提取所接收到的图像的特征和该多个登记生物测定数据源图像中的每一者的特征。
条款11：条款10的方法，其中将所接收到的图像和多个登记生物测定数据源图像组合成图像堆叠包括：相对于多个登记生物测定数据源图像中的至少一个图像，标识要应用于所接收到的图像的变换，以使得所接收到的图像与该多个登记生物测定数据源图像中的该至少一个图像的至少一部分对齐；基于所标识的变换来修改所接收到的图像；以及生成包括经修改的所接收到的图像和该多个登记生物测定数据源图像中的该至少一个图像的堆叠。
条款12：条款11的方法，其中生成包括经修改的所接收到的图像和多个登记生物测定数据源图像的堆叠包括以下一者或多者：在通道维度上堆叠经修改的所接收到的图像和该多个登记生物测定数据源图像中的该至少一个图像，从该多个登记生物测定数据源图像中的该至少一个图像减去经修改的所接收到的图像，在该多个登记生物测定数据源图像中的该至少一个图像上覆盖所接收到的图像，输出经修改的所接收到的图像与该多个登记生物测定数据源图像中的该至少一个图像的交集，或者基于该多个登记生物测定数据源图像的拼接版本来变换经修改的所接收到的图像。
条款13：条款10的方法，其中将所接收到的图像和多个登记生物测定数据源图像组合成图像堆叠包括：相对于所接收到的图像，标识要应用于该多个登记生物测定数据源图像中的至少一个图像的变换，以使得所接收到的图像与该多个登记生物测定数据源图像中的该至少一个图像的至少一部分对齐；基于所标识的变换来修改该多个登记生物测定数据源图像中的该至少一个图像；以及生成包括所接收到的图像和该多个登记生物测定数据源图像中的经修改的该至少一个图像的堆叠。
条款14：条款13的方法，其中生成包括所接收到的图像和多个登记生物测定数据源图像中的经修改的该至少一个图像的堆叠包括：在通道维度上堆叠所接收到的图像和该多个登记生物测定数据源图像中的经修改的该至少一个图像，从该多个登记生物测定数据源图像中的经修改的该至少一个图像减去所接收到的图像，在该多个登记生物测定数据源图像中的经修改的该至少一个图像上覆盖所接收到的图像，或者输出所接收到的图像与该多个登记生物测定数据源图像中的经修改的该至少一个图像的交集。
条款15：条款1到14中任一项的方法，其中确定用户的生物测定数据源的所接收到的图像是来自真实生物测定数据源还是真实生物测定数据源的副本包括计算距离度量，该距离度量将所接收到的图像与该多个登记生物测定数据源图像进行比较。
条款16：条款1到14中任一项的方法，其中确定用户的生物测定数据源的所接收到的图像是来自真实生物测定数据源还是真实生物测定数据源的副本包括在给定与从该多个登记生物测定数据源图像提取的特征相关联的平均值和标准差的情况下计算所接收到的图像是来自真实生物测定数据源的对数似然。
条款17：条款1到14中任一项的方法，其中确定用户的生物测定数据源的所接收到的图像是来自真实生物测定数据源还是真实生物测定数据源的副本包括使用键-查询-值注意力层来对所接收到的图像的所提取特征和从该多个登记生物测定数据源图像提取的特征进行加权。
条款18：条款1到14中任一项的方法，其中确定用户的生物测定数据源的所接收到的图像是来自真实生物测定数据源还是真实生物测定数据源的副本包括：使用第一多层感知器来将所接收到的图像的所提取特征嵌入到查询向量中；使用第二多层感知器来将从多个登记生物测定数据源图像提取的特征嵌入到键向量中；使用第三多层感知器来将从多个登记生物测定数据源图像提取的特征嵌入到值向量中；以及以嵌入到查询向量中的特征为条件，基于查询向量与键向量之间的内积来生成与关于所接收到的图像是来自真实生物测定数据源的可能性相对应的值。
条款19：条款1到14中任一项的方法，其中确定来自用户的生物测定数据源的所接收到的图像是来自真实生物测定数据源还是真实生物测定数据源的副本包括基于从多个登记生物测定数据源图像提取的特征来门控所接收到的图像的所提取特征中的一个或多个特征。
条款20：条款1到14中任一项的方法，其中：确定来自用户的生物测定数据源的所接收到的图像是来自真实生物测定数据源还是真实生物测定数据源的副本包括在挤压-激发网络中基于从多个登记生物测定数据源图像提取的特征来门控所接收到的图像的所提取特征；所提取特征由高度维度、宽度维度和通道维度来表示；并且门控是在通道维度上执行的。
条款21：条款1到20中任一项的方法，其中用户的生物测定数据源的所接收到的图像包括用户的指纹的图像。
条款22：条款1到21中任一项的方法，其中用户的生物测定数据源的所接收到的图像包括用户的面部的图像。
条款23：一种处理系统，包括：包括计算机可执行指令的存储器；以及一个或多个处理器，该一个或多个处理器被配置成执行计算机可执行指令并使该处理系统执行根据条款1-22中任一项的方法。
条款24：一种处理系统，包括用于执行根据条款1-22中任一项的方法的装置。
条款25：一种包括计算机可执行指令的非瞬态计算机可读介质，这些计算机可执行指令在由处理系统的一个或多个处理器执行时使该处理系统执行根据条款1-22中任一项的方法。
条款26：一种被包含在计算机可读存储介质上的计算机程序产品，包括用于执行根据条款1-22中任一项的方法的代码。
附加考虑
提供先前描述是为了使本领域任何技术人员均能够实践本文中所描述的各个实施例。本文所讨论的示例并非是对权利要求中阐述的范围、适用性或者实施例的限定。对这些实施例的各种修改将容易为本领域技术人员所明白，并且在本文中所定义的普适原理可被应用于其他实施例。例如，可以对所讨论的要素的功能和布置作出改变而不会脱离本公开的范围。各种示例可恰适地省略、替代、或添加各种规程或组件。例如，可以按与所描述的次序不同的次序来执行所描述的方法，并且可以添加、省略、或组合各种步骤。而且，参照一些示例所描述的特征可在一些其他示例中被组合。例如，可使用本文中所阐述的任何数目的方面来实现装置或实践方法。另外，本公开的范围旨在覆盖使用作为本文中所阐述的本公开的各个方面的补充或者不同于本文中所阐述的本公开的各个方面的其他结构、功能性、或者结构及功能性来实践的此类装置或方法。应当理解，本文中所披露的本公开的任何方面可由权利要求的一个或多个元素来实施。
如本文所使用的，术语“示例性”意指“用作示例、实例或解说”。本文中描述为“示例性”的任何方面不必被解释为优于或胜过其他方面。
如本文中所使用的，引述一列项目中的至少一者摂的短语是指这些项目的任何组合，包括单个成员。作为示例，“a、b或c中的至少一者”旨在涵盖：a、b、c、a-b、a-c、b-c、和a-b-c，以及具有多重相同元素的任何组合(例如，a-a、a-a-a、a-a-b、a-a-c、a-b-b、a-c-c、b-b、b-b-b、b-b-c、c-c、和c-c-c，或者a、b和c的任何其他排序)。
如本文所使用的，术语“确定”涵盖各种各样的动作。例如，“确定”可包括演算、计算、处理、推导、研究、查找(例如，在表、数据库或另一数据结构中查找)、查明及类似动作。而且，“确定”可以包括接收(例如，接收信息)、访问(例如，访问存储器中的数据)及诸如此类。同样，“确定”还可包括解析、选择、选取、建立、及类似动作。
本文中所公开的各方法包括用于实现方法的一个或多个步骤或动作。这些方法步骤和/或动作可以彼此互换而不会脱离权利要求的范围。换言之，除非指定了步骤或动作的特定次序，否则具体步骤和/或动作的次序和/或使用可以改动而不会脱离权利要求的范围。此外，上述方法的各种操作可由能够执行相应功能的任何合适的装置来执行。这些装置可包括各种硬件和/或软件组件和/或模块，包括但不限于电路、专用集成电路(ASIC)、或处理器。一般地，在存在附图中解说的操作的场合，这些操作可具有带相似编号的相应配对装置加功能组件。
以下权利要求并非旨在被限定于本文中示出的实施例，而是应被授予与权利要求的语言相一致的全部范围。在权利要求内，对单数元素的引用不旨在意指“有且只有一个”(除非专门如此声明)，而是“一个或多个”。除非特别另外声明，否则术语“一些/某个”指的是一个或多个。权利要求的任何要素都不应当在35U.S.C.§112(f)的规定下来解释，除非该要素是使用短语“用于……的装置”来明确叙述的或者在方法权利要求情形中该要素是使用短语“用于……的步骤”来叙述的。本公开通篇描述的各个方面的要素为本领域普通技术人员当前或今后所知的所有结构上和功能上的等效方案通过引述被明确纳入于此，且旨在被权利要求所涵盖。此外，本文所公开的任何内容都不旨在捐献于公众，无论此类公开内容是否明确记载在权利要求书中。

Claims (30)

1.一种生物测定认证方法，包括：
接收用户的生物测定数据源的图像；
通过第一人工神经网络来提取至少所接收到的图像的特征；
将所述至少所接收到的图像的所提取特征与多个登记生物测定数据源图像的经组合特征表示相组合；
通过将所述至少所接收到的图像的经组合的所提取特征以及所述多个登记生物测定数据源图像的所述经组合特征表示用作到第二人工神经网络的输入来确定所述用户的所述生物测定数据源的所接收到的图像是来自真实生物测定数据源还是所述真实生物测定数据源的副本；以及
基于所述确定来采取一个或多个动作以允许或者拒绝对受保护资源的用户访问。
2.如权利要求1所述的方法，进一步包括将由神经网络从根据多个登记生物测定数据源图像导出的信息提取的特征聚集成所述多个登记生物测定数据源图像的所述经组合特征表示。
3.如权利要求2所述的方法，其中从根据所述多个登记生物测定数据源图像导出的所述信息提取的所述特征是在用户生物测定认证登记期间提取的。
4.如权利要求2所述的方法，其中从根据所述多个登记生物测定数据源图像导出的所述信息提取的所述特征包括从根据所述多个登记生物测定数据源图像中的每一者导出的表示提取的特征。
5.如权利要求2所述的方法，其中将从根据所述多个登记生物测定数据源图像导出的所述信息提取的特征聚集成所述经组合特征表示包括将从所述多个登记生物测定数据源图像中的每一者提取的特征级联成单个特征集。
6.如权利要求2所述的方法，其中将从根据所述多个登记生物测定数据源图像导出的所述信息提取的特征聚集成所述经组合特征表示包括基于自回归模型以及从所述多个登记生物测定数据源图像中的每一者提取的特征来生成特征输出。
7.如权利要求2所述的方法，其中将从根据所述多个登记生物测定数据源图像导出的所述信息提取的特征聚集成所述经组合特征表示包括根据从所述多个登记生物测定数据源图像提取的特征生成与从所述多个登记生物测定数据源图像提取的所述特征相关联的平均值和标准差。
8.如权利要求2所述的方法，其中：
所述第一人工神经网络和所述第二人工神经网络包括卷积神经网络，并且
所述第一人工神经网络至少共享与所述第二人工神经网络相关联的权重的子集。
9.如权利要求2所述的方法，进一步包括使用权重共享卷积神经网络、所述所接收到的图像的所述所提取特征、以及从所述多个登记生物测定数据源图像提取的所述特征来从所述所接收到的图像和所述多个登记生物测定数据源图像提取附加特征。
10.如权利要求1所述的方法，其中提取所述至少所接收到的图像的特征包括：
将所述所接收到的图像和所述多个登记生物测定数据源图像组合成图像堆叠；以及
通过经由所述第一人工神经网络处理所述图像堆叠来提取所述所接收到的图像的特征和所述多个登记生物测定数据源图像中的每一者的特征。
11.如权利要求10所述的方法，其中将所述所接收到的图像和所述多个登记生物测定数据源图像组合成所述图像堆叠包括：
相对于所述多个登记生物测定数据源图像中的至少一个图像，标识要应用于所述所接收到的图像的变换，以使得所述所接收到的图像与所述多个登记生物测定数据源图像中的所述至少一个图像的至少一部分对齐；
基于所标识的变换来修改所述所接收到的图像；以及
生成包括经修改的所述所接收到的图像和所述多个登记生物测定数据源图像中的所述至少一个图像的堆叠。
12.如权利要求11所述的方法，其中生成包括所述经修改的所述所接收到的图像和所述多个登记生物测定数据源图像的所述堆叠包括以下一者或多者：
在通道维度上堆叠所述经修改的所述所接收到的图像和所述多个登记生物测定数据源图像中的所述至少一个图像，
从所述多个登记生物测定数据源图像中的所述至少一个图像减去所述经修改的所述所接收到的图像，
在所述多个登记生物测定数据源图像中的所述至少一个图像上覆盖所述所接收到的图像，
输出所述经修改的所述所接收到的图像和所述多个登记生物测定数据源图像中的所述至少一个图像的交集，或者
基于所述多个登记生物测定数据源图像的拼接版本来变换所述经修改的所述所接收到的图像。
13.如权利要求10所述的方法，其中将所述所接收到的图像和所述多个登记生物测定数据源图像组合成所述图像堆叠包括：
相对于所述所接收到的图像，标识要应用于所述多个登记生物测定数据源图像中的至少一个图像的变换，以使得所述所接收到的图像与所述多个登记生物测定数据源图像中的所述至少一个图像的至少一部分对齐；
基于所标识的变换来修改所述多个登记生物测定数据源图像中的所述至少一个图像；以及
生成包括所述所接收到的图像和所述多个登记生物测定数据源图像中的经修改的所述至少一个图像的堆叠。
14.如权利要求13所述的方法，其中生成包括所述所接收到的图像和所述多个登记生物测定数据源图像中的所述经修改的所述至少一个图像的所述堆叠包括：
在通道维度上堆叠所述所接收到的图像和所述多个登记生物测定数据源图像中的所述经修改的所述至少一个图像，
从所述多个登记生物测定数据源图像中的所述经修改的所述至少一个图像减去所述所接收到的图像，
在所述多个登记生物测定数据源图像中的所述经修改的所述至少一个图像上覆盖所述所接收到的图像，或者
输出所述所接收到的图像和所述多个登记生物测定数据源图像中的所述经修改的所述至少一个图像的交集。
15.如权利要求1所述的方法，其中确定所述用户的所述生物测定数据源的所述所接收到的图像是来自真实生物测定数据源还是所述真实生物测定数据源的副本包括计算距离度量，所述距离度量将所述所接收到的图像和所述多个登记生物测定数据源图像进行比较。
16.如权利要求1所述的方法，其中确定所述用户的所述生物测定数据源的所述所接收到的图像是来自真实生物测定数据源还是所述真实生物测定数据源的副本包括在给定与从所述多个登记生物测定数据源图像提取的所述特征相关联的平均值和标准差的情况下计算所述所接收到的图像是来自真实生物测定数据源的对数似然。
17.如权利要求1所述的方法，其中确定所述用户的所述生物测定数据源的所述所接收到的图像是来自真实生物测定数据源还是所述真实生物测定数据源的副本包括使用键-查询-值注意力层来对所述所接收到的图像的所述所提取特征和从所述多个登记生物测定数据源图像提取的所述特征进行加权。
18.如权利要求1所述的方法，其中确定所述用户的所述生物测定数据源的所述所接收到的图像是来自真实生物测定数据源还是所述真实生物测定数据源的副本包括：
使用第一多层感知器来将所述所接收到的图像的所述所提取特征嵌入到查询向量中；
使用第二多层感知器来将从所述多个登记生物测定数据源图像提取的所述特征嵌入到键向量中；
使用第三多层感知器来将从所述多个登记生物测定数据源图像提取的所述特征嵌入到值向量中；以及
以嵌入到所述查询向量中的特征为条件，基于所述查询向量与所述键向量之间的内积来生成与关于所述所接收到的图像是来自真实生物测定数据源的可能性相对应的值。
19.如权利要求1所述的方法，其中确定所述用户的所述生物测定数据源的所述所接收到的图像是来自真实生物测定数据源还是所述真实生物测定数据源的副本包括基于从所述多个登记生物测定数据源图像提取的所述特征来门控所述所接收到的图像的所述所提取特征中的一个或多个所提取特征。
20.如权利要求1所述的方法，其中：
确定所述用户的所述生物测定数据源的所述所接收到的图像是来自真实生物测定数据源还是所述真实生物测定数据源的副本包括在挤压-激发网络中基于从所述多个登记生物测定数据源图像提取的所述特征来门控所述所接收到的图像的所述所提取特征；
所述所提取特征由高度维度、宽度维度和通道维度来表示；并且
所述门控是在所述通道维度上执行的。
21.如权利要求1所述的方法，其中所述用户的所述生物测定数据源的所述所接收到的图像包括所述用户的指纹的图像。
22.如权利要求1所述的方法，其中所述用户的所述生物测定数据源的所述所接收到的图像包括所述用户的面部的图像。
23.一种处理系统，包括：
包括计算机可执行指令的存储器；以及
处理器，所述处理器被配置成执行所述计算机可执行指令并使所述处理系统：
接收用户的生物测定数据源的图像；
通过第一人工神经网络来提取至少所接收到的图像的特征；
将所述至少所接收到的图像的所提取特征与多个登记生物测定数据源图像的经组合特征表示相组合；
通过将所述至少所接收到的图像的经组合的所提取特征以及所述多个登记生物测定数据源图像的所述经组合特征表示用作到第二人工神经网络的输入来确定所述用户的所述生物测定数据源的所接收到的图像是来自真实生物测定数据源还是所述真实生物测定数据源的副本；以及
基于所述确定来采取一个或多个动作以允许或者拒绝对受保护资源的用户访问。
24.如权利要求23所述的处理系统，其中所述处理器被进一步配置成使得所述处理系统将由神经网络从根据多个登记生物测定数据源图像导出的信息提取的特征聚集成所述多个登记生物测定数据源图像的所述经组合特征表示。
25.如权利要求23所述的处理系统，其中为了提取所述至少所接收到的图像的特征，所述处理器被配置成使所述处理系统：
将所述所接收到的图像和所述多个登记生物测定数据源图像组合成图像堆叠；以及
通过经由所述第一人工神经网络处理所述图像堆叠来提取所述所接收到的图像的特征和所述多个登记生物测定数据源图像中的每一者的特征。
26.如权利要求23所述的处理系统，其中为了确定所述用户的所述生物测定数据源的所述所接收到的图像是来自真实生物测定数据源还是所述真实生物测定数据源的副本，所述处理器被配置成使所述处理系统计算距离度量，所述距离度量将所述所接收到的图像和所述多个登记生物测定数据源图像进行比较。
27.如权利要求23所述的处理系统，其中为了确定所述用户的所述生物测定数据源的所述所接收到的图像是来自真实生物测定数据源还是所述真实生物测定数据源的副本，所述处理器被配置成使所述处理系统使用键-查询-值注意力层来对所述所接收到的图像的所述所提取特征和从所述多个登记生物测定数据源图像提取的所述特征进行加权。
28.如权利要求23所述的处理系统，其中为了确定所述用户的所述生物测定数据源的所述所接收到的图像是来自真实生物测定数据源还是所述真实生物测定数据源的副本，所述处理器被配置成使所述处理系统：
使用第一多层感知器来将所述所接收到的图像的所述所提取特征嵌入到查询向量中；
使用第二多层感知器来将从所述多个登记生物测定数据源图像提取的所述特征嵌入到键向量中；
使用第三多层感知器来将从所述多个登记生物测定数据源图像提取的所述特征嵌入到值向量中；以及
以嵌入到所述查询向量中的特征为条件，基于所述查询向量与所述键向量之间的内积来生成与关于所述所接收到的图像是来自真实生物测定数据源的可能性相对应的值。
29.一种用于指纹认证的设备，包括：
用于接收用户的生物测定数据源的图像的装置；
用于通过第一人工神经网络来提取至少所接收到的图像的特征的装置；
用于将所述至少所接收到的图像的所提取特征与多个登记生物测定数据源图像的经组合特征表示相组合的装置；
用于通过将所述至少所接收到的图像的经组合的所提取特征以及所述多个登记生物测定数据源图像的所述经组合特征表示用作到第二人工神经网络的输入来确定所述用户的所述生物测定数据源的所接收到的图像是来自真实生物测定数据源还是所述真实生物测定数据源的副本的装置；以及
用于基于所述确定来采取一个或多个动作以允许或者拒绝对受保护资源的用户访问的装置。
30.一种其上存储有指令的非瞬态计算机可读介质，所述指令在由处理器执行时使得所述处理器执行包括以下的操作：
接收用户的生物测定数据源的图像；
通过第一人工神经网络来提取至少所接收到的图像的特征；
将所述至少所接收到的图像的所提取特征与多个登记生物测定数据源图像的经组合特征表示相组合；
通过将所述至少所接收到的图像的经组合的所提取特征以及所述多个登记生物测定数据源图像的所述经组合特征表示用作到第二人工神经网络的输入来确定所述用户的所述生物测定数据源的所接收到的图像是来自真实生物测定数据源还是所述真实生物测定数据源的副本；以及
基于所述确定来采取一个或多个动作以允许或者拒绝对受保护资源的用户访问。
CN202280025687.7A 2021-04-09 2022-04-09 使用机器学习和登记数据的个性化生物测定反欺骗保护 Pending CN117121068A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202163173267P 2021-04-09 2021-04-09
US63/173,267 2021-04-09
US17/658,573 US20220327189A1 (en) 2021-04-09 2022-04-08 Personalized biometric anti-spoofing protection using machine learning and enrollment data
US17/658,573 2022-04-08
PCT/US2022/071653 WO2022217294A1 (en) 2021-04-09 2022-04-09 Personalized biometric anti-spoofing protection using machine learning and enrollment data

Publications (1)

Publication Number Publication Date
CN117121068A true CN117121068A (zh) 2023-11-24

Family

ID=83510261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280025687.7A Pending CN117121068A (zh) 2021-04-09 2022-04-09 使用机器学习和登记数据的个性化生物测定反欺骗保护

Country Status (5)

Country Link
US (1) US20220327189A1 (zh)
EP (1) EP4320606A1 (zh)
KR (1) KR20230169104A (zh)
CN (1) CN117121068A (zh)
BR (1) BR112023019936A2 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022205685A1 (zh) * 2021-03-29 2022-10-06 泉州装备制造研究所 一种基于轻量化网络的交通标志识别方法
US20220318351A1 (en) * 2021-03-31 2022-10-06 Samsung Electronics Co., Ltd. Method and apparatus with input data classification
US12086225B1 (en) * 2021-09-22 2024-09-10 Amazon Technologies, Inc. System to reduce data retention
US20230104839A1 (en) * 2021-10-01 2023-04-06 NEC Laboratories Europe GmbH Partial planar point cloud matching using machine learning with applications in biometric systems
US20240169041A1 (en) * 2022-11-22 2024-05-23 Bank Of America Corporation System and method for generating user identity based encrypted data files using capsule neural networks to prevent identity misappropriation
CN115690920B (zh) * 2023-01-03 2023-04-14 智慧眼科技股份有限公司 医疗身份认证的可信活体检测方法及相关设备
US12033422B1 (en) 2023-03-20 2024-07-09 Qualcomm Incorporated Ultrasonic fingerprint anti-spoofing based on A-line data
US11983955B1 (en) * 2023-08-16 2024-05-14 Netskope, Inc. Image matching using deep learning image fingerprinting models and embeddings

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106415632A (zh) * 2014-02-24 2017-02-15 汉索知识产权私人有限公司 便携式基于生物特征的身份设备
US9578024B2 (en) * 2014-12-18 2017-02-21 Sri International Continuous authentic of mobile device users
JP7011152B2 (ja) * 2017-08-30 2022-01-26 富士通株式会社 生体画像処理装置、生体画像処理方法、及び生体画像処理プログラム
US11049275B2 (en) * 2018-11-21 2021-06-29 Samsung Electronics Co., Ltd. Method of predicting depth values of lines, method of outputting three-dimensional (3D) lines, and apparatus thereof
KR20200116763A (ko) * 2019-04-02 2020-10-13 삼성전자주식회사 키-밸류 커플링을 이용한 유사성 처리 방법 및 장치
EP3987380B1 (en) * 2019-06-18 2024-10-16 Pupil Labs GmbH Systems and methods for determining one or more parameters of a user's eye
US11080833B2 (en) * 2019-11-22 2021-08-03 Adobe Inc. Image manipulation using deep learning techniques in a patch matching operation
JP7414531B2 (ja) * 2020-01-06 2024-01-16 株式会社東芝 学習装置、学習方法及びプログラム
US20220272084A1 (en) * 2021-02-19 2022-08-25 Lenworth Alexander Hyatt 5G-WiFi inside secure iris biometrics' login

Also Published As

Publication number Publication date
EP4320606A1 (en) 2024-02-14
US20220327189A1 (en) 2022-10-13
KR20230169104A (ko) 2023-12-15
BR112023019936A2 (pt) 2023-11-14

Similar Documents

Publication Publication Date Title
US20220327189A1 (en) Personalized biometric anti-spoofing protection using machine learning and enrollment data
US11887404B2 (en) User adaptation for biometric authentication
Walia et al. Secure multimodal biometric system based on diffused graphs and optimal score fusion
Arora et al. A robust framework for spoofing detection in faces using deep learning
US20200349372A1 (en) Method and apparatus with liveness detection
Şengür et al. Deep feature extraction for face liveness detection
US11275959B2 (en) Systems and methods for enrollment in a multispectral stereo facial recognition system
Nguyen et al. Complex-valued iris recognition network
Arora et al. Presentation attack detection for iris recognition using deep learning
WO2013181695A1 (en) Biometric verification
Choras Multimodal biometrics for person authentication
Saied et al. A novel approach for improving dynamic biometric authentication and verification of human using eye blinking movement
Rajalakshmi et al. A multimodal architecture using Adapt‐HKFCT segmentation and feature‐based chaos integrated deep neural networks (Chaos‐DNN‐SPOA) for contactless biometricpalm vein recognition system
Jha et al. A Novel Texture based Approach for Facial Liveness Detection and Authentication using Deep Learning Classifier
Kavitha et al. Fuzzy local ternary pattern and skin texture properties based countermeasure against face spoofing in biometric systems
Kuznetsov et al. Biometric authentication using convolutional neural networks
WO2022217294A1 (en) Personalized biometric anti-spoofing protection using machine learning and enrollment data
Chatterjee et al. Presentation attack detection using wavelet transform and deep residual neural net
Gupta et al. Biometric iris identifier recognition with privacy preserving phenomenon: A federated learning approach
Bokade et al. An ArmurMimus multimodal biometric system for Khosher authentication
de Souza et al. Efficient width-extended convolutional neural network for robust face spoofing detection
Hsiao et al. More accurate and robust PRNU-based source camera identification with 3-step 3-class approach
Ata et al. Robust features fusion utilization for supervised palmprint recognition
Shirke et al. Optimization driven deep belief network using chronological monarch butterfly optimization for iris recognition at-a-distance
Malik et al. A Novel Deep Learning-Based Method for Real-Time Face Spoof Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination