CN113269120A - 用于人脸图像质量识别的方法、系统和装置 - Google Patents

用于人脸图像质量识别的方法、系统和装置 Download PDF

Info

Publication number
CN113269120A
CN113269120A CN202110634231.8A CN202110634231A CN113269120A CN 113269120 A CN113269120 A CN 113269120A CN 202110634231 A CN202110634231 A CN 202110634231A CN 113269120 A CN113269120 A CN 113269120A
Authority
CN
China
Prior art keywords
face image
identification document
model
face
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110634231.8A
Other languages
English (en)
Inventor
李建树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Labs Singapore Pte Ltd
Original Assignee
Alipay Labs Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Labs Singapore Pte Ltd filed Critical Alipay Labs Singapore Pte Ltd
Publication of CN113269120A publication Critical patent/CN113269120A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

提供了用于人脸图像质量识别的方法、系统和装置。公开了计算机实现的用于实现人脸图像质量识别的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。所述方法之一包括：针对多个用户中的每一个用户，将身份证明文件(ID)人脸图像与活体人脸图像配对以形成人脸图像对；基于每个人脸图像对之间的人脸相似度，为每个人脸图像对生成所述ID人脸图像的相似度得分；以及基于所述ID人脸图像和所述ID人脸图像对应的相似度得分，训练用于ID人脸图像质量识别的模型。

Description

用于人脸图像质量识别的方法、系统和装置
技术领域
本文一般性地而非唯一地涉及用于人脸图像质量识别的方法和装置。
背景技术
“电子化了解你的客户(eKYC)”是企业以电子方式进行的数字尽职调查处理，其可验证其客户的真实性，以评估非法意图对业务关系的潜在风险。为了完成eKYC处理，一个人可能需要提交政府认可的带有照片的身份证明文件(ID)的图像，以证明其身份。在这种情况下，可能需要控制ID图像的质量以进行有效的人脸识别。
eKYC方案中的主要问题之一与ID上的低质量人脸图像有关。迄今为止，检查人脸图像质量的常规方法是通过训练二值分类模型并输出以下两个类别来将其视为二值分类任务：质量合格的人脸图像和质量不合格的人脸图像。但是，对模型进行训练涉及的人工标记的工作量可能很大，而且要获得高准确度模型也很费时。
发明内容
描述的实施例提供了用于对身份证件文件(ID)进行人脸图像质量识别的方法、装置、设备和系统。在一些实施例中，针对“电子化了解你的客户(eKYC)”系统中的用户集合，可以将用户的ID人脸图像与用户的活体人脸图像配对。可以基于配对的图像来生成人脸相似度得分。在一些实施例中，可以对所有生成的人脸相似度得分进行排名，并且排名可以表示ID人脸图像的质量。基于ID人脸图像的排名，可以训练人脸质量识别模型。
在一些实施方式中，人脸质量识别模型可以为多类分类模型。在训练期间，在基于人脸相似度得分对ID人脸图像进行排名之后，可以给ID人脸图像赋予不同的标签。例如，排名最低的10个百分位数的ID人脸图像被赋予标签0，接下来的10个百分位数的ID人脸图像被赋予标签1，最终排名最高的10个百分位数的ID人脸图像被赋予标签9，以训练10路分类器。在一些实施方式中，人脸质量识别模型也可以是基于ID人脸图像及其对应的人脸相似度得分训练的回归模型。在一些实施方式中，用于人脸图像质量识别的多类分类模型或回归模型可以是基于卷积神经网络(CNN)的。在一些实施方式中，在找到ID人脸图像和活体人脸图像的配对之后，可以使用无参考图像质量模型和人脸姿势估计模型来去除具有低图像质量的活体人脸和具有非正面姿势的人脸。
根据一个实施例，提供了一种计算机实现的方法，包括：针对多个用户中的每一个用户，将ID人脸图像与活体人脸图像配对以形成人脸图像对；基于每个人脸图像对之间的人脸相似度，为每个人脸图像对生成所述ID人脸图像的相似度得分；以及基于所述ID人脸图像和所述ID人脸图像对应的相似度得分，训练用于ID人脸图像质量识别的模型。根据另一实施例，提供了一种图像质量识别方法，包括：接收用户的ID人脸图像；将所述ID人脸图像输入到用于ID人脸图像质量识别的模型，其中，所述模型是根据上述实施例中的方法训练的；以及基于所述模型的输出来确定所述ID人脸图像的质量。
根据其他实施例，这些一般和特定实施例中的一个或多个可以使用装置来实现，该装置包括多个模块、系统、方法或计算机可读介质，或者设备、系统、方法和计算机可读介质的任意组合。前述和描述的其他实施例可以各自可选地包括以下实施例中的一些、全部或不包括以下实施例。
附图说明
实施例和实施方式仅以举例的方式提供，并且通过以下结合附图阅读的书面描述，本领域普通技术人员将更好地理解实施例和实施方式，并且这些实施例和实施方式将易于理解，其中：
图1是示出根据实施例的计算机实现的用于训练人脸图像质量识别模型的方法的示例的流程图。
图2是示出根据实施例的图1中的方法的实施方式的示例的流程图。
图3A和3B分别是根据实施例的分类网络和回归网络的示例的示意图。
图4是根据实施例的用于人脸图像质量识别的装置的模块的示例的示意图。
图5是根据实施例的适合于执行图1和图2所示的示例性方法的至少一些步骤的计算机系统的示例的框图。
所属领域的技术人员将理解，为了简单和清楚起见而示出图中的元件，且未必按比例描绘。例如，可相对于其他元件扩大图示、框图或流程图中的一些元件的尺寸，以帮助增进对实施例的理解。
具体实施方式
将仅以举例的方式参照附图描述了实施例。附图中相同的附图标记和字符表示相同的元件或等同物。
以下描述的某些部分是根据对计算机存储器内数据的操作的算法以及功能或符号表示来显式或隐式呈现的。这些算法描述以及功能或符号表示是数据处理领域技术人员用来最有效地向本领域其他技术人员传达其工作实质的手段。这里，算法通常被认为是导致所需结果的一系列自洽的步骤。这些步骤是需要对能够存储、传输、组合、比较和以其他方式操纵的电信号、磁信号或光信号之类的物理量进行物理操纵的步骤。
除非另有特别说明，并且从下文中可明显看出，否则将理解，在整个本文中，利用诸如“接收”、“生成”、“获得”、“确定”、“预测”、“配对”、“匹配”、“划分”、“分类”、“排除”、“去除”、“进入”、“计算”、“设置”、“定义”、“比较”、“处理”、“训练”、“更新”、“选择”、“认证”、“提供”、“输入”、“输出”等的术语指的是计算机系统或类似电子设备的动作和处理，所述计算机系统或类似电子设备将计算机系统内的以物理量表示的数据操纵和转换为计算机系统或其他信息存储、传输或显示设备内的类似以物理量表示的其他数据。
本文还公开了用于执行所述方法的操作的装置。这样的装置可被专门地构造用于所需的目的，或者可包括计算机或由存储在计算机中的计算机程序选择性地激活或重新配置的其他设备。本文提出的算法和显示与任何特定计算机或其他装置没有固有的关联。根据本文的教导，各种机器可与程序一起使用。可选地，用于执行所需方法步骤的更专用的装置的构造可能是合适的。适合于执行本文描述的各种方法/处理的计算机的结构将从下面的描述中显现。
另外，本文还隐含地公开了一种计算机程序，因为对于本领域技术人员而言清楚的是，本文所述方法的各个步骤可通过计算机代码来实现。计算机程序不旨在限于任何特定的编程语言及其实现。应当理解，各种编程语言及其代码可用于实现本文所包含的本公开的教导。而且，计算机程序不旨在限于任何特定的控制流。在不脱离本文的精神或范围的情况下，计算机程序还有许多其他变体，其可使用不同的控制流。
此外，计算机程序的一个或多个步骤可并行而不是顺序地执行。这样的计算机程序可存储在任何计算机可读介质上。计算机可读介质可包括诸如磁盘或光盘的存储设备、存储芯片、或适合于与计算机接口的其他存储设备。计算机可读介质还可包括诸如在互联网系统中例示的硬连线介质，或者诸如在GSM移动电话系统中例示的无线介质，以及诸如蓝牙、ZigBee、Wi-Fi的其他无线系统。当在这样的计算机上加载并执行该计算机程序时，该计算机程序有效地产生了实现方法的步骤的装置。
本文还可被实现为硬件模块。更具体地，在硬件意义上，模块是被设计为与其他组件或模块一起使用的功能硬件模块。例如，可使用分立的电子组件来实现一个模块，或者模块可形成整个电子电路的一部分，例如专用集成电路(ASIC)或现场可编程门阵列(FPGA)。存在许多其他可能性。本领域技术人员将理解，该系统还可被实现为硬件和软件模块的组合。
评估ID图像质量的动作或处理中的人脸图像质量识别可视为欺诈检测或伪造身份检测的一种形式，其中可在实施欺诈行为之前验证用户的合法性并检测潜在的欺诈者。有效的身份认证可通过允许通过认证的用户访问其受保护的资源来增强系统的数据安全性。实施例试图提供用于在照片ID中有效且准确地识别人脸图像质量的方法和系统，从而检测质量不合格的ID图像并阻止潜在的欺诈者的访问。有利地，可有效地减少或消除诸如洗钱和欺诈的财务风险。
本文描述的技术产生一种或多种技术效果。提供了一种自监督的人脸质量训练方法，以通过将质量的分布与配对的ID人脸图像和活体人脸图像的人脸相似度得分的分布相关联来识别ID(例如ID卡、护照)上的人脸质量。与二值分类技术不同，二值分类技术需要大量工作来标记质量好或差的大量ID人脸图像，本文所述的训练方法不涉及人工数据标记处理。此外，经训练的人脸质量识别模型可以是回归模型或多类分类器。当接收到新的ID图像时，可将ID人脸图像质量量化或分类为各种类别之一，而不仅仅是“好”或“差”质量。有利地，根据实际实施中的要求，模型的用户可更准确地设置和调整质量选择标准，以便确定接受或拒绝某些质量的ID人脸图像。
图1是示出用于训练人脸图像质量识别模型的示例性方法的流程图100。经训练的模型可以是回归模型或多类分类模型，可用于ID人脸图像的质量识别。在实施例中，经训练的模型为多类分类模型，并且该示例性方法包括以下步骤：
-110：针对多个用户中的每一个，将ID人脸图像与活体人脸图像配对以形成人脸图像对；
-120：基于每个人脸图像对之间的人脸相似度，为每个人脸图像对生成ID人脸图像的相似度得分；
-130：将相似度得分划分为关于ID人脸图像质量的N个标签；
-140：为ID人脸图像分配对应的标签；以及
-150：基于ID人脸图像和所述ID人脸图像的对应标签，训练N个类别的多类分类器。
在步骤110，可将用户的ID人脸图像与用户的活体人脸图像配对以形成用户的人脸图像对。ID人脸图像可指照片ID上的人脸图像。照片ID可以是卡(例如身份证或驾驶执照)、文件(例如护照或出生证明)等形式。活体人脸图像可指拍摄活人得到的人脸图像。在一些实施方式中，活体人脸图像可以是在eKYC处理期间收集或在生物特征认证(例如解锁智能手机或访问移动应用)期间拍摄的人脸图像。在一些实施方式中，用于训练人脸图像质量识别模型的方法可应用于已经使用了一段时间的eKYC系统，该系统中有一定数量的用户。在eKYC系统的示例中，可基于用户在eKYC系统中的唯一标识来完成用户的ID人脸图像与对应的活体人脸图像的配对。有利地，可自动且有效地获得针对所有用户的丰富的配对图像。也可通过其他已知技术来将用户的ID人脸图像与对应的活体人脸图像配对。实施方式不受限制。在一些实施方式中，一个ID人脸图像和一个活体人脸图像可与一个用户相关联。在一些实施方式中，多个活体人脸图像可与一个用户相关联，并且任何一个活体人脸图像可用于与ID人脸图像配对。
在一些实施例中，可预先筛选活体人脸图像以确定它们是否满足一个或多个预定标准，并且可在进行后续步骤之前去除或排除不满足一个或多个预定标准的活体人脸图像。在一些实施方式中，无参考图像质量模型可用于去除图像质量低的人脸图像。人脸姿势估计模型也可用于去除具有非正面姿势的人脸。有利地，预筛选可排除不适合用作比较参考的活体人脸图像，从而提高了模型准确度。
在步骤120，可基于每个人脸图像对之间的人脸相似度来为ID人脸图像生成相似度得分。高相似度得分可表示ID人脸图像中的人脸与活体人脸图像中的人脸高度相似，这可能在ID人脸图像的质量高时发生。在一些实施方式中，可使用机器学习技术来生成相似度得分，例如通过采用两张人脸并输出两张人脸之间的相似度得分的人脸识别模型等来生成。
在步骤110和120之后，基于ID人脸图像和ID人脸图像相对应的相似度得分，可训练用于ID人脸图像识别的模型。在一些实施例中，经训练的模型可以是将相似度得分归一化为固定范围(例如0至1)的回归模型。在一些实施例中，该方法可进行到步骤130、140和150并且训练多类分类器。
在步骤130，可将所生成的相似度得分划分为关于人脸图像质量的N个标签。在一些实施方式中，可首先对所生成的相似度得分进行排名，并且相似度得分的排名可被用来对ID人脸图像的质量进行排名。随后，可将排名的相似度得分划分为不同的标签，例如，最低的10个百分位数被赋予标签0，接下来的10个百分位数被赋予标签1，依此类推，最高的10个百分位数被赋予标签9，依此类推，从而划分为10个不同的标签。除数字标签外，标签还可以是等级(例如，非常低/低/中/高/非常高，或者差/一般/好/极好)，并且标签的数量可由用户定义(例如，4、5、10、20、100)。实施方式不受限制。
在步骤140，可为每个ID人脸图像分配对应的标签。可理解，现在已经基于ID人脸图像的质量排名对ID人脸图像进行了标记，并且在整个处理中都不涉及人工标记。在步骤150，可基于ID人脸图像及其对应的标签将N个类别的多类分类器训练为人脸图像质量识别模型。在一些实施例中，多类分类器可以是基于CNN的分类器等。可选地，可在步骤110和120之后训练回归模型，而不是分类模型。在一些实施例中，回归模型可以是基于CNN的模型。
本文可进一步提供用于使用人脸图像质量识别模型来评估新用户的ID人脸图像的质量的方法、装置和系统，人脸图像质量识别模型通过上述方法来训练。当接收到新用户的ID人脸图像时(例如，通过上传照片ID的图像)，将ID人脸图像输入到模型，并且可确定ID人脸图像的质量。在根据先前方法训练的多类分类器模型的情况下，可输出ID人脸图像的类别(例如“类别2”)，并且可基于该类别来确定ID人脸图像的质量(例如，“类别2”在0至9的等级中可能是低质量、9为质量的最高的10个百分位数)。在根据先前方法训练的回归模型的情况下，可输出ID人脸图像的得分(例如“0.91”)，并且可基于该得分确定ID人脸图像的质量(例如“0.91”可以是0至1的归一化范围内的高质量，1是具有最高相似度得分的最佳质量)。
例如，对于eKYC系统中的示例性实施方式，通过选择一个或多个类别作为合格质量，多类分类器的用户可能能够设置质量识别标准。有利地，如果新用户的ID人脸图像被分类为不在一个或多个所选类别内的类别，则可自动拒绝ID人脸图像并阻止其进入eKYC系统，这提高了eKYC的总体成功率。还可以理解，与二值分类器相比，在回归模型或多类分类器中，可轻松且更准确地设置和调整质量识别标准。例如，对于具有中等财务风险水平的服务，eKYC系统可将质量识别标准设置为“类别5及以上”。对于具有较高财务风险水平的服务，eKYC系统可将质量识别标准设置为“类别8和类别9”。实施方式不受限制。
图2是示出图1中的方法的实施方式的示例性流程图200。如流程图的上部所示，将多个用户的ID人脸图像和活体人脸图像配对，并为每个配对图像生成人脸相似度得分。可以理解，高质量ID人脸图像中的人脸往往与同一人的活体人脸图像中的人脸非常相似。例如，通过将ID人脸图像208a与其配对的活体人脸图像208b进行比较，可能会生成高相似度得分。相反，通过将ID人脸图像202a与其配对的活体人脸图像202b进行比较，可能会生成低相似度得分。当收集到足够的数据来训练模型时，可观察到人脸相似度得分的分布模式。在一些实施例中，人脸相似度得分可如图所示呈正态分布。
接下来，基于人脸相似度得分，可以以低质量到高质量的等级对ID人脸图像进行排名。由于ID人脸图像202a与配对的活体人脸图像202b之间的人脸相似度得分低，因此ID人脸图像202a可被排名为低质量，由于ID人脸图像208a与配对的活体人脸图像208b之间的人脸相似度得分高，因此ID人脸图像208a可被排名为高质量。在排名时，可为每个ID人脸图像分配一个质量标签。例如，所有ID人脸图像可被划分为6个质量标签，并且为ID人脸图像204a分配第二质量标签，如图中的独热表示所示的。在不同的实施方式中，而可将所有ID人脸图像划分为3个或4个质量标签，并且可为ID人脸图像202a和204a分配相同的质量标签。实施方式不受限制。在对ID人脸图像进行质量标记之后，该方法可进行到训练人脸质量识别模型，诸如图3A所示的分类模型。
图3A是分类网络的示例的示意图300。在为所有ID人脸图像分配了质量标签后，可基于CNN训练多类人脸图像质量识别模型。可选地，可基于ID人脸图像及其对应的人脸相似度得分来训练回归人脸图像质量识别模型，而无需将ID人脸图像划分为不同的标签。在图3B中示出回归网络的示例的示意图350。如图所示，分类网络可输出针对不同标签的预测概率，而回归网络可输出值或数量。可理解，取决于期望的输出，在不脱离本文的范围的情况下可使用其他实施方式和/或模型的组合。
可理解，训练模型并将模型用于人脸图像质量识别可以是由同一方或不同方执行的两个独立处理。此外，ID人脸图像质量识别方法可单独实现，也可与其他身份验证和身份证明方法结合实现。实施方式不受限制。
图4是包括用于人脸图像质量识别的模块的示例性装置400的示意图。装置400至少包括配对模块410、人脸比较模块420和训练模块440。参考图1和图2，配对模块410可被配置为将用户的ID人脸图像与活体人脸图像配对。人脸比较模块420可被配置为比较配对图像的人脸相似度并生成人脸相似度得分。当训练分类模型时，该装置可附加地包括标记模块430，该标记模块430被配置为基于所生成的相似度得分来标记ID人脸图像。此外，装置400还可包括排名模块，该排名模块通过对所生成的相似度得分进行排名来对ID人脸图像进行排名。训练模块440可被配置为训练人脸图像质量识别模型，诸如基于ID人脸图像及其对应标签的多类分类器，或者基于ID人脸图像及其对应的人脸相似度得分的回归模型。装置400可附加地包括无参考图像质量模块和/或人脸姿势估计模块，其被配置为确定活体人脸图像的质量和/或活体人脸图像中的姿势。装置400还可包括接收模块，该接收模块被配置为接收新用户的ID人脸图像的图像数据。在分类模型的情况下，装置400还可包括：分类模块，被配置为预测新用户的ID人脸图像的类别；以及输出模块，被配置为输出预测类别或基于预测类别输出ID人脸图像的质量。装置400可进一步包括质量识别模块，该质量识别模块被配置为为ID人脸图像设置质量识别标准并且根据ID人脸图像是否满足质量识别标准来接受或拒绝ID人脸图像(例如，某些类别或超过一定得分)。这些模块中的一个或多个或者任何组合可以是用于检测照片ID中的照片替换的装置的一部分。
先前实施例中所述的系统、装置、模块或单元可通过使用计算机芯片或实体来实现，或者可使用具有特定功能的产品来实现。典型的实施例设备是计算机，计算机可以是个人计算机、笔记本电脑、手机、照相手机、智能手机、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板电脑、可穿戴设备、或这些设备的任何结合。被描述为单独部件的模块可以是或不是物理上分离的，并且被显示为模块的部件可以是或不是物理模块，可位于一个位置，或者可分布在多个网络模块上。可基于实际需求来选择一些或所有模块，以实现本文方案的目标。本领域普通技术人员无需付出创造性劳动就能理解和实现本文的实施例。
图5是适合于执行图1和图2所示的示例性方法的至少一些步骤的示例性计算机系统500的框图。仅以举例的方式提供对计算机系统/计算设备500的描述，而不旨在进行限制。
如图5所示，示例性计算设备500包括用于执行软件例程的处理器502。尽管为了清楚起见示出了单个处理器，但是计算设备500还可包括多处理器系统。处理器502连接到通信基础设施506，以与计算设备500的其他组件进行通信。通信基础设施506可包括例如通信总线、交叉开关或网络。
计算设备500还包括诸如随机存取存储器(RAM)之类的主存储器504和辅助存储器510。辅助存储器510可包括例如存储驱动器512和/或可移动存储驱动器514，其中存储驱动器512可以是硬盘驱动器、固态驱动器或混合驱动器，可移动存储驱动器514可包括磁带驱动器、光盘驱动器、固态存储驱动器(例如USB闪存驱动器、闪存设备、固态驱动器或存储卡)等。可移动存储驱动器514以众所周知的方式对可移动存储介质518进行读取和/或写入。可移动存储介质518可包括由可移动存储驱动器514读取和写入的磁带、光盘、非易失性存储器存储介质等。如相关领域技术人员将理解的那样，可移动存储介质518包括其中存储有计算机可执行程序代码指令和/或数据的计算机可读存储介质。
在可选实施方式中，辅助存储器510可附加地或可选地包括用于允许将计算机程序或其他指令加载到计算设备500中的其他类似装置。这样的装置可包括例如可移动存储单元522和接口520。可移动存储单元522和接口520的示例包括程序盒和盒接口(例如视频游戏机设备中的接口)、可移动存储芯片(例如EPROM或PROM)和相关联的插槽、可移动固态存储驱动器(例如USB闪存驱动器、闪存设备、固态驱动器或存储卡以及允许软件和数据从可移动存储单元522传输到计算机系统500的其他可移动存储单元522和接口520。
计算设备500还包括至少一个通信接口524。通信接口524允许软件和数据经由通信路径526在计算设备500和外部设备之间传送。在本文的各种实施例中，通信接口524允许在计算设备500和诸如公共数据或私有数据通信网络之类的数据通信网络之间传输数据。通信接口524可用于在不同的计算设备500之间交换数据，这些计算设备500形成互连的计算机网络的一部分。通信接口524的示例可包括调制解调器、网络接口(诸如以太网卡)、通信端口(诸如，串口、并口、打印机、GPIB、IEEE 1394、RJ45、USB)、具有相关电路的天线等。通信接口524可以是有线的或者可以是无线的。经由通信接口524传送的软件和数据的形式为信号，该信号可以是能够被通信接口524接收的电、电磁、光或其他信号。这些信号通过通信路径526提供给通信接口。
如图5所示，计算设备500还包括：显示器接口528，其执行用于将图像呈现到相关联的显示器530的操作；以及音频接口532，其执行用于经由相关联的扬声器534播放音频内容的操作。
如本文所使用的，术语“计算机程序产品”可部分地指代可移动存储介质518、可移动存储单元522、安装在存储驱动器512中的硬盘、或承载通过通信路径526(无线链路或电缆)至通信接口524的软件的载波。计算机可读存储介质是指将记录的指令和/或数据提供给计算设备500以执行和/或处理的任何非暂时性、非易失性有形存储介质。这种存储介质的示例包括磁带、CD-ROM、DVD、蓝光(Blu-rayTM光盘、硬盘驱动器、ROM或集成电路、固态存储驱动器(例如USB闪存驱动器、闪存设备、固态驱动器或存储卡)、混合驱动器、磁光盘或诸如PCMCIA卡之类的计算机可读卡，无论这些设备是在计算设备500的内部还是外部。也可参与向计算设备500提供软件、应用程序、指令和/或数据的暂时性或非有形计算机可读传输介质的示例包括无线电或红外传输信道及至另一计算机或联网设备的网络连接，以及包括电子邮件传输和网站等上记录的信息的互联网或以太网等。
计算机程序(也称为计算机程序代码)存储在主存储器504和/或辅助存储器510中。也可经由通信接口524接收计算机程序。此类计算机程序在被执行时使计算设备500能够执行本文所讨论的实施例的一个或多个特征。在各种实施例中，计算机程序在被执行时使处理器502能够执行上述实施例的特征。因此，此类计算机程序表示计算机系统500的控制器。
软件可存储在计算机程序产品中，并可使用可移动存储驱动器514、存储驱动器512或接口520加载到计算设备500中。计算机程序产品可以是非暂时性计算机可读介质。可选地，可通过通信路径526将计算机程序产品下载到计算机系统500。该软件在由处理器502执行时使计算设备500执行必要操作从而执行如图1和图2所示的方法。
应该理解，图5的实施例仅以举例的方式给出以解释计算机系统500的操作和结构。因此，在一些实施例中，可省略计算设备500的一个或多个特征。而且，在一些实施例中，计算设备500的一个或多个特征可被组合在一起。另外，在一些实施例中，计算设备500的一个或多个特征可被分成一个或多个组成部分。
在实施方式中，服务器通常可被描述为包括至少一个处理器和包括计算机程序代码的至少一个存储器的物理设备。所述至少一个存储器和计算机程序代码被配置为与所述至少一个处理器一起使所述物理设备执行必要的操作。
本领域技术人员将理解，在不脱离如广泛描述的本文的范围的情况下，可对本文特定实施例所示的内容进行多种变化和/或修改。因此，所述实施例在所有方面都应被认为是说明性的而非限制性的。

Claims (15)

1.一种计算机实现的用于人脸图像质量识别的方法，包括：
针对多个用户中的每一个用户，将身份证明文件人脸图像与活体人脸图像配对以形成人脸图像对；
基于每个人脸图像对之间的人脸相似度，为每个人脸图像对生成所述身份证明文件人脸图像的相似度得分；以及
基于所述身份证明文件人脸图像和所述身份证明文件人脸图像对应的相似度得分，训练用于身份证明文件人脸图像质量识别的模型。
2.根据权利要求1所述的方法，其中，训练用于身份证明文件人脸图像质量识别的模型包括：
训练多类分类器。
3.根据权利要求2所述的方法，其中，训练所述多类分类器包括：
将所述相似度得分划分为关于身份证明文件人脸图像质量的N个标签；
为所述身份证明文件人脸图像分配对应的标签；以及
基于所述身份证明文件人脸图像和所述身份证明文件人脸图像的对应标签，训练N个类别的多类分类器。
4.根据权利要求3所述的方法，其中，将所述相似度得分划分为N个标签是基于百分位数的。
5.根据权利要求1所述的方法，其中，训练用于身份证明文件人脸图像质量识别的模型包括：
训练回归模型。
6.根据前述权利要求中任一项所述的方法，还包括，在生成所述身份证明文件人脸图像的相似度得分之前：
针对所述多个用户中的每一个用户，确定所述活体人脸图像是否满足一个或多个预定标准；以及
响应于确定所述活体人脸图像不满足所述一个或多个预定标准，排除所述活体人脸图像。
7.根据权利要求6所述的方法，其中，确定所述活体人脸图像是否满足所述一个或多个预定标准，包括：
使用无参考图像质量模型和/或人脸姿势估计模型来确定所述活体人脸图像是否满足所述一个或多个预定标准；以及
响应于确定所述活体人脸图像具有低图像质量和/或具有非正面姿势的人脸，排除所述活体人脸图像。
8.根据前述权利要求中任一项所述的方法，其中，所述相似度得分是正态分布的。
9.根据前述权利要求中任一项所述的方法，其中，所述模型是基于卷积神经网络的模型。
10.根据前述权利要求中任一项所述的方法，其中，所述活体人脸图像包括：
在生物特征认证期间收集的人脸图像；或
在“电子化了解你的客户”过程期间收集的人脸图像。
11.一种用于人脸图像质量识别的方法，包括：
接收用户的身份证明文件人脸图像；
将所述身份证明文件人脸图像输入到用于身份证明文件人脸图像质量识别的模型，其中，所述模型是根据如权利要求1至10中任一项所述的方法训练的；以及
基于所述模型的输出来确定所述身份证明文件人脸图像的质量。
12.根据权利要求11所述的方法，其中，所述模型为根据如权利要求2至4中任一项所述的方法训练的多类分类器，所述方法包括：
将所述身份证明文件人脸图像输入到所述多类分类器；
输出所述身份证明文件人脸图像的类别；以及
基于所述类别确定所述身份证明文件人脸图像的质量。
13.根据权利要求12所述的方法，还包括：
选择所述多类分类器的一个或多个类别作为质量识别标准；以及
响应于所述类别不属于所述选择的一个或多个类别，自动地拒绝所述身份证明文件人脸图像。
14.一种计算机实现的用于人脸图像质量识别的系统，包括：
一个或多个处理器；以及
耦接至所述一个或多个处理器且其上存储有指令的一个或多个计算机可读存储器，所述指令能由所述一个或多个处理器执行以执行权利要求1至13中任一项所述的方法。
15.一种用于人脸图像质量识别的装置，包括用于执行权利要求1至13中任一项所述的方法的多个模块。
CN202110634231.8A 2020-08-11 2021-06-07 用于人脸图像质量识别的方法、系统和装置 Pending CN113269120A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
SG10202007655X 2020-08-11
SG10202007655X 2020-08-11

Publications (1)

Publication Number Publication Date
CN113269120A true CN113269120A (zh) 2021-08-17

Family

ID=77234431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110634231.8A Pending CN113269120A (zh) 2020-08-11 2021-06-07 用于人脸图像质量识别的方法、系统和装置

Country Status (2)

Country Link
US (1) US11393235B2 (zh)
CN (1) CN113269120A (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203294B (zh) 2016-06-30 2019-05-03 广东微模式软件股份有限公司 基于人脸属性分析的人证合一身份验证方法
SG11201908374PA (en) 2017-03-23 2019-10-30 Jewel Paymentech Pte Ltd Systems and methods for user identity authentication
US10902244B2 (en) * 2017-03-27 2021-01-26 Samsung Electronics Co., Ltd. Apparatus and method for image processing
CN108734067A (zh) * 2017-04-20 2018-11-02 杭州海康威视数字技术股份有限公司 一种人证比对的认证方法、系统及相机
US10521705B2 (en) * 2017-11-14 2019-12-31 Adobe Inc. Automatically selecting images using multicontext aware ratings
CN108765407A (zh) 2018-05-31 2018-11-06 上海依图网络科技有限公司 一种人像图片质量判定方法及装置
US10452897B1 (en) * 2018-08-06 2019-10-22 Capital One Services, Llc System for verifying the identity of a user
CN110765830B (zh) 2019-06-12 2022-11-04 天津新泰基业电子股份有限公司 一种人脸全自助注册方法、系统、介质及设备

Also Published As

Publication number Publication date
US11393235B2 (en) 2022-07-19
US20220051010A1 (en) 2022-02-17

Similar Documents

Publication Publication Date Title
US10936973B1 (en) Adversarial example detection method and apparatus, computing device, and non-volatile computer-readable storage medium
CN109948408B (zh) 活性测试方法和设备
CN108629168B (zh) 脸部验证方法、设备以及计算设备
US11539525B2 (en) Systems and methods for secure tokenized credentials
JP7402239B2 (ja) 顔認識方法、ニューラルネットワークのトレーニング方法、顔認識装置、電子機器及びコンピュータ可読記憶媒体
US10275672B2 (en) Method and apparatus for authenticating liveness face, and computer program product thereof
US20170262472A1 (en) Systems and methods for recognition of faces e.g. from mobile-device-generated images of faces
CN107038405B (zh) 识别对象的方法和设备以及训练识别模型的方法和设备
CN106663157A (zh) 用户认证方法、执行该方法的装置及存储该方法的记录介质
US11126827B2 (en) Method and system for image identification
US11935298B2 (en) System and method for predicting formation in sports
CN110059560B (zh) 人脸识别的方法、装置及设备
CN108805005A (zh) 身份验证方法和装置、电子设备、计算机程序和存储介质
JP2023530893A (ja) データ処理および取引決定システム
CN111241873A (zh) 图像翻拍检测方法及其模型的训练方法、支付方法及装置
CN111738199A (zh) 图像信息验证方法、装置、计算装置和介质
CN104933391B (zh) 用于进行面部识别的方法和装置、以及电子设备
US11393235B2 (en) Face image quality recognition methods and apparatuses
CN112819486B (zh) 用于身份证明的方法和系统
CN113822292B (zh) 车辆特征信息存储方法、装置、计算机设备及存储介质
US11250254B2 (en) Methods and systems for detecting photograph replacement in a photo identity document
CN113269123A (zh) 证件识别方法和系统
CN113240043A (zh) 基于多图片差异性的鉴伪方法、装置、设备及存储介质
CN113158958A (zh) 通行方法及相关装置
CN112613345A (zh) 用户认证方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40056981

Country of ref document: HK