CN110162948A - 用于执行组合认证的方法和设备 - Google Patents

用于执行组合认证的方法和设备 Download PDF

Info

Publication number
CN110162948A
CN110162948A CN201910114390.8A CN201910114390A CN110162948A CN 110162948 A CN110162948 A CN 110162948A CN 201910114390 A CN201910114390 A CN 201910114390A CN 110162948 A CN110162948 A CN 110162948A
Authority
CN
China
Prior art keywords
mode
condition
combination
feature
attestation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910114390.8A
Other languages
English (en)
Inventor
金智慧
韩承周
韩在濬
高民守
朴成彦
崔昌圭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180094439A external-priority patent/KR102495360B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110162948A publication Critical patent/CN110162948A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/40—User authentication by quorum, i.e. whereby two or more security principals are required
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0853—Network architectures or network communication protocols for network security for authentication of entities using an additional device, e.g. smartcard, SIM or a different communication terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3226—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using a predetermined code, e.g. password, passphrase or PIN
    • H04L9/3231—Biological data, e.g. fingerprint, voice or retina
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/36—User authentication by graphic or iconic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/30—Writer recognition; Reading and verifying signatures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2463/00—Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00
    • H04L2463/082—Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00 applying multi-factor authentication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

一种用于执行组合认证的方法和设备。所述用于执行组合认证的方法和设备基于多个模态之中的第一模态执行单一认证；响应于单一认证失败，确定是否通过所述多个模态的组合来执行组合认证；响应于确定执行组合认证，执行组合认证。

Description

用于执行组合认证的方法和设备
本申请要求于2018年2月14日提交到韩国知识产权局的第10-2018-0018666号韩国专利申请、于2018年3月12日提交到韩国知识产权局的第10-2018-0028707号韩国专利申请以及于2018年8月13日提交到韩国知识产权局的第10-2018-0094439号韩国专利申请的权益，这些专利申请的全部公开出于所有目的通过引用包含于此。
技术领域
下面的描述涉及一种用于执行组合认证的方法和设备。
背景技术
随着包括智能电话的各种移动装置和诸如可穿戴装置的用户装置的发展，安全认证的重要性正在增加，并且对生物特征识别的兴趣也在急剧增长。生物特征识别增强用户装置的安全性，并且使得能够更安全地使用各种应用程序(诸如，移动支付应用)。生物特征识别表现出相对高的识别率，因此被广泛使用。
发明内容
提供本发明内容以简化的形式介绍在以下具体实施方式中进一步描述的构思的选择。本发明内容既不意在标识所要求保护的主题的关键特征或必要特征，也不意在用于帮助确定要求保护的主题的范围。
在一个总体方面，一种执行组合认证的方法包括：基于多个模态之中的第一模态执行单一认证；响应于单一认证失败，确定是否通过所述多个模态的组合来执行组合认证；响应于确定执行组合认证，执行组合认证。
确定的步骤可包括：确定用于组合认证的第二条件是否被满足。第二条件可以不同于用于单一认证的第一条件。
执行单一认证的步骤可包括：确定第一模态的第一特征是否满足用于单一认证的第一条件。
确定的步骤可包括：确定第一模态的第一特征是否满足与用于单一认证的第一条件不同的第二条件。
所述多个模态可包括第一模态和与第一模态不同的第二模态，确定的步骤可包括：确定第一模态的第一特征、第二模态的第二特征、或者第一特征和第二特征的组合是否满足与用于单一认证的第一条件不同的第二条件。
执行组合认证的步骤可包括：响应于确定执行组合认证，通过融合第一模态的第一特征和包括在所述多个模态中的第二模态的第二特征来生成第三特征；基于第三特征执行组合认证。
执行组合认证的步骤可包括：确定第三特征是否满足用于组合认证的第三条件。
第二条件可针对所述多个模态的每个组合而被不同地确定。
第二条件可基于所述多个模态之中的具有最高安全性的模态的错误接受率(FAR)来确定。
第二条件可基于所述多个模态之中的具有最高便利性的模态的FAR来确定。
所述多个模态的组合可基于组合认证的安全性或便利性来确定。
所述多个模态可包括以下中的任何一个或任何组合：用户的脸部图像、指纹图像、虹膜图像、静脉图像、掌纹图像、签名、声音、步态和DNA结构。
在另一总体方面，一种执行组合认证的方法包括：基于第一模态的第一特征和第二模态的第二特征中的任何一个或任何组合，确定是否执行组合认证；响应于确定执行组合认证，基于第一特征和第二特征执行组合认证。
执行的步骤可包括：通过融合第一特征和第二特征来生成第三特征；基于第三特征执行组合认证。
确定的步骤可包括：确定第一特征、第二特征、或第一特征和第二特征的组合是否满足与用于单一认证的第一条件不同的第二条件；响应于第二条件被满足，确定通过第一模态和第二模态的组合来执行组合认证。
第二条件可基于第一模态的第一FAR、第二模态的第二FAR、或者第一FAR和第二FAR的组合来确定。
基于第三特征执行组合认证的步骤可包括：确定第三特征是否满足用于组合认证的第三条件。
在另一总体方面，一种执行组合认证的方法，包括：确定与多个模态的第一组合对应的第一进入条件是否被满足；响应于第一进入条件被满足，执行通过第一组合的认证；响应于通过第一组合的认证失败，确定与所述多个模态的第二组合对应的第二进入条件是否；响应于第二进入条件被满足，执行通过第二组合的认证。
第一进入条件和第二进入条件可针对所述多个模态的每个组合而被不同地确定。
确定第一进入条件是否被满足的步骤可包括：基于所述多个模态的第一组合是否满足与用于单一认证的第一条件不同的第二条件来确定第一进入条件是否被满足。
所述多个模态的第一组合可包括：第一模态和与第一模态不同的第二模态，并且确定第一进入条件是否被满足的步骤可包括：确定第一模态的第一特征和第二模态的第二特征中的任何一个或任何组合是否满足第二条件；响应于第二条件被满足，确定第一进入条件被满足。
在另一总体方面，一种执行组合认证的方法包括：基于多个模态之中的第一模态执行单一认证；响应于单一认证失败，通过所述多个模态的组合来执行组合认证。
所述方法还可包括：响应于单一认证失败，在执行组合认证之前，基于所述多个模态之中的第二模态执行单一认证。
执行组合认证的步骤可包括：通过融合第一模态的第一特征和所述多个模态之中的第二模态的第二特征来生成第三特征；基于第三特征执行组合认证。
在另一总体方面，一种使用彼此不同的第一生物特征模态和第二模态来认证用户的生物特征认证方法包括：确定用户的生物特征信息是否满足以下条件中的一个条件：反映第一生物特征模态的特征的第一条件和反映第二生物特征模态的特征的第二条件；确定用户的生物特征信息是否满足反映第一生物特征模态的特征和第二生物特征模态的特征的组合条件；响应于确定用户的生物特征信息满足第一条件和第二条件中的一个条件并且满足组合条件，确定组合认证成功。
组合条件可以是反映第一生物特征模态的特征和第二生物特征模态的特征融合成的特征的条件。
组合条件可以是组合了基于第一生物特征模态的特征计算的分数和基于第二生物特征模态的特征计算的分数的条件。
确定用户的生物特征信息是否满足组合条件的步骤可包括：通过融合第一生物特征模态的特征和第二生物特征模态的特征来生成第三特征；确定反映第三特征的组合条件是否被满足。
确定用户的生物特征信息是否满足组合条件的步骤可包括：通过将基于第一生物特征模态的特征计算的第一分数和基于第二生物特征模态的特征计算的第二分数进行组合来生成第三分数；确定基于第三分数的组合条件是否被满足。
第一生物特征模态可以是虹膜模态，并且第二生物特征模态可以是脸部模态。
从下面的具体实施方式、附图和权利要求，其他特征和方面将是清楚的。
附图说明
图1示出执行组合认证的方法的示例。
图2是示出执行组合认证的方法的示例的流程图。
图3A和图3B示出第一条件和第二条件的示例。
图4是示出用于执行组合认证的设备的框图。
图5示出执行组合认证的分类器的操作的示例。
图6A、图6B和图7至图11是示出执行组合认证的方法的示例的流程图。
图12示出用户界面的示例。
图13A和图13B示出生物特征注册(registration)处理的示例。
图14示出通过利用不同模态(modality)之间的相关性来执行组合认证的示例。
图15是示出用于执行组合认证的设备的示例的框图。
贯穿附图和具体实施方式，除非另有描述或提供，否则相同的附图参考标号将被理解为表示相同的元件、特征和结构。附图可不按比例，并且为了清楚、说明和方便，附图中元件的相对大小、比例和描绘可被夸大。
具体实施方式
以下结构的或功能的描述是示例性的以仅描述示例实施例，并且示例实施例的范围不限于本说明书中提供的描述。本领域的普通技术人员可对其进行各种改变和修改。
尽管术语“第一”或“第二”用于解释各种组件，但是这些组件不受这些术语限制。这些术语仅用于将一个组件与另一组件区分开来。例如，在根据本公开的构思的权利的范围内，“第一”组件可被称为“第二”组件，或者类似地，并且“第二”组件可被称为“第一”组件。
将理解，当一个组件被称为“连接到”另一组件时，该组件可直接连接或结合到另一组件，或者可存在中间组件。
如在此所使用，除非上下文明确另有指示，否则单数形式也意在包括复数形式。还应理解，当在本说明书中使用术语“包括”时，指定存在叙述的特征、整体、步骤、操作、元件、组件或它们的组合，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组。
除非在此另有定义，否则在此使用的所有术语(包括技术术语或科学术语)具有与本领域普通技术人员通常理解的含义相同的含义。除非在此另有定义，否则在通用字典中定义的术语应该被解释为具有与相关领域中的上下文含义相匹配的含义，并且不被解释为理想的或过于形式上的含义。
在下文中阐述的示例可被实现为下面各种类型的产品中的任何一种：诸如，个人计算机、膝上型计算机、平板计算机、智能电话、电视、智能家用电器、智能车辆、自助服务终端(kiosk)和可穿戴装置。例如，示例可应用于用于用户认证的智能电话、移动装置、智能家居系统、智能车辆和自动柜员机(ATM)。在下文中，将参照附图详细描述示例，其中，相同的附图参考标号用于相同的元件。
图1示出执行组合认证的方法的示例。参照图1，用户50使用移动装置100的图像传感器110、红外(IR)传感器120或指纹传感器130执行生物特征识别或认证的情况被示出。
在一个示例中，生物特征识别或认证使用基于各种生物特征(诸如，脸部、虹膜、指纹和静脉)的多个模态(modality)来执行。术语“模态”表示用户的唯一的生物特征信息(诸如，以用户的脸部、指纹、虹膜、静脉、掌纹、签名、声音、步态和DNA结构为例)或者表示用于识别或认证用户的唯一的信息的各个方面。
当使用各种生物特征时，生物特征认证的安全等级针对每个模态而变化。例如，虹膜模态具有千万分之一的错误接受率(FAR)，并且指纹模态和脸部模态均具有百万分之一的FAR。“FAR”表示将另一个人的生物特征信息误识别为一个人的生物特征信息的比率。随着针对生物特征信息的模态的FAR降低，模态的安全性(即，安全等级)增加。
在使用通过各个模态的组合执行认证的组合认证的情况下，通过利用多个模态的优点来提高安全性。通过多个模态的组合的组合认证保证适用于各种情况的认证性能。
在一个示例中，假设用户将使用虹膜图像和脸部图像被认证。通过IR相机、彩色相机、单色相机或三维(3D)相机捕捉虹膜图像和脸部图像。3D相机被实现为各种类型的相机(诸如，飞行时间(ToF)相机和结构光相机)。然而，那些类型仅是示例性情形，并且3D相机不限于此。在一个示例中，通过IR相机捕捉虹膜图像，并且通过彩色相机或3D相机捕捉脸部图像。通过上述相机的各种组合捕捉虹膜图像和脸部图像。
虹膜模态比脸部模态具有更高的安全性。假设用户A和用户B是双胞胎。针对虹膜模态，用户A和用户B具有在不同的人的层次下的不同特征向量。然而，针对脸部模态，用户A和用户B具有在相同的人的层次下的相似的特征向量。因此，基于脸部模态难以区分双胞胎，但是基于虹膜模态区分双胞胎相对容易。
然而，根据捕捉的环境，虹膜模态的性能低于脸部模态的性能。例如，在从包括在移动装置中的发光二极管(LED)发射光之后，使用IR传感器捕捉虹膜图像。在强烈的室外光下，虹膜图像的质量下降。如果图像质量下降，则识别性能降低。因此，在仅使用虹膜模态的情况下，识别性能在特定环境下(例如，在存在强烈的室外光的情况下)降低。
尽管有强烈的室外光，但是脸部图像的质量不下降。因此，即使在虹膜模态的识别性能降低的情况下，脸部模态的识别性能也不降低。然而，与虹膜图像不同，脸部图像易受外部光的类型的改变、低照度情况或脸部姿态的改变的影响。
因此，虹膜图像和脸部图像被组合使用以在各种情况下保持识别性能。
下面阐述的示例在通过多个模态的组合执行组合认证时考虑安全性和用户便利性二者。例如，示例提供在保持安全性的同时提高用户便利性的技术，或者在保持用户便利性的同时提高安全性的技术。
示例首次执行单一认证，然后执行组合认证。
在一个示例中，对于支付应用，安全性需要被认为是重要的，因此，用于执行单一认证和组合认证的方案被设置以在保持安全性的同时提高用户便利性。示例使用具有相对高的安全性的模态(例如，虹膜模态)首次执行单一认证，并且响应于首次认证失败，通过多个模态(例如，虹膜模态和脸部模态)的组合执行组合认证。
在另一示例中，对于智能电话的解锁功能，用户便利性需要被认为是重要的，因此，用于执行单一认证和组合认证的方案被设置以在保持用户便利性的同时提高安全性。示例使用具有相对高的便利性的模态(例如，脸部模态)首次执行单一认证，并且响应于首次认证失败，使用与用于首次认证的模态具有不同特征的模态(例如，虹膜模态)来第二次地执行单一认证。响应于第二次认证也失败，示例通过多个模态(例如，脸部模态和虹膜模态)的组合执行组合认证。
示例通过在执行组合认证之前对用于确定是否执行组合认证的进入条件进行确定来提供一起满足安全性和用户便利性的技术。进入条件基于用于组合认证的多个模态的组合或组合认证将应用于的应用的类型被预先确定。
用于确定是否执行组合认证的进入条件是与用于组合认证的多个模态中的至少一个模态相关的条件。例如，进入条件包括与脸部模态相关的第一条件、与虹膜模态相关的第二条件、以及第一条件和第二条件的组合。进入条件可以是与用于确定使用单独模态的单一认证是否成功的参考条件不同的条件。
在一个示例中，进入条件是与用于确定使用单独模态的单一认证是否成功的参考条件不同的条件。例如，在进入条件包括与虹膜模态相关的第二条件的情况下，第二条件是这样的条件：需要比使用虹膜模态的单一认证的FAR低的FAR。
在一个示例中，组合认证被应用于支付应用。在这个示例中，考虑安全性重要并提高用户便利性的进入条件被设置。示例确定用于使用具有相对高的安全性的模态(例如，虹膜模态)确定是否执行组合认证的进入条件，然后通过多个模态(例如，虹膜模态和脸部模态)的组合来执行组合认证。
在另一示例中，组合认证被应用于智能电话的解锁功能。在这个示例中，考虑用户便利性重要并提高安全性的进入条件被设置。示例确定用于使用单一模态(例如，虹膜模态、脸部模态或指纹模态)确定是否执行组合认证的进入条件，然后通过多个模态(例如，脸部模态、指纹模态和虹膜模态)的组合来执行组合认证。
如下所述，进入条件被设置为使用多个单一模态的组合，而不是被设置为仅使用一个单一模态。此外，当执行组合认证时，以各种方式设置组合多个模态的方案。
例如，以匹配分数或距离分数的形式确定每个模态的分数。匹配分数对应于表示注册帧和输入帧彼此有多相似(即，多个帧之间的相似度)的分数。低匹配分数指示多个帧之间的低相似度，高匹配分数指示多个帧之间的高相似度。匹配分数越高，移动装置100接受用户50的认证的概率越高。此外，距离分数对应于表示注册帧与输入帧之间的特征距离(例如，欧几里德距离)的分数。低距离分数指示在特征向量空间中多个帧之间的短特征距离，高距离分数指示多个帧之间的长特征距离。距离分数越低，移动装置100接受用户50的认证的概率越高。
如上所述，当与使用单一模态的用户认证相比时，示例经由通过多个模态的组合的组合认证来提高用户访问装置的便利性并保证相对高的安全性。此外，示例通过使用各个模态在各种环境下保持用户识别和认证性能来提高用户便利性。
图2是示出执行组合认证的方法的示例的流程图。参照图2，在操作210中，用于执行组合认证的设备(在下文中，称为“认证设备”)基于多个模态之中的第一模态执行单一认证。认证设备执行单独模态的单一认证，并且响应于单一认证失败而执行组合认证。详细地讲，认证设备通过确定第一模态的第一特征是否满足第一条件来执行单一认证。例如，第一特征是基于从第一模态提取的特征向量确定的欧几里德距离或相似度分数。此外，例如，第一条件对应于用于单一认证的阈值距离或用于单一认证的阈值分数。用于单一认证的第一条件基于模态的类型而被不同地确定。响应于单一认证在操作210中被接受，在操作240中，认证设备确定认证成功。
响应于在操作210中单一认证失败，在操作220中，认证设备基于与用于单一认证的第一条件不同的第二条件，来确定用于确定是否通过多个模态的组合执行组合认证的进入条件是否被满足。这里，“组合认证”被解释为通过多个模态的各种组合(例如，诸如(指纹，虹膜，脸部)的多个模态之中的(指纹、虹膜)，(指纹、脸部)，(虹膜、脸部)和(指纹、虹膜、脸部))执行认证。
在操作220中，认证设备针对多个模态的组合确定是否通过对应的组合执行组合认证。认证设备基于多个模态的组合是否满足第二条件来确定是否通过多个模态的组合来执行组合认证。在这个示例中，第二条件针对多个模态的每个组合而被不同地确定。
例如，基于多个模态的组合之中的具有最高安全性的模态的FAR来确定第二条件。例如，在多个模态的组合包括虹膜模态和脸部模态的情况下，基于千万分之一确定第二条件，其中，千万分之一是具有比脸部模态更高安全性的虹膜模态的FAR。第二条件要求与千万分之一的FAR不同的FAR。在另一示例中，在多个模态的组合包括脸部模态和指纹模态的情况下，基于百万分之一确定第二条件，其中，百万分之一是具有比脸部模态更高安全性的指纹模态的FAR。第二条件要求比百万分之一的FAR低的FAR。
例如，基于多个模态的组合之中的具有最高便利性的模态的FAR来确定第二条件。例如，在多个模态的组合包括脸部模态和签名模态的情况下，基于二千分之一确定第二条件，其中，二千分之一是具有比签名模态更高便利性的脸部模态的FAR。第二条件要求与二千分之一的FAR不同的FAR。将参照图3A和图3B进一步描述认证设备确定第一条件和第二条件的方法。
例如，多个模态的组合包括第一模态和与第一模态不同的第二模态。在另一示例中，多个模态的组合可包括三个模态(诸如，第一模态、第二模态和第三模态)或者更多个模态。多个模态的组合基于组合认证的安全性或便利性来确定。例如，基于组合认证的安全性或便利性来确定包括在多个模态的组合中的多个模态的数量和/或类别。
在操作220中，认证设备确定第一模态的第一特征和第二模态的第二特征中的任何一个或任何组合是否满足第二条件。响应于第二条件被满足(例如，接受)，认证设备确定通过多个模态的组合来执行组合认证。响应于在操作220中第二条件不被满足(例如，失败)，在操作250中，认证设备确定认证失败。
响应于在操作220中确定执行组合认证，在操作230中，认证设备执行组合认证。在操作230中，认证设备通过确定组合了基于第一特征的分数和基于第二特征的分数的条件来执行组合认证。例如，认证设备确定通过逻辑运算组合了针对基于第一特征的分数的条件和针对基于第二特征的分数的条件的第三条件是否被满足。
在另一示例中，认证设备通过融合第一特征和第二特征来生成第三特征，并且基于第三特征执行组合认证。例如，认证设备基于第三特征是否满足用于组合认证的第三条件来执行组合认证。第三条件基于用于组合认证的目标FAR来确定。
在操作230中，认证设备例如使用预训练的分类器确定第一特征和第二特征的组合或者第三特征是否满足第三条件。将参照图5进一步描述认证设备基于第三特征执行组合认证的方法。
图3A和图3B示出确定第一条件和第二条件的示例。例如，第一条件对应于用于执行单一认证的阈值距离，第二条件对应于用于确定是否执行组合认证的阈值距离。阈值距离基于认证率(VR)、FAR、错误拒绝率(FRR)或其组合来确定。
在下文中，为了便于描述，将描述使用FAR确定第一条件和第二条件的方法。然而，确定第一条件和第二条件的方法不限于此，并且基于各种性能指标确定第一条件和第二条件。此外，尽管用于确定第一条件和第二条件的性能指标是相同的，但是用于确定与第一条件和第二条件对应的各个阈值的目标分数彼此不同。例如，与第一条件对应的阈值被确定以满足针对原始(RAW)分数的预定FAR。与第二条件对应的阈值被确定以满足针对通过对RAW分数应用附加处理(例如，滤波)而获得的分数的预定FAR。
参照图3A，使用直方图310表示与用户(同一人)对应的数据的项之间的第一模态的第一特征的特征距离。此外，直方图330示出在与所述用户对应的数据和与另一个人对应的数据之间的第一模态的第一特征的特征距离。这里，特征距离对应于表示所述用户的脸部图像与另一个人的脸部图像之间的差异等级的欧几里德距离。特征距离在将被比较的数据之间的相似度相对较高时具有相对小的值，并且在将被比较的数据之间的相似度相对较低时具有相对大的值。
在一个示例中，除了特征距离之外，认证设备基于各种性能指标(诸如，以特征向量之间的归一化互相关(NCC)、匹配分数或相似度分数为例)确定第一条件和第二条件。
在图3A的曲线图中，水平轴表示第一模态的特征的特征距离，竖直轴表示与特征距离对应的样本的数量。
认证设备基于强调应用的安全性还是便利性来确定第一条件。例如，在用户将执行金融机构应用(诸如，银行或股票交易应用)的情况下，认证设备通过强调安全性来确定第一条件，使得严格认证被执行。在用户将解锁移动装置以执行移动装置的简单功能(诸如，相机或备忘录)的情况下，认证设备通过强调便利性来确定第一条件，使得认证被省略或者认证基于新的标准被执行。
例如，在强调安全性的情况下，认证设备将边界线350的特征距离设置为第一条件，其中，边界线350区分出示出另一个人的虹膜模态的第一特征的特征距离的直方图330的整个区域中的在虹膜模态中允许误识别的等级(例如，千万分之一以下)的区域。在这个示例中，响应于虹膜模态的特征距离不满足千万分之一的FAR，针对用户的单一认证失败。
然而，虹膜模态在具有强紫外线的室外环境下不能很好地工作，因此尽管通过虹膜模态的认证失败，但是如果虹膜模态满足预定条件，则虹膜模态用于结合即使在室外环境下也能很好地工作的脸部模态执行组合认证以缓解用户的不便。如果虹膜模态不满足用于单一认证的边界线350的特征距离阈值但满足另一边界线370的特征距离阈值，则认证设备确定通过虹膜模态和脸部模态的组合执行组合认证。虹膜模态满足特征距离阈值指示虹膜模态的特征距离小于(或等于)特征距离阈值。
在这个示例中，用于第一条件的边界线和用于第二条件的边界线由不同的分数直方图确定。例如，参照图3B，基于原始模态分数(例如，直方图310和直方图330)设置用于第一条件的边界线350，并且基于通过向相应的分数应用附加处理(例如，滤波)获得的分数(例如，直方图320和直方图340)来设置用于第二条件的边界线370。
在一个示例中，尽管通过虹膜模态的单一认证失败，但是如果虹膜模态满足第二条件，则认证设备将虹膜模态配置为组合认证(即，多个模态的组合)的元素，从而在保持安全性的同时提高用户便利性。更详细地讲，响应于单一认证失败，通过设置进入条件(例如，第二条件)，而不是直接执行组合认证来降低将另一个人误识别为一个人的比率。也就是说，仅响应于进入条件(例如，第二条件)被满足，执行组合认证，从而当与不使用进入条件(例如，第二条件)的情况相比时，保持相对高的安全性。此外，当与仅使用第一条件的情况相比时，将一个人作为另一个人错误地排除的比率减小，因此，用户便利性提高。
图4是示出用于执行组合认证的设备的框图。参照图4，认证设备包括登记(enrollment)数据库(DB)410、匹配器420、进入条件确定器430和认证器440。匹配器420、进入条件确定器430和认证器440的操作由稍后将描述的图15的处理器1510来执行。
登记DB 410包括每个模态的登记特征向量。例如，针对多个模态中的每个模态提供登记DB 410，或者登记DB 410被提供为包括所有模态的单个统一DB。
匹配器420从登记DB 410实时调用正在输入的第一模态(Input1)和第二模态(Input2)中的每个的登记特征向量。
匹配器420提取第一模态的特征向量和/或第二模态的特征向量，并通过将第一模态的特征向量和/或第二模态的特征向量与存储在登记DB 410中的多个模态的登记特征向量进行匹配来计算特征距离或相似度分数。匹配器420基于认证器440的认证情况，提取第一模态的特征向量，然后根据需要提取第二模态的特征向量，而不是同时提取第一模态的特征向量和第二模态的特征向量。
匹配器420将与匹配结果对应的特征距离或相似度分数发送到进入条件确定器430和认证器440。
例如，响应于从匹配器420接收的第一模态的特征向量与登记特征向量之间的特征距离满足第一条件，认证器440确定单一认证成功并输出“单一认证成功”。响应于单一认证成功，认证设备输出“认证接受”。响应于第一模态的特征向量与登记特征向量之间的特征距离不满足第一条件，认证器440确定单一认证失败并输出“单一认证失败”。认证器440将认证结果发送到进入条件确定器430。
进入条件确定器430基于从匹配器420接收的匹配结果(例如，单一认证成功或单一认证失败)，确定用于组合认证的进入条件是否被满足。响应于从匹配器420接收到单一认证失败，进入条件确定器430确定用于组合认证的进入条件是否被满足。
进入条件确定器430基于与用于单一认证的第一条件不同的第二条件，确定是否通过多个模态的组合执行组合认证。例如，响应于指示第一模态的第一特征向量和第二模态的第二特征向量中的至少一个特征向量与存储在DB中的多个模态的登记特征向量中的与至少一个特征向量相应的登记特征向量之间的特征距离满足第二条件的信息从匹配器420被接收到，进入条件确定器430确定用于组合认证的进入条件被满足。响应于确定用于组合认证的进入条件被满足，进入条件确定器430请求认证器440通过多个模态的组合执行组合认证。响应于确定用于组合认证的进入条件不被满足，认证设备输出“认证失败”。
认证器440基于组合了基于第一特征的分数和基于第二特征的分数的条件来执行组合认证。在另一示例中，认证器440通过融合第一特征和第二特征来生成第三特征，并基于第三特征执行组合认证。认证器440输出执行组合认证的结果(例如，组合认证成功或组合认证失败)。认证设备响应于组合认证成功而输出认证成功，并且响应于组合认证失败而输出认证失败。例如，认证器440通过将稍后参照图5描述的分类器500执行组合认证。将参照图5进一步描述认证器440基于第三特征执行组合认证的处理。
图5示出执行组合认证的分类器的操作的示例。参照图5，分类器500基于通过融合第一模态的第一特征和第二模态的第二特征而生成的第三特征来执行组合认证。
例如，假设虹膜图像的16维(16D)特征向量和脸部图像的3D特征向量被输入到分类器500中。
分类器500通过融合虹膜模态的16D特征向量和脸部模态的3D特征向量来生成19维(19D)特征向量。在这个示例中，虹膜模态的16D特征向量是与诸如虹膜的汉明距离(Hamming distance)、虹膜的位计数(bit count)、虹膜的半径、虹膜的形状和颜色、以及视网膜毛细血管的形态(morpheme)等的特征对应的特征向量。此外，脸部模态的3D特征向量是与整个脸部或部分脸部的特征对应的特征向量。
分类器500通过将19D特征向量和将一个人与另一个人区分开来的边界线或参考值进行比较来确定组合认证是被接受还是失败。
图5左下侧的曲线图示出分类器500的学习阶段。在示出学习阶段的曲线图中，水平轴表示虹膜图像的16D特征空间，竖直轴表示脸部图像的3D特征空间。为了便于描述，3D特征空间将作为示例被描述。然而，在一个示例中，特征空间被扩展到针对每个维度而存在单独的轴的20维(20D)特征空间。
在学习阶段中标记的点对应于通过融合16D特征向量和3D特征向量而生成的19D向量。边界线510对应于分类器500进行学习以确定通过19D向量的组合认证是被接受还是失败的参数。例如，分类器500使用支持向量机(SVM)来学习针对特征向量的参数或权重。在这个示例中，分类器500学习的参数基于认证设备的目标FAR的等级来确定。
图5右下侧的曲线图示出分类器500的认证阶段。在认证阶段，边界线530对应于分类器500的参数。线530对应于19D特征向量的简化二维(2D)表示。响应于融合的19D特征向量生成，认证设备基于边界线530针对19D输入执行组合认证。例如，认证设备将边界线530的左侧上的第一输入(I1，F1)确定为认证接受，并将边界线530的右侧上的第二输入(I2，F2)确定为认证失败。
图6A是示出执行组合认证的方法的示例的流程图。参照图6A，针对与第一模态对应的虹膜数据和与第二模态对应的脸部数据执行组合认证的处理被示出。
认证设备通过提取模态的特征信息的操作610以及操作650执行组合认证。认证设备还执行基于安全等级确定是否执行组合认证的操作630。在一个示例中，操作630和操作650按顺序执行或不按顺序执行。
在操作610中，响应于虹膜数据和脸部数据被输入，认证设备针对多个模态中的每个模态提取特征向量。认证设备通过将提取的特征向量与存储在登记DB 605中的每个模态的登记特征向量进行匹配来计算虹膜分数或脸部分数。在这个示例中，虹膜分数或脸部分数对应于从多个模态中的每个模态提取的特征向量与登记特征向量之间的特征距离或相似度分数。
在操作650中，认证设备确定虹膜分数或脸部分数是否满足单一认证条件。响应于单一认证条件被满足，认证设备接受认证。
响应于虹膜分数或脸部分数不满足单一认证条件，在操作630中，认证设备基于安全等级确定脸部分数和/或虹膜分数是否满足预定FAR。详细地讲，脸部分数是否单独地满足预定FAR、虹膜分数是否单独地满足预定FAR、或者脸部分数和虹膜分数二者是否都满足预定FAR被用于确定预定FAR是否被满足。
预定FAR基于安全等级被确定为用于脸部数据的认证的FAR或用于虹膜数据的认证的FAR。响应于在操作630中(脸部分数，虹膜分数)不满足预定FAR，认证设备获取新的虹膜数据和/或脸部数据，并再次执行图6A的组合认证处理。
响应于在操作630中(脸部分数，虹膜分数)满足预定FAR，在操作650中，认证设备确定虹膜分数和脸部分数的组合或者通过融合虹膜分数和脸部分数计算的融合分数是否满足组合认证条件。响应于组合认证条件被满足，认证设备接受认证。
响应于组合认证条件不被满足，认证设备获取新的虹膜数据和脸部数据，并再次执行图6A的组合认证处理。
尽管在附图中未示出，但是响应于在操作630或操作650中条件不被满足，认证设备通过计数了预定次数和/或预定时间来确定认证失败。例如，作为非限制的示例，参照图6A，预定次数为t+1，其中，t为大于或等于0的整数；当在预定时段执行多次认证时，每当执行一次认证，次数减1；当次数减为0时，确定认证失败。例如，响应于在操作630或操作650中条件不被满足，认证设备累积并存储认证失败的次数，并再次执行组合认证处理。响应于累积的失败的次数超过预定阈值，认证设备确定认证失败。在另一示例中，认证设备累积并存储用于组合认证处理的时间，并且响应于累积时间超过预定阈值，确定认证失败。响应于在操作630或操作650中条件不被满足，认证设备确定累积时间是否超过预定阈值。响应于确定认证失败，认证设备向用户提供指示认证失败的反馈。
图6B是示出执行组合认证的方法的示例的流程图。参照图6B，在操作610中，认证设备提取模态的特征信息。在操作690中，认证设备顺序地执行单一认证和组合认证。例如，认证设备首次执行脸部单一认证，第二次执行虹膜单一认证，并且第三次执行脸部+虹膜组合认证。响应于单一认证或组合认证在每个操作中成功，认证设备最终确定认证成功，而不执行后续的认证。此外，操作670可与图6A的操作630类似，因此，为了简明，重复的描述被省略。
响应于脸部单一认证和虹膜单一认证失败，认证设备在执行组合认证之前确定与是否执行组合认证相关的进入条件。
响应于进入条件或用于组合认证的条件不被满足，认证设备基于新的输入数据重复上述认证处理。在直到超过预定次数或经过预定时间认证也不成功的情况下，认证设备最终确定认证失败。
图7是示出执行组合认证的方法的示例的流程图。参照图7，提高用户便利性并同时增强安全性的组合认证处理被示出。
图6A的操作610至操作650确定与多个模态中的任何一个组合(例如，脸部模态和虹膜模态的组合)对应的特征或特征向量是否满足用于进入组合认证的条件，并且融合特征向量是否满足用于接受组合认证的条件。然而，图7的处理不同之处在于：操作710至操作750确定针对多个模态的各种组合是否满足combi条件和f(combi)条件。在下文中，为了便于描述，用于进入组合认证的条件将被表示为“combi条件”，并且用于接受融合特征向量的组合认证的条件将被表示为“f(combi)条件”。combi条件和/或f(combi)条件针对对应的模态的每个组合而被不同地确定。
在图7中，在通过多个模态的每个组合的组合认证的安全等级非常高，或者组合认证所需的安全等级不高的情况下，针对多个模态的每个组合添加或省略针对各种认证方法的条件确定。
响应于许多模态的数据被输入，认证设备通过多个模态的各种组合来执行认证。例如，认证设备通过包括N个模态中的至少一个模态的组合的M种认证方法来执行组合认证。M表示通过单一认证或组合认证的认证方法的数量。
然而，在通过多个模态的每个组合执行组合认证之前，认证设备基于针对多个模态的分数S1、S2、…、SN是否满足f(combi)条件和/或combi条件确定是否执行组合认证。例如，f(combi)条件和/或combi条件大于或等于、小于或等于、小于、大于预定分数或其组合的形式。在这个示例中，针对多个模态的分数S1、S2、…、SN对应于与多个模态对应的特征向量和存储在登记DB 705中的多个模态的登记特征向量之间的特征距离或相似度分数。针对多个模态的分数的条件被用作用于确定是否进入组合认证的进入条件。
认证设备响应于多个模态的分数中的每个分数被输入，针对对应的模态的每个组合执行组合认证，而不是在用于组合认证的N个模态的所有分数被完全输入时执行认证。认证设备基于具有极好安全性的模态确定用于确定是否进入组合认证的标准。
在操作750中，认证设备基于多个模态的分数S1、S2、…、SN确定第一模态的组合的融合分数是否满足f1(combi1)条件。在这个示例中，第一模态的组合对应于单个模态或者至少两个模态的组合。此外，f1(combi1)条件在第一模态的组合包括单个模态的情况下对应于单一认证条件，并且在第一模态的组合包括至少两个模态的情况下对应于组合认证条件。
响应于第一模态的组合的融合分数不满足f1(combi1)条件，认证设备确定与第二模态的组合对应的分数是否满足combi2条件和/或与第二模态的组合对应的融合特征向量是否满足f2(combi2)条件。第二模态的组合不同于第一模态的组合，并且第二模态的组合对应于单个模态或者至少两个模态的组合。此外，f2(combi2)条件在第二模态的组合包括单个模态的情况下对应于单一认证条件，并且在第二模态的组合包括至少两个模态的情况下对应于组合认证条件。如上所述，针对多个模态的每个组合，添加基于组合认证的安全等级针对各种认证方法确定combi条件和f(combi)条件的处理。此外，在组合认证的安全等级低或者对便利性的要求高的情况下，针对多个模态的每个组合，添加或省略针对各种认证方法确定combi条件和f(combi)条件的处理。
图8是示出执行组合认证的方法的示例的流程图。参照图8，在操作810中，认证设备基于第一模态的第一特征和第二模态的第二特征中的任何一个或任何组合确定是否执行组合认证。例如，认证设备确定第一特征是否满足用于单一认证的第一条件。响应于第一特征不满足第一条件，认证设备确定第一特征和第二特征中的任何一个或任何组合是否满足与第一条件不同的第二条件。响应于第二条件被满足，认证设备确定通过第一模态和第二模态的组合来执行组合认证。例如，基于第一模态的FAR、第二模态的FAR或者第一模态的FAR和第二模态的FAR的组合确定第二条件。
在操作820中，认证设备响应于确定执行组合认证，通过融合第一特征和第二特征来生成第三特征。
在操作830中，认证设备基于第三特征执行组合认证。响应于第三特征满足用于组合认证的第三条件，认证设备确定认证成功。
图9是示出执行组合认证的方法的示例的流程图。参照图9，在操作910中，认证设备确定与多个模态的第一组合对应的第一进入条件是否被满足。例如，认证设备基于多个模态的第一组合是否满足与用于单一认证的第一条件不同的第二条件来确定第一进入条件是否被满足。多个模态的第一组合包括第一模态和与第一模态不同的第二模态。认证设备确定第一模态的第一特征和第二模态的第二特征中的任何一个或任何组合是否满足第二条件。响应于第一特征和第二特征中的任何一个或任何组合满足第二条件，认证设备确定第一进入条件被满足。
在操作920中，认证设备响应于第一进入条件被满足，通过第一组合执行认证。
在操作930中，认证设备响应于通过第一组合的认证失败，确定与多个模态的第二组合对应的第二进入条件是否被满足。在这个示例中，第一进入条件和第二进入条件针对多个模态的每个组合而被不同地确定。
在操作940中，认证设备响应于第二进入条件被满足，通过第二组合执行认证。
图10是示出执行组合认证的方法的示例的流程图。参照图10，组合认证处理被示出。图10的操作1010至操作1050与图7的操作710至操作750类似，因此，将在下文中仅描述与图7的操作不同的操作。
与图7不同，响应于许多模态的数据被输入，在操作1030中，认证设备基于多个模态的分数S1、S2、…、SN来确定第一模态的组合是否满足combi1条件。响应于第一模态的组合不满足combi1条件，认证设备确定第二模态的组合是否满足combi2条件。响应于多个模态的组合中的每个组合不满足combi条件，认证设备继续新的多个模态的组合与combi条件的比较，直到combi条件被满足。
例如，在操作1030中的combi1条件＝(M1，M2，M3)的情况下，与combi1组合对应的进入条件通过例如M1条件、M2条件、M3条件或其各种组合来确定。
响应于第一模态的组合满足combi1条件，在操作1050中，认证设备确定第一模态的组合的融合分数是否满足f1(combi1)条件。在这个示例中，每个模态的分数被用于确定是否进入组合认证。响应于第一模态的组合的融合分数不满足f1(combi1)条件，认证设备确定第二模态的组合是否满足combi2条件。响应于第一模态的组合的融合分数满足f1(combi1)条件，认证设备接受组合认证。
图11是示出执行组合认证的方法的示例的流程图。参照图11，响应于IR图像和彩色脸部图像被输入而使用IR图像和彩色脸部图像执行组合认证的处理被示出。为了便于描述，将描述使用彩色图像的应用。然而，示例不限于这样的方案，并且也基本上相同地适用于使用单色图像或深度图像或者3D图像的应用。
认证设备将通过操作1110的特征提取处理从IR图像获得的虹膜模态的多个特征或特征向量以及与从彩色脸部图像获得的脸部模态对应的多个特征或特征向量与登记在登记DB中的多个模态的登记特征向量进行匹配。认证设备通过操作1110计算与虹膜模态的多个特征对应的分数i1、i2、…、iN和与脸部模态的多个特征对应的分数f1、f2、…、fO。在这个示例中，虹膜模态的多个特征包括虹膜的汉明距离、虹膜的位计数、虹膜的半径、虹膜的形状和颜色、以及视网膜毛细血管的形态。此外，与脸部模态对应的多个特征包括与部分脸部对应的特征和与整个脸部对应的特征。
在操作1130中，认证设备基于多个模态的分数i1、i2、…、iN和f1、f2、…、fO确定第一模态的组合是否满足combi1条件。例如，第一模态的组合是虹膜的汉明距离和部分脸部的组合。响应于第一模态的组合不满足combi1条件，认证设备确定新的第二模态的组合是否满足combi2条件。例如，第二模态的组合是视网膜毛细血管的形态和整个脸部的组合。
响应于第二模态的组合满足组合combi2条件，认证设备确定第二模态的组合的融合分数满足f2(combi2)条件。响应于第二模态的组合的融合分数满足f2(combi2)条件，认证设备接受通过第二模态的组合的组合认证。
在一个示例中，认证设备将combi条件配置为始终为真或始终为假。例如，认证设备将与对应于脸部模态的多个分数之中的脸部分数f1对应的combi1条件配置为始终为真，从而总是执行脸部分数的单一认证，而不管combi1条件是否被满足。在另一示例中，认证设备将与脸部分数f1对应的combi1条件配置为始终为假，从而总是跳过脸部分数的单一认证，而不管combi1条件是否被满足。
此外，除了上述示例之外，认证设备还通过以各种方式组合combi条件和f(combi)条件来执行考虑用户便利性和安全性二者的认证。例如，f(combi)条件被设置为以预定的顺序执行基于单独的特征的一个或多个单一认证以及基于多个特征的组合的一个或多个组合认证。基于与用于f(combi)条件的单一认证条件不同的条件来设置与每个f(combi)条件对应的combi条件。在一些情况下，combi条件被配置为始终为真或始终为假。
图12示出用户界面的示例。参照图12，当用户使用生物特征认证时，用于解锁智能电话的模态的类型显示在智能电话的锁定屏幕上。例如，如第一屏幕1210中所示，在用于解锁智能电话的模态是脸部模态的情况下，脸部图标被显示在锁定屏幕上。如第二屏幕1230中所示，在用于解锁智能电话的模态是虹膜模态的情况下，虹膜图标被显示在锁定屏幕上。在用于解锁智能电话的模态是脸部模态和虹膜模态的组合的情况下，第一屏幕1210的脸部图标和第二屏幕1230的虹膜图标被交替地显示在锁定屏幕上。
在一个示例中，用于输入脸部图像的第一预览屏幕和用于输入虹膜图像的第二预览屏幕还被选择性地显示。以各种方式设置是否显示第一预览屏幕以及是否显示第二预览屏幕。例如，在使用脸部模态的单一认证的情况下，第一预览屏幕不被显示。然而，在使用虹膜模态的单一认证的情况下，第二预览屏幕被显示。此外，在使用脸部模态和虹膜模态的组合认证的情况下，第一预览屏幕和第二预览屏幕二者不被显示。
虽然图12示出脸部模态和虹膜模态，但是示例可被修改或扩展到使用另外的模态(诸如，指纹模态)的情况。
图13A和图13B示出生物特征注册处理的示例。参照图13A，在操作1310中，用户使用附连到智能电话的图像传感器来注册脸部图像。在操作1330中，用户使用附连到智能电话的IR传感器来注册虹膜图像。如果用户佩戴眼镜，则用户摘下眼镜以注册虹膜图像。
在一个示例中，用户针对预定应用或功能选择将用于认证的模态的类型。例如，用户在智能电话的设置中改变用于解锁智能电话的用户模态的类型。
参照图13B，用于选择将用于生物特征认证的模态的类型的屏幕被示出。例如，将被选择的选项包括与使用脸部模态的单一认证对应的第一选项1370、与使用虹膜模态的单一认证对应的第二选项1390，以及与使用脸部模态和虹膜模态的组合的组合认证对应的第三选项1350。响应于第一选项1370被选择，脸部模态用于生物特征认证。响应于第二选项1390被选择，虹膜模态用于生物特征认证。响应于第三选项1350被选择，脸部模态和虹膜模态二者用于生物特征认证。第一选项1370、第二选项1390和第三选项1350彼此排他地选择。例如，响应于任何一个选项被选择，之前选择的选项被自动取消。
在一个示例中，与组合认证对应的第三选项1350不被单独显示。在这个示例中，第一选项1370和第二选项1390被同时选择。在第一选项1370和第二选项1390被同时选择的情况下，针对生物特征认证执行使用脸部模态和虹膜模态的组合的组合认证。
尽管在图13B中描述使用用于生物特征认证的脸部模态和虹膜模态的情况，但是，示例不限于此。示例被修改为使用其他模态或至少三个模态的情况。
响应于模态的类型被设置，认证设备验证与模态的类型对应的登记数据是否被存储。响应于验证出与模态的类型对应的登记数据被存储，认证设备立即改变用于认证的模态的类型，而不执行额外的注册处理。如果与模态的类型对应的登记数据未被存储，则认证设备额外地接收与模态的类型对应的登记数据的输入。
在一个示例中，在预先存储的登记数据不存在的情况下设置脸部模态和虹膜模态的组合认证。在这个示例中，认证设备获取脸部图像和虹膜图像，并存储脸部模态的登记数据和虹膜模态的登记数据。
在另一示例中，在仅脸部模态的登记数据已经被存储的情况下，设置脸部模态和虹膜模态的组合认证。在这个示例中，认证设备仅获取虹膜图像，并额外存储虹膜模态的登记数据。
在用户将设置从组合认证改变为虹膜模态的单一认证的情况下，认证设备确定虹膜模态的登记数据是否被存储。在这个示例中，由于虹膜模态的登记数据已经被存储，因此，认证设备改变设置以使用虹膜模态的单一认证而不执行额外的注册处理。
在一个示例中，针对每个模态管理登记数据。例如，用户选择性地删除预先存储的登记数据之中的预定模态的登记数据。在这个示例中，认证设备基于当前设置的认证类型和剩余的登记数据来改变认证类型。例如，脸部模态的登记数据和虹膜模态的登记数据已经被存储，并且当前设置的认证类型是组合认证。如果虹膜模态的登记数据被删除，则认证设备将认证类型改变为脸部模态的单一认证。在另一示例中，生物特征模态的所有登记数据被删除，认证类型被改变为通过其他手段(诸如，图案或密码)执行认证的类型。
以上示例适用于除了智能电话之外的装置，并且还适用于除了脸部模态和/或虹膜模态之外的模态。
图14示出通过利用不同模态之间的相关性来执行组合认证的示例。认证设备在获取用于第一模态的第一图像和用于第二模态的第二图像的处理中，利用第一图像与第二图像之间的相关性。
例如，在第一模态是脸部模态并且第二模态是虹膜模态的情况下，第一图像中的眼睛区域被期望与第二图像具有相对高的相关性。在这个示例中，响应于使用第一图像的单一认证失败，认证设备在使用第二图像执行单一认证或组合认证之前确定在第一图像中是否检测到眼睛区域。详细地讲，用于第一图像的图像传感器的视角大于用于第二图像的IR传感器的视角。在这个示例中，如果从第一图像未检测到眼睛区域，则第二图像不包括虹膜信息的概率相对高。在虹膜信息不包括在第二图像中的情况下，不可能执行使用第二图像的单一认证或组合认证。因此，认证设备再次获取第一图像，而不是获取第二图像，从而使用第一图像重试单一认证。
尽管在图14中描述第一图像是彩色图像1410并且第二图像是IR图像1420的情况，但是示例不限于此。在一个示例中，第一图像是IR图像，第二图像是彩色图像，或者第一图像和第二图像二者都是IR图像或彩色图像。在另一示例中，第一图像是深度图像，第二图像是彩色图像。也就是说，第一图像是彩色图像、IR图像和深度图像中的一个，并且第二图像也是彩色图像、IR图像和深度图像中的一个。
认证设备获取彩色图像1410作为第一图像。如图14中所示，认证设备的第一图像传感器通过捕捉人的脸部作为对象来生成彩色图像1410。
响应于使用彩色图像1410的单一认证失败，认证设备针对彩色图像1410识别对象的关键点(landmark point)。例如，认证设备基于对象模型从彩色图像1410提取人的脸部特征点。在一个示例中，认证设备检查在预定区域1411内是否识别出关键点。关键点被表示为图14中的点。彩色图像1410的预定区域1411是与IR图像1420的视角对应的区域。在彩色图像1410的预定区域1411中未检测到关键点的情况下，认证设备预测虹膜信息不包括在IR图像1420中。
图15是示出用于执行组合认证的设备的示例的框图。参照图15，认证设备1500包括处理器1510。认证设备1500还包括存储器1530、通信接口1550和传感器1570。处理器1510、存储器1530、通信接口1550和传感器1570通过通信总线1505彼此通信。
处理器1510基于多个模态之中的第一模态执行单一认证。响应于单一认证失败，处理器1510基于与用于单一认证的第一条件不同的第二条件，确定是否通过多个模态的组合来执行组合认证。处理器1510响应于确定执行组合认证来执行组合认证。
存储器1530包括包含多个模态的特征向量的登记DB。例如，登记DB对应于图4的登记DB 410。存储器1530是易失性存储器或非易失性存储器。
通信接口1550将单一认证结果和/或组合认证结果输出到认证设备1500的显示装置(未示出)或认证设备1500的外部。通信接口1550从认证设备1500的外部接收至少一个模态，或接收与从用户收集模态的环境相关的信息。
例如，传感器1570包括图像传感器、IR传感器、指纹识别传感器和语音识别传感器。传感器收集各种模态。
在一个示例中，处理器1510基于第一模态的第一特征和第二模态的第二特征中的任何一个或任何组合来确定是否执行组合认证。处理器1510响应于确定执行组合认证，通过融合第一特征和第二特征来生成第三特征，并且基于第三特征执行组合认证。
在另一示例中，处理器1510确定与多个模态的第一组合对应的第一进入条件是否被满足，并且响应于第一进入条件被满足，执行通过第一组合的认证。响应于通过第一组合的认证失败，处理器1510确定与多个模态的第二组合对应的第二进入条件是否被满足，并且响应于第二进入条件被满足，执行通过第二组合的认证。
此外，处理器1510执行参照图1至图11描述的至少一种方法或与至少一种方法对应的算法。处理器1510执行程序，并控制认证设备1500。由处理器1510执行的程序代码被存储在存储器1530中。认证设备1500通过输入/输出装置(未示出)连接到外部装置(例如，个人计算机或网络)，并与外部装置交换数据。认证设备1500包括智能电视、智能电话、智能车辆和各种电子系统。
认证设备1500以及在此针对图15描述的其他设备、单元、模块、装置和其他组件通过硬件组件来实现。可用于执行在本申请中的适当位置描述的操作的硬件组件的示例包括：控制器、传感器、生成器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器以及被配置为执行在本申请中描述的操作的任何其他电子组件。在其他示例中，由计算硬件(例如，由一个或多个处理器或计算机)来实现执行在本申请中描述的操作的硬件组件中的一个或多个。处理器或计算机可由一个或多个处理元件(诸如，逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器或者被配置为以限定的方式响应并执行指令以实现期望的结果的任何其他装置或装置的组合)来实现。在一个示例中，处理器或计算机包括或连接到存储由处理器或计算机执行的指令或软件的一个或多个存储器。由处理器或计算机实现的硬件组件可执行指令或软件(诸如，操作系统(OS)以及在OS上运行的一个或多个软件应用)，以执行本申请中描述的操作。硬件组件还可响应于指令或软件的执行来访问、操控、处理、创建和存储数据。为了简明起见，单数术语“处理器”或“计算机”可用于在本申请中描述的示例的描述中，但是在其他示例中，多个处理器或计算机可被使用，或者一个处理器或计算机可包括多个处理元件或多种类型的处理元件或者两者。例如，单个硬件组件或者两个或更多个硬件组件可由单个处理器、或者两个或更多个处理器、或者一个处理器和一个控制器来实现。一个或多个硬件组件可由一个或多个处理器、或者一个处理器和一个控制器来实现，一个或多个其他硬件组件可由一个或多个其他处理器、或者另一处理器和另一控制器来实现。一个或多个处理器、或者一个处理器和一个控制器可实现单个硬件组件、或者两个或更多个硬件组件。硬件组件可具有不同的处理配置中的任意一个或多个，其示例包括：单处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令单数据(MISD)多处理和多指令多数据(MIMD)多处理。
在图2和图6A至图11中所示的执行在本申请中描述的操作的方法由计算硬件(例如，由被实现为如上所述地执行指令或软件以执行在本申请中描述的由该方法所执行的操作的一个或多个处理器或者计算机)来执行。例如，单个操作或者两个或更多个操作可由单个处理器、或者两个或更多个处理器、或者一个处理器和一个控制器来执行。一个或多个操作可由一个或多个处理器、或者一个处理器和一个控制器来执行，并且一个或多个其他操作可由一个或多个其他处理器、或者另一处理器和另一控制器来执行。一个或多个处理器、或者一个处理器和一个控制器可执行单个操作或者两个或更多个操作。
用于控制处理器或计算机实现硬件组件并且执行如上所述的方法的指令或软件可被编写为计算机程序、代码段、指令或它们的任意组合，以单独地或共同地指示或配置处理器或计算机作为用于执行由如上所述的硬件组件和方法执行的操作的机器或专用计算机进行操作。在一个示例中，指令或软件包括由处理器或计算机直接执行的机器代码(诸如，由编译器生成的机器代码)。在另一示例中，指令或软件包括由处理器或计算机使用解释器执行的高级代码。本领域普通技术编程人员能够基于附图中所示的框图和流程图以及说明书中的相应描述容易地编写指令或软件，其中，说明书公开了用于执行由如上所述的硬件组件和方法执行的操作的算法。
用于控制处理器或计算机实现硬件组件并且执行如上所述的方法的指令或软件以及任何关联的数据、数据文件和数据结构被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中，或者被记录、存储或固定在一个或多个非暂时性计算机可读存储介质上。非暂时性计算机可读存储介质的示例包括只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存储存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储器、硬盘驱动器(HDD)、固态驱动器(SSD)、诸如微型多媒体卡或卡(例如，安全数字(SD)或极速(XD))的卡型存储器、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，其中，所述任何其他装置被配置为：以非暂时性方式存储指令或软件以及任何关联的数据、数据文件和数据结构，并将指令或软件以及任何关联的数据、数据文件和数据结构提供给处理器或者计算机，使得处理器或者计算机能够执行指令。
虽然本公开包括特定的示例，但是本领域的普通技术人员将清楚，在不脱离权利要求及其等同物的精神和范围的情况下，可对这些示例进行各种形式和细节上的各种改变。在此描述的示例仅在描述意义上被考虑，并且不是为了限制的目的。每个示例中的特征或方面的描述将被认为可适用于其他示例中的类似特征或方面。如果描述的技术以不同的次序被执行，和/或如果描述的系统、架构、装置或电路中的组件以不同的方式被组合和/或由其他组件或它们的等同物替换或补充，则可实现合适的结果。因此，本公开的范围不是由具体实施方式限定，而是由权利要求和它们的等同物限定，并且权利要求和它们的等同物的范围内的所有变化将被解释为包括在本公开中。

Claims (32)

1.一种执行组合认证的方法，所述方法包括：
基于多个模态之中的第一模态执行单一认证；
响应于单一认证失败，确定是否通过所述多个模态的组合来执行组合认证；
响应于确定执行组合认证，执行组合认证。
2.根据权利要求1所述的方法，其中，确定的步骤包括：确定用于组合认证的第二条件是否被满足，第二条件不同于用于单一认证的第一条件。
3.根据权利要求1所述的方法，其中，执行单一认证的步骤包括：确定第一模态的第一特征是否满足用于单一认证的第一条件。
4.根据权利要求1所述的方法，其中，确定的步骤包括：确定第一模态的第一特征是否满足与用于单一认证的第一条件不同的第二条件。
5.根据权利要求1所述的方法，其中，所述多个模态包括：第一模态和与第一模态不同的第二模态，
确定的步骤包括：确定第一模态的第一特征、第二模态的第二特征、或者第一特征和第二特征的组合是否满足与用于单一认证的第一条件不同的第二条件。
6.根据权利要求1所述的方法，其中，执行组合认证的步骤包括：
响应于确定执行组合认证，通过融合第一模态的第一特征和包括在所述多个模态中的第二模态的第二特征来生成第三特征；
基于第三特征执行组合认证。
7.根据权利要求6所述的方法，其中，执行组合认证的步骤还包括：确定第三特征是否满足用于组合认证的第三条件。
8.根据权利要求2所述的方法，其中，第二条件针对所述多个模态的每个组合而被不同地确定。
9.根据权利要求2所述的方法，其中，第二条件基于所述多个模态之中的具有最高安全性的模态的错误接受率来确定。
10.根据权利要求2所述的方法，其中，第二条件基于所述多个模态之中的具有最高便利性的模态的错误接受率来确定。
11.根据权利要求1所述的方法，其中，所述多个模态的组合基于组合认证的安全性或便利性来确定。
12.根据权利要求1所述的方法，其中，所述多个模态包括以下中的任何一个或任何组合：用户的脸部图像、指纹图像、虹膜图像、静脉图像、掌纹图像、签名、声音、步态和DNA结构。
13.一种执行组合认证的方法，所述方法包括：
基于第一模态的第一特征和第二模态的第二特征中的任何一个或任何组合，确定是否执行组合认证；
响应于确定执行组合认证，基于第一特征和第二特征执行组合认证。
14.根据权利要求13所述的方法，其中，执行的步骤包括：
通过融合第一特征和第二特征来生成第三特征；
基于第三特征执行组合认证。
15.根据权利要求13所述的方法，其中，确定的步骤包括：
确定第一特征、第二特征、或第一特征和第二特征的组合是否满足与用于单一认证的第一条件不同的第二条件；
响应于第二条件被满足，确定通过第一模态和第二模态的组合来执行组合认证。
16.根据权利要求15所述的方法，其中，第二条件基于第一模态的第一错误接受率、第二模态的第二错误接受率、或者第一错误接受率和第二错误接受率的组合来确定。
17.根据权利要求14所述的方法，其中，基于第三特征执行组合认证的步骤包括：确定第三特征是否满足用于组合认证的第三条件。
18.一种执行组合认证的方法，所述方法包括：
确定与多个模态的第一组合对应的第一进入条件是否被满足；
响应于第一进入条件被满足，执行通过第一组合的认证；
响应于通过第一组合的认证失败，确定与所述多个模态的第二组合对应的第二进入条件是否被满足；
响应于第二进入条件被满足，执行通过第二组合的认证。
19.根据权利要求18所述的方法，其中，第一进入条件和第二进入条件针对所述多个模态的每个组合而被不同地确定。
20.根据权利要求18所述的方法，其中，确定第一进入条件是否被满足的步骤包括：基于所述多个模态的第一组合是否满足与用于单一认证的第一条件不同的第二条件来确定第一进入条件是否被满足。
21.根据权利要求20所述的方法，其中，所述多个模态的第一组合包括：第一模态和与第一模态不同的第二模态，
确定第一进入条件是否被满足的步骤包括：
确定第一模态的第一特征和第二模态的第二特征中的任何一个或任何组合是否满足第二条件；
响应于第二条件被满足，确定第一进入条件被满足。
22.一种执行组合认证的方法，所述方法包括：
基于多个模态之中的第一模态执行单一认证；
响应于单一认证失败，通过所述多个模态的组合来执行组合认证。
23.根据权利要求22所述的方法，还包括：
响应于单一认证失败，
在执行组合认证之前，基于所述多个模态之中的第二模态执行单一认证。
24.根据权利要求22所述的方法，其中，执行组合认证的步骤包括：
通过融合第一模态的第一特征和所述多个模态之中的第二模态的第二特征来生成第三特征；
基于第三特征执行组合认证。
25.一种使用彼此不同的第一生物特征模态和第二生物特征模态来认证用户的生物特征认证方法，所述生物特征认证方法包括：
确定用户的生物特征信息是否满足以下条件中的一个条件：反映第一生物特征模态的特征的第一条件和反映第二生物特征模态的特征的第二条件；
确定用户的生物特征信息是否满足反映第一生物特征模态的特征和第二生物特征模态的特征的组合条件；
响应于确定用户的生物特征信息满足第一条件和第二条件中的一个条件并且满足组合条件，确定组合认证成功。
26.根据权利要求25所述的生物特征认证方法，其中，组合条件是反映第一生物特征模态的特征和第二生物特征模态的特征融合成的特征的条件。
27.根据权利要求25所述的生物特征认证方法，其中，组合条件是组合了基于第一生物特征模态的特征计算的分数和基于第二生物特征模态的特征计算的分数的条件。
28.根据权利要求25所述的生物特征认证方法，其中，确定用户的生物特征信息是否满足组合条件的步骤包括：
通过融合第一生物特征模态的特征和第二生物特征模态的特征来生成第三特征；
确定反映第三特征的组合条件是否被满足。
29.根据权利要求25所述的生物特征认证方法，其中，确定用户的生物特征信息是否满足组合条件的步骤包括：
通过将基于第一生物特征模态的特征计算的第一分数和基于第二生物特征模态的特征计算的第二分数进行组合来生成第三分数；
基于第三分数，确定组合条件是否被满足。
30.根据权利要求25所述的生物特征认证方法，其中，第一生物特征模态是虹膜模态，并且第二生物特征模态是脸部模态。
31.一种存储指令的非暂时性计算机可读存储介质，当所述指令由处理器执行时，使处理器执行权利要求1至30中的任一项所述的方法。
32.一种电子装置，包括：
处理器；
存储器，存储计算机程序，
其中，所述计算机程序当被处理器执行时使处理器执行权利要求1至30中的任一项所述的方法。
CN201910114390.8A 2018-02-14 2019-02-14 用于执行组合认证的方法和设备 Pending CN110162948A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR20180018666 2018-02-14
KR10-2018-0018666 2018-02-14
KR10-2018-0028707 2018-03-12
KR20180028707 2018-03-12
KR1020180094439A KR102495360B1 (ko) 2018-02-14 2018-08-13 복합 인증을 수행하는 방법 및 장치
KR10-2018-0094439 2018-08-13

Publications (1)

Publication Number Publication Date
CN110162948A true CN110162948A (zh) 2019-08-23

Family

ID=65433487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910114390.8A Pending CN110162948A (zh) 2018-02-14 2019-02-14 用于执行组合认证的方法和设备

Country Status (3)

Country Link
US (2) US11625473B2 (zh)
EP (1) EP3528158B1 (zh)
CN (1) CN110162948A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822308A (zh) * 2020-06-20 2021-12-21 北京眼神智能科技有限公司 多模态生物识别的比对分数融合方法、装置、介质及设备

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190227707A1 (en) * 2016-11-30 2019-07-25 Shenzhen Royole Technologies Co. Ltd. Electronic device and soft keyboard display method thereof
KR20200100481A (ko) * 2019-02-18 2020-08-26 삼성전자주식회사 생체 정보를 인증하기 위한 전자 장치 및 그의 동작 방법
JP7188566B2 (ja) * 2019-04-12 2022-12-13 日本電気株式会社 情報処理装置、情報処理方法及びプログラム
KR20210083026A (ko) * 2019-12-26 2021-07-06 삼성전자주식회사 생체 인식을 위한 전자 장치 및 그 방법
FR3109688B1 (fr) * 2020-04-24 2022-04-29 Idemia Identity & Security France Procédé d’authentification ou d’identification d’un individu
JP2022043439A (ja) * 2020-09-04 2022-03-16 コニカミノルタ株式会社 画像形成装置、ユーザー認証方法及びユーザー認証プログラム

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003050783A (ja) * 2001-05-30 2003-02-21 Fujitsu Ltd 複合認証システム
JP2003067340A (ja) * 2001-08-28 2003-03-07 Mitsubishi Electric Corp 認証の選択システム、認証システム
US20040039909A1 (en) * 2002-08-22 2004-02-26 David Cheng Flexible authentication with multiple levels and factors
US7636853B2 (en) * 2003-01-30 2009-12-22 Microsoft Corporation Authentication surety and decay system and method
JP2005339425A (ja) 2004-05-31 2005-12-08 Sanyo Electric Co Ltd 本人認証装置
US7545961B2 (en) * 2005-12-22 2009-06-09 Daon Holdings Limited Biometric authentication system
SG139580A1 (en) * 2006-07-20 2008-02-29 Privylink Pte Ltd Method for generating cryptographic key from biometric data
US7930264B2 (en) 2007-12-06 2011-04-19 First Data Corporation Multi-module authentication platform
US9852426B2 (en) * 2008-02-20 2017-12-26 Collective Dynamics LLC Method and system for secure transactions
JP5169940B2 (ja) 2009-03-26 2013-03-27 セイコーエプソン株式会社 撮像装置及び認証装置
KR101890717B1 (ko) 2010-07-20 2018-08-23 삼성전자주식회사 생체 정보를 활용한 가상 세계 조작 장치 및 방법
JP5622928B2 (ja) * 2011-03-18 2014-11-12 富士通フロンテック株式会社 照合装置、照合プログラム、および照合方法
JP2014525091A (ja) 2011-07-13 2014-09-25 サイオニクス、インク． 生体撮像装置および関連方法
KR101276345B1 (ko) 2011-11-17 2013-06-18 주식회사 에스원 다중 생체 인식 장치 및 방법
US9100825B2 (en) * 2012-02-28 2015-08-04 Verizon Patent And Licensing Inc. Method and system for multi-factor biometric authentication based on different device capture modalities
EP2823597B1 (en) * 2012-03-08 2020-06-17 Nokia Technologies Oy A context-aware adaptive authentication method and apparatus
JP6089577B2 (ja) * 2012-10-19 2017-03-08 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US10270748B2 (en) * 2013-03-22 2019-04-23 Nok Nok Labs, Inc. Advanced authentication techniques and applications
JP6307593B2 (ja) * 2013-04-26 2018-04-04 インターデイジタル パテント ホールディングス インコーポレイテッド 必要とされる認証保証レベルを達成するための多要素認証
US9430629B1 (en) * 2014-01-24 2016-08-30 Microstrategy Incorporated Performing biometrics in uncontrolled environments
US10032008B2 (en) * 2014-02-23 2018-07-24 Qualcomm Incorporated Trust broker authentication method for mobile devices
JP6461516B2 (ja) 2014-08-25 2019-01-30 国立大学法人 東京大学 認証システム及び方法
JP6238867B2 (ja) * 2014-09-30 2017-11-29 株式会社日立製作所 逐次バイオメトリック暗号システムおよび逐次バイオメトリック暗号処理方法
US9813906B2 (en) * 2014-11-12 2017-11-07 Qualcomm Incorporated Mobile device to provide enhanced security based upon contextual sensor inputs
JP6394323B2 (ja) * 2014-11-25 2018-09-26 富士通株式会社 生体認証方法、生体認証プログラム、生体認証装置
DE102016002792B4 (de) * 2015-03-09 2022-04-28 Hid Global Corporation Biometrie-Geheimnis-Bindungsschema mit verbessertem Datenschutz
US10305895B2 (en) * 2015-04-14 2019-05-28 Blubox Security, Inc. Multi-factor and multi-mode biometric physical access control device
US9912657B2 (en) * 2015-06-02 2018-03-06 Dipankar Dasgupta Adaptive multi-factor authentication system
KR102439938B1 (ko) 2015-08-03 2022-09-05 삼성전자주식회사 사용자 인증을 위한 멀티-모달 퓨전 방법 및 사용자 인증 방법
US10990658B2 (en) * 2016-07-11 2021-04-27 Samsung Electronics Co., Ltd. Method and apparatus for verifying user using multiple biometric verifiers
US10628661B2 (en) * 2016-08-09 2020-04-21 Daon Holdings Limited Methods and systems for determining user liveness and verifying user identities
GB2555661A (en) * 2016-11-07 2018-05-09 Cirrus Logic Int Semiconductor Ltd Methods and apparatus for biometric authentication in an electronic device
US10586031B2 (en) * 2016-12-21 2020-03-10 Fingerprint Cards Ab Biometric authentication of a user
CN107465809B (zh) 2017-07-03 2020-12-04 Oppo广东移动通信有限公司 验证方法和终端
CN107463818B (zh) 2017-07-10 2020-04-03 Oppo广东移动通信有限公司 解锁控制方法及相关产品

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822308A (zh) * 2020-06-20 2021-12-21 北京眼神智能科技有限公司 多模态生物识别的比对分数融合方法、装置、介质及设备
CN113822308B (zh) * 2020-06-20 2024-04-05 北京眼神智能科技有限公司 多模态生物识别的比对分数融合方法、装置、介质及设备

Also Published As

Publication number Publication date
EP3528158A3 (en) 2019-09-11
US11625473B2 (en) 2023-04-11
EP3528158A2 (en) 2019-08-21
US20190251245A1 (en) 2019-08-15
EP3528158B1 (en) 2022-11-16
US20230252120A1 (en) 2023-08-10

Similar Documents

Publication Publication Date Title
CN110162948A (zh) 用于执行组合认证的方法和设备
CN104185849B (zh) 用于提供关于面部识别环境的通知的方法、装置和用于执行该方法的计算机可读记录介质
JP6802039B2 (ja) ユーザ認証のための登録データベースの適応的更新方法及び装置
US11023757B2 (en) Method and apparatus with liveness verification
CN107038405B (zh) 识别对象的方法和设备以及训练识别模型的方法和设备
CN108629168A (zh) 脸部验证方法、设备以及计算设备
CN109948408A (zh) 活性测试方法和设备
CN110136224A (zh) 图像融合方法和设备
US20060158307A1 (en) System and method for face recognition
CN108073889A (zh) 虹膜区域提取的方法和设备
CN101802870B (zh) 登记装置,登记方法,认证装置和认证方法
WO2019130670A1 (ja) 生体認証システム
CN112825128A (zh) 用于活性测试和/或生物特征识别验证的方法和设备
CN111382666A (zh) 具有用户验证的设备和方法
EP2624205A1 (en) Registration program, registration device, and registration method
JP2021028848A (ja) 登録データベースの適応的更新方法及び装置
CN115147874A (zh) 用于生物特征信息伪造检测的方法和设备
US11720658B2 (en) Method and apparatus of performing authentication
TWI325568B (en) A method for face varification
Srinivasa et al. Continuous multimodal user authentication: coupling hard and soft biometrics with support vector machines to attenuate noise
CN101206774A (zh) 核对方法、登记装置、核对装置和程序
TWI771819B (zh) 認證系統、認證裝置、認證方法、及程式產品
KR101240901B1 (ko) 얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
KR102495360B1 (ko) 복합 인증을 수행하는 방법 및 장치
CN104077514A (zh) 生物体登录认证系统、装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination