CN108664879A - 脸部验证方法和设备 - Google Patents

脸部验证方法和设备 Download PDF

Info

Publication number
CN108664879A
CN108664879A CN201810209155.4A CN201810209155A CN108664879A CN 108664879 A CN108664879 A CN 108664879A CN 201810209155 A CN201810209155 A CN 201810209155A CN 108664879 A CN108664879 A CN 108664879A
Authority
CN
China
Prior art keywords
verification result
identifier
verification
face
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810209155.4A
Other languages
English (en)
Other versions
CN108664879B (zh
Inventor
韩承周
金德相
高民守
孙辰雨
孙昌用
崔昌圭
韩在濬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108664879A publication Critical patent/CN108664879A/zh
Application granted granted Critical
Publication of CN108664879B publication Critical patent/CN108664879B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Accounting & Taxation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

公开一种脸部验证方法和设备。所述脸部验证方法包括：从多个验证模式之中，选择将针对脸部的验证应用的当前验证模式；基于选择的当前验证模式，从多个识别器之中，确定一个或多个识别器；使用确定的一个或多个识别器中的至少一个识别器从脸部的信息提取特征信息；基于提取的特征信息指示验证是否成功。

Description

脸部验证方法和设备
本申请要求于2017年3月28日提交到韩国知识产权局的第10-2017-0039489号韩国专利申请的权益，所述韩国专利申请的全部公开出于所有的目的通过引用合并于此。
技术领域
以下描述涉及用于验证脸部的技术。
背景技术
生物测量学认证技术的脸部验证技术可包括用于基于出现在静止图像或运动图像中的脸部确定用户是否有效的认证技术。这样的脸部验证技术具有可对验证目标执行非接触验证的优点。
发明内容
提供本发明内容来以简化的形式介绍下面在具体实施方式中进一步描述的构思的选择。本发明内容不意图识别要求保护的主题的关键特征或必要特征，本发明内容也不意图用于帮助确定要求保护的主题的范围。
在一个总体的方面，一种处理器实现的验证脸部的方法，所述方法包括：从多个验证模式之中，选择将针对脸部的验证实施的当前验证模式；基于选择的当前验证模式，从多个识别器之中，确定一个或多个识别器；使用确定的一个或多个识别器中的至少一个识别器从脸部的信息提取特征信息；基于提取的特征信息指示验证是否成功。
所述方法还可包括：基于所述一个或多个识别器的确定来获取识别器，其中，提取特征信息的步骤可包括将从图像的确定的脸部区域得到的图像信息应用到获取的识别器，以产生提取的特征信息。
所述方法还可包括：执行所述图像的确定的脸部区域的第一标准化，以产生预定的适于应用到获取的识别器的形式的图像信息，其中，获取的识别器可以是训练的神经网络或机器学习模型。
所述方法还可包括：执行所述图像的确定的脸部区域的各个标准化，以产生预定的适于应用到基于当前验证模式的不同获取的识别器的各自形式的各个图像信息，提取特征信息的步骤包括使用不同的获取的识别器从各个图像信息提取各个特征信息，指示验证是否成功的步骤包括基于提取的各个特征信息中的至少一个执行指示验证是否成功的步骤。
各个标准化中的至少一个可包括：在所述图像的确定的脸部区域中合成关于遮挡或遮挡的预测的图像信息。
所述方法还可包括执行验证，执行验证的步骤包括：基于来自提取的各个特征信息之中的第一提取特征信息，执行第一验证；基于来自提取的各个特征信息之中的第二提取特征信息，选择性地执行第二验证；根据第二验证是否被选择性地执行，基于第一提取特征信息和第二提取特征信息选择性地执行第三验证；基于第三验证的结果，确定验证是否成功。
所述方法还可包括执行提取特征信息的步骤，执行提取特征信息的步骤包括基于当前验证模式使用不同确定的识别器从图像的确定的脸部区域的各个标准化提取各个特征信息，其中，执行提取各个特征信息的步骤可基于当前验证模式而被选择性地部分执行，以在脸部的验证中注重可用性和安全性中的一个。
确定所述一个或多个识别器的步骤可包括：确定用于验证的多个不同的识别器并基于根据当前验证模式的所述多个不同的识别器的选择组合和/或布置执行验证。
执行验证的步骤可包括：基于当前验证模式选择性地执行与所述多个不同的识别器对应的各个验证处理。
所述各个验证处理可分别包括：将不同提取的特征信息与相应的登记信息之间的各个相似度与相应的阈值进行比较。
所述多个不同的识别器可包括第一神经网络模型识别器和第二神经网络模型识别器，第一神经网络模型识别器和第二神经网络模型识别器的特征在于已使用一个或多个不同的块的训练数据被分别训练，其中，第一神经网络模型识别器可被训练为针对低光条件脸部验证执行低光脸部特征提取，第二神经网络模型识别器可使用与包括一个或多个遮挡区域的脸部区域相关联的训练数据被训练。
提取特征信息的步骤可包括使用第一识别器从图像信息提取第一特征信息，其中，从图像的确定的脸部区域得到所述图像信息，其中，所述方法还可包括：执行验证，执行验证的步骤包括：基于第一特征信息确定第一验证结果；基于第一验证结果和当前验证模式确定是否使用第二识别器提取第二特征信息，其中，所述多个识别模式可包括至少一个第一验证模式和不同的第二验证模式。
提取特征信息的步骤可包括：响应于是否提取第二特征信息的确定为将提取第二特征信息的确定，使用第二识别器从所述图像信息或其他图像信息提取第二特征信息，其中，从所述图像的确定的脸部区域或另一图像的确定的脸部区域得到所述其他图像信息，执行验证的步骤还可包括：基于第二特征信息确定第二验证结果；基于第二验证结果确定验证是否成功。
响应于当前验证模式被选择为第一验证模式，所述方法可包括：响应于第二验证结果为失败，确定最终验证结果为失败，响应于第二验证结果为成功，确定最终验证结果为成功。
响应于当前验证模式被选择为第二验证模式，所述方法可包括：响应于第一验证结果为成功，确定将提取第二特征信息，响应于第二验证结果为成功，确定最终验证结果为成功。
响应于当前验证模式被选择为第一验证模式，所述方法可包括：响应于第一验证结果为失败，确定将提取第二特征信息，响应于第一验证结果为成功，确定最终验证结果为成功，并终止脸部验证处理。
响应于当前验证模式被选择为第二验证模式，所述方法可包括：响应于第一验证结果为失败，确定最终验证结果为失败，并终止脸部验证处理响应于第一验证结果为成功，确定将提取第二特征信息。
确定第一验证结果的步骤可包括：基于第一特征信息与使用第一识别器预先提取的第一登记特征信息的比较，确定第一验证结果。
所述方法还可包括：基于第一特征信息并响应于第一验证结果为成功，选择性地更新第一登记特征信息。
所述方法还可包括：基于第二特征信息与使用第二识别器预先提取的第二登记特征信息的比较，确定第二验证结果。
所述方法还可包括：基于第二特征信息并响应于第二验证结果为成功，选择性地更新第二登记特征信息。
确定第一验证结果的步骤可包括：计算第一特征信息与使用第一识别器预先提取的第一登记特征信息之间的相似度；基于第一阈值与相似度之间的比较的结果，确定第一验证结果。
特征信息的步骤可包括：从输入图像检测脸部区域；从检测到的脸部区域检测颅面特征点；基于检测到的颅面特征点对脸部区域进行标准化，以产生脸部的信息。
在一个总体的方面，提供一种存储指令的非暂时性计算机可读介质，当所述指令由处理器执行时使得所述处理器实现这里描述的一个或多个、任何组合或全部处理和方法。
在一个总体的方面，一种用于验证脸部的设备包括：一个或多个处理器，被配置为：从多个验证模式之中，选择将针对脸部的验证实施的当前验证模式；基于选择的当前验证模式，从多个识别器之中，确定一个或多个识别器；使用确定的一个或多个识别器中的至少一个识别器从脸部的信息提取特征信息；基于提取的特征信息指示验证是否成功。
所述一个或多个处理器还可被配置为基于所述一个或多个识别器的确定获取识别器，其中，所述一个或多个处理器可被配置为将从图像的确定的脸部区域得到的图像信息应用到获取的识别器，以产生提取的特征信息。
所述一个或多个处理器还可被配置为：执行所述图像的确定的脸部区域的第一标准化，以产生预定的适于应用到获取的识别器的形式的图像信息，其中，获取的识别器可以是训练的神经网络或机器学习模型。
所述一个或多个处理器还可被配置为：执行所述图像的确定的脸部区域的各个标准化，以产生预定的适于应用到基于当前验证模式的不同获取的识别器的各自形式的各个图像信息，提取特征信息的步骤包括使用不同的获取的识别器从各个图像信息提取各个特征信息，指示验证是否成功的步骤包括基于提取的各个特征信息中的至少一个执行指示验证是否成功的步骤。
针对各个标准化中的至少一个，所述一个或多个处理器还可被配置为：在所述图像的确定的脸部区域中合成关于遮挡或遮挡的预测的图像信息。
所述一个或多个处理器可基于来自提取的各个特征信息之中的第一提取特征信息执行第一验证，基于来自提取的各个特征信息之中的第二提取特征信息选择性地执行第二验证，根据第二验证是否被选择性地执行基于第一提取特征信息和第二提取特征信息选择性地执行第三验证，并基于第三验证的结果确定验证是否成功。
为执行特征信息的提取，所述一个或多个处理器还可被配置为包括基于当前验证模式使用不同确定的识别器从图像的确定的脸部区域的各个标准化提取各个特征信息，其中，执行提取各个特征信息的步骤可基于当前验证模式而被选择性地部分执行，以在脸部的验证中注重可用性和安全性中的一个。
所述一个或多个处理器可被配置为：基于当前验证模式，确定用于验证的多个不同的识别器并基于根据当前验证模式的所述多个不同的识别器的选择组合和/或布置执行验证。
为了执行验证，所述一个或多个处理器可被配置为：基于当前验证模式选择性地执行与所述多个不同的识别器对应的各个验证处理。
所述各个验证处理可分别包括：将不同提取的特征信息与相应的登记信息之间的各个相似度与相应的阈值进行比较。
所述一个或多个处理器还可被配置为：使用第一识别器从图像信息提取第一特征信息，以执行特征信息的提取，其中，从图像的确定的脸部区域得到所述图像信息；基于第一特征信息确定第一验证结果，以执行验证；基于第一验证结果和当前验证模式，确定是否使用第二识别器提取第二特征信息，其中，所述多个识别模式可包括至少一个第一验证模式和不同的第二验证模式。
所述一个或多个处理器还可被配置为：响应于是否提取第二特征信息的确定为将提取第二特征信息的确定，使用第二识别器从所述图像信息或其他图像信息提取第二特征信息，其中，从所述图像的确定的脸部区域或另一图像的确定的脸部区域得到所述其他图像信息；基于第二特征信息确定第二验证结果，以进一步执行验证；基于第二验证结果确定验证是否成功。
所述一个或多个处理器可被配置为：响应于当前验证模式被选择为第一验证模式，执行验证以：响应于第二验证结果为失败，确定最终验证结果为失败，响应于第二验证结果为成功，确定最终验证结果为成功。
所述一个或多个处理器可被配置为：响应于当前验证模式被选择为第二验证模式，执行验证以：响应于第一验证结果为成功，确定将提取第二特征信息，响应于第二验证结果为成功，确定最终验证结果为成功。
所述一个或多个处理器可被配置为：响应于当前验证模式被选择为第一验证模式，响应于第一验证结果为失败，确定将提取第二特征信息，响应于第一验证结果为成功，确定最终验证结果为成功，并终止脸部验证处理。
所述一个或多个处理器可被配置为：响应于当前验证模式被选择为第二验证模式，响应于第一验证结果为失败，确定最终验证结果为失败，并终止脸部验证处理响应于第一验证结果为成功，确定将提取第二特征信息。
所述一个或多个处理器可被配置为：基于第一特征信息与使用第一识别器预先提取的第一登记特征信息的比较，确定第一验证结果。
所述一个或多个处理器可被配置为：基于第一特征信息并响应于第一验证结果为成功，选择性地更新第一登记特征信息。
所述一个或多个处理器可被配置为：基于第二特征信息与使用第二识别器预先提取的第二登记特征信息的比较，确定第二验证结果。
所述一个或多个处理器可被配置为：基于第二特征信息并响应于第二验证结果为成功，选择性地更新第二登记特征信息。
所述一个或多个处理器可被配置为：计算第一特征信息与使用第一识别器预先提取的第一登记特征信息之间的相似度；基于第一阈值与相似度之间的比较的结果，确定第一验证结果。
所述一个或多个处理器可被配置为：从输入图像检测脸部区域；从检测到的脸部区域检测颅面特征点；基于检测到的颅面特征点对脸部区域进行标准化，以产生脸部的信息。
在一个总体的方面，一种计算设备包括：第一识别器，包括神经网络模型，所述神经网络模型被配置为从包括用户的脸部区域的输入图像提取第一特征信息；第二识别器，包括另一神经网络模型，被配置为从输入图像提取第二特征信息，第二特征信息与第一特征信息不同；一个或多个处理器，被配置为：响应于第一验证结果和第二验证结果中的至少一个为成功，确定脸部识别成功，其中，第一验证结果通过将第一特征信息与第一登记特征信息进行比较来获得，第二验证结果通过将第二特征信息与第二登记特征信息进行比较来获得。
第一识别器的神经网络模型和第二识别器的另一神经网络模型均可被配置为：已经至少基于不同的多个训练数据被分别训练。
第二识别器的另一神经网络模型被配置为：已经基于与包括遮挡区域或被预测为包括遮挡区域的训练的脸部区域相关联的训练数据被训练。
通过将脸部区域中的被预测为具有遮挡区域的区域替换为平均图像、平均值图像或单色图像中的相应区域的图像信息而获得的图像可被输入到第二识别器的另一神经网络模型，以提取第二特征信息。
被预测为具有遮挡区域的区域可以是由于眼镜、太阳镜、帽子和面具遮挡中的任何一个或任何两个或更多个的任何组合而被预测为在脸部区域中发生遮挡的区域。
所述一个或多个处理器可被配置为：响应于脸部识别成功而解除所述计算设备的锁定模式；所述一个或多个处理器可被配置为：响应于至少第一验证结果和第二验证结果均为失败，维持锁定模式或不解除锁定模式。
在一个总体的方面，一种计算设备可包括：第一识别器，包括神经网络模型，所述神经网络模型被配置为从包括用户的脸部区域的输入图像提取第一特征信息；第二识别器，包括另一神经网络模型，所述另一神经网络模型被配置为从输入图像提取第二特征信息，第二特征信息与第一特征信息不同；一个或多个处理器，被配置为：响应于第一验证结果和第二验证结果中的至少一个为失败，确定脸部识别失败，其中，第一验证结果通过将第一特征信息与第一登记特征信息进行比较来获得，第二验证结果通过将第二特征信息与第二登记特征信息进行比较来获得。
第一识别器的神经网络模型和第二识别器的另一神经网络模型均可被配置为：已经至少基于不同的多个训练数据被分别训练。
第二识别器的另一神经网络模型可被配置为：已经基于与包括遮挡区域或被预测为包括遮挡区域的训练的脸部区域相关联的训练数据被训练。
通过将脸部区域中的被预测为具有遮挡区域的区域替换为平均图像、平均值图像或单色图像中的相应区域的图像信息而获得的图像可被输入到第二识别器的另一神经网络模型，以提取第二特征信息。
被预测为具有遮挡区域的区域可以是由于眼镜、太阳镜、帽子和面具遮挡中的任何一个或任何两个或更多个的任何组合而被预测为在脸部区域中发生遮挡的区域。
所述一个或多个处理器可被配置为：响应于脸部识别失败，在支付服务或金融服务中确定验证结果为失败；所述一个或多个处理器可被配置为：响应于至少第一验证结果和第二验证结果均为成功，在支付服务或金融服务中确定验证结果为成功。
计算设备还可包括收发器，并且响应于在支付服务或金融服务中验证成功的确定，所述一个或多个处理器可被配置为控制收发器将支付信息发送到外部终端，其中，外部终端被配置为根据金融服务执行金融交易和/或被配置为根据金融服务向用户界面提供金融信息。
在一个总体的方面，一种计算设备包括：第一识别器，包括神经网络模型，所述神经网络模型被配置为从包括用户的脸部区域的输入图像提取第一特征信息；第二识别器，包括另一神经网络模型，所述另一神经网络模型被配置为从输入图像提取第二特征信息，第二特征信息与第一特征信息不同；一个或多个处理器，被配置为从至少第一验证模式和第二验证模式之中确定要实施以验证用户的当前验证模式，所述一个或多个处理器还被配置为响应于当前验证模式被确定为第一验证模式而响应于第一验证结果和第二验证结果中的至少一个为成功来确定脸部识别成功，其中，第一验证结果通过将第一特征信息与第一登记特征信息进行比较来获得，第二验证结果通过将第二特征信息与第二登记特征信息进行比较来获得，所述一个或多个处理器还被配置为响应于当前验证模式被确定为第二验证模式而响应于第一验证结果和第二验证结果中的至少一个为失败来确定脸部识别失败。
第一验证模式可以是预定解锁验证模式，其中，预定解锁验证模式被确定为当用户试图解锁所述计算设备的用户界面时由所述一个或多个处理器实施，或者被控制为当所述计算设备处于锁定状态时由所述一个或多个处理器自动实施。
第二验证模式可以是预定支付验证模式，其中，预定支付验证模式被确定为当用户访问或选择计算设备的支付服务时由所述一个或多个处理器实施。
通过下面的具体实施方式、附图和权利要求，其他特征和方面将清楚。
附图说明
图1是示出根据一个或多个实施例的脸部验证的示例的示图。
图2是示出根据一个或多个实施例的脸部验证方法的示例的示图。
图3是示出根据一个或多个实施例的脸部登记处理和脸部验证处理的示图。
图4是示出根据一个或多个实施例的脸部登记处理的示例的示图。
图5是示出根据一个或多个实施例的基于第一验证模式的验证方法的流程图。
图6是示出根据一个或多个实施例的验证模式的解锁模式的示例的示图。
图7是示出根据一个或多个实施例的基于第二验证模式的验证方法的示图。
图8是示出根据一个或多个实施例的验证模式的支付模式的示例的示图。
图9是示出根据一个或多个实施例的脸部验证设备的示例的框图。
图10是示出根据一个或多个实施例的计算设备的示例的示图。
图11是示出根据一个或多个实施例的训练设备的示例的示图。
贯穿附图和具体实施方式，除非另外描述或提供，否则相同的附图参考标号将被理解为表示相同或相似的元件、特征和结构。附图可不按比例绘制，并且为了清楚、说明和方便，附图中元件的相对大小、比例和描绘可被夸大。
具体实施方式
提供下面的详细描述以帮助读者获得对在此描述的方法、设备和/或系统的全面理解。然而，在理解本申请的公开之后，在此描述的方法、设备和/或系统的各种改变、修改和等同物将变得清楚。在此描述的操作的顺序仅是示例，并且不限于在此阐述的那些顺序，而是除了必须以特定顺序发生的操作之外，可如在理解本申请的公开之后将变得清楚的那样改变。另外，为了更加清楚和简洁，可省略对在理解本申请的公开之后已知的功能和构造的描述。
在此描述的特征可以以不同的形式实施，并且不被解释为受限于在此描述的示例。相反，在此描述的示例仅被提供以示出在理解本申请的公开之后将变得清楚的实施在此描述的方法、装置和/或系统的许多可能的方式中的一些方式。
术语(诸如，第一、第二、A、B、(a)、(b)等)可在此用于描述组件。这些术语中的每一个术语不用于定义相应组件的本质、顺序或次序，而是仅用于区分相应组件与其他组件。例如，第一组件可被称为第二组件，类似地，第二组件还可被称为第一组件。
应当注意，如果在本说明书描述一个组件被“连接”、“结合”或“接合”到另一组件，则虽然第一组件可被直接连接、结合或接合到第二组件，但是第三组件可被“连接”、“结合”或“接合”在第一组件与第二组件之间。
这里使用的术语仅是用于描述特定示例的目的，而不用于限制本公开。例如，如这里所使用的，除非上下文明确地另有指示，否则单数形式的术语也意图包括复数形式。还如这里所使用的，术语“包括”、“包含”和“具有”表明在一个或多个示例实施例中存在阐述的特征、数量、操作、元件、组件和/或它们的组合，但是，除非上下文和本公开的理解另有指示，否则不排除在更多可选实施例中存在或添加一个或多个其他特征、数量、操作、元件、组件和/或它们的组合，也不排除在更多可选实施例中缺少这样的阐述的特征、数量、操作、元件、组件和/或它们的组合。此外，在此针对示例或实施例的术语“可”的使用(例如，关于示例或实施例可包括或实现什么)，意味着存在包括或实现这样的特征的至少一个示例或实施例，然而所有的示例和实施例不限于此。
除非另有定义，否则在此使用的所有术语(包括技术和科学术语)具有本公开所属领域的普通技术人员基于本公开的理解所通常理解的含义相同的含义。除非在此清楚地定义，否则术语(诸如，通用字典中定义的术语)应被解释为具有与相关领域和本公开中的上下文含义一致的含义，而不应被解释为理想化或过于形式化的含义。
图1是示出根据一个或多个实施例的脸部验证的示例的示图。
脸部验证是基于用户的脸部确定试图验证的用户是否为有效用户的验证方法。参照图1，脸部验证设备包括在计算设备120中或者由计算设备120表示。例如，计算设备120是智能电话、可穿戴装置、平板计算机、上网本、膝上型计算机、台式计算机、个人数字助理(PDA)、机顶盒、家用电器、生物锁、安全系统以及车辆起动系统。
作为非限制性的示例，脸部验证设备执行用户110的脸部的验证处理，以确定是否允许用户110使用由计算设备120可用或执行的服务或功能，或者控制这样的服务或功能的使用的范围，或者，例如控制另一计算设备或服务器的使用的范围。脸部验证设备获取使用包括在计算设备120中的一个或多个相机130捕获的用户110的脸部的输入图像。相机130可以是计算设备120的图像获取装置(例如，光传感器、数码相机和摄像机)。因此，输入图像可以是输入到脸部验证设备的作为脸部验证的目标的图像。仅作为示例，输入图像可包括彩色图像、灰度图像和/或深度图像。
在这样的示例中，如果从登记图像提取的特征与从验证图像提取的特征之间的确定的相似度满足根据验证的功能或目的和/或根据针对这样的目的或功能如何考虑不同的特征识别结果的各个阈值，则用户可被确定为计算设备120的有效用户，仅作为非限制性的示例，用户可被允许获得对受限区域或分区的使用，或者用户可被授权使用或实现金融交易或支付。在一个示例中，针对使用计算设备120或示例的受限区域或分区或者使用或实现金融交易或支付的不同级别，还可(或可选地)存在不同的阈值(和/或不同的特征识别结果考虑)。根据验证的最终结果，用户110可通过显示器150被通知成功验证，或者可仅通过显示器150使用示例的进一步操作，从而推断出成功验证。作为另一示例，验证的成功和失败可被通知给其他用户、服务器或服务。
因此，在一个示例中，脸部验证设备可使用多个硬件实现的识别器，从输入图像检测脸部区域140并从脸部区域140分别提取一个或多个特征。识别器是从输入信息提取特征(例如，特征、特征向量或特征图)或提取与输入信息相应的特征的硬件实现的模型。例如，识别器可以是基于学习数据训练的各个神经网络或其他机器学习模型，或者这样的神经网络或机器学习模型的识别器部分。作为另外的示例，这样的识别器可以是同一神经网络或机器学习模型的各个部分。识别器还可被认为是特征提取器或鉴别器。每个识别器还可包括用于最终产生或输出这样的提取的特征的特征提取或鉴别的一个或多个阶段或等级以及其他阶段或等级。
脸部验证设备将由识别器提取的特征与通过脸部登记处理登记的特征进行比较，并基于比较结果确定验证是否成功。在上面的神经网络或机器学习示例的情况下，可通过另外的神经网络或机器学习模型或者在包括各个识别器神经网络部分的同一神经网络或机器学习模型内，实现这样的比较。对应于有效用户的用户110可在第一时间通过脸部登记处理将脸部登记在计算设备120中，计算设备120可随后通过脸部登记处理来存储确定为有效的用户110的识别的登记特征，其中，登记特征可随后在第二时间在验证处理期间被脸部验证设备考虑。
在示例中，脸部验证设备可使用多个这样的识别器来增加关于在相应的验证操作期间在各种条件下捕获的输入图像的脸部验证的准确性，随后确定识别器提取的特征与存储的登记特征之间的相似度，其中，相似度的结果可随后根据脸部验证操作被执行的基础识别或验证操作/模式而被不同地或选择地使用。
例如，脸部验证设备可通过基于验证模式和/或这样的验证模式的不同等级或程度的各自目的设置识别器的验证结果之间的不同关系，来有效地执行脸部识别。在一个示例中，目的可以是解锁验证设备(诸如，验证设备是移动装置或个人计算机)，而另一目的可以是允许金融信息的访问或使用。此外，或可选地，每个这样的目的可具有不同等级的访问或权限。在下面的示例中，将讨论两个这样的示例目的：基于可用性的验证模式的第一示例和基于安全性的验证模式的第二示例，其中，可根据用户执行的是第一示例还是第二示例(例如，在第一示例比第二示例具有更少的安全性重视(emphasis)的情况下)来不同地考虑输入信息或提取的特征。下面，虽然将讨论这样的两个示例模式，但是由于另外或可选的不同重视模式示例(例如，除了各种等级的安全性重视之外的模式示例)是可用的，所以这些示例仅出于示出性目的，而不意图限制示例。此外，如上所述，虽然可针对基于可用性的验证模式来讨论解锁的示例目的，或者可针对基于安全性的验证模式来讨论金融信息的访问或使用的目的，但是这样的目的还可分别具有不同的这样的等级的安全性重视。
因此，在基于可用性的验证模式的示例中，用户、服务供应商和/或制造商可预先确定：针对验证设备的一个或多个选择功能或目的或者各个子功能或子目的，可用性可比安全性更重要。相反，在基于安全性的验证模式的示例中，用户、服务供应商和/或制造商可预先确定：针对一个或多个选择功能或目的或者各个子功能或子目的，安全性可比可用性更重要。再次地，仅作为非限制性的示例，基于可用性的验证模式将被讨论为被应用在，例如，针对登录到装置和解锁装置的验证情况下，而基于安全性的验证模式将被讨论为被应用于，例如，针对支付和金融服务的验证情况下。验证要求的强度或信任等级可基于示例验证模式而变化。如下面进一步描述的，脸部验证方法或脸部验证设备可基于验证的目的来灵活地确定验证要求的强度或信任等级。。因此，在一个示例中，当基于验证的目的，以这样的动态或灵活应用的验证强度执行脸部验证时，可用性和安全性二者都可根据验证强度以可变的权衡关系被提供或实现。
在示例中，诸如图1的计算设备120、图9的脸部验证设备900、图10的计算设备1000、图11的训练设备1100中的每个在这里可被单独或共同地称为各个脸部验证设备，每个脸部验证设备包括一个或多个处理器，其中，一个或多个处理器被配置为：基于一个或多个验证图像执行脸部验证，输出验证结果，基于验证结果执行进一步的操作，和/或基于一个或多个登记图像执行脸部登记。例如，验证结果通过明确的或推理的指示，来指示例如包括在验证图像中的脸部是否对应于有效用户。例如，当包括在验证图像中的脸部对应于有效用户时，验证结果可包括指示验证已成功的信息；当包括在验证图像中的脸部不对应于有效用户时，验证结果可替换地包括指示验证已失败的信息。可选地，诸如在针对装置解锁、支付功能执行脸部验证或者自动执行或在后台操作中执行脸部验证的情况下(例如，在没有用户的请求或潜在知晓的情况下)，可不明确地报告给用户成功或失败的验证结果，而是，成功或失败指示可通过用于控制/建立另外操作(或另外操作的非操作)的推断的操作来指示，或者成功或失败的验证结果可被隐含或明确地指示给另一装置或服务器，其中，该另一装置或服务器可从一个或多个这样的脸部验证设备接收或监视脸部验证的结果或者一个或多个捕获的脸部的脸部验证的结果。因此，可通过实现或启动脸部验证设备的进一步处理(诸如，用户验证可能是有益的或者被需要的进一步处理操作)来指示验证结果，并且验证结果可用于实现或启动脸部验证设备的进一步处理。仅作为示例，当包括在验证图像中的脸部被脸部验证设备验证为有效用户的脸部时，脸部验证设备可诸如在脸部验证设备是用户终端(例如，智能电话或平板计算机)时解锁脸部验证设备的用户界面，并且解锁使得用户能够访问另外的信息或者执行用户终端的另外的功能，或者脸部验证设备可由于脸部验证而控制或指示外部装置允许用户进入受限区域或地区。例如，脸部验证设备可包括在门禁系统中或连接到门禁系统，或者甚至可以是门铃或者自动门解锁或上锁系统的部分。在另一示例中，通过脸部验证设备的成功脸部验证，脸部验证设备可授权进行或启动金融或支付交易以及根据实施例的可选操作或处理。
通过将关于一个或多个验证图像的信息与关于一个或多个登记图像的信息进行比较，来执行脸部验证。例如，有效用户自动地或者在用户控制下通过例如经由脸部验证设备的登记图像的捕获，来使用脸部验证设备登记脸部图像。作为非限制性示例，脸部验证设备的处理器可以是控制示例用户终端的另外的操作的脸部验证设备的一个或多个处理器，或者可以是专门配置用于脸部验证的专用处理器(例如，GPU、可重构处理器或者专用神经网络或机器学习加速处理器)。当在脸部验证设备的验证处理中时，输入图像可被称为验证图像，而在脸部验证设备的登记处理中，输入图像可被称为登记图像。在登记处理中，脸部验证设备从有效用户的脸部提取特征并存储提取的特征。还可使用训练数据预先训练用于提取特征的示例神经网络配置。例如，当用户登记完成时，并且当验证图像被接收到时，脸部验证设备可分析验证图像，从验证图像中的用户的脸部提取特征，并且通过比较从验证图像提取的特征与预先存储的登记图像的特征来基于验证阈值执行脸部验证。
脸部验证设备可被配置为执行一个或多个或者全部神经网络或其他机器学习验证训练、这里的不验证情况下的登记操作、这里的不执行登记的情况下的一个或多个或者全部验证操作，或者脸部验证设备可被配置为执行训练、登记操作和验证操作中的任意一个或任何组合。在一个示例中，一个脸部验证设备可捕获登记图像，该脸部验证设备或另一个脸部验证设备可执行图像登记，并且该脸部验证设备、该另一个脸部验证设备和/或其他脸部验证设备可捕获验证图像，上述脸部验证设备或者另外的脸部验证设备中的任何脸部验证设备可基于，例如，如由这样的脸部验证设备中的任何脸部验证设备登记并存储的登记图像，来执行验证图像的验证。这些脸部验证设备中的任何脸部验证设备可训练提取器或验证模型或神经网络，或者另一个脸部验证设备可执行训练。这样的脸部验证设备可进行通信和共享或者分别从各自的存储提供任何训练参数、任何登记图像、包括对应的提取的特征的任何其他图像登记信息、任何验证图像、包括对应的提取的特征的任何其他验证信息和/或验证处理的有效结果。因此，虽然下面的示例可涉及获取登记图像、执行登记、获取验证图像并执行验证以及另外的操作(诸如，训练或其他操作)的脸部验证设备，但是实施例不限于产生所有这样的数据、执行所有这样的操作或者基于验证的成功或不成功结果来授权或实现用户装置的进一步操作或功能的单个脸部验证设备。
图2是示出根据一个或多个实施例的脸部验证方法的示例的示图。
参照图2，在操作201中，脸部验证设备辨识当前验证模式。诸如，例如根据脸部验证设备的各种预期用途，在更加不同地注重于可用性的那些验证模式与更加不同地注重于安全性的那些验证模式之间的范围内，可存在分别满足各种认证强度的各种验证模式。例如，验证模式可包括基于可用性的解锁验证模式和基于安全性的支付验证模式，示例的认证强度可包括不同识别器的变化的考虑和/或选择的识别器的变化的选择和用途。对可用性的最多或较多的关注(focus)可包括指示成功验证的多个识别器中的任何一个的考虑和/或目标是以最简单或较简单认证实现任何识别器的识别器的选择，而对安全性的最多或较多的关注(例如，与对可用性的最多关注相比，在与示例的可用性的安全性范围相反的部分)可包括全部多个识别器指示成功验证的要求和/或目标是以认证中的较高或最高安全性实现任何识别器的识别器的选择。
作为这样的变化的可用性至安全性强度或变化的关注的另一示例，诸如当解锁装置时，可基于给出以防止错误拒绝(FR)的预设重要性，例如从这样的可用的多个验证模式选择当前验证模式，这可实现对可用性更多关注的认证。诸如当执行支付操作或访问金融服务时，可基于给出以防止错误接收(FA)的预设重要性来选择可选的当前验证模式，这可实现对安全性更多关注的认证。在这些示例中，FR对应于有效用户被拒绝，而FA对应于无效用户被认证为有效用户。
例如，当执行智能电话的解锁时，试图被认证的用户为有效用户的概率可能相对高，因此，就可用性而言(即，与针对这种条件或认证目的的安全性的重要性相比)，防止FR可能更重要。在这个示例中，可基于相对低的验证强度来执行脸部验证。例如，当通过不同的识别器得到的多个验证结果中的至少一个被确定为成功时，最终验证结果可被确定为成功，提供相对低的验证强度或可用性关注。相比之下，在支付服务中，可需要更高的安全性，以防止无效用户被认证，提供对安全性比可用性更大的关注。在这个示例中，可基于相对高的验证强度来执行脸部验证。当通过不同的识别器获得的多个验证结果中的至少一个被确定为失败时，最终验证结果可被确定为失败。前述验证情形和验证模式仅是示例，因此，可通过与多个识别器对应的验证结果的各种组合，以各种形式来设置验证模式。此外，再次注意，虽然与安全性相比对可用性的这样的关注被描述为示例，但是可选的各种关注、强度或重视可以是可用的，因此这些示例应仅被认为是非限制性的示例，并且在不同的示例的各种关注、强度或重视之间，可存在关注、强度或重视的类似的各种层次。此外，存在还可另外地或可选地由用户可选择或设置这样的各种关注、强度或重视的示例。
因此，在操作203中，脸部验证设备基于辨识的当前验证模式，来确定或选择要用于脸部验证的至少一个识别器。根据可用的多个验证模式中的哪个被确定为对应于当前验证模式，脸部验证设备可确定多个识别器中的哪些识别器将要用于脸部验证和/或这样的识别器将如何被用于脸部验证。
每个识别器可被训练以学习与在各种条件下捕获的图像相关联的数据，从而实现对相应条件的稳健性。通过使用多个识别器，脸部验证设备可使用在各种条件下捕获的输入图像来更准确地验证用户。因此，基于当前验证模式，随后实现与识别器对应的验证处理。
例如，在操作205中，脸部验证设备使用至少一个识别器从输入图像中的脸部区域获取或提取特征信息。在操作207中，脸部验证设备基于特征信息确定验证是否成功。
因此，脸部验证设备还可从输入图像检测脸部区域，并对检测的脸部区域执行识别。例如，脸部验证设备可使用基于Haar的级联adaboost分类器和Viola-Jones检测器来检测脸部区域。实施例不限于这些示例，因此，脸部验证设备可基于各种脸部区域检测方案检测具有各种分辨率和从示例捕获的图像各种剪切的脸部区域。
在一个示例中，例如，脸部验证设备可在执行输入图像的识别之前对接收的输入图像执行预处理。这样的图像预处理过程可包括将输入图像处理为更适于脸部验证的至少一个处理。作为非限制性的示例，图像预处理过程可包括以下处理中的任何一个或任何两个或更多个或者任何组合：调节输入图像的大小的处理、旋转输入图像的处理、从输入图像去除噪声的处理、在输入图像中增强对比度的处理、用于从输入图像去除模糊的去模糊处理、去除背景区域的处理、用于在输入图像中校正畸变的变形处理、在输入图像中剪切预定区域的处理以及对输入图像执行二值化的处理。根据实施例，以下对“输入图像”的引用可被理解为：当任何这样的预处理被执行时，表示已执行了图像预处理的输入图像，并可被理解为：当这样的预处理没有被执行时，表示未进行图像预处理的输入图像。
例如，脸部验证设备使用第一识别器从脸部区域的图像信息获取或提取第一特征信息。当已对脸部区域执行标准化处理时，脸部验证设备使用第一识别器从标准化的脸部区域的图像信息获取或提取第一特征信息。如下面进一步讨论的，这样的识别器可以是在验证操作之前基于学习数据训练的神经网络模型或各个神经网络模型。还仅作为一个示例，例如，获取或提取的第一特征信息可以是具有图像信息的特征向量或特征图的形式，其中，图像信息指示包括在示例捕获或存储的图像或帧中的像素的像素值。
脸部验证设备基于第一特征信息确定第一验证结果。脸部验证设备将第一特征信息与预登记的第一登记特征信息进行比较，并基于比较的结果确定第一验证结果。脸部验证设备基于比较结果将第一验证结果确定为成功或失败。例如，当第一特征信息与第一登记特征信息之间的确定的相似度满足(例如，大于)第一阈值时，第一验证结果被确定为成功。此外，当确定的相似度不满足(例如，小于或等于)第一阈值时，第一验证结果被确定为失败。
脸部验证设备，例如，基于当前验证模式和/或第一验证结果确定是否执行另外的验证处理。相应地，脸部验证设备根据当前验证模式和第一验证结果，确定是否使用第二识别器获取或提取第二特征信息。如上所述，仅作为示例，可基于验证的情形或目的或者对正实施验证的基础装置或另一装置可用的功能或服务，来预先确定当前验证模式。
响应于要获取或提取第二特征信息的确定，脸部验证设备使用第二识别器从脸部区域的图像信息获取或提取第二特征信息。类似于第一识别器，第二识别器也可以是在验证操作之前基于学习数据训练的神经网络模型。第二识别器可不同于第一识别器。例如，第一识别器和第二识别器可提供关于同一条件的不同验证性能或目标。例如，针对在低光环境中捕获的输入图像，第一识别器可被训练为具有比第二识别器更大的识别率；而针对由于遮蔽的脸部而在脸部区域中包括脸部遮挡物的输入图像，第二识别器可被训练为具有比第一识别器更大的识别率。例如，脸部遮挡物可包括眼镜、太阳镜、面具或帽子。
脸部验证设备基于第二特征信息确定第二验证结果。脸部验证设备将第二特征信息与预登记的第二登记特征信息进行比较，并基于比较的结果确定第二验证结果。脸部验证设备基于比较结果将第二验证结果确定为成功或失败。例如，当第二特征信息与第二登记特征信息之间的确定的相似度满足(例如，大于)第二阈值时，第二验证结果被确定为成功。此外，当相似度不满足(例如，小于或等于)第二阈值时，第二验证结果被确定为失败。在这些示例中，至少因为第一识别器和第二识别器可不同，所以第一阈值和第二阈值可不同。可选地，它们可相同。
在一个示例中，根据仅在第一验证结果被确定成功之后实施第二验证的当前验证模式，脸部验证设备基于第二验证结果确定最终验证结果。因此，在这样的示例中，当第二验证结果为成功时，最终验证结果被确定为成功；而当第二验证结果为失败时，最终验证结果被确定为失败。可选地，在一个示例中，根据不管第一验证的成功确定或失败确定而执行第二验证的当前验证模式，如果第一验证结果和第二验证结果中的至少一个被确定为成功，则最终验证结果可被确定为成功。
类似地，存在脸部验证设备使用三个或更多个识别器的示例。在实施三个或更多个识别器的当前验证模式的一个示例中，在第一验证被确定成功之后，第二验证被执行，并且当第二验证为成功时，使用第三识别器的第三验证被执行，因此由最后的识别器执行的验证的结果可被确定为最终验证结果。在当前验证模式实施三个或更多个识别器的另一示例中，如果关于任何识别器的任何各自的验证被确定成功，则最终验证被确定成功。
图3是示出根据一个或多个实施例的脸部登记处理和脸部验证处理的示图。
在脸部验证处理320之前执行脸部登记处理310。在脸部登记处理310中，从捕获或存储的用于脸部登记的图像(即，登记图像311)检测脸部区域，然后从检测到的脸部区域检测颅面特征点(facial landmark)。这里，仅作为非限制性示例，可基于主动轮廓模型(ACM)、主动形状模型(ASM)、主动外观模型(AAM)、监督下降法(SDM)和/或神经网络模型使用特征点检测方法，来检测脸部区域中的颅面特征点。
可基于特征点对检测到的脸部区域进行标准化，这样以分别适合于每个识别器的输入。因此，可通过将脸部区域标准化为适合于第一识别器的输入，来产生标准化图像312。此外，可通过将脸部区域标准化为适合于第二识别器的输入，来产生标准化图像313。根据第一识别器和第二识别器的各自的输入特性，各个标准化操作可相同，或者它们可不同。仅作为示例，如果第一标准化器是神经网络，则神经网络的输入将期望输入数据具有特定形式或以特定方式被提供。例如，期望的形式可涉及输入数据的期望的大小或分辨率、或者输入数据的像素信息的期望的排列的形式或张量形式。还可实施另外的或可选的标准化，这样以将输入图像剪切成仅脸部区域，和/或以将图像中的脸部变形或旋转为中心对齐或预定对齐。
在操作314中，使用第一识别器从标准化图像312提取第一登记特征。例如，当第一识别器对低光稳健时，第一识别器可已被训练为补偿由于低光造成的识别率的典型劣化，从而即使在低光条件下也提取特征。此外，在操作315中，使用第二识别器从标准化图像313提取第二登记特征。例如，当第二识别器对遮挡区域稳健时，第二识别器可已被训练为补偿由于脸部图像中的遮挡的存在造成的识别率的典型劣化，从而即使在遮挡可存在时或基于这样的遮挡的预期，也提取特征。在操作316中，例如，可随后将通过前述处理提取的登记特征存储在数据库中，作为各个登记特征。
在脸部验证处理320中，脸部验证设备从图像获取装置接收与验证的目标对应的输入图像321。从脸部验证处理320提取特征信息的处理可类似于脸部登记处理310。脸部验证设备从输入图像321检测脸部区域，并对脸部区域进行标准化，这样以适合于另一第一识别器的输入。此外，脸部验证设备将得到的标准化图像322输入到该另一第一识别器，并在操作324中提取第一特征。脸部验证设备从输入图像321检测脸部区域，并对脸部区域进行标准化，例如，以适合于另一第二识别器的输入。此外，脸部验证设备将得到的标准化图像323输入到该另一第二识别器，并在操作325中提取第二特征。这里，例如，第一识别器和该另一第一识别器可以是同一识别器，第二识别器和该另一第二识别器可以是同一识别器。
在操作326中，脸部验证设备基于第一特征和/或第二特征确定验证是否成功。脸部验证设备基于第一特征与存储在数据库中的第一登记特征之间的比较的结果，来确定第一验证结果。此外，脸部验证设备基于第二特征与存储在数据库中的第二登记特征之间的比较的结果，来确定第二验证结果。因此，基于当前验证模式，使用第一验证结果和第二验证结果中的一个或二者确定最终验证结果。在一个示例中，当基于第一验证结果确定最终验证结果时，可选择地不执行确定第二验证结果的处理。例如，如果当前验证模式针对最终验证结果为成功，仅要求第一验证结果和第二验证结果中的一个成功，并且第一验证结果为成功，则确定第二验证结果的处理可不需要被执行。在这个当前验证模式示例中，如果第一验证结果为失败，则确定第二验证结果的处理将被进一步执行，以为了成功的最终验证来确定验证中的至少一个是否为成功。可选地，如果当前验证模式要求第一验证结果和第二验证结果二者为成功，并且第一验证结果为失败，则确定第二验证结果的处理可不需要被执行。在这个当前验证模式示例中，如果第一验证结果为成功，则确定第二验证结果的处理将被进一步执行，以为了成功的最终验证来确定验证中的二者是否成功。
图4是示出根据一个或多个实施例的脸部登记处理的示例的示图。
图4示出如参照图3描述的脸部登记处理的示例。将理解，下面的描述仅是非限制性的示例，可替代方案也是可用的。参照图4，有效用户的图像401可被输入用于脸部登记。在操作403中，从图像401检测脸部区域。在操作405中，从检测到的脸部区域检测特征点。在操作411和操作421中，基于检测到的特征点，对脸部区域执行各自的标准化(例如，第一标准化和第二标准化)，例如以适合于每个识别器的各自输入。
在操作411中，脸部验证设备对脸部区域执行第一标准化，例如，以适合于第一识别器417的输入。第一识别器417接收标准化脸部区域413的图像信息，并基于标准化脸部区域413的图像信息输出一个或多个第一登记特征419。在操作421中，脸部验证设备对脸部区域执行第二标准化，例如，以适合于第二识别器427的输入。第二识别器427基于标准化脸部区域423的图像信息输出一个或多个第二登记特征429。这里，虽然提供在同一脸部区域的同一图像的外表(aspect)可例如在各自的标准化之后被第一识别器417和第二识别器427分别考虑的示例，但是示例不限于此，在非限制性的示例中，不同的图像和/或不同的脸部区域可在不同的识别器中的两个或更多个之间被分别考虑。此外，虽然提供第一识别器417和第二识别器427针对各自不同的登记操作执行各自的不同的特征提取的示例，但是，作为非限制性的示例，不同的识别器中的一个或多个可依靠与识别器中的另一识别器相同的初始特征提取或后来的特征提取，和/或不同的登记操作中的任何两个或更多个可不同地依靠相同的提取的特征。
由第一识别器417提取的一个或多个第一登记特征419和由第二识别器427提取的一个或多个第二登记特征429存储在数据库430中。通过这样的脸部登记处理，登记特征可被获得以用于随后根据确定的当前验证模式确定是否验证脸部当三个或更多个识别器被使用时，各自的登记特征可被提取，并类似地存储在数据库430中。
图5是示出根据一个或多个实施例的基于第一验证模式的验证方法的流程图。
第一验证模式可以是与验证无效用户的安全性顾虑相比关注于更加容易地验证有效用户的示例的当前验证模式。例如，第一验证模式是可被选择或预定义为在解锁智能电话时应用的示例的当前验证模式。在这个示例的第一验证模式中，当针对各自的特征识别或提取的多个验证结果中的至少一个或任何一个被确定为成功时，脸部验证设备确定最终验证结果为成功，并终止脸部验证处理。
在操作510中，脸部验证设备执行第一验证处理。在第一验证处理中，脸部验证设备使用第一识别器从输入图像提取第一特征信息。在各种示例中，特征可与特征信息互换使用，或者特征信息可被解释为包括在特征中的信息。例如，第一特征信息可被成为第一特征。如参照图2所述，脸部验证设备可从输入图像检测脸部区域，从脸部区域检测特征点，并基于检测到的特征点执行标准化。脸部验证设备可随后从标准化的脸部区域提取第一特征信息。
在操作515中，脸部验证设备确定第一验证处理是否为成功。诸如上面关于图3和图4所述，脸部验证设备基于提取的第一特征信息与存储在数据库中的第一登记特征信息之间的比较的结果，来确定第一验证处理是否为成功。在一个示例中，脸部验证设备可基于第一验证模式和第一验证处理的结果，确定是否使用第二识别器获取第二特征信息。
例如，当第一登记特征信息与第一特征信息之间的比较的结果满足预设条件(例如，第一登记特征信息与第一特征信息之间的确定的相似度满足第一阈值)时，脸部验证设备在操作540中将第一验证处理的验证结果确定为成功，并终止脸部验证处理。在这个示例中，第一验证处理的成功的验证结果是最终验证结果。当第一登记特征信息与第一特征信息之间的比较的结果不满足预设条件(例如，第一登记特征信息与第一特征信息之间的确定的相似度不满足第一阈值)时，脸部验证设备将第一验证处理的验证结果确定为失败，并执行第二验证处理。类似地，当第一验证处理的验证结果为失败时，脸部验证设备可确定第二特征信息将被获取或提取。此外，当第一验证处理的验证结果为成功时，脸部验证设备可确定最终验证结果为成功，并可终止脸部验证处理。
在操作520中，脸部验证设备执行第二验证处理。在第二验证处理中，脸部验证设备使用第二识别器从输入图像提取第二特征信息。与第一识别器类似，脸部验证设备可在输入图像被输入到第二识别器之前对输入图像进行标准化。
在操作525中，脸部验证设备确定第二验证处理是否成功。脸部验证设备将第二特征信息与存储在数据库中的第二登记特征信息进行比较，以确定第二验证处理是否成功。当第一验证模式包括第三识别器时，脸部验证设备可基于第二验证处理的结果确定是否使用第三识别器获取或提取第三特征信息。
例如，当第二登记特征信息与第二特征信息之间的比较的结果满足预设条件(例如，第二登记特征信息与第二特征信息之间的确定的相似度满足第二阈值)时，脸部验证设备在操作540中将第二验证处理的验证结果确定为成功，并终止脸部验证处理。在这个示例中，该验证结果是最终验证结果。当第二登记特征信息与第二特征信息之间的比较的结果不满足预设条件(例如，第二登记特征信息与第二特征信息之间的确定的相似度不满足第二阈值)时，脸部验证设备确定验证结果为失败。当第一验证模式不包括选择地实施第三验证处理时，脸部验证设备可响应于第一验证处理和第二验证处理的验证结果为失败而确定最终验证结果为失败，响应于第二验证处理的验证结果为成功而确定最终验证结果为成功。
在操作530中，当第二验证处理的验证结果被确定为失败，并且第一验证模式包括选择地实施第三验证处理时，脸部验证设备执行第三验证处理。第三验证处理仅是示例，因此，使用与第一识别器和第二识别器不同类型的识别器的另外验证处理也可(或可选地)包括在脸部验证处理中。在示例的第三验证处理中，脸部验证设备，例如，基于通过组合第一验证处理的特征参数和第二验证处理的特征参数而获得的结果，使用第三识别器获取或提取第三特征信息。例如，各自的特征参数可各自包括来自通过第一识别器和第二识别器中的每个提取的以上特征的特征信息。
在操作535中，脸部验证设备确定第三验证处理是否成功。例如，脸部验证设备可通过将由第一识别器提取的第一特征信息和由第二识别器提取的第二特征信息进行组合，来产生组合的特征信息。当组合的特征信息与相应地组合的登记特征信息之间的比较的确定的相似度满足预设条件时(例如，当确定的相似度满足第三阈值时)，脸部验证设备在操作540中将验证结果确定为成功，并终止脸部验证处理，其中，通过将对应于第一特征信息的第一登记特征信息与对应于第二特征信息的第二登记特征信息进行类似地组合来产生相应地组合的登记特征信息。相反地，当比较的确定的相似度不满足预设条件时(例如，不满足第三阈值时)，脸部验证设备在操作550中确定验证结果为失败，并终止脸部验证处理。在这个示例中，第三验证处理的验证结果是最终验证结果。
图6是示出根据一个或多个实施例的验证模式的解锁模式的示例的示图。
脸部验证设备可在解锁模式下进行操作，或确定用户正使用脸部验证设备执行脸部验证设备的解锁功能。例如，解锁模式可以是图5的第一验证模式的示例，注意实施例不限于此，并注意第一验证模式也不限于示例的解锁模式，相反，仅作为示例，第一验证模式可表示可以可变地强调可用性大于安全性的多个不同的验证模式。脸部验证设备可在操作603中从输入图像601检测脸部区域。在操作605中，脸部验证设备可从检测到的脸部区域检测特征点。在操作611中，脸部验证设备可随后对脸部区域执行第一标准化，例如，以适合于第一识别器617的输入。
例如，脸部验证设备可通过将检测到的特征点的位置与预定义的参考位置进行匹配，和/或通过调节检测到的脸部区域的大小和/或旋转，来对检测到的脸部区域进行标准化。仅作为示例，当用户的脸部的一部分(例如，用户的脸部的下面脸部部分)在捕获输入图像的相机的视野之外时，相机可不捕获用户的脸部的下面脸部部分，因此，捕获的输入图像可仅包括用户的脸部的中间部分和上面部分。在这个示例中，例如，脸部验证设备可如同完整的脸部已被捕获那样，对捕获的脸部区域进行标准化，然后从与登记图像中的对应于下面脸部区域的相同或相似区域对应的预定图像信息合成输入图像的下面脸部区域。例如，预定图像信息可以是来自多个登记图像中的多个脸部的多个下面脸部部分的预定平均。作为另一示例，预定图像信息可以仅是缺失的下面脸部区域的像素信息都具有先前确定为这样的多个下面脸部部分的平均值的相同值的平均值图像，或者平均值图像可仅具有作为标准化图像的剩余的平均值的值。因此，例如，得到的标准化图像613可因此包括：如在捕获的图像中捕获的脸部的部分和从这样的预定图像信息得到的合成的像素值。
脸部验证设备将标准化图像613输入到第一识别器617。脸部验证设备使用第一识别器617提取一个或多个第一特征619。脸部验证设备将一个或多个第一特征619与存储在数据库中的第一登记特征进行比较，以在操作651中确定验证是否成功。在这个示例中，例如，示例的第一登记特征可以是在登记处理期间使用第一识别器617从有效用户的输入图像提取的一个或多个特征。
脸部验证设备计算一个或多个第一特征与一个或多个第一登记特征之间的相似度，并将计算的相似度与第一阈值进行比较，从而确定验证是否成功。当相似度满足(例如，大于)第一阈值时，脸部验证设备在操作655中确定验证成功。相反，当相似度不满足(例如，小于或等于)第一阈值时，脸部验证设备确定验证失败。
响应于验证结果在操作655中被确定为成功，脸部验证设备在操作631中基于第一特征信息确定是否更新第一登记特征。在操作633中，脸部验证设备通过进一步将计算的相似度与另一阈值(例如，设置为大于第一阈值的阈值)进行比较，来选择地更新第一登记特征。例如，如果进一步比较的结果是计算的相似度满足该另一阈值的确定，则可更新、替换或添加/增补到第一登记特征中的一个或多个；而如果确定是计算的相似度不满足该另一阈值，则可不存在基于当前第一特征信息的对第一登记特征的任何更新、替换或添加/附加。可对存储第一登记特征的数据库做出更新、替换或添加/增补。
响应于验证结果在操作655中被确定为成功，脸部验证设备可将最终验证结果确定为成功，并可终止脸部验证处理。当验证结果被确定为失败时，例如，脸部验证设备可随后在操作621中执行第二标准化，以产生标准化图像623。
脸部验证设备将标准化图像623输入到第二识别器627。例如，选择性地基于验证设备确定输入图像或脸部区域中存在遮挡区域，或者自动地(例如，不管输入图像或脸部区域中是否例如由于眼镜或帽子而出现遮挡区域)，脸部验证设备可使用来自例如平均图像、平均值图像或预定单色图像的相应图像信息，来填充或合成出现(或被预测为出现)遮挡区域的相应区域。例如，可通过对来自多个训练图像(诸如，用于训练至少第二识别器627的那些训练图像)之中的在多个相应位置的像素值中的每一个分别进行平均，来产生这样的平均图像。在这样的平均图像中，平均图像的各个像素值可基于每个像素的位置而改变或不同，因此，即使通过对来自多个训练图像的像素值的各个平均得到各个像素值，外形也可显现。可通过获得包括在这样的多个训练图像中的全部像素的像素值的平均并随后针对平均值图像的全部像素选择平均像素值来产生平均值图像。在平均值图像中，全部像素可具有相同的像素值，因此，在这种情况下，外形可不显现。预定单色图像可以是针对单色图像的每个像素具有单个颜色值的图像，其中，仅作为示例，单个颜色值可被设置为独立于这样的多个训练图像。这仅是示例，因此，脸部区域包括(或可包括)一个或多个遮挡的情况的处理方法不限于该示例。
脸部验证设备使用第二识别器627提取一个或多个第二特征629。脸部验证设备将一个或多个第二特征629与存储在数据库中的第二登记特征进行比较，以在操作653中确定验证是否成功。虽然第二登记特征可以是在登记处理(诸如，被执行以提取前述的第一登记特征的登记处理)期间使用第二识别器627例如从有效用户的输入图像提取的一个或多个特征，但是实施例不限于此。
当验证结果在操作655中被确定为成功时，脸部验证设备在操作641中基于第二特征629(诸如，基于一个或多个第二特征629与第二登记特征之间的计算的相似度是否满足预定阈值，其中，预定阈值大于被考虑用于确定验证结果是成功或失败的阈值)确定是否更新第二登记特征。响应于第二登记特征将被更新、替换或添加/增补的确定，脸部验证设备在操作643中基于一个或多个第二特征629对第二登记特征进行更新、替换或添加/增补。当验证结果在操作655中被确定为成功时，脸部验证设备确定最终验证结果为成功。可对存储第二登记特征的数据库做出更新、替换或添加/增补。
当验证结果在操作657中被确定为失败时，脸部验证设备确定最终验证结果为失败，例如，脸部验证设备终止脸部验证处理，或者接收另一输入图像，以再次执行第一脸部验证处理和/或第二脸部验证处理。例如，脸部验证设备可被控制为对在一段时间(诸如，6秒)内通过相机的连续拍摄接收的一系列输入图像或视频帧，重复执行脸部验证处理，直到最终验证结果被确定为成功或者该段时间已期满为止。另外地，虽然第一验证处理和第二验证处理被讨论为被执行，随后验证处理终止或在示例的一段时间内重复，成功被实现或者发生预定数量的最终失败，但是如果存在除示例的第一识别器617和第二识别器627之外的识别器的更多阶段，则可与在第一验证处理之后如何执行第二验证处理类似地执行这样的另外或随后的脸部验证处理，以确定每个各自的验证结果。
图7是示出根据一个或多个实施例的基于第二验证模式的验证方法的示图。
第二验证模式可以是与可用性相比(例如，与图5的上面示例的第一验证模式或图6的解锁模式的更多可用性关注相比)可关注或强调安全性的另一示例的当前验证模式。例如，基于由验证设备关于由用户实现的验证设备的当前功能的确定或者由验证设备提供的用户正试图访问或使用的服务，验证设备可选择合适的当前验证模式。例如，在上面的图5和图6的示例中，验证设备可确定用户正试图解锁验证设备，并选择上面的示例的第一验证模式。在另一示例中，验证设备可确定用户正试图使用验证设备执行支付功能或访问金融信息，因此可选择示例的第二验证模式。可选地，例如，验证设备可被制造商或服务供应商预设或配置为在没有这样的确定的情况下自动地实现任意这样的示例的当前验证模式，可选地或另外地，用户可被提供用户接口，其中，用户接口用于针对示例验证模式中的任何验证模式选择何时实现这样的各种关注、强度或重视/实现这样的各种关注、强度或重视中的哪些。在图7的示例的情况下，仅作为示例，第二验证模式可以是被控制或选择为被实现以针对验证设备的支付功能验证用户是否有效或者用户是否为有效用户的模式，其中，有效用户允许访问存储在验证设备上的或验证设备可用的金融信息。在这个示例中，当第二验证模式期间的多个验证结果中的至少一个被确定为失败时，脸部验证设备确定最终验证结果为失败，并终止相应的脸部验证处理。
在操作710中，脸部验证设备执行第二验证模式的第一验证处理。在第一验证处理中，脸部验证设备使用第一识别器从输入图像提取第一特征信息。图2-图6的示例和描述也可应用于图7的示例中的提取特征信息的处理，因此，为了简洁目的，它们的描述不在这里重复。例如，注意，可选示例是可用的，第一识别器可以是已针对低光条件训练的识别器。
在操作715中，脸部验证设备确定第一验证处理是否成功。脸部验证设备基于提取的第一特征信息与存储在数据库中的第一登记特征信息之间的比较的结果，来确定第一验证处理是否成功。脸部验证设备基于第二验证模式和第一验证处理的结果，确定是否使用第二识别器获取或提取第二特征信息。
当第一登记特征信息与第一特征信息之间的比较的结果不满足预设条件(例如，相应的相似度被确定为不满足第一阈值)时，脸部验证设备在操作740中将第一验证处理的验证结果确定为失败，并终止脸部验证处理。在这个示例中，该验证结果是最终验证结果。当第一登记特征信息与第一特征信息之间的比较的结果满足预设条件时，脸部验证设备将第一验证处理的验证结果确定为成功，并执行第二验证处理。类似地，当第一验证处理的验证结果为成功时，脸部验证设备可仅确定第二特征信息将被获取或提取。这里，虽然示例根据紧接先前的验证操作的确定的成功或失败来讨论这样的第二验证操作或更多随后的验证操作的实施的顺序，但是实施例不限于此，因为一个或多个识别器的特征提取可被并行地执行，正如任何验证操作可被并行地执行，随后关于最终验证成功还是失败，一起考虑来自每个验证操作的各自的验证结果。
在图7的示例中，在操作720中，脸部验证设备因此接下来根据第一验证处理的成功来执行第二验证处理。在第二验证处理中，脸部验证设备使用第二识别器从输入图像提取第二特征信息。图2-图6的描述也可应用于图7的示例中的提取特征信息的处理，因此，为了简洁目的，这样的示例和描述不在这里重复。例如，注意，可选示例是可用的，第二识别器可以是已针对遮挡训练的识别器。
在操作725中，脸部验证设备确定第二验证处理是否成功。脸部验证设备将第二特征信息与存储在数据库中的第二登记特征信息进行比较，以确定第二验证处理是否成功。脸部验证设备可随后基于第二验证模式和第二验证处理的结果，确定是否使用第三识别器获取第三特征信息。
当第二登记特征信息与第二特征信息之间的比较的结果不满足预设条件时，脸部验证设备在操作740中将第二验证处理的验证结果确定为失败，并终止脸部验证处理。在这个示例中，该验证结果是最终验证结果。当第二登记特征信息与第二特征信息之间的比较的结果满足预设条件时，脸部验证设备确定验证结果为成功。当根据第二验证模式的一个示例，将不执行第三验证时，脸部验证设备可响应于第二验证处理的验证结果被确定为失败而确定最终验证结果为失败，响应于第二验证处理的验证结果被确定为成功而将最终验证结果确定为成功。
在操作730中，当示例的第二验证模式还包括这样的示例的第三验证处理时，当第二验证处理的验证结果被确定为成功时，脸部验证设备执行第三验证处理。如在图5的示例中所讨论的，第三验证处理可类似地仅为这样的示例，而可选地，使用不同类型的识别器的另外或可选的验证处理也可包括在脸部验证处理中。
在操作735中，脸部验证设备确定第三验证处理是否成功。例如，类似于上面关于图5的示例，可通过将由第一识别器提取的第一特征信息和由第二识别器提取的第二特征信息进行组合来产生组合的特征信息。在这个示例中，当组合的特征信息与组合的登记特征信息之间的比较的结果满足预设条件时，脸部验证设备在操作750中确定验证结果为成功，并终止脸部验证处理，其中，通过将对应于第一特征信息的第一登记特征信息与对应于第二特征信息的第二登记特征信息进行组合来产生组合的登记特征信息。当该比较的结果不满足该预设条件时，脸部验证设备在操作740中确定验证结果为失败，并终止脸部验证处理。在这个示例中，验证结果是最终验证结果。
图8是示出根据一个或多个实施例的验证模式的支付模式的示例的示图。
脸部验证设备可在支付模式下进行操作。例如，支付模式可以是图7的第二验证模式的示例，注意实施例不限于此，并注意第二验证模式也不限于示例的支付模式，相反，仅作为示例，第二验证模式可表示可以可变地强调安全性大于可用性的多个不同的验证模式。这里，还注意，这样的第一验证模式和第二验证模式已被讨论作为当前验证模式的示例，但是另外或可选的验证模式可用作或可选择为当前验证模式，其中，另外或可选的验证模式中的任何验证模式可不同地强调或关注另外或可选的方面(诸如，验证设备的可用性和安全性)。
因此，类似于图6的脸部验证处理，脸部验证设备可在操作603中从输入图像601检测脸部区域。在操作605中，脸部验证设备可从检测到的脸部区域检测特征点。例如，脸部验证设备可基于检测到的特征点对脸部区域执行第一标准化611，以将图像信息产生、识别或转换为适合于第一识别器617的输入的形式。脸部验证设备可随后将标准化图像613输入到第一识别器617。这里，在这样的脸部标准化不被执行的示例中，输入图像或输入图像的部分(诸如，对应于检测到的脸部区域)可被输入到各自的识别器。在当前示例中，脸部验证设备使用第一识别器617提取第一特征619。脸部验证设备将第一特征619与存储在数据库中的第一登记特征进行比较，以在操作651中确定验证是否成功。
响应于比较的验证结果在操作651中被确定为成功，脸部验证设备在操作631中基于第一特征信息(例如，一个或多个第一特征619)确定是否更新、替换或添加/增补第一登记特征。
例如，在操作633中，脸部验证设备通过将相似度与另一阈值(例如，设置为大于第一阈值的阈值)进行比较，在数据库中更新、替换或添加/增补第一登记特征或者将第一登记特征更新、替换或添加/增补到获取或访问第一登记特征的数据库。可选地，响应于验证结果为失败，脸部验证设备确定最终验证结果为失败，并终止脸部验证处理。
脸部验证设备还执行第二标准化621，并将标准化图像623输入到第二识别器627。当用户的脸部的一部分(例如，用户的脸部的下面脸部部分)在捕获输入图像的相机的视野之外时，相机可不捕获用户的脸部的下面脸部部分，因此，捕获的输入图像可仅包括用户的脸部的中间部分和上面部分。在这个示例中，例如，脸部验证设备可如同完整的脸部已被捕获那样，对捕获的脸部区域进行标准化，然后从与登记图像中的对应于下面脸部区域的相同或相似区域对应的预定图像信息合成输入图像的下面脸部区域。例如，预定图像信息可以是来自多个登记图像中的多个脸部的多个下面脸部部分的预定平均。作为另一示例，预定图像信息可以仅是缺失的下面脸部区域的像素信息都具有先前确定为这样的多个下面脸部部分的平均值的相同值的平均值图像，或者平均值图像可仅具有作为标准化图像的剩余的平均值的值。因此，例如，得到的标准化图像623可因此包括：如在捕获的图像中捕获的脸部的部分和从这样的预定图像信息得到的合成的像素值。另外地、可选地或选择性地，第二标准化621可考虑潜在的遮挡。例如，选择性地基于验证设备确定输入图像或脸部区域中存在遮挡区域，或者自动地(例如，不管输入图像或脸部区域中是否例如由于眼镜或帽子而出现遮挡区域)，脸部验证设备可使用来自例如平均图像、平均值图像或预定单色图像的相应图像信息，来填充或合成出现(或被预测为出现)遮挡区域的相应区域。例如，可通过对来自多个训练图像(诸如，用于训练至少第二识别器627的那些训练图像)之中的在多个相应位置的像素值中的每一个分别进行平均，来产生这样的平均图像。在这样的平均图像中，平均图像的各个像素值可基于每个像素的位置而改变或不同，因此，即使通过对来自多个训练图像的像素值的各个平均得到各个像素值，外形也可显现。可通过获得包括在这样的多个训练图像中的全部像素的像素值的平均并随后针对平均值图像的全部像素选择平均像素值来产生平均值图像。在平均值图像中，全部像素可具有相同的像素值，因此，在这种情况下，外形可不显现。预定单色图像可以是针对单色图像的每个像素具有单个颜色值的图像，其中，仅作为示例，单个颜色值可被设置为独立于这样的训练图像。这仅是示例，因此，脸部区域包括(或可包括)一个或多个遮挡的情况的处理方法不限于该示例。此外，这里，这样的图像信息的填充或合成可被认为是图像信息的填补(padding)。此外，还可在任何标准化处理中实现填补，诸如，任何标准化处理通过在最终标准化图像中添加一个或多个列和/或行的零(例如，可围绕检测到的脸部区域的一部分或全部的值化的像素)，来将预定像素值用于例如除了检测到的脸部区域的像素值之外的新产生的像素值。
脸部验证设备使用第二识别器627提取第二特征629。脸部验证设备将第二特征629与存储在数据库中的第二登记特征进行比较，并在操作653中确定验证是否成功。第二登记特征是使用第二识别器627从有效用户的输入图像提取的特征。这里，虽然可针对具有相同参考标记的图6和图8来相同地标记第一识别器617和第二识别器627，但是这样的标记是为了说明的方便，虽然在图6与图8的示例之间，一个或二者可以是相同的识别器，但是图6和图8中的相似标记的识别器中的一个或二者可以是不同的识别器(例如，使用相同或不同的训练信息或图像针对相似或不同的目标不同地训练的识别器)。
当针对第二特征629的验证结果在操作653中被确定为成功时，脸部验证设备在操作641中基于第二特征629(即，一个或多个第二特征629)确定是否更新、替换或添加/增补第二登记特征。响应于更新、替换或添加/增补第二登记特征的确定，脸部验证设备在操作643中基于第二特征629在数据库中更新、替换或添加/增补第二登记特征/将第二登记特征更新、替换或添加/增补到获取或访问第一登记特征的数据库。脸部验证设备在操作655中将最终验证结果确定为成功。当针对第二特征629的验证结果在操作657中被确定为失败时，脸部验证设备确定最终验证结果为失败。如果不存在用于进一步考虑脸部验证的成功或失败的识别器的更多阶段，则脸部验证设备终止脸部验证处理，或者接收另一输入图像以再次执行脸部验证处理。如果存在识别器的更多阶段，则与在第一验证处理之后如何执行第二验证处理类似地执行这样的随后的脸部验证处理。
在此，神经网络包括多个层，多个层中的每个层包括多个节点，并且由验证设备的一个或多个处理器来实现神经网络。例如，可存在输入层、至少一个隐藏层和输出层。根据神经网络的架构，可根据各自的训练的连接权重选择地连接包括在相邻层中的节点，并可通过内核或其他连接权重来连接层内的节点。例如，可通过这样的处理器(即，脸部验证设备的一个或多个处理器)来实现神经网络，神经网络被配置为生成具有均包括多个节点的这样的多个层的神经网络结构/架构，并且被配置为在神经网络结构的相邻层中的相邻节点和/或内核元素之间应用这样的加权连接，和/或在这样的层内的节点之间应用其他加权连接，以解释应用到神经网络结构的输入数据。仅作为示例，在此，输入数据的这样的“解释”可包括诸如用于图像识别或验证、诸如在层或集合层由这里描述的均可针对不同的特征提取目标而训练的任何特征识别器表示并且例如层或集合层可(例如，以各种并行和/或串行布置)被组合在更大的层的集合的情况下的执行的特征提取、识别、验证和/或拒绝，以及各自的层、层的集合和/或整个神经网络的任何其他训练目标，其中，更大的层的集合具有用于执行提取的特征与登记特征的比较的进一步分类层或比较层以及最终验证成功结果。作为这样的更大的层的集合的示例，上面针对图5的论述讨论了组合第一特征信息和第二特征信息，其中，仅作为示例，可由被配置为实现各自的第一识别器和第二识别器的多个并行层来训练并随后实现第一特征信息和第二特征信息，并且第一特征信息和第二特征信息可分别将各自提取的特征提供给用于组合考虑的示例的同一随后层。这里，示例的随后层还可被配置为训练并随后实现针对图5进一步讨论的示例的第三识别器。因此，基于训练数据和期望的解释目标，可在训练期间改变架构、相邻节点之间的选择性连接以及对应的内核和连接权重，直到神经网络被训练为达到期望的解释目标的期望的可接受度为止。例如，在神经网络被训练用于图像验证或拒绝的示例中，神经网络可包括卷积层，或者神经网络可代表卷积神经网络(CNN)，因此，例如用于通过特征内核和其他连接权重改变特征提取的各自的卷积内核元素可被训练为达到诸如由图11的训练设备1100执行的特征提取和/或脸部验证或拒绝操作的原始期望的可接受度。神经网络还可以是不同类型的神经网络，并且例如，为了其他目的而仅包括用于选择性的特征提取的一个或多个卷积层。回到神经网络的训练，训练的神经网络的结果内核(resultant kernel)和连接权重可被称为神经网络的参数(例如，仅作为示例，至少被表示为卷积层的训练的内核值或者层之间的其他连接权重)。作为示例，诸如可通过考虑损失的反向传播或模拟退火算法，基于仅作为示例的标记的输入图像信息或期望的对应输出图像、特征提取或分类，来训练神经网络。例如，可训练神经网络来提取训练数据的特征。因此，例如，在训练中，递归地调节不同隐藏层的节点或卷积层的内核之间的连接权重，直到对应的神经网络模型被训练为具有期望的准确率或低于最大错误率为止。训练的神经网络可被存储在训练或识别设备的存储器中(例如，存储在这里讨论的验证设备中的任何验证设备中)。在示例中，训练的神经网络可以以训练的矢量、矩阵或其他格式被存储，其中，例如，仅作为示例，矢量、矩阵或其他格式的元素表示或表明对应的神经网络结构的训练的加权连接和/或内核的对应的训练参数。存储的训练的神经网络还可包括超参数信息，其中，超参数信息可定义示例存储的训练参数所对应的对应神经网络的具体结构或架构。仅作为示例，超参数可定义输入层和输出层的架构或结构以及存在多少隐藏层和各个隐藏层的功能和结构/架构、各自的布置和哪些是完全连接层或致密层、回归层、双向层、卷积层、去卷积层或池化层。超参数还可包括神经网络中的任何偏移和/或上下文节点的配置和值、节点的对应的激活函数、节点的类型(诸如，长短期记忆节点)的信息，并且定义可根据训练的神经网络的实施例和解释目标而变化的神经网络的任何或任何进一步的回归结构。
因此，在图2-图8的操作之前或期间，仅作为示例，脸部验证设备可获取这样的训练参数，并且将如在此讨论的捕获或存储的图像输入到所描述的提取器中的任何处理器，其中，作为非限制性的示例，使用获取的训练参数来将所描述的提取器专门配置为执行如针对在此描述的各种识别器和验证描述的对应的描述的操作。
此外，仅作为示例，在图3的操作314、315、324和325、图4的操作417和427、图6的操作617和操作627以及图8的操作617和627中实现并由图3的操作314、315、324和325、图4的操作417和427、图6的操作617和操作627以及图8的操作617和627表示的特征识别器或提取器中的一个或多个也可仅通过专门配置的硬件模块来实现，或者通过硬件和存储在例如验证设备中的非暂时性介质中/非暂时性介质上或者例如验证设备的外部的非暂时性介质中/非暂时性介质上的指令来实现，其中，所述指令在由所述硬件的一个或多个处理器执行时例如使得处理器实现在此描述的操作中的任何操作、任何组合或所有操作。此外，虽然这样的操作表示示例特征识别器或提取器，但是这样的特征识别器或提取器中的每一个可包括针对不同目标训练的多个不同的识别器或提取器，其中，多个不同的识别器和它们的结果可一起用于各自的随后验证确定。作为一个示例，针对上面提到的特征识别器或提取器中的任何一个的这样的不同的识别器或提取器能被反映为示例神经网络的同一卷积层中的各自不同训练的内核。此外，虽然这里已经针对图2-9讨论了训练的神经网络(或各个神经网络)或机器学习实现的特征识别器或提取器，但是实施例不限于此。
图9是示出根据一个或多个实施例的脸部验证设备的示例的框图。
参照图9，脸部验证设备900接收用于脸部验证的一个或多个输入图像。仅作为示例，输入图像可包括颜色信息、灰度信息、深度信息和/或红外信息。脸部验证设备900基于从输入图像提取的一个或多个特征与存储在数据库930中的一个或多个登记特征之间的比较的结果来确定验证是否成功。例如，在登记示例中，脸部验证设备900捕获或接收有效用户的图像，通过脸部验证处理登记图像和/或图像的登记的一个或多个特征(例如，来自图像中的一个或多个用户的一个或多个确定的脸部区域的一个或多个特征)。验证设备将登记信息存储在数据库930中。
脸部验证设备900被配置为执行本公开中描述或示出的一个或多个或者全部的脸部验证方法和处理(例如，包括训练识别器和/或验证神经网络或其他机器学习模型的脸部验证方法和处理，登记使用这样的训练的识别器获得的特征信息的脸部验证方法和处理，以及执行使用这样的训练的识别器和登记特征信息执行一个或多个验证模式的一个或多个验证处理的脸部验证方法和处理)。脸部验证设备900还被配置为隐含和/或明确地将脸部验证的结果指示或提供给用户、远程服务器或服务供应商。例如，脸部验证设备900可以以例如声音、震动、字符、图片和运动图像的形式明确地指示或输出脸部验证的结果，但不限于此。如上所述，可与这里描述的脸部验证设备中的任何脸部验证设备对应的脸部验证设备900可以以各种隐含和/或明确的形式指示验证结果。
脸部验证设备900包括一个或多个处理器910和一个或多个存储器920(以下，分别被称为处理器910和存储器920)。存储器920可连接到处理器910，并存储例如将由处理器910执行的指令、将由处理器910计算的数据或由处理器910处理的数据，以控制处理器910实施这里描述的一个或多个或全部方法或者处理。存储器920包括非暂时性计算机可读记录介质(诸如，高速随机存取存储器(RAM))和/或非易失性计算机可读存储介质(例如，一个或多个磁盘存储装置、闪存装置或其他非易失性固态存储装置)。
处理器910执行用于执行参照图1至图11描述的一个或多个操作的指令。例如，处理器910从输入图像检测脸部区域和颅面特征点，并对输入图像进行标准化。在一个示例中，标准化可包括基于检测到的颅面特征点对输入图像进行标准化以分别适于每个识别器的输入。处理器910可被配置为训练识别器以及获取或加载训练的识别器的训练参数，并根据训练参数被配置以通过作为示例的一个或多个神经网络或其他机器学习模型表示各个识别器。处理器910还可被配置为将一个或多个神经网络或机器学习模型，或者进一步地，相同的神经网络或机器学习模型训练的验证部分训练为识别器，并被配置为获取或加载针对这样的验证部分的训练参数，以执行验证处理，其中，验证处理将由识别器提取的特征与登记信息进行比较，以得到各个初步验证结果和/或最终验证结果。此外，处理器910还可被配置为执行标准化和/或被配置为识别器，使得当脸部区域的部分在相机的视野之外或被对象(诸如，眼镜、太阳镜、面具或帽子)掩盖(或者，被预测为或可用于掩盖)，处理器910基于参考图像(例如，仅作为示例，图像的全部或部分、遮挡的脸部区域或具有预定图像信息的缺失的脸部区域或来自平均图像、平均值图像或预定单色图像的填充或合成)执行对该部分的填补。
在一个示例中，处理器910被配置为例如从多个预先确定的验证模式并基于与用户对验证设备900的使用或确定的期望的使用有关的确定的功能、服务和/条件确定当前验证模式，并随后基于确定的当前验证模式确定：将例如用于从输入图像信息分别提取特征信息的一个或多个预定识别器中的哪些识别器用于脸部验证，是以并行还是以串行顺序执行识别器，和/或如何基于每个识别器提取的一个或多个特征信息逻辑地考虑各个验证结果(例如，验证结果中的任何一个验证结果为成功是否意味着最终验证为成功，或者验证结果中的任何一个验证结果为失败是否意味着最终验证为失败，或者任何两个或更多个特定成功或两个或更多个特定失败会造成最终验证成功或失败)。此外，虽然已经描述了识别器考虑图像信息的示例，但是由于一个或多个识别器还可考虑可选的提取的信息(诸如，仅作为非限制性的示例，来自可选的传感器的在与被执行验证的图像的捕获的时间相同或有关的时间的另外上下文信息)，所以示例不限于此。在一个示例中，确定一个或多个识别器的步骤包括：基于当前验证模式，确定用于验证的多个不同的识别器并对所述多个不同的识别器进行选择性地组合和/或布置以执行验证。
在识别器从输入图像信息提取特征信息的示例中，处理器910可使用这样的识别器中的一个或多个识别器从脸部区域检测输入脸部的特征，将提取的特征与登记特征进行比较，并基于比较结果确定验证是否成功。诸如，当当前验证模式包括实现被训练为不同地考虑相同的提取的特征的多个识别器或不同的验证神经网络或机器学习模型时，验证结果可以是初步验证结果。当验证处理中的一个或多个已被执行之后，相应的初步验证结果中的一个或多个可被考虑以确定最终验证结果(即，根据当前验证模式确定最终验证结果)。此外，当验证模式包括将一个或多个验证处理重复执行一段时间，直到成功验证为止，或直到预定数量的失败发生为止，则示例确定的最终验证结果可被认为是初步最终验证结果，并且在该段时间的结束时、在成功验证时或在预定数量的失败时的结果可被确定为最终验证结果。如上所述，处理器910还可执行可包括前述填补的检测到的脸部区域的标准化，或者这样的填补可在标准化之后被执行。在最终验证结果被确定之后，处理器910可终止脸部验证处理。
在一个示例中，处理器910选择地执行验证模式中的任何验证模式。例如，验证模式中的一个验证模式可以是示例解锁模式。在这个示例解锁模式的情况下，当与第一识别器对应的验证处理的验证结果被确定为成功时，处理器910确定最终验证结果为成功并终止脸部验证处理。然而，在示例解锁模式下，当与第一识别器对应的验证处理的验证结果被确定为失败时，处理器910使用第二识别器执行验证处理。在这个示例中，基于与第二识别器对应的验证结果来确定最终验证结果。
作为另一示例，验证模式中的一个验证模式可以是示例支付模式。在这个示例支付模式的情况下，当与第一识别器对应的验证处理的验证结果被确定为失败时，处理器910确定最终验证结果为失败并终止脸部验证处理。然而，在示例支付模式下，当与第一识别器对应的验证处理的验证结果被确定为成功时，处理器910使用第二识别器执行验证处理。在这个示例中，可基于与第二识别器对应的验证结果来确定最终验证结果。
图10是示出根据一个或多个实施例的计算设备的示例的示图。
参照图10，计算设备1000通过获得包括用户的脸部的图像并将从获得的图像提取的特征与登记特征进行比较，来执行脸部验证结果。作为非限制性示例，计算设备1000可对应于图1中示出的计算设备120、图9中示出的脸部验证设备900以及图11的训练设备1100。
计算设备1000包括处理器1010、存储器1020、相机1030、存储装置1040、输入装置1050、输出装置1060和网络接口1070。处理器1010、存储器1020、相机1030、存储装置1040、输入装置1050、输出装置1060和网络接口1070可通过通信总线1080彼此通信。
相机1030捕获静止图像、视频图像或二者。处理器1010可控制相机1030通过捕获试图脸部验证的用户的脸部区域的图像来获得或捕获用户的例如包括脸部区域的图像，或者可控制相机1030例如在没有用户启动的情况下自主捕获图像并自动验证用户。此外，如上所述，相机1030还可在计算设备1000的其他功能期间(诸如，当用作个人相机时)由处理器1010控制。相机1030可表示多个相机(诸如，作为示例，彩色图像/视频相机、深度或红外相机或飞行时间(TOF)模块)。
处理器1010可实现用于在如在此描述的计算设备1000中操作的功能和指令。例如，处理器1010可执行存储在存储器1020或存储装置1040中的指令。处理器1010被配置为执行参照图1至图11描述的操作中的一个或多个、任何组合或全部。例如，处理器1010可被配置为通过将由相机1030捕获的脸部图像与登记的脸部图像或对应的登记特征进行比较来执行登记和脸部验证。此外，处理器1010被配置为控制计算设备1000的其他功能。例如，计算设备1000可以是移动装置(诸如，移动电话、平板电脑或个人计算机)，因此处理器1010还被配置为实现计算设备1000的其他典型的功能。在一个示例中，处理器1010可被配置为实现锁定操作以在成功验证用户的捕获的脸部图像时仅允许用户访问或实现如上所述这样的其他典型功能。
存储器1020是存储将被用于脸部验证的信息的非暂时性计算机可读介质或装置。虽然存储器1020可以是与图9的存储器920和/或图11的存储器1120相同的存储器，但是示例不限于此。存储器1020包括计算机可读存储介质或计算机可读存储装置。此外，存储器1020还可表示多个这样类型的存储器。例如，存储器1020包括RAM、动态RAM(DRAM)、静态RAM(SRAM)和本公开所述技术领域公知的其他类型的非易失性存储器。存储器1020存储将由处理器1010实现或执行的指令，并存储在由计算设备1000执行软件或应用期间的相关信息。
存储装置1040包括计算机可读存储介质或计算机可读存储装置。存储装置1040存储包括登记特征或登记图像的DB。在一个示例中，存储装置1040与存储器1020相比存储更大数量的信息，并将信息存储很长一段时间。例如，存储装置1040包括磁盘驱动器、光盘、闪存、可擦除可编程只读存储器(EPROM)、软盘或者本公开所述的技术领域中公知的其他类型的非易失性存储器。
输入装置1050通过触觉、视频、音频或触摸输入从用户接收输入。例如，输入装置1050包括例如键盘、鼠标、触摸屏、麦克风以及被配置为检测来自用户的输入并将检测到的输入发送到计算设备1000的其他装置。
输出装置1060通过视觉、听觉或触觉通道向用户提供计算设备1000的输出。例如，输出装置1060使与脸部验证相关的信息可视化并向用户提供可视化的信息。例如，可视化的信息可指示脸部验证是否成功，或者可使通过可视化的信息展示的计算设备1000的另外的功能能够访问。例如，输出装置1060包括液晶显示器(LCD)、发光二极管(LED)显示器、触摸屏、扬声器、振动生成器以及被配置为将输出提供给用户的其他装置中的一个或多个。在一个示例中，在分别被执行的脸部登记或验证期间，计算设备1000在供用户观看的显示屏幕上显示或可视地反馈由相机1030获得的当前捕获的脸部图像或预览图像，或其他指南，或者不显示示例脸部图像、预览图像或其他指南。示例脸部图像或预览图像可提供这样的视觉反馈或激励来引导用户向计算设备1000提供全脸图像。视觉反馈可以是输入图像将被从中选择性地捕获用于脸部识别的当前捕获的图像帧的显示，或者可向用户提供用于脸部识别的将被捕获的图像的期望的或优选的定位和大小的指南或覆盖图(overlay)。诸如在这样的脸部验证在例如没有用户启动的情况下被自动执行的示例中，还可不提供这样的脸部图像或预览图像。
网络接口1070通过有线和/或无线网络与外部装置进行通信。例如，网络接口1070包括以太网卡、光收发器、射频收发器和被配置为发送和接收信息的其他网络接口卡中的一个或多个。网络接口1070包括被配置为使用通信协议(诸如，例如，蓝牙、WiFi或第三代(3G)、第四代(4G)或第五代(5G)通信方法)与外部装置无线通信的无线电设备或收发器。网络接口1070还可包括近场收发器等。例如，通过在验证用户时对处理器1010的控制，近场收发器可诸如在由近场收发器发送适当的移动支付指令的情况下将支付认证发送到外部装置。此外，例如，处理器1010可控制网络接口1070例行检查登记和/或验证训练的识别器(或各个训练的识别器和验证部分)神经网络或其他机器学习模型的更新，并请求、接收登记和/或验证训练的识别器(或各个训练的识别器和验证部分)神经网络或其他机器学习模型的参数或系数并将其存储在存储器1020中，以在这里的识别和/或验证操作中使用。例如，当通过以上示例训练的神经网络特征识别器或提取器和/或训练的脸部验证网络来实现特征识别器或提取器和脸部验证时，处理器1010可请求、接收并存储识别器或提取器和/或脸部验证神经网络部分中的任何一个或全部的更新的训练的加权矩阵。此外，能够控制或改变这样的神经网络的配置或架构的更新的超参数还可与对应的训练的加权矩阵一起被请求、接收并存储在存储器1020或存储装置1040中的任意装置中。
图11是示出根据一个或多个实施例的训练设备的示例的示图。
参照图11，仅作为非限制性示例，训练设备1100表示被配置为训练(诸如，针对这里描述的特征识别器中的任何一个或任何组合)用于脸部验证的特征提取器1130的设备。例如，特征提取器1130可以是被配置为输出与输入值对应的结果值并基于多个训练图像和参考图像训练的神经网络模型。除示例特征提取器1130的训练之外，训练设备1100还可训练这样的神经网络的另外分类或比较部分或目标。
训练设备1100包括至少一个处理器1110和存储器1120。存储器1120是连接到处理器1110的非暂时性计算机可读介质或装置，并且存储可由处理器1110实现的用于实现神经网络的这样的训练的指令、将由处理器1110处理的数据和/或在神经网络的训练期间由处理器1110处理的数据。存储器1120还在训练之后存储神经网络的作为结果的训练参数。
仅作为示例，并进一步针对当一个或多个训练图像被输入到训练设备1100时的上面示例训练，处理器1110检测训练图像中的各个脸部区域，从检测到的脸部区域提取特征，并例如在提取器1130表示这里讨论的不同的特征识别器或提取器的情况下分别训练示例提取器1130。在一些示例特征识别器或提取器中，特征识别或提取可不具有脸部图像、脸部区域或另外检测的脸部，而在其他示例中，特征识别器或提取器对已检测到的脸部图像、脸部区域或另外检测到的脸部执行这样的识别，以组合用于最终验证操作。如上面针对图2-9的脸部登记和脸部验证处理，训练可针对上面提到的不同目标而被执行，因此，为了进一步的详细描述，可参考在此提供的这样的对登记和脸部验证处理的上面的描述。
在一个示例中，处理器1110通过计算可由特征提取器1130提取的特征与意图的特征之间的差引起的损失来执行训练，并如上面针对训练示例神经网络或机器学习识别器或提取器所讨论的，通过调节包括在特征提取器1130中的参数来继续训练特征提取器1130以减少计算的损失。
例如，训练设备1100诸如通过递归地调节不同隐藏层的节点之间的卷积层内核元素调节和连接权重调节来对多个训练图像中的每个训练图像重复执行在前面描述的处理，以便将特征提取器1130的参数调节为逐渐符合期望，直到特征提取器1130的对应的神经网络或机器学习示例诸如通过上面提到的反向传播示例被训练为具有期望的准确率或低于最大错误率为止。因此，关于登记和脸部验证处理的所有上面的描述也适用于训练设备1100。此外，处理器1110可被配置为执行各个训练以根据以上特征识别器或提取器示例中的任何特征识别器或提取器来训练特征提取器1130，其中，以上特征识别器或提取器示例的描述可应用于示例特征提取器1130的得到的训练的结构和操作。训练的特征提取器1130随后可用于上面针对图1-9描述的脸部登记处理和脸部验证处理。
通过硬件组件来实现执行在本申请中描述的操作的图1-11中的计算设备120、相机130、显示器150、各个识别器、数据库430、脸部验证设备900、处理器910、存储器920、数据库930、计算设备1000、处理器1010、存储器1020、相机1030、存储装置1040、输入装置1050、输出装置1060和网络装置1070、训练设备1100、处理器1110、存储器1120和特征提取器1130，其中，硬件组件被配置为执行在本申请中描述的由硬件组件执行的操作。可用于执行在本申请中的适当位置描述的操作的硬件组件的示例包括：控制器、传感器、生成器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器以及被配置为执行本申请中描述的操作的任何其他电子组件。在其他示例中，通过计算硬件(例如，通过一个或多个处理器或计算机)来实现执行在本申请中描述的操作的硬件组件中的一个或多个硬件组件。可通过一个或多个处理元件(诸如，逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器或被配置为以限定的方式响应并执行指令以实现期望的结果的任何其他装置或装置的组合)来实现处理器或计算机。在一个示例中，处理器或计算机包括(或连接到)存储由处理器或计算机执行的指令或软件的一个或多个存储器。由处理器或计算机实现的硬件组件可执行用于执行在本申请中描述的操作的指令或软件(诸如，操作系统(OS)和在OS上运行的一个或多个软件应用)。硬件组件还可响应于指令或软件的执行来访问、操控、处理、创建和存储数据。为了简单起见，单数术语“处理器”或“计算机”可用于本申请中描述的示例的描述，但是在其他的示例中，多个处理器或计算机可被使用，或者一个处理器或计算机可包括多个处理元件或多种类型的处理元件或二者。例如，单个硬件组件或者两个或更多个硬件组件可通过单个处理器，或者两个或更多个处理器，或者一个处理器和一个控制器来实现。一个或多个硬件组件可通过一个或多个处理器，或者一个处理器和一个控制器来实现，一个或多个其他硬件组件可通过一个或多个其他处理器，或者另一处理器和另一控制器来实现。一个或多个处理器或者一个处理器和一个控制器可实现单个硬件组件或者两个或更多个硬件组件。硬件组件可具有任何一个或多个不同的处理配置，其中，一个或多个不同的处理配置的示例包括：单个处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令单数据(MISD)多处理以及多指令多数据(MIMD)多处理。
图1至图11中示出的执行在本申请中描述的操作的方法通过计算硬件(例如，通过一个或多个处理器或计算机)来执行，其中，计算硬件被实现为如上所述地执行用于执行在本申请中描述的通过该方法执行的操作的指令或软件。例如，单个操作或者两个或更多个操作可通过单个处理器或者两个或更多个处理器或者一个处理器和一个控制器来执行。一个或多个操作可通过一个或多个处理器或者一个处理器和一个控制器来执行，并且一个或多个其他操作可通过一个或多个其他处理器或者另一处理器和另一控制器来执行。一个或多个处理器或者一个处理器和一个控制器可执行单个操作或者两个或更多个操作。
用于控制计算硬件(例如，一个或多个处理器或计算机)实现硬件组件并执行如上所述的方法的指令或软件可被编写为计算机程序、代码段、指令或它们的任何组合，以单独地或共同地指示或配置一个或多个处理器或者计算机作为机器或专用计算机进行操作，以执行由硬件组件执行的操作和如上所述的方法。在一个示例中，指令或软件包括由一个或多个处理器或者计算机直接执行的机器代码(诸如，由编译器产生的机器代码)。在另一个示例中，指令或软件包括由一个或多个处理器或者计算机使用解释器执行的高级代码。可基于附图中所示的框图和流程图以及说明书中的对应描述，使用任何编程语言来编写指令或软件，其中，附图中所示的框图和流程图以及说明书中的对应描述公开了用于执行由硬件组件执行的操作和如上所述的方法的算法。
用于控制计算硬件(例如，一个或多个处理器或者计算机)实现硬件组件并执行如上所述的方法的指令或软件以及任何相关联的数据、数据文件和数据结构可被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中，或者可被记录、存储或固定在一个或多个非暂时性计算机可读存储介质上。非暂时性计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取存储器(RAM)、闪存、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其它装置，其中，该任何其它装置被配置为：以非暂时性方式存储指令或软件以及任何相关联的数据、数据文件和数据结构，并且向一个或多个处理器或者计算机提供指令或软件以及任何相关联的数据、数据文件和数据结构，使得一个或多个处理器或者计算机能够执行指令。在一个示例中，指令或软件以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得指令和软件以及任何相关联的数据、数据文件和数据结构由一个或多个处理器或者计算机以分布式方式存储、访问和执行。
虽然本公开包括特定的示例，但是在理解本申请的公开之后将清楚，在不脱离权利要求和它们的等同物的精神和范围的情况下，可在这些示例中做出形式上和细节上的各种改变。在此描述的示例将被认为仅是描述性的，而不是为了限制的目的。每一示例中的特征或方面的描述将被认为可适用于其他示例中的相似特征或方面。如果描述的技术以不同的顺序被执行，和/或如果描述的系统、架构、装置或电路中的组件以不同方式被组合，和/或被其他组件或它们的等同物替换或补充，则可实现合适的结果。因此，本公开的范围不是由具体实施方式限定，而是由权利要求和它们的等同物限定，并且在权利要求和它们的等同物的范围内的所有变化将被解释为包括在本公开内。

Claims (43)

1.一种验证脸部的方法，所述方法包括：
从多个验证模式之中，选择将针对脸部的验证实施的当前验证模式；
基于选择的当前验证模式，从多个识别器之中，确定一个或多个识别器；
使用确定的一个或多个识别器中的至少一个识别器从脸部的信息提取特征信息；
基于提取的特征信息执行验证。
2.如权利要求1所述的方法，其中，确定一个或多个识别器的步骤包括：基于当前验证模式，确定用于验证的多个不同的识别器并对所述多个不同的识别器进行选择性地组合和/或布置以执行验证。
3.如权利要求2所述的方法，其中，执行验证的步骤包括：基于当前验证模式选择性地执行与所述多个不同的识别器对应的各个验证处理。
4.如权利要求2所述的方法，
其中，提取特征信息的步骤包括使用所述多个不同的识别器中的第一识别器从图像信息提取第一特征信息，其中，从图像的确定的脸部区域得到所述图像信息，
其中，执行验证的步骤包括：
基于第一特征信息确定第一验证结果；
基于第一验证结果和当前验证模式确定是否使用所述多个不同的识别器中的第二识别器提取第二特征信息，
其中，所述多个验证模式至少包括第一验证模式和与第一验证模式不同的第二验证模式。
5.如权利要求4所述的方法，其中，提取特征信息的步骤包括：响应于是否提取第二特征信息的确定为将提取第二特征信息的确定，使用第二识别器从所述图像信息或其他图像信息提取第二特征信息，其中，从所述图像的确定的脸部区域或另一图像的确定的脸部区域得到所述其他图像信息，
其中，执行验证的步骤还包括：
基于第二特征信息确定第二验证结果；
基于第二验证结果确定验证是否成功。
6.如权利要求5所述的方法，其中，响应于当前验证模式被选择为第一验证模式，
响应于第二验证结果为失败，确定最终验证结果为失败，
响应于第二验证结果为成功，确定最终验证结果为成功。
7.如权利要求5所述的方法，其中，响应于当前验证模式被选择为第二验证模式，
响应于第一验证结果为成功，确定将提取第二特征信息，
响应于第二验证结果为成功，确定最终验证结果为成功。
8.如权利要求4所述的方法，其中，响应于当前验证模式被选择为第一验证模式，
响应于第一验证结果为失败，确定将提取第二特征信息，
响应于第一验证结果为成功，确定最终验证结果为成功，并终止脸部验证处理。
9.如权利要求4所述的方法，其中，响应于当前验证模式被选择为第二验证模式，
响应于第一验证结果为失败，确定最终验证结果为失败，并终止脸部验证处理，
响应于第一验证结果为成功，确定将提取第二特征信息。
10.如权利要求4所述的方法，其中，确定第一验证结果的步骤包括：基于第一特征信息与使用第一识别器预先提取的第一登记特征信息的比较，确定第一验证结果。
11.如权利要求10所述的方法，还包括：
响应于第一验证结果为成功，基于第一特征信息选择性地更新第一登记特征信息。
12.如权利要求4所述的方法，还包括：基于第二特征信息与使用第二识别器预先提取的第二登记特征信息的比较，确定第二验证结果。
13.如权利要求12所述的方法，还包括：
响应于第二验证结果为成功，基于第二特征信息选择性地更新第二登记特征信息。
14.如权利要求4所述的方法，其中，确定第一验证结果的步骤包括：
计算第一特征信息与使用第一识别器预先提取的第一登记特征信息之间的相似度；
基于第一阈值与相似度之间的比较的结果，确定第一验证结果。
15.如权利要求1所述的方法，其中，提取特征信息的步骤包括：
从输入图像检测脸部区域；
从检测到的脸部区域检测颅面特征点；
基于检测到的颅面特征点对脸部区域进行标准化，以产生脸部的信息。
16.一种存储指令的非暂时性计算机可读介质，当所述指令由处理器执行时使得所述处理器实现权利要求1的方法。
17.一种用于验证脸部的设备，所述设备包括：
一个或多个处理器，被配置为：
从多个验证模式之中，选择将针对脸部的验证实施的当前验证模式；
基于选择的当前验证模式，从多个识别器之中，确定一个或多个识别器；
使用确定的一个或多个识别器中的至少一个识别器从脸部的信息提取特征信息；
基于提取的特征信息执行验证。
18.如权利要求17所述的设备，其中，所述一个或多个处理器被配置为：基于当前验证模式，确定用于验证的多个不同的识别器并对所述多个不同的识别器进行选择性地组合和/或布置以执行验证。
19.如权利要求18所述的设备，其中，为了执行验证，所述一个或多个处理器被配置为：基于当前验证模式选择性地执行与所述多个不同的识别器对应的各个验证处理。
20.如权利要求18所述的设备，其中，所述一个或多个处理器还被配置为：
使用所述多个不同的识别器中的第一识别器从图像信息提取第一特征信息，其中，从图像的确定的脸部区域得到所述图像信息；
基于第一特征信息确定第一验证结果，以执行验证；
基于第一验证结果和当前验证模式，确定是否使用所述多个不同的识别器中的第二识别器提取第二特征信息，
其中，所述多个验证模式至少包括第一验证模式和与第一验证模式不同的第二验证模式。
21.如权利要求20所述的设备，其中，所述一个或多个处理器还被配置为：
响应于是否提取第二特征信息的确定为将提取第二特征信息的确定，使用第二识别器从所述图像信息或其他图像信息提取第二特征信息，其中，从所述图像的确定的脸部区域或另一图像的确定的脸部区域得到所述其他图像信息；
基于第二特征信息确定第二验证结果，以进一步执行验证；
基于第二验证结果确定验证是否成功。
22.如权利要求21所述的设备，其中，所述一个或多个处理器被配置为：响应于当前验证模式被选择为第一验证模式，执行验证，以：
响应于第二验证结果为失败，确定最终验证结果为失败，
响应于第二验证结果为成功，确定最终验证结果为成功。
23.如权利要求21所述的设备，其中，所述一个或多个处理器被配置为：响应于当前验证模式被选择为第二验证模式，执行验证，以：
响应于第一验证结果为成功，确定将提取第二特征信息，
响应于第二验证结果为成功，确定最终验证结果为成功。
24.如权利要求20所述的设备，其中，所述一个或多个处理器被配置为：响应于当前验证模式被选择为第一验证模式：
响应于第一验证结果为失败，确定将提取第二特征信息，
响应于第一验证结果为成功，确定最终验证结果为成功，并终止脸部验证处理。
25.如权利要求20所述的设备，其中，所述一个或多个处理器被配置为：响应于当前验证模式被选择为第二验证模式：
响应于第一验证结果为失败，确定最终验证结果为失败，并终止脸部验证处理，
响应于第一验证结果为成功，确定将提取第二特征信息。
26.如权利要求20所述的设备，其中，所述一个或多个处理器被配置为：基于第一特征信息与使用第一识别器预先提取的第一登记特征信息的比较，确定第一验证结果。
27.如权利要求26所述的设备，其中，所述一个或多个处理器被配置为：
响应于第一验证结果为成功，基于第一特征信息选择性地更新第一登记特征信息。
28.如权利要求20所述的设备，其中，所述一个或多个处理器被配置为：基于第二特征信息与使用第二识别器预先提取的第二登记特征信息的比较，确定第二验证结果。
29.如权利要求28所述的设备，其中，所述一个或多个处理器被配置为：响应于第二验证结果为成功，基于第二特征信息选择性地更新第二登记特征信息。
30.如权利要求20所述的设备，其中，所述一个或多个处理器被配置为：
计算第一特征信息与使用第一识别器预先提取的第一登记特征信息之间的相似度；
基于第一阈值与相似度之间的比较的结果，确定第一验证结果。
31.如权利要求17所述的设备，其中，所述一个或多个处理器被配置为：
从输入图像检测脸部区域；
从检测到的脸部区域检测颅面特征点；
基于检测到的颅面特征点对脸部区域进行标准化，以产生脸部的信息。
32.一种计算设备，包括：
第一识别器，包括神经网络模型，所述神经网络模型被配置为从包括脸部区域的输入图像提取第一特征信息；
第二识别器，包括另一神经网络模型，所述另一神经网络模型被配置为从输入图像提取第二特征信息，第二特征信息与第一特征信息不同；
一个或多个处理器，被配置为：响应于第一验证结果和第二验证结果中的至少一个为成功，确定脸部识别成功，其中，第一验证结果通过将第一特征信息与第一登记特征信息进行比较来获得，第二验证结果通过将第二特征信息与第二登记特征信息进行比较来获得。
33.如权利要求32所述的计算设备，其中，第一识别器的神经网络模型和第二识别器的另一神经网络模型均被配置为：已经至少基于不同的多个训练数据被分别训练。
34.如权利要求32所述的计算设备，其中，第二识别器的另一神经网络模型被配置为：已经基于与包括遮挡区域或被预测为包括遮挡区域的训练的脸部区域相关联的训练数据被训练。
35.如权利要求32所述的计算设备，其中，通过将脸部区域中的被预测为具有遮挡区域的区域替换为平均图像、平均值图像或单色图像中的相应区域的图像信息而获得的图像被输入到第二识别器的另一神经网络模型，以提取第二特征信息。
36.如权利要求35所述的计算设备，其中，被预测为具有遮挡区域的区域是由于眼镜、太阳镜、帽子和面具遮挡中的任何一个或任何两个或更多个的任何组合而被预测为在脸部区域中发生遮挡的区域。
37.如权利要求32所述的计算设备，其中，所述一个或多个处理器被配置为：响应于脸部识别成功而解除所述计算设备的锁定模式，
所述一个或多个处理器被配置为：响应于第一验证结果和第二验证结果均为失败，维持锁定模式或不解除锁定模式。
38.一种计算设备，包括：
第一识别器，包括神经网络模型，所述神经网络模型被配置为从包括脸部区域的输入图像提取第一特征信息；
第二识别器，包括另一神经网络模型，所述另一神经网络模型被配置为从输入图像提取第二特征信息，第二特征信息与第一特征信息不同；
一个或多个处理器，被配置为：响应于第一验证结果和第二验证结果中的至少一个为失败，确定脸部识别失败，其中，第一验证结果通过将第一特征信息与第一登记特征信息进行比较来获得，第二验证结果通过将第二特征信息与第二登记特征信息进行比较来获得。
39.如权利要求38所述的计算设备，其中，第一识别器的神经网络模型和第二识别器的另一神经网络模型均被配置为：已经至少基于不同的多个训练数据被分别训练。
40.如权利要求38所述的计算设备，其中，第二识别器的另一神经网络模型被配置为：已经基于与包括遮挡区域或被预测为包括遮挡区域的训练的脸部区域相关联的训练数据被训练。
41.如权利要求38所述的计算设备，其中，通过将脸部区域中的被预测为具有遮挡区域的区域替换为平均图像、平均值图像或单色图像中的相应区域的图像信息而获得的图像被输入到第二识别器的另一神经网络模型，以提取第二特征信息。
42.如权利要求41所述的计算设备，其中，被预测为具有遮挡区域的区域是由于眼镜、太阳镜、帽子和面具遮挡中的任何一个或任何两个或更多个的任何组合而被预测为在脸部区域中发生遮挡的区域。
43.如权利要求38所述的计算设备，其中，所述一个或多个处理器被配置为：响应于脸部识别失败，在支付服务或金融服务中确定验证结果为失败，
所述一个或多个处理器被配置为：响应于第一验证结果和第二验证结果均为成功，在支付服务或金融服务中确定验证结果为成功。
CN201810209155.4A 2017-03-28 2018-03-14 脸部验证方法和设备 Active CN108664879B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170039489A KR102370063B1 (ko) 2017-03-28 2017-03-28 얼굴 인증 방법 및 장치
KR10-2017-0039489 2017-03-28

Publications (2)

Publication Number Publication Date
CN108664879A true CN108664879A (zh) 2018-10-16
CN108664879B CN108664879B (zh) 2023-09-05

Family

ID=61832391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810209155.4A Active CN108664879B (zh) 2017-03-28 2018-03-14 脸部验证方法和设备

Country Status (5)

Country Link
US (2) US11532177B2 (zh)
EP (1) EP3382603B1 (zh)
JP (1) JP7133949B2 (zh)
KR (1) KR102370063B1 (zh)
CN (1) CN108664879B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110837817A (zh) * 2019-11-18 2020-02-25 北京小米移动软件有限公司 目标对象识别方法、装置、设备及存储介质
CN110851457A (zh) * 2019-10-21 2020-02-28 广东优世联合控股集团股份有限公司 登录信息检索方法
CN111611572A (zh) * 2020-06-28 2020-09-01 支付宝(杭州)信息技术有限公司 一种基于人脸认证的实名认证方法及装置
CN112463817A (zh) * 2020-11-24 2021-03-09 深圳市新系区块链技术有限公司 一种口罩信息处理方法及其相关设备
WO2021114510A1 (zh) * 2019-12-13 2021-06-17 上海展扬通信技术有限公司 图片优化处理方法、装置、设备及可读存储介质
US20210358523A1 (en) * 2019-01-30 2021-11-18 Huawei Technologies Co., Ltd. Image processing method and image processing apparatus

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102476756B1 (ko) * 2017-06-20 2022-12-09 삼성전자주식회사 사용자 인증을 위한 등록 데이터베이스의 적응적 갱신 방법 및 장치
KR102374747B1 (ko) * 2017-12-15 2022-03-15 삼성전자주식회사 객체를 인식하는 장치 및 방법
US20190332848A1 (en) * 2018-04-27 2019-10-31 Honeywell International Inc. Facial enrollment and recognition system
US10769261B2 (en) * 2018-05-09 2020-09-08 Futurewei Technologies, Inc. User image verification
IT201800003188A1 (it) * 2018-05-25 2019-11-25 Dispositivo contateste e metodo di processamento di immagini digitali
TWI671685B (zh) * 2018-09-19 2019-09-11 和碩聯合科技股份有限公司 臉部識別方法與使用此方法的電子裝置
JPWO2020065931A1 (ja) * 2018-09-28 2021-08-30 日本電気株式会社 撮影制御システム、撮影制御方法、およびプログラム
WO2020085632A1 (ko) * 2018-10-26 2020-04-30 삼성전자 주식회사 생체 인식 기반의 사용자 인증 방법 및 장치
CN109977639B (zh) * 2018-10-26 2021-05-04 招商银行股份有限公司 身份认证方法、装置及计算机可读存储介质
EP3660728A1 (en) * 2018-11-30 2020-06-03 Essilor International (Compagnie Generale D'optique) A server, method, and computer-readable storage medium for selecting eyewear equipment
US11079911B2 (en) * 2018-12-26 2021-08-03 Synaptics Incorporated Enrollment-free offline device personalization
KR102570070B1 (ko) * 2018-12-27 2023-08-23 삼성전자주식회사 일반화된 사용자 모델을 이용한 사용자 인증 방법 및 장치
JP7409326B2 (ja) 2019-01-15 2024-01-09 ソニーグループ株式会社 サーバおよび学習システム
JP7275616B2 (ja) * 2019-02-06 2023-05-18 富士フイルムビジネスイノベーション株式会社 発光装置、光学装置および情報処理装置
CN110084216B (zh) * 2019-05-06 2021-11-09 苏州科达科技股份有限公司 人脸识别模型训练和人脸识别方法、系统、设备及介质
US11580780B2 (en) * 2019-11-13 2023-02-14 Nec Corporation Universal feature representation learning for face recognition
KR20210062477A (ko) * 2019-11-21 2021-05-31 삼성전자주식회사 전자 장치 및 그 제어 방법
US20220092735A1 (en) * 2019-11-21 2022-03-24 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
KR20210083026A (ko) 2019-12-26 2021-07-06 삼성전자주식회사 생체 인식을 위한 전자 장치 및 그 방법
WO2021130967A1 (ja) * 2019-12-26 2021-07-01 日本電気株式会社 情報処理システム、情報処理装置、情報処理方法、及びコンピュータプログラム
JP6891355B1 (ja) * 2019-12-27 2021-06-18 楽天グループ株式会社 認証システム、認証装置、認証方法、及びプログラム
CN111260545B (zh) * 2020-01-20 2023-06-20 北京百度网讯科技有限公司 生成图像的方法和装置
KR20210157052A (ko) * 2020-06-19 2021-12-28 삼성전자주식회사 객체 인식 방법 및 객체 인식 장치
JP6797388B1 (ja) * 2020-07-31 2020-12-09 アカメディア・ジャパン株式会社 オンライン学習システム
CN114429669B (zh) * 2020-10-15 2024-10-18 腾讯科技（深圳）有限公司 身份识别方法、装置、计算机设备和存储介质
US11921831B2 (en) * 2021-03-12 2024-03-05 Intellivision Technologies Corp Enrollment system with continuous learning and confirmation
JP7346528B2 (ja) * 2021-05-26 2023-09-19 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
EP4350611A1 (en) * 2021-05-26 2024-04-10 Canon Kabushiki Kaisha Image processing device and image processing method for performing facial authentication
WO2023238365A1 (ja) * 2022-06-10 2023-12-14 富士通株式会社 顔特徴情報抽出方法、顔特徴情報抽出装置、及び顔特徴情報抽出プログラム
CN116542674B (zh) * 2023-07-06 2023-09-26 鲁担(山东)数据科技有限公司 一种基于大数据的风险分析评估方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050238207A1 (en) * 2004-04-23 2005-10-27 Clifford Tavares Biometric verification system and method utilizing a data classifier and fusion model
CN104615233A (zh) * 2013-11-01 2015-05-13 索尼电脑娱乐公司 信息处理设备以及信息处理方法
CN105512604A (zh) * 2014-10-09 2016-04-20 感官公司 用于脸部确认的连续登记
CN106169075A (zh) * 2016-07-11 2016-11-30 北京小米移动软件有限公司 身份验证方法及装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62212781A (ja) 1986-03-14 1987-09-18 Hitachi Ltd 個人認証方式
JP2000215308A (ja) 1999-01-27 2000-08-04 Toshiba Corp 生体情報認証装置およびその方法
JP4321944B2 (ja) 2000-04-27 2009-08-26 富士通株式会社 生体情報を用いた個人認証システム
JP2003067744A (ja) 2001-08-24 2003-03-07 Toshiba Corp 個人認証装置および個人認証方法
JP3970573B2 (ja) 2001-10-19 2007-09-05 アルパイン株式会社 顔画像認識装置および方法
JP4219151B2 (ja) * 2002-10-23 2009-02-04 グローリー株式会社 画像照合装置、画像照合方法および画像照合プログラム
WO2006078265A2 (en) 2004-03-30 2006-07-27 Geometrix Efficient classification of three dimensional face models for human identification and other applications
JP4855180B2 (ja) 2006-08-25 2012-01-18 株式会社日立国際電気 画像処理システム
US8073287B1 (en) * 2007-02-26 2011-12-06 George Mason Intellectual Properties, Inc. Recognition by parts using adaptive and robust correlation filters
KR20100053194A (ko) 2008-11-12 2010-05-20 삼성전자주식회사 디지털 영상 처리장치 및 그 제어방법
JP2010244365A (ja) 2009-04-07 2010-10-28 Sony Corp サービス提供装置、サービス提供方法、生体情報認証サーバ、生体情報認証方法、プログラムおよびサービス提供システム
US9165404B2 (en) 2011-07-14 2015-10-20 Samsung Electronics Co., Ltd. Method, apparatus, and system for processing virtual world
JP6355307B2 (ja) 2013-07-10 2018-07-11 グローリー株式会社 顔照合装置、顔照合方法及び顔照合プログラム
KR101336096B1 (ko) 2013-08-22 2013-12-19 주식회사 파이브지티 적외선 조명을 이용한 얼굴 인식 장치 및 방법
JP2015194947A (ja) 2014-03-31 2015-11-05 ソニー株式会社 情報処理装置及びコンピュータプログラム
US9679212B2 (en) * 2014-05-09 2017-06-13 Samsung Electronics Co., Ltd. Liveness testing methods and apparatuses and image processing methods and apparatuses
JP2016040684A (ja) * 2014-08-12 2016-03-24 株式会社ディー・ディー・エス 複合認証システム
KR102225623B1 (ko) 2014-09-18 2021-03-12 한화테크윈 주식회사 키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 시스템 및 방법
KR20160061856A (ko) 2014-11-24 2016-06-01 삼성전자주식회사 객체 인식 방법 및 장치, 및 인식기 학습 방법 및 장치
JP6626259B2 (ja) 2015-03-09 2019-12-25 キヤノン株式会社 画像認識装置、画像認識方法、及び画像認識プログラム
JP6754619B2 (ja) 2015-06-24 2020-09-16 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 顔認識方法及び装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050238207A1 (en) * 2004-04-23 2005-10-27 Clifford Tavares Biometric verification system and method utilizing a data classifier and fusion model
CN104615233A (zh) * 2013-11-01 2015-05-13 索尼电脑娱乐公司 信息处理设备以及信息处理方法
CN105512604A (zh) * 2014-10-09 2016-04-20 感官公司 用于脸部确认的连续登记
CN106169075A (zh) * 2016-07-11 2016-11-30 北京小米移动软件有限公司 身份验证方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210358523A1 (en) * 2019-01-30 2021-11-18 Huawei Technologies Co., Ltd. Image processing method and image processing apparatus
US12020472B2 (en) * 2019-01-30 2024-06-25 Huawei Technologies Co., Ltd. Image processing method and image processing apparatus
CN110851457A (zh) * 2019-10-21 2020-02-28 广东优世联合控股集团股份有限公司 登录信息检索方法
CN110837817A (zh) * 2019-11-18 2020-02-25 北京小米移动软件有限公司 目标对象识别方法、装置、设备及存储介质
WO2021114510A1 (zh) * 2019-12-13 2021-06-17 上海展扬通信技术有限公司 图片优化处理方法、装置、设备及可读存储介质
CN111611572A (zh) * 2020-06-28 2020-09-01 支付宝(杭州)信息技术有限公司 一种基于人脸认证的实名认证方法及装置
CN112463817A (zh) * 2020-11-24 2021-03-09 深圳市新系区块链技术有限公司 一种口罩信息处理方法及其相关设备

Also Published As

Publication number Publication date
JP2018165983A (ja) 2018-10-25
US20230119080A1 (en) 2023-04-20
US11532177B2 (en) 2022-12-20
EP3382603B1 (en) 2021-10-13
EP3382603A1 (en) 2018-10-03
JP7133949B2 (ja) 2022-09-09
KR20180109578A (ko) 2018-10-08
CN108664879B (zh) 2023-09-05
KR102370063B1 (ko) 2022-03-04
US20180285629A1 (en) 2018-10-04

Similar Documents

Publication Publication Date Title
CN108664879A (zh) 脸部验证方法和设备
CN108629168A (zh) 脸部验证方法、设备以及计算设备
CN109117700A (zh) 脸部验证方法和设备
DE112019001820B4 (de) Friktionslose mikrostandorterkennung und autorisierung
CN108664782A (zh) 面部验证方法和设备
CN108664880A (zh) 活性测试方法和设备
CN108073889B (zh) 虹膜区域提取的方法和设备
CN108304858B (zh) 对抗样本识别模型生成方法、验证方法及其系统
CN110069970A (zh) 活性测试方法和设备
CN109948408A (zh) 活性测试方法和设备
US8402040B2 (en) Method and system to authenticate an object
CN104346554B (zh) 可编程显示器、控制方法
US20190347388A1 (en) User image verification
US10853642B2 (en) Fusing multi-spectral images for identity authentication
CN106663157A (zh) 用户认证方法、执行该方法的装置及存储该方法的记录介质
CN109756458B (zh) 身份认证方法和系统
CN104169933A (zh) 用于认证用户的方法、装置和计算机可读记录介质
CN108573137A (zh) 指纹验证方法和设备
CN110162948A (zh) 用于执行组合认证的方法和设备
US11755708B2 (en) Methods and systems for facilitating secure authentication of user based on known data
CN108875338A (zh) 解锁方法、装置和系统及存储介质
US12039540B2 (en) Flexible authentication
CN116523474B (zh) 一种基于物联网及边缘计算的款箱状态控制方法及系统
CN109493079A (zh) 支付认证方法和设备
CN115438747A (zh) 异常账户识别模型训练方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant