CN113518994A - 使用基于姿势的面部识别的用户认证 - Google Patents

使用基于姿势的面部识别的用户认证 Download PDF

Info

Publication number
CN113518994A
CN113518994A CN201980093200.7A CN201980093200A CN113518994A CN 113518994 A CN113518994 A CN 113518994A CN 201980093200 A CN201980093200 A CN 201980093200A CN 113518994 A CN113518994 A CN 113518994A
Authority
CN
China
Prior art keywords
image
user
gesture
computing device
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980093200.7A
Other languages
English (en)
Inventor
塞姆·凯莫·阿玛米
小约瑟夫·埃德温·约翰逊
昆塔尔·森古普塔
彼得·库拉加
朱文生
扎卡里·伊克巴尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN113518994A publication Critical patent/CN113518994A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/44—Program or device authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2141—Access rights, e.g. capability lists, access control lists, access tables, access matrices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Collating Specific Patterns (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种方法包括在计算设备处于减少访问模式锁定状态时接收指示计算设备的未知用户的面部图像的数据。该方法还包括：通过至少将未知用户的面部图像与计算设备的已知用户多个面部图像中的一个或多个图像进行比较来确定未知用户是否是已知用户。该方法还包括响应于确定未知用户是已知用户将计算设备设置为增加访问模式。

Description

使用基于姿势的面部识别的用户认证
背景技术
计算设备可以执行面部识别以认证计算设备的用户。计算设备可以捕获未知用户的图像并将该图像与已知的、先前认证的用户的图像进行比较以确定未知用户是否是已知用户。当计算设备捕获未知用户的图像时，用户可以将计算设备保持在他或她的面部水平以下，可以旋转计算设备，或者可以相对于计算设备倾斜或转动他或她的头部。在这种情况下，计算设备可能难以确定未知用户是否是已知用户。
发明内容
一般而言，所公开的主题涉及用于执行面部识别以认证计算设备的用户的技术。计算设备可以执行注册过程以捕获具有各种不同姿势的已知用户的多个面部图像。计算设备可以将已知用户的图像中的每一个分配给多个姿势桶中的相应姿势桶。计算设备确定包括已知用户的图像的姿势桶的数量是否满足姿势桶的阈值数量，且如果满足，则通过将已知用户的图像与已知用户的用户账户相关联来注册图像。如果包括已知用户的图像的姿势桶的数量不满足姿势桶的阈值数量，则计算设备可以捕获不同姿势的附加图像，直到包括已知用户的图像的姿势桶的数量满足姿势桶的阈值数量为止。
计算设备可以通过捕获未知用户的认证图像(也称为测试图像)并将认证图像与已知用户的一个或多个注册图像进行比较来认证未知用户。例如，计算设备可以确定与未知用户面部的认证图像相关联的姿势桶，选择与认证图像相关联的姿势桶相同的姿势桶中包含的已知用户的图像，并将所选择的图像与认证图像比较以确定未知用户是否是已知用户。作为另一示例，计算设备可以将认证图像与每个注册图像进行比较以确定已知用户的哪些注册图像与未知用户的认证图像最相似。计算设备可以基于已知用户的最相似的注册图像来确定未知用户是否是已知用户，而不管姿势桶如何。
通过注册包括在若干不同姿势桶中的图像，计算设备可以更准确地执行面部识别以认证未知用户。例如，注册包含在若干姿势桶中的已知用户的图像可能会增加与认证图像相关联的姿势桶(例如，未知用户面部的姿势)与包括已知用户的注册图像的姿势桶(例如，已知用户在注册图像中的姿势)相似的概率。增加未知用户的认证图像的姿势与已知用户的一个或多个注册图像的姿势相似的概率可以降低当未知用户实际上是已知的授权用户时错误地拒绝未知用户的概率。在某些情况下，增加未知用户的认证图像的姿势与已知用户的一个或多个注册图像的姿势相似的概率，可以降低当未知用户不是已知的授权用户时错误地接受未知用户的概率。这样，无论未知用户的姿势如何，计算设备都可以更准确地认证未知用户的图像。
在一个示例中，一种方法包括由计算设备的至少一个处理器在计算设备处于减少访问模式时接收指示计算设备的未知用户的面部图像的数据。该方法还包括由至少一个处理器通过至少将指示未知用户的面部图像的数据与指示已知用户的多个面部图像的一个或多个图像的数据进行比较来确定未知用户是否是计算设备的已知用户。已知用户的一个或多个面部图像中的每一个图像被包括在多个姿势桶中的至少一个姿势桶中。来自多个姿势桶中的每个姿势桶与已知用户面部的相应俯仰角范围和已知用户面部的相应偏航角范围相关联。该方法还包括响应于确定未知用户是已知用户，由至少一个处理器将计算设备设置为增加访问模式。
在另一示例中，描述了一种包括指令的计算机可读存储介质，所述指令在被执行时使计算设备的至少一个处理器执行操作，包括：由计算设备的至少一个处理器在计算设备处于减少访问模式时接收指示计算设备的未知用户的面部图像的数据。该操作还包括由至少一个处理器通过至少将指示未知用户的面部图像的数据与指示已知用户的多个面部图像的一个或多个图像的数据进行比较来确定未知用户是否是计算设备的已知用户。已知用户的一个或多个面部图像中的每一个图像被包括在多个姿势桶中的至少一个姿势桶中。来自多个姿势桶中的每个姿势桶与已知用户面部的相应俯仰角范围和已知用户面部的相应偏航角范围相关联。该操作还包括响应于确定未知用户是已知用户，由至少一个处理器将计算设备设置为增加访问模式。
在另一示例中，描述了一种计算系统，该计算系统包括至少一个处理器，所述至少一个处理器被配置为执行以下操作，包括：由计算设备的至少一个处理器在计算设备处于减少访问模式时接收指示计算设备的未知用户的面部图像的数据。该操作还包括由至少一个处理器通过至少将指示未知用户的面部图像的数据与指示已知用户的多个面部图像的一个或多个图像的数据进行比较来确定未知用户是否是计算设备的已知用户。已知用户的一个或多个面部图像中的每一个图像被包括在多个姿势桶中的至少一个姿势桶中。来自多个姿势桶中的每个姿势桶与已知用户面部的相应俯仰角范围和已知用户面部的相应偏航角范围相关联。该操作还包括响应于确定未知用户是已知用户，由至少一个处理器将计算设备设置为增加访问模式。
在另一示例中，描述了一种系统，其包括用于下述行为的装置：由计算设备的至少一个处理器在计算设备处于减少访问模式时接收指示计算设备的未知用户的面部图像的数据。该系统还包括用于下述行为的装置：由至少一个处理器通过至少将指示未知用户的面部图像的数据与指示已知用户的多个面部图像的一个或多个图像的数据进行比较来确定未知用户是否是计算设备的已知用户。已知用户的一个或多个面部图像中的每一个图像被包括在多个姿势桶中的至少一个姿势桶中。来自多个姿势桶中的每个姿势桶与已知用户面部的相应俯仰角范围和已知用户面部的相应偏航角范围相关联。该系统还包括用于下述行为的装置：响应于确定未知用户是已知用户，由至少一个处理器将计算设备设置为增加访问模式。
在附图和以下说明书中阐述了一个或多个示例的细节。本公开的其他特征、目的和优点将从说明书和附图以及从权利要求中显而易见。
附图说明
图1是图示根据本公开的一个或多个方面的执行面部识别以认证用户的示例计算设备的概念图。
图2是示出根据本公开的一个或多个方面的执行面部识别以认证用户的示例计算设备的框图。
图3是示出根据本公开的一个或多个方面的由示例计算设备执行的示例操作的流程图。
具体实施方式
图1是图示根据本公开的一个或多个方面的执行面部识别以认证用户的示例计算设备110的概念图。计算设备110可以是移动设备，诸如智能电话、平板计算机、膝上型计算机、计算机手表、计算机眼镜、计算机手套或任何其他类型的便携式计算设备。计算设备110的附加示例包括其他移动和非移动设备，例如台式计算机、电视、个人数字助理(PDA)、便携式和非便携式游戏系统、数字媒体播放器或微型控制台、电子书阅读器、移动电视平台、汽车导航和娱乐系统或任何其他类型的可穿戴和不可穿戴、移动或非移动计算设备。
如图1所示，计算设备110包括存在敏感显示器(PSD)112、一个或多个图像捕获设备114、面部识别模块(FRM)122和注册图像数据存储128。FRM 122可以使用驻留在计算设备110中和/或在计算设备110处执行的软件、硬件、固件或硬件、软件和固件的混合来执行所述的操作。计算设备110可以使用多个处理器或多个设备来执行FRM 122。计算设备110可以作为在底层硬件上执行的虚拟机来执行FRM 122。FRM 122可以作为操作系统或计算平台的一项或多项服务来执行。FRM 122可以在计算平台的应用层作为一个或多个可执行程序执行。
计算设备110的PSD 112可以用作计算设备110的相应输入和/或输出设备。PSD112可以使用各种技术来实现。例如，PSD 112可以用作使用存在敏感输入屏幕的输入设备，诸如电阻触摸屏、表面声波触摸屏、电容触摸屏、投射电容触摸屏、压敏屏幕、声脉冲识别触摸屏或另一种存在敏感显示技术。PSD 112可以检测来自计算设备110的用户的输入。例如，PSD 112可以检测在PSD 112的阈值距离上或之内执行的一个或多个手势(例如，用户用手指或手写笔触摸PSD 112或在PSD 112表面阈值距离内移动手指或手写笔)。
PSD 112还可以用作使用任何一种或多种显示设备的输出(例如，显示)设备，诸如液晶显示器(LCD)、点阵显示器、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、电子墨水或类似的单色或彩色显示器，其能够将可见信息输出给计算设备110的用户。PSD112可以作为用户界面(例如，图形用户界面)将信息输出(例如，给用户)，用户界面可以与计算设备110提供的功能相关联。例如，PSD 112可以显示与计算平台、操作系统、应用和/或在计算设备110处执行或从计算设备110可访问的服务的应用模块或其他特征相关的各种用户界面。
图像捕获设备114可以包括一个或多个相机，诸如数码相机、静态相机和运动画面相机等。图像捕获设备114可以包括能够捕获和存储静止或移动图像的任何其他设备。在一些示例中，图像捕获设备114可能能够经由电子图像传感器以数字方式记录图像。图像捕获设备114可以被配置为响应于检测到可见光(例如，人类可见光，波长在大约380纳米到大约740纳米之间)或近红外(NIR)光(例如，可见光谱附近的光，诸如波长在大约750纳米和大约1400纳米之间的光)而生成指示图像的图像数据。在一些示例中，计算设备110包括被配置为生成指示二维图像的图像数据的图像捕获设备114。在另一个示例中，计算设备110包括多个图像捕获设备114，其被配置为生成指示三维图像的图像数据。以此方式，多个图像捕获设备114可以生成指示二维图像、三维图像或两者的图像数据。
根据本公开的技术，FRM 122可以执行面部识别以认证计算设备110的用户。通常，FRM 122可以执行注册过程(例如，一次，诸如在计算设备110的初始设置期间)并定期执行认证过程以确定未知用户实际上是否为已知用户。在注册过程期间，图像捕获设备114可以捕获已知用户(例如，登录到关联用户账户的用户)的一个或多个图像130A-130H(统称为图像130)并且PSD 112可以输出包括已知用户的一个或多个图像的图形用户界面(GUI)。这样，当图像130被图像捕获设备114捕获时，已知用户可能能够查看图像130，并且可以调整他或她的头部和/或计算设备110以使得图像捕获设备114能够捕获各种不同姿势的已知用户的面部的图像。图像捕获设备114可以将每个图像130的图像数据输出到FRM 122。
FRM 122分析从图像捕获设备114接收的图像数据并将图像130中的每一个图像分配给一个或多个姿势桶132AA-132EE(统称为姿势桶132)。每个姿势桶132与用户面部的俯仰角(也称为倾斜角)和偏航角(也称为平移角)的范围相关联。如本文所用，俯仰角是指用户面部相对于水平轴的角度，偏航角是指用户面部相对于垂直于水平轴的垂直轴的角度。例如，姿势桶132中的每一个可以与相应的偏航和俯仰范围相关联。在图1的示例中，每个姿势桶132的大小相等(例如，10度)。例如，姿势桶132中的每一个与10度范围的俯仰角和10度范围的偏航角相关联。然而，在一些示例中，姿势桶132的大小可以不同。例如，姿势桶可以与8度范围的俯仰角(和/或偏航角范围)相关联，并且另一个姿势桶可以与10度范围的俯仰角(和/或偏航角范围)相关联.
出于说明的目的，姿势桶132在图1中示出为表131的一部分。在图1的示例中所示，表131中所示的偏航角和俯仰角表示每个相应姿势桶132的中心。例如，姿势桶132AA的中心是偏航-20度和俯仰20度。换句话说，姿势桶132AA可以表示-15到-25度的偏航和15到25度的俯仰。类似地，在图1的示例中，姿势桶132AN的中心偏航20度和俯仰20度，使得姿势桶132AN表示15度至25度的偏航和15度至25度的俯仰。虽然表131包括25个姿势桶132，但在一些示例中，表131可以包括不同数量的姿势桶132。虽然姿势桶132被示为表131的一部分以帮助理解，但姿势桶132可能不存储在表中。姿势桶132可以以任何数据结构存储并且可以以任何方式组织。
FRM 122可以基于图像中包括的已知用户的面部的特征或界标来确定姿势桶132中的哪一个与图像相关联。例如，FRM 122可以检测用户面部图像中的界标，诸如用户的眼睛、鼻子和嘴巴，并且可以基于界标确定用户面部的偏航角和俯仰角。例如，FRM 122可以基于图像130A中用户面部的偏航角和俯仰角以及与姿势桶132CC相关联的范围偏航角和俯仰角来确定图像130A应该包括在姿势桶132CC中。例如，FRM 122可以确定图像130A中用户面部的偏航角是0度并且已知用户面部的俯仰角是0度。FRM 122可以确定姿势桶132CC与从-5度到5度的偏航角范围和从-5度到5度的俯仰角范围相关联(例如，姿势桶132CC以0度偏航和0度俯仰为中心)。在此类示例中，FRM 122可响应于确定图像130A中用户面部的偏航角和俯仰角落入与姿势桶132CC相关联的偏航角和俯仰角的范围内而确定姿势桶132CC包括图像130A。
作为另一示例，FRM 122可以确定图像130B中用户面部的偏航角为0度(例如，以左右方向为中心)，且用户面部的俯仰角为23度(例如，已知用户正在查找)。FRM 122可以确定姿势桶132AC与从-5度到5度的偏航角范围和从15度到25度的俯仰角范围相关联(例如，姿势桶132CC以0度偏航和20度俯仰为中心)。在这样的示例中，FRM 122可以响应于确定图像130B中用户面部的偏航角和俯仰角落入与姿势桶132AC相关联的偏航角和俯仰角的范围内而确定姿势桶132AC包括图像130B。.
FRM 122可以从图像捕获设备114接收指示图像130的数据并且确定姿势桶132的阈值数量是否包括图像130之一。例如，FRM 122可以确定包括已知用户的面部的图像130的姿势桶132的数量。在图1的示例中，FRM 122确定图像130包括在25个可能的姿势桶132的19个姿势桶(例如，132AB、132AC、132BA、132BB、132BC、132BD、132BE、132CA、132CB、132CC、132CD、132CE、132DB、132DC、132DD、132DE、132EB、132EC和132ED)中。在一些示例中，FRM122确定包括图像130的姿势桶的数量是否满足(例如，大于或等于)阈值数量(例如，15个姿势桶、17个姿势桶、19个姿势桶等；或65％的姿势桶132、75％的姿势桶132、85％的姿势桶132等)。例如，响应于确定图像130被包括在姿势桶132的至少75％内，FRM 122可以确定包括图像130的姿势桶132的数量满足姿势桶的阈值数量。确定包括图像132的姿势桶的数量满足姿势桶的阈值数量可以指示图像130显示足够多的不同姿势的已知用户的面部以更准确地认证用户。
响应于确定包括图像130的姿势桶的数量不满足姿势桶的阈值数量，图像捕获设备114可以捕获一个或多个附加图像130用于注册过程。例如，FRM 122可以输出指令已知用户移动他或她的头部以捕获已知用户的面部不同角度的图像的图形用户界面。
响应于确定包括图像130的姿势桶的数量满足姿势桶的阈值数量，FRM 122可以将指示图像130的数据与已知用户的用户账户相关联。在一些示例中，指示图像130的数据可以包括图像本身或每个相应图像的图像模板(也称为嵌入)。作为一个示例，图像模板通常可以对应于用户面部的一个或多个特征的统计模型。例如，FRM 122可以生成包括具有多个元素值(例如，50个值、100个值、500个值等)的向量的图像模板。在一些示例中，向量的每个元素值对应于用户面部的特征(例如，眼睛之间的距离、鼻子形状等)。替代地或附加地，可以通过非线性机器学习模型来生成向量的元素值，该非线性机器学习模型被训练以生成指示面部身份的输出。例如，FRM 122可以将经过训练的面部识别模型应用于多个图像130并且将每个相应图像130的图像模板(例如，嵌入)输出为向量。在一些示例中，FRM 122通过为每个图像分配图像模板标识符并将相应的图像模板标识符与已知用户的用户账户的用户账户标识符相关联，来将指示图像130的数据与用户账户相关联。
FRM 122可以将指示图像130的数据存储到注册图像数据存储128。在一些示例中，FRM 122在存储指示图像130的数据之前加密指示图像130的数据。指示图像130的数据可以本地存储在计算设备110上，使得数据不会通过网络传输到任何其他设备。此外，计算设备110可以向用户提供删除指示图像130的数据的机会。
FRM 122可以在完成已知用户的注册过程之后为未知用户执行认证过程。换言之，FRM 122可以接收认证计算设备110的未知用户138的请求。作为一个示例，计算设备110可以在认证未知用户138之前以减少访问模式操作。在一些情况下，在减少访问模式中，计算设备110可以处于锁定状态或者可以提供对有限特征集的访问。在认证未知用户之后，计算设备110可以在增加访问模式中操作。例如，在增加访问模式中，计算设备110可以处于解锁状态或可以提供对相对更多特征(例如，一组不受限制的特征，诸如计算设备110的任何特征或能力)的访问。
在一个示例中，FRM 122从一个或多个图像捕获设备114接收指示未知用户138的面部的认证图像140的数据。例如，未知用户138可以面向图像捕获设备114并按下用于使图像捕获设备114捕获认证图像140的按钮(例如，由PSD 112显示的物理按钮或图形按钮)。作为另一示例，图像捕获设备114可以响应于用户面向图像捕获设备114而自动捕获认证图像140。指示未知用户面部图像的数据可以包括图像本身或表示未知用户面部特性的图像模板。
响应于接收到指示认证图像140的数据，FRM 122可以确定未知用户138是否是已知用户。在一些示例中，FRM 122基于指示未知用户138的面部的认证图像140的数据与指示已知用户的一个或多个面部图像130的数据的比较来确定未知用户138是否是已知用户。例如，FRM 122可以使用姿势无关(也称为姿势不变)技术或姿势相关技术来比较指示未知用户138的面部的认证图像140的数据与指示已知用户的一个或多个面部图像130的数据。
在一些示例中，在姿势相关技术中，FRM 122基于认证图像140确定未知用户138是否是已知用户，并且确定包括已知用户的面部的图像130的图像是否是最接近在认证图像140中未知用户的面部的姿势的姿势。在一个示例中，FRM 122确定与未知用户138的认证图像140相关联的姿势桶132的姿势桶。例如，FRM 122可以以类似于确定与图像130相关联的姿势桶的方式，基于未知用户的面部的特性或界标确定与图像140相关联的姿势桶。例如，FRM 122可以确定认证图像140中面部的偏航角和俯仰角。响应于确定认证图像140中的面部的偏航角和俯仰角，FRM 122可以确定哪一个姿势桶132包括认证图像140中的面部的偏航角和俯仰角。例如，FRM 122可以确定认证图像140中面部的偏航角和俯仰角分别为20度和0度。FRM 122可以确定姿势桶132CD与从15度到25度的偏航角范围和从-5到5度的俯仰角范围相关联。在这种情况下，FRM 122可以响应于确定认证图像140中面部的偏航角和俯仰角包括在与姿势桶132CD相关联的偏航角和俯仰角的范围中，而确定未知用户的认证图像140与姿势桶132CD相关联。
FRM 122可以从已知用户的面部的图像130确定图像，该图像包括在与未知用户的面部的图像140相关联的姿势桶内。换言之，FRM 122可以确定哪一个图像130具有与认证图像140的姿势最接近的姿势。在一个示例中，FRM 122确定图像140与姿势桶132CD相关联并且选择图像130中的包含在姿势桶132CD内的图像(例如，130G)。FRM 122可以通过确定所选图像130G的相似度分数来确定用户138是否是已知用户，该相似度分数指示图像130G和图像140之间的相似度。
响应于确定所选图像130G(例如，包括在与未知用户的图像140相关联的姿势桶132CD中的图像)的相似度分数，在一些示例中，FRM 122确定图像130G的相似度分数是否满足(例如，大于或等于)阈值相似度分数。FRM 122可以响应于确定图像130G的相似度分数满足阈值相似度分数来确定未知用户138是已知用户，并且可以响应于确定图像130G的相似度分数不满足阈值相似度分数来确定未知用户138不是已知用户。
在一些示例中，FRM 122无论姿势如何都确定未知用户138是否是已知用户。换言之，在一些示例中，FRM 122利用姿势不变技术来确定未知用户138是否是已知用户。例如，FRM 122可以为图像130的每个图像确定相应的相似度分数，其中，相应的相似度分数指示图像130的相应图像与认证图像140之间的相似度。
在一种情形中，FRM 122基于图像130的相应相似度分数来选择图像130的单个图像以确定未知用户138是否是已知用户。FRM 122选择具有指示与认证图像140最接近匹配的相似度分数的图像130的单个图像。指示最接近匹配的分数可以是最低相似度分数或最高相似度分数。
在一些情形中，FRM 122基于相应的相似度分数选择图像130的两个或多个图像以确定未知用户138是否是已知用户。在一种情况下，FRM 122确定两个或多个图像130的综合相似度分数。例如，FRM 122可以基于两个或多个图像130的相应相似度分数的平均值来确定综合相似度分数，并且可以将该综合相似度分数与阈值相似度分数进行比较来确定未知用户138是否是已知用户。
作为另一示例，FRM 122可以将两个或多个图像的每个相应的相似度分数与阈值相似度分数进行比较。在这样的示例中，FRM 122可以响应于确定所选图像的阈值数量(例如，100％、80％、60％等)具有满足阈值相似度分数的相似度分数而确定未知用户138是已知用户。例如，如果所选图像的集合包括具有最高相似度分数的图像130的三个图像，在一些示例中，响应于确定三个所选图像中的两个的相似度分数满足阈值相似度分数，FRM 122确定未知用户138是已知用户。
响应于确定未知用户138是已知用户，FRM 122将计算设备110设置为增加访问模式。例如，FRM 122可以解锁计算设备110或启用计算设备110的附加特征。
在另一示例中，响应于确定未知用户138不是已知用户，FRM 122可以使计算设备110保持在减少访问模式中。在这样的示例中，FRM 122可以使计算设备110保持锁定或者可以限制未知用户138被允许使用的计算设备110的特征(例如，仅紧急呼叫、进入相机模式等)。在这样的示例中，FRM 122可以使计算设备110输出数据(例如，经由用户界面设备，诸如PSD 112)，该数据指示一个或多个替代认证选项，诸如密码或手势输入或指纹输入等，和/或提供另一个使用面部识别进行认证的机会。
虽然计算设备110被描述为注册已知用户的图像130并且认证未知用户138，但是在一些示例中，一个或多个远程计算设备可以执行本文描述的功能的全部或子集。在一些示例中，计算设备(例如，计算设备110或另一计算设备)仅在计算设备从计算设备的用户接收到使用数据的许可时才可以使用与计算设备110的用户相关联的用户数据。例如，在计算设备或计算系统可以收集或可以使用与用户相关联的信息之前，可以向用户提供机会以提供输入以控制计算设备和/或计算系统的程序或特征是否可以收集和利用用户信息。此外，某些信息在被计算设备和/或计算系统存储或使用它之前可以以一种或多种方式进行处理，从而删除个人身份信息。例如，可以处理用户的身份使得无法确定有关用户的个人身份信息。例如，计算设备可以存储图像的图像模板而不存储图像本身，并且可以将图像模板与不与任何其他用户信息相关联的用户标识符相关联。因此，用户可以控制如何收集关于用户的信息以及该信息如何被计算设备和计算系统使用。
这样，本公开的技术可以使计算设备110能够捕获包括在若干不同姿势桶内的已知用户的图像。通过在若干不同的姿势桶中捕获和注册图像，计算设备可以增加包括已知用户的图像的姿势桶的数量，这可以使计算设备能够更准确地认证未知用户的图像，而不管未知用户的身份认证图像的姿势桶如何。例如，增加包括注册图像的姿势桶的数量可以增加与未知用户的认证图像相关联的姿势桶与包括已知用户的一个或多个注册图像的姿势桶相似的概率，当未知用户实际上是已知的授权用户时，这可以降低错误拒绝未知用户的概率，从而潜在地改善用户体验。此外，减少错误拒绝的概率可以减少用于计算设备进入增加访问模式的认证尝试(例如，面部识别、指纹识别、PIN或密码等)的次数，这可以减少处理器使用的处理循环的数量并改善电池寿命。在某些情况下，当未知用户不是已知的授权用户时，所描述的技术可以降低对未知用户进行错误认证的概率，这可以增加计算设备的安全性。
图2是示出根据本公开的一个或多个方面的被配置为动态地生成任务快捷方式的示例计算设备的框图。计算设备210是图1的计算设备110的更详细示例。图2仅图示了计算设备210的一个特定示例，并且计算设备210的许多其他示例可以在其他情况中使用，并且可以包括示例计算设备210中包括的组件的子集，或者可以包括图2中未示出的附加组件。
如图2所示的示例所示，计算设备210包括PSD 212、一个或多个图像捕获设备214、一个或多个处理器230、一个或多个输入组件242、一个或多个输出组件244、一个或多个通信单元246以及一个或多个存储设备248。计算设备210的存储设备248包括FRM 222和注册图像数据存储228。
通信信道249可以互连组件212、214、230、242、244、246和/或248中的每一个，以用于组件间通信(物理地、通信地和/或操作地)。在一些示例中，通信信道249可以包括系统总线、网络连接、一个或多个进程间通信数据结构或用于传送数据(也称为信息)的任何其他组件。
图像捕获设备214可以包括一个或多个相机，诸如数码相机、照静态相机和运动画面相机等。图像捕获设备214可以包括能够捕获和存储静止或移动图像的任何其他设备。在一些示例中，图像捕获设备214可能能够经由电子图像传感器以数字方式记录图像。图像捕获设备214可以包括一个或多个被配置为检测可见光的设备(例如，可见光相机)、一个或多个被配置为检测近红外光的设备(例如，近红外相机)或者其中的组合。在一些示例中，图像捕获设备214可以生成指示二维图像的图像数据、指示三维图像的数据或其组合。以此方式，多个图像捕获设备214可以捕获可见光、近红外光或其组合，并且可以生成指示二维图像、三维图像或两者的图像数据。
计算设备200的一个或多个通信单元246可以通过发送和/或接收数据来与外部设备通信。例如，计算设备200可以使用一个或多个通信单元246来在诸如蜂窝无线电网络的无线电网络上传输和/或接收无线电信号。在一些示例中，通信单元246可以在诸如全球定位系统(GPS)网络的卫星网络上传输和/或接收卫星信号。通信单元246的示例包括网络接口卡(诸如以太网卡)、光收发器、射频收发器、GPS接收器或可以发送和/或接收信息的任何其他类型的设备。通信单元246的其他示例可以包括在移动设备中发现的短波无线电装置(例如，NFC、蓝牙(包括BLE))、GPS、3G、4G、5G和WIFI无线电装置以及通用串行总线(USB)控制器等。
计算设备210的一个或多个输入组件242可以接收输入。输入的示例是触觉、音频、动能和光学输入，仅举若干示例。在一个示例中，计算设备210的输入组件242包括鼠标、键盘、语音响应系统、摄像机、按钮、控制板、麦克风或用于检测来自人或机器的输入的任何其他类型的设备。在一些示例中，输入组件242可以是存在敏感输入组件，其可以包括存在敏感屏幕、触敏屏幕等。
计算设备210的一个或多个输出组件244可以生成输出。输出的示例是触觉、音频和视频输出。在一些示例中，计算设备210的输出组件244包括存在敏感屏幕、声卡、视频图形适配卡、扬声器、阴极射线管(CRT)监视器、液晶显示器(LCD)或用于为人或机器生成输出的任何其他类型的设备。输出组件可包括显示组件，诸如阴极射线管(CRT)监视器、液晶显示器(LCD)、发光二极管(LED)或用于生成触觉、音频和/或视觉输出的任何其他类型的设备。
在一些示例中，计算设备210的PSD 212可以包括输入组件242和/或输出组件244的功能。在图2的示例中，PSD 212可以包括存在敏感输入组件264，诸如存在敏感屏幕或触敏屏幕。在一些示例中，存在敏感输入组件264可以检测在存在敏感输入组件处和/或附近的对象。作为一个示例范围，存在敏感输入组件264可以检测在存在敏感输入组件264的两英寸或更小的范围内的对象，诸如手指或手写笔。存在敏感输入组件264可以确定检测到对象的存在敏感输入组件的位置(例如，(x,y)坐标)。在另一个示例范围中，存在敏感输入组件264可以检测距存在敏感输入组件264两英寸或更小的对象，并且其他范围也是可能的。存在敏感输入组件264可以使用电容、电感和/或光学识别技术来确定由用户的手指选择的存在敏感输入组件264的位置。
在一些示例中，PSD 212还可以使用如相对于输出组件244所描述的触觉、音频或视频刺激来向用户提供输出。例如，PSD 212可以包括显示图形用户界面的显示组件262。显示组件262可以是提供视觉输出的任何类型的输出组件，诸如相对于输出组件244所描述的。虽然被示为计算设备210的集成组件，但在一些示例中，PSD 212可以是与用于传输和/或接收输入和输出的计算设备210的其他组件共享数据或信息路径的外部组件。例如，PSD212可以是计算设备210的内置组件，其位于计算设备210的外部包装(例如，移动电话上的屏幕)内并物理连接到计算设备210的外部包装。在另一个示例中，PSD 212可以是计算设备210的外部组件，其位于计算设备210(例如，与平板计算机共享有线和/或无线数据路径的监视器、投影仪等)的包装外部并与计算设备210的包装物理分离。在一些示例中，PSD 212在位于计算设备210的包装外部并与其物理分离时，可以由以下两个单独的组件实现：用于接收输入的存在敏感输入组件264和用于提供输出的显示组件262。
计算设备210内的一个或多个存储组件248可以存储用于在计算设备210的操作期间处理的信息(例如，计算设备210可以存储在计算设备210处执行期间由FRM 222访问的数据)。在一些示例中，存储组件248是临时存储器，这意味着存储组件248的主要目的不是长期存储。计算设备210上的存储组件248可以被配置用于作为易失性存储器短期存储信息并且因此如果断电则不保留存储的内容。易失性存储器的示例包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)和本领域已知的其他形式的易失性存储器。
在一些示例中，存储组件248还包括一个或多个计算机可读存储介质。在一些示例中，存储组件248包括一个或多个非暂时性计算机可读存储介质。存储组件248可以被配置为存储比通常由易失性存储器存储的信息量更大的信息量。存储组件248还可以被配置为作为非易失性存储器空间长期存储信息并在电源开/关循环之后保留信息。非易失性存储器的示例包括磁性硬盘、光盘、闪存或电可编程存储器(EPROM)或电可擦除和可编程(EEPROM)存储器的形式。存储组件248可以存储与FRM 222相关联的程序指令和/或信息(例如，数据)。存储组件248可以包括被配置为存储与FRM 222和注册的图像数据存储228相关联的数据或其他信息的存储器。
一个或多个处理器230可以实现功能和/或执行与计算设备210相关联的指令。处理器230的示例包括应用处理器、显示控制器、辅助处理器、一个或多个传感器集线器以及被配置为用作处理器、处理单元或处理设备的任何其他硬件。FRM 222可由处理器230操作以执行计算设备210的各种动作、操作或功能。例如，计算设备210的处理器230可检索并执行由存储组件248存储的指令，这些指令使处理器230执行归于FRM 222的本文所描述的操作。当由处理器230执行时，指令可以使计算设备210将信息存储在存储组件248内。
FRM 222可以包括图1的计算设备110的FRM 122的所有功能，并且可以执行与FRM122类似的用于执行面部识别以认证计算设备210的用户的操作。FRM 222可以包括注册模块224和认证模块226。
在一些示例中，注册模块224可以执行注册过程以将计算设备210的已知用户的图像与该已知用户的用户账户相关联。在一些示例中，例如，在建立新账户时，注册模块224可以为给定的用户账户执行一次注册过程。
在注册阶段期间，图像捕获设备214捕获计算设备210的已知用户(例如，登录到相关联用户账户的用户)的一个或多个图像130(图1的)并且生成指示每个图像的图像数据。FRM 222的注册模块224可以从图像捕获设备214接收图像数据并且分析图像数据以将图像130中的每一个分配给一个或多个姿势桶132(图1的)。
注册模块224可以基于图像中包括的已知用户的面部的特性或界标来确定姿势桶132中的哪一个与图像相关联。例如，注册模块224可以检测未知用户面部图像中的界标，诸如用户的眼睛、鼻子和嘴巴，并且可以基于界标确定面部的偏航角和俯仰角。例如，注册模块224可以接收指示图像130A的图像数据，并且基于图像130A中的界标确定在图像130A中的用户面部的偏航角大约为0度并且在图像130A中的用户面部的俯仰角大约为0度。注册模块224可以确定姿势桶132CC包括从-5度到5度的偏航角范围和从-5度到5度的俯仰角范围(例如，姿势桶132CC以0度偏航和0度俯仰为中心)。在这样的示例中，注册模块224可以确定图像130A中用户面部的偏航角和俯仰角在姿势桶132CC的俯仰角和偏航角的范围内，使得注册模块224确定图像130A应该包括在姿势桶132CC内。在一些示例中，注册模块224可以确定在图像130A的用户面部中的滚转量。例如，注册模块224可以基于图像130A中用户面部的偏航角、俯仰角和滚转来确定哪些姿势桶132包括图像130A。
在一些示例中，注册模块224确定图像130A是否应该被包括在多个姿势桶132中。例如，当图像130A的偏航角和俯仰角在给定姿势桶132的中心的预定义距离(例如，10度的半径)内时，注册模块224可以包括在给定姿势桶内的图像130A。例如，注册模块224可以确定图像130A中用户面部的偏航角和俯仰角分别是0度和0度。在一种情况下，预定义距离可以是10度并且姿势桶132BC可以以0度偏航和10度俯仰为中心，使得注册模块224可以确定图像130A的偏航和俯仰角位于姿势桶的中心132BC的中心的预定义距离内。在这种情况下，注册模块224可以在姿势桶132BC中包括图像130A。类似地，注册模块224可以确定图像130A的偏航角和俯仰角在姿势桶132CB、132CD和132DC的中心的预定义距离内，并且除了姿势桶132CC和132BC之外还包括姿势桶132CB、132CD和132DC中的图像130A。
在一些示例中，注册模块224在接收到图像130A的图像数据之后接收图像130B的图像数据。注册模块224可以确定是否在任何姿势桶132中包括图像130B。注册模块224可以基于图像130B中的界标确定图像130B中用户面部的偏航角大约为0度并且图像130B中用户面部的俯仰角大约为19度。注册模块224可以确定姿势桶132AC包括从-5度到5度的偏航角范围和从15度到25度的俯仰角范围(例如，姿势桶132AC以0度偏航和20度俯仰为中心)。在这样的示例中，注册模块224可以确定图像130B中用户面部的偏航角和俯仰角在姿势桶132AC的俯仰角和偏航角的范围内。注册模块224可以确定姿势桶132AC是否包括图像130之一，并且可以响应于确定姿势桶132AC还未包括图像而在姿势桶132AC中包括图像130B。
注册模块224可以确定是否将图像130B包括在任何其他姿势桶132中。例如，注册模块224可以确定图像130B的偏航角和俯仰角是否在其他姿势桶132的中心的预定义距离内。例如，注册模块224可以确定预定义距离是10度并且姿势桶132BC以0度偏航和10度俯仰为中心，使得注册模块224可以确定图像130B的偏航角和俯仰角(例如，0度偏航，19度俯仰)位于姿势桶132BC中心的预定义距离内。注册模块224可以响应于确定图像130B的偏航角和俯仰角在姿势桶132BC的中心的预定义阈值内，来确定是否将图像130B包括在姿势桶132BC中。
在一些示例中，注册模块224确定姿势桶132BC已经包括图像130A并且确定是否用姿势桶132BC中的图像130B替换图像130A。在一个示例中，注册模块224可以基于姿势桶132BC的中心与图像130A、130B的相应偏航角和俯仰角之间的距离来确定是否用姿势桶132BC中的图像130B替换图像130A。例如，注册模块224可以确定图像130A的偏航角和俯仰角是0度、0度；图像130B的偏航角和俯仰角为0度、19度；并且姿势桶132BC的中心的偏航角和俯仰角为0度、10度。在这样的示例中，注册模块224可以确定图像130B比图像130A更靠近姿势桶132BC的中心，并且可以用姿势桶132BC内的图像130B替换图像130A。
在一些示例中，注册模块224可以基于接收图像130A、130B的图像数据的顺序来确定是将图像130A还是图像130B包括在姿势桶132BC内。例如，注册模块224可以包括姿势桶132BC内的最旧的图像(例如，首先接收的图像)。在这样的示例中，注册模块224可以确定图像130A应该被包括在姿势桶132BC内，因为首先接收到图像130A的图像数据。在另一个示例中，注册模块224可以包括姿势桶132BC内的最新图像。在这些示例中，注册模块224可以确定图像130B应该被包括在姿势桶132BC内。
注册模块224可以从图像捕获设备214接收指示图像130的数据并且确定姿势桶132的阈值数量是否包括图像130之一。例如，注册模块224可以确定包括已知用户的面部的图像130的姿势桶132的数量。响应于确定姿势桶132的数量，注册模块224确定包括图像130的姿势桶的数量是否满足(例如，大于或等于)姿势桶的阈值数量。例如，注册模块224可以响应于确定图像130被包括在姿势桶132的至少75％内而确定包括图像130的姿势桶132的数量满足姿势桶的阈值数量。响应于确定包括图像130的姿势桶的数量不满足姿势桶的阈值数量，注册模块224可以使图像捕获设备214捕获一个或多个附加图像130以用于注册过程。
在一些示例中，注册模块224可以响应于确定包括图像130的姿势桶的数量满足姿势桶的阈值数量而将指示图像130的数据与已知用户的用户账户相关联。在一些示例中，指示图像130的数据可以包括图像本身或每个相应图像的图像模板。图像模板可以包括具有多个元素值(例如，50个值、100个值、500个值等)的向量。在一些示例中，向量的每个元素值对应于用户面部的一个特征(例如，眼睛之间的距离、鼻子形状等)。替代地或附加地，可以通过非线性机器学习模型来生成向量的元素值，该非线性机器学习模型被训练以生成指示面部身份的输出。作为一个示例，注册模块224可以将经过训练的面部识别模型应用于多个图像130并且为每个相应的图像130输出图像模板(例如，向量)。在一些示例中，注册模块224通过下述方式将指示图像130的数据与用户账户相关联：为每个图像模板分配图像模板标识符并且将相应的图像模板标识符与已知用户的用户账户的用户账户标识符相关联。
注册模块224可以将指示图像130的数据(例如，图像本身或图像模板)存储到注册图像数据存储228。在一些示例中，注册模块224在存储指示图像130的数据之前加密指示图像130的数据。指示图像130的数据可以本地存储在计算设备210上，使得数据不通过网络传输到任何其他设备。此外，计算设备210可以向用户提供删除指示图像130的数据的机会。
认证模块226可以周期性地对未知用户执行认证过程以确定未知用户实际上是否是已知用户。例如，计算设备210可以在执行认证过程之前以减少访问模式操作。认证模块226可以执行认证过程以确定是否以增加访问模式操作，例如解锁计算设备220、授权交易(例如，当使用计算设备210进行支付时)、登录网站或应用程序或以其他方式执行需要增加对计算设备210的访问的动作。
在一些情形中，认证模块226响应于从一个或多个图像捕获设备214接收指示未知用户138(图1的)的面部的认证图像140的数据而执行认证过程。在一种情况下，图像捕获设备214可以响应于接收到捕获图像的用户输入(例如，按钮按压、手势等)来捕获未知用户138的一个或多个图像。在另一情况下，图像捕获设备214可以响应于检测到靠近计算设备210的人而自动捕获一个或多个图像。图像捕获设备214可以生成指示认证图像140的图像数据并且将图像数据输出到认证模块226。指示未知用户面部图像的数据可以包括图像本身或表示未知用户的面部的特性的图像模板。
响应于接收到指示认证图像140的数据，认证模块226可以确定未知用户138是否是已知用户。认证模块226可以基于认证图像140和一个或多个注册图像130来确定未知用户138是否是已知用户。在一些情况下，认证模块226使用姿势无关(也称为姿势不变)技术或姿势相关技术来确定未知用户138是否是已知用户。
在一些姿势相关的示例中，认证模块226基于认证图像140和图像130的特定图像确定未知用户138是否是已知用户，该图像130的特定图像包括处于最接近认证图像140中未知用户138的面部姿势的姿势中已知用户的面部。在一个示例中，包括处于最接近认证图像140中未知用户138的面部姿势的姿势中已知用户的面部的特定图像130可以是在与关联于认证图像140的姿势桶132相同的姿势桶中包括的图像130的特定图像。
认证模块226可以确定与未知用户138的认证图像140相关联的姿势桶132的姿势桶。例如，认证模块226可以基于未知用户的面部的特性或界标来确定与图像140相关联的姿势桶。例如，认证模块226可以确定认证图像140中面部的偏航角和俯仰角。响应于确定认证图像140中面部的偏航角和俯仰角，认证模块226可以确定姿势桶132中的哪些包括在认证图像140中的面部的偏航角和俯仰角，并且确定姿势桶(例如，姿势桶132CD)是与认证图像140相关联的姿势桶。在一些情况下，认证模块226可以确定认证图像140中的未知用户138的面部的滚转。认证模块226可以基于认证图像140中的面部的偏航角、俯仰角和滚转来确定姿势桶132中的哪一个与认证图像140相关联。
认证模块226可以确定哪些图像130被包括在与认证图像140相关联的姿势桶(例如，姿势桶132CD)内。在姿势桶132CD与认证图像140相关联的示例中，认证模块226可以查询注册图像数据存储228并且确定图像130G被包括在姿势桶132CD内。响应于确定图像130G被包括在与认证图像140相关联的姿势桶内，认证模块226可以通过确定所选择的图像130G的相似度分数来确定用户138是否是已知用户。在一些示例中，图像130G的相似度分数指示图像130G和认证图像140之间的相似度。
认证模块226可以基于指示图像130G的数据和指示认证图像140的数据来确定图像130G的相似度分数。在一些示例中，指示图像130G的数据包括图像130G的图像模板。这样的图像模板可以表示为向量并且可以由经过训练的面部识别模型生成。该向量可以包括多个元素值，每个元素值对应于用户面部的相应特征(例如，眼睛之间的距离、鼻子形状等)。类似地，指示认证图像140的数据可以包括以类似方式生成的向量。在一些示例中，认证模块226通过计算表示图像130G的向量与表示认证图像140的向量之间的角度来确定相似度分数。作为另一个示例，认证模块226可以通过确定表示图像130G的向量和表示认证图像140的向量之间的余弦相似度来确定图像130G的相似度分数。
在一些示例中，认证模块226确定图像130G的相似度分数是否满足阈值相似度分数。作为一个示例，认证模块226通过确定表示图像130G的向量与表示认证图像140的向量之间的角度来确定图像130G的相似度分数，并且响应于确定相似度分数小于阈值相似度分数来确定图像130G的相似度分数满足阈值相似度分数。作为另一个示例，认证模块226通过确定表示图像130G的向量与表示认证图像140的向量之间的余弦相似度来确定图像130G的相似度分数，并且响应于确定相似度分数大于阈值相似度分数来确定图像130G的相似度分数满足阈值相似度分数。
认证模块226可以响应于确定图像130G的相似度分数满足阈值相似度分数来确定未知用户138是已知用户。类似地，认证模块226可以响应于确定图像130G的相似度分数不满足阈值相似度分数来确定未知用户138不是已知用户。
在一些与姿势无关的示例中，认证模块226确定每个图像130G的相应相似度分数以确定未知用户138是否是已知用户。相应的相似度分数指示图像130的对应图像与认证图像140之间的相似度。如上所述，认证模块226可以基于指示相应图像130的数据和指示认证图像140的数据来确定每个图像130的相应的相似度分数。在一些示例中，指示图像130的数据包括相应的图像模板。这样的图像模板可以表示为向量并且可以由经过训练的面部识别模型生成。该向量可以包括多个元素值，每个元素值对应于用户面部的相应特征。在这样的示例中，指示认证图像140的数据可以包括向量，该向量包括多个元素值，每个元素值对应于未知用户138的面部的相应特征。在一些情形中，认证模块226通过计算相应向量与表示认证图像140的向量之间的角度来确定每个图像130的相应相似度分数。作为另一个示例，认证模块226可以通过确定在每个图像130的相应向量与表示认证图像140的向量之间的余弦相似度来确定每个图像130的相应相似度分数。
在一个姿势无关的示例中，认证模块226基于图像130的相应相似度分数选择图像130的单个图像以确定未知用户138是否是已知用户。认证模块226选择具有指示与认证图像140最接近匹配的相似度分数的图像130的单个图像。在一些示例中，认证模块226基于表示图像130的相应图像的每个向量与表示认证图像140的向量之间的角度来确定图像130的相应相似度分数，并且确定指示最接近匹配的分数是最低的相似度分数(例如，两个向量之间的角度越小，向量彼此之间越接近)。在另一示例中，认证模块226基于表示图像130的相应图像的每个向量与表示认证图像140的向量之间的余弦相似度来确定图像130的相应相似度分数，并且确定指示最接近匹配的分数是最高的相似度分数(例如，两个向量之间的余弦值越大，向量越相似)。
在一些情形中，认证模块226基于相应的相似度分数选择图像130的两个或多个图像以确定未知用户138是否是已知用户。在一种情形下，认证模块226确定两个或多个图像130的综合相似度分数。在一些情况下，认证模块226可以基于两个或多个图像130的最高相似度分数或两个或多个图像130的最低相似度分数来确定综合相似度分数。在一种情况下，认证模块226可以基于图像130中的两个或多个图像的相应相似度分数的平均值来确定综合相似度分数，并且可以将综合相似度分数与阈值相似度分数进行比较以确定未知用户138是否是已知用户。
作为另一示例，认证模块226可以将两个或多个图像中的每个相应的相似度分数与阈值相似度分数进行比较。在这样的示例中，认证模块226可以响应于确定阈值数量(例如，100％、80％、60％等)的所选图像具有满足阈值相似度分数的相似度分数而确定未知用户138是已知用户。例如，认证模块226可以确定所选图像的集合包括具有最高相似度分数的图像130的三个图像，并且可以响应于确定三个所选图像中的两个图像的相似度分数满足阈值相似度分数而确定未知用户138是已知用户。
响应于确定未知用户138是已知用户，认证模块226将计算设备210设置为增加访问模式。例如，认证模块226通过解锁计算设备210使计算设备210进入增加访问模式。作为另一个示例，认证模块226可以通过使计算设备210能够授权支付、登录网站或应用程序或以其他方式执行需要增加对计算设备210的访问的动作来使计算设备210进入增加访问模式。
在一些情况下，响应于确定未知用户138不是已知用户，认证模块226可以使计算设备210保持在减少访问模式中。在此类示例中，认证模块226可以使计算设备210保持锁定、拒绝支付、避免登录网站或应用程序或以其他方式避免增加对计算设备210的访问。在此类示例中，认证模块226可以使计算设备210输出数据(例如，经由用户界面设备，例如PSD212)，该数据指示一个或多个替代认证选项，诸如密码或手势输入或指纹输入等，和/或提供另一个认证机会以使用面部识别进行认证。
图3是示出根据本公开的一个或多个方面的由执行面部识别以认证用户的示例计算设备执行的示例操作的流程图。图3是在图1的上下文中描述的。
计算设备110接收指示由一个或多个图像捕获设备114生成的图像的图像数据(302)。例如，图像捕获设备114可以捕获图像130A(例如，2-D或3-D的)并且可以输出指示图像130A的数据。
在一些示例中，计算设备110确定姿势桶132中的哪一个包括图像130A(304)。计算设备110可以基于图像130A中包括的已知用户的面部的特性或界标(例如，眼睛、鼻子、嘴巴)来确定哪个姿势桶包括图像130A。例如，计算设备110可以确定图像130A中用户面部的偏航角和俯仰角。在一个示例中，计算设备110确定其俯仰角和偏航角的范围包括图像130A的偏航角和俯仰角的姿势桶，并且确定姿势桶(例如，132CC)包括图像130A。
计算设备110可以确定包括图像130的姿势桶132的数量是否满足姿势桶的阈值数量(306)。例如，计算设备110可以响应于确定图像130被包括在姿势桶132的至少75％内而确定包括图像130的姿势桶132的数量满足姿势桶的阈值数量。
在一些情形中，计算设备110响应于确定包括图像130的姿势桶132的数量满足姿势桶的阈值数量(306的“是”分支)，将指示图像130的数据与已知用户的用户账户相关联(308)。例如，计算设备110可以在注册图像数据存储128中存储指示图像130的数据。例如，指示图像130的数据可以包括图像130本身或每个图像130的图像模板(例如，向量)。计算设备110响应于确定包括图像130的姿势桶132的数量不满足姿势桶的阈值数量(306的“否”分支)，可以使图像捕获设备114捕获已知用户的附加图像(302)。
计算设备110可以在减少访问模式下操作时接收指示计算设备110的未知用户138的认证图像140的数据(310)。例如，图像捕获设备114可以捕获未知用户138的图像140并且生成指示图像140的图像数据。图像捕获设备114可以自动地或者响应于用户输入捕获认证图像140。
在一个示例中，计算设备110确定未知用户138是否是已知用户(312)。计算设备110可以基于认证图像140和一个或多个图像130来确定未知用户138是否是已知用户。例如，计算设备110可以使用姿势无关技术或姿势相关技术来确定未知用户138是否是已知用户。在一些示例中，计算设备110确定一个或多个图像130的相应相似度分数，每个相应的相似度分数指示图像130的相应图像与认证图像140之间的相似度。作为一个示例，计算设备110确定图像130的单个图像与认证图像140之间的相似度分数。在这样的示例中，计算设备110可以通过确定单个图像的相似度分数是否满足阈值相似度分数来确定未知用户138是否是已知用户。
作为另一示例，计算设备110确定图像130中的每一个图像的相似度分数。在这样的示例中，计算设备110可以基于两个或多个图像130的相似度分数来确定未知用户138是否是已知用户。例如，计算设备110可以基于两个或多个图像130的相应个体相似度分数来确定两个或多个图像的综合相似度分数。作为另一个示例，计算设备110可以确定预定义数量的图像130的相似度分数是否满足阈值相似度分数。
响应于确定未知用户138是已知用户(312的“是”分支)，计算设备110可以执行增加访问模式(314)。作为一个示例，计算设备210可以通过解锁计算设备210来执行增加访问模式。作为另一示例，计算设备可以通过授权支付、登录网站或应用程序或以其他方式执行需要增加对计算设备110的访问的动作来进入增加访问模式。
在一些情况下，计算设备110响应于确定未知用户138不是已知用户(312的“否”分支)而保持在减少访问模式(316)。在一种情况下，计算设备110可以保持锁定、拒绝支付、避免登录网站或应用程序或以其他方式避免增加对计算设备210的访问。在这样的示例中，计算设备210可以输出数据(例如，经由用户界面设备，例如PSD 112)，该数据指示一个或多个替代认证选项，诸如密码或手势输入或指纹输入等，和/或提供使用面部识别进行认证的另一机会。
在一个或多个示例中，所描述的功能可以以硬件、硬件和软件、硬件和固件或其任何组合来实现。如果以软件实现，则功能可以作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质传输并由基于硬件的处理单元执行。计算机可读介质可以包括计算机可读存储介质，其对应于：诸如数据存储介质之类的有形介质；或者通信介质，包括便于例如根据通信协议将计算机程序从一个地方转移到另一个地方的任何介质。以此方式，计算机可读介质通常可以对应于：(1)有形的计算机可读存储介质，其是非暂时性的；或(2)诸如信号或载波的通信介质。数据存储介质可以是可由一台或多台计算机或一个或多个处理器访问以检索用于实现本公开中描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。
作为示例而非限制，这样的计算机可读存储介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其他磁存储设备、闪存或可用于以指令或数据结构的形式存储所需程序代码并可由计算机访问的任何其他介质。而且、任何连接都被适当地称为计算机可读介质。例如、如果使用同轴电缆、光纤电缆、双绞线、数字用户线路(DSL)或诸如红外线、无线电和微波的无线技术从网站、服务器或其他远程源来传输指令，则同轴电缆、光纤电缆、双绞线、DSL或诸如红外、无线电和微波的无线技术都包含在介质的定义中。然而，应该理解的是，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其它暂时性介质，而是相反针对非暂时性有形存储介质。使用的磁盘和光盘包括压缩盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中，磁盘通常以磁性方式再现数据，而光盘通过激光以光学方式再现数据。上述的组合也应该包括在计算机可读介质的范围内。
指令可以由一个或多个处理器执行，例如，一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等同的集成或离散逻辑电路。因此，所使用的术语“处理器”可以指任何前述结构或适用于实现所描述的技术的任何其它结构。另外，在一些方面中，可以在专用硬件和/或软件模块内提供所描述的功能。而且，可以完全在一个或多个电路或逻辑元件中实现这些技术。
本公开的技术可以实现在多种设备或装置中，包括无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本公开中描述了各种组件、模块或单元以强调被配置为执行所公开的技术的设备的功能方面，但不一定需要由不同的硬件单元来实现。相反，如上所述，各种单元可以组合在硬件单元中或由包括如上所述的一个或多个处理器的一组互操作硬件单元结合合适的软件和/或固件一起提供。
已经描述了各种实施例。这些和其他实施例在以下权利要求的范围内。

Claims (15)

1.一种方法，包括：
当计算设备处于减少访问模式时，由所述计算设备的至少一个处理器接收指示所述计算设备的未知用户的面部图像的数据；
由所述至少一个处理器通过至少将指示所述未知用户的所述面部图像的所述数据与指示已知用户的多个面部图像中的一个或多个图像的数据进行比较来确定所述未知用户是否是所述计算设备的所述已知用户，其中：
所述已知用户的一个或多个面部图像中的每一个被包括在多个姿势桶中的至少一个姿势桶中，以及
所述多个姿势桶中的每个姿势桶与所述已知用户的面部的相应俯仰角范围和所述已知用户的面部的相应偏航角范围相关联；以及
响应于确定所述未知用户是所述已知用户，由所述至少一个处理器将所述计算设备设置为增加访问模式。
2.根据权利要求1所述的方法，还包括：
由所述至少一个处理器从所述已知用户的所述多个面部图像中选择包括在所述多个姿势桶中的特定姿势桶中的图像，
其中，所述特定姿势桶与所述未知用户的所述面部图像相关联，以及
其中，确定所述未知用户是否是所述已知用户是基于所述未知用户的所述面部图像和所选择的所述已知用户的面部图像。
3.根据权利要求2所述的方法，还包括：
由所述至少一个处理器确定指示在所述未知用户的所述面部图像与所选择的所述已知用户的面部图像之间的相似度的相似度分数；以及
响应于确定所述相似度分数满足阈值相似度分数，由所述计算设备确定所述未知用户是所述已知用户。
4.根据权利要求1-3中的任一项所述的方法，还包括：
由所述至少一个处理器基于所述未知用户的所述面部图像和所述已知用户的所述多个面部图像中的每个图像来确定所述已知用户的所述多个面部图像中的每个图像的相应相似度分数，其中，每个相似度分数指示在所述未知用户的所述面部图像与所述已知用户的所述多个面部图像中的相应图像之间的相似度，
其中，确定所述未知用户是否是所述已知用户是基于所述已知用户的所述多个面部图像中的一个或多个图像的相应相似度分数。
5.根据权利要求4所述的方法，还包括：
由所述至少一个处理器基于所述相应相似度分数来确定所述已知用户的所述多个面部图像中排名最高的图像，
其中，确定所述未知用户是否是所述已知用户是基于所述已知用户的所述多个面部图像中排名最高的图像。
6.根据权利要求4所述的方法，还包括：
由所述至少一个处理器基于所述已知用户的所述多个面部图像中的两个或更多个图像的相似度分数来确定综合相似度分数，
其中，确定所述未知用户是否是所述已知用户包括由所述至少一个处理器响应于确定所述综合相似度分数满足阈值相似度分数而确定所述未知用户是所述已知用户。
7.根据权利要求4所述的方法，其中，确定所述未知用户是否是所述已知用户包括由所述至少一个处理器响应于确定所述已知用户的两个或更多个面部图像中的每一个图像的相应相似度分数满足阈值相似度分数而确定所述未知用户是所述已知用户。
8.根据权利要求1-7中的任一项所述的方法，还包括：
由所述至少一个处理器接收指示所述已知用户的所述多个面部图像的数据；
由所述至少一个处理器确定所述多个姿势桶中包括所述已知用户的所述多个面部图像的姿势桶的数量；
由所述至少一个处理器确定所述姿势桶的数量是否满足姿势桶的阈值数量；以及
响应于确定所述姿势桶的数量满足姿势桶的阈值数量，由所述至少一个处理器将指示所述多个图像的所述数据与所述已知用户的用户账户相关联，
其中，所述增加访问模式与所述已知用户的所述用户账户相关联。
9.根据权利要求1-8中的任一项所述的方法，还包括：
由所述至少一个处理器接收所述多个图像中的第一图像，其中，所述第一图像的俯仰角和偏航角位于与特定姿势桶相关联的俯仰角和偏航角的范围内；
由所述至少一个处理器接收所述多个图像中的第二图像，其中，所述第二图像的俯仰角和偏航角位于与所述特定姿势桶相关联的俯仰角和偏航角的所述范围内；
由所述至少一个处理器确定在所述特定姿势桶中是否包括所述第一图像或所述第二图像。
10.根据权利要求9所述的方法，其中，确定在所述特定姿势桶中是否包括所述第一图像或所述第二图像包括：
由所述至少一个处理器确定所述特定姿势桶的中心；
由所述至少一个处理器基于所述第一图像的所述俯仰角和所述偏航角以及所述第二图像的所述俯仰角和所述偏航角来确定所述第二图像更接近所述特定姿势桶的所述中心；以及
响应于确定所述第二图像更接近所述特定姿势桶的所述中心，确定在所述特定姿势桶中包括所述第二图像。
11.根据权利要求1-10中的任一项所述的方法，其中，接收指示所述已知用户的所述多个面部图像的所述数据包括由所述至少一个处理器从多个相机接收指示所述已知用户的面部的三维图像的数据。
12.根据权利要求1-11中的任一项所述的方法，
其中，接收指示所述未知用户的所述面部图像的所述数据包括接收指示所述未知用户的面部的二维图像的数据和指示所述未知用户的面部的三维图像的数据，
其中，所述已知用户的所述多个面部图像包括所述已知用户的面部图像的多个二维图像以及所述已知用户的面部图像的多个三维图像，以及
确定所述未知用户是否是所述已知用户是基于所述未知用户的面部的所述二维图像、所述未知用户的面部的所述三维图像、所述已知用户的面部的所述多个二维图像中的一个或多个二维图像以及所述已知用户的面部的所述多个三维图像中的一个或多个三维图像。
13.一种计算设备，包括：
至少一个处理器；以及
包括指令的存储器，所述指令在由所述至少一个处理器执行时使所述至少一个处理器执行根据权利要求1-12中的任一项所述的方法。
14.一种计算系统，包括用于执行根据权利要求1-12中的任一项所述的方法的装置。
15.一种包括指令的计算机可读存储介质，所述指令在由计算设备的至少一个处理器执行时使所述至少一个处理器执行根据权利要求1-12中的任一项所述的方法。
CN201980093200.7A 2019-02-28 2019-04-03 使用基于姿势的面部识别的用户认证 Pending CN113518994A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962811978P 2019-02-28 2019-02-28
US62/811,978 2019-02-28
PCT/US2019/025493 WO2020176115A1 (en) 2019-02-28 2019-04-03 User authentication using pose-based facial recognition

Publications (1)

Publication Number Publication Date
CN113518994A true CN113518994A (zh) 2021-10-19

Family

ID=66175556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980093200.7A Pending CN113518994A (zh) 2019-02-28 2019-04-03 使用基于姿势的面部识别的用户认证

Country Status (5)

Country Link
US (1) US20220139109A1 (zh)
EP (1) EP3906499B1 (zh)
CN (1) CN113518994A (zh)
DE (1) DE112019006940T5 (zh)
WO (1) WO2020176115A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3906499B1 (en) * 2019-02-28 2023-11-15 Google LLC User authentication using pose-based facial recognition
US11689526B2 (en) * 2019-11-19 2023-06-27 Paypal, Inc. Ensemble method for face recognition deep learning models

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101180471B1 (ko) * 2011-09-27 2012-09-07 (주)올라웍스 한정된 메모리 환경 하에서 얼굴 인식 성능 향상을 위한 참조 얼굴 데이터베이스 관리 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
CA2902093C (en) * 2014-08-28 2023-03-07 Kevin Alan Tussy Facial recognition authentication system including path parameters
US10540489B2 (en) * 2017-07-19 2020-01-21 Sony Corporation Authentication using multiple images of user from different angles
US10210381B1 (en) * 2017-08-01 2019-02-19 Apple Inc. Multiple enrollments in facial recognition
US11119638B2 (en) * 2018-09-28 2021-09-14 Apple Inc. Using face detection to update user interface orientation
EP3906499B1 (en) * 2019-02-28 2023-11-15 Google LLC User authentication using pose-based facial recognition

Also Published As

Publication number Publication date
WO2020176115A1 (en) 2020-09-03
EP3906499A1 (en) 2021-11-10
DE112019006940T5 (de) 2021-11-25
US20220139109A1 (en) 2022-05-05
EP3906499B1 (en) 2023-11-15

Similar Documents

Publication Publication Date Title
US11710351B2 (en) Action recognition method and apparatus, and human-machine interaction method and apparatus
EP3100194B1 (en) Dynamic keyboard and touchscreen biometrics
AU2017293746B2 (en) Electronic device and operating method thereof
US9826083B2 (en) Automatic delegation control for device sharing
US10445605B2 (en) Biometric authentication of electronic signatures
CN109948586B (zh) 人脸验证的方法、装置、设备及存储介质
CN107451439B (zh) 用于计算设备的多功能按钮
CN107818251B (zh) 一种人脸识别方法及移动终端
US10776646B2 (en) Identification method and apparatus and computer-readable storage medium
CN112399935B (zh) 使用运载工具内相机连同受信移动计算装置进行无缝驾驶员认证
US10691785B1 (en) Authentication of a user device comprising spatial trigger challenges
US20200104033A1 (en) Using face detection to update user interface orientation
US20190080065A1 (en) Dynamic interface for camera-based authentication
US20210201001A1 (en) Facial Recognition Method and Apparatus
US11194894B2 (en) Electronic device and control method thereof
US20200275271A1 (en) Authentication of a user based on analyzing touch interactions with a device
EP3906499B1 (en) User authentication using pose-based facial recognition
US20220108000A1 (en) Permitting device use based on location recognized from camera input
CN111159687B (zh) 账户信息处理方法、电子设备及服务器
WO2021162682A1 (en) Fingerprint sensors with reduced-illumination patterns
TW202113639A (zh) 裝置安全性之增強
JP6403975B2 (ja) 秘密情報入力システム及びプログラム
US20230054827A1 (en) Information processing apparatus and method and non-transitory computer readable medium
US20220114248A1 (en) Device access using a head-mounted device
CN117121004A (zh) 增强的顺序生物测定验证

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination