CN111382666A - 具有用户验证的设备和方法 - Google Patents

具有用户验证的设备和方法 Download PDF

Info

Publication number
CN111382666A
CN111382666A CN201911365503.8A CN201911365503A CN111382666A CN 111382666 A CN111382666 A CN 111382666A CN 201911365503 A CN201911365503 A CN 201911365503A CN 111382666 A CN111382666 A CN 111382666A
Authority
CN
China
Prior art keywords
data
feature
transformation
input
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911365503.8A
Other languages
English (en)
Other versions
CN111382666B (zh
Inventor
高民守
韩承周
张原硕
韩在濬
李宣旼
崔昌圭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190048363A external-priority patent/KR102483650B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111382666A publication Critical patent/CN111382666A/zh
Application granted granted Critical
Publication of CN111382666B publication Critical patent/CN111382666B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

提供了一种具有用户验证的设备和方法。一种处理器实现的验证方法包括：检测输入图像的特性；通过基于检测的特性分别变换输入特征数据和注册特征数据来获取输入特征变换数据和注册特征变换数据，其中，使用特征提取模型从输入图像提取输入特征数据；和基于输入特征变换数据与注册特征变换数据之间的比较的结果来验证与输入图像对应的用户。

Description

具有用户验证的设备和方法
本申请要求于2018年12月31日在韩国知识产权局提交的第10-2018-0173859号韩国专利申请和2019年4月25日在韩国知识产权局提交的第10-2019-0048363号韩国专利申请的权益，所述韩国专利申请的全部公开出于所有目的通过引用包含于此。
技术领域
下面的描述涉及具有用户验证的设备和方法。
背景技术
应用计算机实现的模式识别的方法可包括神经网络。为了将输入模式分类为预定的组，神经网络可表现学习的能力。神经网络可生成输入模式与输出模式之间的映射，并且可具有即使针对尚未用于学习的输入模式也基于根据其它输入模式的学习的结果生成输出的能力。
发明内容
提供本发明内容来以简化的形式介绍在以下具体实施方式中进一步描述的构思的选择。本发明内容不意在标识要求权利的主题的关键特征或必要特征，也不意在用于帮助确定要求权利的主题的范围。
在一个总体方面，一种处理器实现的验证方法包括：检测输入图像的特性；通过基于检测的特性分别变换输入特征数据和注册特征数据来获取输入特征变换数据和注册特征变换数据，其中，使用特征提取模型从输入图像提取输入特征数据；和基于输入特征变换数据与注册特征变换数据之间的比较的结果来验证与输入图像对应的用户。
输入图像可包括用户的脸部图像。
验证用户的步骤可包括确定用户是否是与注册特征数据对应的注册用户，并且注册特征数据使用特征提取模型来先前提取。
所述特性可以是输入图像的照度特性。
检测所述特性的步骤可包括：检测与出现在输入图像中的对象的地标相关联的地标特性和与输入图像的拍摄环境相关联的环境特性中的至少一个。
所述对象可以是用户的脸部，并且地标可以是脸部特征和佩戴在脸部上的物品中的一个。
特征提取模型可以是训练的神经网络。
训练的神经网络可包括卷积神经网络(CNN)。
获取输入特征变换数据和注册特征变换数据的步骤可包括：通过将与所述特性对应的变换函数应用到输入特征数据来生成输入特征变换数据；并且通过将变换函数应用到注册特征数据来生成注册特征变换数据。
针对用户确定的变换函数可不同于针对另一用户确定的变换函数。
变换函数可在包括对注册特征数据进行注册的步骤的用户注册处理中确定。
获取输入特征变换数据和注册特征变换数据的步骤可包括：使用基于所述特性确定的线性变换或非线性变换来分别变换输入特征数据和注册特征数据。
检测所述特性的步骤可包括：检测输入图像的包括所述特性的多个特性，获取输入特征变换数据的步骤可包括：计算通过将与所述多个特性对应的变换函数应用于输入特征数据而获得的结果的加权和作为输入特征变换数据；并且获取注册特征变换数据的步骤可包括：计算通过将变换函数应用于注册特征数据而获得的结果的加权和作为注册特征变换数据。
获取输入特征变换数据和注册特征变换数据的步骤可包括：对输入特征数据和注册特征数据分别执行与所述特性对应的投影操作。
获取输入特征变换数据和注册特征变换数据的步骤可包括：基于所述特性确定目标维度分量信息；和通过保持目标维度分量并排除剩余维度分量，分别基于输入特征数据和注册特征数据生成输入特征变换数据和注册特征变换数据。
所述方法可包括：从多个注册用户选择将被验证的参考用户，其中，确定目标维度分量信息的步骤可包括；基于映射到参考用户的注册特征数据的变换相关信息，从数据库加载与所述特性对应的目标维度分量信息。
所述方法可包括：从多个注册用户选择将被验证的参考用户，其中，获取输入特征变换数据和注册特征变换数据的步骤可包括：从数据库加载映射到参考用户的注册特征数据的多个变换函数之中的与所述特性对应的变换函数。
所述方法可包括：响应于参考用户被注册，从参考用户的参考图像提取参考特征数据；从通过基于增强特性增强参考图像而获取的增强图像提取增强特征数据；和基于参考特征数据与增强特征数据之间的比较来确定与增强特性相关联的变换函数，将确定的变换函数映射到参考用户，并且存储映射的变换函数。
增强特性可对应于输入图像的检测的特性，并且获取输入特征变换数据和注册特征变换数据的步骤可包括：通过将变换函数应用于输入特征数据来生成输入特征变换数据；并且通过将变换函数应用于注册特征数据来生成注册特征变换数据。
确定变换函数的步骤可包括：计算针对参考特征数据和增强特征数据的每个维度分量的变化分数；和基于变化分数确定与增强特性相关联的变换函数。
确定变换函数的步骤可包括：将变化分数中的维度分量之中的与多个维度索引之中的指示小于或等于变化阈值的变化分数的维度索引对应的维度分量确定为目标维度分量；和将变化分数中的维度分量之中的与指示大于变化阈值的变化分数的维度索引对应的维度分量确定为剩余维度分量。
验证与输入图像对应的用户的步骤可包括：计算输入特征变换数据与注册特征变换数据之间的相似度；和响应于相似度大于阈值相似度，确定针对用户的验证成功。
计算相似度的步骤可包括：计算由输入特征变换数据指示的特征与由注册特征变换数据指示的特征之间的余弦相似度。
验证与输入图像对应的用户的步骤可包括：指示验证用户的结果。
指示验证用户的结果的步骤可包括：响应于验证用户的结果是成功的验证而解锁装置。
一种可存储指令的非暂时性计算机可读存储介质，所述指令在被一个或多个处理器执行时将所述一个或多个处理器配置为执行权利要求1的方法。
在另一个总体方面，一种验证设备包括：图像获取器，被配置为获取输入图像；和一个或多个处理器，被配置为：检测输入图像的特性；通过基于检测的特性分别变换输入特征数据和注册特征数据来获取输入特征变换数据和注册特征变换数据，其中，使用特征提取模型从输入图像提取输入特征数据；并且使用特征提取模型来先前提取注册特征数据；并且基于输入特征变换数据与注册特征变换数据之间的比较的结果来验证与输入图像对应的用户。
所述设备可以是图像处理装置、智能电话、可穿戴装置、平板计算机、上网本、膝上型计算机、台式机、个人数字助理(PDA)、机顶盒、家用电器、生物识别门锁、安全装置、车辆起动器中的任意一个，并且图像获取器可包括相机。
在另一个总体方面，一种处理器实现的用户注册方法可包括：从针对参考用户的用户注册获取的参考图像提取参考特征数据；从通过基于增强特性增强参考图像而获取的增强图像提取增强特征数据；基于参考特征数据与增强特征数据之间的比较，将与增强特征相关联的变换函数映射到参考用户；和响应于输入图像被获取，使用变换函数验证输入图像。
在另一个总体方面，一种处理器实现的验证方法可包括：获取与包括用户的脸部的输入图像的特性对应的变换函数；通过使用变换函数变换输入图像的输入特征数据来生成输入特征变换数据；通过使用变换函数变换注册用户的注册特征数据来生成注册特征变换数据；和基于输入特征变换数据与注册特征变换数据的比较来验证用户是否是注册用户。
可通过以下步骤生成变换函数：从注册用户的图像生成参考特征数据；通过增强注册用户的图像以包括所述特性来生成增强图像；从增强图像生成增强特征数据；并且基于参考特征数据与增强特征数据的比较来生成变换函数。从下面的具体实施方式、附图以及权利要求，其它特征和方面将是清楚的。
附图说明
图1示出特征提取模型的示例。
图2是示出验证设备的示例的框图。
图3是示出验证方法的示例的流程图。
图4和图5是示出验证方法的示例的流程图。
图6示出用于验证的注册处理的示例。
图7和图8是示出用户注册方法的示例的流程图。
图9是示出计算设备的示例的框图。
贯穿附图和具体实施方式，除非另外描述或提供，否则相同的附图参考标号将被理解为表示相同的元件、特征和结构。附图可不按比例，并且为了清楚、说明和方便，附图中的元件的相对尺寸、比例和描绘可被夸大。
具体实施方式
提供下面的具体实施方式以帮助读者获得对在此描述的方法、设备和/或系统的全面理解。然而，在理解本申请的公开之后，在此描述的方法、设备和/或系统的各种改变、修改和等同物将是清楚的。例如，在此描述的操作的顺序仅是示例，并且不受限于在此阐述的那些顺序，而是除了必须以特定的顺序发生的操作之外，可如在理解本申请的公开之后将是清楚地那样被改变。此外，为了增加的清楚和简明，可省略本领域已知的特征的描述。
在此描述的特征可以以不同的形式来实现，而不被解释为受限于在此描述的示例。相反，已提供在此描述的示例，仅用于示出在理解本申请的公开之后将是清楚的实现在此描述的方法、设备和/或系统的许多可行方式中的一些可行方式。
在此使用的术语仅出于描述特定示例的目的，并不限制示例。如在此使用的，除非上下文另外清楚地指示，否则单数形式也意在包括复数形式。还将理解，当在此使用术语“包含”和/或“包括”时，说明存在叙述的特征、整体、操作、元件组件和/或它们的组合，但不排除存在或添加一个或多个其它特征、整体、操作、元件、组件和/或它们的组合。
尽管在此可使用诸如“第一”、“第二”和“第三”的术语来描述各种构件、组件、区域、层或者部分，但是这些构件、组件、区域、层或者部分不被这些术语所限制。相反，这些术语仅用于将一个构件、组件、区域、层或者部分与另一构件、组件、区域、层或者部分进行区分。因此，在不脱离示例的教导的情况下，在此描述的示例中所称的第一构件、第一组件、第一区域、第一层或者第一部分也可被称为第二构件、第二组件、第二区域、第二层或者第二部分。
除非另有定义，否则在此使用的所有术语(包括技术术语和科学术语)具有与本公开所属领域的普通技术人员通常理解和基于对本申请的公开的理解的含义相同的含义。除非在此明确地如此定义，否则术语(诸如在通用词典中定义的术语)将被解释为具有与它们在相关领域中的上下文和本申请的公开中的含义一致的含义，并且不被理想化或过于形式化地理解。
关于分配给附图中的元件的参考标号，应当注意，无论在何处，相同的元件将由相同的参考标号指定，即使它们在不同的附图中被示出。此外，在实施例的描述中，当认为公知的相关结构或功能的详细描述将导致本公开的模糊解释时，将省略这样的描述。
图1是示出特征提取模型的结构的示例的示图。
验证设备可使用从输入图像提取的特征数据验证用户。验证设备可基于特征提取模型从输入图像提取特征数据。特征数据可以是从图像提取的并且可以是例如向量的形式的数据。特征提取模型可以是被设计为从图像提取特征数据的模型，并且例如可以是机器学习结构。特征提取模型可包括神经网络100。
神经网络100可对应于深度神经网络(DNN)的示例。DNN可包括：全连接网络、深度卷积网络和/或递归神经网络。神经网络100可通过基于深度学习映射彼此具有非线性关系的输入数据和输出数据来执行对象分类、对象识别、语音识别和/或图像识别。深度学习是可被用于通过学习大数据集来执行图像识别或语音识别的机器学习技术，并且可通过有监督学习或无监督学习来映射输入数据和输出数据。
贯穿本公开，术语“识别”包括数据验证和/或辨识。验证是确定输入数据是真还是假的操作。例如，验证可以是确定由预定的输入图像指示的对象(例如，人脸)是否与由参考图像指示的对象相同的操作。验证设备可验证从输入图像通过提取获得的数据是否与在设备中预注册的注册数据相同，并且响应于获得的数据与注册数据相同，确定与输入图像对应的用户的验证成功。然而，实施例不限于此。当多条注册数据项被存储在验证设备中时，验证设备可针对每条注册数据顺序地验证从输入图像通过提取获得的数据。
辨识是在多个标签之中确定由输入数据指示的标签的分类操作。例如，多个标签中的每个可指示每个注册用户的身份(ID)。例如，通过辨识，可指示包括在输入数据中的用户是男性还是女性。
参照图1，神经网络100可包括输入层110、隐藏层120和输出层130。输入层110、隐藏层120和输出层130可各自包括多个节点。
为了便于描述，图1示出三个隐藏层120。然而，隐藏层120可包括各种数量的层(例如，少于或多于三个隐藏层120)。此外，图1示出包括用于接收输入数据的单独输入层的神经网络100。然而，在一个示例中，输入数据可被直接输入到隐藏层120中。在神经网络100中，层(排除输出层130)的节点可通过链路连接到后续层的节点以发送输出信号。链路的数量可对应于包括在后续层中的节点的数量(例如，在一个示例中，层的每个节点可连接到后续层的每个节点)。
与包括在前一层中的节点的加权输入相关的激活函数的输出可被输入到隐藏层120的每个节点中。加权输入可通过将包括在前一层中的节点的输入乘以权重来获得。权重可被称为神经网络100的参数。激活函数可包括S型(sigmoid)函数、双曲正切(tanh)函数和/或整流线性单元(ReLU)，并且非线性可通过激活函数在神经网络100中形成。包括在前一层中的节点的加权输入可被输入到输出层130的节点中。
当输入数据被给定时，神经网络100可基于通过隐藏层120在输出层130中将被辨识的类的数量来计算函数值，并且将输入数据辨识为具有函数值之中的最大值的类。神经网络100可辨识输入数据。然而，实施例不限于此。神经网络100可针对参考数据验证输入数据。在下文中，识别处理将被描述为验证处理。下面的描述也可应用于辨识处理。
神经网络100具有足够确定实现预定的功能的能力。当神经网络100基于训练数据通过训练处理进行学习时，神经网络100实现最佳识别性能，例如，预定准确度和/或最小误差。
神经网络100作为特征提取模型的示例被描述如上。然而，特征提取模型不限于神经网络100。在下文中，将描述使用基于特征提取模型提取的特征数据的验证操作。
图2是示出验证设备的示例的框图。
验证设备200是用于验证用户的设备，并且可包括图像获取器210、处理器220(例如，一个或多个处理器)和存储器230。
验证设备200可基于数据(例如，与用户对应的输入图像)的验证结果来确定用户(例如，尝试访问验证设备200或另一设备的用户)是否具有访问权限。例如，验证设备200可通过参照图1描述的验证来验证输入数据。当确定用户与注册用户相同时，验证设备200可确定验证成功。验证设备200可基于用户的验证结果允许或阻止用户对相应设备(例如，验证设备200或另一设备)的访问。当验证成功时，验证设备200可允许用户对相应设备的访问。当验证已经失败或不成功时，验证设备200可阻止用户对相应设备的访问。在一个示例中，允许用户访问相应设备包括取消相应设备的锁定状态，使得用户可访问相应设备处于锁定状态时用户无法使用的一个或多个功能和/或应用。
图像获取器210可从用户获取输入图像。作为非限制示例，图像获取器210可包括相机传感器、红外传感器、深度传感器和热图像传感器。作为非限制示例，相机传感器可以是感测属于可见光的波长范围内的光并且可生成与红色通道、绿色通道和/或蓝色通道对应的通道图像的传感器。红外传感器可以是是感测红外波长的光的传感器。深度传感器可生成指示距对象的距离的深度图像。然而，图像获取器210不限于此。
处理器220可检测输入图像的特性。特性可以是指示与出现在图像中的对象和环境相关联的特性的信息。特性可包括与对象的地标(landmark)相关联的地标特性和与输入图像的拍摄环境相关联的环境特性。在一个示例中，对象可以是人脸，并且地标可以是人脸上的特征或物品。地标特性可以是与对象(例如，人脸)的地标相关联的特性，并且可指示地标(例如，眉毛)的存在或缺失、是否佩戴地标(例如，饰品(诸如，眼镜或太阳镜))、地标(例如，嘴)的形状、和/或对象的面部表情(例如，微笑的脸，愤怒的脸和/或无表情的脸)。环境特性可以是与环境相关联的特性，并且可包括指示环境照度是低照度的环境或环境照度是高照度的环境的照度特性。
此外，处理器220可通过基于检测的特性分别变换(从输入图像提取的)输入特征数据和(在获得输入图像之前注册的)注册特征数据来获取输入特征变换数据和注册特征变换数据。例如，处理器220可通过将相同的变换函数分别应用到输入特征数据和注册特征数据来获取输入特征变换数据和注册特征变换数据。例如，输入特征变换数据和注册特征变换数据可以各自是向量的形式，但不限于此。处理器220可使用基于特性(例如，图像照度)确定的线性变换或非线性变换来将输入特征数据变换为输入特征变换数据并且将注册特征数据变换为注册特征变换数据。输入特征变换数据和注册特征变换数据可以是通过将输入特征数据和注册特征数据分别变换到对由于特性而发生变化鲁棒的特征空间而获得的数据。
处理器220可基于输入特征变换数据与注册特征变换数据之间的比较的结果来验证与输入图像对应的用户。处理器220可基于输入特征变换数据与注册特征变换数据之间的相似度来确定针对用户的验证是否成功。
存储器230可临时地或永久地存储执行验证方法和注册方法需要的数据。此外，存储器230可存储特征提取模型和与特征提取模型对应的参数。存储器230可存储从特征提取模型提取的特征数据。存储器230可存储包括与注册用户对应的注册特征数据和映射到注册特征数据的变换函数的注册数据库。
验证设备200可使用基于输入图像的特性变换的特征数据(例如，输入特征变换数据)来执行验证，从而改进在各种拍摄环境中或在遮挡状态下针对用户的验证性能。例如，验证设备200可将输入特征数据和注册特征数据变换到特征空间，该特征空间抵消由饰品(诸如，眼镜)的遮挡和低照度环境的影响。即使在各种环境特性和地标特性中，变换的特征数据也可针对相同用户指示类似的值。因此，与不抵消遮挡(阻碍验证准确度)的影响的典型的验证设备相比，验证设备200更准确地执行验证。图3是示出验证方法的示例的流程图。
在操作310中，验证设备可从输入图像检测输入图像的特性。验证设备可通过分析输入图像来检测作为输入图像的特性的地标特性和/或环境特性。例如，验证设备可检测拍摄图像处的照度作为输入图像的环境特性。此外，验证设备可检测对象(例如，人脸)是否佩戴饰品(例如，眼镜)作为输入图像的地标特性。
在操作320中，验证设备可通过基于检测的特性(例如，图像照度)分别变换(从输入图像提取的)输入特征数据和(在获取输入图像之前注册的)注册特征数据来获取输入特征变换数据和注册特征变换数据。验证设备可通过将与特性对应的变换函数应用到输入特征数据来生成输入特征变换数据。验证设备可通过将与特性对应的变换函数应用到注册特征数据来生成注册特征变换数据。
在操作330中，验证设备可基于输入特征变换数据与注册特征变换数据之间的比较的结果来验证与输入图像对应的用户。验证设备可基于输入特征变换数据和注册特征变换数据来指示输入图像的用户的验证结果。验证设备可响应于针对输入图像的用户的验证成功而解锁装置。例如，装置的解锁操作可以是允许访问装置中的至少一个应用的操作。在执行针对输入图像的用户的验证操作之前，验证设备可预设在成功验证时允许给定注册用户访问设备中的应用。响应于用户输入，装置可执行允许注册用户访问的应用。
图4和图5是示出验证方法的操作的示例的流程图。
在操作411中，验证设备可获取输入图像。验证设备可使用相机传感器来生成包括与用户相关联的对象(例如，脸)的图像。
参照图5，在操作512中，验证设备可检测特性。验证设备可检测与出现在输入图像中的对象的地标相关联的地标特性和/或与输入图像的拍摄环境相关联的环境特性。例如，验证设备可检测N个特性之中的与输入图像对应的第i个特性。在一个示例中，第i个特性可以是低照度特性，低照度特性是指示在其中拍摄输入图像的环境的照度低于阈值照度的环境特性。
在操作421中，验证设备可提取输入特征数据。验证设备可基于以训练的神经网络的形式的特征提取模型从输入图像中提取输入特征数据。输入特征数据可以以向量的形式表示，例如，如以下等式1所示。
[等式1]
a＝featinput＝[v1，v2，...，vM]
在等式1中，输入特征数据featinput是M维特征，M是大于或等于1的整数。输入特征数据featinput的第j维度分量featinput(j)可以是vj。j是维度索引并且是1至M(包含1和M)的整数。为了便于描述，输入特征数据featinput也可被称为特征a，并且注册特征数据featenrolled也可被称为特征b。
在操作422中，验证设备可获取输入特征变换数据和注册特征变换数据。验证设备可通过变换输入特征数据a获取输入特征变换数据，并且通过变换注册特征数据b获取注册特征变换数据。在操作525中，验证设备可从注册数据库429加载与将被验证的注册用户对应的注册特征数据b。
这里，如图5中所示，在操作523中，验证设备可确定与检测的特性对应的变换函数。变换函数可以是用于变换特征数据的函数，使得根据特性具有小变化(例如，小于或等于阈值的变化)的维度分量被保持。例如，变换函数可用于变换特征数据，使得根据特性具有大变化(例如，大于阈值的变化)的维分量被排除。当检测的特性与变换条件匹配时，特征数据可被变换。否则，在不进行变换的情况下可使用特征数据。例如，当检测的图像照度与低照度条件匹配时，可使用低照度变换函数变换特征数据。否则，可在不进行改变或变换的情况下使用特征数据。
与单独的特性对应的变换函数可被映射到单独的注册用户。当提供N种类型的特性时，与单独的特性对应的N个变换函数可被映射到单独的注册用户。验证设备可从多个注册用户中选择将被验证的参考用户。验证设备可从数据库加载在映射到参考用户的注册特征数据b的多个变换函数之中的与特性对应的变换函数。例如，验证设备可从N个变换函数中选择第i变换函数。当第i特性是低照度特性时，第i变换函数可以是用于将特征数据变换到对低照度环境鲁棒的特征空间的函数。
例如，变换函数可包括线性变换、非线性变换和/或投影变换。尽管在本公开中投影函数被代表性地描述为变换函数的示例，但是变换函数的类型不限于该示例。投影函数可以是投影操作的函数的形式。投影操作可以是保持目标维度分量并排除剩余维度分量的操作。例如，投影操作可以是在特征数据中保留由目标维度索引指示的目标维度分量的元素值并且将由剩余维度索引指示的剩余维度分量的元素值改变为0的操作。在N个变换函数中的每个中，对变化鲁棒的目标维度分量可基于对应的特性而变化。以下将参照图8进一步描述针对单独的注册用户的每个特性确定和映射目标维度分量和剩余维度分量的示例操作。
当投影函数用作变换函数时，变换相关信息可针对注册数据库429中的每个注册用户被映射。变换相关信息可定义目标维度索引(指示针对N个特性中的每个而变化的目标维度分量)和剩余维度索引(指示剩余维度分量)。验证设备可加载与从变换相关信息检测的特性对应的目标维度索引，从而确定适合于该特性的变换函数。例如，当变换相关信息将N个投影函数中的第i投影函数的目标维度索引定义为{1,4,5,...,M}时，例如，第i投影函数可表示为如以下等式2所示。
[等式2]
fi＝[1，0，0，1，1，0，0，…，1]
如上所述，验证设备可基于特性确定目标维度分量信息。目标维度分量信息可表示与关于指示目标维度分量的目标维度索引的信息相关联的信息。验证设备可从定义N个投影函数的目标维度索引的变换相关信息加载与第i投影函数对应的目标维度分量信息。当第i特性是低照度特性时，目标维度分量信息可指示标示对低照度环境鲁棒的目标维度分量的目标维度索引。
验证设备可基于根据特性从数据库加载的目标维度分量，对输入特征数据a和注册特征数据b执行与特性对应的投影操作。验证设备可将输入特征数据a和注册特征数据b投影到与特性对应的维度的平面上。
在操作524中，验证设备可使用确定的变换函数变换输入特征数据a。验证设备可使用在操作523中确定的变换函数来变换输入特征数据a，从而生成输入特征变换数据。例如，验证设备可将等式2的投影函数fi应用到等式1的输入特征数据a，从而生成如以下等式3所示的输入特征变换数据。
[等式3]
fi(a)＝[v1，0，0，v4，v5，0，0，…，vM]
在操作525中，验证设备可使用确定的变换函数变换注册特征数据b。验证设备可使用在操作523中确定的变换函数来变换注册特征数据b，从而生成注册特征变换数据。这样，已经描述将相同变换函数应用到输入特征数据a和注册特征数据b两者的示例。。当特性满足多个条件时，可通过应用多个变换函数来生成输入特征变换数据和注册特征变换数据。
验证设备可保持目标维度分量并排除剩余维度分量，从而从输入特征数据a和注册特征数据b生成输入特征变换数据和注册特征变换数据。
在操作531中，验证设备可计算输入特征变换数据与注册特征变换数据之间的相似度。验证设备可计算代表输入特征变换数据的特征向量与代表注册特征变换数据的特征向量之间的余弦相似度。验证设备可计算输入特征变换数据fi(a)与注册特征变换数据fi(b)之间的相似度，例如，如以下等式4中所示。
[等式4]
Figure BDA0002338283960000121
如等式4中所示，验证设备可计算归一化互相关(NCC)作为输入特征变换数据fi(a)与注册特征变换数据fi(b)之间的相似度。
在操作532中，验证设备可比较计算的相似度和阈值相似度。验证设备可选择与在操作512中检测的特性对应的阈值相似度。注册数据库429可包括针对注册用户的N个特性的N个阈值相似度。在图5中，Thi表示N个阈值相似度中的与第i特性对应的第i阈值相似度。例如，第i特性可以是低照度特性，低照度特性指示在其中拍摄输入图像的环境的照度低于阈值照度的环境特性。注册数据库429还可包括与未应用变换函数的情况下对应的阈值相似度。
在操作533中，验证设备可响应于相似度大于阈值相似度，确定针对与输入图像对应的用户的验证成功。例如，当在操作532中计算的相似度大于与低照度环境相关联的阈值相似度时，验证设备可确定输入图像的用户与注册图像的用户匹配。
在操作534中，验证设备可响应于相似度小于或等于阈值相似度，执行针对另一注册用户的输入图像的验证。例如，返回到操作525，验证设备可使用在操作523中确定的变换函数来变换存储在注册数据库429中的另一用户的注册特征数据b。如果装置中只注册一个参考用户，或者如果已经针对所有注册用户执行了验证，则验证设备可确定验证失败。
在另一示例中，在操作422中，验证设备可计算通过应用多个特性中的每个的变换函数获得的结果的加权和作为变换数据。在操作512中，验证设备可检测输入图像的多个特性。在操作523中，验证设备可确定与检测的特性对应的变换函数。在操作524中，验证设备可计算通过将与多个特性对应的变换函数应用到输入特征数据a而获得的结果的加权和作为输入特征变换数据，例如，如以下等式5中所示。
[等式5]
Figure BDA0002338283960000131
在等式5中，检测的特性的数量是N，N是大于或等于1的整数。αi表示第i变换结果的权重。F(a)表示针对输入特征数据a的N个变换函数的结果的加权和。在操作525中，验证设备可计算通过将与多个特性对应的变换函数应用到注册特征数据b而获得的结果的加权和作为注册特征变换数据，例如，如以下等式6中所示。
[等式6]
Figure BDA0002338283960000132
在等式6中，F(b)表示针对注册特征数据b的N个变换函数的结果的加权和。例如，通过使用等式5和等式6，验证设备可将针对低照度特性的变换函数、针对饰品特性的变换函数、针对眉毛特性的变换函数和针对嘴形状特性的变换函数应用到输入特征数据a和注册特征数据b中的每个，并且计算其结果的加权和。例如，验证设备可生成投影变换数据作为对低照度特性、饰品特性、眉毛特性和嘴形状特性鲁棒的特征空间。
在操作531中，根据等式5和等式6，验证设备可计算输入特征变换数据与注册特征变换数据之间的相似度NCCfinal(a,b)，例如，如以下等式7中所示。
[等式7]
Figure BDA0002338283960000141
验证设备可将使用等式7获得的相似度与阈值相似度进行比较，以验证输入图像。验证设备可响应于相似度大于阈值相似度，确定针对出现在输入图像中的用户的验证成功。阈值相似度可以是与特性对应的多个阈值相似度的加权和，或者可从与多个特性对应的多个阈值相似度选择最大值或最小值作为阈值相似度。
尽管验证设备在前述示例中检测至少一个特性，但是验证设备还可在不检测特性的情况下，计算分别将所有变换函数(例如，N个变换函数)应用于输入特征数据和注册特征数据的结果的各自的加权和，作为输入特征变换数据和注册特征变换数据。
在另一示例中，验证设备可跳过操作524，并且在操作531中在应用变换函数之前计算输入特征数据与注册特征数据之间的相似度。在该示例中，在操作532中，验证设备可从注册数据库选择与未应用变换函数的情况对应的阈值相似度。验证设备可将未应用变换函数的情况的相似度与阈值相似度进行比较。当相似度大于阈值相似度时，在操作533中，验证设备可确定验证成功。当相似度小于或等于阈值相似度时，在操作534中，验证设备可对另一注册用户执行验证。
图6是示出用于验证的注册处理的示例的示图。
验证设备可执行注册过程681和验证过程682。注册过程681可包括映射和存储与参考用户对应的特征数据以及针对每个特性的变换函数的操作。验证过程682可以是验证输入用户是否是注册在装置中的用户的操作，并且包括针对与注册在装置中的参考用户对应的至少一项参考特征变换数据来验证与输入用户对应的输入特征变换数据的操作。例如，注册在装置中的参考用户可具有对装置的功能和/或应用的至少一部分的访问权限。
在注册过程681中，验证设备可响应于参考用户被注册而获取参考用户的参考图像601。
在操作611中，验证设备可通过预处理参考图像来生成预处理参考图像602。在操作621中，验证设备可基于特征提取模型(例如，训练的神经网络)从预处理的参考图像602提取参考用户的参考特征数据。
在操作612中，验证设备可基于增强特性来增强参考图像601。例如，验证设备可通过将参考图像601增强为具有增强特性中的低照度环境特性来生成增强图像。验证设备可针对多个增强特性中的每个来增强参考图像601，并且针对每个增强图像重复下面的操作。在本公开中，增强特性可表示在注册过程中使用的特性。当验证设备检测到N种类型的特性时，验证设备可基于与N种特性对应的增强特性来增强参考图像601。此外，验证设备可增强参考图像601并且对增强图像应用预处理，从而生成增强图像603。这里，应用到增强图像的预处理可与在操作611中执行的预处理相同。然而，预处理的类型不限于此，并且各种类型的预处理可适用。
在操作622中，验证设备可基于特征提取模型(例如，训练的神经网络)从通过基于增强特性对参考图像601进行增强而获得的增强图像603提取增强特征数据。
在操作631中，验证设备可比较参考特征数据和增强特征数据。验证设备可基于参考特征数据与增强特征数据之间的比较计算针对每个维度分量的变化分数。以下将参照图8描述计算变化分数的示例。
在操作632中，验证设备可基于参考特征数据与增强特征数据之间的比较来确定与增强特性相关联的变换函数，将变换函数映射到参考用户，并且存储映射的变换函数。验证设备可基于变化分数来确定与增强特性相关联的变换函数。
在验证过程682中，验证设备可获取输入图像691。在操作613中，验证设备可通过预处理输入图像691获取预处理的输入图像692。
在操作623中，验证设备可从预处理的输入图像692提取特征。验证设备可基于特征提取模型从预处理的输入图像692提取输入特征数据。
验证设备可从多个注册用户选择将被验证的参考用户。验证设备可从数据库加载与参考用户对应的参考特征数据。此外，验证设备可基于映射到参考用户的注册特征数据的变换相关信息，从数据库加载与特征对应的目标维度分量信息。如上所述，目标维度分量信息用于定义指示将在对应特性中保持的目标维度分量的目标维度索引。
在操作640中，验证设备可将变换函数应用到特征数据。验证设备可将变换函数应用到从在注册过程681中注册的多个注册用户选择的注册用户的参考特征数据。此外，验证设备可将变换函数应用到与输入用户对应的输入特征数据。验证设备可在输入特征数据中保持目标维度分量并排除剩余维度分量，从而获取输入特征变换数据。验证设备可在参考特征数据中保持目标维度分量并排除剩余维度分量，从而获取参考特征变换数据。
在操作650中，验证设备可使用变换数据针对输入用户执行验证。验证设备可通过基于输入特征变换数据与参考特征变换数据之间的相似度来确定与输入特征数据对应的输入用户是否匹配与参考特征变换数据对应的参考用户来执行验证。
图7和图8是示出用户注册方法的示例的流程图。
在操作710中，验证设备可基于特征提取模型(例如，训练的神经网络)从针对参考用户的用户注册获取的参考图像提取参考特征数据。参考特征数据可以以向量的形式表示。如图8的操作810中所述，验证设备可提取参考特征数据featref。
在操作720中，验证设备可基于特征提取模型从增强图像(例如，通过基于增强特性增强参考图像获取的低照度图像)提取增强特征数据。例如，如以上参照图6所述，验证设备可针对多个增强特性中的每个生成增强图像。如图8的操作820所示，验证设备可计算增强特征数据feataug。
在操作730中，验证设备可基于参考特征数据与增强特征数据之间的比较，将与增强特性相关联的变换函数映射到参考用户。验证设备可基于参考特征数据和增强特征数据将在预定特性中优化的变换函数映射到参考图像。在图8的操作831中，验证设备可计算参考特征数据与增强特征数据之间的比较的结果。验证设备可基于参考特征数据和增强特征数据计算每个维度分量的变化信息890。在图8中，变化信息890指示针对每个维度索引的变化分数。特征数据可以是M维特征，并且例如，变化信息890可指示针对441个维度索引中的每个的变化分数。例如，M个维度索引中的第j维度索引的变化分数Score[j]可如以下等式8中所示，其中，j是1到M的整数(包含1和M)。
[等式8]
Figure BDA0002338283960000171
在等式8中，变化分数Score[j]指示相对于预定维度索引(例如，j)中的维度分量大小的两个特征之间的差。变化分数Score[j]指示由于针对每个特性的增强而改变的维度分量的变化。应该理解，等式8所示的变化分数的计算仅是示例性的，变化分数的计算不限于等式8，只要满足如下条件的计算方法都是可行的：具有相对低的变化分数的维度索引可指示包括对变化鲁棒的信息的维度分量；具有相对高的变化分数的维度索引可指示包括对变化敏感的信息的维度分量。验证设备可通过使用包括对针对各种特性的变化鲁棒的信息的维度分量来执行对噪声鲁棒的验证。
在操作832中，验证设备可将与增强特性相关联的变换函数映射到参考用户。验证设备可将特征数据的多个维度分量之中的与多个维度索引之中的指示小于或等于变化阈值的变化分数的维度索引对应的维度分量确定为目标维度分量891。此外，验证设备可将特征数据的多个维度分量之中的与指示大于变化阈值的变化分数的维度索引对应的维度分量确定为剩余维度分量892。目标维度分量891可以是包括例如低照度环境中的脸部的几何信息的维度分量。剩余维度分量892可以是包括低照度环境中的脸部的上下文信息或噪声(例如，噪声信息)的维度分量。如前所述，验证设备可将针对每个增强特性确定的目标维度分量891和剩余维度分量892映射到相应的参考用户，并且存储映射的结果。
尽管已经参照图7和图8描述了在用户的注册处理期间确定变换函数的方法，但是变换函数可以以各种方法进行确定。例如，可在用户的注册处理之前确定和存储变换函数。验证设备可通过将各种参考图像和参考图像的增强图像应用到训练的神经网络来生成特征数据。验证设备可在图8中描述的方法中分析特征数据的变化信息。基于分析，验证设备可确定将被通常应用到被应用以生成增强图像的特性的变换函数，将确定的变换函数映射到对应的特征，并且存储映射的结果。一旦检测到特性，验证设备可将存储的变换函数应用到任何注册用户的图像。在图7和图8描述的注册处理期间确定的变换函数可反映用户的单独特征，而在注册处理之前确定和存储的变换函数可提供当针对多个用户普遍使用时对环境变化鲁棒的验证的性能。
此外，响应于获取用于用户验证的输入图像，验证设备可使用映射到参考用户的多个变换函数中的至少一个来验证输入图像。例如，验证设备可执行图3的操作310。验证设备可加载针对与检测的特性对应的增强特性确定的目标维度分量891和剩余维度分量892，并且使用目标维度分量891和剩余维度分量892来变换输入特征数据和注册特征数据。在上面，已经描述了通过将输入提取模型应用到输入图像来提取输入特征数据并且使用通过变换输入特征数据获得的输入特征变换数据来验证输入图像的验证方法。一个或多个实施例的方法可提取与输入特性(例如，低照度特性)对应的特征数据，而不需要当存在训练的神经网络时执行再训练。因此，一个或多个实施例的方法可增强将被应用到包括移动装置的各种装置的神经网络的灵活性，并且在没有附加训练的情况下针对各种输入特性提供鲁棒的验证性能。
图9是示出计算设备的示例的框图。
参照图9，计算设备900可以是用于使用在此描述的验证方法验证用户的设备。在一个示例中，计算设备900可对应于参照图2描述的验证设备200。计算设备900可以是例如图像处理装置、智能电话、可穿戴装置、平板计算机、上网本、膝上型计算机、台式机、个人数字助理(PDA)、机顶盒、家用电器、生物识别门锁、安全装置、车辆起动器等中的任意一个。计算设备900可包括参照图2描述的验证设备200的功能。
参照图9，计算设备900可包括处理器910(例如，一个或多个处理器)、存储装置920、相机930、输入装置940、输出装置950和网络接口960。处理器910、存储装置920、相机930、输入装置940、输出装置950和网络接口960可通过通信总线970彼此通信。
处理器910可执行功能和指令。例如，处理器910可处理存储在存储装置920中的指令。处理器910可执行以上参照图1至图8描述的一个或多个操作。作为非限制示例，处理器910可包括或对应于图2的处理器220。存储装置920可存储处理器910执行操作所需的信息和数据。存储装置920可包括计算机可读存储介质或计算机可读存储装置。存储装置920可存储将被处理器910执行的指令，并且在计算设备900正在执行软件或应用时存储相关信息。作为非限制示例，存储装置920可包括或对应于图2的存储器230、图4的注册数据库429和/或图5的注册数据库429。相机930可捕获包括多个图像帧的图像。例如，相机930可生成输入图像和参考图像。作为非限制示例，相机930可包括或对应于图2的图像获取器210。
输入装置940可通过触觉、视频、音频或触摸输入从用户接收输入。输入装置940可包括例如键盘、鼠标、触摸屏、麦克风和可检测来自用户的输入并发送检测的输入的其它装置中的任意一个或任意组合。
输出装置950可通过视觉通道、听觉通道或触觉通道向用户提供计算设备900的输出。输出装置950可包括例如显示器、触摸屏、扬声器、振动发生器和可向用户提供输出的其它装置中的任意一个或任意组合。网络接口960可通过有线网络或无线网络与外部装置通信。
在此描述的验证设备、验证设备200、图像获取器、图像获取器210、处理器、处理器220、存储器、存储器230、注册数据库、注册数据库429，计算设备、计算设备900、处理器910、存储装置、存储装置920、相机、相机930、输入装置、输入装置940、输出装置、输出装置950、网络接口、网络接口960、通信总线、通信总线970、设备、单元、模块、装置和其它组件通过硬件组件来实现或表示。可用于执行在本申请中描述的操作的硬件组件的示例在合适的位置包括：控制器、传感器、生成器、驱动器、存储器、比较器、算术逻辑模块、加法器、减法器、乘法器、除法器、积分器和被配置为执行在本申请中描述的操作的任何其它电子组件。在其它示例中，执行在本申请中描述的操作的硬件组件中的一个或多个通过计算硬件(例如，通过一个或多个处理器或计算机)来实现。可通过一个或多个处理元件(诸如，逻辑门阵列、控制器和算术逻辑模块、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器或被配置为以限定的方式响应并执行指令以实现期望的结果的任何其它装置或装置的组合)来实现处理器或计算机。在一个示例中，处理器或计算机包括或连接到存储由处理器或计算机执行的指令或软件的一个或多个存储器。由处理器或计算机实现的硬件组件可执行用于执行在本申请中描述的操作的指令或软件(诸如，操作系统(OS)和在OS上运行的一个或多个软件应用)。硬件组件还可响应于指令或软件的执行来访问、操控、处理、创建和存储数据。为了简单起见，单数术语“处理器”或“计算机”可用于本申请中描述的示例的描述，但是在其它的示例中，多个处理器或计算机可被使用，或者处理器或计算机可包括多个处理元件或多种类型的处理元件或二者。例如，单个硬件组件或者两个或更多个硬件组件可通过单个处理器、或者两个或更多个处理器、或者处理器和控制器来实现。一个或多个硬件组件可通过一个或多个处理器、或者处理器和控制器来实现，一个或多个其它硬件组件可通过一个或多个其它处理器，或者另外的处理器和另外的控制器来实现。一个或多个处理器、或者处理器和控制器可实现单个硬件组件或者两个或更多个硬件组件。硬件组件可具有不同的处理配置中的任何一个或多个，不同的处理配置的示例包括：单个处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令单数据(MISD)多处理以及多指令多数据(MIMD)多处理。
图1至图9所示的执行在本申请中描述的操作的方法通过计算硬件(例如，通过一个或多个处理器或计算机)来执行，计算硬件被实现为如上所述地执行指令或软件，以执行在本申请中描述的由所述方法执行的操作。例如，单个操作或者两个或更多个操作可通过单个处理器或者两个或更多个处理器、或者处理器和控制器来执行。一个或多个操作可通过一个或多个处理器、或者处理器和控制器来执行，并且一个或多个其它操作可通过一个或多个其它处理器、或者另外的处理器和另外的控制器来执行。一个或多个处理器、或者处理器和控制器可执行单个操作或者两个或更多个操作。
用于控制计算硬件(例如，一个或多个处理器或计算机)以实现硬件组件并执行如上所述的方法的指令或软件可被编写为计算机程序、代码段、指令或它们的任意组合，以单独地或共同地指示或配置一个或多个处理器或计算机如机器或专用计算机那样进行操作，以执行由如上所述的硬件组件和方法执行的操作。在一个示例中，指令或软件包括由一个或多个处理器或计算机直接执行的机器代码(诸如，由编译器产生的机器代码)。在另一示例中，指令或软件包括由一个或多个处理器或计算机使用解释器执行的高级代码。基于附图中示出的块图和流程图以及在此使用的相应描述，可使用任意编程语言编写指令或软件，附图中示出的框图和流程图以及这里使用的相应描述公开了用于执行由如上所述的硬件组件和方法执行的操作的算法。
用于控制计算硬件(例如，一个或多个处理器或计算机)以实现硬件组件并执行如上所述的方法的指令或软件、以及任何相关联的数据、数据文件以及数据结构可被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中或一个或多个非暂时性计算机可读存储介质上。非暂时性计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储、硬盘驱动器(HDD)、固态驱动器(SSD)、卡式存储器(诸如，多媒体微型卡或者卡(例如，安全数字(SD)或者极速数字(XD)))、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘、以及任何其它装置，任何其它装置被配置为以非暂时性方式存储指令或软件以及任何相关联的数据、数据文件和数据结构并将所述指令或软件以及任何相关联的数据、数据文件和数据结构提供给一个或多个处理器或计算机，使得一个或多个处理器或计算机能够执行指令。在一个示例中，指令或软件以及任何相关联的数据、数据文件和数据结构分布在网络连接的计算机系统上，使得指令和软件以及任何相关联的数据、数据文件和数据结构由一个或多个处理器或计算机以分布式方式存储、访问和执行。
虽然本公开包括特定的示例，但是在理解本申请的公开之后将清楚，在不脱离权利要求和它们的等同物的精神和范围的情况下，可在这些示例中进行形式和细节的各种改变。在此描述的示例仅被认为是描述性的，而不是出于限制的目的。每个示例中的特征或方面的描述将被认为可适用于其它示例中的类似特征或方面。如果描述的技术以不同的顺序被执行，和/或如果描述的系统、架构、装置或电路中的组件以不同的方式被组合，和/或由其它组件或它们的等同物替换或补充，则可实现合适的结果。因此，公开的范围不是由具体实施方式限定，而是由权利要求及它们的等同物限定，并且在权利要求及它们的等同物的范围内的所有变化应被解释为包括在公开中。

Claims (31)

1.一种验证方法，包括：
检测输入图像的特性；
通过基于检测的特性分别变换输入特征数据和注册特征数据来获取输入特征变换数据和注册特征变换数据，其中，使用特征提取模型从输入图像提取输入特征数据；和
基于输入特征变换数据与注册特征变换数据之间的比较的结果来验证与输入图像对应的用户。
2.根据权利要求1所述的验证方法，其中，输入图像包括用户的脸部图像。
3.根据权利要求1所述的验证方法，其中，验证用户的步骤包括确定用户是否是与注册特征数据对应的注册用户，并且注册特征数据使用特征提取模型来先前提取。
4.根据权利要求1所述的验证方法，其中，所述特性是输入图像的照度特性。
5.根据权利要求1所述的验证方法，其中，检测所述特性的步骤包括：
检测与出现在输入图像中的对象的地标相关联的地标特性和与输入图像的拍摄环境相关联的环境特性中的至少一个。
6.根据权利要求5所述的验证方法，其中，所述对象是用户的脸部，并且地标是脸部特征和佩戴在脸部上的物品中的一个。
7.根据权利要求1所述的验证方法，其中，特征提取模型是训练的神经网络。
8.根据权利要求7所述的验证方法，其中，训练的神经网络包括深度神经网络。
9.根据权利要求1所述的验证方法，其中，获取输入特征变换数据和注册特征变换数据的步骤包括：
通过将与所述特性对应的变换函数应用到输入特征数据来生成输入特征变换数据；和
通过将变换函数应用到注册特征数据来生成注册特征变换数据。
10.根据权利要求9所述的验证方法，其中，针对用户确定的变换函数不同于针对另一用户确定的变换函数。
11.根据权利要求9所述的验证方法，其中，变换函数在包括对注册特征数据进行注册的步骤的用户注册处理中确定。
12.根据权利要求1所述的验证方法，其中，获取输入特征变换数据和注册特征变换数据的步骤包括：
使用基于所述特性确定的线性变换或非线性变换来分别变换输入特征数据和注册特征数据。
13.根据权利要求1所述的验证方法，其中，
检测所述特性的步骤包括：检测输入图像的包括所述特性的多个特性，
获取输入特征变换数据的步骤包括：计算通过将与所述多个特性对应的变换函数应用于输入特征数据而获得的结果的加权和作为输入特征变换数据；并且
获取注册特征变换数据的步骤包括：计算通过将变换函数应用于注册特征数据而获得的结果的加权和作为注册特征变换数据。
14.根据权利要求1所述的验证方法，其中，获取输入特征变换数据和注册特征变换数据的步骤包括：
对输入特征数据和注册特征数据分别执行与所述特性对应的投影操作。
15.根据权利要求1所述的验证方法，其中，获取输入特征变换数据和注册特征变换数据的步骤包括：
基于所述特性确定目标维度分量信息；和
通过保持与目标维度分量信息对应的目标维度分量并排除剩余维度分量，分别基于输入特征数据和注册特征数据生成输入特征变换数据和注册特征变换数据。
16.根据权利要求15所述的验证方法，还包括：
从多个注册用户选择将被验证的参考用户，
其中，确定目标维度分量信息的步骤包括；
基于映射到参考用户的注册特征数据的变换相关信息，从数据库加载与所述特性对应的目标维度分量信息。
17.根据权利要求1所述的验证方法，还包括：
从多个注册用户选择将被验证的参考用户，
其中，获取输入特征变换数据和注册特征变换数据的步骤包括：
从数据库加载映射到参考用户的注册特征数据的多个变换函数之中的与所述特性对应的变换函数。
18.根据权利要求1所述的验证方法，还包括：
响应于参考用户被注册，从参考用户的参考图像提取参考特征数据；
从通过基于增强特性增强参考图像而获取的增强图像提取增强特征数据；和
基于参考特征数据与增强特征数据之间的比较来确定与增强特性相关联的变换函数，将确定的变换函数映射到参考用户，并且存储映射的变换函数。
19.根据权利要求18所述的验证方法，其中，
增强特性对应于输入图像的检测的特性，和
其中，获取输入特征变换数据和注册特征变换数据的步骤包括：
通过将变换函数应用于输入特征数据来生成输入特征变换数据；并且
通过将变换函数应用于注册特征数据来生成注册特征变换数据。
20.根据权利要求18所述的验证方法，其中，确定变换函数的步骤包括：
计算针对参考特征数据和增强特征数据的每个维度分量的变化分数；和
基于变化分数确定与增强特性相关联的变换函数。
21.根据权利要求20所述的验证方法，其中，确定变换函数的步骤包括：
将维度分量之中的与多个维度索引之中的指示小于或等于变化阈值的变化分数的维度索引对应的维度分量确定为目标维度分量；和
将维度分量之中的与指示大于变化阈值的变化分数的维度索引对应的维度分量确定为剩余维度分量。
22.根据权利要求1所述的验证方法，其中，验证与输入图像对应的用户的步骤包括：
计算输入特征变换数据与注册特征变换数据之间的相似度；和
响应于相似度大于阈值相似度，确定针对用户的验证成功。
23.根据权利要求22所述的验证方法，其中，计算相似度的步骤包括：
计算由输入特征变换数据指示的特征与由注册特征变换数据指示的特征之间的余弦相似度。
24.根据权利要求1所述的验证方法，其中，验证与输入图像对应的用户的步骤包括：
指示验证用户的结果。
25.根据权利要求24所述的验证方法，其中，指示验证用户的结果的步骤包括：
响应于验证用户的结果是成功的验证而解锁装置。
26.一种存储指令的非暂时性计算机可读存储介质，所述指令在被一个或多个处理器执行时将所述一个或多个处理器配置为执行权利要求1的验证方法。
27.一种验证设备，包括：
图像获取器，被配置为获取输入图像；和
一个或多个处理器，被配置为：
检测输入图像的特性；
通过基于检测的特性分别变换输入特征数据和注册特征数据来获取输入特征变换数据和注册特征变换数据，其中，使用特征提取模型从输入图像提取输入特征数据，并且使用特征提取模型来先前提取注册特征数据；并且
基于输入特征变换数据与注册特征变换数据之间的比较的结果来验证与输入图像对应的用户。
28.根据权利要求27所述的验证设备，其中，
所述验证设备是图像处理装置、智能电话、可穿戴装置、平板计算机、上网本、膝上型计算机、台式机、个人数字助理PDA、机顶盒、家用电器、生物识别门锁、安全装置、车辆起动器中的任意一个，并且
图像获取器包括相机。
29.一种用户注册方法，包括：
从针对参考用户的用户注册获取的参考图像提取参考特征数据；
从通过基于增强特性增强参考图像而获取的增强图像提取增强特征数据；
基于参考特征数据与增强特征数据之间的比较，将与增强特征相关联的变换函数映射到参考用户；和
响应于输入图像被获取，使用变换函数验证输入图像。
30.一种验证方法，包括：
获取与包括用户的脸部的输入图像的特性对应的变换函数；
通过使用变换函数变换输入图像的输入特征数据来生成输入特征变换数据；
通过使用变换函数变换注册用户的注册特征数据来生成注册特征变换数据；和
基于输入特征变换数据与注册特征变换数据的比较来验证用户是否是注册用户。
31.根据权利要求30所述的验证方法，其中，通过以下步骤生成变换函数：
从注册用户的图像生成参考特征数据；
通过增强注册用户的图像以包括所述特性来生成增强图像；
从增强图像生成增强特征数据；和
基于参考特征数据与增强特征数据的比较来生成变换函数。
CN201911365503.8A 2018-12-31 2019-12-26 具有用户验证的设备和方法 Active CN111382666B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20180173859 2018-12-31
KR10-2018-0173859 2018-12-31
KR10-2019-0048363 2019-04-25
KR1020190048363A KR102483650B1 (ko) 2018-12-31 2019-04-25 사용자 인증 장치 및 방법

Publications (2)

Publication Number Publication Date
CN111382666A true CN111382666A (zh) 2020-07-07
CN111382666B CN111382666B (zh) 2024-10-01

Family

ID=68944163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911365503.8A Active CN111382666B (zh) 2018-12-31 2019-12-26 具有用户验证的设备和方法

Country Status (3)

Country Link
US (1) US11403878B2 (zh)
EP (1) EP3674974B1 (zh)
CN (1) CN111382666B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI824683B (zh) * 2021-09-07 2023-12-01 仁寶電腦工業股份有限公司 螢幕單元管理方法、電子裝置及非暫態電腦可讀取儲存媒體

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11031790B2 (en) * 2012-12-03 2021-06-08 ChargeItSpot, LLC System and method for providing interconnected and secure mobile device charging stations
US11258282B2 (en) * 2012-12-03 2022-02-22 ChargeItSpot, LLC System and method for providing interconnected and secure mobile device charging stations
CN112330833A (zh) * 2020-10-30 2021-02-05 中国平安人寿保险股份有限公司 人脸识别考勤数据验证方法、装置及计算机设备
US11527104B2 (en) * 2021-02-09 2022-12-13 Danny Rittman Systems and methods of facial and body recognition, identification and analysis
WO2024038360A1 (en) * 2022-08-13 2024-02-22 Samsung Electronics Co., Ltd. A method and electronic device for displaying particular user

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101558431A (zh) * 2006-12-13 2009-10-14 松下电器产业株式会社 脸认证设备
CN101604387A (zh) * 2008-06-11 2009-12-16 索尼株式会社 图像处理装置和图像处理方法
CN105187810A (zh) * 2014-11-11 2015-12-23 怀效宁 一种基于人脸色彩特征的自动白平衡方法及电子媒体装置
CN106127170A (zh) * 2016-07-01 2016-11-16 重庆中科云丛科技有限公司 一种融合关键特征点的训练方法、识别方法及系统
CN106203248A (zh) * 2014-09-05 2016-12-07 三星电子株式会社 用于脸部识别的方法和设备
CN106295496A (zh) * 2015-06-24 2017-01-04 三星电子株式会社 脸部识别方法和设备
CN106446872A (zh) * 2016-11-07 2017-02-22 湖南源信光电科技有限公司 一种低照度下的视频人脸检测识别方法
CN106446768A (zh) * 2015-08-10 2017-02-22 三星电子株式会社 用于脸部识别的方法和设备
CN106503669A (zh) * 2016-11-02 2017-03-15 重庆中科云丛科技有限公司 一种基于多任务深度学习网络的训练、识别方法及系统
CN106815566A (zh) * 2016-12-29 2017-06-09 天津中科智能识别产业技术研究院有限公司 一种基于多任务卷积神经网络的人脸检索方法
CN108429619A (zh) * 2018-01-18 2018-08-21 北京捷通华声科技股份有限公司 身份认证方法和系统
CN108615007A (zh) * 2018-04-23 2018-10-02 深圳大学 基于特征张量的三维人脸识别方法、装置及存储介质
CN109117700A (zh) * 2017-06-26 2019-01-01 三星电子株式会社 脸部验证方法和设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3417051B2 (ja) * 1994-05-20 2003-06-16 東洋インキ製造株式会社 光源に依存しない特徴パラメータ値を用いた色情報処理方法および装置
US7330591B2 (en) * 2002-02-25 2008-02-12 Kabushiki Kaisha Toshiba Apparatus for generating a pattern recognition dictionary, a method thereof, a pattern recognition apparatus and a method thereof
KR100567765B1 (ko) 2004-03-12 2006-04-05 학교법인 인하학원 조명환경 분석과 전처리를 통한 얼굴 인식 시스템 및 방법
JP2007072620A (ja) * 2005-09-05 2007-03-22 Toshiba Corp 画像認識装置及びその方法
KR100893086B1 (ko) 2006-03-28 2009-04-14 (주)코아정보시스템 조명 변화에 강인한 얼굴 검출 방법
KR100887183B1 (ko) 2007-03-21 2009-03-10 한국과학기술원 얼굴인식 전처리장치 및 방법과 이를 이용한얼굴인식시스템
KR101151435B1 (ko) 2009-11-11 2012-06-01 한국전자통신연구원 얼굴 인식 장치 및 방법
US8706668B2 (en) 2010-06-02 2014-04-22 Nec Laboratories America, Inc. Feature set embedding for incomplete data
EP2590140A1 (en) 2011-09-05 2013-05-08 Morpho, Inc. Facial authentication system, facial authentication method, and facial authentication program
KR101382892B1 (ko) 2012-10-08 2014-04-08 재단법인대구경북과학기술원 저해상도 영상 얼굴 인식 방법 및 저해상도 영상 얼굴 인식 장치
KR101373274B1 (ko) 2012-11-08 2014-03-11 주식회사 크라스아이디 안경 제거를 통한 얼굴 인식 방법 및 상기 안경 제거를 통한 얼굴 인식 방법을 이용한 얼굴 인식 장치
KR101514551B1 (ko) 2013-10-10 2015-04-24 재단법인대구경북과학기술원 환경 변화에 강인한 멀티모달 사용자 인식
KR101756919B1 (ko) 2014-05-23 2017-07-13 동국대학교 산학협력단 얼굴 인식 장치 및 방법
US9704025B2 (en) 2015-07-31 2017-07-11 King Abdulaziz City For Science And Technology Identifying non-occluded faces by learning from partially occluded faces
US10223612B2 (en) 2016-09-01 2019-03-05 Microsoft Technology Licensing, Llc Frame aggregation network for scalable video face recognition
CN109117858B (zh) * 2017-06-26 2024-02-13 北京金风科创风电设备有限公司 监测风力发电机叶片结冰的方法及装置
KR101839827B1 (ko) 2017-09-06 2018-03-19 한국비전기술주식회사 원거리 동적 객체에 대한 얼굴 특징정보(연령, 성별, 착용된 도구, 얼굴안면식별)의 인식 기법이 적용된 지능형 감시시스템

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101558431A (zh) * 2006-12-13 2009-10-14 松下电器产业株式会社 脸认证设备
CN101604387A (zh) * 2008-06-11 2009-12-16 索尼株式会社 图像处理装置和图像处理方法
CN106203248A (zh) * 2014-09-05 2016-12-07 三星电子株式会社 用于脸部识别的方法和设备
CN105187810A (zh) * 2014-11-11 2015-12-23 怀效宁 一种基于人脸色彩特征的自动白平衡方法及电子媒体装置
CN106295496A (zh) * 2015-06-24 2017-01-04 三星电子株式会社 脸部识别方法和设备
CN106446768A (zh) * 2015-08-10 2017-02-22 三星电子株式会社 用于脸部识别的方法和设备
CN106127170A (zh) * 2016-07-01 2016-11-16 重庆中科云丛科技有限公司 一种融合关键特征点的训练方法、识别方法及系统
CN106503669A (zh) * 2016-11-02 2017-03-15 重庆中科云丛科技有限公司 一种基于多任务深度学习网络的训练、识别方法及系统
CN106446872A (zh) * 2016-11-07 2017-02-22 湖南源信光电科技有限公司 一种低照度下的视频人脸检测识别方法
CN106815566A (zh) * 2016-12-29 2017-06-09 天津中科智能识别产业技术研究院有限公司 一种基于多任务卷积神经网络的人脸检索方法
CN109117700A (zh) * 2017-06-26 2019-01-01 三星电子株式会社 脸部验证方法和设备
CN108429619A (zh) * 2018-01-18 2018-08-21 北京捷通华声科技股份有限公司 身份认证方法和系统
CN108615007A (zh) * 2018-04-23 2018-10-02 深圳大学 基于特征张量的三维人脸识别方法、装置及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TONGZHOU ZHAO等: "The Face Recognition Algorithm Based on Wavelet Stretching Transformation Pre-processing", 《2013 INTERNATIONAL CONFERENCE ON COMPUTER SCIENCES AND APPLICATIONS》, pages 381 - 385 *
霍焰焰: "基于PCA和LBP改进算法的人脸识别研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 07, pages 138 - 1218 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI824683B (zh) * 2021-09-07 2023-12-01 仁寶電腦工業股份有限公司 螢幕單元管理方法、電子裝置及非暫態電腦可讀取儲存媒體

Also Published As

Publication number Publication date
EP3674974B1 (en) 2024-10-09
EP3674974A1 (en) 2020-07-01
US20200210685A1 (en) 2020-07-02
US11403878B2 (en) 2022-08-02
CN111382666B (zh) 2024-10-01

Similar Documents

Publication Publication Date Title
US11386701B2 (en) Face recognition method and apparatus
CN111382666B (zh) 具有用户验证的设备和方法
CN109948408B (zh) 活性测试方法和设备
US11537698B2 (en) Methods and apparatuses for adaptively updating enrollment database for user authentication
US10331941B2 (en) Face recognition method and apparatus
KR102486699B1 (ko) 영상 인식 방법, 영상 검증 방법, 장치, 및 영상 인식 및 검증에 대한 학습 방법 및 장치
US9928410B2 (en) Method and apparatus for recognizing object, and method and apparatus for training recognizer
US11790494B2 (en) Facial verification method and apparatus based on three-dimensional (3D) image
KR102415509B1 (ko) 얼굴 인증 방법 및 장치
CN111091176A (zh) 数据识别设备及方法和训练设备及方法
KR102483650B1 (ko) 사용자 인증 장치 및 방법
CN111324874B (zh) 一种证件真伪识别方法及装置
US10733279B2 (en) Multiple-tiered facial recognition
US11720658B2 (en) Method and apparatus of performing authentication
CN111881429A (zh) 活性检测方法和设备以及面部验证方法和设备
KR102547820B1 (ko) 복수의 생체 인증기들을 이용한 사용자 인증 방법 및 그 장치
KR102427853B1 (ko) 사용자 인증을 위한 등록 데이터베이스의 적응적 갱신 방법 및 장치
Okokpujie et al. Development of an adaptive trait-aging invariant face recognition system using convolutional neural networks
JP7534045B2 (ja) オン－デバイストレーニング基盤のユーザ認識方法及び装置
CN112926574A (zh) 图像识别方法、图像识别装置和系统
KR20220008035A (ko) 위조 지문 검출 방법 및 장치
US11935321B2 (en) Method and apparatus with anti-spoofing
Ow et al. Face Recognition Authentication System with CNN and Blink Detection Algorithm
CN115223208A (zh) 具有生物特征伪造考虑的方法和设备
Ganesh The Classification Method for the Identification of Face Spoof in Convolutional Neural Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant