CN111133433A - 使用面部识别用于访问控制的自动认证 - Google Patents

使用面部识别用于访问控制的自动认证 Download PDF

Info

Publication number
CN111133433A
CN111133433A CN201880062119.8A CN201880062119A CN111133433A CN 111133433 A CN111133433 A CN 111133433A CN 201880062119 A CN201880062119 A CN 201880062119A CN 111133433 A CN111133433 A CN 111133433A
Authority
CN
China
Prior art keywords
facial
face
neural network
feature
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880062119.8A
Other languages
English (en)
Other versions
CN111133433B (zh
Inventor
吉米·比彻姆
贾涛
涂继霖
皮特·图
王志光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of CN111133433A publication Critical patent/CN111133433A/zh
Application granted granted Critical
Publication of CN111133433B publication Critical patent/CN111133433B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3226Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using a predetermined code, e.g. password, passphrase or PIN
    • H04L9/3231Biological data, e.g. fingerprint, voice or retina

Abstract

认证系统包括处理器、非暂时性计算机可读介质以及存储在计算机可读介质上的一个或多个程序,其中,处理器在程序的控制下实现:至少一个神经网络,该神经网络经训练以根据从第一面部图像群体提取的面部特征产生第一特征向量,并且在训练后,被配置为根据从第二面部图像提取的面部特征产生第二特征向量;判别分类器,经训练以识别第一特征向量中紧密匹配的第一特征向量,并且被配置为识别第二特征向量和至少一个第一特征向量是否满足相关阈值。认证系统还可包括被配置为如果满足相关阈值则允许访问的访问接口。

Description

使用面部识别用于访问控制的自动认证
相关申请的交叉引用
本申请要求于2017年9月29日提交的美国专利申请第15/721,114号的优先权,其全部内容通过引用合并于此。
技术领域
所公开的示例性实施方式通常涉及面部识别,并且更具体地涉及将面部识别用于用户认证和系统访问。
背景技术
某些设施,例如无尘室制造操作,可能需要严格的访问控制。典型的访问控制系统通常需要使用键盘输入、刷卡或胸卡扫描、指纹识别或其他方法进行登录。但是,多个键盘输入可能需要大量时间,并且可能带来安全风险,在某些无尘环境中刷卡或胸卡扫描可能不可接受,并且在需要戴手套时可能无法接受指纹识别。
可将面部识别用于访问控制,但是当前的系统通常使用预定义的数据库,该数据库不考虑面部特征、发型、诸如眼镜的可穿戴设备或使用诸如面部防护罩或头巾的安全设备的变化。提供一种使用面部识别来提供自动控制的访问的系统是有利的,该系统考虑了用户的变化以及可能存在于用户面部附近或面部的物品。
发明内容
所公开的实施方式涉及一种认证系统,包括:数据收集站,用于收集用于认证的数据;访问控制站,用于授权访问;以及数据库管理系统,用于生成和存储用于认证的信息。该认证系统利用一个或多个神经网络来使用面部识别来提供自动访问,该面部识别考虑了外部元素的变化,例如用户穿戴的安全设备和外观的变化。
在至少一个方面,所公开的实施方式涉及一种认证系统,其包括:处理器、非暂时性计算机可读介质以及存储在计算机可读介质上的一个或多个程序,其中,处理器在程序的控制下实现:至少一个神经网络,经训练以根据从第一面部图像群体提取的面部特征产生第一特征向量,并且在训练后,被配置为根据从第二面部图像提取的面部特征产生第二特征向量;判别分类器,经训练以识别第一特征向量中紧密匹配的第一特征向量,并被配置为识别第二特征向量和至少一个第一特征向量是否满足相关阈值。认证系统还可包括被配置为如果满足相关阈值则允许访问的访问接口。
至少一个神经网络可包括生成对抗网络。
至少一个神经网络可包括暹罗神经网络和至少一个生成对抗网络的组合。
判别分类器可包括神经网络。
至少一个神经网络可被配置为增强一个或多个第一特征向量以产生具有第一变量的附加第一特征向量,第一变量表示与识别用户的面部特征分开的元素。
至少一个神经网络可被配置为利用增强的第一特征向量来识别访问所需的用户穿戴的设备。
至少一个神经网络可被配置为:识别一个或多个第一特征向量中的第二变量,第二变量表示与识别用户的面部特征分开的元素;以及生成不具有所识别变量的附加第一特征向量。
认证系统还可包括数据收集站,数据收集站具有:相机,用于获取第一面部图像群体中的一个或多个第一面部图像;面部检测器,用于检测一个或多个第一面部图像中的面部;和特征提取器,用于产生从一个或多个第一面部图像提取的面部特征。
认证系统还可包括:访问控制站,访问控制站具有:相机,用于获取第二面部图像;面部检测器,用于检测第二面部图像中的面部;特征提取器,用于产生从第二面部图像提取的面部特征;和用户界面,用于如果不满足相关阈值,则输入附加凭证。
认证系统还可包括凭证数据库,该凭证数据库具有用于识别有效用户以与附加凭证进行比较的信息。
在至少一个其他方面,所公开的实施方式涉及一种认证方法,包括:训练至少一个神经网络,以根据从第一面部图像群体提取的面部特征产生第一特征向量;训练判别分类器以识别第一特征向量中紧密匹配的第一特征向量;使用至少一个神经网络根据从第二面部图像提取的面部特征产生第二特征向量;使用判别分类器识别第二特征向量和至少一个第一特征向量是否满足相关阈值;和如果满足相关阈值,则允许从其获取第二面部图像的用户访问。
至少一个神经网络可包括生成对抗网络。
至少一个神经网络可包括暹罗神经网络和至少一个生成对抗网络的组合。
判别分类器可包括第二神经网络。
认证方法还可包括:增强一个或多个第一特征向量,以产生具有第一变量的附加第一特征向量,第一变量表示与识别用户的面部特征分开的元素。
认证方法可包括:利用增强的第一特征向量来识别访问所需的用户穿戴的设备。
认证方法还可包括:识别一个或多个第一特征向量中的第二变量,第二变量表示与识别用户的面部特征分开的元素;以及生成不具有所识别变量的附加第一特征向量。
认证方法还可包括:使用相机获取第一面部图像群体中的一个或多个第一面部图像;检测一个或多个第一面部图像中的面部;和使用特征提取器产生从一个或多个第一面部图像提取的面部特征。
认证方法还可包括:使用相机获取第二面部图像;检测第二面部图像中的面部;使用特征提取器产生从第二面部图像提取的面部特征;如果不满足相关阈值,则输入附加凭证;和如果附加凭据有效,则允许访问。
在另一方面,所公开的实施方式涉及一种认证系统,具有:数据库管理系统,包括处理器、非暂时性计算机可读介质以及存储在计算机可读介质上的一个或多个程序,其中,处理器在程序的控制下实现:至少一个神经网络,经训练以根据从第一面部图像群体提取的面部特征产生第一特征向量,并且被配置为根据从第二面部图像提取的面部特征产生第二特征向量;判别分类器,经训练以识别第一特征向量中紧密匹配的第一特征向量,并被配置为识别第二特征向量和至少一个第一特征向量是否满足相关阈值;数据收集站,包括:相机,用于获取第一面部图像群体中的一个或多个第一面部图像;面部检测器,用于检测一个或多个第一面部图像中的面部;和特征提取器,用于产生从一个或多个第一面部图像提取的面部特征。
系统还包括访问控制站,包括:相机,用于获取第二面部图像;面部检测器,用于检测第二面部图像中的面部;特征提取器,用于产生从第二面部图像提取的面部特征;和访问接口,由访问控制站控制,用于提供对设备的访问。
附图说明
图1示出了根据所公开的实施方式的示例性认证系统;
图2示出了说明数据采集站的操作的流程图,该数据采集站用于获取新的用户面部特征向量;
图3示出了说明访问控制站的操作的流程图,该访问控制站用于允许用户在认证后进行访问;
图4示出了说明替代认证过程的流程图;和
图5示出了说明由神经网络和数据库管理系统的判别分类器执行的学习过程的流程图。
具体实施方式
图1示出了根据所公开的实施方式的示例性认证系统100。认证系统100包括:数据收集站102,用于收集用于认证的数据;访问控制站104,用于授权对系统、设施、工作站或其他实体的访问;以及数据库管理系统106,用于生成和存储用于认证的信息。认证系统100还可包括到其他设备的访问接口108,该访问接口108在认证后准许用户访问;以及图像数据库或图像存储设施。访问接口108可包括可限制访问的设备,包括一个或多个锁门、气闸、门、围栏、警报器或其他合适的限制结构或访问限制设备。认证系统100可进一步包括用于提供替代访问的凭证数据库156。凭证数据库156可包括单点登录信息、用户识别数据、用户照片和适合于识别有效用户的其他信息中的一个或多个。
为了本公开的目的,准许访问可包括允许认证的用户进入或使用设施、系统、工作区域、工作站或其他实体,可包括向认证的用户提供信息、指令、材料、工具或其他用于完成任务的物品,或者通常可包括允许经认证的用户以安全的方式执行某些功能。
尽管在图1中将数据收集站102、访问控制站104、数据库管理系统106、访问接口108和图像存储设施110示为单独的、相互连接的子系统,但是应该理解,认证系统100还可实现为单个系统,或实现为分布式系统,其中数据收集站102、访问控制站104、数据库管理系统106、访问接口108和图像存储设备110进一步被分为各种组件或以不同的组合在一起组合。另外,认证系统100可被实现在单个位置,或者组件可被分布在不同的位置。例如,数据收集站102、数据库管理系统106和图像存储设施110可位于其访问由认证系统100控制的设施的外部,而访问控制站104和访问接口108可位于设施内部。
数据收集站102通常可操作为将新用户注册或添加到认证系统100,或者将从附加用户图像中提取的特征添加到系统100。数据收集站102可包括用户界面112、相机114、处理器116、诸如存储器118的非暂时性计算机可读介质以及存储在计算机可读介质上的一个或多个程序120。用户界面112可向用户呈现包括与图像收集过程有关的指令和反馈的信息,并且可允许用户将信息输入到数据收集站102中。处理器116在一个或多个程序120的控制下可操作以根据所公开的实施方式来控制数据收集站102的操作。处理器116可控制相机114以获取用户的图像,并且还可使用面部检测器122和特征提取器124来控制用户图像的处理,以将从用户的图像中提取的用户面部特征提供给数据库管理系统106。尽管面部检测器122和特征提取器124被示为程序,但是应当理解,它们可以以硬件、软件或硬件和软件的组合来实现。来自相机114的原始摄影图像可被存储在图像存储设施110中。
面部检测器122对来自相机114的图像进行操作,以自动检测图像中的面部并在面部周围产生边界框。面部检测器122可以是滑动窗口分类器,其中,不同比例的窗口在图像上通过,并且在每个位置,关于窗口中的图像部分是面部的一部分的概率计算分数。在图像上滑动窗口后,分数将用于确定图像中是否存在面部以及面部存在于图像中何处。其他技术也可用于检测图像中的面部。
然后,将检测到的图像的面部部分传递到特征提取器124,在特征提取器124中,提取检测到的图像的面部部分的特征。所公开的实施方式有利地利用提取的面部特征作为用于面部识别的临时数据,至少因为它们使用比来自相机114的原始摄影图像更少的数据来提供更紧凑的面部表示。面部模型拟合可应用于检测到的面部部分以定义检测到的面部部分的关键界标点以进行注册。所检测到的面部部分的关键界标点可用于以标准形式将所检测到的面部部分变形为提取的面部特征,以供数据库管理系统106的神经网络使用。该变形可包括补偿由于例如以下原因引起的变化:姿势、照明条件、与相机的距离、面部表情、发型或任何其他与用户身份不直接对应的元素或因素。然后,所提取的面部特征可被传递到数据库管理系统106,以进行进一步的处理以用于提供访问。
访问控制站104还可包括用户界面126、相机128、处理器130、诸如存储器132的非暂时性计算机可读介质以及存储在计算机可读介质上的一个或多个程序134。访问控制站104的用户界面126可向用户呈现信息,包括关于准许访问、成功获得访问或未成功获得访问的指令,并且可允许用户将信息输入到数据收集站102中。处理器130,在一个或多个程序的控制下,可根据所公开的实施方式操作以控制访问控制站104的操作。处理器130可控制相机126以获取用户的图像,并且控制面部检测器134和特征提取器136以将从用户的图像中提取的用户面部的特征提供给数据库管理系统106,以认证用户。在至少一个实施方式中,当用户出现在相机的视野中时,相机126可自动获取用户的图像,并将图像馈送到面部检测器134以进行处理。
面部检测器134和特征提取器136操作为检测面部,并且以与数据收集站102的面部检测器120和特征提取器122相同的方式向数据库管理系统提供面部的一组提取特征。类似地,尽管将面部检测器134和特征提取器136图示为程序,但是应该理解,它们可以以硬件、软件或硬件和软件的组合来实现。数据库管理系统106处理所提取的一组面部特征,并向访问控制站104提供响应,访问控制站104又可控制访问接口108准许或拒绝访问。
数据库管理系统106还可包括用户界面140、处理器142、诸如存储器144的非暂时性计算机可读介质以及存储在计算机可读介质上的一个或多个程序146。用户界面140可呈现信息,包括与控制数据库管理系统106的操作有关的信息,包括注册操作、认证操作和训练操作,并且可允许用户将信息输入到数据库管理系统106中。处理器142在一个或多个程序146的控制下,可根据所公开的实施方式操作以控制数据库管理系统106的操作。程序146可包括至少一个神经网络148,其可对从数据收集站提取的面部特征和从访问控制站提取的面部特征进行操作以产生表示用户面部的特征向量150。特征向量150可作为一组编码特征存储在特征向量数据库154中。数据库管理系统106还包括判别分类器152,用于确定不同特征向量是否满足某个相关阈值。
神经网络148通常用作强大的回归函数,其对于给定的从图像中提取的特征,将提取的特征回归到捕获用户面部特征的一组特征或特征向量。给定两个特征向量,数据库管理系统106可对特征向量是否来自同一用户的图像进行分类。因此,可将比较视为具有二进制类输出的特征向量对的回归问题。神经网络148可包括一个或多个生成对抗网络(GAN)、暹罗神经网络、卷积神经网络(CNN)或其他合适的神经网络。神经网络148可被实现为单个神经网络,或者可被实现为神经网络的组合,被串联、并联或以任何合适的串联并联组合来组装,并且可使用从存储在图像存储设施110中的原始摄影图像提取的特征来训练。在训练期间,神经网络148将特征向量呈现给判别分类器152,并使用判别分类器152的决策来确定特征向量是否匹配。当神经网络148已经被训练到可接受的水平时,由神经网络148产生的特征向量150被存储在特征向量数据库154中。
在一些实施方式中,GAN可用于建模由外部元素或因素引起的用户的面部外观变化,即,包括在特征向量150中但是可与识别用户的面部特征分开的元素或因素。通过训练面部图像生成器和可辨别面部是逼真还是由计算机合成的鉴别器,GAN面部模型最终可训练面部生成模型,该模型可将面部图像编码为特征向量150中的紧凑代码集,解码后可从中生成新的逼真的面部图像。可设计GAN面部模型,使得可生成附加特征向量,其被增强为包括与外部元素或因素相对应的语义变量。例如,特征向量150的一些变量可对应于面部穿戴,一些变量可对应于由于头部姿势而导致的面部取向,一些变量可对应于照明条件,或者可与用户面部的实际特征分开的任何其他因素或元素。另外,可将一组特征向量的变量并入另一组特征向量。例如,可从戴着眼镜的相同用户面部的GAN生成的特征向量中减去不戴眼镜的用户面部的GAN生成的特征向量,并且可将相减残差添加到不戴眼镜的不同用户的面部的特征向量中,以生成戴着眼镜的不同用户的逼真的面部。增强的特征向量可与现有特征向量150一起存储。
在其他实施方式中,可用表示用户穿戴的设备的语义变量来产生增强特征向量。例如,使用GAN面部模型,语义变量可用于为用户合成附加的新的、增强的面部特征向量,其可包括用户可能在他们的面部附近或脸上穿戴的元素。示例性变量可包括不同类型的眼镜、护目镜、面罩、胡须防护罩、头罩或可能存在于用户面部附近或用户面部的任何其他物品的表示。这是有利的,因为可合成用户面部的特征向量150并将其添加到数据库中,而无需捕获用户的新图像。新的增强特征向量可用于训练GAN面部模型,以进一步改善面部检测和识别性能。
在相关操作中,可识别与外部元素有关的现有特征向量中的变量,并且在一些实施方式中,可生成一个或多个附加特征向量,而无需使用变量来为每个用户的各种外观变化提供附加特征向量。
另外,合成的、增强的特征向量可用于确保符合某些要求。例如,在特定环境中用户可能需要穿戴一件或多件物品。可在访问控制工作站上对所需物品进行编程,并且可将包含一个或多个所需物品的特征向量用于识别用户。出现没有所需物品的用户可能会被拒绝访问。
在一些实施方式中,可将暹罗神经网络与GAN面部模型结合使用以产生最终存储在特征向量数据库154中的特征向量150。训练暹罗神经网络时,来自同一用户和来自不同的用户的图像对被发送到暹罗神经网络作为输入。暹罗神经网络操作为将输入图像对转换为特征向量作为代码,并比较代码的距离。通过减少特征向量空间中相同用户的面部代码之间的距离,并增加不同用户的面部代码之间的距离,可在训练过程中优化暹罗神经网络。因此,经训练的暹罗神经网络可将看不见的测试面部图像对转换为代码,以通过比较它们的代码距离来验证它们是否来自同一个人。
与GAN面部模型一起训练暹罗神经网络可产生具有用于面部识别的GAN向量表示属性的暹罗深度神经网络。
如上所述,当神经网络148已经被训练到可接受的水平时,由神经网络产生的特征向量150被存储在特征向量数据库154中。神经网络148可被周期性地重新训练,例如当系统无法识别有效用户时。用户访问控制站104可以获取用户的图像,并且可能无法正确识别该用户。然后,用户可出示一组适当的凭证,或者可由另一个过程或个人和获得的附加图像进行认证。然后可使用附加图像来训练神经网络148并产生一个或多个附加特征向量150,以改善面部识别系统的性能。
判别分类器138还可被实现为神经网络,并且可以是基于距离度量的判别分类器。判别分类器138也可使用特征向量来训练,直到它能够识别紧密匹配的特征向量,即,根据从同一用户的图像提取的特征生成的特征向量。如上所述,可在神经网络训练期间使用判别分类器138以向神经网络148提供决策反馈。当访问控制站104处于操作中时,判别分类器138可操作以将获取的特征向量150与存储在数据库管理系统106的特征向量数据库154中的每个特征向量进行比较,并且如果所获取的特征向量150与在特征向量数据库154中找到的特征向量匹配,则对用户进行认证,并如上所述准许用户访问。
图2示出了流程图200,其说明访问控制站104与数据库管理系统106相结合的操作。在框302中,用户输入相机114的视野,并且在框204中,获取用户的图像。在一些实施方式中,数据收集站102可操作相机114以自动获取图像,或者可在从用户界面112接收到输入后获取图像。在框206中,数据收集站102然后操作以将图像传递给面部检测器122,在面部检测器122中检测获取的图像中的面部。在框208中,数据收集站102还操作为存储所获取的图像。在框210中,数据收集站102将检测到的图像的面部部分传递给特征提取器124,并且在框212中,将所提取的面部特征传递给到数据库管理系统106。
图3示出了流程图300,该流程图300说明数据收集站102与数据库管理系统106结合的操作。在框202中,用户输入相机128的视野。访问控制站104可通常在没有附加用户交互的情况下操作相机128自动获取图像,但是,在一些实施方式中,来自用户界面的输入可交替地启动图像获取。在框304中,获取用户的图像。在框306中,访问控制站104操作为将图像传递到面部检测器136,在面部检测器136中检测所获取的图像中的面部。然后,访问控制站104将检测到的图像的面部部分传递到特征提取器124,在特征提取器124中从图像中提取面部特征,如框308所示。在框310中,提取的面部特征被传递到数据库管理系统106,并且在框312中,从数据库管理系统提供关于所提取的特征在由数据库管理系统106处理以产生特征向量之后是否与特征向量数据库154中的特征向量匹配的决定。如框314所示,如果特征向量匹配,则准许用户访问,否则可采取如图4所示的附加步骤400。
如果在数据库管理系统106转换为特征向量之后,从在框304中获取的图像中提取的面部特征与特征向量数据库154中的特征向量不匹配,则访问控制系统可请求附加凭证,如框402所示,该凭证可与凭证数据库156中的凭证进行比较,如框404所示。如果在凭证数据库156中找不到匹配的凭证,则可如框406所示拒绝用户访问。如果在凭证数据库156中找到匹配的凭证并因此有效,则如框408所示,可准许用户访问,并且将导致不匹配的特征向量的图像存储在图像存储设备110中,如框410所示。此外,可将从非匹配图像提取的特征发送到数据库管理系统106,以由神经网络148进行处理以改善神经网络的性能,如框412所示。
图5示出了简化流程图,说明由数据库管理系统的神经网络148和判别分类器152执行的学习过程500。学习操作可离线进行。在框502中,从面部数据中提取面部特征,并且在框504中,将所提取的特征发送至数据库管理系统106以进行处理。面部数据可源自图像存储设施110、凭证数据库156或用户面部数据的任何其他来源。在一些实施方式中,为了训练,将面部数据作为从同一用户的图像提取的特征对来发送。如框506所示,一个或多个神经网络148根据提取的面部特征生成特征向量。在框508中,判别分类器152确定特征向量是否匹配,即,特征向量是否满足确保特征向量表示相同用户的相关阈值。如果特征向量匹配,则可将特征向量添加到特征向量数据库154。如果特征向量不匹配,则可如框510所示调整神经网络的神经元权重,并通过一个或多个神经网络148生成一组新的特征向量。
所公开的实施方式提供一种基于从用户图像生成的紧凑特征向量的认证系统,该系统考虑了诸如用户穿戴的安全设备和外观变化的外部元素。神经网络可用于生成特征向量,并且可提供特征向量的增强以对外部元素进行建模,而不必获取示出外部元素的用户图像。当用户外观改变时,可向神经网络提供更新的图像,以提高性能。
注意,本文描述的实施方式可单独使用或以其任何组合使用。应当理解,以上描述仅是实施方式的说明。在不脱离实施方式的情况下,本领域技术人员可设计出各种替代和修改。因此,本实施方式旨在涵盖落入所附权利要求的范围内的所有这样的替代、修改和变化。
当结合附图阅读时,鉴于前面的描述,各种修改和改编对于相关领域的技术人员而言将变得显而易见。然而,所公开实施方式的教导的所有这些和类似修改仍将落入所公开实施方式的范围内。
本文所述的不同实施方式的各种特征是可互换的。可将各种所描述的特征以及任何已知的等同物混合并匹配以构造根据本公开的原理的附加的实施方式和技术。
此外,示例性实施方式的某些特征可在没有相应使用其他特征的情况下有利地使用。这样,前面的描述应被认为仅是对所公开的实施方式的原理的说明,而不是对其的限制。

Claims (19)

1.一种认证系统,包括:
处理器、非暂时性计算机可读介质以及存储在所述计算机可读介质上的一个或多个程序,其中,所述处理器在所述程序的控制下实现:
至少一个神经网络,经训练以根据从第一面部图像群体提取的面部特征产生第一特征向量,并且在训练后,被配置为根据从第二面部图像提取的面部特征产生第二特征向量;
判别分类器,经训练以识别所述第一特征向量中紧密匹配的第一特征向量,并被配置为识别所述第二特征向量和至少一个第一特征向量是否满足相关阈值;
其中,所述认证系统还包括被配置为如果满足所述相关阈值则允许访问的访问接口。
2.根据权利要求1所述的认证系统,其中,所述至少一个神经网络包括生成对抗网络。
3.根据权利要求1所述的认证系统,其中,所述至少一个神经网络包括暹罗神经网络和至少一个生成对抗网络的组合。
4.根据权利要求1所述的认证系统,其中,所述判别分类器包括第二神经网络。
5.根据权利要求1所述的认证系统,其中,所述至少一个神经网络被配置为增强一个或多个所述第一特征向量以产生具有第一变量的附加第一特征向量,所述第一变量表示与识别用户的面部特征分开的元素。
6.根据权利要求5所述的认证系统,其中,所述至少一个神经网络被配置为利用增强的第一特征向量来识别访问所需的用户穿戴设备。
7.根据权利要求1所述的认证系统,其中,所述至少一个神经网络被配置为:
识别一个或多个所述第一特征向量中的第二变量,所述第二变量表示与识别用户的面部特征分开的元素;和
生成不具有所识别变量的附加第一特征向量。
8.根据权利要求1所述的认证系统,还包括数据收集站,所述数据收集站包括:
相机,用于获取所述第一面部图像群体中的一个或多个第一面部图像;
面部检测器,用于检测所述一个或多个第一面部图像中的面部;和
特征提取器,用于产生从所述一个或多个第一面部图像中提取的所述面部特征。
9.根据权利要求1所述的认证系统,还包括:
访问控制站,包括:
相机,用于获取所述第二面部图像;
面部检测器,用于检测所述第二面部图像中的面部;
特征提取器,用于产生从所述第二面部图像中提取的所述面部特征;和
用户界面,用于如果不满足所述相关阈值,则输入附加凭证;
所述认证系统还包括凭证数据库,所述凭证数据库具有用于识别有效用户以与所述附加凭证进行比较的信息。
10.一种认证方法,包括:
训练至少一个神经网络,以根据从所述第一面部图像群体提取的面部特征产生第一特征向量;
训练判别分类器以识别所述第一特征向量中紧密匹配的第一特征向量;
使用所述至少一个神经网络根据从第二面部图像提取的面部特征产生第二特征向量;
使用所述判别分类器识别所述第二特征向量和至少一个第一特征向量是否满足相关阈值;和
如果满足所述相关阈值,则允许从其获取所述第二面部图像的用户访问。
11.根据权利要求10所述的认证方法,其中,所述至少一个神经网络包括生成对抗网络。
12.根据权利要求10所述的认证方法,其中,所述至少一个神经网络包括暹罗神经网络和至少一个生成对抗网络的组合。
13.根据权利要求10所述的认证方法,其中,所述判别分类器包括第二神经网络。
14.根据权利要求10所述的认证方法,还包括增强一个或多个所述第一特征向量,以产生具有第一变量的附加第一特征向量,所述第一变量表示与识别用户的面部特征分开的元素。
15.根据权利要求14所述的认证方法,包括:利用增强的第一特征向量来识别访问所需的用户穿戴的设备。
16.根据权利要求10所述的认证方法,还包括:
在一个或多个第一特征向量中识别第二变量,所述第二变量表示与识别用户的面部特征分开的元素;和
生成没有识别变量的附加第一特征向量。
17.根据权利要求10所述的认证方法,还包括:
使用相机获取所述第一面部图像群体中的一个或多个所述第一面部图像;
检测一个或多个所述第一面部图像中的面部;和
使用特征提取器产生从一个或多个所述第一面部图像提取的所述面部特征。
18.根据权利要求10所述的认证方法,还包括:
使用相机获取所述第二面部图像;
检测所述第二面部图像中的面部;
使用特征提取器产生从所述第二面部图像提取的所述面部特征;
如果不满足所述相关阈值,则输入附加凭证;和
如果所述附加凭据有效,则允许访问。
19.一种认证系统,包括:
数据库管理系统,包括处理器、非暂时性计算机可读介质以及存储在所述计算机可读介质上的一个或多个程序,其中,所述处理器在所述程序的控制下实现:
至少一个神经网络,经训练以根据从第一面部图像群体提取的面部特征产生第一特征向量,并且被配置为根据从第二面部图像提取的面部特征产生第二特征向量;
判别分类器,经训练以识别所述第一特征向量中紧密匹配的第一特征向量,并被配置为识别所述第二特征向量和至少一个第一特征向量是否满足相关阈值;
数据收集站,包括:
相机,用于获取所述第一面部图像群体中的一个或多个第一面部图像;
面部检测器,用于检测所述一个或多个第一面部图像中的面部;和
特征提取器,用于产生从所述一个或多个第一面部图像提取的所述面部特征;
访问控制站,包括:
相机,用于获取所述第二面部图像;
面部检测器,用于检测所述第二面部图像中的面部;
特征提取器,用于产生从所述第二面部图像提取的所述面部特征;以及
访问接口,由所述访问控制站控制,用于提供对设备的访问。
CN201880062119.8A 2017-09-29 2018-09-13 使用面部识别用于访问控制的自动认证 Active CN111133433B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/721,114 2017-09-29
US15/721,114 US10579785B2 (en) 2017-09-29 2017-09-29 Automatic authentification for MES system using facial recognition
PCT/US2018/050830 WO2019067223A1 (en) 2017-09-29 2018-09-13 AUTOMATIC AUTHENTICATION FOR ACCESS CONTROL USING FACIAL RECOGNITION

Publications (2)

Publication Number Publication Date
CN111133433A true CN111133433A (zh) 2020-05-08
CN111133433B CN111133433B (zh) 2023-09-05

Family

ID=65898103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880062119.8A Active CN111133433B (zh) 2017-09-29 2018-09-13 使用面部识别用于访问控制的自动认证

Country Status (3)

Country Link
US (1) US10579785B2 (zh)
CN (1) CN111133433B (zh)
WO (1) WO2019067223A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115410265A (zh) * 2022-11-01 2022-11-29 合肥的卢深视科技有限公司 模型训练方法、人脸识别方法、电子设备及存储介质

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9111164B1 (en) 2015-01-19 2015-08-18 Snapchat, Inc. Custom functional patterns for optical barcodes
US9911073B1 (en) * 2016-03-18 2018-03-06 Snap Inc. Facial patterns for optical barcodes
WO2019100511A1 (en) * 2017-11-22 2019-05-31 Zhejiang Dahua Technology Co., Ltd. An image processing method and system
US10762337B2 (en) * 2018-04-27 2020-09-01 Apple Inc. Face synthesis using generative adversarial networks
US10733676B2 (en) * 2018-05-17 2020-08-04 Coupa Software Incorporated Automatic generation of expense data using facial recognition in digitally captured photographic images
US10747989B2 (en) * 2018-08-21 2020-08-18 Software Ag Systems and/or methods for accelerating facial feature vector matching with supervised machine learning
US10803458B1 (en) * 2018-12-20 2020-10-13 Worldpay, Llc Methods and systems for detecting suspicious or non-suspicious activities involving a mobile device use
US10467504B1 (en) * 2019-02-08 2019-11-05 Adhark, Inc. Systems, methods, and storage media for evaluating digital images
US11531840B2 (en) 2019-02-08 2022-12-20 Vizit Labs, Inc. Systems, methods, and storage media for training a model for image evaluation
US11593661B2 (en) * 2019-04-19 2023-02-28 Nvidia Corporation Few-shot training of a neural network
CN110059465B (zh) * 2019-04-24 2023-07-25 腾讯科技(深圳)有限公司 身份验证方法、装置及设备
KR20220002362A (ko) * 2019-04-29 2022-01-06 액티브 위트니스 코프. 생체 인증을 수반한 보안 시스템 및 프로세스
US20220139073A1 (en) * 2019-06-21 2022-05-05 31 Inc. Automatic topology mapping processing method and system based on omnidirectional image information
WO2021027440A1 (zh) 2019-08-15 2021-02-18 华为技术有限公司 一种人脸检索方法及装置
CN112861578B (zh) * 2019-11-27 2023-07-04 四川大学 一种基于自注意力机制的从人眼生成人脸的方法
EP3885973A1 (en) * 2020-03-27 2021-09-29 Robert Bosch GmbH Measuring the sensitivity of neural network image classifiers against adversarial attacks
CN111563564B (zh) * 2020-07-20 2020-10-09 南京理工大学智能计算成像研究院有限公司 基于深度学习的散斑图像逐像素匹配方法
WO2022046120A1 (en) * 2020-08-31 2022-03-03 Hewlett-Packard Development Company, L.P. User authentication using event cameras
US11425121B2 (en) * 2020-12-15 2022-08-23 International Business Machines Corporation Generating an evaluation-mask for multi-factor authentication
RU2765439C1 (ru) * 2021-01-14 2022-01-31 Общество с ограниченной ответственностью "Спутник" Способ распознавания лица на системах контроля и управления доступом

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004209599A (ja) * 2002-12-27 2004-07-29 Sony Corp ロボット装置、ロボット装置の行動学習方法、ロボット装置の行動生成方法
CN103593598A (zh) * 2013-11-25 2014-02-19 上海骏聿数码科技有限公司 基于活体检测和人脸识别的用户在线认证方法及系统
US20140067679A1 (en) * 2012-08-28 2014-03-06 Solink Corporation Transaction Verification System
US20150178554A1 (en) * 2013-12-19 2015-06-25 Objectvideo, Inc. System and method for identifying faces in unconstrained media
WO2015122789A1 (en) * 2014-02-11 2015-08-20 3Divi Company Facial recognition and user authentication method
WO2016011204A1 (en) * 2014-07-15 2016-01-21 Face Checks Llc Multi-algorithm-based face recognition system and method with optimal dataset partitioning for a cloud environment
CN105631296A (zh) * 2015-12-30 2016-06-01 北京工业大学 一种基于cnn特征提取器的安全人脸认证系统设计方法
WO2016086330A1 (en) * 2014-12-03 2016-06-09 Xiaoou Tang A method and a system for face recognition
CN105975959A (zh) * 2016-06-14 2016-09-28 广州视源电子科技股份有限公司 基于神经网络的人脸特征提取建模、人脸识别方法及装置
US20160285866A1 (en) * 2008-11-28 2016-09-29 Nottingham Trent University Biometric identity verification
US20160292536A1 (en) * 2015-03-30 2016-10-06 Omron Corporation Individual identification device, and identification threshold setting method
US20160379041A1 (en) * 2015-06-24 2016-12-29 Samsung Electronics Co., Ltd. Face recognition method and apparatus
CN106339702A (zh) * 2016-11-03 2017-01-18 北京星宇联合投资管理有限公司 一种基于多特征融合的人脸识别方法
US20170351909A1 (en) * 2016-06-03 2017-12-07 Magic Leap, Inc. Augmented reality identity verification

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6128398A (en) * 1995-01-31 2000-10-03 Miros Inc. System, method and application for the recognition, verification and similarity ranking of facial or other object patterns
US8027521B1 (en) * 2008-03-25 2011-09-27 Videomining Corporation Method and system for robust human gender recognition using facial feature localization
NL2004829C2 (en) * 2010-06-07 2011-12-08 Univ Amsterdam Method for automated categorization of human face images based on facial traits.
US10042993B2 (en) * 2010-11-02 2018-08-07 Homayoon Beigi Access control through multifactor authentication with multimodal biometrics
US10095917B2 (en) * 2013-11-04 2018-10-09 Facebook, Inc. Systems and methods for facial representation
US10043058B2 (en) * 2016-03-09 2018-08-07 International Business Machines Corporation Face detection, representation, and recognition
US11024009B2 (en) * 2016-09-15 2021-06-01 Twitter, Inc. Super resolution using a generative adversarial network

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004209599A (ja) * 2002-12-27 2004-07-29 Sony Corp ロボット装置、ロボット装置の行動学習方法、ロボット装置の行動生成方法
US20160285866A1 (en) * 2008-11-28 2016-09-29 Nottingham Trent University Biometric identity verification
US20140067679A1 (en) * 2012-08-28 2014-03-06 Solink Corporation Transaction Verification System
CN103593598A (zh) * 2013-11-25 2014-02-19 上海骏聿数码科技有限公司 基于活体检测和人脸识别的用户在线认证方法及系统
US20150178554A1 (en) * 2013-12-19 2015-06-25 Objectvideo, Inc. System and method for identifying faces in unconstrained media
WO2015122789A1 (en) * 2014-02-11 2015-08-20 3Divi Company Facial recognition and user authentication method
WO2016011204A1 (en) * 2014-07-15 2016-01-21 Face Checks Llc Multi-algorithm-based face recognition system and method with optimal dataset partitioning for a cloud environment
WO2016086330A1 (en) * 2014-12-03 2016-06-09 Xiaoou Tang A method and a system for face recognition
US20160292536A1 (en) * 2015-03-30 2016-10-06 Omron Corporation Individual identification device, and identification threshold setting method
US20160379041A1 (en) * 2015-06-24 2016-12-29 Samsung Electronics Co., Ltd. Face recognition method and apparatus
CN105631296A (zh) * 2015-12-30 2016-06-01 北京工业大学 一种基于cnn特征提取器的安全人脸认证系统设计方法
US20170351909A1 (en) * 2016-06-03 2017-12-07 Magic Leap, Inc. Augmented reality identity verification
CN105975959A (zh) * 2016-06-14 2016-09-28 广州视源电子科技股份有限公司 基于神经网络的人脸特征提取建模、人脸识别方法及装置
CN106339702A (zh) * 2016-11-03 2017-01-18 北京星宇联合投资管理有限公司 一种基于多特征融合的人脸识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
AWSTEAM: "结合深度学习网络(GAN和Siamese)生成逼真的高品质图像", 《HTTPS://AWS.AMAZON.COM/CN/BLOGS/CHINA/COMBINING-DEEP-LEARNING-NETWORKS-GAN-AND-SIAMESE-TO-GENERATE-HAIGH-QUALITY-LIFE-LIKE-IMAGES/》 *
AWSTEAM: "结合深度学习网络(GAN和Siamese)生成逼真的高品质图像", 《HTTPS://AWS.AMAZON.COM/CN/BLOGS/CHINA/COMBINING-DEEP-LEARNING-NETWORKS-GAN-AND-SIAMESE-TO-GENERATE-HAIGH-QUALITY-LIFE-LIKE-IMAGES/》, 19 September 2017 (2017-09-19), pages 3 *
甘俊英等: "一种基于奇异值特征的神经网络人脸识别新途径", 《电子学报》 *
甘俊英等: "一种基于奇异值特征的神经网络人脸识别新途径", 《电子学报》, no. 01, 25 January 2004 (2004-01-25), pages 171 - 174 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115410265A (zh) * 2022-11-01 2022-11-29 合肥的卢深视科技有限公司 模型训练方法、人脸识别方法、电子设备及存储介质
CN115410265B (zh) * 2022-11-01 2023-01-31 合肥的卢深视科技有限公司 模型训练方法、人脸识别方法、电子设备及存储介质

Also Published As

Publication number Publication date
US10579785B2 (en) 2020-03-03
WO2019067223A1 (en) 2019-04-04
US20190102528A1 (en) 2019-04-04
CN111133433B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN111133433B (zh) 使用面部识别用于访问控制的自动认证
Bolle et al. Guide to biometrics
You et al. On hierarchical palmprint coding with multiple features for personal identification in large databases
US7158657B2 (en) Face image recording system
JP3469031B2 (ja) 顔画像登録装置及びその方法
JP5975293B2 (ja) 認証装置及びプログラム
US20060158307A1 (en) System and method for face recognition
KR20090018036A (ko) 속눈썹 분석에 의한 신원확인방법 및 그를 이용한 신원확인용 정보 취득 장치
Haji et al. Real time face recognition system (RTFRS)
US20230012235A1 (en) Using an enrolled biometric dataset to detect adversarial examples in biometrics-based authentication system
Assaad et al. Transformation based score fusion algorithm for multi-modal biometric user authentication through ensemble classification
US20220157078A1 (en) Adaptive learning and matching of face modalities
JP6855266B2 (ja) 顔認証システム、顔認証方法、及び顔認証プログラム
Yin et al. Fusion of face recognition and facial expression detection for authentication: a proposed model
JP2004078686A (ja) 個人認証装置、個人認証方法、通行制御装置および通行制御方法
KR101926709B1 (ko) 생체 인증 및 제어 장치 및 그 방법
Chaitanya et al. Verification of pattern unlock and gait behavioural authentication through a machine learning approach
Bhise et al. IoT based door lock and unlock system using face recognition
WO2016005759A1 (en) Access management system and method
Martovytskyi et al. Mathematical Model of User Behavior in Computer Systems
SAĞIROĞLU et al. An intelligent face features generation system from fingerprints
Jang et al. Biometrics System Using Deep Convolution GAN
Gambhir et al. Person recognition using multimodal biometrics
Pandiaraja et al. An Overview of Joint Biometric Identification for Secure Online Voting with Blockchain Technology
Elmir et al. Model-View-Controller based Online Face Recognition System.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant