CN109635620A - 自助服务终端(sst)面部认证处理 - Google Patents

自助服务终端(sst)面部认证处理 Download PDF

Info

Publication number
CN109635620A
CN109635620A CN201811058855.4A CN201811058855A CN109635620A CN 109635620 A CN109635620 A CN 109635620A CN 201811058855 A CN201811058855 A CN 201811058855A CN 109635620 A CN109635620 A CN 109635620A
Authority
CN
China
Prior art keywords
face
pixel
image
background
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811058855.4A
Other languages
English (en)
Other versions
CN109635620B (zh
Inventor
韦斯顿·李·赫克尔
尼尔·韦尔特曼
约书亚·兹维·利希特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ncr Voix Co
Original Assignee
NCR Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NCR Corp filed Critical NCR Corp
Publication of CN109635620A publication Critical patent/CN109635620A/zh
Application granted granted Critical
Publication of CN109635620B publication Critical patent/CN109635620B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/18—Payment architectures involving self-service terminals [SST], vending machines, kiosks or multimedia terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F19/00—Complete banking systems; Coded card-freed arrangements adapted for dispensing or receiving monies or the like and posting such transactions to existing accounts, e.g. automatic teller machines
    • G07F19/20—Automatic teller machines [ATMs]
    • G07F19/205—Housing aspects of ATMs
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F7/00—Mechanisms actuated by objects other than coins to free or to actuate vending, hiring, coin or paper currency dispensing or refunding apparatus
    • G07F7/08—Mechanisms actuated by objects other than coins to free or to actuate vending, hiring, coin or paper currency dispensing or refunding apparatus by coded identity card or credit card or other personal identification means
    • G07F7/10—Mechanisms actuated by objects other than coins to free or to actuate vending, hiring, coin or paper currency dispensing or refunding apparatus by coded identity card or credit card or other personal identification means together with a coded signal, e.g. in the form of personal identification information, like personal identification number [PIN] or biometric data

Abstract

利用机器学习过程来增强实时面部识别，所述机器学习过程对来自针对设备的物理环境背景而捕获的图像的像素进行采样，所述设备捕获用户面部的图像以供面部认证。使用所述用户面部图像来认证来自所述设备的摄像头的用户面部的捕获图像中存在的背景像素点。将所述背景像素点的值与正在进行的针对所述背景的机器学习过程所提供的所述背景像素点的预期值进行比较。

Description

自助服务终端(SST)面部认证处理
技术领域
本申请涉及自助服务终端(SST)面部认证处理。
背景技术
用户认证是不断变化和增强的，以阻止冒充真正用户的冒名者的欺诈尝试。
据信生物识别认证是一种强认证技术。因此，生物识别认证已被许多行业所接受和采用。两种最流行的生物识别认证机制是指纹认证和面部认证。
与任何认证技术一样，生物识别认证并非完全可靠，黑客可以利用廉价且巧妙的技术来规避。例如，黑客已经发现可以通过使用真实用户的照片或视频来欺骗面部认证，该照片或视频呈现在认证设备的摄像头前面，以便作为真实用户进行认证，并获得对只能由真实用户访问的资源和资产的访问。
通过照片或视频来欺骗用户的真实身份的问题对于诸如自动柜员机(ATM)之类的自助服务终端(SST)而言尤其成问题，其中欺骗性的用户身份可能导致金融机构和/或用户的巨大经济损失。
发明内容
在各种实施方案中，提供了用于SST面部认证的方法和系统。
根据一个实施方案，提供了一种用于SST面部认证的方法。具体地讲，在一个实施方案中，从所捕获的用户图像对表示背景和表示用户面部的像素进行采样。当像素的值在像素的预期值阈值内时对用户进行认证来访问资源。
示例性实施方案1公开了一种方法，其包括：从所捕获的用户的图像对表示背景和表示用户面部的像素进行采样；以及当像素的值在像素的预期值阈值内时对用户进行认证来访问资源。
示例性实施方案2公开了根据实施方案1所述的方法，其任选地还包括：当用户不在现场时对表示背景的第二像素进行采样。
示例性实施方案3公开了根据实施方案2所述的方法，其中对第二像素进行采样任选地还包括：当用户不在现场时以预定的时间间隔重复对第二像素进行采样。
示例性实施方案4公开了根据实施方案3所述的方法，其中重复任选地还包括：根据第二像素的采样动态地更新与背景像素相关的预期值中的选择预期值。
示例性实施方案5公开了根据实施方案1所述的方法，其任选地还包括：根据以下一者或多者来获取预期值中的选择预期值作为背景的背景像素值：日内时间、日历日以及捕获图像的物理位置的当前天气条件。
示例性实施方案6公开了根据实施方案1所述的方法，其任选地还包括：将预期值中的选择预期值保持为背景的背景像素组，每组与以下相关：不同的日内时间、不同的日历日、捕获图像的物理位置的不同天气条件，或以下的不同组合：日内时间、日历日以及物理位置的天气条件。
示例性实施方案7公开了根据实施方案1所述的方法，其中采样任选地还包括：辨识与背景相关的像素中的选择像素的光属性值。
示例性实施方案8公开了根据实施方案7所述的方法，其中辨识任选地还包括确定表示下列的所述光属性值：光强度值、光亮度值和颜色值。
示例性实施方案9公开了根据实施方案1所述的方法，其中认证任选地还包括：对图像进行深度分析处理以确定所述图像是否正在以下列形式之一呈现给捕获所述图像的摄像头：用户的打印图像、在移动设备的显示器上显示的显示图像以及在移动设备的显示器上播放的视频。
示例性实施方案10公开了根据实施方案9所述的方法，其中处理任选地还包括：当深度分析检测到指示图像深度丢失的图像异常时禁止用户的认证。
示例性实施方案11公开了根据实施方案1所述的方法，其中认证任选地还包括：对被辨识为来自像素的第一像素的面部像素进行面部识别，以及对被辨识为来自像素的背景像素的像素执行背景识别。
示例性实施方案12公开了根据实施方案11所述的方法，其中执行面部识别任选地还包括：将面部像素提供给网络服务，以针对关于用户注册的注册面部像素进行面部识别处理。
示例性实施方案13公开了一种方法，其包括：根据物理环境从位于自助服务终端(SST)内或附近的至少一个摄像头捕获的多个图像训练背景图像认证器；在SST的非交互期期间针对通过至少一个摄像头捕获的关于物理环境的另外图像来动态地更新背景图像认证器；在SST的交互期期间处理背景图像认证器，在SST的交互期期间至少一个摄像头捕获用户面部的面部图像，其中所述面部图像包括表示物理环境的背景像素；以及当面部图像中的面部像素与注册面部图像的注册像素匹配时并且当背景图像认证器验证背景像素与物理环境的预期背景像素匹配时，对用户进行认证来访问SST。
示例性实施方案14公开了根据实施方案13所述的方法，其中训练任选地还包括保持表示光强度、光亮度和光的颜色的背景像素的光属性值。
示例性实施方案15公开了根据实施方案13所述的方法，其中训练更新任选地还包括从两个摄像头获取图像，所述摄像头包括集成到SST的第一摄像头和位于外部物理环境内的SST外部的第二固定摄像头。
示例性实施方案16公开了根据实施方案15所述的方法，其中动态地更新任选地还包括保持针对以下的背景像素组：日内时间、日历日以及物理环境处的天气条件。
示例性实施方案17公开了根据实施方案13所述的方法，其中处理任选地还包括以下中的一者：在SST上处理背景图像认证器；以及在服务器上处理背景图像认证器，所述服务器在SST外部并且经由SST与服务器之间的网络连接进行处理。
示例性实施方案18公开了根据实施方案13所述的方法，其中认证任选地还包括作为认证的一部分对面部图像执行深度分析。
示例性实施方案19公开了一种系统(SST)，其包括：自助服务终端(SST)；经接口连接至SST的至少一个摄像头；以及具有面部和环境认证器的服务器；其中所述面部和环境认证器被配置为：(i)在服务器的至少一个硬件处理器上执行；(ii)动态地保持由SST的物理环境的至少一个摄像头捕获的背景图像的至少一个背景轮廓，以及(iii)根据至少一个背景轮廓对用户面部图像中由至少一个摄像头捕获的背景像素提供认证，以增强对面部图像中存在的面部像素的面部识别处理。
示例性实施方案20公开了根据实施方案19所述的系统，其中SST任选地为以下之一：自动柜员机(ATM)、自助服务亭以及以SST的客户协助操作模式操作的销售点(POS)终端。
附图说明
从参照附图借助于实例给出的以下具体描述，将明白本发明的这些和其他方面，附图中：
图1A是根据一个示例性实施方案的SST面部认证系统的图解。
图1B是根据一个示例性实施方案的从用户面部和SST环境中的环境对象的图像处理的信息采样点的图解。
图2是根据一个示例性实施方案的用于SST面部认证的方法的图解。
图3是根据一个示例性实施方案的另一SST认证方法的图解。
图4是根据示例性实施方案的另一SST面部认证系统的图解。
具体实施方式
图1A是根据一个示例性实施方案的用于SST面部认证的系统100的图解。系统100以大大简化的形式示意性示出，其中仅示出与对理解一个或各种实施方案(表示于本说明书中)相关的那些组件。仅出于说明目的而示出各种部件且呈现部件的布置。应当注意，在不脱离本文和下文所呈现的SST面部认证教导的情况下，更多或更少组件的其他布置都是有可能的。
此外，各种组件说明为一个或多个软件模块，所述一个或多个软件模块作为可执行指令驻存于非暂时性存储设备和/或硬件存储器中，所述可执行指令在由一个或多个硬件处理器执行时进行本说明书和下文所论述的处理。
本文和下文所呈现的用于SST面部认证的技术、方法和系统可以在具有一个或多个硬件处理器的不同硬件计算设备中所示的所有组件或某些组件组合中实施。
如本文和下文所用，术语“用户”、“消费者”和“客户”可以同义并且互换地使用。
系统100包括：具有一个或多个摄像头111、面部识别软件模块112(“面部识别112”)和背景图像采样器软件模块113(“背景图像采样器113”)的SST110。系统100还可以包括一个或多个另外的外部摄像头114(“另外的摄像头114”)，其图像/视频输出是SST 110可访问的。
系统100包括机器学习算法，该算法训练学习摄像头111和/或另外的摄像头114视野内的对象、结构和照明的物理环境。这些对象和结构以及照明条件在图1A中被称为视野(FOV)环境背景对象和条件120(“BC”120)。
最初，希望在SST 110处认证的用户130注册照片，进入企业获取照片，或提供移动设备的视频，用于注册用户面部以供面部认证。裁剪用户的实际图像(照片)，使得仅用户面部提供给注册图像(背景图像像素不记录或用于用户面部图像)。
在配置时段的初始配置和训练期期间，面部识别112从图像采样器113获取BC 120的图像的样本像素点。面部识别112还根据日内时间、周内某日、日历日等学习每个采样像素点的不同程度的光亮度、强度和颜色。采样像素点的像素值可根据光属性(亮度、强度、甚至颜色)而变化。日内时间、外部天气和年内某天也可影响采样像素点的像素值的光属性(太阳通常在一年的不同时间升起和落下、白昼时间中的风暴等)。
在一个实施方案中，配置时段的初始配置和训练期为24小时(1整天)。
在后续操作期间，当SST 110未被用户使用时，面部识别112使用图像采样器113持续训练和更新。所述持续训练允许面部识别112将未静止的对象与BC 120中的固定对象分开，例如窗框是静止的(如固定的)，但通过窗口检测到的对象是变化的，并且在初始训练期之后，窗口可以被罩子或窗帘覆盖或被另一个对象阻挡。图片和墙壁颜色也可以改变，并且可添加对象以及从BC 120移除对象。对于位于户外的SST 110，面部识别可以通过训练固定对象与暂时对象(诸如停车标志、道路、树木、建筑物、路灯、风暴中倒下的树木、正在建造的建筑物等)来持续学习。
在一个实施方案中，面部识别112也可以获取地理位置的当前天气条件，其中SST110通过网络连接定位。这允许初始和正在进行的动态训练根据当前天气来学习采样像素点的预期光属性。
摄像头111和另外的摄像头114(其在SST 110的环境内是固定的)从BC 120收集图像，并通过图像采样器113获取图像。提取采样像素点，并收集像素值，用于通过采样器113针对预先收集和那些像素点预期的像素值进行比较。照明属性(强度、颜色、亮度)的任何偏差都会触发对采样器113的刷新以执行像素点的重新采样，所述重新采样设置新采样像素点的像素值。
图1B是根据一个示例性实施方案的从用户面部和SST环境中的环境对象的图像处理的信息采样点的图解。
当用户130站在SST 110前面并尝试认证访问SST 110或与用户130相关的账户时，利用采样点(诸如图1B中的点F1—F6)的面部识别处理来执行面部识别处理，如果采样点不在用户130预期的预定阈值内，则认证失败。
在一个实施方案中，面部识别112执行摄像头111捕获的图像的深度分析，以确定是否存在可从用户面部的捕获图像检测到的充分检测的深度。这可以通过颜色分析来实现，因为打印图像具有与正常皮肤色调不匹配的独特颜色，或者根据打印机的质量，可具有过量的特定颜色。也可以检测面部的打印图像和实时图像之间的异常。捕获图像的比例相对于摄像头111的FOV的已知比例也可用于检测用户面部的实时图像与用户面部的打印图像的实时图像之间的异常。根据阈值，当深度看起来不存在时，面部识别失败并拒绝用户130的认证。
然而，当采样点在预定的阈值内时，认证不结束，正如生物识别面部识别通常的情况。相反，面部识别112在采样器中查阅B来自C 120的采样点(诸如图1B中的点A—D)。然后面部识别112确定来自BC 120的采样点是否在预期容限(阈值)范围内，如果它们在范围内则确认认证，如果它们不在范围内则认证失败。
要注意的是，许多像素点经过处理以用于根据图1B中所示内容进行面部识别；这样做是为了便于综合。类似地，这可以是超出图1B所示的更多的BC 120像素点。所以，本文提供的实施方案不限于一定总数的采样像素点，因为面部图像和/或BC 120中的对象的采样像素点总数可以配置为处理参数，甚至通过机器学习过程来针对BC 120进行动态调整/改变。
在用户130的面部认证期间，系统100禁止用户130尝试通过呈现摄像头111的FOV内的用户的视频(在用户操作的移动设备的显示器上)或图像(打印图像或在用户操作的移动设备的显示器上的显示图像)的面部识别来进行认证。这通过在SST 110的非交互期(没有用户130在SST 110进行交易)期间训练和持续学习来自针对BC 120所捕获的图像的采样像素点来实现。在面部认证期间，除了来自除摄像头111的视野的用户面部之外，还认证动态预期背景(BC 120–在针对BC 120的捕获图像中的预期像素点和这些像素点的光属性)。采样的背景图像像素点(针对BC 120)包括也用于认证BC 120的光属性。这实质上阻止了用户使用用户130的打印图像或使用置于摄像头111前面的移动设备显示器欺骗面部认证的能力，在所述移动设备显示器中播放用户的视频或显示图像以便被摄像头111捕获。如果用户尝试将用户130的真实尺寸裁切图像放置在摄像头111的视野前面，则上文讨论的深度检测处理可用于检测并阻止这种情况。
在一个实施方案中，采样器113也可以使用另外的(固定的)摄像头114来训练面部识别112。
在一个实施方案中，系统100可实施为任何固定计算设备，诸如服务器的台式计算机(用于认证对服务器机房中的服务器的直接访问)。
在一个实施方案中，面部识别112和采样器113可在服务器上或云处理环境中实施，通过所述服务器或云处理环境经由网络连接代表SST 100或任何联网的主要固定计算设备执行面部认证。
在一个实施方案中，SST 100以其中职员协助客户(销售点(POS)终端)的操作模式操作，并且可进行面部认证对职员进行认证来访问POS终端和/或对在POS终端处由职员服务的客户进行认证。
在一个实施方案中，SST 100是ATM。
在一个实施方案中，SST 100是自助服务亭。在一个实施方案中，自助服务亭是移动自助服务亭。
现在参考图2-图4讨论这些和其他实施方案。
图2是根据一个示例性实施方案的用于SST面部认证的方法200的图解。实施方法200的一个或多个软件模块被称为“面部认证器”。面部认证器被实施为可执行指令，所述可执行指令经编程且驻存于存储器和/或非暂时性计算机可读(处理器可读)存储介质内，并由硬件计算设备的一或多个硬件处理器执行。执行面部认证器的设备的处理器被专门配置并且编程以处理面部认证器。面部认证器可以在其处理期间访问一个或多个网络。所述网络可以是有线的、无线的，或有线与无线的组合。
在一个实施方案中，执行面部认证器的设备是SST 110。在一个实施方案中，SST110是ATM。在一个实施方案中，SST 110是自助服务亭。在一个实施方案中，SST 110以职员协助操作模式操作，其中职员在结账期间操作SST 110以代表客户执行交易。
在一个实施方案中，执行面部认证器的设备是服务器。
在一个实施方案中，执行面部认证器的设备是固定计算设备。
在一个实施方案中，面部认证器是模块112和113的全部或一些组合。
在210处，面部认证器从用户的捕获图像对表示背景和面部的像素采样。图像可以是当真实用户站在捕获图像的摄像头前面时所捕获的实时图像，或图像可以是摄像头以用户提供的打印图像、移动设备显示器上的显示图像、或移动设备显示器上播放的视频捕获图像的非实时图像。摄像头以捕获图像的预定质量(像素密度)和预定的视野(FOV)来捕获图像。来自图像的采样像素是来自图像和背景对象辨识面部的图像内的预定位置处的不同像素组。如上文结合图1A和1B所讨论，与面部认证器相关的机器学习处理可以基于检测到的其中摄像头捕获图像的物理环境的环境条件的变化来改变并且动态地更改与背景相关的预定位置。
根据一个实施方案，在211处，面部认证器辨识与背景相关的像素中的选择像素的光属性。
在211的一个实施方案中和212处，面部认证器确定表示下列的所述光属性值：光强度值、光亮度值和光颜色值。
在220处，在像素的值在像素的预期值的阈值范围(预定的范围)内时，面部认证器对用户进行认证来访问资源。
在一个实施方案中，在221处，面部认证器对图像进行深度分析处理以确定图像被呈现给捕获呈下列形式之一的图像的摄像头：打印图像、显示图像和视频。
在221的一个实施方案中并且在222处，当深度分析检测到指示图像深度丢失的图像异常时，面部认证器禁止用户的任何认证。上文结合图1A和图1B讨论了221和222处的处理。
在一个实施方案中，在223处，面部认证器对被辨识为来自捕获图像的像素的第一像素的面部像素执行面部识别。面部认证器还对被辨识为来自捕获图像的像素的背景像素执行背景识别。
在223的一个实施方案中并且在224处，面部认证器将面部像素提供给网络服务，以针对用户的注册面部像素进行面部识别处理。也就是说，在一些实施方案中，可以查阅基于网络的第三方服务，以在220处处理认证的面部识别部分。
根据一个实施方案，在230处，当用户不在现场时(不在摄像头的FOV前面)，面部认证器对仅表示背景的第二组像素进行采样。
在230的一个实施方案中并且在231处，当用户不在现场的同时以及不在现场时(不在摄像头的FOV前面)，面部认证器以预定的时间间隔重复230的处理。
在231的一个实施方案中并且在232处，面部认证器根据第二像素动态地更新与背景的背景像素相关的预期值中的选择预期值。
230-232的处理表示机器学习过程，在此期间面部认证器学习和更新摄像头的FOV的背景中的预期所见。随时间的推移，面部认证器学习：1)背景的物理环境内的暂时对象是什么，以及2)背景的固定或稍微固定对象是什么。这允许面部认证器动态地确定在捕获用户面部的图像时背景对象的预期背景的像素值应该是什么。
根据一个实施方案，在240处，面部认证器根据以下一者或多者来获取预期值中的选择预期值，作为背景的背景像素值：日内时间、日历日以及捕获图像的物理位置的当前天气条件(摄像头的地理位置–这可以通过应用程序编程接口(API)以及与基于网页的天气服务的网络连接获取)。
在一个实施方案中，在250处，面部认证器将预期值中的选择预期值保持为背景的背景像素值组，其中每个组与以下相关：不同的日内时间、不同的日历日、不同天气条件或以下的不同组合：日内时间、日历日以及摄像头的物理位置的天气条件。这允许面部认证器根据在由摄像头捕获图像的确切时间在物理位置预期存在的条件的预期光属性(如上文所讨论)来选择预期背景像素值。
图3是根据另一个示例性实施方案的用于SST面部认证的方法300的图解。实施方法300的一个或多个软件模块被称为“面部和环境认证器”。面部和环境认证器被实施为可执行指令，所述可执行指令经编程且驻存于存储器和/或非暂时性计算机可读(处理器可读)存储介质内，并由硬件计算设备的一或多个硬件处理器执行。执行面部和环境认证器的设备的处理器被专门配置并且编程以处理面部和环境认证器。面部和环境认证器可以在其处理期间访问一个或多个网络。所述网络可以是有线的、无线的，或有线与无线的组合。
在一个实施方案中，执行面部和环境认证器的设备是SST 110。在一个实施方案中，SST 110是ATM。在一个实施方案中，SST 110是自助服务亭。在一个实施方案中，SST 110以职员协助操作模式操作，其中职员在结账期间操作SST 110以代表客户执行交易。
在一个实施方案中，执行面部和环境认证器的设备是服务器。
在一个实施方案中，执行面部和环境认证器的设备是固定计算设备。
在一个实施方案中，面部和环境认证器是模块112、113和方法200的全部或一些组合。
在310处，面部和环境认证器根据物理环境从位于SST内或附近的至少一个摄像头捕获的多个图像训练背景图像认证器，在所述SST中执行面部识别认证。这是如上所述的机器学习训练过程。
在一个实施方案中，在311处，面部和环境认证器保持图像的背景像素的光属性值，所述光属性值表示：光强度、光亮度和光的颜色。这些属性是基于日内时间、日历日和天气条件的物理环境内的动态变化条件。
在311的一个实施方案中并且在312处，面部和环境认证器从至少两个摄像头获取图像，所述摄像头包括集成到SST中的第一摄像头和位于SST所处的物理环境内的SST外部的第二固定摄像头。
在320处，在SST的非交互期(其中没有客户/用户位于SST的SST时期)期间，针对通过至少一个摄像头捕获的关于物理环境的另外图像来动态地更新背景图像认证器。
在一个实施方案中，在321处，面部和环境认证器保持针对下列的背景像素组：日内时间、日历日、物理环境的地理位置的天气条件以及这些情况的组合。
在330处，面部和环境认证器在交互期(用户存在于SST处)期间处理背景图像认证器，在此期间至少一个摄像头捕获用户面部的面部图像。面部图像还包括表示其中SST位于的物理环境和至少一个摄像头的FOV中的一些部分的一些背景像素。
在一个实施方案中，在331处，面部和环境认证器可以激活背景图像认证器以用于在SST上处理或用于在服务器上处理，所述服务器在SST的外部并且经由SST与服务器之间的网络连接进行处理。
根据一个实施方案，在340处，当面部图像中的面部像素与用户面部的注册图像的注册像素匹配时，并且当背景图像认证器验证面部图像内包括的背景像素与捕获面部图像时物理环境的预期背景像素匹配时，面部和环境认证器对用户进行认证来访问SST。
图4是根据一个示例性实施方案的用于面部和环境认证器的另一系统400的图解。系统400包括多种硬件组件和软件组件。系统400的软件组件经过编程，且驻存于存储器和/或非暂时性计算机可读介质内，且在硬件设备的一个或多个硬件处理器上执行。系统400利用一个或多个网络进行通信，所述网络可以是有线的、无线的或有线与无线的组合。
在实施方案中，系统400实施上文参考图1A到图1B和图2到图3所论述的处理的全部或某种组合。
在一个实施方案中，系统400实现特别是图2的方法200。
在一个实施方案中，系统400实现特别是图3的方法300。
系统400包括SST 401、至少一个摄像头402以及具有面部和环境认证器404的服务器403。
在一个实施方案中，SST 401是ATM。
在一个实施方案中，SST 401是自助服务亭。在一个实施方案中，自助服务亭是移动自助服务亭。
在一个实施方案中，SST 401作为协助客户(另一种用户类型)在POS终端执行结账操作的职员(用户类型)所操作的POS终端，以客户协助操作模式操作。
面部和环境认证器404被配置为：1)在服务器403的至少一个硬件处理器上执行，动态地保持由SST 401的物理环境的至少一个摄像头402捕获的背景图像的至少一个背景轮廓，以及(iii)根据至少一个背景轮廓对用户面部图像中由至少一个摄像头402捕获的背景像素提供认证，以增强对面部图像中存在的面部像素的面部识别处理。
在一个实施方案中，面部和环境认证器404是模块112-113、方法200和/或方法300的全部或一些组合。
应当了解，以特定形式(例如，组件或模块)描述软件仅为了辅助理解，且并不旨在限制可以实施那些功能的软件的架构或构建形式。举例来说，虽然模块说明为单独的模块，但可作为同源代码、个别组件加以实施，这些模块中的一些(但并非所有)可以组合，或可以在以任何其他方便方式构建的软件中实施所述功能。
此外，尽管软件模块图示为在一件硬件上执行，但软件可跨越多个处理器或以任何其他方便方式分布。
在前述对实施方案的描述中，出于简化本公开的目的而将各个特征一并归到单个实施方案中。这种公开方法不应理解为反映所要求实施方案的特征比各权利要求中明确表述的特征要多。相反，正如所附权利要求书所反映，本发明的主题少于单个公开的实施方案的所有特征。因此，以下权利要求书在此并入具体实施方式，其中每项权利要求自身代表单独的示范性实施方案。

Claims (12)

1.一种方法，所述方法包括：
从所捕获的用户的图像对表示背景和表示所述用户面部的像素进行采样；以及
当所述像素的值在所述像素的预期值阈值内时对所述用户进行认证来访问资源。
2.根据权利要求1所述的方法，还包括当所述用户不在现场时对表示所述背景的第二像素进行采样。
3.根据权利要求2所述的方法，其中对所述第二像素进行采样还包括：当所述用户不在现场时以预定的时间间隔重复对所述第二像素进行采样。
4.根据权利要求3所述的方法，其中重复还包括：根据所述第二像素的所述采样动态地更新与所述背景像素相关的所述预期值中的选择预期值。
5.根据权利要求1所述的方法，还包括：根据以下一者或多者来获取所述预期值中的选择预期值作为所述背景的背景像素值：日内时间、日历日以及捕获所述图像的物理位置的当前天气条件。
6.根据权利要求1所述的方法，还包括：将所述预期值中的选择预期值保持为所述背景的背景像素组，每组与以下相关：不同的日内时间、不同的日历日、捕获所述图像的物理位置的不同天气条件，或以下的不同组合：日内时间、日历日以及所述物理位置的天气条件。
7.根据权利要求1所述的方法，其中采样还包括：辨识与所述背景相关的所述像素中的选择像素的光属性值。
8.根据权利要求7所述的方法，其中辨识还包括确定表示下列的所述光属性值：光强度值、光亮度值和颜色值。
9.根据权利要求1所述的方法，其中认证还包括：对所述图像进行深度分析处理以确定所述图像是否正在以下列形式之一呈现给捕获所述图像的摄像头：所述用户的打印图像、在移动设备的显示器上显示的显示图像以及在所述移动设备的显示器上播放的视频。
10.一种系统(SST)，其包括：
自助服务终端(SST)；
经接口连接至所述SST的至少一个摄像头；以及
具有面部和环境认证器的服务器；
其中所述面部和环境认证器被配置为：(i)在所述服务器的至少一个硬件处理器上执行；(ii)动态地保持由所述SST的物理环境的所述至少一个摄像头捕获的背景图像的至少一个背景轮廓，以及(iii)根据所述至少一个背景轮廓对用户面部图像中由所述至少一个摄像头捕获的背景像素提供认证，以增强对所述面部图像中存在的所述面部像素的面部识别处理。
11.一种方法，包括权利要求1-9中的任意一个技术特征或者技术特征的任意组合。
12.一种系统，包括权利要求10中的任意一个技术特征或者技术特征的任意组合。
CN201811058855.4A 2017-09-28 2018-09-11 自助服务终端(sst)面部认证处理 Active CN109635620B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/719,083 US10679082B2 (en) 2017-09-28 2017-09-28 Self-Service Terminal (SST) facial authentication processing
US15/719,083 2017-09-28

Publications (2)

Publication Number Publication Date
CN109635620A true CN109635620A (zh) 2019-04-16
CN109635620B CN109635620B (zh) 2023-12-12

Family

ID=63642915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811058855.4A Active CN109635620B (zh) 2017-09-28 2018-09-11 自助服务终端(sst)面部认证处理

Country Status (3)

Country Link
US (1) US10679082B2 (zh)
EP (1) EP3462379A1 (zh)
CN (1) CN109635620B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10893043B1 (en) * 2018-09-12 2021-01-12 Massachusetts Mutual Life Insurance Company Systems and methods for secure display of data on computing devices
CN110276892A (zh) * 2019-06-26 2019-09-24 深圳市腾讯计算机系统有限公司 无人售货方法、装置、设备及存储介质
JP7092104B2 (ja) * 2019-11-07 2022-06-28 日本電気株式会社 認証装置、認証システム、認証方法及びコンピュータプログラム
EP3961483A1 (en) * 2020-09-01 2022-03-02 Aptiv Technologies Limited Method and system for authenticating an occupant within an interior of a vehicle
US11816668B2 (en) * 2022-01-03 2023-11-14 Bank Of America Corporation Dynamic contactless payment based on facial recognition
US20230316254A1 (en) * 2022-03-29 2023-10-05 Shopify Inc. Method and system for customer responsive point of sale device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110164792A1 (en) * 2010-01-05 2011-07-07 Samsung Electronics Co., Ltd Facial recognition apparatus, method and computer-readable medium
US20110188712A1 (en) * 2010-02-04 2011-08-04 Electronics And Telecommunications Research Institute Method and apparatus for determining fake image
CN104166835A (zh) * 2013-05-17 2014-11-26 诺基亚公司 用于识别活体用户的方法和装置
CN104915649A (zh) * 2015-06-04 2015-09-16 南京理工大学 一种应用于人脸识别的活体检测方法
US20160063235A1 (en) * 2014-08-28 2016-03-03 Kevin Alan Tussy Facial Recognition Authentication System Including Path Parameters
US20160379042A1 (en) * 2015-06-25 2016-12-29 Confirmix LLC Apparatuses, systems, and methods for confirming identity
CN106778518A (zh) * 2016-11-24 2017-05-31 汉王科技股份有限公司 一种人脸活体检测方法及装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2341231A (en) * 1998-09-05 2000-03-08 Sharp Kk Face detection in an image
CA2359269A1 (en) * 2001-10-17 2003-04-17 Biodentity Systems Corporation Face imaging system for recordal and automated identity confirmation
US20080002864A1 (en) * 2006-06-29 2008-01-03 Eastman Kodak Company Using background for searching image collections
US8121356B2 (en) * 2006-09-15 2012-02-21 Identix Incorporated Long distance multimodal biometric system and method
US8331674B2 (en) * 2007-04-06 2012-12-11 International Business Machines Corporation Rule-based combination of a hierarchy of classifiers for occlusion detection
US8699857B2 (en) * 2007-12-06 2014-04-15 Olympus Imaging Corp. Reproducer, digital camera, slide show reproduction method, program, image display apparatus, image display method, image reproduction method, and image display program
JP5072655B2 (ja) * 2008-03-03 2012-11-14 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
US8218831B2 (en) * 2008-06-30 2012-07-10 Cisco Technology, Inc. Combined face detection and background registration
TWI390465B (zh) * 2009-06-19 2013-03-21 Primax Electronics Ltd 用於背景去除之影像處理方法
US8253792B2 (en) * 2009-08-28 2012-08-28 GM Global Technology Operations LLC Vision system for monitoring humans in dynamic environments
US20110211737A1 (en) * 2010-03-01 2011-09-01 Microsoft Corporation Event Matching in Social Networks
US9465993B2 (en) * 2010-03-01 2016-10-11 Microsoft Technology Licensing, Llc Ranking clusters based on facial image analysis
US20120155717A1 (en) * 2010-12-16 2012-06-21 Microsoft Corporation Image search including facial image
US9025830B2 (en) * 2012-01-20 2015-05-05 Cyberlink Corp. Liveness detection system based on face behavior
KR101884337B1 (ko) * 2012-04-26 2018-08-01 삼성전자주식회사 영상 인식 방법 및 장치
US9799099B2 (en) * 2013-02-22 2017-10-24 Cyberlink Corp. Systems and methods for automatic image editing
GB2500823B (en) * 2013-03-28 2014-02-26 Paycasso Verify Ltd Method, system and computer program for comparing images
JP6295534B2 (ja) * 2013-07-29 2018-03-20 オムロン株式会社 プログラマブル表示器、制御方法、およびプログラム
JP6119991B2 (ja) * 2013-08-23 2017-04-26 ブラザー工業株式会社 画像処理装置およびコンピュータプログラム
US9530067B2 (en) * 2013-11-20 2016-12-27 Ulsee Inc. Method and apparatus for storing and retrieving personal contact information
US10614204B2 (en) * 2014-08-28 2020-04-07 Facetec, Inc. Facial recognition authentication system including path parameters
US9811649B2 (en) 2014-11-13 2017-11-07 Intel Corporation System and method for feature-based authentication
US10198645B2 (en) * 2014-11-13 2019-02-05 Intel Corporation Preventing face-based authentication spoofing
WO2016084072A1 (en) * 2014-11-26 2016-06-02 Isityou Ltd. Anti-spoofing system and methods useful in conjunction therewith
KR102290392B1 (ko) * 2014-12-02 2021-08-17 삼성전자주식회사 얼굴 등록 방법 및 장치, 얼굴 인식 방법 및 장치
MX368852B (es) * 2015-03-31 2019-10-18 Thermal Imaging Radar Llc Configuración de diferentes sensibilidades de modelos de fondo mediante regiones definidas por el usuario y filtros de fondo.
US10990808B2 (en) * 2016-02-09 2021-04-27 Aware, Inc. Face liveness detection using background/foreground motion analysis

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110164792A1 (en) * 2010-01-05 2011-07-07 Samsung Electronics Co., Ltd Facial recognition apparatus, method and computer-readable medium
US20110188712A1 (en) * 2010-02-04 2011-08-04 Electronics And Telecommunications Research Institute Method and apparatus for determining fake image
CN104166835A (zh) * 2013-05-17 2014-11-26 诺基亚公司 用于识别活体用户的方法和装置
US20160063235A1 (en) * 2014-08-28 2016-03-03 Kevin Alan Tussy Facial Recognition Authentication System Including Path Parameters
CN104915649A (zh) * 2015-06-04 2015-09-16 南京理工大学 一种应用于人脸识别的活体检测方法
US20160379042A1 (en) * 2015-06-25 2016-12-29 Confirmix LLC Apparatuses, systems, and methods for confirming identity
CN106778518A (zh) * 2016-11-24 2017-05-31 汉王科技股份有限公司 一种人脸活体检测方法及装置

Also Published As

Publication number Publication date
US10679082B2 (en) 2020-06-09
EP3462379A1 (en) 2019-04-03
US20190095737A1 (en) 2019-03-28
CN109635620B (zh) 2023-12-12

Similar Documents

Publication Publication Date Title
CN109635620A (zh) 自助服务终端(sst)面部认证处理
CN110046899A (zh) 安全手势认证
CN110569695B (zh) 基于定损图像判定模型的图像处理方法和装置
KR101443031B1 (ko) 얼굴 인식 서비스 제공 방법
WO2017146160A1 (ja) 顔照合システム、顔照合方法、及び記録媒体
ES2390295T3 (es) Identificación de personas usando múltiples tipos de entradas
CN109255299A (zh) 身份认证方法和装置、电子设备和存储介质
CN109190586A (zh) 顾客到访分析方法、装置及存储介质
KR20200118842A (ko) 신원 인증 방법 및 장치, 전자 기기 및 저장 매체
CN110163053B (zh) 生成人脸识别的负样本的方法、装置及计算机设备
CN110516672A (zh) 卡证信息识别方法、装置及终端
CN109214303A (zh) 一种基于云端api的多线程动态人脸签到方法
CN112102402B (zh) 闪光灯光斑位置识别方法、装置、电子设备及存储介质
CN109978552B (zh) 一种基于身份证信息的支付处理方法、装置及设备
US11651624B2 (en) Iris authentication device, iris authentication method, and recording medium
US20160125231A1 (en) Systems and Methods for Enhanced Document Recognition and Security
CN110288755A (zh) 基于文本识别的发票检验方法、服务器及存储介质
Tamilkodi Automation system software assisting educational institutes for attendance, fee dues, report generation through email and mobile phone using face recognition
CN105894288A (zh) 一种超市面部支付平台的使用方法
CN111767845B (zh) 证件识别方法及装置
RU2747759C2 (ru) Способ и система генерирования сигнатуры поверхности
EP4064119A1 (en) Method and system for identifying a person
CN107767476A (zh) 一种基于移动互联网具有防欺诈措施的快速签到方法
JP2013003751A (ja) 顔照合システム及び顔照合方法
Yasmeen et al. Intelligent systems powered hourly attendance capturing system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 864 Northwest Spring Street, Atlanta, Georgia, USA

Patentee after: NCR Voix Co.

Country or region after: U.S.A.

Address before: 864 Northwest Spring Street, Atlanta, Georgia, USA

Patentee before: NCR Corp.

Country or region before: U.S.A.

CP03 Change of name, title or address