CN111066023A - 检测系统、检测设备及其方法 - Google Patents

Abstract

提供了一种图像处理设备。该设备包括被配置成从与用户相关联的图像确定第一区域(403)的处理装置，其中，第一区域与表征用户的一个或多个特征相关联，并且其中，第一区域与第一组样本值相关联；从与用户相关联的该图像或另一图像确定第二区域(701)，其中，第二区域与第二组样本值相关联，其中，第二组样本值中的至少一些的位置与第一组样本值的位置不同；以及基于与第二区域相关联的样本值从第二区域确定表征值。

Description

检测系统、检测设备及其方法

技术领域

本公开总体上涉及图像处理系统。更具体地，本公开涉及用于检测诸如顾客或乘客之类的个体的系统、设备、方法或计算机程序、或者供代理(agent)使用的设备。更具体地，本公开涉及用于检测乘客的系统，该系统可以由机场或其他交通枢纽(诸如火车站或汽车站)处的安全代理、航空公司代理或其他代理使用。

背景技术

面部辨识(recognization)和面部匹配是广泛使用的生物特征识别(identification)系统，其会减少在识别过程中进行人工评估的需求。与其他生物特征识别系统(诸如视网膜或指纹扫描)相比，面部辨识简单、用户友好且方便。然而，这种已知的面部辨识系统很容易被“欺骗(spoofing)”攻击所欺骗，在“欺骗”攻击中，人会哄骗系统来辨识不同的面部。例如，这可以通过使用打印的图像或面具以示出不同的面部来实现。为了解决这个问题，面部匹配和辨识系统通常使用活体(liveness)检测措施来使用诸如面部运动、纹理和生命迹象之类的指示符评估匹配的面部是“活体的(live)”还是“非活体的(non-live)”。然而，如下所述，此类系统具有许多缺点。

一种活体检测措施是运动分析，该运动分析评估面部的某些特征如何相对于彼此移动。当以2D渲染3D面部时，由于透视，面部的中央特征(诸如鼻子)比面部的外部特征移动得多得多。相反，在2D面部的特征之间没有相对移动。然而，依赖于相对面部运动的系统需要高质量的视频相机，所述视频相机可能会受到不良环境光的影响，并且在用户保持非常静止时无法正常工作。另一种活体检测措施是纹理分析，它需要庞大且多样的数据集才能产生准确的结果，通常需要附加的硬件(诸如红外相机)，并且使用包含很少纹理信息的照片就能够被欺骗。最后，包括分析生命迹象(诸如眨眼)的活体检测措施需要附加的硬件，并且可能会因要求用户在特定时间执行特定手势或运动而干扰使用。

现有系统还具有以下问题：给出较高的错误警报率、使用CPU密集型算法或需要昂贵的硬件。

发明内容

本公开的实施例试图通过提供一种图像处理设备来解决上述问题，所述图像处理设备包括：被配置成执行以下操作的处理装置：从与用户相关联的图像中确定第一区域，其中所述第一区域与表征所述用户的一个或多个特征相关联，并且其中所述第一区域与第一组样本值相关联；从与所述用户相关联的所述图像或另一图像中确定第二区域，其中所述第二区域与第二组样本值相关联，其中所述第二组样本值中的至少一些的位置与所述第一组样本值的位置不同；以及从所述第二区域或所述第二组样本值确定表征值。优选地，基于与所述第二区域相关联的一个或多个样本值来确定所述表征值。

本公开的实施例可以从与所述用户相关联的图像中确定第一区域，其中所述第一区域与表征所述用户的一个或多个特征相关联；从与所述用户相关联的所述图像或另一图像中确定第二检测区域，其中所述第二检测区域紧邻所述第一区域；以及从所述第二检测区域中确定表征值。通常，所述第二区域与所述第一区域不同。

本公开的实施例可以提供一种用于认证用户的设备，所述设备包括处理装置，所述处理装置被配置成：从与所述用户相关联的图像中确定与表征所述用户的一个或多个特征相邻的区域(701)；从所述区域(701)确定表征值；以及基于所确定的表征值来认证所述用户。优选地，所述处理装置还被配置成从与所述用户相关联的图像中减除背景图像。

通常，表征所述用户的特征包括定义用户的身体、头部或面部的特征，诸如用户的眼睛、鼻子、嘴巴、耳朵、头发等中的任何一个或多个。

优选地，所述处理装置还被配置成基于所确定的表征值来确定与所述用户相关联的图像是否是真实的。第二检测区域距离可以与第一区域隔开多个像素。所述两个区域可以彼此相邻或邻近。通常，第一区域包含表征所述用户的一个或多个特征。

因此，本公开的实施例可以分析一系列图像以确定与用户相关联的图像是否是真实的或者与用户相关联的图像是否是欺诈、骗局或伪造。这可以通过区分与用户相关联的二维图像和与用户相关联的三维图像来完成。

此外，本公开的实施例可以分析一系列图像以确定与用户相关联的图像是否是“活体的”或者该图像是否实际上与“欺骗”尝试有关。

因此，将认识到，本公开的实施例提供了对使用打印的面部或显示在屏幕上的面部的欺骗技术的有效解决方案。

此外，本公开的实施例具有以下优点：非常快的响应时间、非常低的错误警报率、以及在变化的照明条件下的极优性能。此外，本公开的实施例具有以下优点：其不需要用户交互并且可以使用相对便宜的硬件。

附图说明

现在将仅通过示例参考附图描述本公开的实施例，附图中：

图1是体现本公开的主要功能组件的示意图；

图2示出了简化图像的序列以及本公开的实施例如何处理这些图像；

图3示出了描绘背景的一组图像，其中不存在用户；

图4示出了真实用户和欺诈用户的一组用户图像和对应的面部位置；

图5示出了用户图像以及可以如何调整该图像以使白平衡和亮度与背景图像匹配；

图6示出了通过减除背景得到的前景掩码(mask)图像；

图7是其中识别出了面部区域、检测区域和每个区域的特性的用户图像；

图8示出了其中识别出了面部区域和检测区域的前景掩码图像；

图9示出了用于确立(establish)图像是真实还是欺诈的布尔计算的表示；

图10示出了一系列图像，其描绘了欺骗尝试的过程和结果；以及

图11是示出由本公开的实施例执行的步骤的流程图。

具体实施方式

以下描述是针对供航空行业中使用的系统，但这是示例性的，并且还将讨论本公开的其他应用。例如，该系统可以在可以实施面部辨识技术的任何环境中使用。因此，本公开的实施例通常在安全行业中以及在其他旅行行业中找到应用，诸如铁路、长途汽车、汽车以及广义的边界控制。

另外，所描述的以下实施例可以使用例如使用OpenCV库的C++编程语言来实现。然而这是示例性的，并且可以使用技术人员已知的其他编程语言，诸如JAVA和.xml。

转向图1，该系统可以包括图像捕获单元103(诸如视频记录单元或视频相机)和图像处理单元101中的任何一个或多个。

图像捕获单元103可以被配置成捕获图像或图像序列。在一个示例中，诸如数字相机之类的相机可以用于捕获图像或图像序列。因此，图像捕获单元103可以被配置成捕获图像序列作为视频。

在优选实施例中，图像捕获单元103包括视频相机和处理器，并且可操作以捕获用户的活体图像以在面部辨识和活体检测过程中使用。然而，将意识到，该系统也可以使用先前存储的图像来操作，由此图像捕获单元103还包括用于存储图像的存储器。图像捕获单元103通信耦合到图像处理单元101，以使得能够将图像发送给图像处理单元101以进行分析。因此，该系统适用于活体图像分析和对先前存储的图像的分析二者。

该系统还可以包括扫描单元109和附加的后端系统107，诸如用户验证单元。图像处理单元101、扫描单元109和后端系统107可以通过网络连接111来连接。

图像处理单元101可以经由本领域技术人员将已知的有线或无线传输装置而通信耦合到附图的图1中所示的任何一个或多个不同的功能组件。

图像捕获单元103和图像处理单元101可以独立地操作或者形成所应用的边界控制关口(ABC关口)的一部分，该边界控制关口还可以包括指纹扫描仪、智能卡读取器、条形码读取器和打印机等。

图像处理单元101包括处理器，并且通常包括用户接口、存储器和显示器中的任何一个或多个。图像处理单元101接收由图像捕获单元103捕获的图像，并且使用下面进一步描述的已存储的算法来分析图像以确定与用户相关联的图像是真实的还是欺诈的。显示器可以示出分析的结果，或者替换地，可以将结果传送给分离的后端系统107。

在一些实施例中，该系统可以包括扫描单元109，该扫描单元109包括护照读取器、处理器和存储器。扫描单元109可操作以记录用户的详细信息，诸如他们的旅行证件或生物特征。扫描单元109可以被包括在系统中，其中与活体检测并行地分析面部验证(verification)。

在一些实施例中，该系统可以包括后端系统107，该后端系统107可以包括数据库、处理器、存储器、显示器和用户接口。后端系统107可以经由互联网连接来提供对飞机离场系统、行李处理系统和面部验证系统的访问，上述系统向该系统提供附加的功能性。

在下面的描述中，术语欺骗可以指一个个体例如通过将其面部藏在另一用户的图像后面而伪装成另一个个体或隐藏其身份的过程。

术语用户图像可以用于指代当用户在图像捕获单元103前面时从视频流中选择的用户的图像。

可以在用户移动到视频相机的视场之前几秒钟时将一个或多个背景图像记录在存储器中或存储在缓冲区中。背景图像的目的是提供对位于用户图像的背景中的不动特征的估计。当背景图像和用户图像紧接彼此地被捕获时，在用户图像中出现在用户后面的背景特征与背景图像的特征基本相同。

术语前景掩码图像(foreground mask image)可以用于指代用户图像的修改版本，借由其已经使用背景减除而从用户图像中去除了背景。前景掩码可以示出用户图像中的前景对象的估计。

术语面部区域可以用于指代用户图像或前景掩码的被图像处理单元识别出包含用户面部的区域。

术语面部百分比(ProcentFace)可以用于指代用于从面部区域来计算检测区域大小的参数。

术语面部距离(FaceDistance)可以用于指代用于计算检测区域相对于面部区域的移位或位置的参数。

术语判定阈值(decision threshold)可以用于指代用于基于得分与判定阈值之间的比较来计算系统返回哪个判定(即，活体或欺骗)的参数。

例如，第一阈值可以与用于检测照片欺骗尝试的第一组参数相关联。

例如，第二阈值可以与用于检测屏幕欺骗尝试的第二组参数相关联。

在一个示例中，如果超过了第一阈值和第二阈值中的任何一个或多个，则该算法确定该图像不是真实的并且该图像与欺骗尝试有关。

经适配的用户图像可以指代其中已根据任何照明变化而适配或调整了整个用户图像的白平衡或/和亮度(luminance)的图像。可以这样做以使图像的一小部分以及由此整个背景与背景图像的照明条件相匹配。

系统操作

图2示出了示例性图像的简化概览，本公开的实施例可以使用该示例性图像来检测真实用户或欺骗尝试。图像201和202表示背景图像，图像203和204表示用户图像，并且图像205和206表示前景掩码图像。

图像201、203、205示出了系统在分析真实用户时使用的图像的表示，而图像202、204、206示出了系统在分析欺骗尝试时使用的图像的表示。在优选实施例中，在分析期间使用8位图像。

对于欺骗和“活体”这两种情况，捕获背景图像201、202以及用户图像203、204。将背景图像和用户图像发送到图像处理单元101，图像处理单元101确定所述图像包括表征用户的一个或多个特征，诸如其面部。此外，在步骤1101处，图像处理算法可以定位用户面部在图像内的位置，并识别与用户图像相关联或位于用户图像上的面部区域213、214。

图像处理算法然后通过从用户图像203、204中减除背景图像201、202来确定前景掩码205、206。图像处理算法然后将识别出的面部区域213、214映射到前景掩码。算法然后在步骤1103处从面部区域位置推断出检测区域215、216。特定检测区域215、216的详细选择在下面进一步详细描述。

图像处理单元然后分析检测区域内的像素以估算检测区域内的平均像素值。估算平均检测区域像素值使算法能够评估用户是否正在尝试欺骗面部辨识系统。在步骤1105处，图像处理单元通常通过执行与所确定的检测区域相关联或在其内的像素的像素明亮度(brightness)值的求和并将该和除以与该检测区域相关联或在该检测区域内的像素数来确定平均明亮度。

现在将参考附图的图3至图10描述本公开的另一实施例。图3至图7可以是彩色图像，但是为了清楚起见，在这些图中将它们示为线图。例如，可以根据众所周知的JPEG格式来定义数字图像，但是可以使用任何图像格式。例如，图像可以包括根据RGB颜色模型或YCbCr模型的样本值或像素，在YCbCr中有亮度(luma)值(Y)和色度值，每个色度值具有Cb和Cr分量。

在该实施例中，图像捕获单元103在用户进入用户处理区之前捕获背景图像。

图3示出了背景图像301的示例。在所示的背景图像301中，用户尚未完全出现在相机的视场中。一旦被捕获，图像就从图像捕获单元103传送到图像处理单元101。可以使用三个不同的图像301a、301b和301c来计算背景的模型图像。模型图像可以用作背景图像。替换地，可以选择图像301a、301b和301c中的任何一个作为背景图像。

系统可以使用触发机构或设备来捕获背景图像301。触发设备可以通信地耦合到图像处理装置或/和图像捕获单元。因此，可以响应于使用触发机构检测到用户来执行图像处理算法。

触发机构的示例可以包括红外检测器，其检测扫描其护照的用户或检测最后一个离开用户处理区的用户。这些触发事件中的每一个都发生在用户出现在相机的视场中之前。因此，相机能够记录其中不存在用户的背景特征。替换地，视频相机可以捕获连续的视频流，由此图像处理单元101识别出要分析的视频流的相关部分。系统使用的图像可以是以任何格式。在一些实施例中，由视频相机捕获的图像是JPEG格式。

重要的是，示出前景估计的前景掩码实质上表示了用户并且不包含背景特征。背景图像和用户图像的背景特征之间通常几乎没有差异。如果不是这种情况，则该算法将错误地检测到欺骗尝试而导致错误警报率增加的的概率会增大。

通过去除背景中的移动对象可以降低错误警报率。通常，在繁忙的环境中，背景的视频记录将包括移动的对象，诸如经过的人或载具。然而，静态背景特征(诸如建筑基础设施、家具、植物等)不会移动，并且也将存在于用户图像的背景中。

因此，在一些实施例中，在背景包含许多移动对象的情况下，图像处理单元101可以分析视频记录以通过数字方式去除移动的特征，以便创建背景特征的估计。替换地，可以将从视频记录的多个帧中识别出的静态背景特征整理(collate)成单个背景图像。

在替换实施例中，在已知背景中将几乎没有移动对象的情况下，图像处理单元101可以从视频流中选择一个或多个帧以确定背景特征。与分析整个视频流相比，这样做的益处在于需要较少的计算。

一旦已使用背景图像301估计出了背景，图像捕获单元103就捕获用户图像。在图4中示出了用户图像的示例。

在第一示例中，“活体”用户进入了用户处理区，并且在用户处于前景中的情况下记录或缓冲图像401。在第二示例中，记录或缓冲尝试欺骗面部辨识系统的用户的图像402。

在使用视频相机记录用户的情况下，可以通过算法选择最适合的帧来进行分析。例如，其中用户不眨眼或没有避开相机的帧将适于进行分析。一旦面部匹配算法确认了用户的身份，就可以选择帧。

由图像捕获单元103捕获的用户图像401、402被传递到图像处理单元101，图像处理单元101分析用户图像以检测或/和定位图像中用户面部的位置。可以使用已知的面部定位技术来执行面部定位，诸如能够检测诸如眼睛和鼻子之类的面部特征的面部定位算法。一旦定位了面部，图像处理单元就在步骤1101处在用户图像401上识别面部区域403。这可以使用OpenCV和开源算法来实现。

在优选实施例中，使用哈雾级联(Haar Cascade)方法来执行面部检测，该方法使用被训练以辨识图像内的哈雾类特征的分类器。哈雾级联算法的一个特定示例是cv2.CascadeClassifier('haarcascade_frontalface_default.xml')。该算法可以在http://docs.opencv.org/trunk/d7/d8b/tutorial_py_face_detection.html处找到。哈雾类特征包括边缘特征、线特征、对角线特征和中心特征。

使用示出要辨识的对象的大量正样本和示出没有该对象的任意图像的负样本来对分类器进行训练，以识别特定对象，例如面部。

在图像的后续分析期间，分类器在分离的阶段中识别图像中存在的每个哈雾类特征。第一阶段将图像的特定区域标记为正(即包含第一个哈雾类特征)或负。如果图像的区域被正向标记，则下一阶段将以级联方式进一步分析该区域。如果每个阶段都正向标记一个区域，则分类器会将该区域识别为包含该对象。

像素坐标系通常被定义为笛卡尔坐标系，其原点位于图像或屏幕的左上角。特定像素位置(x,y)将从原点开始的该位置定义为原点右边的x个像素和原点下边的y个像素。

在其他像素坐标系中，原点可以位于图像或屏幕的左下角。在该情况下,特定像素位置(x,y)会将从原点开始的该位置定义为原点右边的x个像素和原点上边的y个像素。

通常，用矩形区域围住检测到的特征，该矩形区域可以称为面部区域，由宽度和高度来定义。因此，该算法从与用户相关联的图像确定第一区域，并且通常，第一区域(403)围住由该算法识别的一个或多个特征。

在一个实施例中，该算法通过返回图7中所示的区域403的左上角和右下角的坐标来定义该矩形区域。在其他实施例中，该算法通过返回该区域的左上角的坐标以及区域高度和区域宽度来定义该矩形区域。通常，第一区域的宽度对应于或匹配于检测区域的宽度。

也识别包含一组已辨识特征的区域的其他面部检测方法是可用的。例如，在替换实施例中，可以使用软件开发套件NexaFace^TM面部辨识软件来识别包含一组面部特征的区域。

在一个实施例中，面部检测算法通过返回与包含面部特征的区域的左上角和右下角相对应的坐标来识别区域的位置。该区域由算法返回的坐标所定义的矩形来表示。在其他实施例中，该区域由矩形表示，该矩形由该区域的特定角的像素坐标、与该区域宽度相对应的像素数和与该区域高度相对应的像素数来定义。

在本公开的实施例中，使用该区域来定义用户面部区域403、检测区域701，并且矩形边界的参数定义面部高度参数，如下文进一步描述的那样。

图5示出了可以如何适配用户图像的特性以匹配背景图像的特性的示意性表示。

这可能是需要的，因为用户图像401的背景由于相机可能自动调整记录背景图像301与用户图像401之间的增益控制或白平衡而可能与背景图像301不匹配。为了克服该问题，图像处理单元101适配用户图像的特性以校正用户图像401与背景图像301之间的任何照明变化。

使用经适配的用户图像可以允许产生前景掩码，其是前景对象的精确表示。这意味着降低了系统的错误警报率。

如图5中所示，图像处理单元101通过分析背景图像子部分(subsection)511来确定背景图像301的照明条件。背景图像子部分511的位置应被选择成使其通常不包括用户。因此，该背景的小部分在用户图像512中也应该是可识别的。合适的示例可以是图5中所示的图像右上角的小矩形区域511、512、513。

接下来，图像处理单元101比较背景子部分511与用户图像子部分512之间的照明条件，并计算图像之间的相对照明变化。如果存在任何差异，则图像处理单元101通过根据照明变化调整整个用户图像401的亮度来创建经适配的用户图像501，以使得该小部分513以及因此的整个背景与背景图像301的照明条件相匹配。

因此，将认识到，图像处理算法可以比较框511和513中的相似或相同位置中的对应像素的像素亮度值，并确定与这些像素相关联的亮度值之间的差。该算法还可以基于所确定的差来修改图像501中的所有像素的像素亮度值，以使得它们匹配或具有基本相等的值。

类似地，可以对任何图像执行可选的自动白平衡校正操作。白平衡操作可以对整个图像执行，并且通常不与其他图像相关。因此，可以对两个图片或图像执行相同的白平衡算法。这意味着在对图像执行了自动白平衡校正算法之后，即使捕获了该图像的相机在捕获了一张图像之后但是在捕获下一张图像之前改变了其白平衡设置，与两张不同图像相关联的白平衡也应基本匹配或接近。

产生经适配的用户图像501的优点在于允许系统在不同的照明条件范围内可靠且准确地操作，并且抵消视频相机在操作时可能执行的任何自动增益控制或白平衡。因此，与经适配的用户图像401相关联的一个或多个值或参数可以基本上和与背景图像301相关联的值或参数相匹配。

图6示出了前景掩码图像601的示例。通过在所选择的帧图像与背景图像或背景模型图像之间执行逐像素减除，可以使用背景减除算法来将用户图像前景估计为黑白图像。

在一些实施例中，用于执行背景减除的算法可以包括技术人员将已知的基于高斯混合的背景/前景分割算法。例如，可以使用诸如cv::BackgroundSubtractorMOG2之类的算法。该算法可以在http://docs.opencv.org/trunk/d7/d7b/classcv_1_1BackgroundSubtractorMOG2.html处找到。

该算法可以基于背景和与用户图像相关联的片段或像素的高斯加权混合来执行背景减除。这会得到使用背景图像(或背景模型图像)和用户图像产生的前景掩码图像。

如果该算法确定了背景图像很好地描述了用户图像中的特定像素，则该算法会将前景掩码图像中的对应像素标记为具有值0的黑色像素。如果该算法确定了背景图像并未很好地描述特定像素，则将前景掩码图像中的对应像素标记为具有固定非零值的白色像素。

因此，前景掩码图像601通常是黑白图像，其中黑色像素具有相关联的强度值0。黑色像素可以表示被减除的背景或与之相关联，并且白色像素可以表示图像前景中的特征或与之相关联。白色像素可以具有相关联的非零值。例如，在一个实施例中，白色像素具有值255。替换地，白色像素可以由值1来表示。

分析前景掩码601的像素值的优点包括提供确定用户是否尝试欺骗面部辨识软件的有效方式。

再次参考图2，利用移动设备上的照片或护照照片进行的欺骗尝试通常将在被拍摄的面部的边缘与背景之间具有边界。在创建前景掩膜205、206时，由于欺骗图像中存在边界，因此活体用户和欺骗尝试创建了不同的前景估计。可以使用紧邻面部区域213、214的检测区域215、216来执行在前景掩码205、206中的用户的面部边缘与背景之间存在多少前景边界的计算，如下文进一步描述的那样。

现在参考图7，在步骤1103处，图像处理单元101从已知的面部区域403的位置推断出检测区域701的位置。先前确定的面部区域403的位置可以被映射到经适配的用户图像501(如图7中所示)上或映射到前景掩码601上。可以使用任何像素坐标系将位于用户图像401上的面部区域403直接映射到前景掩码的对应像素。

图7示出了特定的示例性算法所使用的面部区域403和检测区域701以及检测区域高度和检测区域距离。利用该算法，可以通过检测区域距离＝面部高度×面部距离来计算从面部区域403到检测区域701的距离，并且通过检测区域高度＝面部高度×ProcentFace来计算检测区域的大小。面部距离和ProcentFace是可调整的参数，其分别确定从面部区域到检测区域的距离和检测区域高度。通常，检测区域的宽度对应于面部区域的宽度。

面部高度702被定义为以像素为单位的面部区域的高度。在使用5MP相机的实施例中，面部区域的高度的大小可以在300至400像素之间。检测区域距离703被定义为从面部区域的顶部到检测区域的底部的距离。通过将面部区域的高度、即面部高度702乘以参数面部距离来计算检测区域距离703。如果面部距离值为零，则检测区域的底部与面部区域的顶部之间没有间隔。如果面部距离具有非零值，则检测区域将间隔面部高度的倍数，如图7中所示。正的面部距离值使算法能够忽略可能位于用户头部的帽子或其他对象。

尽管未在图7中示出，但是面部距离可以具有负值，在这种情况下，检测区域和面部区域将重叠。在面部检测算法返回的面部区域非常大的实施例中，负的面部距离值较为优选。

面部距离的参数值优选地在-0.2到2的范围内。低于此范围的参数值可能会导致面部区域与检测区域之间的重叠过大。如果发生这种情况，则检测区域可能包括部分的用户面部，从而导致较高的错误警报率。高于上述范围的参数值会导致检测区域离用户图像太远。这可能会导致检测区域不再落入经适配的用户图像501内。再次，这会导致较高的错误警报率。

检测区域高度704被定义为以像素为单位的检测区域的高度。通过将面部区域的高度、即面部高度702乘以参数ProcentFace来计算检测区域高度704。因此，检测区域高度704与面部高度702成正比。

为了使检测区域存在，ProcentFace参数必须具有非零的正值。优选地，ProcentFace值小于2。

通过针对由活体(即非欺骗性的)用户的使用期间的许多不同参数值计算错误警报率来估算参数值。通过选择会产生可接受结果的一组最佳参数值，可以估算一组可行的参数，这可以以可接受的准确率成功地检测欺骗尝试。

下面的表1示出了示例的一组参数值以及它们针对特定数据集的错误警报率和检测率。表1示出了调整阈值对系统错误警报率和检测率所具有的影响。表1还示出了不同的欺骗技术与不同的最佳参数值相关联。在一个实施例中，该算法使用两个参数值并行计算来确定是否其中有一组参数得出了检测到欺骗尝试。

表1：面部距离参数和ProcentFace参数的示例值以及针对两个不同参数设置的相关联的阈值、错误警报率和检测率。

该表中示出的具体的值最小化了错误警报率，同时提供了生产环境中的可接受的检测率。

通常，面部距离和ProcentFace值或参数是固定参数。通常，由前面描述的面部检测算法来确定面部高度参数。

在上面的描述中，可以通过最小化系统的错误警报率并最大化检测率来优化区域参数和算法阈值。然后可以使用对大量面部数据集执行的大量计算来测试参数和阈值。

参数和阈值设置分别定义了检测区域的几何形状和要在检测区域内改变的灵敏度。

涉及到屏幕或护照图像的欺骗技术可能需要不同的最佳区域参数和阈值设置，以确保正确的检测率，同时保持足够低的错误警报率。例如，当检测区域位于紧邻面部区域时，针对屏幕欺骗尝试的检测率和错误警报率是最佳的。与之相比，当检测区域位于距面部区域较远但具有更高的灵敏度时，针对护照欺骗尝试的检测率和错误警报率是最佳的。

因此，对于单次欺骗尝试，图像处理单元可以使用用于检测屏幕欺骗的最佳设置以及用于护照欺骗的最佳设置来分析前景掩码两次。这些计算可以并行地运行，并且如果以上述方式针对任一计算检测到欺骗，则图像处理单元确定进行了欺骗尝试。

使用对每种欺骗技术的测试的组合，可以实现1％的错误警报率，同时针对使用护照照片的欺骗尝试具有90％的检测率，针对使用屏幕上的图像的欺骗尝试具有80％的检测率。

可以使用其他算法来推断检测区域，并且其他算法可以包括允许系统对于头部朝向不变并且定位诸如位于用户面部上方的头发和帽子之类的物品的措施。

因此，检测区域701通常应紧邻面部区域，并且优选地位于面部区域的正上方。然而，如果检测区域701是位于头部的任一侧附近，则所要求保护的公开的方法将同样可行。

图8示出了映射到前景掩码801上的面部区域403。图像处理单元101从图像802中的面部区域403推断检测区域701，并且对检测区域701内的像素执行活体估算。

在步骤1105处，可以通过从检测区域701计算表征值以产生得分，来执行活体估算或确定用户图像是否真实。在图8中，遵循对前景掩码的分析的得分为0。在优选实施例中，表征值是平均像素值。因此，如果黑色像素具有值0并且白色像素具有值255，则平均像素值将在0至255之间。可以按灰度绘制该表征值，并将其与阈值进行比较，如下文进一步描述的那样。

表征值可以是检测区域701内的像素的平均像素明亮度。在另一替换方案中，表征值是检测区域701内的白色的像素的比例。也可以使用指示象征前景对象的像素的普遍性的其他表征值。图像处理单元101将该得分与阈值进行比较，并基于该比较来估算检测到的面部是否是活体的。

如上文指出的，前景掩码的背景将基本上由黑色像素表示，并且前景对象的存在将基本上由白色像素表示。在检测到的面部外部和在近端检测区域内的前景对象的存在强烈暗示了边界区域，并且因此暗示了非活体的检测到的面部。换言之，较高的得分指示较多数量的白色像素，这进而是由于检测区域701内存在前景对象。对于欺骗事件，将检测到被拍摄面部的边缘与背景之间的显著的边界部分，从而得到高得分。阈值充当错误余量，并且如果得分等于或超过阈值，则系统会登记欺骗尝试。

以上过程表示在图9中，其中对计算出的得分执行的布尔估算确定了系统响应。对于机场入境管理(immigration)应用，确定乘客是“活体的”允许系统从处理区释放该乘客。然而，如果系统检测到欺骗尝试，则会将警报发送给主管入境管理的官员，同时使用户留在处理区内。可以使用可移动的关口来基于图像处理单元是否确定了用户图像是真实的来选择性地使用户留在特定区内。

图10示出了一个示例，其中系统检测到用户尝试使用一不同面部的打印图片来欺骗该系统。

根据以上描述，图像捕获单元103捕获背景图像1001和用户图像1003，并将其传输到图像处理单元101。图像处理单元101识别用户图像1007上的面部区域。图像处理单元101对用户图像1003执行照明适配和背景减除，以产生前景掩码1005。由图像处理单元101将面部区域1007映射到前景掩码1005上，并且从经映射的面部区域1009推断出检测区域1011的位置，如上文描述的那样。

在图10中所示的示例中，打印的图片包含面部与背景之间的边界区域。边界区域的大部分和诸如用户的部分隐藏的头部之类的其他前景特征落在检测区域1009内。在检测区域中的前景特征的存在导致高达244的高计算得分1013。由于该得分超过了预定阈值，因此系统会登记欺骗尝试。

图11的流程图例示了根据本公开的各个实施例的系统、方法和计算机程序产品的示例实施方式的操作。流程图或框图中的每个框可以表示包括用于实现该框中明确阐述的逻辑功能的一个或多个可执行计算机指令或部分指令的模块。附图中的框的顺序仅意图为对示例进行例示。在替换实施方式中，特定的框中例示的逻辑功能可以以非图中标注的顺序发生。例如，被示出为彼此相邻的两个框可以同时执行，或者取决于功能性而以反序执行。流程图中的每个框可以用软件、硬件或软件和硬件的组合来实现。

本公开的实施例还可以处置其中用户的头部朝向错误的方向、或者其中用户的身高较矮以及背景中的特征改变的图像。

例如，如果用户向下看，则其不正确的头部朝向可能导致检测区域中存在部分的用户头部或头发。与面部朝向正确的情况相比，这会导致高得多的活体估算得分，并且可能导致错误警报。在该情形下，可以基于对用户头部旋转的知识来将检测区域推断为不同的位置。用户的头部旋转可以通过面部定位算法来计算，该算法建立面部的俯仰(pitch)、横摆(yaw)和侧倾(roll)。例如，如果检测到头部旋转，则可以将检测区域置于用户头部的侧面。

如果用户过矮，则检测区域可能会被定位成使其检测到用户身后的背景移动，例如其他排队的用户，这会导致错误警报。在该情形中，第二视频相机可以位于第一视频相机下方，以改变所记录的图像的视角。另外，使用广角相机使得能够准确地检测较高和较矮的用户。例如，广角相机使得能够成功地检测高度在1.4m至2.1m之间的用户。

最后，背景中的某些特征可能会改变。例如，背景中的广告面板可能以零星的时间间隔被点亮，这可能会影响系统的有效性。在发生这种情况时，可以在检测区域内建立排除区域，这防止了背景中的改变影响算法所执行的计算。

可以将上述公开的特征实现为机场识别系统的一部分。此类系统可以包括自助值机亭或入境管理关口。

根据前述内容将认识到的是，该图像处理设备可以包括计算设备，诸如台式计算机、膝上型计算机、平板计算机、个人数字助理、移动电话、智能电话。

该设备可以包括运行一个或多个服务器进程以与客户端设备通信的计算机处理器。服务器进程包括用于执行本公开的操作的计算机可读程序指令。计算机可读程序指令可以是以适当的编程语言编写或以适当的编程语言的任何组合编写的源代码或目标代码，所述编程语言包括程序编程语言(诸如C)、面向对象的编程语言(诸如C#、C++、Java)、脚本语言、汇编语言、机器代码指令、指令集架构(ISA)指令和状态设置数据。

上述有线或无线通信网络可以是公共网络、私人网络、有限网络或无线网络。通信网络可以包括局域网(LAN)、广域网(WAN)、互联网、移动电话通信系统或卫星通信系统中的一个或多个。通信网络可以包括任何合适的基础设施，包括铜缆、光缆或光纤、路由器、防火墙、交换机、网关计算机和边缘服务器。

上述系统可以包括图形用户接口。本公开的实施例可以包括屏幕上的图形用户接口。例如，用户接口可以被提供为嵌入在网站中的小部件的形式、提供为用于设备的应用程序、或提供在专用登陆网页上。可以经由网络(例如，互联网、局域网(LAN)、广域网(WAN)和/或无线网络)将用于实现图形用户接口的计算机可读程序指令从计算机可读存储介质下载到客户端设备。指令可以存储在客户端设备内的计算机可读存储介质中。

如本领域技术人员将认识到的，本文描述的公开可以全部或部分地体现为方法、数据处理系统或包括计算机可读指令的计算机程序产品。因此，本公开可以采取完全硬件实施例或结合了软件、硬件以及任何其他合适的方法或装置的实施例的形式。

可以将计算机可读程序指令存储在非暂时性有形计算机可读介质上。计算机可读存储介质可以包括以下中的一个或多个：电子存储设备、磁性存储设备、光学存储设备、电磁存储设备、半导体存储设备、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式紧凑盘只读存储器(CD-ROM)、数字万用盘(DVD)、记忆棒、软盘。

本公开的示例性实施例可以被实现为电路板，其可以包括CPU、总线、RAM、闪存、用于操作所连接的I/O装置(诸如打印机、显示器、小键盘、传感器和相机)的操作的一个或多个端口、ROM、通信子系统(诸如调制解调器)和通信介质。

Claims (54)

1.一种图像处理设备，其包括处理装置，所述处理装置被配置成：

i.从与用户相关联的图像中确定第一区域(403)，其中所述第一区域与表征所述用户的一个或多个特征相关联，并且其中所述第一区域与第一组样本值相关联；

ii.从与所述用户相关联的所述图像或与所述用户相关联的另一图像中确定第二区域(701)，其中所述第二区域与第二组样本值相关联，其中所述第二组样本值中的至少一些的位置与所述第一组样本值的位置不同；以及

iii.从所述第二区域确定表征值。

2.根据权利要求1所述的图像处理设备，其中，所述设备被配置成基于所确定的表征值来确定所述用户是否真实。

3.根据任一前述权利要求所述的图像处理设备，其中，所述第二区域靠近所述第一区域，并且其中，所述第二区域不包括表征所述用户的一个或多个特征。

4.根据任一前述权利要求所述的图像处理设备，其中，所述第二区域与所述第一区域相邻。

5.根据任一前述权利要求所述的图像处理设备，其中，所述第一组样本值的位置与所述第二组样本值的位置不同。

6.根据任一前述权利要求所述的图像处理设备，其中，所述第一区域围住表征所述用户的所述一个或多个特征中的至少一个。

7.根据任一前述权利要求所述的图像处理设备，还包括从所述用户图像确定前景图像。

8.根据任一前述权利要求所述的图像处理设备，还包括基于所述第二组样本值中的一个或多个值来确定所述表征值。

9.根据任一前述权利要求所述的设备，还包括将与背景图像相关联的样本值和与所述用户图像相关联的对应样本值进行比较，并且优选地调整所述用户图像的样本值，以使得所述样本值和与所述背景图像相关联的样本值相匹配。

10.根据任一前述权利要求所述的设备，还包括校正与所述图像相关联的白平衡或/和亮度值。

11.根据权利要求7至10中的任一项所述的设备，其中，所述前景图像是基于背景图像与所述用户图像的高斯加权混合而确定的前景掩码图像。

12.根据任一前述权利要求所述的设备，其中，所述设备还被配置成基于像素坐标的映射来将所述第一区域(403)与所述用户图像相关联。

13.根据任一前述权利要求所述的设备，其中，所述设备还被配置成基于像素坐标的映射来将所述第二检测区域(701)与所述用户图像相关联。

14.根据任一前述权利要求所述的设备，其中，所述第一区域与所述第二区域隔开检测区域距离(703)，其中，所述检测区域距离优选地被定义为距所述第一区域的预定数量的水平像素或竖直像素。

15.根据任一前述权利要求所述的设备，其中，所述设备还被配置成基于定义与所述用户相关联的特征的高度的参数来确定所述检测区域距离或检测区域距离。

16.根据任一前述权利要求所述的设备，其中，检测区域距离或所述检测区域距离与定义与所述用户相关联的特征的高度的参数或所述参数之比在-0.2至0.9的范围内，包括端点，并且优选地大于或等于零，并且更优选地在0.3至0.9的范围内，包括端点。

17.根据任一前述权利要求所述的设备，其中，所述第二检测区域由检测区域高度参数(704)来定义。

18.根据任一前述权利要求所述的设备，其中，所述检测区域高度参数或检测区域高度参数是基于定义与所述用户相关联的特征的高度的所述参数或定义与所述用户相关联的特征的高度的另一参数来确定的，并且优选地，其中，所述检测区域高度或检测区域高度与定义与所述用户相关联的特征的高度的所述参数或定义与所述用户相关联的特征的高度的参数之比在0.6至1.9的范围内，包括端点。

19.根据任一前述权利要求所述的设备，其中，所述第一检测区域以及优选地所述第二检测区域每一个都基本上为矩形。

20.根据任一前述权利要求所述的设备，其中，所述处理装置还被配置成从所述第二检测区域确定前景掩码图像。

21.根据任一前述权利要求所述的设备，其中，所述处理装置还被配置成将所确定的表征值与阈值进行比较。

22.根据任一前述权利要求所述的设备，其中，所述处理装置还被配置成仅在所确定的表征值小于阈值并且优选地小于2个不同阈值的情况下才将所述用户确定为真实的。

23.根据任一前述权利要求所述的设备，其中，所述处理装置还被配置成从与所述用户相关联的图像确定表征所述用户的一个或多个特征，并且优选地确定所述特征在所述图像内的位置。

24.一种图像处理方法，其包括以下步骤：

从与用户相关联的图像确定(1101)第一区域(403)，其中，所述第一区域与表征所述用户的一个或多个特征相关联，并且其中，所述第一区域与第一组样本值相关联；

从与所述用户相关联的所述图像或与所述用户相关联的另一图像确定(1103)第二区域(701)，其中，所述第二区域与第二组样本值相关联，其中，所述第二组样本值中的至少一些的位置与所述第一组样本值的位置不同；以及

从所述第二区域确定(1105)表征值。

25.根据权利要求24所述的图像处理方法，其中，所述设备被配置成基于所确定的表征值来确定所述用户是否真实。

26.根据权利要求24或25中的任一项所述的图像处理方法，其中，所述第二区域靠近所述第一区域，并且所述第二区域不包括表征所述用户的所述一个或多个特征。

27.根据权利要求24至26中的任一项所述的图像处理方法，其中，所述第二区域与所述第一区域相邻。

28.根据权利要求24至27中的任一项所述的图像处理方法，其中，所述第一组样本值的位置与所述第二组样本值的位置不同。

29.根据权利要求24至28中的任一项所述的图像处理方法，其中，所述第一区域围住表征所述用户的所述一个或多个特征中的至少一个。

30.根据权利要求24至29中的任一项所述的图像处理方法，还包括从所述用户图像确定前景图像。

31.根据权利要求24至30中的任一项所述的图像处理方法，其中，所述第二区域靠近所述第一区域，并且所述第二区域不包括表征所述用户的所述一个或多个特征。

32.根据权利要求24至31中的任一项所述的图像处理方法，还包括从所述用户图像确定前景图像。

33.根据权利要求24至32中的任一项所述的方法，还包括基于所述第二组样本值中的一个或多个值来确定所述表征值。

34.根据权利要求24至33中的任一项所述的方法，还包括将与背景图像相关联的样本值和与所述用户图像相关联的对应样本值进行比较，并且优选地调整所述用户图像的样本值，以使得所述样本值和与所述背景图像相关联的样本值相匹配。

35.根据权利要求24至34中的任一项所述的方法，还包括校正与所述图像相关联的白平衡或/和亮度值。

36.根据权利要求32所述的方法，其中，所述前景图像是基于背景图像与所述用户图像的高斯加权混合而确定的前景掩码图像。

37.根据权利要求24至36中的任一项所述的方法，还包括基于所确定的表征值来确定所述用户是否真实。

38.根据权利要求24至37中的任一项所述的方法，还包括基于像素坐标的映射将所述第一区域(403)与所述用户图像相关联。

39.根据权利要求24至38中的任一项所述的方法，还包括基于像素坐标的映射将所述第二检测区域(701)与所述用户图像相关联。

40.根据权利要求24至39中的任一项所述的方法，其中，所述第一区域与所述第二区域隔开检测区域距离(703)，并且其中，所述检测区域距离优选地被定义为距所述第一区域的预定数量的水平像素或竖直像素。

41.根据权利要求24至40中的任一项所述的方法，还包括基于定义与所述用户相关联的特征的高度的参数来确定所述检测区域距离或检测区域距离。

42.根据权利要求24至41中的任一项所述的方法，其中，检测区域距离或所述检测区域距离与定义与所述用户相关联的特征的高度的参数或所述参数之比在-0.2至0.9的范围内，包括端点，并且优选地大于或等于零，并且更优选地在0.3至0.9的范围内，包括端点。

43.根据权利要求24至42中的任一项所述的方法，其中，所述第二检测区域由检测区域高度参数(704)来定义。

44.根据权利要求24至43中的任一项所述的方法，其中，所述检测区域高度参数或检测区域高度参数是基于定义与所述用户相关联的特征的高度的所述参数或定义与所述用户相关联的特征的高度的另一参数来确定的，并且优选地，其中，所述检测区域高度或检测区域高度与定义与所述用户相关联的特征的高度的所述参数或定义与所述用户相关联的特征的高度的参数之比在0.6至1.9的范围内，包括端点。

45.根据权利要求24至44中的任一项所述的方法，其中，所述第一检测区域以及优选地所述第二检测区域每一个都基本上为矩形。

46.根据权利要求24至45中的任一项所述的方法，还包括从所述第二检测区域确定前景掩码图像。

47.根据权利要求24至46中的任一项所述的方法，还包括将所确定的表征值与阈值进行比较。

48.根据权利要求24至47中的任一项所述的方法，还包括仅在所确定的表征值小于阈值且优选地小于2个不同阈值的情况下才将所述用户确定为真实的。

49.根据权利要求24至48中的任一项所述的方法，还包括从与所述用户相关联的图像确定表征所述用户的一个或多个特征，并且优选地确定所述特征在所述图像内的位置。

50.一种计算机程序产品，其在被运行时执行根据权利要求24至49中的任一项所述的方法。

51.一种用于认证用户的设备，所述设备包括处理装置，所述处理装置被配置成：

i.从与所述用户相关联的图像确定与表征所述用户的一个或多个特征相邻的区域(701)；

ii.从所述区域(701)确定表征值；以及

iii.基于所确定的表征值来认证所述用户。

52.根据权利要求51所述的设备，其中，所述处理装置还被配置成从与所述用户相关联的图像中减除背景图像。

53.一种用于认证用户的方法，包括以下步骤：

i.从与所述用户相关联的图像确定与表征所述用户的一个或多个特征相邻的区域(701)；

ii.从所述区域(701)确定表征值；以及

iii.基于所确定的表征值来认证所述用户。

54.根据权利要求53所述的方法，还包括从与所述用户相关联的图像中减除背景图像。

Images