CN108701225A - 面部辨识系统、面部辨识方法和存储介质 - Google Patents

Abstract

提供了面部辨识系统和面部辨识方法以及存储介质，其可以在短时间内平滑地执行面部辨识。所述面部辨识系统包括：面部检测单元，其从包括要认证的人的图像中检测面部图像作为检出面部图像；存储单元，其将用于识别认证对象的识别信息与认证对象的注册面部图像相关联地存储；以及，面部匹配单元，响应于获取到识别要认证对象的识别信息，其将由面部检测单元从在获取之前捕捉的图像所检测到的检出面部图像与对应于所获取的识别信息的注册面部图像相匹配。

Description

面部辨识系统、面部辨识方法和存储介质

技术领域

本发明涉及面部辨识系统、面部辨识方法和存储介质。

背景技术

近年来，在身份验证的情况下已经利用了生物特征认证，该生物特征认证是使用生物特征信息执行认证，该生物特征信息是关于人的物理特征或动作特征的信息。作为生物特征认证形式之一的面部认证是有利的，因为对认证对象有较弱的精神压力、从远距离的认证能力或相对于欺诈而有精神威慑效果等。

面部认证技术已被用于各种领域的身份验证。例如，在安装在诸如主题公园的设施的入口门中的门禁系统中，面部认证技术被用于对使用诸如其年度通行证等的票的访问者进行身份验证(非专利文献1)。

[引用清单]

[非专利文献]

NPL 1：NEC Corporation,“Face Authentication:Gate System”,[online],[searched on February 12,2016],Internet<URL:http://jpn.nec.com/ad/usj/entry.html>

发明内容

[技术问题]

在传统门禁系统中的面部认证技术中，设施的工作人员需要操作相机以在访问者引起门装置的读取单元读取票上的信息的票证展示之后捕捉访问者的面部图像以进行面部匹配。以这种方式，由于传统的门禁系统需要在访问者使得读取票上的信息之后并且在访问者进入设施之前捕捉访问者的面部图像的操作，所以等待通过面部认证进行身份验证的许多访问者可能被滞留在设施的入口门处。

本发明旨在提供能够在短时间内平滑地执行面部匹配的面部辨识系统、面部辨识方法和存储介质。

[解决问题的方法]

根据本发明的一个示例方面，提供了一种面部辨识系统，包括：面部检测单元，从包括认证对象的图像中检测面部图像作为检出面部图像；存储单元，相互关联地存储识别所述认证对象的识别信息和所述认证对象的注册面部图像；以及，面部匹配单元，响应于获取识别所述认证对象的所述识别信息，相对于与所获取的识别信息对应的注册面部图像匹配由所述面部检测单元从所述获取之前捕捉的图像中检测到的所述检出面部图像。

根据本发明的另一示例方面，提供了一种面部辨识方法，包括：从包括认证对象的图像中检测面部图像作为检出面部图像；以及，响应于获取识别认证对象的识别信息，相对于与获取的识别信息相关联地注册的注册面部图像，匹配从所述获取之前捕捉的图像中检测到的所述检出面部图像。

根据本发明的又一示例方面，提供了一种其中存储程序的存储介质，其中，所述程序使计算机执行：从包括认证对象的图像中检测面部图像作为检出面部图像；以及，响应于获取识别认证对象的识别信息，相对于与获取的识别信息相关联地注册的注册面部图像，匹配从所述获取之前捕捉的图像中检测到的所述检出面部图像。

[发明的有益效果]

根据本发明，可以在短时间内平滑地执行面部匹配。

附图说明

[图1]

图1是示出根据本发明第一示例性实施例的面部辨识系统的示意图。

[图2]

图2是示出根据本发明第一示例性实施例的面部辨识系统的功能配置的框图。

[图3]

图3是示出根据本发明第一示例性实施例的由面部辨识系统中的固定相机捕捉的图像的示例的示意图。

[图4]

图4是示出根据本发明第一示例性实施例的面部辨识系统的面部匹配装置的存储单元中临时存储的检出面部图像的各种数据的示例的示意图。

[图5]

图5是示出根据本发明第一示例性实施例的面部辨识系统中的N:1匹配的处理的示例的示意图。

[图6]

图6是示出根据本发明第一示例性实施例的面部辨识系统中的面部匹配装置的硬件配置的示例的框图。

[图7]

图7是示出根据本发明第一示例性实施例的面部辨识系统中的数据中心服务器的硬件配置的示例的框图。

[图8]

图8是示出根据本发明第一示例性实施例的面部辨识方法的序列图。

[图9]

图9是示出根据本发明第一示例性实施例的面部辨识方法的流程图(部分1)。

[图10]

图10是示出根据本发明第一示例性实施例的面部辨识方法的流程图(部分2)。

[图11]

图11是示出根据本发明第一示例性实施例的由面部辨识系统中的固定相机捕捉的图像的另一示例的示意图。

[图12]

图12是示出根据本发明第二示例性实施例的面部辨识系统的功能配置的框图。

[图13]

图13是示出根据本发明第二示例性实施例的面部辨识系统中的N:1匹配的处理的示例的示意图。

[图14A]

图14A是示出根据本发明第三示例性实施例的由面部辨识系统中的固定相机捕捉的不同图像的示例的示意图。

[图14B]

图14B是示出根据本发明第三示例性实施例的由面部辨识系统中的固定相机捕捉的不同图像的示例的示意图。

[图15]

图15是示出根据本发明第三示例性实施例的面部辨识系统的功能配置的框图。

[图16]

图16是示出根据本发明第四示例性实施例的面部辨识系统中的注册面部图像的自动更新的流程图。

[图17A]

图17A是示出根据本发明第四示例性实施例的面部辨识系统中的注册面部图像的自动更新中的各种数据的示意图。

[图17B]

图17B是示出根据本发明第四示例性实施例的面部辨识系统中的注册面部图像的自动更新中的各种数据的示意图。

[图17C]

图17C是示出根据本发明第四示例性实施例的面部辨识系统中的注册面部图像的自动更新中的各种数据的示意图。

[图18]

图18是示出根据本发明第五示例性实施例的面部辨识方法的流程图。

[图19]

图19是示出根据本发明第六示例性实施例的面部辨识方法的流程图。

[图20]

图20是示出根据本发明第六示例性实施例的面部辨识方法中在显示单元上显示的匹配窗口的示例的示意图。

[图21]

图21是示出根据本发明第七示例性实施例的面部辨识系统的功能配置的框图。

[图22]

图22是示出根据本发明第八示例性实施例的面部辨识系统的示意图。

[图23]

图23是图示根据本发明的第八示例性实施例的面部辨识系统的功能配置的框图。

[图24]

图24是示出根据本发明第八示例性实施例的面部辨识方法的流程图。

[图25]

图25是示出计算机设备的示例的示意图。

[图26]

图26是示出根据本发明另一示例性实施例的面部辨识系统的功能配置的框图。

[图27]

图27是示出根据本发明另一示例性实施例的面部匹配装置的功能配置的框图。

[图28]

图28是示出根据本发明的又一示例性实施例的面部辨识系统的功能配置的框图。

具体实施方式

[第一示例性实施例]

将通过使用图1至图11描述根据本发明第一示例性实施例的面部辨识系统和面部辨识方法。

首先，将通过使用图1至图7来描述根据本示例性实施例的面部辨识系统。图1是示出根据本示例性实施例的面部辨识系统的示意图。图2是示出根据本示例性实施例的面部辨识系统的功能配置的框图。图3是示出根据本示例性实施例的由面部辨识系统中的固定相机捕捉的图像的示例的示意图。图4是示出根据本示例性实施例的在面部辨识系统的面部匹配装置的存储单元中临时存储的检出面部图像的各种数据的示例的示意图。图5是示出根据本示例性实施例的在面部辨识系统中的N:1匹配的处理的示例的示意图。图6是示出根据本示例性实施例的面部辨识系统中的面部匹配装置的硬件配置的示例的框图。图7是示出根据本示例性实施例的面部辨识系统中的数据中心服务器的硬件配置的示例的框图。

根据本示例性实施例的面部辨识系统通过使用设施的入口处的面部匹配来执行身份验证，其中，认证对象是打算通过使用准入票进入设施的访问者。例如，设施可以是主题公园、活动大厅、体育场或音乐厅等。例如，访问者使用的票是称为年度通行证或年度护照等的入场券，访问者可以使用其在特定时期(例如一年等)期间随时进入该设施，但其类型不受特别限制。入场券可以是纸质票或电子票，只要它是以可读方式记录识别入场券的识别信息的介质即可。下面将描述当访问者使用年度通行证进入设施时通过使用面部匹配进行身份验证的情况。

如图1和图2所示，根据本示例性实施例的面部辨识系统1包括门装置10、固定相机20、面部匹配装置30和数据中心服务器40。门装置10、固定相机20和面部匹配装置30安装在设施的入口门50处。另一方面，数据中心服务器40安装在例如位于入口门50的远程位置的数据中心内。

在安装有门装置10等的入口门50处，安装有顶盖502。照明装置504设置在屋顶上。此外，指示入口门50的引导板508设置在顶盖502上，以便位于门装置10的上方。

面部匹配装置30和数据中心服务器40分别经由网络60连接到网络，并且可以经由网络60彼此通信。例如，网络60可以是广域网(WAN)或局域网(LAN)，但其类型不受特别限制。

此外，门装置10和固定相机20分别通过电缆连接等以可通信的方式直接局部连接到面部匹配装置30。门装置10、固定相机20和面部匹配装置30之间的连接可以是有线方案或无线方案。

可以从web售票商店或售票亭购买年度通行证。提供web售票商店和售票亭终端80的web服务器70连接到网络60。web服务器70和售票亭终端80可以分别经由网络60与数据中心服务器40通信。例如，web服务器70安装在位于入口门50的远程位置的数据中心内。例如，售票亭终端80安装在与入口门50相邻的售票亭内。

接下来，将详细描述根据本示例性实施例的面部辨识系统1的每个组件。

门装置10具有主单元102、栅栏104、门106、读取单元108、手持相机110和门控制单元112。

主单元102和栅栏104安装成彼此面对。访问者步行进入设施所通过的路径114在主单元102和围栏104之间延伸。在路径114上，入口114a在外面，并且出口114b在内部。当从路径114的入口114a向出口114b观察时，主单元102安装在右侧。另一方面，当从路径114的入口114a向出口114b观察时，围栏104安装在左侧。

门106设置在路径114上的主单元102上的侧壁上，以便在待定状态期间阻挡路径114。当在用于阻挡路径114的待定状态期间从关闭状态打开时，门106允许访问者走过路径114并进入设施内部。例如，门106是转动式门，其中，三个杆旋转。注意，不限于上述，可以使用各种类型的门作为门。例如，作为门106，可以使用挡板门，其中，在两侧设置的两个挡板或设置在路径114的一侧上的单个挡板打开和关闭。

如稍后所述，当通过面部匹配的身份验证成功时，门106被打开。由此，允许访问者走过路径114并进入设施内部。

注意，门106可以是下述门，其在待定状态期间处于打开状态，并且当通过面部匹配的身份验证成功时保持打开状态，并且在通过面部匹配的身份验证失败时关闭。

读取单元108设置在主单元102顶部的门106的路径114上的入口114a侧的部分上。读取单元108从由访问者携带的年度通行证读取在年度通行证中记录的信息。具体地，在年度通行证中，记录了作为唯一识别年度通行证的识别信息的识别(ID)信息。读取单元108从年度通行证中读取ID信息。例如，由读取单元108读取的ID信息可以是年度通行证的会员编号或序列号等。年度通行证是下述媒介，其由作为认证对象的访问者携带并且当访问者进入设施内部时需要，并且在其上记录唯一地标识其自身的ID信息。这里，介质可以是具有识别认证对象的信息的介质，例如卡片、薄片或智能手机等。如后所述，在数据中心服务器40中存储与年度通行证的ID信息相关联的关于购买了年度通行证的购买者的信息。

读取单元108具有根据年度通行证上的ID信息的记录方案的读取方案。例如，当年度通行证具有以诸如条形码的一维码或诸如QR码(注册商标)的二维码中记录的ID信息时，读取单元108是诸如条形码读取器或QR码读取器等的码读取器。此外，例如，当年度通行证具有使用射频识别(RFID)记录在非接触式IC卡或非接触式IC标签中的ID信息时，读取单元108是RFID读取器。

当在读取单元108处存在年度通行证的票证展示时，读取单元108从年度通行证中读取记录在年度通行证中的ID信息。注意，这里的票证展示意味着作为认证对象的访问者使得读取单元108读取包括在年度通行证中记录的ID信息的信息。

读取单元108将从年度通行证读取的ID信息发送到稍后描述的门控制单元112。注意，识别认证对象的识别信息不限于存储在诸如年度通行证的介质中的ID信息。识别认证对象的识别信息可以包括例如指纹、静脉或虹膜等认证对象的生物特征信息，并且可以是能够识别认证对象的任何信息。在这种情况下，读取单元108可以是指纹扫描仪、静脉扫描仪或相机等，其可以读取认证对象的诸如指纹、静脉或虹膜等的生物特征信息。

手持相机110被提供给主单元102顶部上的门106附近的部分。手持相机110例如是数字摄像机，并且可以捕捉作为认证对象的访问者的面部图像并且根据设施的工作人员的操作获取面部图像。手持相机是当基于由固定相机20捕捉的面部图像的面部匹配失败时使用的其他图像捕捉单元，如稍后所述。注意，手持相机110可以是任何相机，只要它可以获取访问者的面部图像并且可以是数字照像机。

手持相机110将捕捉的访问者的面部图像的图像数据发送到稍后描述的门控制单元112。

门控制单元112控制门装置10的操作。读取单元108连接到门控制单元112，以便能够与其通信。此外，门106以可控的方式连接到门控制单元112。此外，手持相机110连接到门控制单元112，以便能够与其通信。

由读取单元108读取的年度通行证的ID信息从读取单元108发送到门控制单元112。门控制单元112将从读取单元108发送的年度通行证的ID信息发送到面部匹配装置30。

此外，门控制单元112基于从稍后描述的面部匹配装置30发送的匹配结果信号来控制门106的打开和关闭。

此外，由手持相机110捕捉的访问者的面部图像的图像数据从手持相机110发送到门控制单元112。门控制单元112将从手持相机110发送的面部图像的图像数据发送到面部匹配装置30。

固定相机20固定到相对于门装置10安装在设施内部的支柱202的上端。固定相机20是图像捕捉单元，其捕捉门装置10前面的区域的图像并且面向设施外侧的方向是固定的。固定相机20固定在从入口门50处的地面例如高度例如约200cm的人的头部上方的高度处，并且朝向门装置10前面的区域向下倾斜。注意，固定相机20的固定方案不限于使用支柱202的方案。例如，固定相机20可以从入口门50的顶部502悬挂并固定到入口门50的顶部502。

如上所述固定的固定相机20捕捉门装置10前面的区域的图像，该区域是包括读取单元108的门装置10的安装区域的入口侧。也就是说，固定相机20在读取单元108的安装区域的入口侧捕捉图像。因此，固定相机20可以在作为读取单元108的安装区域的入口侧的门装置10前面的区域中捕捉访问者V。因此，固定相机20可以捕捉包括认证对象的图像。

固定相机20例如是数字摄像机，并且能够以预定的帧速率捕捉运动图像，以便以与帧速率同步的预定周期连续地获取多个图像。例如，固定相机20能够以15fps捕捉运动图像并且连续地获取每秒15帧的图像。

注意，固定相机20可以是数字照像机。在这种情况下，固定相机20可以被配置为以预定的捕捉间隔连续捕捉静态图像，并以预定周期连续地获取多个图像。

此外，固定相机20可以是可见光相机或红外相机。当固定相机20是红外相机时，除了发射包括可见光的照明光的普通照明装置504之外，可以还向入口门50的顶部502提供发射红外线的红外照明设备506。通过在红外照明设备506下使用红外相机作为固定相机20，可以基于由固定相机20捕捉的面部图像执行面部匹配，同时减小附近亮度的影响。

此外，固定相机20以纵长定向安装，以便捕捉纵长的图像。这使得固定相机20能够捕捉包括从矮访问者到高访问者的宽高度范围的访问者面部的图像。具体地，固定相机20可以捕捉包括例如其高度范围从99cm到220cm的访问者的面部的图像。注意，固定相机20不一定需要纵长地安装，而是可以水平安装以捕捉水平长的图像。

在门装置10前面的区域中的多个访问者的面部可以包括在由固定相机20捕捉的图像中。

固定相机20将如上所述以预定周期获取的多个图像的图像数据与该周期同步地发送到面部匹配装置30。

面部匹配装置30具有面部匹配控制单元302、存储单元304和显示单元306。

面部匹配控制单元302基于由固定相机20捕捉的面部图像来执行面部匹配。面部匹配控制单元302包括图像数据获取单元308、面部检测单元310、面部特征量提取单元312以及面部匹配单元314。

图像数据获取单元308以预定周期顺序地获取从固定相机20发送的图像的图像数据。注意，图像数据获取单元308可以对获取的图像数据执行诸如校正处理的图像处理。

面部检测单元310对从图像数据获取单元308顺序获取的图像数据的各个图像执行面部检测。由此，面部检测单元310将门装置10前面的区域中的访问者的面部图像检测为在图像数据获取单元308顺序获取的图像数据的图像中的检出面部图像。作为面部检测单元310用于面部检测的算法，不受特别限制，可以使用各种算法。

图3示出了由固定相机20捕捉的一帧图像的示例。如图3所示，在一帧图像I中捕捉门装置10前面的区域中的单个访问者V1。面部检测单元310从固定相机20以这种方式捕捉的图像I检测图3中的矩形检测帧316所示的访问者V1的面部图像。

注意，可以在由固定相机20捕捉的一帧图像中捕捉门装置10前面的区域中的多个访问者。此外，可以在由固定相机20捕捉的不同帧图像中捕捉同一人物。将在后面描述这些情况。

面部特征量提取单元312提取面部特征量，该面部特征量是面部检测单元310检测到的各个面部图像的面部图像的特征量。注意，面部检测单元310检出面部图像可以在下面被称为检测到的脸部图像。面部特征量是矢量，并且通过组合表示面部图像的特征的缩放器量分量来获得。作为特征量的分量，不受特别限制，可以使用其各种类型。例如，作为特征量的分量，可以使用位置关系，例如在诸如眼睛、鼻子或嘴巴等的脸部器官的中心或末端设置的特征点之间的距离或角度、面部轮廓的曲率或者面部表面的颜色分布或色调和光值等。特征量的分量的数量可以根据所需的匹配精度或处理速度等适当地设置，而不受特别限制。

此外，面部特征量提取单元312将作为检出面部图像的图像数据的面部图像数据与从检出面部图像提取的面部特征量一起彼此相关联地临时存储在存储单元304中。此外，相对于相应的检出面部图像，连同面部图像数据和其面部特征量一起，面部特征量提取单元312将作为识别图像数据的编号的检测编号和捕捉检出面部图像的捕捉时间彼此相关联地临时存储在存储单元304中。

在存储单元304中配置关系数据库。在存储单元304的关系数据库中，如上所述由面部特征量提取单元312提取的面部特征量与检测编号、捕捉时间和面部图像数据相关联地被临时存储。这种相互关联的数据由关系数据库管理系统(RDBMS)管理。作为RDBMS，不受特别限制，例如，使用Microsoft(注册商标)SQL Server。

图4是示出由面部特征量提取单元312临时存储在存储单元304中的检出面部图像的各种数据的示例的示意图。如图4所示，针对各个检出面部图像，检测编号、捕捉时间、面部图像数据和面部特征量彼此相关联并且临时存储在存储单元304中。

在存储单元304中，针对每个检出面部图像，仅将面部特征量和与其相关的数据存储从捕捉时间起的某个时间段。从捕捉时间开始经过某个时间之后剩余的检出面部图像的面部特征量和与其相关的数据被顺序地从存储单元304的关系数据库中删除。例如，在刚过去的三分钟内由固定相机20捕捉的检出面部图像的面部特征量和与其相关的数据被临时存储在存储单元304中。

当对门装置10的读取单元108存在年度通行证的票证展示时，面部匹配单元314通过对在读取单元108处执行年度通行证的票证展示的访问者的面部匹配进行身份验证。

由读取单元108从在票证展示上的年度通行证读取的ID信息被发送到面部匹配单元314。面部匹配单元314获取发送的ID信息并在线获取注册面部图像的面部特征量，所述注册面部图像是经由网络60从后面描述的数据中心服务器40与ID信息相关联地注册的。如上由面部匹配单元314获取的注册面部图像的人是能够有效地使用在票证展示上的年度通行证的有效用户。例如，年度通行证的有效使用者是购买年度通行证的购买者。

此外，面部匹配单元314参考存储单元304的关系数据库，并且离线获取与在票证展示之前(即，在获取ID信息之前)的预定时段中包括的捕捉时间相关联的N个检出面部图像的面部特征量。也就是说，面部匹配单元314在读取单元108从年度通行证读取ID信息之前，获取由固定相机20捕捉的N个检出面部图像的面部特征量。注意，N通常是大于1的整数，并且面部匹配单元314获取多个检出面部图像。然而，可能存在N是1并且通过面部匹配单元314获取单个检出面部图像的情况。用于获取检出面部图像的在执行票证展示之前的预定时段可以是紧接在票证展示之前的时段，并且可以根据所需的匹配精度或处理速度等适当地设置其长度。例如，用于获取检出面部图像的在票证展示之前的预定时段可以被设置为紧接在票证展示之前的几秒。

面部匹配单元314执行匹配处理，该匹配处理针对注册面部图像的面部特征量顺序地匹配在年度通行证的票证展示之前已经捕捉的N个检出面部图像的各个面部特征量。这里的匹配处理被称为N:1匹配，因为执行针对一个注册面部图像对最大N个检出面部图像的匹配。如上所述，面部匹配单元314针对对应于所获取的ID信息的注册面部图像匹配由面部检测单元310已经从获取ID信息之前捕捉的图像检测到的检出面部图像。

面部匹配单元314根据在N:1匹配中的检出面部图像的面部特征量与注册面部图像的面部特征量之间的相似度来计算匹配分数。匹配分数是在检出面部图像的面部特征量与注册面部图像的面部特征量之间的较高相似度的较大值。作为对特定检出面部图像的匹配的结果，如果匹配分数小于预定阈值，则面部匹配单元314确定匹配过程是不一致的，并且执行下一个检出面部图像的面部特征量与注册的脸部图像的面部特征量的匹配。另一方面，作为对特定检出面部图像的匹配的结果，如果匹配分数大于或等于预定阈值，则面部匹配单元314确定匹配过程一致并且完成匹配处理。

对于N个检出面部图像执行面部特征量针对注册面部图像的匹配的顺序不受特别限制。例如，对于N个检出面部图像，可以按照捕捉时间的升序或降序或随机地执行面部特征量针对注册面部图像的匹配。此外，可以对于N个检出面部图像中的每一个确定优先级，并且可以基于优先级确定执行面部特征量针对注册面部图像的匹配的顺序。注意，将在第二实施例中描述基于优先级确定面部特征量针对注册面部图像的匹配顺序的情况。

图5是示出在本示例性实施例中由面部匹配单元314执行的N:1匹配的处理的示例的示意图。如图5所示，在票证展示之前的预定时段中捕捉的N个检出面部图像的面部特征量被顺序地针对与在票证展示上的年度通行证的ID信息相关联地注册的注册面部图像的面部特征量相匹配。例如，对于N个检出面部图像执行面部特征量针对注册面部图像的匹配的顺序可以是捕捉时间的升序。

如果由面部匹配单元314执行的匹配过程一致，则这意味着在票证展示之前在门装置10前面的访问者中已经包括在票证展示上的年度通行证的有效用户。因此，可以估计年度通行证的有效用户执行年度通行证的票证展示。因此，在这种情况下，通过面部匹配进行身份验证是成功的。

另一方面，如果由面部匹配单元314执行的所有匹配过程都是不一致的，则在票证展示之前，在门装置10前面的访问者中没有包括在票证展示上的年度通行证的有效用户。因此，在这种情况下，通过面部匹配进行身份验证失败。

可以在显示单元306上显示面部匹配单元314的匹配结果等。设施的工作人员可以通过在显示单元306上查看显示来确认匹配结果等。

面部匹配单元314将作为表示上述匹配结果的信号的匹配结果信号发送到门装置10。具体地，面部匹配单元314向门装置10发送作为表示匹配面部匹配单元314的匹配过程一致的信号的匹配过程一致信号或作为表示由面部匹配单元314执行的所有匹配过程都不一致的信号的匹配过程不一致信号。

上述面部匹配装置30例如由计算机装置形成。将通过使用图6来描述面部匹配装置30的硬件配置的示例。注意，面部匹配装置30可以由单个设备形成，或者可以由在有线连接或者无线连接中的两个或更多个物理上分离的设备形成。

如图6所示，面部匹配装置30具有中央处理单元(CPU)3002、只读存储器(ROM)3004、随机存取存储器(RAM)3006和硬盘驱动器(HDD)3008。此外，面部匹配装置30具有通信接口(I/F)3010。此外，面部匹配装置30具有显示控制器3012和显示器3014。此外，面部匹配装置30具有输入设备3016。CPU 3002、ROM 3004、RAM 3006、HDD 3008、通信I/F 3010、显示控制器3012和输入设备3016连接到公共总线3018。

CPU 3002控制面部匹配装置30的整个操作。此外，CPU 3002执行实现上述面部匹配控制单元302中的图像数据获取单元308、面部检测单元310、面部特征量提取单元312以及面部匹配单元314的每个单元的功能的程序。CPU 3002将存储在HDD 3008等中的程序加载到RAM 3006，以实现面部匹配控制单元302的每个单元的功能。

ROM 3004在其中存储诸如引导程序的程序。当CPU 3002执行程序时，RAM 3006用作工作区域。此外，由CPU 3002执行的程序存储在HDD 3008中。

此外，HDD 3008是实现上述存储单元304的功能的存储设备。注意，实现存储单元304的功能的存储设备不限于HDD 3008。可以使用各种存储设备来实现存储单元304的功能。

通信I/F 3010连接到网络60。通信I/F 3010控制与连接到网络60的数据中心服务器40的数据通信。

显示控制器3012连接到用作显示单元306的显示器3014。显示控制器3012使得来自面部匹配单元314的匹配结果显示在显示器3014上。

输入设备3016可以是例如键盘或鼠标等。此外，输入设备3016可以是嵌入在显示器3014中的触摸板。设施的工作人员可以执行面部匹配装置30的设置或者经由输入设备3016输入执行处理的指令。

注意，面部匹配装置30的硬件配置不限于上述配置，而是可以是各种配置。

门装置10的门控制单元112基于从面部匹配单元314发送的匹配结果信号来控制门106的打开和关闭。即，当从面部匹配单元314发送匹配过程一致信号时，门控制单元112打开门106。因此，允许执行票证展示的访问者走过门装置10的路径114以作为成功辨识身份的人进入设施内部。在访问者走过路径114之后，门控制单元112使门106关闭。

另一方面，当从面部匹配单元314发送匹配过程不一致信号时，门控制单元112保持门106的闭合状态。此时，门控制单元112可以发出提供给门装置10的未示出警报的警告声音或打开警报灯等，以输出指示所有匹配结果不一致的警告。

数据中心服务器40具有控制单元402和存储单元404。

控制单元402控制数据中心服务器40的操作。

存储单元404存储与发布的年度通行证的ID信息相关联地注册的注册面部图像及其面部特征量。

控制单元402响应于来自面部匹配单元314的请求，向面部匹配单元314提供与在票证展示上的年度通行证的ID信息相关联地注册的注册面部图像的面部特征量。

当在web服务器70提供的网上商店购买年度通行证时，可以从购买者的终端在web服务器70上上载注册面部图像。从web服务器70向数据中心服务器40发送上载到web服务器70的注册面部图像。在已经被发送了注册面部图像的数据中心服务器40中，控制单元402将发送的注册面部图像存储到存储单元404中。

此外，在售票亭购买年度通行证的购买者可以在首次访问该设施时通过门装置10的手持相机110捕捉他/她的注册面部图像。由手持相机110捕捉的注册面部图像由面部匹配装置30经由网络60发送到数据中心服务器40并且存储在其存储单元404中。

此外，在售票亭购买年度通行证的购买者可以很快通过售票亭的手持相机(未示出)捕捉他/她的注册面部图像。由售票亭的手持相机捕捉的注册面部图像由售票亭终端80经由网络60发送到数据中心服务器40并且存储在其存储单元404中。

对于如上所述在数据中心服务器40的存储单元404中存储的注册面部图像，提取与由面部匹配装置30的面部特征量提取单元312提取的面部特征量相同的面部特征量。面部特征量的提取由用作面部特征量提取单元的控制单元402执行。所提取的面部特征量由控制单元402与注册面部图像相关联的年度通行证的ID信息相关联地存储在存储单元404中。

在存储单元404中配置关系数据库。在存储单元404的关系数据库中，注册面部图像的面部特征量与年度通行证的ID信息和注册面部图像的面部图像数据相关联地存储，如上所述。这种相互关联的数据由RDBMS管理。作为RDBMS，不受特别限制，例如，使用Microsoft(注册商标)SQL Server。

注意，例如，在存储单元404的关系数据库中，除了上述之外，与年度通行证的ID信息相关联地存储作为年度通行证的有效用户的年度通行证的购买者的姓名或联系地址等的信息。

上述数据中心服务器40例如由计算机设备构成。将通过使用图7来描述数据中心服务器40的硬件配置的示例。注意，数据中心服务器40可以由单个设备形成，或者可由以通过有线连接或无线连接的两个或更多个物理上分离的设备形成。

如图7所示，数据中心服务器40具有CPU 4002、ROM 4004、RAM 4006和HDD 4008。此外，数据中心服务器40具有通信I/F 4010。CPU 4002、ROM 4004RAM 4006、HDD 4008和通信I/F 4010连接到公共总线4012。

CPU 4002控制数据中心服务器40的整个操作。此外，CPU 4002执行实现上述控制单元402的功能的程序。CPU 4002将存储在HDD 4008等中的程序加载到RAM 4006，以实现控制单元402的功能。

ROM 4004在其中存储诸如引导程序的程序。当CPU 4002执行程序时，RAM 4006用作工作区域。此外，由CPU 4002执行的程序存储在HDD 4008中。

此外，HDD 4008是实现上述存储单元404的功能的存储设备。注意，实现存储单元404的功能的存储设备不限于HDD 4008。可以使用各种存储设备来实现存储单元404的功能。

通信I/F 4010连接到网络60。通信I/F 4010控制与连接到网络60的面部匹配装置30的数据通信。

注意，数据中心服务器40的硬件配置不限于上述配置，而是可以是各种配置。

如上所述，根据本示例性实施例的面部辨识系统1针对与票证展示上的年度通行证的ID信息相关联地注册的注册面部图像匹配在票证展示(其中，执行读取单元108读取来自年度通行证的ID信息)之前由固定相机20捕捉的检出面部图像。也就是说，在根据本示例性实施例的面部辨识系统1中，在年度通行证的票证展示之前，预先获取作为要针对注册面部图像匹配的匹配对象的图像的检出面部图像。

因此，根据本示例性实施例，在访问者执行年度通行证的票证展示之后，设施的工作人员不必捕捉访问者的面部图像作为要针对注册面部图像匹配的匹配对象的图像。此外，访问者既不需要关注其面部图像的捕捉，也不需要执行诸如定位其面部以进行捕捉的特殊移动。因此，根据本示例性实施例，可以在短时间内平滑地进行面部匹配。

接下来，将通过使用图8至图10进一步描述使用根据上述本示例性实施例的面部辨识系统1的根据本示例性实施例的面部辨识方法。

首先，将通过使用图8来描述根据本示例性实施例的面部辨识方法的整个流程。图8是示出根据本示例性实施例的面部辨识方法的序列图。

固定相机20捕捉作为读取单元108的安装区域的入口侧的门装置10前方的区域，并以预定周期连续获取多个图像(步骤S102)。此外，固定相机20将以预定周期获取的多个图像的图像数据与该周期同步地发送到面部匹配装置30(步骤S104)。

在已经被发送图像数据的面部匹配装置30中，图像数据获取单元308顺序地获取从固定相机20发送的图像数据。面部检测单元310对每个图像执行面部检测，并将面部图像检测为检测到面部图像(步骤S106)。面部特征量提取单元312提取每个检出面部图像的面部特征量以用于临时存储(步骤S108)。

在固定相机20和面部匹配装置30中，重复执行上述步骤S102至S108。

另一方面，当在门装置10处存在年度通行证的票证展示时，读取单元108读取票证展示上的年度通行证的ID信息(步骤S110)。随后，门控制单元112将由读取单元108读取的ID信息发送到面部匹配装置30(步骤S112)。

在已经被发送了ID信息的面部匹配装置30中，面部匹配单元314经由网络60将ID信息发送到数据中心服务器40(步骤S114)，并请求与ID信息相关联地注册的注册面部图像的面部特征量。由此，面部匹配单元314经由网络60从数据中心服务器40在线获取与ID信息相关联地注册的注册面部图像的面部特征量(步骤S116)。

此外，面部匹配单元314参考其存储单元304的关系数据库，并且离线获取与在票证展示之前的预定时间段中包括的捕捉时间相关联的N个检出面部图像的面部特征量(步骤S118)。也就是说，面部匹配单元314获取在读取单元108从年度通过读取ID信息之前捕捉的N个检出面部图像的面部特征量。

注意，可以更早地执行上述步骤S116和步骤S118中的任何一个，或者可以同时执行上述步骤S116和步骤S118两者。

接下来，面部匹配单元314基于所获取的检出面部图像的面部特征量和注册面部图像的面部特征量来执行N:1匹配(步骤S120)。

已经执行N:1匹配的面部匹配单元314将指示匹配结果的匹配结果信号发送到门装置10(步骤S122)。

在已经被发送了匹配结果信号的门装置10中，门控制单元112基于匹配结果信号控制门106的打开和关闭(步骤S124)。

每次在门装置10的读取单元108处执行年度通行证的票证展示时，重复执行步骤S110至S124。

接下来，将通过使用图9和图10来描述根据本示例性实施例的面部辨识方法中的处理的细节。图9和图10分别是示出根据本示例性实施例的面部辨识方法的流程图。

首先，将通过使用图9详细描述从固定相机20捕捉到临时存储检出面部图像的面部特征量的处理。

由固定相机20捕捉的图像的图像数据被周期性地发送到面部匹配装置30。图像数据获取单元308确定是否是从固定相机20发送图像数据的定时(步骤S202)。如果不是图像数据的发送定时(步骤S202，否)，则图像数据获取单元308等待所述定时的到达。

如果是从固定相机20发送图像数据的定时(步骤S202，是)，则图像数据获取单元308获取从固定相机20发送的图像数据(步骤S204)。在下一步骤S206之前，图像数据获取单元308可以对获取的图像数据执行诸如校正处理的图像处理。

接下来，面部检测单元310对由图像数据获取单元308获取的图像数据的图像执行面部检测，并且从图像中检测在门装置10前面的区域中的访问者的面部图像(步骤S206)。如果没有检测到面部图像(步骤S208，否)，则处理返回到步骤S202并等待从固定相机20发送下一图像数据。

如果面部检测单元310检测到面部图像(步骤S208，是)，则面部特征量提取单元312提取作为检出面部图像的检出面部图像的面部特征量(步骤S210)。

此外，面部特征量提取单元312将检出面部图像的面部图像数据与从检出面部图像提取的面部特征量一起彼此相关联地临时存储在存储单元304中(步骤S212)。此时，针对检出面部图像，连同面部图像数据和其面部特征量一起，面部特征量提取单元312将作为识别图像数据的编号的检测编号和捕捉检出面部图像的捕捉时间彼此相关联地临时存储在存储单元304中。

在根据本示例性实施例的面部辨识系统1的操作期间，每当来自固定相机20的图像数据的传输定时到达时，重复执行上述图9中所示的处理。

接下来，将通过使用图10描述从年度通行证的票证展示到门控制的过程。

在门装置10中，读取单元108待定直到执行年度通行证的票证展示(步骤S302，否)。在票证展示的待定期间，门106关闭。

响应于访问者在读取单元108处的年度通行证的票证展示(步骤S302，是)，读取单元108从年度通行证中读取记录在年度通行证中的ID信息(步骤S306)。

随后，门控制单元112将由读取单元108读取的ID信息发送到面部匹配装置30(步骤S306)。

在面部匹配装置30中，面部匹配单元314经由网络60向数据中心服务器40发送从门控制单元112发送的ID信息，并请求注册面部图像的面部特征量。由此，面部匹配单元314经由网络60从数据中心服务器40在线获取与发送的ID信息相关联地注册的注册面部图像的面部特征量(步骤S308)。

此外，面部匹配单元314参考存储单元304的关系数据库，以离线获取与在年度通行证的票证展示之前的预定时段中包括的捕捉时间相关联的N个检出面部图像的面部特征量(步骤S310)。

面部匹配单元314执行N:1匹配，其将所获取的N个检出面部图像的各个面部特征量针对所获取的注册面部图像的面部特征量顺序地相匹配(步骤S312)。如果作为对于特定检出面部图像的匹配的结果匹配分数小于预定阈值，则面部匹配单元314确定匹配是不一致的，并且执行下一个检出面部图像的面部特征量与注册的脸部图像的面部特征量的匹配。另一方面，如果作为对特定检出面部图像的匹配的结果，匹配分数大于或等于预定阈值，则面部匹配单元314确定匹配过程一致并完成匹配处理。

如果由面部匹配单元314执行的匹配过程一致(步骤S314，是)，则面部匹配单元314发送匹配过程一致信号，该匹配过程一致信号指示由面部匹配单元314执行的匹配与门装置10匹配(步骤S316)。

在门装置10中，响应于来自面部匹配单元314的匹配过程一致信号的传输，门控制单元112打开门106(步骤S318)。由此，允许执行票证展示的访问者走过门装置10的路径114并作为成功辨识身份的人进入设施内部。

在访问者已经通过路径114之后，门控制单元112关闭门106(步骤S320)。

另一方面，如果由面部匹配单元314执行的所有匹配过程都是不一致的(步骤S314，否)，则面部匹配单元314向门装置10发送匹配过程不一致信号，该信号指示由面部匹配单元314执行的所有匹配过程是不一致的(步骤S322)。

在门装置10中，响应于来自面部匹配单元314的匹配过程不一致信号的发送，门控制单元112保持门106的闭合状态(步骤S324)。此时，门控制单元112通过发出提供给门装置10的未示出警报的警告声或打开警报灯等来输出警告(步骤S326)。结果，作为身份验证失败的人，在此阶段，执行票证展示的访问者不能进入设施内部。在这种情况下，例如，进行诸如由设施的工作人员再次执行的身份验证的动作。

在执行根据本示例性实施例的面部辨识方法期间，每当在门装置10的读取单元108处进行票证展示时，重复执行上述图10中所示的处理。

如上所述，根据本示例性实施例，在执行年度通行证的票证展示之前从由固定相机20捕捉的图像检测到的检出面部图像的面部特征量针对与票证展示的年度通行证的ID信息相关联地注册的注册面部图像的面部特征量进行匹配。因此，根据本示例性实施例，可以在短时间内平滑地执行面部匹配。

注意，虽然已经作为示例在上面描述了如图3所示的在由固定相机20捕捉的一帧图像中捕捉单个访问者的情况，但是可以在通过固定相机20捕捉的一帧图像中捕捉多个访问者。

图11示出了由固定相机20捕捉的一帧图像的另一示例。如图11所示，在图像I的一帧中，在门装置10的前面的区域中捕捉三个访问者Vp、Vq和Vr。以这种方式，可以在由固定相机20捕捉的一帧图像I中捕捉多个访问者。在这种情况下，面部检测单元310从如图11中的检测帧316p、316q和316r所示的、由固定相机20捕捉的图像I检测多个访问者Vp、Vq和Vr的各个面部图像。以这种方式从一帧图像检测到的多个检出面部图像被处理为要以与上述相同的方式分别针对注册面部图像匹配的匹配主体的图像。

[第二示例性实施例]

将通过使用图12和图13来描述根据本发明第二示例性实施例的面部辨识系统和面部辨识方法。图12是示出根据本示例性实施例的面部辨识系统的功能配置的框图。图13是示出根据本示例性实施例的面部辨识系统中的N:1匹配的处理的示例的示意图。注意，将用相同的附图标号标记与上述根据第一示例性实施例的面部辨识系统和面部辨识方法中的组件类似的组件，并且将省略或简化其描述。

根据本示例性实施例的面部辨识系统的基本配置与根据第一示例性实施例的面部辨识系统的配置基本相同。根据本示例性实施例的面部辨识系统与根据第一示例性实施例的面部辨识系统的不同之处在于，面部匹配装置30还具有优先级计算单元，该优先级计算单元计算在对于检出面部图像执行N:1匹配中的优先级。

如图12所示，在根据本示例性实施例的面部辨识系统2中，面部匹配装置30的面部匹配控制单元302还具有优先级计算单元318。

优先级计算单元318计算优先级，该优先级用于确定对于由面部检测单元310检测到的各个检出面部图像执行面部特征量针对注册面部图像的匹配的顺序。优先级计算单元318可以基于各种因素计算优先级。

作为优先级计算单元318计算优先级的因素，例示了由固定相机20捕捉的图像中的检出面部图像的位置关系。在由固定相机20捕捉的图像中位于更靠近门装置10的读取单元108的检出面部图像的人更可能在读取单元108处执行年度通行证的票证展示。因此，可以对于在由固定相机20捕捉的图像中更靠近读取单元108的检出面部图像设置更高优先级。

此外，作为优先级计算单元318计算优先级的因素，可以例示作为评估检出面部图像的面部相似度的评估值的面部相似度分数。例如，具有较高值的面部相似度分数表示检出面部图像更可能是面部。因此，可以为具有较高面部相似度分数的检出面部图像设置较高优先级。

此外，作为优先级计算单元318计算优先级的因素，例示了检出面部图像的质量。检出面部图像的更高质量使得能够进行更准确的匹配。因此，可以为具有更高质量的检出面部图像设置更高的优先级。

优先级计算单元318可以基于上述任何因素或这些因素的组合来计算优先级。例如，优先级值可以对于较高优先级是较小值。

优先级计算单元318将针对各个检出面部图像计算出的优先级与检测编号、捕捉时间和面部图像数据相关联地存储在存储单元304中配置的关系数据库中。

注意，同样在本示例性实施例中，面部匹配装置30可以具有与图6所示的硬件配置相同的硬件配置。在这种情况下，CPU 3002执行实现优先级计算单元318的功能的程序。

图13是示出在本示例性实施例中由面部匹配单元314执行的N:1匹配的处理的示例的示意图。如图13所示，按照优先级的降序顺序地，面部匹配单元314将在年度通行证的票证展示之前的预定时间段内捕捉的N个检出面部图像的面部特征量针对与票证展示上的年度通行证的ID信息相关联地注册的注册面部图像的面部特征量相匹配。

如上所述，在本示例性实施例中，由于对于N个检出面部图像执行面部特征量针对注册面部图像的匹配的顺序是优先级的降序，所以可以有效地执行N:1匹配。因此，根据本示例性实施例，可以在短时间内平滑地执行面部匹配。

[第三示例性实施例]

将通过使用图14A、图14B和图15来描述根据本发明第三示例性实施例的面部辨识系统和面部辨识方法。图14A和图14B是示出根据本示例性实施例的由面部辨识系统中的固定相机捕捉的不同图像的示例的示意图。图15是示出根据本示例性实施例的面部辨识系统的功能配置的框图。注意，将用相同的附图标号标记与上述根据第一和第二示例性实施例的面部辨识系统和面部辨识方法中的组件类似的组件，并且将省略或简化其描述。

根据本示例性实施例的面部辨识系统的基本配置与根据第一示例性实施例的面部辨识系统基本相同。根据本示例性实施例的面部辨识系统与根据第一示例性实施例的面部辨识系统的不同之处在于：面部匹配装置30还具有同一人物处理单元，其当在由固定相机20捕捉的不同帧图像中捕捉同一人物的访问者时执行处理。

当固定相机20捕捉在门装置10前面的区域时，可以在不同的帧的图像中捕捉同一人物的访问者。

图14A和图14B分别示出了由固定相机20连续捕捉的不同帧的图像Im和In。图像In是比图像Im更晚的图像帧。在图像Im中，捕捉了访问者Vs、Vt和Vu。另一方面，同样在比图像Im更晚的图像In中，捕捉在图像Im中捕捉的访问者Vs。

在本示例性实施例中，当以这种方式在不同的图像帧中捕捉同一人物的访问者时，检出面部图像基于同一人物被分类。然后，针对检测到的同一人的面部图像确定基于质量等的优先级，并且按照优先级的降序执行面部特征量针对注册面部图像的匹配。这允许执行更有效的N:1匹配。

如图15所示，在根据本示例性实施例的面部辨识系统3中，面部匹配装置30的面部匹配控制单元302还具有同一人物处理单元320。

同一人物处理单元320将由面部检测单元310检测到的检出面部图像分类为各个同一人物。此外，同一人物处理单元320计算用于针对被分类为同一人物的多个检出面部图像确定对面部特征量针对注册面部图像进行匹配的顺序的优先级。同一人物处理单元320可以以与根据第二示例性实施例的优先级计算单元318类似的方式，基于检出面部图像的位置关系、面部相似度分数或质量等来计算优先级。

注意，同样在本示例性实施例中，面部匹配装置30可以具有与图6中所示的硬件配置相同的硬件配置。在这种情况下，CPU 3002执行实现同一人物处理单元320的功能的程序。

面部匹配单元314针对在N:1匹配中被分类为同一人物物的多个检出面部图像，按照优先级的降序执行面部特征量针对注册面部图像的匹配。

如上所述，根据本示例性实施例，在N:1匹配中，由于面部特征量针对注册面部图像的匹配是按照被分类为同一人物物的检出面部图像的优先级的降序执行的，因此可以有效地执行N:1匹配。因此，根据本示例性实施例，可以在更短的时间内更平滑地执行面部匹配。

注意，尽管上面已经描述了除了根据上述第一示例性实施例的面部辨识系统的配置之外还提供了同一人物处理单元320，但是所述示例性实施例不限于此。除了根据第二示例性实施例的面部辨识系统的配置之外，还可以提供同一人物处理单元320。

[第四示例性实施例]

将通过使用图16、图17A、图17B和图17C描述根据本发明第四示例性实施例的面部辨识系统和面部辨识方法。图16是示出根据本示例性实施例的面部辨识系统中的注册面部图像的自动更新的流程图。图17A、图17B和图17C是示出根据本示例性实施例的面部辨识系统中的注册面部图像的自动更新中的各种数据的示意图。注意，将用相同的附图标号标记与上述根据第一至第三示例性实施例的面部辨识系统和面部辨识方法中的组件类似的组件，并且将省略或简化其描述。

根据本示例性实施例的面部辨识系统的基本配置与根据第一示例性实施例的面部辨识系统的配置基本相同。当由面部匹配装置30的面部匹配单元314执行的匹配过程一致时，根据本示例性实施例的面部辨识系统基于匹配结果更新存储在数据中心服务器40中的注册面部图像。

下面将通过使用图16、图17A、图17B和图17C描述根据本示例性实施例的面部辨识系统中的注册面部图像的更新处理。

在面部匹配装置30中，如果作为N:1匹配的结果匹配过程一致，则面部匹配单元314存储匹配结果(步骤S402)。面部匹配单元314可以将匹配结果存储在存储单元304中，或者可以将匹配结果存储在与存储单元304分开提供的存储单元中。

图17A示出了由面部匹配单元314存储的匹配结果的示例。如图17A所示，在票证展示上的年度通行证的ID信息、匹配到针对注册面部图像的匹配的检出面部图像的图像数据、检出面部图像的面部特征量和匹配分数彼此相关联地存储。为票证展示上的年度通行证的每个ID信息存储匹配结果。注意，例如，面部匹配单元314可以进一步存储其中匹配过程一致的检出面部图像的面部相似度分数以及关联在一起的其他信息。

接下来，面部匹配单元314定期或不定期地将所存储的匹配结果发送到数据中心服务器40(步骤S404)。例如，面部匹配单元314可以每天将匹配结果发送到数据中心服务器40。

在被发送匹配结果的数据中心服务器40中，控制单元402存储发送的匹配结果(步骤S406)。控制单元402可以将匹配结果存储在存储单元404中，或者可以存储在与存储单元404分开提供的存储单元中。

接下来，控制单元402定期或不定期地处理所存储的匹配结果。具体地，控制单元402通过将与ID信息相关联的检出面部图像新添加为与ID信息相关联的注册面部图像，将与ID信息相关联的检出面部图像存储在存储单元404中(步骤S408)。此外，新添加的注册面部图像的面部特征量与ID信息相关联地存储在存储单元404中。以这种方式，对于相同的ID信息，多个注册面部图像及其面部特征量被相互关联地存储和注册。如上所述，控制单元402用作更新单元，其另外将其中与所注册面部图像匹配过程一致的检出面部图像注册为新注册面部图像，并且另外更新注册面部图像。

图17B示出了与相同的ID信息及其面部特征量相关联地注册的多个注册面部图像。如图17B所示，除了现有的注册面部图像之外，控制单元402另外将其中匹配过程一致的检测到的面部图连同面部特征量像存储为新的注册面部图像。

接下来，控制单元402更新与相同ID信息相关联地存储的多个注册面部图像的优先级(步骤S410)。控制单元402可以以与根据第二示例性实施例的优先级计算单元318类似的方式基于面部相似度分数等来计算优先级，并且更新多个注册面部图像的优先级。

图17C示出了针对图17B中所示的多个注册面部图像计算优先级的情况。

以这种方式更新了其优先级的多个注册面部图像按照优先级的降序进行由面部匹配装置30的面部匹配单元314执行的N:1匹配。

在操作根据本示例性实施例的面部辨识系统期间，重复执行上述图16中所示的处理。

如上所述，根据本示例性实施例，由于基于来自面部匹配装置30的面部匹配单元314的匹配结果来更新存储在数据中心服务器40中的注册面部图像，因此可以将面部匹配的准确性保持得高。

注意，尽管上面已经描述了在根据第一示例性实施例的面部辨识系统中更新了注册面部图像的情况，但是示例性实施例不限于此。在根据第二和第三示例性实施例的面部辨识系统中，可以以与上述相同的方式更新注册面部图像。

[第五实施例]

将通过使用图18来描述根据本发明第五示例性实施例的面部辨识系统和面部辨识方法。图18是示出根据本示例性实施例的面部辨识方法的流程图。注意，将用相同的附图标号标记与上述根据第一至第四示例性实施例的面部辨识系统和面部辨识方法中的组件类似的组件，并且将省略或简化其描述。

在本示例性实施例中，当基于由固定相机20捕捉的图像通过面部匹配进行的身份验证失败时，手持相机110捕捉访问者的面部图像以在第一示例性实施例中执行面部匹配。下面将通过使用图18来描述根据本示例性实施例的面部辨识方法。

同样在本示例性实施例中，以与第一示例性实施例中相同的方式，基于由固定相机20捕捉的图像来执行通过面部匹配的身份验证。如图18所示，由于以与第一示例性实施例中相同的方式执行当匹配过程一致时的步骤S302至S314、步骤S316至S320以及当所有匹配过程不一致时的步骤S322至S326，所以将省略其描述。

当响应于基于由固定相机20捕捉的图像通过面部匹配的身份验证失败而输出警告时(步骤S326)，该设施的工作人员使用门装置10的手持相机110来捕捉其身份验证失败的访问者的面部(步骤S502)。注意，在下文中，由手持相机110捕捉的访问者的面部的面部图像也可以被称为在进行中的面部图像。

一旦手持相机110捕捉了在进行中的面部图像，则门控制单元112将在进行中的面部图像的图像数据发送到面部匹配装置30。

在面部匹配装置30中，面部特征量提取单元312提取所发送的在进行中的面部图像的面部特征量。

接下来，面部匹配单元314将由面部特征量提取单元312提取的在进行中的面部图像的面部特征量针对与票证展示上的年度通行证的ID信息相关联地注册的注册面部图像的面部特征量进行匹配(步骤S504)。

如果面部匹配单元314基于在进行中的面部图像的匹配过程一致(步骤S506，是)，则处理转移到步骤S316以打开门106(步骤S318)。作为基于在进行中的面部图像通过面部匹配的身份验证成功的人，进行票证展示的访问者能够走过门装置10的路径114以进入设施内部。然后，关闭门106(步骤S320)。

相反，如果面部匹配单元314基于在进行中的面部图像的匹配过程是不一致的(步骤S506，否)，则进行票证展示的访问者被设施的工作人员作为通过基于在进行中的面部图像的面部匹配进行身份验证失败的人参加(步骤S508)。例如，作为设施工作人员的行动，再次由设施的工作人员完成身份验证。

如在本示例性实施例中那样，当通过使用固定相机20基于检出面部图像通过面部匹配进行身份验证失败时，可以执行通过使用手持相机110基于在进行中的面部图像的面部匹配的身份验证。

注意，虽然上面已经描述了在根据第一示例性实施例的面部辨识系统中执行通过使用手持相机110基于在进行中的面部图像进行面部匹配的情况，但是示例性实施例不限于此。可以在面部辨识系统中以与根据第二至第四示例性实施例的面部辨识系统中上述相同的方式执行通过使用手持相机110的基于在进行中的面部图像的面部匹配。

[第六实施例]

将通过使用图19和图20来描述根据本发明第六示例性实施例的面部辨识系统和面部辨识方法。图19是示出根据本示例性实施例的面部辨识方法的流程图。图20是示出根据本示例性实施例的面部辨识方法中在显示单元上显示的匹配窗口的示例的示意图。注意，将用相同的附图标号标记与上述根据第一至第五示例性实施例的面部辨识系统和面部辨识方法中的组件类似的组件，并且将省略或简化其描述。

在本示例性实施例中，当在第一示例性实施例中的面部辨识系统中基于由固定相机20捕捉的图像通过面部匹配进行的身份验证失败时，通过由设施的工作人员进行的视觉观察手动匹配注册面部图像和检出面部图像。下面将通过使用图19和图20描述根据本示例性实施例的面部辨识方法。

同样在本示例性实施例中，以与第一示例性实施例中相同的方式，基于由固定相机20捕捉的图像来执行通过面部匹配的身份验证。如图19所示，由于以与第一示例性实施例中相同的方式执行当匹配过程一致时的步骤S302至S314、步骤S316至S320以及当所有匹配过程不一致时的步骤S322至S326，所以将省略其描述。

当响应于基于由固定相机20捕捉的图像通过面部匹配的身份验证失败而输出警告时(步骤S326)，面部匹配单元314在显示单元306上向在面部匹配装置30中的设施的工作人员显示匹配窗口(步骤S602)。具体地，面部匹配单元314在显示单元306上显示匹配窗口，其中，显示已经被执行了N:1匹配的注册面部图像和N个检出面部图像。

图20示出了在显示单元306上显示的匹配窗口的示例。如图20所示，在匹配窗口322中与注册面部图像一起显示其中由面部匹配单元314进行的匹配过程不一致的N个检出面部图像。对于N个检出面部图像的每个，确定作为面部匹配单元314的匹配的结果，匹配是不一致的。如上所述，在显示单元306上显示的匹配窗口322中显示其中面部匹配单元314的匹配是不一致的注册面部图像和N个检出面部图像，使得设施的工作人员可以执行视觉匹配。

设施的工作人员查看显示在显示单元306上的匹配窗口以手动执行匹配(步骤S604)。具体地，在匹配窗口中显示的N个检出面部图像中，设施的工作人员选择检出面部图像，该检出面部图像可以被确定为与一起显示的注册面部图像的人同一人物。显示单元306由触摸板形成，并且例如用作输入单元。在这种情况下，设施的工作人员可以触摸在匹配窗口中显示的检出面部图像，并将所选择的结果输入到面部匹配装置30。注意，可以通过使用诸如鼠标、键盘等的其他输入单元将选择的结果输入到面部匹配装置30。

如果作为手动匹配的结果匹配过程一致(步骤S606，是)，即，选择被确定为与注册面部图像的人同一的人物的检出面部图像，则处理转移到步骤S316以打开门106(步骤S318)。作为基于设施工作人员的手动匹配通过面部匹配成功进行身份验证的人，进行票证展示的访问者能够走过门装置10的路径114进入设施内部。然后，关闭门106(步骤S320)。

另一方面，如果作为手动匹配的结果匹配过程不一致(步骤S606，否)，即，没有被确定为与注册面部图像的人同一的人物的检出面部图像，则采取下述动作，其中，由设施的工作人员等再次进行身份验证(步骤S608)。

如上所述在手动匹配中由设施的工作人员选择的检出面部图像可以被注册为新的注册面部图像。在这种情况下，面部匹配装置30的面部匹配单元314将所选择的检出面部图像的图像数据及其面部特征量发送到数据中心服务器40。

在数据中心服务器40中，控制单元402将发送的检出面部图像作为新的注册面部图像与在票证展示上的年度通行证的ID信息相关联地存储在存储单元404中。此时，控制单元402还将新注册面部图像的面部特征量与票证展示上的年度通行证的ID信息相关联地存储在存储单元404中。

如在本示例性实施例中，当基于固定相机20的检出面部图像通过面部匹配进行的身份验证失败时，可以基于通过设施的工作人员的视觉观察的手动匹配来执行身份验证。

注意，虽然上面已经描述了在根据第一示例性实施例的面部辨识系统中执行设施的工作人员通过目视观察进行手动匹配的情况，但是示例性实施例不限于此。可以在面部辨识系统中以与根据第二至第五示例性实施例的面部辨识系统中上述相同的方式执行通过设施的工作人员的视觉观察进行的手动匹配。

[第七实施例]

将通过使用图21来描述根据本发明的第七示例性实施例的面部辨识系统和面部辨识方法。图21是示出本示例性实施例的面部辨识系统的功能配置的框图。注意，将用相同的附图标号标记与上述根据第一至第六示例性实施例的面部辨识系统和面部辨识方法中的组件类似的组件，并且将省略或简化其描述。

根据本示例性实施例的面部辨识系统的基本配置与根据第一示例性实施例的面部辨识系统的配置基本相同。在根据本示例性实施例的面部辨识系统中，在数据中心服务器40的存储单元404中存储的信息的一部分存储在面部匹配装置30中。在这方面，根据本示例性实施例的面部辨识系统与根据第一示例性实施例的面部辨识系统不同。

如图21所示，根据本示例性实施例的面部辨识系统4还具有存储单元324。注意，存储单元324可以由与存储单元304相同的存储设备形成。

存储单元324存储与发布的年度通行证的ID信息及其面部特征量相关联地注册的注册面部图像。存储在存储单元324中的注册面部图像及其面部特征量是在数据中心服务器40的存储单元404中存储的注册面部图像及其面部特征量的一部分。

在存储单元324中，配置关系数据库。在存储单元324的关系数据库中，如上所述，注册面部图像的面部特征量与年度通行证的ID信息和注册面部图像的面部图像数据相关联地存储。这种相互关联的数据由RDBMS管理。作为RDBMS，不受特别限制，例如，使用Microsoft(注册商标)SQL Server。

同样在本示例性实施例中，以与第一示例性实施例中相同的方式，首先，面部匹配单元314尝试经由网络60从数据中心服务器40在线获取与票证展示上的年度通行证的ID信息相关联地注册的注册面部图像的面部特征量。

此时，可能存在面部匹配装置30由于某种原因(例如，面部匹配装置30离线)而不能经由网络60连接到数据中心服务器40的情况。当面部匹配装置30不能连接到数据中心服务器40时，面部匹配单元314不能经由网络60从数据中心服务器40在线获取注册面部图像的面部特征量。

在这种情况下，面部匹配单元314参考面部匹配装置30的存储单元324中的关系数据库，并且离线获取与票证展示上的年度通行证的ID信息相关联地注册的注册面部图像的面部特征量。

面部匹配单元314可以使用从面部匹配装置30的存储单元324获取的注册面部图像以便以与第一示例性实施例相同的方式执行N:1匹配。

如上所述，根据本示例性实施例，面部匹配装置30使存储单元324离线，其中存储与年度通行证的ID信息及其面部特征量相关联地注册的注册面部图像。因此，根据本示例性实施例，即使在无法从数据中心服务器40在线获取注册面部图像的面部特征量时，也可以执行面部匹配。

[第八示例性实施例]

将通过使用图22至图24描述根据本发明第八示例性实施例的面部辨识系统和面部辨识方法。注意，将用相同的附图标号标记与根据上述第一至第七示例性实施例的面部辨识系统和面部辨识方法中的组件类似的组件，并且将省略或简化其描述。

首先，将通过使用图22和图23来描述根据本示例性实施例的面部辨识系统。图22是示出根据本示例性实施例的面部辨识系统的示意图。图23是示出根据本示例性实施例的面部辨识系统的功能配置的框图。

在上述第一至第八实施例中，已经描述了对访问者进行通过面部匹配的身份验证的情况，该访问者作为将要通过在设施的入口处使用入场票进入设施内部的认证对象。然而，执行通过面部匹配的身份验证的情况不限于此。在本示例性实施例中，将描述下述情况：对于作为认证对象的购物客户执行通过面部匹配的身份验证，该作为认证对象的购物客户通过在诸如商店中的其中安装了注册终端的注册柜台的收银台区域使用信用卡、借记卡或电子货币等执行电子支付。

如图22和图23所示，根据本示例性实施例的面部辨识系统5包括注册终端810、固定相机20、面部匹配装置30、数据中心服务器40和电子支付服务器820。注册终端810、固定相机20和面部匹配装置30安装在商店的收银台区域850中。另一方面，例如，数据中心服务器40安装在远离收银台区域850的数据中心内。此外，电子支付服务器820是例如提供电子支付系统的公司的服务器。

面部匹配装置30和数据中心服务器40分别经由网络60连接到网络，并且可以以与第一示例性实施例中相同的方式经由网络60彼此通信。

此外，注册终端810和电子支付服务器820分别经由网络60连接到网络，并且可以经由网络60彼此通信。

此外，注册终端810和固定相机20分别通过电缆连接等以可通信的方式直接本地连接到面部匹配装置30。注册终端810、固定相机20和面部匹配装置30之间的连接可以是有线方案或无线方案。

接下来，将详细描述本示例性实施例中的面部辨识系统5的每个单元。

注册终端810读取由购物顾客购买的购买物品的价格信息以及其他信息，并执行购买物品的计费处理。如稍后所述，注册终端810基于当通过面部匹配的身份验证成功时通知的电子支付信息来执行计费处理。

读取单元830连接到注册终端810。读取单元830安装在与注册终端810相邻的注册终端810附近。读取单元830读取记录在购物顾客携带的商店的会员卡中的信息。具体地，在会员卡中，记录唯一识别会员卡的ID信息。读取单元830从会员卡读取ID信息。例如，由读取单元830读取的ID信息是会员卡的会员号。使用商店的购物顾客在使用商店时携带会员卡并使读取单元830在计费中读取会员卡。会员卡是由作为认证对象的购物顾客携带，并且当购物顾客进行支付时需要并且在其中记录了唯一识别其的ID信息的媒介。如稍后所述，在数据中心服务器40中，存储关于与会员卡上的ID信息相关联地向其发行会员卡的注册会员的信息。

读取单元830具有根据会员卡的ID信息的记录方案的读取方案。例如，当会员卡具有以诸如条形码的一维码或诸如QR码(注册商标)的二维码记录的ID信息时，读取单元108是诸如条形码读取器或QR码读取器等的码读取器。此外，例如，当会员卡具有记录在具有射频识别(RFID)的非接触式IC卡或非接触式IC标签中的ID信息时，读取单元830是RFID读取器。

当在读取单元830上存在会员卡的票证展示时，读取单元830从年度通行证中读取记录在年度通行证中的ID信息。注意，这里的票证展示意味着作为认证对象的购物顾客使得读取单元830读取包括记录在会员卡中的ID信息的信息。

读取单元830将从会员卡读取的ID信息发送到注册终端810。注册终端810将从读取单元830发送的会员卡的ID信息发送到面部匹配装置30。

此外，注册终端810基于从面部匹配装置30发送的电子支付信息执行计费处理，如下所述。

固定相机20相对于注册终端810固定到安装在收银台区域850的出口侧的支柱202的上端。固定相机20捕捉注册终端810前面的区域的图像，并且面向收银台区域850的入口侧的方向是固定的。固定相机20固定在从收银台区域850的地面起例如高度约200cm的人的头部上方的高度处，并且向下倾斜地指向以朝向寄存器前面的区域。注意，固定相机20的固定方案不限于使用支柱202的方案。例如，固定相机20可以从天花板悬挂并固定到天花板。

如上所述固定的固定相机20捕捉在注册终端810前面的区域的图像，该区域是注册终端810和读取单元830的安装区域的入口侧。由此，固定相机20可以捕捉在作为读取单元830的安装区域的入口侧的注册端子10前面的区域中的购物顾客C。

由于固定相机20的其他特征与上述第一示例性实施例中的那些相同，因此将省略其描述。

面部匹配装置30以与第一示例性实施例相同的方式具有面部匹配控制单元302、存储单元304和显示单元306。面部匹配控制单元302包括图像数据获取单元308、面部检测单元310、面部特征量提取单元312和面部匹配单元314。

图像数据获取单元308以与第一示例性实施例相同的方式以预定周期顺序地获取从固定相机20发送的图像的图像数据。

面部检测单元310以与第一示例性实施例相同的方式对从图像数据获取单元308顺序获取的图像数据的各个图像执行面部检测。注意，在本示例性实施例中，面部检测单元310检测在注册终端810前面的区域中的购物客户的面部图像。

面部特征量提取单元312以与第一示例性实施例相同的方式提取由面部检测单元310检测的各个检出面部图像的面部特征量。此外，面部特征量提取单元312以与第一示例性实施例相同的方式对于各个检出面部图像将面部图像数据、面部特征量、检测编号和捕捉时间彼此相关联地临时存储在存储单元304中。

在存储单元304中配置关系数据库，并且以与第一示例性实施例相同的方式，对于各个检出面部图像将面部特征量和与其相关的数据临时存储从捕捉时间起的某个时段。

响应于连接到注册终端810的读取单元830处的会员卡的票证展示，面部匹配单元314对在读取单元830处进行了会员卡的票证展示的购物顾客进行通过面部匹配的身份验证。

读取单元830从票证展示上的会员卡读取的ID信息被发送到面部匹配单元314。面部匹配单元314获取所发送的ID信息，并且经由网络60从稍后描述的数据中心服务器40获取与ID信息相关联地注册的注册面部图像的面部特征量。由面部匹配单元314以这种方式获取的注册面部图像的人是允许有效使用在票证展示上的会员卡的有效用户。会员卡的有效用户是例如被发行会员卡的注册会员。

此外，以与第一示例性实施例相同的方式，面部匹配单元314参考存储单元304的关系数据库，并且获取与在票证展示之前的预定时段中包括的捕捉时间相关联的N个检出面部图像的面部特征量。也就是说，面部匹配单元314在读取单元830从会员卡读取ID信息之前，获取由固定相机20捕捉的N个检出面部图像的面部特征量。

面部匹配单元314执行N:1匹配，其以与第一示例性实施例相同的方式将已经在会员卡的票证展示之前捕捉的N个检出面部图像的各个面部特征量针对注册面部图像的面部特征量相匹配。

如果通过面部匹配单元314的匹配过程一致，则这意味着在票证展示上的会员卡的有效用户是在票证展示之前在注册终端810前面的购物顾客中。因此，可以估计会员卡的有效用户进行会员卡的票证展示。因此，在这种情况下，通过面部匹配进行身份验证是成功的。

另一方面，如果通过面部匹配单元314的所有匹配过程都是不一致的，则这意味着在票证展示之前在注册终端810前面的购物客户中没有在票证展示上的会员卡的有效用户。因此，在这种情况下，通过面部匹配进行身份验证失败。

可以在显示单元306上显示面部匹配单元314的匹配结果等。商店的工作人员可以通过在显示单元306上查看显示来确认匹配结果等。

面部匹配单元314将匹配结果信号发送到注册终端810，该匹配结果信号是指示上述匹配结果的信号。具体地，面部匹配单元314向注册终端810发送匹配过程一致信号或者匹配过程不一致信号，该匹配过程一致信号是表示由面部匹配单元314执行的匹配过程一致的信号，该匹配过程不一致信号是表示由面部匹配单元314执行的所有匹配过程不一致的信号。

此外，如果匹配过程一致，则面部匹配单元314经由网络60从稍后描述的数据中心服务器40获取支付选项信息。支付信息是与其中匹配过程一致的会员卡的ID信息相关联地存储的、用于执行电子支付的信息，并且例如可以是信用卡号或电子货币ID信息。面部匹配单元314将所获取的支付选项信息与匹配过程一致信号一起发送到注册终端810。

当从面部匹配单元314发送匹配过程一致信号时，注册终端810向稍后描述的电子支付服务器820请求电子支付。在这种情况下，注册终端810向电子支付服务器820发送电子支付信息，该电子支付信息是包括与匹配过程一致信号和购买物品的计费价格一起发送的支付选项信息的信息。

另一方面，当从面部匹配单元314发送匹配过程不一致信号时，注册终端810使用警告显示或警告声等来向操作注册终端810的商店员工通知不能进行电子支付。

数据中心服务器40以与第一示例性实施例相同的方式具有控制单元402和存储单元404。

存储单元404存储与所发布的会员卡的ID信息及其面部特征量相关联地注册的注册面部图像。此外，在存储单元404中，存储与会员卡的ID信息相关联的支付选项信息。

响应于来自面部匹配单元314的请求，控制单元402向面部匹配单元314提供与在票证展示上的会员卡的ID信息相关联地注册的注册面部图像的面部特征量。此外，响应于来自面部匹配单元314的请求，控制单元402向面部匹配单元314提供与在票证展示上的会员卡的ID信息相关联的支付选项信息。

例如，当购物顾客获得商店的会员卡时，可以从商店中的终端或购物顾客的终端等将注册面部图像上载到数据中心服务器40。在数据中心服务器40中，控制单元402将上载的注册面部图像存储在存储单元404中。

对于如上所述在数据中心服务器40的存储单元404中存储的注册面部图像，以与第一示例性实施例相同的方式在存储单元404中提取并存储面部特征量。

在存储单元404中配置关系数据库，并且以与第一示例性实施例相同的方式，与会员卡的ID信息和注册面部图像的面部图像数据相关联地存储注册面部图像的面部特征量。此外，在存储单元404中，与会员卡的ID信息相关联地存储支付选项信息。

注意，在存储单元404的关系数据库中，例如，除了与会员卡的ID信息相关联的上述信息之外，还存储关于作为会员卡的有效用户的注册会员的姓名或联系地址等的信息。

电子支付服务器820通过信用卡或电子货币等执行电子支付。电子支付服务器820基于从注册终端810发送的电子支付信息，对购物顾客购买的物品进行电子支付。

如上所述，根据本示例性实施例的面部辨识系统5针对与在票证展示上的会员卡的ID信息相关联地注册的注册面部图像，匹配在票证展示之前由固定相机20捕捉的检出面部图像，其中，执行读取单元830从会员卡读取ID信息。也就是说，在根据本示例性实施例的面部辨识系统5中，在会员卡的票证展示之前，预先获取作为要针对注册面部图像匹配的匹配主体的图像的检出面部图像。

因此，根据本示例性实施例，在购物顾客进行会员卡的票证展示之后，不需要捕捉购物顾客的面部图像作为要由商店的工作人员针对注册面部图像匹配的匹配主体的图像。此外，购物顾客既不需要关注其面部图像的捕捉也不需要执行诸如定位其面部以进行捕捉的特殊移动。因此，根据本示例性实施例，可以在短时间内平滑地进行面部匹配。

接下来，将通过使用图24来进一步描述使用根据本示例性实施例的面部辨识系统5的根据本示例性实施例的面部辨识方法。图24是示出根据本示例实施例的面部辨识方法的流程图。

固定相机20捕捉作为读取单元830的安装区域的入口侧的注册终端810前面的区域，并以预定周期连续地获取多个图像。由于通过固定相机20的捕捉来临时存储检出面部图像的面部特征量之前的处理与第一示例性实施例的图9所示的处理相同，除了固定相机20的捕捉区域是不同的，所以将省略其描述。

下面将通过使用图24描述从会员卡的票证展示到执行电子支付的过程。

在注册终端810处，读取单元830待定直到执行会员卡的票证展示(步骤S702，否)。

响应于购物顾客在读取单元830处对会员卡的票证展示(步骤S702，是)，读取单元830从会员卡中读取记录在会员卡中的ID信息(步骤S704)。

随后，注册终端810将由读取单元830读取的ID信息发送到面部匹配装置30(步骤S706)。

在面部匹配装置30中，面部匹配单元314经由网络60向数据中心服务器40发送从注册终端810发送的ID信息，并请求注册面部图像的面部特征量。由此，经由网络60从数据中心服务器40，面部匹配单元314在线获取与发送的ID信息相关联地注册的注册面部图像的面部特征量(步骤S708)。

此外，面部匹配单元314参考存储单元304的关系数据库，用于离线获取与在会员卡的票证展示之前的预定时段中包括的捕捉时间相关联的N个检出面部图像的面部特征量(步骤S710)。也就是说，面部匹配单元314在读取单元830从会员卡读取ID信息之前，获取由固定相机20捕捉的N个检出面部图像的面部特征量。

面部匹配单元314以与第一示例性实施例相同的方式执行N:1匹配，其将所获取的N个检出面部图像的各个面部特征量针对所获取的注册面部图像的面部特征量顺序地匹配(步骤S712)。

如果由面部匹配单元314执行的匹配过程一致(步骤S714，是)，则面部匹配单元314经由网络60从数据中心服务器40获取支付选项信息(步骤S716)。随后，面部匹配单元314将指示由面部匹配单元314执行的匹配过程一致的匹配过程一致信号与所获取的支付选项信息一起发送到注册终端810(步骤S718)。

响应于来自面部匹配单元314的匹配过程一致信号的发送，注册终端810向电子支付服务器820发送包括所发送的支付选项信息和所购物品的计费价格的电子支付信息(步骤S720)。

电子支付服务器820基于从注册终端810发送的电子支付信息，对购物顾客购买的物品执行电子支付(步骤S722)。

另一方面，如果由面部匹配单元314执行的所有匹配过程都是不一致的(步骤S714，否)，则面部匹配单元314向注册终端810发送匹配过程不一致信号，该信号指示由面部匹配单元314所执行的所有匹配过程不一致(步骤S724)。

响应于来自面部匹配单元314的匹配过程不一致信号的发送，注册终端810使用警告显示或警告声等来向操作注册终端810的商店员工通知不能进行电子支付(步骤S726)。

在执行根据本示例性实施例的面部辨识方法期间，每次在连接到注册终端810的读取单元830处进行票证展示时，重复执行上述图24所示的处理。

如上所述，根据本示例性实施例，在会员卡的票证展示之前从由固定相机20捕捉的图像检测到的检出面部图像的面部特征量针对与票证展示上的会员卡的ID信息相关联地注册的注册面部图像的面部特征量进行匹配。因此，根据本示例性实施例，可以在短时间内平滑地执行面部匹配。

注意，另外，当在上述商店中其中安装了注册终端的收银台区域处通过面部匹配来执行身份验证时，可以以与上述第二至第七示例性实施例相同的方式配置面部辨识系统以执行与第二至第七示例性实施例中的处理相同的处理。

[第九示例性实施例]

将通过使用图25来描述根据本发明的第九示例性实施例的计算机设备。在本示例性实施例中，将描述用于实现如上所述根据第一至第八示例的面部辨识系统的各个单元的处理的计算机设备。

图25示出了用于实现上述根据第一至第八示例性实施例的面部辨识系统的各个单元的处理的计算机设备的示例。图25中所示的计算机设备1000不受特别限制，但可以是各种类型或形式。例如，计算机设备1000可以是膝上型计算机、台式计算机、工作站、个人数字助理、服务器、刀片服务器、大型计算机或嵌入式系统等。

计算机设备1000具有处理器1002、存储器1004和存储设备1006。此外，计算机设备1000具有包括高速接口的高速控制器1008和包括低速接口的低速控制器1010。存储器1004和高速扩展端口1012连接到高速控制器1008。此外，诸如显示器1016等的外部输入/输出设备连接到高速控制器1008。另一方面，低速扩展端口1014和存储设备1006连接到低速控制器1010。

处理器1002、存储器1004、存储设备1006、高速控制器1008、低速控制器1010和高速扩展端口1012通过各种总线彼此连接。此外，处理器1002、存储器1004、存储设备1006、高速控制器1008、低速控制器1010和高速扩展端口1012可以在公共主板上实现或者可以酌情以其他形式实现。

处理器1002例如是中央处理单元(CPU)，并且能够处理在计算机设备1000内执行的指令。这样的指令包括用于在诸如显示器1016的外部输入/输出设备上显示图形用户界面(GUI)的图形信息，并存储在存储器1004或存储设备1006中的指令。

此外，可以与多个存储器设备和多种类型的存储器设备一起适当地使用多个处理器、多条总线或多个处理器和多条总线。此外，多个计算机设备1000可以连接到执行必要处理的一部分的每个设备。例如，多个计算机设备1000可以作为服务器库、一组刀片服务器或多处理器系统彼此连接。

存储器1004在其中存储计算机设备1000内的信息。例如，存储器1004可以是易失性存储器单元或非易失性存储器单元。存储器1004可以是另一计算机可读介质，例如磁盘或光盘等。

存储设备1006可以配置用于计算机设备1000的大容量存储器。存储设备1006可以例如是计算机可读介质，例如软(floppy，注册商标)盘设备、硬盘设备、光盘设备、磁带设备、诸如闪存的固态存储设备或磁盘阵列等。此外，存储设备1006可以包括这样的计算机可读存储介质。存储设备1006可以包括存储区域网络或具有另一种配置的设备。计算机程序产品可以有形地体现在信息载体中。计算机程序产品还可以存储在执行时执行如上所述的一个或多个处理的指令。信息载体可以是诸如存储器1004、存储单元1006或处理器1002上的存储器的存储器设备，或者可以是诸如载波信号的计算机可读介质或机器可读介质。

高速控制器1008管理其中集中使用计算机设备1000的带宽的处理。另一方面，低速控制器1010管理其中不太集中使用带宽的处理。然而，这种功能的分配仅仅是示例，并且分配不限于此。此外，高速控制器1008的一部分或全部可以包含在处理器1002中。

高速控制器1008连接到可以接受存储器1004和各种扩展卡的高速扩展端口1012。此外，高速控制器1008例如经由图形处理器或加速器连接到显示器1016。

此外，低速控制器1010连接到存储设备1006和低速扩展端口1014。低速扩展端口1014可以包括例如各种标准的通信端口，各种标准例如是通用串行总线(USB)、蓝牙(注册商标)或者有线或无线以太网(注册商标)等。诸如键盘、指示设备或扫描仪等的一个或多个输入/输出设备可以连接到低速扩展端口1014。此外，诸如交换机或路由器等的一个或多个网络设备例如可以通过网络适配器连接到低速扩展端口1014。

可以以许多不同的形式实现计算机设备1000。例如，可以以典型服务器的形式或以一组这样的服务器的形式的多个服务器来实现计算机设备1000。此外，计算机设备1000可以实现为机架服务器系统的一部分。此外，计算机设备1000可以以个人计算机的形式实现，例如膝上型计算机或台式计算机等。

上述计算机设备1000可以在上述示例性实施例中用作的门装置10的一部分。在这种情况下，计算机设备1000的处理器1002可以通过执行实现门装置10的门控制单元112的功能的程序而用作门控制单元112。

此外，计算机设备1000可以在上述示例性实施例中用作面部匹配装置30。在这种情况下，计算机设备1000的处理器1002可以通过执行实现面部匹配装置30的面部匹配控制单元302的功能的程序而用作面部匹配控制单元302。即，处理器1002执行程序，该程序实现图像数据获取单元308、面部检测单元310、面部特征量提取单元312、面部匹配单元314、优先级计算单元318和同一人物处理单元320的各个单元的功能。由此，处理器1002可以用作图像数据获取单元308、面部检测单元310、面部特征量提取单元312、面部匹配单元314、优先级计算单元318和同一人处理器单元320的每个单元。此外，计算机设备1000的存储设备1006可以用作面部匹配装置30的存储单元304和324。

计算机设备1000可以在上述示例性实施例中用作数据中心服务器40。在这种情况下，计算机设备1000的处理器1002可以通过执行实现数据中心服务器40的控制单元402的功能的程序而用作控制单元402。此外，计算机设备1000的存储设备1006可以用作数据中心服务器40的存储单元404。

注意，由计算机设备1000的处理器1002执行的程序的一部分或全部可以由存储上述内容的计算机可读存储介质提供，例如数字通用盘-只读存储器(DVD-ROM)、压缩盘只读存储器(CD-ROM)或诸如USB存储器的闪存等。

[其他示例性实施例]

根据另一示例性实施例，可以如图26所示配置上述每个示例性实施例中示出的面部辨识系统。图26是示出根据另一示例性实施例的面部辨识系统的功能配置的框图。

如图26所示，根据另一示例性实施例的面部辨识系统5000具有：读取单元5002，其从由认证对象携带的介质读取识别信息；以及，图像捕捉单元5004，其捕捉到读取单元5002的安装区域的入口侧以获取图像。此外，面部辨识系统5000具有面部检测单元5006，其在从图像捕捉单元5004获取的图像中检测面部图像作为检出面部图像。此外，面部辨识系统5000具有面部匹配单元5008，其将由面部检测单元5006检测到的检出面部图像针对与由读取单元5002读取的识别信息相关联地注册的注册面部图像进行匹配。面部匹配单元5008将针对注册面部图像匹配在读取单元5002读取识别信息之前由图像捕捉单元5004捕捉的检出面部图像。

此外，根据另一示例性实施例，可以如图27所示配置在每个上述示例性实施例中描述的面部匹配装置。图27是图示根据另一示例性实施例的面部匹配装置的功能配置的框图。

如图27所示，根据另一示例性实施例的面部匹配装置6000具有面部检测单元6002，其从图像检测面部图像作为检出面部图像。通过图像捕捉单元获取面部检测单元6002通过其检测检出面部图像的图像，该图像捕捉单元捕捉并获取从认证对象读取识别信息的读取单元的安装区域的入口侧的图像。此外，面部匹配装置6000具有面部匹配单元6004，该面部匹配单元6004将由面部检测单元6002检测到的检出面部图像针对与由读取单元读取的识别信息相关联地注册的注册面部图像进行匹配。面部匹配单元6004针对注册面部图像匹配在读取单元读取识别信息之前由图像捕捉单元捕捉的检出面部图像。

此外，根据又一示例性实施例，可以如图28所示配置在每个上述示例性实施例中描述的面部辨识系统。图28是示出根据又一示例性实施例的面部辨识系统的功能配置的框图。

如图28所示，根据又一示例性实施例的面部辨识系统7000具有面部检测单元7002，该面部检测单元7002从包括认证对象的图像检测面部图像作为检出面部图像。此外，面部辨识系统7000具有存储单元7004，该存储单元7004与认证对象的注册面部图像相关联地存储识别认证对象的识别信息。此外，面部辨识系统7000具有面部匹配单元7006，其响应于获取识别认证对象的识别信息，针对与所获取的识别信息相对应的注册面部图像匹配通过面部检测单元7002从在获取之前捕捉的图像检测到的检出面部图像。

[修改的示例性实施例]

本发明不限于上述示例性实施例，并且可以进行各种修改。

例如，虽然作为在上面的示例实施例中的示例已经描述了其中分别对意图进入设施内部的访问者作为认证对象和对进行电子支付的购物顾客作为认证对象进行通过面部匹配进行身份验证的情况，但是本发明不限于此。认证对象是指要辨识是否具有某种权限的人，例如进入设施的访问者或进入移民检查的进入者等。例如，通过面部匹配进行身份验证的情况可以是下述情况，其中，在移民控制或房间的进入和退出控制等中执行通过面部匹配进行身份验证。

此外，虽然在上述示例性实施例中已经作为示例描述了将固定相机20用作图像捕捉单元的情况，但是用作图像捕捉单元的相机不限于此。例如，代替固定相机20，可以使用其中可以通过平移功能或倾斜功能等改变其取向的可移动相机作为图像捕捉单元。在可移动相机的情况下，可以通过自动控制或远程控制来改变其取向。

此外，虽然在上述示例性实施例中已经作为示例描述了其中在通过其年度通行证或会员卡信息被读取单元108或830读取的认证对象进行票证展示之后执行通过面部匹配进行身份验证的情况，但是本发明不限于此。例如，读取单元108和830可以被配置为通过下述方式从认证对象携带的介质读取诸如唯一地标识介质的ID信息的识别信息：通过使用无线通信等，而不需要动作，即，通过认证主体的票证展示。

以上公开的示例性实施例的全部或部分可以被描述为但不限于以下附记。

(附记1)

一种面部辨识系统，包括：

面部检测单元，从包括认证对象的图像检测面部图像作为检出面部图像；

存储单元，相互关联地存储识别所述认证对象的识别信息和所述认证对象的注册面部图像；以及

面部匹配单元，响应于获取识别所述认证对象的所述识别信息，针对与所获取的识别信息对应的注册面部图像匹配由所述面部检测单元从所述获取之前捕捉的图像中检测到的所述检出面部图像。

(附记2)

根据附记1的面部辨识系统，

其中，所述面部检测单元从多个图像帧检测多个检出面部图像，并且

其中，所述面部匹配单元将所述多个检出面部图像和所述注册面部图像进行匹配。

(附记3)

根据附记2的面部辨识系统，还包括：优先级计算单元，所述优先级计算单元计算用于确定针对所述多个检出面部图像针对所述注册面部图像执行匹配的顺序的优先级，

其中，所述面部匹配单元按照由所述优先级计算单元计算的所述优先级的降序将所述多个检出面部图像和所述注册面部图像进行匹配。

(附记4)

根据附记2或3所述的面部辨识系统，还包括：同一人物处理单元，所述同一人物处理单元以同一人物为基础对所述多个检出面部图像进行分类，并计算用于确定针对分类为所述同一人物的所述检出面部图像和所述注册面部图像执行匹配的顺序的优先级，

其中，所述面部匹配单元按照由所述同一人物处理单元计算的所述优先级的降序，将分类为所述同一人物的所述检出面部图像和所述注册面部图像进行匹配。

(附记5)

根据附记1至4的任一项所述的面部辨识系统，还包括：更新单元，所述更新单元将其中和所述注册面部图像的匹配过程一致的所述检出面部图像注册为新的注册面部图像。

(附记6)

根据附记1至5中任一项所述的面部辨识系统，还包括：

图像捕捉单元，所述图像捕捉单元捕捉包括所述认证对象的图像；以及

另一图像捕捉单元，所述另一图像捕捉单元捕捉所述认证对象的面部图像，并且当所述检出面部图像和所述注册面部图像的匹配过程不一致时，获取所述认证对象的所述面部图像，

其中，所述面部匹配单元相对于注册面部图像对由所述另一图像捕捉单元获取的所述认证对象的所述面部图像进行匹配。

(附记7)

根据附记1至5中任一项所述的面部辨识系统，还包括：显示单元，当所述检出面部图像与所述注册面部图像的匹配过程不一致时，所述显示单元显示所述检出面部图像和所述注册面部图像。

(附记8)

根据附记1至7中任一项所述的面部辨识系统，其中，所述面部匹配单元离线获取要针对所述检出面部图像匹配的所述注册面部图像。

(附记9)

根据附记1至8中任一项所述的面部辨识系统，还包括：图像捕捉单元，所述图像捕捉单元捕捉包括所述认证对象的图像，

其中，所述图像捕捉单元以纵长定向地被安装，以便捕捉纵长的图像。

(附记10)

一种面部辨识方法，包括：

从包括认证对象的图像中检测面部图像作为检出面部图像；以及

响应于获取识别认证对象的识别信息，相对于与获取的识别信息相关联地注册的注册面部图像，匹配从所述获取之前捕捉的图像中检测到的所述检出面部图像。

(附记11)

根据附记10所述的面部辨识方法，还包括：

从多个图像帧中检测多个检出面部图像；以及

将所述多个检出面部图像和所述注册面部图像进行匹配。

(附记12)

一种其中存储有程序的存储介质，其中，所述程序使计算机执行：

从包括认证对象的图像中检测面部图像作为检出面部图像；以及

响应于获取识别认证对象的识别信息，相对于与获取的识别信息相关联地注册的注册面部图像，匹配从所述获取之前捕捉的图像中检测到的所述检出面部图像。

虽然已经参考示例性实施例描述了本发明，但是本发明不限于上述示例性实施例。可以在本发明的范围内对本发明的配置或细节进行本领域技术人员可以理解的各种修改。

本申请基于并要求优先权于在2016年2月26日提交的日本专利申请No.2016-036406，其公开内容通过引用整体并入本文。

[附图标记清单]

1、2、3、4、5 面部辨识系统

10 门装置

20 固定相机

30 面部匹配装置

40 数据中心服务器

108 读取单元

110 手持相机

112 门控制单元

302 面部匹配控制单元

304 存储单元

308 图像数据采集单元

310 面部检测单元

312 面部特征量提取单元

314 面部匹配单元

318 优先级计算单元

320 同一人物处理单元

324 存储单元

402 控制单元

404 存储单元

810 注册终端

830 读取单元

Claims (12)

1.一种面部辨识系统，包括：

面部检测单元，所述面部检测单元从包括认证对象的图像来检测出面部图像，作为检出面部图像；

存储单元，所述存储单元以相互关联的方式来存储用于识别所述认证对象的识别信息和所述认证对象的注册面部图像；以及

面部匹配单元，所述面部匹配单元响应于获取到用于识别所述认证对象的所述识别信息，对由所述面部检测单元从在所述获取之前所捕捉的图像检测出的所述检出面部图像与和所获取的识别信息相对应的所述注册面部图像进行匹配。

2.根据权利要求1的面部辨识系统，

其中，所述面部检测单元从多个图像帧来检测出多个检出面部图像，并且

其中，所述面部匹配单元对所述多个检出面部图像和所述注册面部图像进行匹配。

3.根据权利要求2所述的面部辨识系统，还包括：

优先级计算单元，所述优先级计算单元计算优先级，该优先级被用于确定相对于所述注册面部图像来对所述多个检出面部图像执行匹配的顺序，

其中，所述面部匹配单元按照由所述优先级计算单元所计算的所述优先级的降序，来对所述多个检出面部图像和所述注册面部图像进行匹配。

4.根据权利要求2或3所述的面部辨识系统，还包括：

同一人物处理单元，所述同一人物处理单元以同一人物为基础对所述多个检出面部图像进行分类，并计算优先级，该优先级用于确定相对于所述注册面部图像来对被分类为所述同一人物的所述检出面部图像执行匹配的顺序，

其中，所述面部匹配单元按照由所述同一人物处理单元计算的所述优先级的降序，来对被分类为所述同一人物的所述检出面部图像和所述注册面部图像进行匹配。

5.根据权利要求1至4中的任一项所述的面部辨识系统，还包括：

更新单元，所述更新单元将和所述注册面部图像的匹配为一致的所述检出面部图像注册为新的注册面部图像。

6.根据权利要求1至5中的任一项所述的面部辨识系统，还包括：

图像捕捉单元，所述图像捕捉单元捕捉包括所述认证对象的图像；以及

另一图像捕捉单元，所述另一图像捕捉单元捕捉所述认证对象的面部图像，并且当所述检出面部图像和所述注册面部图像的匹配为不一致时，获取所述认证对象的所述面部图像，

其中，所述面部匹配单元对由所述另一图像捕捉单元获取的所述认证对象的所述面部图像和所述注册面部图像进行匹配。

7.根据权利要求1至5中的任一项所述的面部辨识系统，还包括：

显示单元，当所述检出面部图像和所述注册面部图像的匹配为不一致时，所述显示单元显示所述检出面部图像和所述注册面部图像。

8.根据权利要求1至7中的任一项所述的面部辨识系统，其中，

所述面部匹配单元离线地获取要与所述检出面部图像进行匹配的所述注册面部图像。

9.根据权利要求1至8中的任一项所述的面部辨识系统，还包括：

图像捕捉单元，所述图像捕捉单元捕捉包括所述认证对象的图像，

其中，所述图像捕捉单元以纵长定向的方式来被安装，以便捕捉纵长的图像。

10.一种面部辨识方法，包括：

从包括认证对象的图像来检测出面部图像，作为检出面部图像；以及

响应于获取到用于识别所述认证对象的识别信息，对从所述获取之前所捕捉的图像检测出的所述检出面部图像与和被获取的识别信息相关联地注册的注册面部图像进行匹配。

11.根据权利要求10所述的面部辨识方法，还包括：

从多个图像帧，检测出多个检出面部图像；以及

对所述多个检出面部图像和所述注册面部图像进行匹配。

12.一种存储有程序的存储介质，其中，所述程序使计算机执行：

从包括认证对象的图像来检测出面部图像，作为检出面部图像；以及

响应于获取到用于识别所述认证对象的识别信息，对从所述获取之前所捕捉的图像检测出的所述检出面部图像与和被获取的识别信息相关联地注册的注册面部图像进行匹配。