CN106030654B - 面部认证系统 - Google Patents

Abstract

本发明的一个实施例的面部认证系统，具备：从由摄像机拍摄到的第一摄像图像中检测第一面部图像的第一面部区域检测部；使用模板面部图像对所述第一面部图像进行非线性变形的第一变形部；记录变形后的所述第一面部图像作为登录面部图像的面部图像记录部；从由摄像机拍摄到的第二摄像图像中检测第二面部图像的第二面部区域检测部；使用所述模板面部图像对所述第二面部图像进行非线性变形的第二变形部；以及将变形后的所述第二面部图像和所述登录面部图像进行对照的面部图像对照部。

Description

面部认证系统

技术领域

本发明涉及进行面部图像的摄像/登录，并用其来对用户进行认证的技术。

背景技术

公共设施内的反恐对策、犯罪对策逐年成为重要的课题。因此，关注使用生物体信息(指纹、静脉、面部等)的生物认证，其中，对面部认证的期待不断升高。在面部认证技术中，由于能够从远离的场所对面部图像进行拍摄，因而具有对象者无需认证动作的优点等其他生物认证技术所不具有的优势。因此，期待着以边境管理、监视警备用途为中心的广泛利用。

使用面部图像的个人认证系统预先输入个人用户的面部图像而登录为辞典信息。例如，当用户要使用设施时，与拍摄用户的面部图像而登录的面部图像进行对照，由此判定该人物是否是本人。

在以往的这样的认证系统中，当进行面部登录和面部认证时，需要用户在认证系统的摄像机前止步，在用户朝向摄像机的镜头并使面部面向镜头的状态下拍摄面部图像。难以进行在用户不注意时拍摄面部图像，且减少姿势或表情的变动的无意识个人认证。

针对上述问题，例如，专利文献1公开了如下技术，其中，将拍摄到的面部图像与预先准备了面部的三维测量数据的三维模型进行拟合(fitting)，对姿势、表情的变动进行修正。

现有技术文献

专利文献

专利文献1：日本特开2007-122454号公报

发明内容

发明要解决的课题

但是，在专利文献1记载的认证系统中，为了进行三维面部认证，需要同时使用多台摄像机来拍摄用户的面部图像，使用所得的多张面部图像来进行三维重建处理，生成面部的三维测量数据。并且，在进行上述的三维重建处理时，需要高精度地从输入图像中确定在面部的特征部位设定的多个特征点的2维坐标。在用户的姿势、表情的变动中进行高精度的特征点检测是非常困难的。

因此，希望对姿势、表情的变动具有鲁棒性的面部认证技术。

用于解决课题的手段

本发明的一种方式的面部认证系统，具备：从由摄像机拍摄到的第一摄像图像中检测第一面部图像的第一面部区域检测部；使用模板面部图像对所述第一面部图像非线性地进行变形的第一变形部；记录变形后的所述第一面部图像作为登录面部图像的面部图像记录部；从由摄像机拍摄到的第二摄像图像中检测第二面部图像的第二面部区域检测部；使用所述模板面部图像对所述第二面部图像非线性地进行变形的第二变形部；将变形后的所述第二面部图像和所述登录面部图像进行对照的面部图像对照部。

发明效果

根据本发明一种方式，能够实现对姿势、表情的变动具有鲁棒性的面部认证。

附图说明

图1A是表示实施方式1的面部认证系统的逻辑结构的框图。

图1B是表示实施方式1的面部登录装置和面部认证装置的硬件结构的框图。

图2是实施方式1的面部登录处理的流程图。

图3是实施方式1的面部认证处理的流程图。

图4是表示面部图像变形部的逻辑结构的框图。

图5是说明面部变形处理的流程图。

图6是标准模板面部图像和表示采样点数量的权重的采样掩码(sampling mask)的说明图。

图7是实施方式2的面部对照处理的流程图。

图8是实施方式2的面部变形处理的流程图。

图9是表示实施方式2的面部对照部的逻辑结构的框图。

图10是表示实施方式1和实施方式2的登录面部图像变形中的图像的例子的说明图。

图11是表示实施方式1和实施方式2的认证对象面部图像变形中的图像的例子的说明图。

图12是表示在实施方式2的面部对照处理中执行的面部图像变形中的图像的例子的说明图。

图13是表示实施方式3的进出管理以及服务提供系统的逻辑结构的框图。

具体实施方式

以下，参照附图说明本发明的实施方式。应该注意，本实施方式不过是用于实现本发明的一例，不对本发明的技术范围进行限定。在各个图中，针对相同的结构赋予相同的参照符号。

(实施方式1)

<概要>

本实施方式的面部登录装置和面部认证装置对登录用面部图像和认证用面部图像的每一个，将面部部分的配置、各个面部部分的大小、各个面部部分的形状、轮廓的大小、轮廓的形状等非线性地进行变形。面部登录装置和面部认证装置在进行变形时，使用预先制作出的通用的标准模板面部图像作为参照面部图像。

通过参照模板图像来对登录用面部图像和认证用面部图像非线性地进行变形，从面部的朝向、位置不同的图像，也能够生成适合于认证的面部图像，提高了认证精度。由此，降低了在用户面部图像的摄像中由于用户的面部朝向、表情的变动等造成的影响，在用户进行面部登录和面部认证时即使未特别意识到图像拍摄也能够实现高精度的面部认证。

<结构和动作>

图1A是表示本实施方式的面部认证系统的逻辑结构的框图。本实施方式的面部认证系统100具备：摄像机121、122、面部登录装置1和面部认证装置2。面部登录装置1具备：面部区域检测部12、面部图像变形部15和面部图像记录部18。面部认证装置2具备：面部区域检测部13、面部图像变形部14和面部图像对照部19。

面部认证系统100还包含：在面部登录装置1中输入的登录用图像10、面部认证装置2使用的认证用图像11、预先制作出的标准模板面部图像24、以及登录用户数据库20。在以下说明的例中，标准模板面部图像和登录面部图像是二维图像。

图1B表示面部认证系统100的硬件结构例。登录用户数据库20和标准模板面部图像24被存储在面部图像服务器241的易失性存储设备或非易失性存储设备中。摄像机121、122、面部登录装置1、面部认证装置2和面部图像服务器241经由网络27而连接。

图1B表示面部登录装置1的硬件结构例。面部认证装置2和面部图像服务器241也可以具有相同的结构。面部登录装置1具有：输入设备510、输出设备520、处理器530、磁盘设备540、接口(I/F)550以及存储器560。

输入设备510是用于使管理者向面部登录装置1输入信息的设备。输入设备510例如是键盘、指点设备、开关、触摸屏、话筒等。输出设备520是用于面部登录装置1向管理者输出信息的设备。输出设备520例如是监视显示器、扬声器、打印机等。

处理器530按照存储器560中存储的程序、运算参数等来控制面部登录装置1的动作，实现图1A所示的各种功能。具体地，按照面部区域检测程序、面部图像变形程序以及面部图像记录程序，作为各功能部进行动作。

磁盘设备540是物理存储设备。磁盘设备540例如是HDD(硬盘驱动器)、SSD(固态驱动器)等，对所需要的程序、运算参数进行存储。

存储器560存储用于实现图1A所示的各种功能的程序。存储器560中除了存储有用于实现图1A所示的各种功能的应用程序之外，还存储有包含OS的本系统中的动作所需要的程序。I/F550是用于经由网络27与其他装置进行通信的通信接口。

在面部认证装置2中，面部区域检测部13、面部图像变形部14以及面部对照部19可通过按照程序进行动作的处理器来实现。面部登录装置1和面部认证装置2的功能部的至少一部分可以由用集成电路设计的硬件构成。

在图1B中，面部登录装置1和面部认证装置2分别被安装在不同的计算机中，然而它们也可以被包含在同一计算机中。标准模板面部图像24和登录用户数据库20可以包含在任意的计算机中。例如，登录用户数据库20可以存储在面部登录装置1中，标准模板面部图像24可以存储在面部认证装置2中。

接着，根据图1A和图1B、以及图2和图3的流程图来说明本实施方式的动作。首先，说明图2所示的面部登录装置1的动作。面部登录装置1经由网络27接收由摄像机121拍摄出的登录用图像10，登录用图像10被输入到面部区域检测部12中(S101)。面部区域检测部12从登录用图像10检测登录对象即用户的面部区域，来生成该面部区域的面部图像22(S102)。面部区域检测部12将生成的面部图像22供给到面部图像变形部15。

面部图像变形部15经由网络27从面部图像服务器241取得预先制作的标准模板面部图像24(S103)。标准模板面部图像24例如是对多个人的面部图像进行合成而生成的平均面部图像。通过将平均面部图像用作标准模板面部图像24，能够针对各个不同的用户，通过面部认证来生成合适的登录面部图像。标准模板面部图像24可以是特定的人的面部图像。

面部图像变形部15使用标准模板面部图像24来对面部图像22进行非线性变形。标准模板面部图像24是参照图像，面部图像22是浮动图像。面部图像变形部15针对面部图像22进行伴随着非线性变形的非刚性变形。面部图像变形部15对面部图像22的面部部分的配置、各面部部分的大小、各面部部分的形状、轮廓的形状等进行非线性变形，生成已变形面部图像16(S104)。面部图像变形部15将生成的已变形面部图像16供给到面部图像记录部18。

这里，非刚性变形是刚性变形以外的变形。刚性变形仅进行平行移动和旋转。非线性变形是线性变形以外的变形。线性变形除了包含平行移动和旋转之外，还包含扩大缩小和剪断。

摄像机121对多个登录用图像10进行拍摄，并供给到面部图像变形部15。面部图像变形部15分别从多个登录用图像10生成已变形面部图像16，并将多个已变形面部图像16供给到面部图像记录部18。

面部图像记录部18接收在预定时间内输入的多个已变形面部图像16，并计算这些已变形面部图像16和标准模板面部图像24的图像类似度。面部图像记录部18按照与标准模板面部图像24的类似度从高到低的顺序来选择预定张数的已变形面部图像(S105)。

面部图像记录部18将所选择出的已变形面部图像作为用户的登录面部图像记录到登录用户数据库20中(S106)。然后，面部图像记录部18从各个登录面部图像中提取图像特征量，登录到登录用户数据库20中(S107)。选择出的已变形面部图像及其图像特征量，经由网络27被发送到面部图像服务器241。

接着，说明图3所示的面部认证装置2的动作。面部认证装置2经由网络27接收由摄像机122拍摄出的认证用图像11。认证用图像11被输入到面部区域检测部13中(S201)。面部区域检测部13从认证用图像11检测认证对象即用户的面部区域，生成面部图像23(S202)，并供给到面部图像变形部14。

面部图像变形部14经由网络27从面部图像服务器241取得预先制作的标准模板面部图像24(S203)。在本例中，标准模板面部图像24在面部登录装置1和面部认证装置2中是共通的，然而也可以不同。

面部图像变形部14使用标准模板面部图像24对面部图像23进行非线性变形。标准模板面部图像24是参照图像，面部图像23是浮动图像。面部图像变形部14针对面部图像23进行伴随着非线性变形的非刚性变形。变形的方法(算法)可以与面部登录装置1相同，也可以不同。

面部图像变形部14对面部图像23的各面部部分的配置、各面部部分的大小、各面部部分的形状、轮廓的形状等进行非线性变形，生成已变形面部图像17(S204)。面部图像变形部14将生成的已变形面部图像17供给到面部图像对照部19。

面部图像对照部19从登录用户数据库20取得多个登录面部图像，进行已变形面部图像17和各个登录面部图像之间的面部图像对照处理(S206)。面部图像对照部19将对照的认证结果输出到输出设备或其他程序(S207)。具体来说，面部图像对照部19判定已变形面部图像17是否与某一个登录面部图像匹配。例如，在已变形面部图像17与登录面部图像的类似度达到规定的情况下，判定为它们匹配。面部图像对照部19在已变形面部图像17与登录面部图像匹配的情况下，认证为该用户是登录用户。

以下，详细说明图2和图3所示的处理中的若干个步骤。

<面部区域检测部>

说明面部区域检测部12的面部区域检测S102。面部区域检测部13通过与面部区域检测部12同样的方法，能够从认证用图像11生成面部图像23(S202)。

面部区域检测部12接受登录用图像10，确定登录用图像10中与面部区域相当的图像区域，从登录用图像10中切出该图像区域来生成面部图像22。

针对面部区域检测方法，可以使用公知的方法。作为公知的方法，例如可以使Haar-like检测器。Viola-Jones法是面部区域检测方法的一例。面部区域检测部12将从登录用图像10检测出的面部区域变换为预定的图像尺寸，作为面部图像22供给到面部图像变形部15。

<面部图像变形部>

说明面部图像变形部15的面部图像变形处理S104。面部图像变形部14通过与面部图像变形部15相同的方法，能够从面部图像23生成已变形面部图像17(S204)。面部图像变形部14也可以使用与面部图像变形部15不同的算法。

面部图像变形部15取得所生成的面部图像22和标准模板面部图像24。面部图像变形部15以标准模板面部图像24作为参照图像，对面部图像22中的面部部分的配置、各面部部分的大小、各面部部分的形状、轮廓的形状等进行非线性变形，生成已变形面部图像16。

面部图像变形部15可以使用公知的面部图像变形方法。作为公知的方法，例如可以使用基于Free-Form Deformation(自由变形)(FFD)法的非刚性变形法。此外，还可以使用TPS法(Thin-Plate Splines(薄板样条法))。TPS法计算通过散布的点数据的平面的连续形变，并使平面的弯曲能量最小化，由此对通过散布的点数据的表面进行插补。

以下，作为伴随非线性变形的非刚性变形法的例子，说明FFD非刚性变形法。面部图像变形部15在FFD非刚性变形法中在面部图像上配置控制点。FFD非刚性变形法通过移动控制点来使对面部图像变形。由此，能够合适且高效率地进行变形运算。

面部图像变形部15以增大面部图像22和标准模板面部图像24之间的类似度的方式对面部图像22进行变形。例如，面部图像变形部15在变形后的面部图像22和标准模板面部图像24之间求出图像类似度，并计算基于求出的图像类似度的优化计算。通过优化计算，求出用于再变形的控制点的移动量(变形量)。控制点的移动量可以由表示移动方向和移动距离的向量来表示。

面部图像变形部15针对控制点间的像素的移动量，通过在该像素的周围配置的控制点的移动量的插补来进行计算。面部图像变形部15使用所得到的各像素的移动量来进行面部图像22的坐标变换，并对面部图像22进行变形。可以选择全部的像素作为控制点。

面部图像变形部15通过重复进行面部图像22的变形，得到最终的已变形面部图像16。后面对优化计算进行描述。这样，面部图像变形部15使面部图像22局部变形，来对面部图像22和标准模板面部图像24进行位置对准。此外，通过使控制点的间隔即控制点数变化，可以实施多重分辨率变形。

图4是表示使用FFD法的面部图像变形部15的逻辑结构的框图。面部图像变形部15具备：图像采样部401、控制点设定部402、坐标几何变换部404、图像类似度计算部405、图像类似度最大化部406、面部图像变形部407。

接着，根据图4的框图、图5的流程图、图6的说明图来说明面部图像变形部15的动作。图像采样部401从标准模板面部图像24中提取图像采样点的采样数据，并输出给坐标几何变换部404(S301和S302)。在非刚性变形处理中，在面部图像22和标准模板面部图像24之间的图像类似度的计算中，使用采样数据。

图像采样点可以是成为非刚性变形处理的对象的图像区域的全部像素。但是，为了提高非刚性变形处理的速度，图像采样部401可以在图像上设置格子，仅选择格子点中的像素作为采样点。

此外，图像采样部401可以在采样对象区域中随机生成预定数的坐标，选择所得的坐标的像素作为图像采样点。生成的坐标的亮度值是采样数据。在生成预定数的采样点的坐标的情况下，图像采样部401可以针对每个部分区域对采样点的数量进行加权，在各部分区域内随机生成采样点的坐标。由此，提高面部图像的非刚性变形处理的精度和鲁棒性。

说明部分区域的加权的一例。图6表示了标准模板面部图像24的一例、和表示标准模板中的采样点数的加权的采样掩码602的一例。

被分割的各个框(部分区域)的亮度表示各个框中的采样点的数量的权重。例如，黑色框的权重为0，斜线阴影的框的权重为1，白色框的权重为2。例如，特征部位(例如眼、眉、鼻、口等)的权重值大，除此以外的部分的权重小。

图像采样部401从权重值大的框中选择大量采样点。也就是说，权重值大的框的采样数大于权重值小的框的采样数。同一权重的框的采样数可以相同，也可以不同。在各框内，可以选择随机的坐标的像素。

接着，控制点设定部402在被输入的面部图像22上配置控制点(S303和S304)。生成控制点移动量信息403，并向坐标几何变换部404输出。控制点移动量信息403表示相距各控制点的初始位置的移动量。

控制点的初始位置可以配置为格子状。为了提高非刚性变形的精度和速度，控制点设定部402可以在标准模板面部图像24和面部图像22中提取对应的特征点对，并使用所得到的特征点对的位置信息来决定各控制点的初始位置。可以从面部的特征部位(例如眼、眉、鼻、口等)的位置检测特征点。例如，控制点设定部402确定与标准模板面部图像24的预定特征点(像素)对应的面部图像22的特征点，将该特征点(像素)定义为控制点。

坐标几何变换部404取得标准模板面部图像24的采样点的坐标、和面部图像22。此外，坐标几何变换部404取得控制点移动量信息403。坐标几何变换部404使用控制点移动量信息403，对标准模板面部图像24的采样点的坐标实施坐标变换(S305)。

在步骤S305的坐标变换中，计算与标准模板面部图像24的各采样点的坐标对应的、变形前的面部图像22上的点的坐标。也就是说，计算通过面部图像22的变形而移动到采样点的坐标处的、变形前的面部图像22的坐标。变形前的面部图像22的这些坐标是面部图像22中的对应采样点的坐标。

坐标几何变换部404例如对某采样点的坐标，根据其周围的控制点的坐标，使用公知的B-spline函数进行坐标的插补，计算变形前的面部图像22中的对应采样点的坐标。

例如，坐标几何变换部404通过插补运算，计算变形前的面部图像22中的采样点的移动目的地的坐标。坐标几何变换部404计算由采样点的移动前的坐标和移动目的地的坐标规定的向量的逆向量。在采样点的移动前的坐标上加上逆向量，计算变形前的面部图像22的对应采样点的坐标。

对应采样点的坐标不一定与像素的坐标一致。因此，坐标几何变换部404针对面部图像22的各对应采样点(标准模板面部图像24的各采样点所对应的点)，例如通过线性插补运算，计算各对应采样点的亮度值(各对应采样点的数据)(S306)。

通过以上步骤，求出伴随着控制点的移动而移动的面部图像22的对应采样点的坐标(对应采样点)、以及该坐标(对应采样点)的亮度值。即，在该坐标几何变换部404中进行伴随控制点的移动的浮动图像22的变形。

图像类似度计算部405取得标准模板面部图像24的采样点的数据(采样数据)、和几何变换后的面部图像22的对应采样点的数据(步骤S306中生成的数据)。图像类似度计算部405对这些采样点中的亮度值应用预定的评价函数来计算标准模板面部图像24和变形后的面部图像22之间的图像类似度(S307)。作为基于预定的评价函数的图像类似度，可以使用公知的残差平方和、归一化互相关函数、互信息量等。互信息量是表示在一方图像中能够以多大程度表现另一方图像的指标。

图像类似度最大化部406取得图像类似度计算部405所计算出的、标准模板面部图像24和面部图像22之间的图像类似度。图像类似度最大化部406为了求出标准模板面部图像24和面部图像22之间的图像类似度成为最大(或极大)的各控制点的移动量，实施收敛计算(S308)。

在步骤S308中图像类似度未收敛的情况下，为了得到更高的图像类似度，图像类似度最大化部406对控制点移动量信息403进行更新(S309)。然后，使用更新后的控制点移动量信息403，重新实施步骤S305～S308。

为了进行控制点移动量信息403的更新，图像类似度最大化部406通过多变量函数来计算图像类似度。各变量是各控制点的移动量。图像类似度最大化部406通过迭代法求出使该函数最大化的各控制点的最佳移动量。作为迭代法，例如可以使用L-BFGS法(Limited-memory Broyden-Fletcher-Goldfarb-Shanno(有限记忆BFGS法))。图像类似度最大化部406可以预先保持控制点的移动量的多个模式，并按照这些模式对控制部移动量信息403依次进行更新。

另一方面，在步骤S308中在图像类似度发生了收敛的情况下，图像类似度最大化部406将该控制点移动量信息403输出给面部图像变形部407。

面部图像变形部407取得面部图像22和控制点移动量信息403。面部图像变形部407对面部图像22的全部像素，根据控制点移动量信息403，通过与步骤S305同样的插补运算来计算各像素的坐标。接着，面部图像变形部407通过与步骤S306同样的插补运算，计算在移动了全部像素后的图像中各像素的移动前的坐标的亮度，并生成已变形面部图像16(S310)。

<面部图像记录部>

面部登录装置1中的面部图像记录部18取得从由摄像机121在预定时间内连续拍摄而得的同一登录用户的多个登录用图像10而分别生成的已变形面部图像16。计算这些多个已变形面部图像16的每一个与标准模板面部图像24之间的图像类似度。面部图像记录部18能够通过与图像类似度计算部405同样的方法来计算类似度，并能够使用公知的互信息量作为图像类似度。

接着，面部图像记录部18从这些已变形面部图像16中，按照与标准模板面部图像24的类似度从高到低的顺序选择预定张数的已变形面部图像16(S105)，作为用户的登录面部图像记录到登录用户数据库20中(S106)。此外，从选择出的登录面部图像中提取图像特征量，并记录到登录用户数据库20中。

作为图像特征量，可以使用公知的Linear Binary Patterns(线性二值模式)(LBP)特征量。通过从多个摄像图像生成多个已变形面部图像16，能够选择适合于登录面部图像的面部图像。通过准备多个登录面部图像，能够在认证处理中选择更合适的登录面部图像。

<面部图像对照部>

面部认证装置2中的面部图像对照部19取得已变形面部图像17(认证对象面部图像)，并从面部图像服务器241取得由登录用户数据库20存储的信息(登录面部图像和特征量)，面部图像对照部19进行已变形面部图像17的面部图像对照处理，判定该用户是否是已登录的用户(S206)，并输出认证结果21(S207)。

更加具体地进行说明。如上述，面部认证装置2中的面部图像变形部14具有与面部图像变形部15同样的结构，并通过同样的方法，使认证用的面部图像23变形而生成已变形面部图像17。采样点、控制点初始位置的坐标在面部图像变形部14、15中是相同的。面部图像变形部14也可以通过与面部图像变形部15不同的方法使面部图像变形。例如，可以不选择采样点，而将全部像素进行比较。

登录用户数据库20存储有多个用户各自的多个登录面部图像。面部图像对照部19在已变形面部图像17和每一个登录面部图像之间进行面部图像对照处理。

面部图像对照部19例如从已变形面部图像17中提取出图像特征量，并计算其与记录在登录用户数据库20中的多个登录面部图像的各自的特征量的类似度。面部图像对照部19将该类似度与预定的阈值进行比较，求出对照结果。面部图像对照部19将类似度为阈值以上登录面部图像和类似度包含在认证结果21中。

如上述，作为特征量，例如能够使用LBP特征量。作为LBP特征量的类似度，例如能够使用公知的Chi-Square距离(卡方距离)。登录用户数据库存储了包含登录用户的识别信息的个人信息，面部图像对照部19也可以在对照结果中包含选择出的登录面部图像的登录用户的个人信息。

<总结>

根据本实施方式，参照标准模板面部图像，对登录用面部图像和认证用面部图像的每一个进行非线性变形。由此，能够降低面部图像认证中的用户的面部朝向或表情的变动的影响，即使在登录时和认证时用户未有意识地面向摄像机，也能够进行高精度的面部认证。

(实施方式2)

<概要>

本实施方式的面部认证装置2从认证对象面部图像中提取图像特征量，计算与登录图像的图像特征量之间的距离，并确定与认证对象对应的登录用户候补的登录对象面部图像。参照所得到的登录对象面部图像，对认证对象面部图像进行非线性变形。使用所得到的已变形的认证对象面部图像，再次提取出图像特征量，计算其与登录用户图像特征量之间的距离，并输出面部认证结果。

<结构和动作>

图9是表示实施方式2的面部图像对照部19的逻辑结构的框图。本实施方式的面部图像对照部19具备类似度计算部901、面部图像变形部903。在图9中，已变形面部图像17是在面部认证装置2中通过面部图像变形部14而生成的认证对象的面部图像。登录用户数据库20存储了通过面部登录装置1而记录的登录用户的面部图像和面部图像的特征量。

接着，根据图1和图9的框图、图7和图8的流程图来说明本实施方式的动作。类似度计算部901取得从认证用图像而得到的已变形面部图像17，作为认证对象面部图像(S701)，提取LBP特征量作为图像特征量(S702)。接着，类似度计算部901取得登录用户数据库20所存储的信息，计算认证对象面部图像17的LBP特征量和登录用户数据库20中记录的各登录面部图像的LBP特征量的类似度(S704)。

类似度计算部901根据得到的图像类似度，选择与认证对象对应的(与认证对象面部图像的类似度最接近)的一个或多个登录用户的登录面部图像902(S705)，并输出给面部图像变形部903。

面部图像变形部903参照确定出的登录面部图像902，使认证对象面部图像17进行变形(S706)。基于面部图像变形部903的认证对象面部图像变形(S706)的方法可以与上述实施方式1相同。

类似度计算部901使用所得到的已变形的认证对象面部图像和确定出的登录面部图像，与步骤S704同样地，重新提取已变形认证对象面部图像和确定出的登录面部图像中的每一个的LBP特征量图像特征量，计算所得的特征量的类似度(S707)，判定该用户是否是登录用户本人，并作为认证结果21而输出(S708)。

图8表示该认证对象面部图像的变形处理流程。面部图像变形部903取得在步骤S705中确定出的登录面部图像902(S801)，与上述步骤S302同样地，生成图像采样点数据(S802)。面部图像变形部903取得已变形面部图像17作为认证对象面部图像(S803)，并与步骤S304同样地，设定变形用控制点的初始位置(S804)。

接着，面部图像变形部903对认证对象面部图像17实施与步骤305同样的坐标几何变换处理(S805)，并如步骤S306那样计算变形后的认证对象面部图像17的各对应采样点(与登录面部图像902的各采样点对应的采样点)的亮度值(S806)。

面部图像变形部903与步骤S307同样地，针对采样点的亮度值应用预定的评价函数，运算登录面部图像902与变形后的认证对象面部图像17之间的图像类似度(S807)。

接着，面部图像变形部903与步骤S308同样地，为了求出登录面部图像902与变形后的认证对象面部图像17之间的图像类似度成为最大(或极大)的各控制点的移动量，实施收敛计算(S808)。

在步骤S808中图像类似度未收敛的情况下，面部图像变形部903与步骤S309同样地，为了得到更高的图像类似度，对控制点移动量信息进行更新(S809)。然后，重新实施步骤S805～S808。

另一方面，在步骤S808中图像类似度发生了收敛的情况下，与步骤S310同样地，面部图像变形部903使用求出的控制点移动量信息来对认证对象面部图像17进行变形，生成其已变形图像(S810)。

<总结>

如以上那样，实施方式2的面部认证装置取得认证对象面部图像，确定与认证对象对应的登录用户候补的登录面部图像。以所得到的登录面部图像作为参照图像，实施认证对象面部图像的非刚性变形。使用所得到的已变形的认证对象面部图像，重新实施与对应于认证对象的登录用户候补的登录面部图像的对照，并输出面部认证结果。由此，在认证对象和登录对象为同一人物的情况下，已变形的认证对象面部图像与登录面部图像之间的图像类似度升高，并能够进一步提高面部认证的精度。

<应用例>

接着，使用图10至图12说明应用于面部图像的情况下的应用例。图10表示了标准模板面部图像24、变形前的登录用面部图像即面部图像22、以及面部图像22的已变形面部图像16的一例。在标准模板面部图像24上配置有格子状的控制点。针对面部图像22实施步骤S301～步骤S310的变形处理。将控制点配置在变形处理的收敛后的位置。

在开始变形处理之前，在初始位置(格子位置)配置控制点。在标准模板面部图像24上示出的控制点被配置在初始位置。面部图像22上示出的控制点被配置在变形处理的收敛后的位置。使用控制点的收敛后的位置与初始位置来求出控制点移动向量。根据移动向量，计算面部图像22的各个像素的移动目的地。通过插补处理来计算在各个像素的移动目的地的位置的亮度值，将所得的亮度值设定给各个像素的初始位置。当计算全部像素的亮度值时，得到已变形图像16。

图11表示标准模板面部图像24、变形前的认证用面部图像即面部图像23、以及面部图像23的已变形面部图像17的一例。在标准模板面部图像24上配置有格子状控制点。针对面部图像23实施步骤S301～步骤S310的变形处理。在图11中，将变形前面部图像22上的控制点配置在变形处理的收敛后的位置。

图12表示了已变形面部图像16、即通过步骤S705确定出的登录用户数据库20中记录的登录面部图像902的一例。图12还表示了已变形面部图像17即认证对象面部图像、和认证对象面部图像的已变形面部图像(已变形的认证对象面部图像)907的一例。

针对认证对象面部图像(已变形面部图像17)实施步骤S706(即步骤S801～步骤S810)的变形处理，生成已变形认证对象面部图像907。控制点被配置在变形处理的收敛后的位置。登录面部图像902和已变形认证对象面部图像907被输入到类似度计算部901中，通过步骤S707的处理而求出认证结果。

(实施方式3)

<概要>

本发明实施方式3的系统使用实施方式1或实施方式2的面部认证系统100，对利用房屋或设施的用户实施进出管理、服务提供等。用户在入场前实施ID认证而入场。在入场时，面部登录装置取得用户的面部图像而记录到登录用户数据库中。使用面部认证装置来进行用户入场后的进出管理、设施内的服务提供等。

<结构和动作>

图13是表示本实施方式的逻辑结构的框图。本实施方式具备：面部认证系统100、ID认证装置102、门控制装置103、管理服务器104、门控制装置1005、信息提示控制装置106、摄像机107、摄像机108、摄像机109、门110、门111以及信息提示装置1012。

针对本实施方式的使用生物体认证的进出管理、服务提供系统，以应用于机场的登机、信息提示服务为代表性例子进行说明。

接着，根据图13的框图说明本实施方式的动作。管理服务器104与面部认证系统100、ID认证装置102、门控制装置103、门控制装置105以及信息提示控制装置106连接，实施登录用户数据库的记录、用户的认证结果的日志的记录、以及面部登录/面部认证装置、ID认证装置、门控制装置、信息提示控制装置的管理等。

ID认证装置102作为机场的签到装置对搭乘者进行认证，代替车票而发行搭乘者的认证ID，并发送管理服务器104。管理服务器104记录搭乘者的认证ID，向门控制装置103发送门解锁的控制信号。门控制装置1003取得解锁的控制信号，使门110解锁而使搭乘者进入到机场中。

作为ID认证的手段，还可以使用高精度的生物体认证，例如手指静脉认证。例如，航空公司事前登录搭乘者的个人信息、航班信息、以及手指静脉生物体信息。然后，搭乘者使用ID认证装置102来实施手指静脉认证，并进入机场。作为生物体信息的形式，除了手指静脉之外，例如还可以使用指纹、虹膜、手掌、声音等。此外，ID认证装置102可以不使用生物体认证，而使用搭乘者进行的个人识别号码的输入。

当搭乘者被所述ID认证装置102认证出时，管理服务器104从ID认证装置102取得搭乘者的认证ID并进行记录。接着，管理服务器104向面部认证系统100发送控制信号以便登录搭乘者的面部图像。面部认证系统100接受管理服务器104的控制信号，启动摄像机107，对搭乘者的面部图像进行拍摄而作为登录用图像。

面部认证系统100针对所得到的登录用图像，实施前述说明的步骤S101～步骤S107的处理，将搭乘者的变形后的面部图像和面部图像特征量发送给管理服务器。管理服务器104取得搭乘者的登录面部图像和面部图像特征量，并将其与搭乘者的认证ID相对应地记录到登录用户数据库中。

面部认证系统100始终取得设置在机场中的信息提示装置112附近的摄像机108的摄像图像。面部认证系统100实施步骤S201～S207的面部认证处理，对接近信息提示装置112前方的搭乘者进行认证，并通知给管理服务器104。管理服务器104保存搭乘者的认证记录，并向信息提示控制装置106发送控制信号和面向搭乘者本人的电子信息。信息提示控制装置106取得控制信号和面向搭乘者本人的电子信息，对信息提示装置1012进行控制，并使其向搭乘者提示。

面部认证系统100取得设置在登机门111附近的摄像机109的摄像图像，并在搭乘者要搭乘飞机时即离开机场设施时，实施步骤S201～S207的面部认证处理。在认证对象为搭乘者本人的情况下，面部认证系统100向管理服务器104发送该认证结果。管理服务器104保存搭乘者的认证记录，向门控制装置105发送控制信号。门控制装置105接受控制信号，使门111解锁，使搭乘者搭乘。

<总结>

如以上那样，在本实施方式中，使用实施方式1或实施方式2的面部认证系统100，对利用房屋或设施的用户实施进出管理、服务提供等。在ID认证装置对入场前的用户进行了认证后，面部登录装置取得用户的面部图像而记录到登录用户数据库中。通过面部认证装置来实施用户入场后的进出管理、在设施内的服务提供等。由此，即使是在安全级别高的设施中，也能够实现对利用者低负担、且高精度的面部认证。

此外，本发明不限于上述实施方式，而包含各种变形例。例如，上述实施方式是为了使本发明易于理解而进行了详细说明，不必限定为包含所说明的全部结构。此外，可以将某实施方式的结构的一部分置换为另一实施方式的结构，并且可以在某实施方式的结构的基础上追加其他实施方式的结构。此外，可以针对各实施方式的结构的一部分进行其他结构的追加、删除、置换。

此外，上述各结构、功能、处理部等的一部分或全部，可以通过以例如集成电路设计等以硬件而实现。此外，可以通过处理器对用于实现各个功能的程序进行解释、执行而以软件实现上述各结构、功能等。可以将实现各功能的程序、表格、文件等信息置于存储器、硬盘、SSD(固态驱动器)等记录装置、或IC卡、SD卡等记录介质中。

Claims (10)

1.一种面部认证系统，其特征在于，具备：

第一面部区域检测部，其从由摄像机拍摄到的第一摄像图像中检测第一面部图像；

第一变形部，其使用模板面部图像来对所述第一面部图像非线性地进行变形；

面部图像记录部，其记录变形后的所述第一面部图像作为登录面部图像；

第二面部区域检测部，其从由摄像机拍摄到的第二摄像图像中检测第二面部图像；

第二变形部，其使用所述模板面部图像来对所述第二面部图像非线性地进行变形；以及

面部图像对照部，其将变形后的所述第二面部图像和所述登录面部图像进行对照，

所述第一变形部进行如下处理：

从所述模板面部图像中提取采样点，

提取与所述模板面部图像中的采样点相对应的、变形后的所述第一面部图像中的采样点，

使用从所述模板面部图像提取出的采样点和从所述第一面部图像提取出的采样点，计算所述模板面部图像和变形后的所述第一面部图像之间的类似度，

根据所述类似度，对所述第一面部图像进行再变形，

所述第二变形部进行如下处理：

提取与所述模板面部图像中的采样点相对应的、变形后的所述第二面部图像中的采样点，

使用从所述模板面部图像提取出的采样点和从所述第二面部图像提取出的采样点，计算所述模板面部图像和变形后的所述第二面部图像之间的类似度，

根据所述类似度，对所述第二面部图像进行变形，

所述第一变形部和所述第二变形部将所述模板面部图像的面部区域分割为多个部分，根据对所述多个部分的各个部分分配的权重，来决定从所述多个部分的各个部分提取的采样数。

2.根据权利要求1所述的面部认证系统，其特征在于，

所述第一变形部为了对所述第一面部图像进行变形，对所述第一面部图像设置控制点，并移动所述第一面部图像中的控制点的位置，由此来使所述第一面部图像变形。

3.根据权利要求1所述的面部认证系统，其特征在于，

所述面部图像记录部记录从同一人物的多个第一摄像图像取得的多个变形后的第一面部图像，作为登录面部图像。

4.根据权利要求1所述的面部认证系统，其特征在于，

所述模板面部图像是将多个不同的面部图像合成而生成的面部图像。

5.根据权利要求1所述的面部认证系统，其特征在于，

所述第二变形部使用所述登录面部图像，对使用所述模板面部图像而变形后的所述第二面部图像非线性地进行变形，

所述面部图像对照部将使用所述登录面部图像变形后的所述第二面部图像和所述登录面部图像进行对照。

6.一种面部认证方法，其特征在于，包含以下步骤：

从由摄像机拍摄到的第一摄像图像中检测第一面部图像的步骤；

使用模板面部图像来对所述第一面部图像非线性地进行变形的步骤；

记录变形后的所述第一面部图像作为登录面部图像的步骤；

从由摄像机拍摄到的第二摄像图像中检测第二面部图像的步骤；

使用所述模板面部图像来对所述第二面部图像非线性地进行变形的步骤；以及

将变形后的所述第二面部图像和所述登录面部图像进行对照的步骤，

在对所述第一面部图像进行变形的步骤中，包含如下处理：

从所述模板面部图像中提取采样点，

提取与所述模板面部图像中的采样点相对应的、变形后的所述第一面部图像中的采样点，

使用从所述模板面部图像提取出的采样点和从变形后的所述第一面部图像提取出的采样点，计算所述模板面部图像和变形后的所述第一面部图像之间的类似度，

根据所述类似度，对所述第一面部图像进行再变形，

在对所述第二面部图像进行变形的步骤中，包含如下处理：

从所述模板面部图像中提取采样点，

提取与所述模板面部图像中的采样点相对应的、变形后的所述第二面部图像中的采样点，

使用从所述模板面部图像提取出的采样点和从变形后的所述第二面部图像提取出的采样点，计算所述模板面部图像和变形后的所述第二面部图像之间的类似度，

根据所述类似度，对所述第二面部图像进行再变形，

在对所述第一面部图像进行变形的步骤和对所述第二面部图像进行变形的步骤中，将所述模板面部图像的面部区域分割为多个部分，根据对所述多个部分的各个部分分配的权重，来决定从所述多个部分的各个部分提取的采样数。

7.根据权利要求6所述的面部认证方法，其特征在于，

在对所述第一面部图像进行变形的步骤中，为了对所述第一面部图像进行变形，对所述第一面部图像设置控制点，并移动所述第一面部图像中的控制点的位置，由此来使所述第一面部图像变形；

在对所述第二面部图像进行变形的步骤中，为了对所述第二面部图像进行变形，对所述第二面部图像设置控制点，并移动所述第二面部图像中的控制点的位置，由此来使所述第二面部图像变形。

8.根据权利要求6所述的面部认证方法，其特征在于，

记录从同一人物的多个第一摄像图像取得的多个变形后的第一面部图像，作为登录面部图像。

9.根据权利要求6所述的面部认证方法，其特征在于，

在对所述第二面部图像进行变形的步骤中，使用所述登录面部图像，对所述第二面部图像非线性地进行变形，

在所述进行对照的步骤中，将使用所述登录面部图像变形后的所述第二面部图像和所述登录面部图像进行对照。

10.一种对利用设施的用户实施进出管理和服务提供的系统，其特征在于，

具备：

ID认证装置，其在用户入场前实施ID认证处理；

权利要求1所述的面部认证系统；

入场门，其在基于所述面部认证系统的面部登录之后使用户入场；

信息提供装置，其对入场后的所述用户进行认证，并向所述用户提供信息；以及

退场管理装置，其使用基于所述面部认证系统的所述用户的认证来实施退场管理。