CN104615233A - 信息处理设备以及信息处理方法 - Google Patents

Abstract

一种信息处理设备包括：图像获取器，用于获取用户的所拍图像；登记用户信息保存器，用于保存登记用户的脸部识别数据；以及第一验证部分，用于使用保存在该登记用户信息保存器中的脸部识别数据检测存在于所拍图像中的登记用户的脸部图像。该信息处理设备进一步包括第二验证部分，用于检测与该第一验证部分检测的脸部图像的一个区域存在预定位置关系的对象的图像；以及信息处理部分，用于根据该第一验证部分和该第二验证部分的检测结果进行信息处理。该第二验证部分将该第一验证部分在检测处理中获得的信息用于对象的图像的检测处理。

Description

信息处理设备以及信息处理方法

技术领域

本公开涉及使用所拍图像进行信息处理的信息处理设备及其信息处理方法。

背景技术

近年来，把照相机装在个人计算机、游戏机等上，将用户的形态成像以便以各种形式使用所摄图像正变得习以为常。例如，经由像电视电话和视频聊天那样的网络将用户的图像按原样发送给对方的系统、以及通过图像分析识别用户的运动并将所识别运动用作游戏或信息处理的输入信息的系统都已投入实际使用中(例如，参考WO2007/050885A2)。此外，近年来，通过高精度地检测物体在包括深度方向的三维空间中的运动来实现使用户更加感觉到身临其境的游戏和图像表达正成为可能。

发明内容

在拍摄存在多种多样物体的空间以及将所拍图像用作输入数据地进行信息处理的情况下，与通过输入设备的按钮或图形用户界面(GUI)进行操作的情况相比，信息处理的精度对拍摄环境等更敏感。因此，最好是实现即使环境发生变化，也可以以响应方式进行稳定信息处理的设备。更进一步，优选的是，在登录等的时候，当将单个用户与该用户在所拍图像中的形态相联系时，使用户负担小地作出精确联系。

因此，需要的是，使本公开可以提供在利用所拍图像的信息处理中使用户负担小地保持稳定精度的技术。

按照本公开的一个实施例，提供了一种信息处理设备。这种信息处理设备包括：图像获取器，配置成获取用户的所拍图像；登记用户信息保存器，配置成保存登记用户的脸部识别数据；第一验证部分，配置成使用保存在该登记用户信息保存器中的脸部识别数据检测存在于所拍图像中的登记用户的脸部图像；第二验证部分，配置成检测与该第一验证部分检测的脸部图像的一个区域存在预定位置关系的对象的图像；以及信息处理部分，配置成根据该第一验证部分和该第二验证部分的检测结果进行信息处理。该第二验证部分将该第一验证部分在检测处理中获得的信息用于对象的图像的检测处理。

按照本公开的另一个实施例，提供了一种信息处理方法。这种信息处理方法包括：获取用户的所拍图像；读出存储在存储设备中的登记用户的脸部识别数据并使用该脸部识别数据检测存在于所拍图像中的登记用户的脸部图像；检测与在脸部图像的检测中检测的脸部图像的一个区域存在预定位置关系的对象的图像；以及根据脸部图像的检测和对象的图像的检测的检测结果进行信息处理。对象的图像的检测包括将脸部图像的检测在检测处理中获得的信息用于对象的图像的检测处理。

在方法、设备、系统、记录介质、计算机程序等之间转换本公开的上述组成元素和表达的任何组合所得的东西也可有效地作为本公开的实施例。

按照本公开的实施例，可以容易地高精度实现使用所拍图像的信息处理。

附图说明

图1是示出本公开的一个实施例中的信息处理系统的图形；

图2是示出该实施例中的信息处理设备的内部配置的图形；

图3是示出该实施例中的信息处理设备的功能块配置的图形；

图4是示出该实施例中照相机拍摄的空间的一个例子的图形；

图5是示出该实施例中脸部验证部分进行脸部识别的结果的图形；

图6是示出该实施例中包括显示在输出设备上的脸部框架的登录屏幕的图形；

图7是示出该实施例中用户将脸放在脸部框架中的登录屏幕的图形；

图8是示出该实施例中的信息处理设备的登录控制器通过第一阶段和第二阶段脸部验证确定是否允许登录的处理的过程的流程图；

图9是示意性地示出该实施例中数据生成器从所拍图像中生成脸部识别数据的过程的图形；

图10是示出该实施例中的脸部识别数据登记部分通过应该登记的定时的确定登记脸部识别数据的处理的过程的流程图；

图11是示出该实施例中的脸部识别数据登记部分通过应该登记的定时的确定登记脸部识别数据的处理的过程的流程图；

图12是示出该实施例中将脸部验证和标记检测组合进行登录处理时照相机拍摄的图像的一个例子的图形；

图13是示出该实施例中通过脸部验证和标记检测进行登录处理时信息处理设备的功能块配置的图形；

图14是示出该实施例中将立体照相机用作照相机时拍摄的立体图像的例子的图形；

图15是用于说明立体图像中的视差与被摄物沿着深度方向的位置之间的关系的图形；

图16是示出该实施例中的信息处理设备通过利用立体图像进行脸部验证和标记检测来进行登录处理的过程的流程图；

图17是示出该实施例中捕获标记的所拍图像的例子的图形；以及

图18是示出该实施例中识别在标志检测处理中可以被视作标记的颜色的处理的过程的流程图。

具体实施方式

图1示出了按照本公开的一个实施例的信息处理系统1。信息处理系统1包括作为用户终端的信息处理设备10和服务器5。接入点(在下文中，称为“AP”)8具有无线接入点和路由器的功能。信息处理设备10以无线或有线方式与AP8连接，并在网络3上可通信地与服务器5连接。

辅助存储设备2是像硬盘驱动器(HDD)或闪速存储器那样的大容量存储设备。它可以是通过通用串行总线(USB)等与信息处理设备10连接的外部存储设备或可以是内置存储设备。输出设备4可以是含有输出图像的显示器和输出声音的扬声器的电视机，或可以是计算机显示器。输出设备4可以通过布线电缆与信息处理设备10连接或可以与之无线连接。

信息处理设备10以无线或有线方式与用户操作的输入设备6连接，输入设备6向信息处理设备10输出指示用户的操作结果的操作信号。当接受来自输入设备6的操作信号时，信息处理设备10将它反映在操作系统(OS，即，系统软件)或应用程序的处理中，并使处理结果从输出设备4输出。输入设备6含有像多个按压操作按钮、可以输入模拟量的模拟棒、和旋钮那样的多个输入部分。

当接受来自输入设备6的操作信号时，信息处理设备10将它反映在应用程序的处理中，并使处理结果从输出设备4输出。在信息处理系统1中，信息处理设备10是进行游戏的游戏设备，输入设备6a和6b(在下文中，往往统称为输入设备6)的每一个是像游戏控制器那样，将用户的操作信号提供给信息处理设备10的装置。输入设备6可以是像键盘和鼠标那样的输入接口。作为成像设备的照相机7配备在输出设备4的附近，将输出设备4周围的空间成像。尽管在图1中示出了将照相机7附在输出设备4的上部的例子，但也可以将它布置在输出设备4的侧部。在任何情况下，照相机7都被布置在可以使处在输出设备4前面的用户成像的位置上。照相机7可以是立体照相机。

服务器5向信息处理系统1的用户提供网络服务。服务器5管理网络帐号以便识别各自用户，每个用户使用网络帐号登录到服务器5提供的网络服务中。通过从信息处理设备10登录到网络服务中，用户可以将游戏的保存数据和作为在玩游戏时赢得的虚拟奖品的奖杯登记在服务器5中。

在图1中，示出了两个用户A和B正在操作作为游戏控制器的输入设备6a和6b的状况。用户A和B分别操作输入设备6a和6b以便为登录输入密码。在得到信息处理设备10验证之后，他们登录到信息处理设备的OS中，从而可以享受像游戏那样的应用程序。

近年来，还出现了使用户的运动反映在游戏角色的运动中的游戏。在利用用户手势的游戏中，用户无需握着输入设备6，可以直观地移动角色。在这样的游戏中，因为用户原本不使用输入设备6，所以优选的是，当用户登录到图像处理设备10的OS中时，也不使用输入设备6地进行用户验证。在信息处理系统1中，用户可以通过与登录之后用户所玩的游戏的类型无关的简单用户验证来登录是有意义的。

因此，在本实施例的信息处理系统1中，提供了可以使用通过照相机7摄取的图像容易地进行用户验证的技术。

图2示出了信息处理设备10的内部配置。信息处理设备10含有主电源按钮20、通电发光二极管(LED)21、待机LED22、系统控制器24、时钟26、设备控制器30、媒体驱动器32、USB模块34、闪速存储器36、无线通信模块38、有线通信模块40、子系统50、和主系统60。

主系统60包括主中央处理单元(CPU)、作为主存储设备的存储器、存储器控制器、图形处理单元(GPU)等。GPU主要用于游戏程序的算术处理。这些功能可以构成芯片上的系统和在一个芯片上形成。主CPU具有激活OS以及在OS提供的环境下执行安装在辅助存储设备2中的应用程序的功能。

子系统50包括子CPU、作为主存储设备的存储器、存储器控制器等，但不包括GPU。子CPU的电路门的数量小于主CPU的电路门的数量，子CPU的工作功耗低于主CPU的工作功耗。子CPU工作在主CPU处在待机状态下的时段中，它的处理功能受到限制，以便抑制功耗。子CPU和存储器可以在不同芯片上形成。

主电源按钮20是用户作出操作输入的输入部分。它配备在信息处理设备10的外壳的前表面上，起接通或断开对信息处理设备10的主系统60的供电的作用。在下文中，主电源处在接通状态下意味着主系统60处在活动状态下，主电源处在断开状态下意味着主系统60处在待机状态下。当主电源按钮20被接通时，通电LED21亮起来，当主电源按钮20被断开时，待机LED22亮起来。

系统控制器24检测用户按下主电源按钮20。如果在主电源处在断开状态下时按下主电源按钮20，则系统控制器24获得作为“接通指令”的按下操作。另一方面，如果在主电源处在接通状态下时按下主电源按钮20，则系统控制器24获得作为“断开指令”的按下操作。

主CPU具有执行安装在辅助存储设备2和只读存储器(ROM)媒体44中的游戏程序的功能，而子CPU没有这样的功能。但是，子CPU具有访问辅助存储设备2的功能以及向和从服务器5发送和接收数据的功能。子CPU只有这样的有限处理功能，因此与主CPU相比，可以以相对较低的功耗工作。子CPU的这些功能在主CPU处在待机状态下的时候执行。因为子系统50工作在主系统60处在待机状态下的时候，所以在服务器5提供的网络服务中本实施例的信息处理设备10一直处在登录状态下。

时钟26是实时时钟。它生成当前日期和时间信息，并将其供应给系统控制器24、子系统50、和主系统60。

设备控制器30是在像南桥那样的设备之间进行信息交换的大规模集成电路(LSI)。如图所示，像系统控制器24、媒体驱动器32、USB模块34、闪速存储器36、无线通信模块38、有线通信模块40、子系统50、和主系统60那样的设备与设备控制器30连接。设备控制器30吸收各自设备之间电特性和数据传送速率的差异，并控制数据传送的定时。

媒体驱动器32是驱动装载在其中和记录像游戏那样的应用软件和许可信息的ROM媒体44和从ROM媒体44中读出程序、数据等的驱动设备。ROM媒体44是像光盘、磁光盘、或蓝光盘那样的只读记录媒体。

USB模块34是通过USB电缆与外部装置连接的模块。USB模块34可以通过USB电缆与辅助存储设备2和照相机7连接。闪速存储器36是形成内部存储体的辅助存储设备。无线通信模块38根据像蓝牙(注册商标)协议或IEEE802.11协议那样的通信协议与，例如，输入设备6无线通信。

无线通信模块38可以与遵从国际电信联盟(ITU)定义的国际移动电信(IMT-2000)标准的第三代数字移动电话系统兼容，并且更进一步地可以与另一代的数字移动电话系统兼容。有线通信模块40以有线方式与外部装置通信，并经由例如AP8与网络3连接。

在本实施例的信息处理系统1中，如果用户在信息处理设备10处在断电状态下时按下主电源按钮20，则信息处理设备10接通主电源以激活OS(系统软件)，并为用户进行登录处理。在这种登录处理中，信息处理设备10起使用照相机7摄取的图像的脸部验证系统的作用。下面将描述信息处理设备10的操作。

图3示出了信息处理设备10的功能块配置。信息处理设备10含有输入接受器102、图像获取器104、登录控制器110、登记用户信息保存器130、和脸部识别数据登记部分150。登录控制器110含有所摄图像显示部分112、脸部验证部分114、脸部框架处理部分116、和登录处理部分120。脸部识别数据登记部分150具有数据生成器152和登记确定器154。

输入接受器102接受来自用户的操作信息，图像获取器104获取通过照相机7成像获得的所摄图像，并将其存储在存储器中。照相机7以预定周期拍摄空间图像。具体地说，它每，例如，1/30秒拍摄一幅空间图像，并将所摄图像提供给图像获取器104。照相机7是这样布置的，它的光轴沿着输出设备4的前方取向，因此照相机7拍摄存在于输出设备4前面的用户。

描述成图3和后面要描述的图13中进行各种类型的处理的功能块的各自元件从硬件方面来说，可以由电路块、存储器、和其它LSI形成，从软件方面来说，可以通过装载到存储器等中的程序来实现。因此，本领域的普通技术人员应当明白，这些功能块可以只通过硬件、或只通过软件、或通过它们的组合体，以各种形式实现，它们不局限于任何一种。

在本实施例中，所摄图像显示部分112、脸部框架处理部分116、和脸部识别数据登记部分150的功能通过脸部验证应用程序来实现。脸部验证部分114的功能通过脸部识别引擎来实现，并当按下主电源按钮20时，由OS自动激活。脸部验证应用程序和脸部识别引擎可以构成一个应用程序。

本实施例的信息处理设备10的特性之一是协助用户进行简单登录操作。为了登录到信息处理设备10的OS中，用户应该事先获取用户帐号，并将它登记在信息处理设备10中。在下文中，将已经把用户帐号登记在信息处理设备10中的用户称为“登记用户”。

登记用户信息保存器130保存与登记用户有关的各个信息。具体地说，它与用户帐号相联系地将脸部识别数据、用户的在线识别数据(ID)(网络上的昵称)、登录密码等保存成登记用户信息。脸部识别数据是登记用户的脸部图像的特征数据，但也可以是脸部图像数据本身。

脸部识别数据是脸部验证部分114在脸部识别处理中用作比较目标的数据。它由脸部识别数据登记部分150依照脸部验证部分114采用的脸部识别算法生成，以便存储在登记用户信息保存器130中。例如，脸部识别数据可以是通过提取脸部的一些部分的相对位置和尺寸以及眼睛、鼻子、颧骨、和下颌的形状作为特点获得的数据。更进一步，脸部识别数据可以是作为与脸部图像的标准数据的差异数据提取的数据。另外，它可以是代表亮度矢量等的分布的统计量。要提取什么类型的脸部识别数据取决于采用的脸部识别算法来确定。在本实施例中，脸部验证部分114采用已知的脸部识别算法。

首先，将对登记用户在登记用户信息已经存储在登记用户信息保存器130中的状态下登录到信息处理设备10的OS中时的处理加以描述。在这个例子中，至少存在用户A和B。用户A的在线ID是“HANAKO”，用户B的在线ID是“SACHIKO”。

当用户按下信息处理设备10的主电源按钮20时，信息处理设备10的主电源被接通，输入接受器102接受有关主电源按钮20被按下的信息作为来自用户的登录请求。当输入接受器102接受登录请求时，实现登录控制器110中的各自功能。登录控制器110具有根据用户的脸部识别的结果确定是否允许用户登录的功能。

当输入接受器102根据主电源按钮20的按下接受登录请求时，所摄图像显示部分112从存储器中读出图像获取器104获取的所摄图像，并将其显示作为显示器的输出设备4上。从而将照相机7拍摄的实况图像显示在输出设备4上，以便将出现在输出设备4前面的用户显示在输出设备4上。

图4示出了照相机7拍摄的空间的一个例子。在这个所拍空间中，存在三个用户。图4中围绕用户的长方形框架表达照相机7的成像范围。照相机7的成像范围定义作为实况图像显示在输出设备4的范围，但实况图像也可以是所摄图像的一部分。脸部验证部分114提取所摄图像中估计是人脸的部分，并导出这个部分的特征数据。脸部验证部分114然后将所导出特征数据与保存在登记用户信息保存器130中的脸部识别数据相比较，并确定所提取脸部是否是登记用户的脸部。

具体地说，脸部验证部分114导出用户的所提取脸部图像的特征数据与保存在登记用户信息保存器130中的所有登记用户的脸部识别数据之间的匹配度。这个匹配度是用数值表达的。例如，以100分当中的多少分的形式导出匹配度。如果登记脸部图像与特征数据的匹配度超过90，则脸部验证部分114确定成像用户是登记用户，并识别成像用户是哪个登记用户。

如果存在多个匹配度超过90的脸部识别数据，则脸部验证部分114可以确定成像用户是导出最佳分数的脸部识别数据的登记用户。如果作为导出从所摄图像中提取的用户的脸部图像的特征数据与所有登记用户的脸部识别数据之间的匹配度的结果，不存在匹配度超过90的脸部识别数据，则脸部验证部分114确定包括在所摄图像中的用户不是登记用户。这样，脸部验证部分114使用保存在登记用户信息保存器130中的脸部识别数据检测存在于所摄图像中的登记用户的脸部图像。作为这种脸部识别技术，可以使用已知技术。在本实施例中，将这种处理定位成第一阶段脸部验证。

图5示出了脸部验证部分114进行脸部识别的结果。这里，确定左边用户是用户A，右边用户是用户B，而中间用户不是登记用户。脸部验证部分114设置所摄图像中指示用户A(在线ID：HANAKO)的脸部的位置的脸部区域200a、和所摄图像中指示用户B(在线ID：SACHIKO)的脸部的位置的脸部区域200b，并向脸部框架处理部分116提供识别脸部区域200a和200b的位置坐标和成像登记用户的信息。在下文中，将示出当在显示器上显示所摄图像时用二维坐标表达位置坐标的例子。但是，位置坐标可以是定义在视频随机访问存储器(VRAM)上的坐标。在任何情况下，在普通坐标系上表达脸部区域200a和200b(在下文中，往往统称为脸部区域200)的坐标和后面要描述的脸部框架的坐标就足够了。

可以将每个脸部区域200设置成与所摄图像中脸部的轮廓接触的长方形区域。可替代地，可以将其设置成稍宽于脸部轮廓的长方形区域。这里，脸部的轮廓指的是包括头发的轮廓。但是，如果在，例如，脸部验证部分114的脸部识别处理中不考虑头发，则可以将脸部的轮廓设置成不包括头发。脸部区域200的尺寸和形状由所摄图像中用户的脸部的尺寸和形状决定。因此，脸部区域200的尺寸和形状对于每个用户都是不同的。更进一步，即使对于相同用户，脸部区域200的尺寸和形状也随相对于照相机7的距离而变。

脸部验证部分114提供给脸部框架处理部分116和要用于识别登记用户的信息可以是登记用户的用户帐号或可以是在线ID。脸部验证部分114与登记用户识别信息相联系地将脸部区域200的位置坐标提供给脸部框架处理部分116。具体地说，在显示在图5中的例子中，脸部验证部分114将脸部区域200a和用户A的识别信息的组合物以及脸部区域200b和用户B的识别信息的组合物提供给脸部框架处理部分116。

脸部框架处理部分116为脸部验证部分114检测的登记用户将脸部框架显示在输出设备4上。显示这个脸部框架是为了使登记用户在登录时移动脸部，将它放置在脸部框架中。因此，使登记用户可以通过将用户自己的脸部放在显示在输出设备4上的脸部框架中登录到信息处理设备10中。

图6示出了包括显示在输出设备4上的脸部框架的登录屏幕。脸部框架处理部分116根据从脸部验证部分114提供的和用于识别脸部区域200a和200b的位置坐标和成像登记用户的信息，为登记用户显示脸部框架210a和210b(在下文中，往往统称为脸部框架210)。在这个例子中，脸部框架处理部分116为用户A显示脸部框架210a，为用户B显示脸部框架210b。此时，脸部框架处理部分116将用户A的在线ID显示在脸部框架210a附近，将用户B的在线ID显示在脸部框架210b附近。这使用户A和B可以知道自己的脸部已得到适当识别，以及提示他们将脸部移动到脸部框架210a和210b中。

如果在显示在自己的脸部附近的脸部框架210附近显示出与自己的在线ID不同的在线ID，则用户可以知道未适当进行脸部识别，因此不用将脸部放在脸部框架210中。可以在脸部框架210附近进一步显示在第一阶段脸部验证中识别这个登记用户时导出的、像登记用户的登记数据与所拍脸部图像之间的匹配度那样的附加信息。这使用户更易于识别是否适当进行了脸部识别。

因为中间用户不是登记用户，所以不显示脸部框架210。但是，对于不是登记用户的用户，可以在估计是人脸的区域附近显示未将用户确定为登记用户的指示。例如，显示像“未知”或“未登记”那样的人物信息使用户可以发现用户是未登记的或已登记脸部图像的特征数据不适用。但是，也可能由于用户脸部的取向或某种阻挡物，使验证暂时未成功。因此，可以设置像如果未成功状态持续预定时间或更长，则显示这样的信息的规则那样的预定规则。

脸部框架处理部分116将ID赋予每个脸部框架210，并将脸部框架ID、脸部框架210的位置坐标、和为其显示脸部框架210的用户的识别信息提供给脸部验证部分114。脸部框架处理部分116提供给脸部验证部分114的脸部框架210的位置坐标可以是脸部框架210本身的位置坐标，或可以是围绕脸部框架210的长方形的坐标。在下文中，将脸部框架210本身的位置坐标和围绕脸部框架210的长方形的坐标统称为脸部框架的位置坐标。脸部框架的位置坐标用于在脸部验证部分114中检测用户的脸部图像。

例如，脸部框架处理部分116将“ID1”设置成脸部框架210a的脸部框架ID，将“ID2”设置成脸部框架210b的脸部框架ID。脸部框架处理部分116将“ID1”、脸部框架210a的位置坐标、和用户A的识别信息的组合物、以及“ID2”、脸部框架210b的位置坐标、和用户B的识别信息的组合物提供给脸部验证部分114。更进一步，脸部框架处理部分116将脸部框架ID和为其显示脸部框架210的用户的识别信息提供给登录处理部分120。因此，在这种情况下，脸部框架处理部分116将“ID1”和用户A的识别信息的组合物、以及“ID2”和用户B的识别信息的组合物提供给登录处理部分120。

图7示出了用户将脸放在脸部框架中的登录屏幕。这里，示出了用户A以脸部进入显示在输出设备4上的脸部框架210a中的方式移动脸部和身体的状态。脸部验证部分114监视人脸是否被放在脸部框架210中。如果脸部被放在其中，则脸部验证部分114使用保存在登记用户信息保存器130中的脸部识别数据确定放在脸部框架210中的脸部是否是登记用户的脸部。

脸部验证部分114可以根据从脸部框架处理部分116提供的脸部框架210的位置坐标监视人脸是否被放在脸部框架210中。脸部识别算法如上所述。当估计人脸已包括在脸部框架210中时，脸部验证部分114导出这个部分的特征数据，并将特征数据与保存在登记用户信息保存器130中的脸部识别数据相比较，以确定提取的脸部是登记用户的脸部。

脸部验证部分114已经从脸部框架处理部分116得到脸部框架ID、脸部框架210的位置坐标、和为其显示脸部框架210的用户的识别信息的组合物的通知，并将包括在脸部框架210中的人士的脸部图像的特征数据与为其显示脸部框架210的用户的脸部识别数据相比较。因为已经事先得到应该包括在脸部框架210中的用户的通知，所以脸部验证部分114无需将包括在脸部框架210中的脸部的特征数据与所有登记用户的脸部识别数据相比较，因此可以有效地进行脸部识别处理。脸部验证部分114可以暂时存储结合图5所述、在第一阶段脸部验证中从所摄图像中提取的用户的脸部图像或它的特征数据，并且还将其包括在比较目标中。后面将对此作详细描述。

脸部验证部分114可以通过检测登记用户的脸部已经被放在脸部框架210中达预定时间(例如，几秒钟)来确定登记用户的脸部被放在脸部框架210中。其结果是，在图7的例子中，脸部验证部分114确定已进入脸部框架210a中的脸部是用户A的脸部。在本实施例中，将这种处理定位成第二阶段脸部验证。

通过第一阶段和第二阶段脸部验证，结束登录时的用户验证。用户将脸部放在脸部框架210中的动作根据用户的登录意图作出。当用户不希望登录时，用户无需将脸部放在脸部框架210中。如上所述，在本实施例中，可能登录的登记用户通过第一阶段脸部验证来检测，有登录意图的登记用户通过第二阶段脸部验证来检测。登记用户只通过进行将脸部放在脸部框架210中的简单操作就得到验证。因此，可以使用户在登录时的工作负担非常小。

当检测到用户A的脸部已进入脸部框架210a中时，脸部验证部分114将识别脸部框架210a的脸部框架ID和识别用户A的用户识别信息通知登录处理部分120。如已所述，登录处理部分120事先从脸部框架处理部分116得到脸部框架ID和为其显示脸部框架210的用户的识别信息的通知。当从脸部验证部分114得到脸部框架ID和用户识别信息的通知时，登录处理部分120提取与从脸部框架处理部分116通知的脸部框架ID相联系的用户识别信息，并确定几个用户识别信息之间的匹配。这里，与ID1的脸部框架ID相对应，作为来自脸部验证部分114和脸部框架处理部分116的两个识别信息，通知用户A的识别信息。因此，登录处理部分120识别出在为用户A显示的脸部框架210a中检测到用户A的脸部。由于这个原因，登录处理部分120使用户A登录到信息处理设备10中。

如上所述，在本实施例中，登录控制器110使登记用户在通过两个阶段的脸部验证进行用户验证之后登录。例如，在第一所拍图像中检测到人脸以及在第一阶段脸部验证处理中确定具有所检测脸部的人士是否是登记用户之后，无需进行脸部验证处理，除非拍摄到新用户。在这种情况下，在所拍图像中对所检测人脸进行跟踪处理，并不断地将所拍图像中脸部图像的位置坐标提供给脸部框架处理部分116。也可以采用以预定周期进行脸部验证以及在不进行脸部验证的时区中对所检测人脸进行跟踪处理的配置。

第一阶段脸部验证和第二阶段脸部验证可以以不同周期同时进行。例如，分别以一秒的周期和1/16秒的周期同时实施第一阶段脸部验证和第二阶段脸部验证。由于这个原因，尤其当一次存在大量用户时，与一个人一个人地进行两个阶段的脸部验证的情况相比，可以提高登录处理的速度。通过如上所述将第一阶段脸部验证的工作周期设置得长一点和将第二阶段脸部验证的工作周期设置得短一点，可以使处理负担受到抑制地迅速作出从第一阶段到第二阶段的过渡。

在一个登记用户通过第二阶段脸部验证处理登录之后，如果正在拍摄还没有登录的登记用户，则可以继续显示登录屏幕，直到这个登记用户登录。在这种情况下，优选的是让脸部框架处理部分116从输出设备4中擦除为已经登录的用户显示的脸部框架210。如果存在只允许一个登记用户通过这种脸部验证登录的限制，则可以在一个登记用户登录之后作出到信息处理设备10等的OS提供的主屏幕的过渡。

如果脸部验证部分114在将脸部框架210显示在登录屏幕中之后的预定时间内不能在脸部框架210中检测到脸部，则结束通过脸部验证的登录处理，并且可以作出到使用输入设备6的登录处理的过渡。更进一步，如果用户不希望通过脸部验证进行登录处理，则可以使用，例如，输入设备6结束通过脸部验证的登录处理，并且可以作出到使用输入设备6的登录处理的过渡。

接着，对在如上所述将在第一阶段脸部验证中获得的脸部图像用于第二阶段脸部验证的情况下信息处理设备10的操作加以描述。图8是示出主要由信息处理设备10的登录控制器110通过第一阶段和第二阶段脸部验证确定是否允许登录的处理的过程的流程图。首先，脸部验证部分114如上所述在所拍图像中提取估计是人脸的部分，并作出与保存在登记用户信息保存器130中的脸部识别数据的比较，从而确定所提取脸部是登记用户的脸部(S10)。

在不检测脸部或所检测脸部不是登记用户的脸部，即，第一阶段脸部验证未取得成功的时段期间，以预定时间间隔重复脸部检测和确定处理(S10的否)。如果确定所检测脸部是登记用户的脸部和第一阶段脸部验证取得成功(S10的是)，则脸部验证部分114与相应登记用户的识别信息相联系地将此时从所拍图像中提取脸部区域的图像或它的特征数据暂时存储在内部存储器等中(S12)。脸部验证部分114如上所述将脸部区域的位置坐标和登记用户的识别信息通知脸部框架处理部分116。

这使脸部框架处理部分116可以如图6所示将脸部框架和在线ID显示在输出设备4上(S14)。与此同时，脸部框架处理部分116将脸部框架ID、脸部框架的位置坐标、和相应登记用户的识别信息通知脸部验证部分114。对此作出响应，脸部验证部分114进行监视，直到人脸进入脸部框架或包括其外围的预定范围中(S16的否)。如果可以检测到人脸已进入相关范围中(S16的是)，则脸部验证部分114导出这个脸部区域的特征数据。脸部验证部分114通过将所导出特征数据与保存在登记用户信息保存器130中的脸部识别数据(在下文中，往往称为“长期存储数据”)和在第一阶段脸部验证中从所拍图像中提取以便在步骤S12中暂时存储的脸部区域的特征数据(在下文中，往往称为“短期存储数据”)两者相比较作出双重确定(S18)。

具体地说，首先将脸部框架中的脸部的特征数据与长期存储数据相比较。如果确定这些数据不匹配，则接着尝试与短期存储数据的比较。如果通过这种比较确定两者对应于同一人士的脸部，则脸部验证部分114得出脸部框架中的脸部是通过第一阶段脸部验证识别的登记用户的脸部的结论。也就是说，脸部验证部分114将利用长期存储数据的验证的失败改变成成功。

例如，如果利用长期存储数据的验证的成功率是80％，则进行相同验证处理两次将验证的成功率降低到大约60％。如果侧重于脸部变化，例如，脸颊的圆度，则成功率可能进一步降低。在这种情况下，可能出现尽管在第一阶段脸部验证中验证了所检测脸部是自己的脸部，但第二阶段脸部验证未取得成功和用户不能登录，使得给用户造成压力的状况。对于上述配置，可以使用正好在第二阶段脸部验证之前拍摄的图像来提高验证的成功率。

在本实施例中，第二阶段脸部验证的主要意思是检验用户是否有登录意图，登记用户的检测本身主要通过第一阶段脸部验证来落实。通过如上所述双重进行第二阶段脸部验证来放宽验证准则，可以实现与这样意思上的差异一致的验证。更进一步，通过使用在第一阶段脸部验证时获得的图像，可以不用使用户更费力地达到上述效果。

利用长期存储数据的验证和利用短期存储数据的验证的次序以及导出确定结果的规则不局限于上述那些。两种验证可以同时进行，以及可以综合代表它们的结果的分数。可替代地，可以首先进行利用短期存储数据的验证。在上面的描述中，为了放宽验证准则来提高验证的成功率，将两者的成功事件的并集确定为最终成功事件。但是，取决于用途，可以使验证准则更严格。也就是说，可以将利用长期存储数据的验证和利用短期存储数据的验证的成功事件的交集当作最终成功事件。在任何情况下，都使用在获取定时上不同的2种类型脸部识别数据来实现多方面的验证。

接着，对脸部识别数据登记部分150将脸部识别数据(上述的“长期存储数据”)存储在登记用户信息保存器130中的处理加以描述。在应该存储脸部识别数据的阶段，脸部识别数据登记部分150的数据生成器152从存储器中读出图像获取器104获取的所拍图像的数据，并提取这个图像中估计是人脸的部分以便导出特征数据。

应该存储脸部识别数据的阶段通常是用户新希望进行用户登记的情况。在这种情况下，当经由输入设备102从用户接受开始用户登记的请求时，输入接受器102将此通知脸部识别数据登记部分150。同时，照相机7开始拍摄这个用户的脸部，脸部识别数据登记部分150从存储器中读出图像获取器104获取的相关图像的数据。脸部识别数据登记部分150然后如上所述提取脸部区域和导出特征数据。另外，与用户输入和输入接受器102接受的新在线ID和像设备给出的帐号那样的用户识别信息相联系地将所导出数据存储在登记用户信息保存器130中。

这里存储的脸部识别数据如上所述随脸部验证部分114采用的脸部识别算法而不同，可以是特征数据或脸部图像数据本身。作为脸部识别算法之一，存在根据所拍脸部图像与事先登记的脸部图像之间的差值图像以及相对于事先获取的差值图像群的本征空间的距离计算匹配度的方法(参照，例如，已公开日本专利第2002-157596号)。不仅在这种技术中，而且在像在验证时拍摄的图像与登记图像之间进行块匹配的验证和根据具有像协方差矩阵那样的统计量的图像的亮度分布矢量获得概率密度的验证那样、基于像素值集合的验证中，验证精度都对作为登记数据的源头的脸部图像敏感。

例如，照射在脸部上的光的总亮度和角度在在从窗口入射的自然光下拍摄的图像与晚上在室内照明下拍摄的图像之间可能相差很大。当比较这些图像时，导出匹配度的精度，因此验证精度与比较在相同照明环境下拍摄的图像时相比往往较低。这样照明环境的变化由像时区、天气、窗帘是打开的还是关闭的、和哪盏照明灯亮着等引起。由于不仅照明环境而且像脸部的取向、是否戴着眼镜和帽子、头发长度和发型、脸部是否剃毛、和在皮肤晒成褐色之前还是之后那样的各种条件的变化，验证精度也可能发生变化。

因此，在统计验证的情况下，优选的是，在统计验证的学习阶段，在尽可能多的状态下从图像中计算统计量。在与每个登记图像进行块匹配的情况下，优选的是，存储处在尽可能多的状态下的登记图像。但是，实际上，存在用户亲自创建这样的状态的局限性。因此，数据生成器152对在登记时拍摄的用户的脸部图像进行预定加工处理，从而使用户负担小地提高验证精度。

图9示意性地示出了数据生成器152从所拍图像中生成脸部识别数据的过程。首先，在应该存储脸部识别数据的阶段，数据生成器152从照相机7拍摄的图像中提取代表脸部区域的图像300。这种处理可以类似于脸部验证部分114进行的脸部检测的处理。数据生成器152通过对这个脸部区域的图像300进行预定处理生成处理后图像302a、302b和302c。这里进行的处理的内容事先放置在数据生成器152的内部。

在图9的情况下，处理后图像302a是将预定失真过滤器应用于原图像300中的眼睛区域获得的笑脸的图像。它可以通过对平均脸的笑脸图像加以变形来创建。处理后图像302b是将眼镜的图像叠加在原图像300上合成的图像。处理后图像302c是以对脸部的右半部加阴影的方式局部降低亮度的图像。在这种情况下，进一步，可以设定预定光的入射角，以及也可以考虑到像鼻子那样脸部的凹凸性地计算加阴影的范围作为降低亮度的区域。此时，可以改变光的入射角以便以多个图案给出阴影。取代只给出阴影，也可以提高光照明的部分的亮度。

图像处理的其它例子如下：全面改变亮度；通过仿射变换改变脸部的取向(沿着偏航/俯仰/翻滚方向的任何旋转角或它们的组合)；组合带有上巴胡须、面颊胡须、下巴胡须等的胡须图像；组合各种发型的任何一种的头发图像；组合像帽子或口罩那样的附件的图像；删除前发或胡须的区域或将该区域的颜色转变成肉色；通过变形等改变像面颊、嘴巴、和眉毛那样的脸部的一些部分的形状；以及使皮肤的颜色变暗或变亮。

此外，可以用照相机7从多个方向拍摄用户来获取脸部沿着多个取向(沿着偏航/俯仰/翻滚方向的任何旋转角或它们的组合)的所拍图像，并且可以生成沿着这些取向的中间取向的脸部图像作为处理后图像。例如，从沿着前向和横向取向的脸部的所拍图像中生成沿着这些方向的中间方向，即，沿着斜向取向的脸部的处理后图像。“中间方向”可以是进行拍摄的多个方向之间的任意方向，对其数量也没有限制。可以将从多个图像中生成内插图像的一般技术应用于该处理。

此外，可以采用基于一般图像处理技术的任何脸部处理方法。在分别与每个登记图像作出比较的情况下，可以通过组合多种类型的处理来创建一个处理后图像。数据生成器152使用原始脸部区域的图像300和处理后图像302a，302b和302c生成脸部识别数据304，并将其存储在登记用户信息保存器130中。如上所述，取决于用于验证的算法，可以按原样分别存储每个图像或其一部分的数据，或可以存储对所有图像进行统计处理获得的数据。由于这个原因，对于一个登记用户，可以实现也考虑到许多设定状态的验证，以及无论在什么状态下都不用费力登记地实现稳定登录。

在上面的描述中，作为应该存储脸部识别数据的阶段，示范了用户请求新登记的情况。在本实施例中，进一步设置了其它机会以提高更新脸部识别数据的频率和保持验证处理的精度。为了这个目的，脸部识别数据登记部分150的登记确定器154确定新存储(登记)脸部识别数据的定时。具体地说，登记确定器154将用户作出像新登记或另外登记那样的登记的请求的定时当作登记脸部识别数据的定时。更进一步，当第一阶段验证取得成功时以及当第二阶段验证取得成功时，如果在该定时拍摄和检测的脸部图像满足预定条件，则登记确定器154将这个定时确定为登记这个脸部图像的定时。

当确定当前定时是登记的定时时，登记确定器154将此通知数据生成器152。这使数据生成器152可以将生成的脸部识别数据存储在登记用户信息保存器130中。数据生成器152总是在所有定时都可以进行上述图像处理，或可以取决于定时地跳过上述图像处理。例如，当根据在验证时检测的脸部图像确定是否登记脸部识别数据时，登记确定器154也可以同时确定是否进行图像处理，并将确定结果通知数据生成器152。

图10和11是示出脸部识别数据登记部分150通过应该登记的定时的确定登记脸部识别数据的处理的过程的流程图。首先参照图10，当用户作出请求新登记的输入时(S20的是)，数据生成器152如上所述读出图像获取器104获取的所拍图像的数据并提取脸部区域的图像。数据生成器152然后通过任意进行处理等生成脸部识别数据。因为登记确定器154将请求新登记的所有定时都确定为应该登记脸部识别数据的定时，所以数据生成器152将生成的数据存储在登记用户信息保存器130中(S22)。

如果已经完成了新登记的登记用户另有机会作出请求另外登记用户自己的脸部的输入(S20的否，S24的是)，则照相机7开始拍摄这个用户，数据生成器152读出图像获取器104获取的所拍图像的数据。数据生成器152然后提取脸部区域并导出这个区域的特征数据(S26)。另外的登记可能出现在由于，例如，从前一次登记开始经过了某个时间量或用户状态的变化，用户自身意识到有必要登记的时候。

登记确定器154根据用户等输入的在线ID从登记用户信息保存器130中读出已登记脸部识别数据，并将其与数据生成器152导出的特征数据相比较(S28)。特征数据的生成和与脸部识别数据的比较基本上与脸部验证部分114在验证处理时进行的处理相同。因此，也可以采用将这些类型的处理委托给脸部验证部分114以及数据生成器152只获取特征数据和登记确定器154只获取其比较结果的配置。

当比较结果满足事先设置的第一条件时，登记确定器154确定当前定时就是应该登记此时拍摄的脸部图像的定时，并将此通知数据生成器152(S28的是)。这使数据生成器152可以将在S26中生成的特征数据加入登记用户信息保存器130中与相应用户相联系的脸部识别数据中(S30)。第一条件是针对从所拍图像中提取的脸部图像的特征数据与相应用户的已登记脸部识别数据之间的匹配度设置的。例如，如果匹配度太低，则存在被不同人士冒充或错误输入在线ID的可能性，因此不进行新登记。

相反，如果匹配度太高，则再次登记相似数据对验证精度一点也没有影响，因此不进行新登记。因此，对于匹配度S(0≤S≤100)，将，例如，s1≤S≤s1′(s1<s1′)的条件设置成第一条件。但是，这无意将第一条件限制成这种格式，可以只对匹配度S设置下限s1和上限s1′的某一个。如果在S28中比较结果不满足第一条件，那么，例如，显示将此通知用户的图像，并且不登记地结束处理(S28的否)。

图11示出了利用已完成登记的用户实际登录的定时按需自动登记新脸部识别数据时的处理过程。在这种情况下，脸部识别数据登记部分150从登录控制器110中获取必要数据。脸部识别数据登记部分150然后据此确定是否应该进行新登记，此后进行登记处理。

首先，如果第一阶段脸部验证取得成功(S40的是)，则登录控制器110的脸部验证部分114将在这次脸部验证时从所拍图像中提取的脸部图像的特征数据、围绕其识别的登记用户的在线ID、和作为验证结果导出、与这个登记用户的脸部识别数据的匹配度供应给脸部识别数据登记部分150(S42)。此时，除了与所识别登记用户的脸部识别数据的匹配度之外，也可以供应与其他用户的脸部识别数据的匹配度。

登记确定器154确定这个匹配度是否满足事先设置的第二条件(S44)。如果满足第二条件，则登记确定器154确定当前定时就是应该登记用于S40中的验证的脸部图像的定时，并将此通知数据生成器152(S44的是)。这使数据生成器152可以将在S42中生成的特征数据加入登记用户信息保存器130中与相应用户相联系的脸部识别数据中(S46)。如果不满足第二条件(S44的否)，则不进行该登记。

随后，如果第二阶段脸部验证取得成功(S48的是)，则登录控制器110的脸部验证部分114将脸部框架中的脸部图像的特征数据、围绕其识别的登记用户的在线ID、和与脸部识别数据的匹配度供应给脸部识别数据登记部分150(S50)。此时，除了与所识别登记用户的脸部识别数据的匹配度之外，也可以供应与其他用户的脸部识别数据的匹配度。登记确定器154然后确定这个匹配度是否满足事先设置的第三条件(S52)。

如果满足第三条件，则登记确定器154确定当前定时就是应该登记用于S48中的验证的脸部图像的定时，并将此通知数据生成器152(S52的是)。这使数据生成器152可以将在S50中生成的特征数据加入登记用户信息保存器130中与相应用户相联系的脸部识别数据中(S54)。如果不满足第三条件(S52的否)，则不进行该登记。自然，当第一阶段或第二阶段脸部验证未取得成功时(S40的否，S48的否)，则不进行该登记。

用在S44中的第二条件和用在S52中的第三条件定性上是根据与有关参考图10所述的第一条件的政策类似的政策设置的。例如，对于与脸部验证部分114在脸部验证中由于，例如，最高匹配度而识别的登记用户的脸部识别数据的匹配度S，将，例如，s2≤S≤s2′(s2<s2′)的条件设置成第二条件，将，例如，s3≤S≤s3′(s3<s3′)的条件设置成第三条件。此外，对于与另一个用户i(0<i≤n，n是其他用户的数量)的脸部识别数据的匹配度Mi，将，例如，Mi≤m2的条件设置成第二条件，将，例如，Mi≤m3的条件设置成第三条件。

当满足有关匹配度S和Mi的所有条件时，确定满足第二和第三条件。当与另一个用户的脸部识别数据的匹配度Mi高时，脸部图像在与所识别用户的脸部相似的同时，在某种程度上也与其他用户的脸部相似。登记这样的图像容易在验证中引起与这另一个用户的混淆。因此，通过对Mi设置上限从登记对象中排除这样的图像。优选的是，关于第一、第二和第三条件，相互独立地设置有关与用户自身的脸部识别数据的匹配度S的阈值。关于第二和第三条件，也相互独立地设置有关与另一个用户的脸部识别数据的匹配度Mi的阈值。

例如，当用户希望为自身进行另外的登记时，根据用户输入的在线ID判定作为比较目标的脸部识别数据，因此所拍脸部图像与脸部识别数据之间的对应精确的可能性高于其它定时。更进一步，优选的是，因为用户自身请求登记，所以登记的概率也很高。因此，将阈值设置成提供作为当前定时被确定为应该进行登记的定时的匹配度S的范围的最宽范围。

第一阶段脸部验证时的登记和第二阶段脸部验证时的登记两者都由设备自动进行。但是，第二阶段脸部验证中脸部图像与用户之间的对应的精度高于第一阶段，因为用户自身通过将脸部放在脸部框架中表达了脸部图像与在线ID之间的对应是正确的。因此，将当前定时被确定为应该进行登记的定时的匹配度S和Mi的范围设置得比第一阶段宽。通过这样的配置，可以使用户负担小地尽可能大地提高登记脸部识别数据的机动，以及可以一致地根据最近信息进行验证。其结果是，可以实现抵抗像由生长和老化引起的脸部变化那样的长期变化，以及像上述照明环境的变化那样相对较短时期内的条件变化的验证处理。

通过改变按照用户的意图、输入信息的精度等判定是否进行登记的条件，可以抑制错误登记和无用登记的频率。如果将脸部图像的数据或其一部分的数据存储成脸部识别数据，则可以与脸部识别数据的新登记同时地删除相应用户的已存储脸部识别数据的一部分。例如，优先删除如下数据：最老数据；尽管是同一用户的数据、但在过去验证处理的历史中匹配度比其它数据低的数据；以及在数据成功用在验证中(确定与所拍图像的匹配度高于阈值或当验证成功时匹配度最高)的定时比其它数据老的数据。

在后一种情况下，每当相应用户登录时，存储在登录的验证中针对各自脸部识别数据计算的匹配度，并按匹配度的历史的平均值的升序删除脸部识别数据。这可以节省登记用户信息保存器130的容量。另外，如果在，例如，通过块匹配的验证中每个地将同一用户的多个脸部识别数据与所拍图像相比较，则可以减小比较目标，从而减轻验证处理的负担和缩短进行处理所花费的时间。

如上所述，在每当进行登记时就分别存储脸部识别数据以及将每个所存储数据与所拍图像相比较的情况下，可以对存储在登记用户信息保存器130中的脸部识别数据的数量设置上限，如果数据已经登记到这个上限，则当登记新数据时可以盖写任何已存储数据。在这种情况下，可以进一步采用如下方案。具体地说，以这样的方式将脸部识别数据存储在登记用户信息保存器130中，即将如图10所示根据用户的意图登记的脸部识别数据分类成第一组，将如图11所示设备自动登记的脸部识别数据分类成第二组。更进一步，对于这些组的每一个，对可以存储的数据的数量设置上限。在登记超过上限的数据时，如果新数据是第一组的数据，则盖写第一组的已存储数据，如果新数据是第二组的数据，则盖写第二组的已存储数据。

这样就可以防止出现根据用户的意图登记的脸部识别数据全部被设备自动登记的脸部识别数据盖写和使验证精度降低的不便。此外，也可以采用配备为每个已登记脸部识别数据计数成功用在验证中的次数的计数器以及当登记新数据时盖写使用次数最少的数据的配置。但是，对于刚登记的数据，成功用在验证中的次数自然很小。因此，可以考虑与时间有关的观点。具体地说，例如，可以取决于从登记开始经过的时间地加权使用的次数。更进一步，可以进一步将选为盖写候选者的脸部识别数据与应该新登记的数据相比较，如果匹配度高于预定阈值，则可以取消新登记。这样就可以防止出现尽管新登记数据与盖写数据类似，但成功用在验证中的次数返回到0以及容易将这个新登记数据选为盖写目标的不便。

在任何情况上，定性上，优选的是防止多次成功用在验证中的脸部识别数据被盖写，以及尽可能多地留下在不同照明条件等下获得的多种多样数据。本领域的普通技术人员应当明白，作为用于此目的的方法，除了上述的那些之外，可以存在各种各样修改例。

在上文中，描述了不使用输入设备的基于两个阶段的脸部验证的登录方法。接着，将对在登录之后的处理中使用输入设备的情况，具体地说，通过拍摄配备在输入设备上的标记检测用户的运动以及使游戏按此发展下去或按此进行信息处理的情况加以描述。在以这样的模式检测多个用户的运动的情况下，如果使各自用户握着的输入设备的标记的颜色相互不同，则可以根据标记的颜色识别每个用户的运动。因此，在登录的时候将输入设备的标记的颜色与握着这个输入设备的用户相联系。

图12示出了将脸部验证和标记检测组合进行登录处理时照相机7拍摄的图像的一个例子。在所拍图像400中捕获了一个用户，这个用户握着输入设备6a。输入设备6a具有如图12右侧的放大图(输入设备6b)所示的标记402。标记402由，例如，发出具有预定颜色的光的发光二极管形成。但是，标记402无需发光，其形式不受限制，只要是具有已知颜色、形状和尺寸和可以用作检测目标的东西就行。也可以将像二维条形码那样绘在平面上的图画粘在输入设备6a上或将图画直接绘在输入设备6a上。

如图所示，当用户用双手抓住输入设备6a的左右抓部和面向照相机7时，标记402朝着照相机7取向。尽管未显示在图像中，但除了标记402之外，输入设备6a还可以含有像各种类型的操作按钮和摇杆那样的操作单元。输入设备的形状不局限于显示在图中的那种。在这个例子中，首先，通过上述第一阶段脸部验证，通过使用所拍图像400中的脸部区域404，根据脸部图像的特征数据识别登记用户。更进一步，检测标记402的图像的区域406。然后将它的颜色与所识别登记用户相联系以便用于后一阶段信息处理。

用户在登录时将输入设备6a握在像胸前位置那样的预定位置上的规则是事先设置的，以便可以根据所拍图像400中的脸部区域404和与之相对应的标记的图像的区域406的相对位置理解脸部与标记的对应。例如，将通过脸部验证识别的登记用户的在线ID显示在脸部区域404附近，确认就是自己的在线ID的用户将输入设备6a握在自己的胸前。由于这个原因，信息处理设备10检测标记的图像的区域406中的标记，并将它的颜色与登记用户相联系。握着输入设备6a的位置不局限于胸前的那个，可以在，例如，颌下、头上或耳旁，只要该位置是事先设置的，用户认识就行。

图13示出了通过脸部验证和标记检测进行登录处理时信息处理设备10的功能块配置。与显示在图3中的那些相同的功能块被赋予相同标号，并省略对它们的描述。也可以采用使包括在显示在图3中的登录控制器110中的所有功能块都包括在显示在图13中的登录控制器160中和用户可以经由输入设备6选择使用哪种登录模式的配置。

信息处理设备10包括输入接受器102、图像获取器104、登录控制器160、和登记用户信息保存器168。信息处理设备10可以进一步包括显示在图3中的脸部识别数据登记部分150。登录控制器160含有所摄图像显示部分112、脸部验证部分114、标记验证部分162、距离识别器164、和登录处理部分166。

输入接受器102、图像获取器104、和登录控制器160中的所摄图像显示部分112和脸部验证部分114具有与显示在图3中的各自功能块相同的功能。但是，脸部验证部分114只进行由检测包括在所拍图像中的脸部区域和识别登记用户组成的第一阶段验证，并将有关脸部区域和所识别登记用户的信息提供给标记验证部分162。登记用户信息保存器168与用户帐号相联系地保存像用户的在线ID和脸部识别数据那样的识别信息。

登录控制器160的标记验证部分162从所拍图像中检测与脸部验证部分114检测的脸部区域相对应的标记的图像。具体地说，标记验证部分162根据从脸部验证部分114提供的脸部区域的位置坐标，检测应该存在于事先设置的相对位置上的标记的图像。此时，与上述脸部框架一样，可以在输出设备上的所显示图像中在应该握着标记的位置上显示标记框架。更进一步，可以将所识别用户的在线ID显示在标志框架附近。

在所拍图像中，标记验证部分162在像胸部上的区域那样、具有预定尺寸和与脸部验证部分114提供的脸部区域存在预设位置关系的区域中进行标记搜索。标记验证部分162然后与脸部验证部分114通知的有关登记用户的信息相联系地将所检测标记的颜色信息通知登录处理部分166。当接收到这个通知时，登录处理部分116允许这个用户登录到信息处理设备10中，并将与登记用户与标记颜色之间的对应有关的信息通知游戏等的信息处理的主执行实体(未示出)。为多个用户执行相同登录处理使信息处理的主执行实体可以根据标记的颜色区分每个用户的运动。

如果将单镜头照相机用作照相机7以及从一个所拍图像中检测一对脸部和标记，则通过上述配置完成登录处理。另一方面，将考虑分开拍摄用于脸部识别的图像和用于标记检测的图像，以便在脸部识别和标记检测两个方面都保持高精度。具有特定尺寸、颜色、形状、亮度等的标记易于从作为图像捕获的房间、人体、物体等中检测，当使它们的颜色相互不同时，也易于识别多个标记。但是，与人的观看不同，如何在图像中捕获标记随像周围明亮性、是否存在物体、和周围颜色那样的拍摄环境、和像曝光时间、光圈值、和焦深那样的拍摄条件变化很大。

在拍摄包括用户和房间的广角图像的情况下，一般说来，与拍摄环境匹配地自动调整像白平衡和曝光时间那样的拍摄条件，这使得可以获取总体上十分平衡的图像。但是，在检测图像中的标记的情况下，这样按照环境改变拍摄条件会导致如何捕获标记，即，图像的颜色、尺寸、形状、亮度等的改变，这在检测处理中可能会引起麻烦。

例如，在使用发光的标记的情况下，如果按照房间的明亮性判定的曝光时间太长，则标记的发光部分的RGB值可能达到饱和，获得与发光体的颜色无关是白色的和具有模糊轮廓的图像。更进一步，如果标记以比较高的速度运动，则它的图像可能是模糊的。

因此，可能不能精确获取标记的位置和不能区分颜色。因此，将立体照相机用作照相机7。一台照相机拍摄在标准拍摄条件下获得的图像，另一台照相机拍摄在适合检测标记的预定拍摄条件下获得的图像。前者由脸部验证部分114用于脸部验证，以及由所摄图像显示部分112用于显示在输出设备4上。后者由标记验证部分162用于标记检测。

在这样的模式下，距离识别器164校正立体照相机拍摄的两个图像的视差，以便可以精确识别与脸部相对应的标记。图14示出了将立体照相机用作照相机7时拍摄的立体图像的例子。在这种情况下，所拍图像是立体照相机从相互分开预定距离的左右位置拍摄相同空间获得的立体图像。其中，第一图像408a是在标准条件下拍摄的，第二图像408b是在适合标记检测的条件下拍摄的。

也就是说，第一图像408a是在拍摄时按照环境自动调整拍摄条件的一般图像。第二图像408b是聚焦在标记上和与，例如，第一图像408a相比曝光时间较短和焦深较浅(光圈较小)拍摄的图像。通过在这样的条件下进行拍摄，第二图像408b被获得作为像尽管明亮性总体降低和其它物体是模糊的、但标记的发光体部分在颜色、形状、尺寸、和亮度方面与实际那个接近的图像。可以随用于标记检测的拍摄条件只改变曝光时间和光圈值的某一个，或可以改变另一个参数。

尽管这些图像是同时拍摄相同被摄物获得的，但因为视点不同，所以会造成视差D。首先，脸部验证部分114使用第一图像408a来指定脸部区域410。在第一图像408a中，标记搜索区域412处在脸部的正下方。具体地说，这是沿着水平方向(x轴方向)具有与脸部区域410相同的中心轴和沿着垂直方向(y轴方向)与脸部区域410分开预定距离d的区域。在图14的例子中，距离d是从下颌到胸部的距离。

但是，当标记验证部分162使用第二图像408b进行标记检测时，这个图像中的标记搜索区域414相对于第一图像408a中的搜索区域沿着水平方向(x轴方向)偏移了视差D。视差D随被摄物相对于照相机的距离而变。因此，距离识别器164识别这个距离，并将它提供给标记验证部分162。据此，标记验证部分162首先根据脸部验证部分114供应的脸部区域410的位置坐标判定第一图像408a中的标记搜索区域412，然后沿着x轴方向将它移动视差D，从而判定第二图像408b中的标记搜索区域414。移动方向自然随左右照相机的哪一台用于拍摄第二图像而不同。

图15是适用于说明立体图像中的视差与被摄物沿着深度方向的位置之间的关系的图形。除非另有所述，这里假设将长度的单位统一成米等。将照相机7的第一照相机7a和第二照相机7b设置成具有定位成相隔距离L的平行光轴。假设被摄物存在于沿着深度方向与这些立体照相机分开距离Z的右端箭头的位置上。

各自照相机拍摄的图像的一个像素所代表的实际空间的宽度Δx与距离Z成比例以及表达如下：

Δx＝Z×w/W    (1)

在这个表达式中，符号W表示照相机沿着水平方向的像素的数量。符号w表示当距离Z是1时，实际空间沿着水平方向的视场的范围。它由视角决定。

分开距离L的照相机拍摄的相同被摄物在其图像上具有基本上如下所表达、用像素的数量表示的视差D(个像素)：

D＝L/Δx＝L×(W/w)×(1/Z)＝C/Z     (2)

在这个表达式中，符号C是由照相机及其设置决定的值，在操作中可以认为是常数。标记验证部分162从距离识别器164获取距离Z，并根据上述表达式(2)获取图像上的视差D，以便判定第二图像408b中的标记搜索区域。本领域的普通技术人员应当明白，上面的表达式只是一个例子，可以根据三角原理采用各种计算表达式。

标记搜索区域的视差D基本上是从标记相对于照相机的距离Z中获得的。作为距离识别器164识别距离Z的方法，可以采用各种方法。例如，可以采用将第一图像408a和第二图像408b进一步用于通过立体图像方法生成深度图像的方法。立体图像方法是联系立体图像中的特征点并从它们的视差中计算被摄物沿着深度方向的位置的一般方法。深度图像是将被摄物沿着深度方向相对于照相机的距离映射在所拍图像平面上的二维坐标上并表示成像素值的图像。

但是，鉴于标记由一个人握着，对标记的尺寸有限制。因此，一般说来，所拍图像中标记的图像的区域较小。不容易根据这样的小区域高精度地获取相对于照相机的距离。因此，通过利用标记和握着它的用户的脸部表面在相对于照相机的距离上基本上相等的事实，可以高精度地导出标记的视差。

例如，如果将如图12所示把输入设备6a握在胸前规定为登录时的姿势，则标记402在相对于照相机的距离上等效于用户的脸部表面。因此，根据具有比标记的图像的区域大的面积并因此预计使导出精度更高的脸部表面的距离获得视差。具体地说，距离识别器164读出所生成深度图像中脸部验证部分114检测的脸部区域的像素值。这些像素值代表脸部表面相对于照相机的距离，因此通过，例如，计算整个区域的平均值获得距离Z。

上述例子具有高有效性，因为使用了原来拍摄的立体图像，所以可以无需新输入数据地高精度获得距离。另一方面，距离识别器164可以不生成深度图像地根据脸部区域的尺寸计算距离Z。可替代地，可以用立体图像中的脸部区域的视差取代标记的视差。在，例如，立体匹配的精度、因此深度图像的精度由于，例如，第一图像408a和第二图像408b之间的拍摄条件的差异而显得不足的情况下，可以对第一图像408a和第二图像408b两者进行脸部识别处理，从而可以在两个图像中识别同一用户的脸部区域来获得视差。

从脸部到胸部的距离，即，从脸部区域到标记搜索区域的距离d也可以按照从照相机到脸部的距离来调整。此外，距离识别器164可以使用像通过另外配备的红外照射/检测系统、根据飞行时间(TOF)系统导出标记的距离的技术那样的各种现有技术。

可替代地，也可以采用将距离Z当作固定值，使用户事先识别相对于照相机的距离和处在相应位置的方法。如果脸部表面和标记沿着深度方向的相对位置已知，则两者不必处在相同位置上，因为可以从脸部表面的距离中计算出标记的距离。例如，如果采用向前伸臂把标记布置在最前端上作为登录时的姿势，则标记处在离照相机比脸部表面近臂长的位置上，因此可以从脸部表面的距离中导出标记的视差D。取决于情况，可以从第一图像408a和第二图像408b中检测标记的图像本身，并且可以直接识别标记的视差D。

在任何情况下，通过在为标记检测分开设置的条件下拍摄图像以及考虑到与用于脸部识别的图像的视差地进行标记检测，可以与当时的照明环境等无关地保持标记检测的精度。更进一步，例如，当多个用户相互接近时，可以抑制混淆地检测另一个人的标记和中断登录的可能性。此外，可以精确地获得标记搜索区域。因此，无需搜索无用大区，从而可以减轻标记检测处理的负担。

严格地说，作为取决于，例如，如何附加透镜的除了沿着水平方向的距离L之外的其它因数，第一照相机7a和第二照相机7b可能包括沿着垂直方向的少量偏移、成像面的少量旋转等。在这种情况下，两台照相机拍摄的第一图像408a和第二图像408b之间的图像偏移包括除了沿着水平方向的视差D之外的其它成分。因此，标记验证部分162实际上也可以考虑这些成分地判定第二图像408b中的标记搜索区域414。因为在透镜的位置偏移和旋转偏移中也存在各自差异，所以在制造等的时候进行测量，并且在信息处理设备10内设置测量值、适用于校正偏移的参数等。

图16是示出信息处理设备10通过利用立体图像进行脸部验证和标记检测来进行登录处理的过程的流程图。首先，脸部验证部分114从存储器中读出图像获取器104获取的立体图像。然后，脸部验证部分114提取这些立体图像的在标准条件下拍摄的第一图像中估计是人脸的部分，并将其与保存在登记用户信息保存器168中的脸部识别数据相比较，从而确定所提取脸部是登记用户的脸部(S60)。在不检测脸部或所检测脸部不是登记用户的脸部，即，脸部验证未取得成功的时段期间，以预定时间间隔重复脸部检测和确定处理(S60的否)。如果确定所检测脸部是登记用户的脸部和脸部验证取得成功(S60的是)，则脸部验证部分114将第一图像中的脸部区域的位置坐标和用户的识别信息提供给标记验证部分162。

根据第一图像中的脸部区域的位置坐标，标记验证部分162在这个用户的第二图像中，即，在用于标记检测的条件下拍摄的图像中判定标记搜索区域(S62)。此时，距离识别器164读出图像获取器104获取的立体图像的数据，并通过立体匹配处理等获取脸部表面或标记相对于照相机的距离，以便将该距离通知标记验证部分162。这使标记验证部分162可以考虑到这些立体图像中的标记的视差地判定搜索区域。然后，标记验证部分162对这个搜索区域进行标记检测(S64)。如果在预定时间内未检测到标记，则什么也不做地结束该处理(S64的否)。

如果检测到标记(S64的是)，则标记验证部分162与脸部验证部分114通知的有关登记用户的信息相联系地将它的颜色通知登录处理部分166。响应这个通知，登录处理部分166允许这个用户登录(S68)。此时，登录处理部分166如上所述将与颜色与登记用户之间的对应有关的信息通知游戏等的主执行实体。

接着，将考虑进一步提高S62中标记验证部分162进行标记检测的精度。在本实施例中，根据标记的颜色，区分正在操作含有标记的输入设备6的用户。因此，即使在所拍图像中同时捕获到每一个握着含有不同颜色的各自一种颜色的标记的输入设备6的多个用户，也应该可以与位置无关地精确导出各自颜色与用户的位置之间的对应。

但是，尤其当标记是发光体时，由于包括在光中的颜色成分、像检测它的互补金属氧化物半导体(CMOS)传感器那样的成像元件的检测精度、校正电路的输出精度等，在表示成标记的图像的像素值的颜色中可能引起变化。例如，当使用四种颜色，即，蓝色、红色、绿色、和粉红色的标记时，可能出现粉红色的成分强烈地出现在红色标记的外围的状况。在这种情况下，难以精确确定这个标记是红色标记还是粉红色标记，以及粉红色标记是否实际存在于红色标记附近。这不仅发生在登录的时候，而且也发生在登录之后操作游戏等的时候。确定错误可能引起错误操作。

图17示意性地示出了包括标记的图像的所拍图像。但是，在这个图形中省略了握着它们的用户的图像。在所拍图像420中，捕获到含有颜色相同不同的标记的三个输入设备422a、422b和422c。在输入设备422a和422b的标记附近的带影线圆圈示意性地示出了强烈出现与标记的原始颜色不同的颜色成分的区域。例如，如输入设备422a的标记部分的放大图424所示，由于上述原因，代表色差的像素集群426往往出现在代表标记的颜色的像素集群428附近。

在这样的情况下，在从所拍图像中作为标记检测的区域中，像素集群426的部分即使具有标记颜色，也不是标记的图像，因此应该从检测结果中排除。在最简单的想法中，当这样紧密地存在多种颜色时，最大面积的颜色被认为是标记的原始颜色。但是，如上所述，所拍图像中标记的图像所占的区域较小，应该像上面那样比较的面积本身可能包括误差。更进一步，像在输入设备422b和422c中那样，在一些情况下，表观尺寸随相对于照相机的距离而不同的标记似乎相互重叠。因此，甚至实际标记都可能被排除。

因此，作为排除的准则，将输入设备的外壳本身的尺寸加入每种颜色的区域面积中。从而高精度地识别要从检测为标记的对象中排除的颜色区域。图18是示出在标记检测处理中识别可以被视作标记的颜色的处理的过程的流程图。这种处理由标记验证部分162在登录的时候执行。此外，也可以在操作游戏等的时候执行。因此，取决于处理的状况，标记搜索区域是多种多样的。在登录的时候，标记搜索区域可以是如上所述与脸部区域存在预定位置关系的区域。当在游戏等中允许自动移动标记时，可以另外通过跟踪处理等进行搜索区域的细化。取决于情况，可以将整个所拍图像视为搜索区域。

首先，标记验证部分162从存储器中读出图像获取器104获取的所拍图像，并通过，例如，扫描所拍图像中的搜索区域提取可能是标记的颜色的区域的区域(S70)。在这个定时，在一些情况下，提取相同颜色的多个区域。接着，以面积的降序排序由相同颜色或可以视为相同颜色的颜色的连续区形成的区域(S72)。此时，以升序赋予每个区域以识别号，即，i＝1，2，3，......。接着，将最大的i＝1的区域视为第n(＝第1)目标区域(S74)，并识别假设这个区域是标记的图像时输入设备的外壳的图像覆盖的范围(S76)。也就是说，这个范围是在外壳的图像的轮廓内的区域，具体地说，例如，图17中的输入设备422a的黑色部分，并根据外壳的形状和尺寸以及输入设备相对于照相机的距离来判定。

外壳的形状和尺寸自然是已知的。输入设备相对于照相机的距离可以从区域i的尺寸中导出，或距离识别器164可以通过拍摄立体图像和创建深度图像来识别距离。在后一种情况下，考虑到输入设备本身的距离包括许多误差的可能性，如上所述，可以从像脸部或手那样、握着它的人士的身体的距离中估计距离。在未生成深度图像的情况下，可以根据左右照相机拍摄的一对立体图像中的标记或人像的视差计算距离。如果在相关外壳的图像的范围中包括与目标区域的颜色不同的颜色的区域的至少一部分，则从提取结果中排除这个区域(S78)。

当将标记的所有颜色的数量定义成N时，如果目标区域不是第N区域(S80的否)，则对具有次最大面积的第(n+1)目标区域识别外壳的图像覆盖的范围。然后，如果在图像的这个范围中存在与目标区域的颜色不同的颜色的区域，则从提取结果中排除这个区域(S82，S76，S78)。重复S82、S76、和S78的处理N次(S80的否)，如果对第N目标区域的排除处理结束(S80的是)，则结束该处理。如果在S70中提取的区域的数量等于或小于N，则在所有区域用作目标区域之后结束该处理。由于这个原因，只留下很有可能是标记的区域作为检测结果。

以这种方式将优先级赋予具有较大面积的区域是基于这个区域很有可能是标记，以及知道如果假定这个区域是标记以及假定外壳的图像覆盖的范围，则图像比标记小的标记相对于这个外壳未处在照相机侧。这可以防止将如图17所示偶尔在标记的外壳检测到的不同颜色成分错误地识别为标记以及从标记检测对象中错误地排除相互接近的多个标记的某一个的不便。

取代如图18所示从较大面积开始依次逐个选择目标区域，也可以采用如下方法。具体地说，针对所有提取区域，如果短距离内的不同颜色的区域是标记，则根据像区域的面积和区域是否在标记的外壳的图像覆盖的范围内那样的准则进行评分。更进一步，对于每个区域，用各自一个分数表示区域是标记的可能性。从而识别最终检测对象。

上面根据实施例对本公开作了描述。本领域的普通技术人员应当明白，这个实施例是示范性的，通过组合各自组成元件及其各自处理过程，可以给出各种修改例，这样的修改例也在本公开的范围之内。

本公开包含与公开在2013年11月1日向日本专利局提交的日本优先权专利申请JP2013-228139中的主题有关的主题，特此通过引用并入其全部内容。

Claims (11)

1.一种信息处理设备，包含：

图像获取器，配置成获取用户的所拍图像；

登记用户信息保存器，配置成保存登记用户的脸部识别数据；

第一验证部分，配置成使用保存在该登记用户信息保存器中的脸部识别数据检测存在于所拍图像中的登记用户的脸部图像；

第二验证部分，配置成检测与该第一验证部分检测的脸部图像的一个区域存在预定位置关系的对象的图像；以及

信息处理部分，配置成根据该第一验证部分和该第二验证部分的检测结果进行信息处理，

其中该第二验证部分将该第一验证部分在检测处理中获得的信息用于对象的图像的检测处理。

2.按照权利要求1所述的信息处理设备，其中该第二验证部分使用该第一验证部分在所拍图像中检测的登记用户的脸部图像检测登记用户的脸部图像包括在显示在显示所拍图像的显示器上的脸部框架中。

3.按照权利要求1或2所述的信息处理设备，其中该第二验证部分首先使用保存在该登记用户信息保存器中的脸部识别数据确定登记用户的脸部图像是否包括在显示在显示所拍图像的显示器上的脸部框架中，如果确定未包括脸部图像，则使用该第一验证部分在所拍图像中检测的登记用户的脸部图像作出第二次确定。

4.按照权利要求2或3所述的信息处理设备，其中该第二验证部分使脸部框架显示在显示于显示器上的所拍图像中与该第一验证部分检测的登记用户的脸部图像的位置不同的位置上，并通过脸部框架中脸部图像的检测处理确定是否以使脸部的图像进入脸部框架中的方式移动了登记用户，判定是否作出让该信息处理部分开始信息处理的请求。

5.按照权利要求4所述的信息处理设备，其中该第二验证部分与脸部框架一起显示该第一验证部分检测登记用户的脸部图像时该第一验证部分获得的信息。

6.按照权利要求1到5的任何一项所述的信息处理设备，其中该第一验证部分的处理和该第二验证部分的处理以不同频率并发进行。

7.按照权利要求1到6的任何一项所述的信息处理设备，其中该第二验证部分通过只在具有预定尺寸和与该第一验证部分检测的脸部图像的区域存在预定位置关系的区域中作出搜索来检测对象的图像。

8.按照权利要求1所述的信息处理设备，其中该第二验证部分检测该第一验证部分将其脸部图像检测成对象的图像的登记用户握着的标记的图像。

9.一种信息处理方法，包含：

获取用户的所拍图像；

读出存储在存储设备中的登记用户的脸部识别数据并使用该脸部识别数据检测存在于所拍图像中的登记用户的脸部图像；

检测与在脸部图像的检测中检测的脸部图像的一个区域存在预定位置关系的对象的图像；以及

根据脸部图像的检测和对象的图像的检测的检测结果进行信息处理，

其中对象的图像的检测包括将脸部图像的检测在检测处理中获得的信息用于对象的图像的检测处理。

10.一种用于计算机的计算机程序，包含：

获取用户的所拍图像；

读出存储在存储设备中的登记用户的脸部识别数据并使用该脸部识别数据检测存在于所拍图像中的登记用户的脸部图像；

检测与在脸部图像的检测中检测的脸部图像的一个区域存在预定位置关系的对象的图像；以及

根据脸部图像的检测和对象的图像的检测的检测结果进行信息处理，

其中对象的图像的检测包括将脸部图像的检测在检测处理中获得的信息用于对象的图像的检测处理。

11.一种记录着用于计算机的计算机程序的计算机可读记录介质，该计算机程序包括：

获取用户的所拍图像；

读出存储在存储设备中的登记用户的脸部识别数据并使用该脸部识别数据检测存在于所拍图像中的登记用户的脸部图像；

检测与在脸部图像的检测中检测的脸部图像的一个区域存在预定位置关系的对象的图像；以及

根据脸部图像的检测和对象的图像的检测的检测结果进行信息处理，

其中对象的图像的检测包括将脸部图像的检测在检测处理中获得的信息用于对象的图像的检测处理。