CN102445986A - 信息处理设备以及信息处理方法 - Google Patents

Abstract

提供了一种处理设备、服务器、以及方法。根据一些说明性实施例，通过检测图像的面部区域、根据面部区域的位置设置至少一个动作区域、将与至少一个动作区域相对应的图像数据与检测信息进行比较以便确定是否已经执行预定动作、以及当确定已经执行预定动作以及接收合作控制信息时基于合作控制信息而实行预定处理，实施设备以及方法。

Description

信息处理设备以及信息处理方法

技术领域

本公开涉及信息处理设备以及信息处理方法。

背景技术

近年来，诸如电子设备等等的设备的功能变得更先进以及数量变得更多，因此用户为了使用设备而必须给予(give)设备的指令变得更多样化以及更复杂。就这一点而论，许多设备采用GUI(Graphical User Interface：图形用户界面)作为用户界面，凭此能够比使用采用CUI(Character User Interface：字符用户界面)的设备的情况更容易地将指令发给设备。

但是，例如，对于不习惯于使用诸如鼠标的定点设备的用户来说，GUI并不一定是具有好的可操作性的界面。因此，需要有通过其用户能够更直观地将指令发给装置的用户界面。这样使用户界面得以发展以改进用户可操作性。日本未经审查的专利申请公报No.2005-31799是用于检测用户的身体或者由用户操作的对象的部分的形状以及动作、以及根据检测结果执行处理的技术的一个示例。

发明内容

近年来，信息处理设备，其通过例如已经成像的图像(移动图像，以下称为“成像图像”)以及音频执行与呼叫(例如，视觉呼叫)有关的通信以及使能多个用户之间的呼叫，变得很普遍。现在，如果例如正在通过成像图像以及音频执行通信的用户结束呼叫，则用户操作用于呼叫的信息处理设备或者操作诸如远距离控制器的外部操作设备以便使信息处理设备结束与呼叫有关的通信。然而，例如在以上情况下，用户在呼叫结束之前执行与该操作有关的操作，所以与在相同地点进行交谈以及直接对话的多个用户提出分别短语相比，这是不自然的。

现在，应用了根据关于改进可操作性的用户界面的现有技术(以下简称为“现有技术”)的技术的信息处理设备(以下简称为“根据现有技术的信息处理设备”)通过执行成像图像的图像处理使用空间中的手臂、手掌、手指、等等的手势动作(以下称为“手势”或者称为“动作”)检测用户。如果检测到用户动作，则根据现有技术的信息处理设备执行与检测动作相对应的处理。因此，根据现有技术的信息处理设备的用户能够以比使用GUI的情况更直观的方式向根据现有技术的信息处理设备提供指令，因此，使用相关技术可以改进该用户可操作性。此外，例如，通过像根据现有技术的信息处理设备一样执行与检测的用户动作相对应的处理，假使通过上述成像图像以及音频结束谈话，则通过检测与结束通信相关联的用户动作，信息处理设备能够根据用户动作结束通信。因此，通过像根据现有技术的信息处理设备一样执行与检测的用户动作相对应的处理，可以解决由于用户操作例如诸如上述信息处理设备或者外部操作设备时产生的不自然。

然而，对于相关技术，为了检测用户动作，检测用户身体的至少一部分，诸如手臂、手掌、手指等等，或者由用户操作的对象在空间上的形状以及动作，所以必须对整个成像图像执行图像处理。因此，将要检测的动作类型越多，动作越复杂，则执行图像处理的根据现有技术的信息处理设备所需要的处理能力越高。现在，例如，即使近年来随着更高功能性而改进了诸如PC(Personal Computer：个人计算机)等等的信息处理设备的处理能力，将大量计算资源转向用户界面也会导致用于实现其他功能，诸如控制通信的功能的的计算资源的不足。此外，如果发生用于实现其他功能的计算资源不足的情况，则不执行与该功能有关的处理，直到解决计算资源的不足时为止，对根据现有技术的信息处理设备也是一样，因此会出现用户被迫等待不合理的时间量或者功能不能实现的不希望有的情形。因此，对于使用相关技术的情况，因为在过程中牺牲了用户的方便性，所以无疑不会改进用户的可操作性。

此外，像根据现有技术的信息处理设备一样，在执行通信的多个信息处理设备具有用于执行与检测的用户动作相对应的处理的功能的情况下，应归于与在一个信息处理设备上执行的用户动作相对应的处理，也会出现不希望有的情形。如此不希望有的情形的示例是当执行通信的多个信息处理设备的一个用户执行预定动作结束通信以及通信结束时，即使另一用户不希望结束通信，通信也结束。如果应归于在执行通信的多个信息处理设备的一个信息处理设备上执行的与用户操作相对应的处理而出现不希望有的情形，则会使用户方便性出现恶化，所以期待改进用户的可操作性几乎是不可能的。

现在，对于相关技术，无论什么都没有考虑关于多个信息处理设备执行通信的情况。因此，即使使用相关技术，也会出现上述用户方便性的恶化。

发现希望提供一种新颖的以及改进的信息处理设备以及信息处理方法，凭此能够改进多个信息处理设备能够通信的通信系统中的用户可操作性。

鉴于以上情况，提供本实施例。根据一些说明性实施例，通过检测图像的面部区域、根据面部区域的位置设置至少一个动作区域、将与至少一个动作区域相对应的图像数据与检测信息进行比较以便确定是否已经执行预定动作、以及当确定已经执行预定动作以及接收合作控制信息时基于合作控制信息而实行预定处理，实施设备以及方法。

根据另一些说明性实施例，通过从处理设备中接收确定通知信息，以及响应接收确定通知信息执行合作确定处理实施服务器以及方法，该处理设备检测图像的面部区域、根据面部区域的位置设置至少一个动作区域、将与至少一个动作区域相对应的图像数据与检测信息进行比较以便确定是否已经执行预定动作、以及当确定已经执行预定动作时发送确定通知信息。

附图说明

图1是说明根据本公开实施例的信息处理设备设置的动作区域的示例的说明性图；

图2是说明根据本公开实施例的信息处理设备设置的动作区域的示例的说明性图；

图3是说明根据本公开实施例的信息处理设备的动作区域设置处理的示例的说明性图；

图4是说明应归于执行根据本公开实施例的通知处理的通知用户的示例的说明性图；

图5是说明应归于执行根据本公开实施例的通知处理的改变成像图像的示例的说明性图；

图6是说明应归于执行根据本公开实施例的通知处理的改变成像图像的另一示例的说明性图；

图7是说明应归于执行根据本公开实施例的通知处理的通知用户的另一示例的说明性图；

图8是说明应归于执行根据本公开实施例的通知处理的通知用户的另一示例的说明性图；

图9是用于描述与根据本公开实施例的通信系统的第二可操作性改进途径有关的处理的概述的说明性图；

图10是用根据本公开实施例的通信系统说明与第二可操作性改进途径有关的处理的应用示例的说明性图；

图11是说明根据本公开实施例的信息处理设备上的与第一可操作性改进途径有关的处理的示例的流程图；

图12是根据本公开实施例的信息处理设备的动作确定处理的示例的流程图；

图13是用于描述由根据本公开实施例的信息处理设备使用单个检测信息检测已经执行预定动作的优点的说明性图；

图14是用于描述由根据本公开实施例的信息处理设备使用单个检测信息检测已经执行预定动作的优点的说明性图；

图15是说明根据本公开实施例的信息处理设备上的与第一可操作性改进途径有关的处理的另一示例的流程图；

图16是说明根据本公开实施例的信息处理设备上的与第二可操作性改进途径有关的处理的示例的流程图；

图17是说明根据本公开实施例的信息处理设备上的与第二可操作性改进途径有关的处理的示例的流程图；

图18是说明根据本公开第一实施例的信息处理设备的配置的示例的方框图；

图19是说明根据本公开实施例的信息处理设备的硬件配置的示例的说明性图；

图20是说明根据本公开第二实施例的信息处理设备的配置的示例的方框图；以及

图21是说明根据本公开第三实施例的信息处理设备的配置的示例的方框图。

具体实施方式

将参考附图描述本公开的优选实施例。注意，在本说明书以及附图中，具有实质上相同功能配置的部件将用相同的附图标记表示，以及将省略重复的描述。此外，将按以下顺序进行描述。

1.根据本公开实施例的途径(approach)

1-1.第一可操作性改进途径：与用户界面有关的途径

1-1-1.用于第一可操作性改进途径的第一处理

1-1-2.用于第一可操作性改进途径的第二处理

1-2.第二可操作性改进途径：与合作处理有关的途径

2.根据本公开实施例的信息处理设备

3.根据本公开实施例的程序

1.根据本公开实施例的途径

在描述根据本公开实施例的信息处理设备(以下，可以称为“信息处理设备100”)的配置之前，将描述根据本公开实施例的可操作性改进途径。在下文中，将经由配置的第一示例进行描述，其中在信息处理设备100的外部设备上成像的成像图像输入到信息处理设备100，以及在信息处理设备100处理成像图像。注意，根据本公开实施例的信息处理设备100的配置并不局限于以上，也可以配置为其中例如信息处理设备100具有成像功能，以及处理使用成像功能成像的成像图像。此外，根据本公开实施例的成像图像是通过成像获得的移动图像(在时间轴上连续成像的静止图像组)。此外，以下描述的与根据本公开实施例的可操作性改进途径有关的处理能够理解为与根据本公开实施例的信息处理方法有关的处理。

可操作性改进途径的概述

1-1.第一可操作性改进途径：与用户界面有关的途径

如上所述，在检测用户动作以及执行与检测动作相对应的处理的情况下，用户能够比使用GUI的情况更直观地将指令发给信息处理设备。此外，在检测用户动作以及执行与检测动作相对应的处理的情况下，能够解决例如由于用户操作上述信息处理设备或者外部操作设备的不自然。因此，通过执行成像图像的图像处理，以及执行与检测动作相对应的处理，信息处理设备100检测用户动作，从而改进用户操作。

现在，在像根据现有技术的信息处理设备一样关于整个成像图像执行图像处理的情况下，高处理能力是执行图像处理的先决条件。因此，像根据现有技术的信息处理设备一样，大量计算资源转向用户界面会导致实现其他功能的计算资源的不足。此外，如果发生用于实现其他功能的计算资源不足的情况，则会出现用户被迫等待不合理的时间量或者功能不能实现的不希望有的情形。

因此，用信息处理设备100，从成像图像中检测到包括用户面部的区域(以下称为“面部区域”)，以及在由检测标识的面部区域(以下称为“标识面部区域”)的附近在成像图像中设置用于检测用户动作的动作区域。信息处理设备100在设置动作区域中检测用户的预定动作，以及执行关于已经检测的预定动作的处理。现在，根据本公开实施例的预定用户动作是其是确定的对象的用户动作，其中在信息处理设备100上进行关于动作是否已经执行的确定。此外，根据本公开实施例的预定用户动作的示例是使单个信息处理设备100执行与操作相对应的处理的动作，以及是使处理在信息处理设备100与其是执行通信的对象的一个或者多个其他信息处理设备(以下称为“通信对象设备”)之间合作执行的动作。信息处理设备100基于例如成像图像、以及稍后描述的参考检测信息或者单个确定信息而执行以上确定。注意，将在稍后描述的第二可操作性改进途径中描述合作执行处理的信息处理设备100以及通信对象设备。

通过设置上述动作区域，信息处理设备100能够通过对其是成像图像的一部分的区域执行图像处理，而不是像根据现有技术的信息处理设备一样对整个成像图像执行图像处理检测用户动作。现在，对于信息处理设备100，与根据现有技术的信息处理设备相比，与用户界面有关的计算负载能够显著地减少，因此不关心像根据现有技术的信息处理设备一样用于实现其他功能的计算资源的不足。此外，信息处理设备100通过执行面部识别处理从成像图像中标识面部区域，其是在不具有很高的处理能力的例如诸如蜂窝电话的数字摄像机的设备中实施的相对轻的处理，以及在面部区域附近设置动作区域，因此在设置动作区域时的计算负载也不大。因此，信息处理设备100能够防止出现根据现有技术的信息处理设备中发生的不希望有的情形，诸如用户被迫等待不合理的时间量，或者不能实现除了用户界面之外的功能，例如，因此不会像利用根据现有技术的信息处理设备那样，恶化用户方便性。因此，信息处理设备100能够改进用户的可操作性。

此外，信息处理设备100执行与在面部区域附近设置的动作区域中检测的预定动作相对应的处理，因此与选取整个成像图像以及处理的对象的根据现有技术的信息处理设备相比，能够减少应归于例如除了与面部区域相对应的用户之外的人或者对象执行的动作的预定动作的错误检测。因此，与根据现有技术的信息处理设备相比，信息处理设备100还能够改进用户的可操作性。

此外，信息处理设备100执行与预定动作的意思相关联的处理，作为与面部区域附近设置的动作区域中检测的预定动作相对应的处理。例如，如果检测到作为预定动作的用户在面部附近彼此相反地横向移动手(通常，动作的意思是“再会”或者“再见”，以下称为“再见动作”)的用户动作，则信息处理设备100执行与检测动作的意思相关联的处理，诸如关掉控制的设备(信息处理设备或者外部设备)的电功率、结束与通信对象设备的通信(例如，终止会话)、将从设备输出的音频(包括音乐)静音、终止设备处的通信、等等的处理，例如。此外，如果在动作区域检测到作为预定动作的用户彼此相反地垂直地移动手的动作，则信息处理设备100执行与检测动作的意思相关联的处理，诸如提高从控制的设备输出的音频的音量，等等，例如。

如上所述，通过信息处理设备100执行与检测动作的意思相关联的处理(考虑可用性(affordance)的处理)，还能够减少用户感觉用户自己的动作与信息处理设备100执行的处理(或者信息处理设备100使外部设备执行的处理)之间不一致的可能性。因此，信息处理设备100还能够改进用户的可操作性。

另外，如果确定已经执行预定动作(如果已经检测到预定动作)，则信息处理设备100还能够执行通知处理，其中通知用户在信息处理设备100上确定了已经执行预定动作。此外，如果执行通知处理，则在确定从确定已经执行预定动作开始已经连续执行预定动作预定周期的情况下，信息处理设备100执行与已经确定的预定动作相对应的处理。

现在，根据本公开实施例的通知处理的示例包括改变显示在设备本身具有的显示单元(稍后描述)的显示屏幕上的图像，或者改变提供给显示单元的照明设备的照明状态，从而向用户视觉执行通知。也就是说，能够将根据本公开实施例的通知处理理解为对用户的反馈处理。注意，根据本公开实施例的通知处理并不局限于以上。例如，信息处理设备100能够执行用于音频执行作为通知处理的通知用户的处理，诸如从设备本身具有的音频输出设备(例如，稍后描述的音频输出单元)或者外部音频输出设备等等中输出指示确定已经执行预定动作的音频。此外，信息处理设备100可以经由网络(或者直接)发送作为通知处理的处理实行命令给外部设备，以便通知外部设备在信息处理设备100上确定了已经执行预定动作。通过以上，信息处理设备100能够使外部设备执行通知用户。

通过信息处理设备100执行通知处理，用户能够领会用户已经执行的动作由信息处理设备100识别。此外，如果确定已经连续地执行预定动作预定周期，则信息处理设备100执行与确定预定动作相对应的处理，因此用户能够通过退出他/她自己的动作取消实行与信息处理设备100上的该动作相对应的处理。因此，例如，如果在用户已经执行预定动作以及信息处理设备100已经识别此之后，用户希望取消实行与信息处理设备100上的动作相对应的处理，或者甚至如果信息处理设备100碰巧错误地检测到用户已经执行的动作，则用户能够通过他/她自己的动作控制在信息处理设备100上的与该动作相对应的处理的实行。

因此，通过执行通知处理以及在确定已经连续执行预定动作预定周期的情况下另外有选择地执行与确定预定动作相对应的处理，信息处理设备100能够防止应归于错误检测的用户无意识的处理的实行，因此还能够改进用户的方便性以及可操作性。

信息处理设备100通过执行作为与第一可操作性改进途径有关的处理的例如诸如上述的处理改进用户的可操作性。更具体地，信息处理设备100执行例如

1-1-1.用于第一可操作性改进途径的第一处理，以及

1-1-2.用于第一可操作性改进途径的第二处理

从而改进用户可操作性。

1-1-1.用于第一可操作性改进途径的第一处理

首先，将描述用于根据本公开实施例的第一可操作性改进途径的第一处理。信息处理设备100执行以下处理(1)至处理(4)，从而改进用户可操作性。

(1)面部区域检测处理

信息处理设备100从成像图像中检测用户(对象)的面部，以及标识面部区域。现在，通过检测例如用户的眼、鼻、嘴、组织、等等的特征点以及检测类似于组织图案的面部亮度分布以及区域，能够执行标识面部区域。注意，根据本公开实施例的信息处理设备100上的面部区域检测处理并不局限于以上。例如，信息处理设备100能够检测将要处理的当前帧与后一帧之差以检测移动身体，以及通过从移动身体中标识头检测面部区域。

此外，与在信息处理设备100上标识面部区域有关的数据，诸如面部亮度分布以及组织图案的数据等等，存储在信息处理设备100具有的存储器单元(稍后描述)中。注意，信息处理设备100能够经由例如信息处理设备100具有的通信单元(稍后描述)与诸如服务器的外部设备执行通信，以及从外部设备中获得与面部区域的标识有关的数据。

此外，例如如图1所示，信息处理设备100标识大于面部并且包括检测的面部的区域，但是信息处理设备100上的面部区域标识方法并不局限于以上。例如，信息处理设备100可以标识包括检测面部的区域的最小区域(例如，紧紧包含诸如图3所示的检测面部的区域)作为面部区域。

例如，信息处理设备100标识如上所述的面部区域。现在，信息处理设备100处理的成像图像是移动图像，所以会有在某一帧中标识的面部区域的成像图像的位置在下一帧中改变的情况。因此，例如，信息处理设备100对每一帧执行面部区域检测处理。注意，执行根据本公开实施例的面部区域检测处理的频率并不局限于以上，而是例如信息处理设备100可以每隔预定帧或者每隔预定时间执行面部区域检测处理。

(2)动作区域设置处理

一旦在上述处理(1)(面部区域检测处理)中检测到面部区域，信息处理设备100就基于面部区域而在面部区域附近设置动作区域。

图1以及2是说明根据本公开实施例的信息处理设备100设置的动作区域的示例的说明性图。图1以及2中的FA表示信息处理设备100检测的用户的面部区域，而图1中的MA1以及MA2、以及图2中的MA1至MA4说明信息处理设备100设置的动作区域的示例。以下，面部区域可以称为“面部区域FA”，而动作区域可以集体称为“动作区域MA”。现在，为描述方便性起见说明图1以及2所示的面部区域FA以及动作区域MA，以及如果成像图像将显示在诸如例如显示设备的外部设备的显示屏幕上或者信息处理设备100具有的显示单元(稍后描述)的显示屏幕上，则面部区域FA以及动作区域MA不一定明确地示出(这在以下描述中始终有效)。很明显，根据本公开实施例的信息处理设备100可以在显示屏幕上显示明确示出面部区域FA以及动作区域MA的成像图像。

现在，虽然图1说明信息处理设备100设置圆形动作区域的示例，但是由根据本公开实施例的信息处理设备100设置的动作区域MA并不局限于图1所示的示例。例如，信息处理设备100可以设置诸如图2所示的矩形动作区域、椭圆形动作区域、等等的多种形状的动作区域。此外，虽然图1示出信息处理设备100在面部区域FA的左侧附近以及面部区域FA的右侧附近设置动作区域MA的情况，但是根据本公开实施例的信息处理设备100设置的动作区域MA并不局限于以上所述。例如信息处理设备100可以在面部区域FA的左侧附近或者面部区域FA的右侧附近之一设置动作区域MA。此外，例如如图2所示，信息处理设备100还可以在面部区域FA以下的附近设置一个或者多个动作区域MA。此外，信息处理设备100可以在面部区域FA以下的附近或者面部区域FA以上的附近之一或者面部区域FA以下的附近以及面部区域FA以上的附近两者中设置一个或者多个动作区域MA。很明显，信息处理设备100在面部区域附近设置的动作区域MA并不局限于以上所述。

通过设置诸如图1以及2所示的动作区域MA，信息处理设备100不将在动作区域MA以外执行的诸如例如图1中的A指示的动作作为预定动作进行检测。因此，信息处理设备100能够比选取整个成像图像作为处理对象的根据现有技术的信息处理设备更多地减少错误检测预定动作的可能性。

此外，通过在例如如图2所示的面部区域FA附近设置多个动作区域MA，信息处理设备100能够检测每个多个动作区域MA中的预定动作，以及例如将与检测的预定动作相对应的每个动作区域MA执行处理。

现在，例如，如果如图2所示增加设置的动作区域MA的数量，则计算负载大于图1所示的情况，但是与对整个成像图像执行图像处理的根据现有技术的信息处理设备相比，计算负载显著地减少。因此，例如，如果如图2所示增加设置的动作区域MA的数量，则不关心像根据现有技术的信息处理设备一样的计算资源的不足，因此不会恶化用户的方便性。

此外，例如，通过对如上所述的每个动作区域MA执行与预定动作相对应的处理，即使在用户执行相同的预定动作的情况下，信息处理设备100也能够对每个检测动作区域MA执行不同的处理。也就是说，信息处理设备100能够对一个预定动作进行适当的多个处理。很明显，在每个多个动作区域MA检测一个预定动作的情况下信息处理设备100执行的处理可以相同。

另外，通过对如上所述的每个动作区域MA执行与预定操作相对应的处理，信息处理设备100能够与检测预定动作的位置(更特别地，检测预定动作的区域)耦合地执行与检测动作的意思相关联的处理(考虑可用性的处理)。因此，信息处理设备100还能够改进用户的可操作性。

动作区域设置处理的具体示例

现在，将另外详细描述信息处理设备100的动作区域设置处理的示例。图3是用于描述在根据本公开实施例的信息处理设备100上的动作区域设置处理的示例的说明性图。现在，图3说明在面部区域FA的左侧附近以及右侧附近设置动作区域MA的情况下的处理示例，如图1所示。

信息处理设备100基于标识面部区域FA的宽度(水平方向上的长度)w以及高度(垂直方向上的长度)h而设置动作区域MA。现在，图3说明信息处理设备100在宽度2w以及高度2h的范围内设置矩形动作区域MA1以及MA2的示例。注意，例如，信息处理设备100还可以如此设置动作区域MA以致于是椭圆形，其中2w以及2h是短轴以及长轴(当w＝h时为圆形)。

此外，信息处理设备100如此设置动作区域MA，以致于与例如图3所示的标识面部区域FA相接触，但是通过信息处理设备100的动作区域MA的设置方法并不局限于以上所述。例如，信息处理设备100可以在距离标识面部区域FA预定像素数的位置设置动作区域MA。也就是说，根据本公开实施例的“在面部区域附近设置动作区域”包括与面部区域FA相接触地设置动作区域MA以及在非常接近于面部区域FA的位置设置动作区域MA。

如上所述，例如，信息处理设备100基于标识面部区域FA的宽度w以及高度h而设置动作区域MA。

注意，根据本公开实施例的信息处理设备100的动作区域MA的设置处理并不局限于以上所述。例如，信息处理设备100可以对成像图像的面部区域FA内的图像执行面部识别处理，以便关于该面部区域FA估计诸如用户的年龄以及性别等等的用户属性，以及基于估计结果而调节动作区域MA的区域大小以及位置。例如，通过基于如上所述的估计结果而调节动作区域MA的区域大小以及位置，能够与用户的年龄以及性别相对应地设置动作区域MA，诸如如此设置图2所示的动作区域MA的位置，以致于对于年老的用户更低。注意，虽然信息处理设备100通过从面部区域FA中提取例如诸如组织、皱纹、下垂皮肤、等等的属性信息以及对此进行分析估计用户属性，但是根据本公开实施例的用于估计用户属性的方法并不局限于以上所述。例如，信息处理设备100可以使用能够估计诸如与面部区域FA相对应的用户的年龄以及性别等等的用户属性的任意技术估计用户属性。

此外，信息处理设备100能够通过对面部区域FA中的图像执行面部识别处理提取指示用户的面部特性的面部信息，以及基于提取的面部信息而通过标识与面部区域FA相对应的用户调节动作区域MA。更具体地，如果基于面部信息而标识用户，则信息处理设备100为标识用户设置动作区域MA。与为用户设置动作区域MA有关的信息的示例包括记录面部信息以及与调节动作区域MA有关的信息的数据库。此外，与设置用户的动作区域MA有关的信息可以包括在稍后描述的单个检测信息中。例如，信息处理设备100能够获得指示提取的用户面部特性的面部信息、而不是通过执行面部区域FA的图像处理提取用户面部特征(例如，组织信息、指示眼、鼻、以及嘴的位置关系的信息、的面部信息等等)。此外，例如，信息处理设备100基于用户操作而获得与调节动作区域MA有关的信息，诸如动作区域MA的区域大小的调节量、动作区域MA的位置调节量、等等。注意，与动作区域MA的调节有关的信息包括指示动作区域MA的数量设置的信息。如上所述通过为用户设置动作区域MA，能够设置用户自己能够调节的动作区域MA，因此信息处理设备100还能够增加用户的自由性，以及改进方便性。

通过执行例如诸如上述的处理，信息处理设备100基于面部区域FA而在面部区域FA附近设置动作区域MA。现在，如上所述，信息处理设备100处理的成像图像是移动图像，因此在某一帧中标识的面部区域在成像图像中的位置在下一帧中会改变。每次由以上处理(1)标识面部区域FA时，信息处理设备100基于面部区域FA而执行动作区域MA的设置，但是通过根据本公开实施例的信息处理设备100的动作区域设置处理并不局限于以上所述。例如，信息处理设备100可以检测当前帧中的面部区域FA关于前一帧中的面部区域FA的移动量，如果移动量等于或者小于预定阈值(或者小于阈值)，则如此设置前一帧中设置的动作区域MA以致于与移动量相对应地移动。很明显，前一帧中的面部区域FA并不局限于从当前帧往后退一帧(例如，如果每隔预定帧执行处理(1)，则预定帧之前的帧是前一帧)。

(3)动作确定处理

一旦在以上处理(2)(动作区域设置处理)中设置动作区域MA，信息处理设备100就基于成像图像以及参考检测信息或者单个检测信息而确定在动作区域MA中用户执行了预定动作。

现在，根据本公开实施例的参考检测信息是充当检测用户预定动作(检测的对象)的参考的数据。这里，信息处理设备100通过信息处理设备100的厂家在制造时记录在信息处理设备100中的这个预先存储参考检测信息，但是信息处理设备100并不局限于预先存储参考检测信息的配置。例如，信息处理设备100可以从外部设备中获得由诸如服务器等等的外部设备生成的参考检测信息。参考检测信息的示例包括数据以及数据库，其中预定动作与用于检测周期动作的周期成分(periodic component)信息相关联。此外，根据本公开实施例的周期成分信息的示例包括改变成像图像中的亮度的频率的信息，但是根据本公开实施例的周期成分信息并不局限于以上。注意，根据本公开实施例的参考检测信息并不局限于以上，而可以是数据以及数据库，其中预定动作与用于区别不是周期动作的用户手势的信息(例如，用于确定用户的手的形状是预定形状的数据)相关联。以下，将参考其中参考检测信息是数据库的示例进行描述，在该数据库中，对于每个预定动作，预定动作与周期成分信息相关联并且记录预定动作以及周期成分信息。注意，虽然根据本公开实施例的数据库的示例包括相关联的数据库，但是根据本公开实施例的数据库并不局限于以上。

此外，根据本公开实施例的单个检测信息是充当检测特别用户执行预定动作的参考的数据。例如，单个检测信息由学习单元(稍后描述)生成以及更新。注意，可以由诸如服务器的外部设备生成根据本公开实施例的单个检测信息，同时信息处理设备100从外部设备中获得单个检测信息。现在，单个检测信息的示例包括预定动作、数据以及数据库，其中用于检测用户周期动作的周期成分信息与表示用户面部特征的面部信息(用于标识用户的信息)相关联。注意，根据本公开实施例的单个检测信息并不局限于以上所述，而可以是数据以及数据库，其中预定动作、用于区别不是周期动作的用户手势的信息、与面部信息相关联。以下，将参考单个检测信息是数据库的示例进行描述，在该数据库中，对于每个预定动作，预定动作、周期成分信息、与面部信息相关联并且记录预定动作、周期成分信息、以及面部信息。

(3-1)动作确定处理的第一示例

将描述作为根据本公开实施例的动作确定处理的第一示例的基于参考检测信息而进行的处理。信息处理设备100检测基于成像图像而设置的动作区域MA中的周期成分。信息处理设备100然后基于动作区域MA上的检测结果以及参考检测信息的周期成分信息而确定是否已经执行预定动作。现在，例如，信息处理设备100通过分析动作区域MA内具体点(具体像素)的性质、使用费歇尔方法等等确定是否已经执行预定动作，但是根据本公开实施例的确定方法并不局限于以上。此外，例如，虽然信息处理设备100使用每隔预定时间的成像图像或者增加预定数量的帧的成像图像检测动作区域MA中的周期成分，但是根据本公开实施例的动作区域MA中的周期成分的检测方法并不局限于以上所述。

(3-2)动作确定处理的第二示例

接下来，将描述作为根据本公开实施例的动作确定处理的第二示例的有选择地使用参考检测信息或者单个检测信息的处理。信息处理设备100从由以上处理(1)标识的面部区域FA中提取面部信息。此外，信息处理设备100基于提取的面部信息以及单个检测信息而确定是否有来自单个检测信息的与提取的面部信息相对应的面部信息。现在，例如，如果根据本公开实施例的面部信息是多个信息组，诸如组织的信息以及指示眼、鼻、以及嘴的位置关系的信息，则信息处理设备100确定如果有与提取的面部信息匹配的面部信息，则在单个检测信息中有与提取的面部信息相对应的面部信息。注意，在根据本公开实施例的信息处理设备100上执行的关于在单个检测信息中是否有与提取的面部信息相对应的面部信息的确定方法并不局限于以上所述。例如，如果有与提取预定数量或者更多的多个信息组所关于的面部信息匹配的面部信息，则信息处理设备100可以确定有与提取的面部信息相对应的面部信息。

如果确定有与提取的面部信息相对应的单个检测信息，则信息处理设备100基于动作区域MA中周期成分的检测结果以及包括在单个检测信息内的周期成分信息而确定是否进行与周期成分信息相关联的预定动作。

此外，如果确定没有与提取面部信息相对应的单个检测信息，则信息处理设备100用与上述动作确定处理的第一示例一样的方式基于检测结果以及参考检测信息的周期成分信息而确定是否已经执行预定动作。

例如如上所述，信息处理设备100基于成像图像以及参考检测信息或者单个检测信息而确定在动作区域MA中用户执行了预定动作，例如如上所述。注意，根据本公开实施例的信息处理设备100上的动作确定处理并不局限于以上。例如，如果使用用于区别不是周期成分的用户的手势的信息执行确定，例如，则信息处理设备100能够基于用户在动作区域MA中的手的形状是否是用于区别参考检测信息或者单个检测信息中的手势的信息中规定的预定形状而确定用户在动作区域MA中是否执行了预定动作。

此外，如果确定已经执行预定动作，则信息处理设备100还能够更新单个检测信息(所谓的学习)。更具体地，如果确定已经执行预定动作，则信息处理设备100选取基于例如成像图像而检测的周期成分信息作为与确定的预定动作以及从成像图像中提取的面部信息相对应的单个检测信息中的周期成分信息。此外，如果确定已经执行预定动作，则信息处理设备100选取例如代表已经检测的用户的手的形状的信息(即，关节的位置信息，等等)作为用于区别单个检测信息中的手势的信息。通过更新如上所述的单个检测信息，信息处理设备100还能够改进从单个检测信息中确定预定动作的特别用户的预定动作的确定精度，因此还减少错误确定的可能性。

现在，例如，每次确定已经执行预定动作(与学习有关的处理)时，信息处理设备100执行与更新单个检测信息有关的上述处理，但是信息处理设备100上的处理并不局限于以上。例如，信息处理设备100能够基于用户操作而有选择地执行与更新单个检测信息有关的处理(与学习有关的处理)。

此外，例如，如果使用周期成分信息确定是否已经执行预定动作，则信息处理设备100确定每次在动作区域MA中检测周期成分时是否已经执行预定动作，但是根据本公开实施例的动作确定处理并不局限于以上。例如，信息处理设备100检测在基于每隔预定时间的成像图像或者增加预定数量帧的成像图像而设置的动作区域MA中是否有移动身体，以及如果检测到移动身体则有选择地确定已经执行预定动作。现在，如果当使用周期成分信息确定是否已经执行预定动作时在动作区域MA中没有检测到移动身体，则在动作区域MA中用户没有执行动作的可能性高。因此，通过在如上所述检测到移动身体的情况下有选择地检测是否已经执行预定动作，信息处理设备100能够减少信息处理设备100上的计算负载，同时防止用户预定动作的遗漏检测以及错误检测。

(4)实行处理

一旦在以上处理(3)(动作确定处理)确定已经执行预定动作，信息处理设备100就执行与确定预定动作相对应的处理。

更具体地，例如，信息处理设备100存储预定动作以及将要实行的处理以相关联的方式记录的处理信息，以及基于以上(3)的处理结果以及处理信息而执行与以上处理(3)中的确定预定动作相关联的处理。注意，根据本公开实施例的处理信息并不局限于以上所述。例如，信息处理设备100可以存储指示动作区域MA的信息(例如，区域号等等)、预定动作、以及将要实行的处理以相关联的方式记录的处理信息。在上述情况下，信息处理设备100能够对确定已经执行预定动作所关于的每个动作区域MA执行与预定动作相对应的处理。此外，根据本公开实施例的处理信息可以是例如用于每个预定动作的数据，或者可以是记录与多个预定动作有关的信息的数据库。

此外，虽然与信息处理设备100执行的预定动作相对应的处理示例包括与设备本身具有的功能有关的处理，但是与根据本公开实施例的信息处理设备100执行的预定动作相对应的处理并不局限于以上。例如，作为与预定动作相对应的处理，信息处理设备100可以经由网络(或者直接)发送用于使外部设备执行与预定动作相对应的处理的处理实行命令到外部设备。因此，信息处理设备100能够使外部设备执行与用户的预定动作相对应的处理。

信息处理设备100执行例如上述处理(1)(面部区域检测处理)至处理(4)(实行处理)作为与第一可操作性改进途径有关的第一处理，从而确定用户已经执行预定动作，以及执行与确定预定动作相对应的处理。

现在，信息处理设备100在基于成像图像而标识的面部区域FA附近设置动作区域MA，检测(确定)用户在设置动作区域MA中的预定动作，以及执行与检测预定动作相对应的处理。通过设置如上所述的动作区域MA，信息处理设备100能够通过执行关于成像图像的部分区域的图像处理，而不是像根据现有技术的信息处理设备一样执行对整个成像图像的图像处理检测用户的预定动作。因此，与根据现有技术的信息处理设备相比，信息处理设备100能够减少与检测用户预定动作有关的计算负载，对信息处理设备100也是一样，能够防止出现根据现有技术的信息处理设备中会发生的不希望有的情形，例如诸如用户被迫等待不合理的时间量，或者不能实现除了用户界面之外的功能。因此，信息处理设备100能够防止在使用相关技术的情况下会出现的用户方便性的恶化，以及还能够改进用户的可操作性。

1-1-2.用于第一可操作性改进途径的第二处理

信息处理设备100能够通过执行上述用于第一可操作性改进途径的第一处理改进用户的可操作性。然而，用于第一可操作性改进途径的处理并不局限于以上所述。例如，如上所述，信息处理设备100能够执行与在执行通知处理于是确定已经连续执行预定动作预定周期的情况下确定的预定动作相对应的处理。因此，接下来，将描述作为用于根据本公开实施例的第一可操作性改进途径的第二处理的、在执行通知处理的情况下的处理。例如，信息处理设备100执行以下处理(I)至处理(V)，从而防止执行应归于错误检测的用户无意识的处理，以及还改进用户方便性以及可操作性。

(I)面部区域检测处理

用与以上处理(1)(面部区域检测处理)一样的方式，信息处理设备100从成像图像中检测用户的面部，以及确定面部区域FA。

(II)动作区域设置处理

用与以上处理(2)(动作区域设置处理)一样的方式，一旦在以上处理(1)(面部区域检测处理)中检测到面部区域，信息处理设备100就基于面部区域FA而在面部区域FA附近设置动作区域MA。

(III)动作确定处理

用与以上处理(3)(动作确定处理)一样的方式，一旦在以上处理(II)(动作区域设置处理)中设置动作区域MA，信息处理设备100就基于成像图像以及参考检测信息或者单个检测信息而确定在动作区域MA中用户执行了预定动作。

此外，信息处理设备100确定从确定已经执行预定动作开始是否已经连续执行预定动作预定周期。现在，从进行确定开始的预定周期的示例包括用于执行稍后描述的处理(IV)的时间，但是根据本公开实施例的从进行确定开始的预定周期并不局限于以上所述。例如，根据本公开实施例的从进行确定开始的预定周期能够由信息处理设备100等等的厂家任意设置，比如，执行稍后描述的处理(IV)的时间加上容许偏差时间的时间。

(IV)通知处理

一旦在以上处理(III)(动作确定处理)确定已经在动作区域MA中执行预定动作，信息处理设备100就执行通知处理。

通知用户的具体示例

现在，将描述执行根据本公开实施例的通知处理的通知用户的具体示例。在下文中，将参考执行用于视觉通知用户的通知处理的情况下的示例进行描述。

图4是说明通过执行根据本公开实施例的通知处理通知用户的示例的说明性图。这里，图4说明成像图像显示在显示屏幕(例如，诸如信息处理设备100具有的显示设备或者显示单元(稍后描述)的外部设备的显示屏幕，以下一样)上的示例，以及通过改变显示的成像图像视觉通知确定已经执行预定动作，如图4中的B所示。也就是说，图4说明在通过改变显示在显示屏幕上的图像视觉通知信息处理设备100确定已经执行预定动作的情况下的示例。

图5是说明通过执行根据本公开实施例的通知处理改变成像图像的示例的说明性图。图5说明由叠加通知对象到成像图像的动作区域MA1(确定用户已经执行预定动作所关于的动作区域)上的信息处理设备100改变成像图像的示例。这里，在图5中，说明信息处理设备100叠加多个闪光星星到成像图像上的示例，但是根据本公开实施例的通知对象并不局限于以上所述。通过看见显示在显示屏幕上的成像图像的改变，用户能够视觉领会信息处理设备100确定用户在动作区域MA中已经执行预定动作。

注意，应归于执行根据本公开实施例的通知处理的改变成像图像并不局限于叠加图5所示的通知对象。图6是说明应归于执行根据本公开实施例的通知处理的改变成像图像的另一示例的说明性图。如图6所示，通过将与确定用户在成像图像中已经执行预定动作所关于的动作区域相对应的面部区域FA执行使用圆形遮盖(round mask)等等的加亮处理改变成像图像。同样在这种情况下，通过看见显示在显示屏幕上的成像图像的改变，用户能够视觉领会信息处理设备100确定用户在动作区域MA中已经执行预定动作。

例如，通过改变如上所述显示在显示屏幕上的成像图像，信息处理设备100视觉通知确定已经进行预定动作。因此，用户能够通过停止他/她自己的动作取消实行与信息处理设备100上的动作相对应的处理，所以信息处理设备100能够防止应归于错误检测的用户不想要的处理的实行，以及还能够改进用户方便性以及可操作性。

注意，通过执行根据本公开实施例的通知处理的通知用户并不局限于如图4至6所示的改变显示在显示屏幕上的成像图像。图7以及8是说明通过执行根据本公开实施例的通知处理通知用户的其他示例的说明性图。

如图7中的C所示，信息处理设备100能够通过添加图标到显示在显示屏幕上的图像上改变图像，比如说明内容的图像。注意，根据本公开实施例的用于改变显示在显示屏幕上的图像的方法并不局限于图7所示的叠加图标。例如，信息处理设备100可以叠加诸如分阶段显示从用户检测预定动作开始直到开始与预定动作相对应的处理时为止的时间的指示器等等的多种对象到显示在显示屏幕上的图像上。此外，信息处理设备100可以显示诸如图标或者指示器的对象到指示内容的图像在显示屏幕上的显示区域以外，而不是叠加对象到显示在显示屏幕上的图像上。同样在以上情况下，通过看见显示在显示屏幕上的成像图像的改变，用户能够视觉领会信息处理设备100确定用户在动作区域MA中已经执行预定动作。

此外，如图8中的D所示，通过在有选择地照明(或者关掉)的、在显示屏幕的外部提供的、诸如LED(发光二极管)的照明设备，能够视觉通知确定已经执行预定动作。此外，通过改变从照明设备发射的光的颜色，信息处理设备100能够视觉通知确定已经执行预定动作。如上所述，通过改变信息处理设备100具有的、诸如显示设备或者显示单元(稍后描述)的外部设备的照明设备的照明状态的信息处理设备100，用户能够视觉领会信息处理设备100确定用户在动作区域MA中已经执行预定动作。

例如如上所述，通过改变显示在显示屏幕上的图像或者改变照明设备的照明状态，信息处理设备100能够视觉通知确定已经执行预定动作。注意，虽然在以上描述中分别说明显示在显示屏幕上的图像(包括成像图像)的改变以及照明设备的照明状态的改变，但是很明显根据本公开实施例的信息处理设备100能够通过组合这些进行视觉通知。

例如如上所述，通过执行通知处理，信息处理设备100视觉通知用户(或者通知外部设备)信息处理设备100确定用户在动作区域MA中已经执行预定动作。此外，如果从确定已经进行预定动作开始预定动作连续执行预定周期，则信息处理设备100执行与稍后描述的处理(V)(实行处理)中的预定动作相对应的处理。因此，用户能够通过停止他/她自己的动作取消实行与信息处理设备100上的动作相对应的处理，所以信息处理设备100能够防止应归于错误检测的用户不想要的处理的实行，以及还能够改进用户方便性以及可操作性。注意，虽然以上已经说明信息处理设备100通过执行通知处理视觉通知用户的示例，但是很明显即使在用其他方法执行通知的情况下，诸如信息处理设备100通过执行通知处理音频执行通知的情况下，也能够获得相同的优点。

(V)实行处理

一旦在以上处理(III)(动作确定处理)确定从确定执行预定动作以来已经连续执行预定动作预定周期，信息处理设备100就执行与确定预定动作相对应的处理。现在，用与以上处理(4)(实行处理)一样的方式，信息处理设备100执行与确定预定动作相对应的处理。

作为与第一可操作性改进途径有关的第二处理，信息处理设备100执行上述处理(I)(面部区域检测处理)至(V)(实行处理)，从而确定用户已经执行预定动作，以及执行与预定动作相对应的处理。

现在，与第一可操作性改进途径有关的第二处理具有基本上与第一可操作性改进途径有关的第一处理一样的处理。因此，通过执行与第一可操作性改进途径有关的第二处理，用与执行与第一可操作性改进途径有关的第一处理一样的方式，信息处理设备100防止使用相关技术时会出现的用户方便性的恶化，以及还能够改进用户可操作性的改进。

还有对于与第一可操作性改进途径有关的第二处理，信息处理设备100通过处理(IV)通知用户(或者通知外部设备)信息处理设备100确定用户在动作区域MA中已经执行预定动作。此外，如果从确定已经进行预定动作开始预定动作连续执行预定周期，则信息处理设备100执行与处理(V)(实行处理)中的预定动作相对应的处理。因此，用户能够通过停止他/她自己的动作取消实行与信息处理设备100上的动作相对应的处理，所以用户能够通过他/她自己的动作控制与信息处理设备100上的预定动作相对应的处理的实行。因此，信息处理设备100能够防止应归于错误检测的用户不想要的处理的实行，以及还能够改进用户方便性以及可操作性。

1-2.第二可操作性改进途径：与合作处理有关的途径

通过执行上述第一可操作性改进途径，信息处理设备100能够基于由用户执行的预定动作而执行处理，同时防止恶化用户方便性以及改进用户可操作性。现在，如上所述，如果执行通信的每个多个信息处理设备执行与用户执行的预定动作相对应的处理，则关心应归于与执行通信的多个信息处理设备的一个信息处理设备上执行的用户动作相对应的处理，出现不希望有的情形。因此，接下来，将关于能够防止通信系统中用户方便性的恶化以及用户可操作性的改进的根据本公开的第二可操作性改进途径进行描述，凭此多个信息处理设备100能够执行通信(以下也称为“通信系统1000”)。

现在，虽然根据本公开实施例的通信系统1000的示例包括与由成像图像以及音频进行呼叫(例如，视觉会议)有关的通信，但是具有通信系统1000的通信并不局限于以上所述。例如，组成通信系统1000的信息处理设备100能够执行多种类型的通信，诸如与由音频进行呼叫有关的通信、与实行诸如游戏软件、商务软件、等等的应用有关的通信。

根据第二可操作性改进途径的组成通信系统1000的每个信息处理设备100合作执行处理，以便防止出现应归于与执行通信的多个信息处理设备的一个信息处理设备上执行的用户动作相对应的处理的不希望有的情形。更具体地，信息处理设备100执行例如以下处理(i)至处理(v)，以便在正在执行通信的信息处理设备100之间合作执行处理，以及改进通信系统1000的用户可操作性。

(i)面部检测处理

用与以上处理(1)(面部区域检测处理)一样的方式，信息处理设备100从成像图像中检测用户的面部，以及确定面部区域FA。

(ii)动作区域设置处理

用与以上处理(2)(动作区域设置处理)一样的方式，一旦在以上处理(i)(面部区域检测处理)中检测到面部区域，信息处理设备100就基于面部区域FA而在面部区域FA附近设置动作区域MA。

(iii)动作确定处理

用与以上处理(3)(动作确定处理)一样的方式，一旦在以上(    )(动作区域设置处理)中设置处理动作区域MA，信息处理设备100就基于成像图像以及参考检测信息或者单个检测信息而确定在动作区域MA中用户已经执行预定动作。

此外，用与以上处理(III)(动作确定处理)一样的方式，信息处理设备100确定从确定已经执行预定动作开始是否已经连续执行预定动作预定周期。在上述情况下，如果例如在处理(iii)(动作确定处理)中确定已经连续执行预定动作预定周期，则在稍后描述的处理(iv)(合作确定处理)中确定是否合作执行处理。

此外，如果信息处理设备100执行像以上处理(III)(动作确定处理)一样的处理，则还执行像以上处理(IV)(通知处理)一样的通知处理。稍后将描述执行作为与第二可操作性改进途径有关的处理的通知处理的信息处理设备100的示例。

此外，如果确定已经执行预定动作，则信息处理设备100还确定预定动作是否是用于与通信对象设备合作执行的动作。例如，信息处理设备100基于记录在每个参考检测信息以及单个检测信息中的、指示预定动作是否是用于合作的动作的信息(例如，标记等等)而执行以上确定。

例如，在处理(iii)(动作确定处理)中还确定预定动作是否是用于与通信对象设备合作执行的动作的情况下，如果确定动作不是用于合作执行的动作，则信息处理设备100有选择地执行稍后描述的处理(iv)(合作确定处理)。此外，在以上确定中，用与以上处理(4)(实行处理)一样的方式，例如，如果确定动作不是用于合作执行的动作，则信息处理设备100执行与稍后描述的处理(v)(实行处理)中的确定预定动作相对应的处理。

通过进一步确定由信息处理设备100确定的预定动作是否是用于与通信对象设备合作执行的动作，例如如上所述，信息处理设备100能够有选择地在上述与第一可操作性改进途径有关的处理以及与第二可操作性改进途径有关的处理之间切换。因此，在以上情况中，信息处理设备100能够根据用户执行的预定动作区别将要单独执行的处理以及将要与通信对象设备合作执行的处理，以及相应地实行处理，所以还能够改进用户方便性以及可操作性。

(iv)合作确定处理

如果在以上处理(iii)中确定用户在设置动作区域MA中已经执行预定动作，则基于合作控制信息而确定是否与通信对象设备合作执行处理。更具体地，如果合作控制信息指示不合作执行处理，则信息处理设备100确定不合作执行处理。此外，如果合作控制信息指示合作执行处理，则信息处理设备100确定合作执行处理。

现在，根据本公开实施例的合作控制信息是基于设备本身上的用户预定动作的确定结果、以及通信对象设备上的通信对象设备的用户预定动作的确定结果而生成的信息(数据)。合作控制信息包括例如指示是否合作执行处理的信息(例如，标记)、指示将要实行的处理的内容的信息、指示开始实行处理的时间的信息、等等。注意，根据本公开实施例的合作控制信息中包括的信息并不局限于以上所述。例如，合作控制信息可以包括标识将要控制的信息处理设备100的信息，比如，MAC(介质存取控制)地址、信息处理设备100的唯一ID、等等。

此外，合作控制信息由例如组成通信系统1000的合作控制服务器(以下也称为“合作控制服务器200”)、或者具有合作控制服务器200功能的信息处理设备100生成。稍后将参考图9描述与生成合作控制信息有关的处理。

(v)实行处理

基于在以上处理(iv)(合作确定处理)中的确定结果，信息处理设备100基于合作控制信息而有选择地执行处理。

更具体地，如果在以上处理(iv)(合作确定处理)中确定与通信对象设备合作执行处理，则信息处理设备100基于合作控制信息而执行作为与以上处理(iii)(动作确定处理)中确定的预定动作相对应的处理的处理。此外，如果在以上处理(iv)(合作确定处理)中确定不与通信对象设备合作执行处理，则信息处理设备100不执行与以上处理(iii)(动作确定处理)中确定的预定动作相对应的处理。

例如，作为与第二可操作性改进途径有关的处理，信息处理设备100执行处理(i)(面部检测处理)至处理(v)(实行处理)，以便与通信对象设备合作执行处理。现在，如果确定不与以上处理(iv)(合作确定处理)中的通信对象设备合作执行处理，则即使在以上处理(iii)(动作确定处理)中确定已经执行预定动作，信息处理设备100也不执行与已经确定的预定动作相对应的处理。因此，通过执行以上处理(i)(面部区域检测处理)至处理(v)(实行处理)，能够防止出现应归于与执行通信的多个信息处理设备的一个信息处理设备上执行的用户动作相对应的处理的不希望有的情形。

此外，用与根据上述第一可操作性改进途径的处理一样的方式，如果确定用户在设置动作区域MA中已经执行预定动作，则信息处理设备100执行与动作相对应的处理。因此，通过执行处理(i)(面部区域检测处理)至处理(v)(实行处理)，信息处理设备100能够用与上述第一可操作性改进途径有关的处理一样的方式改进用户方便性以及可操作性。

因此，通过执行处理(i)(面部区域检测处理)至处理(v)(实行处理)，信息处理设备100能够防止通信系统1000中的用户方便性的恶化以及改进用户可操作性。

与第二可操作性改进途径有关的处理的概述

现在，将参考生成合作控制信息的合作控制服务器200的示例描述与通信系统1000的第二可操作性改进途径有关的处理的概述。图9是用于描述根据本公开实施例的通信系统中的第二可操作性改进途径的处理概述的说明性图。图9说明在组成通信系统1000的多个信息处理设备100(信息处理设备100A、信息处理设备100B、...)正在执行通信的情况下的处理的示例。为了描述方便性起见，以下将以两个信息处理设备100信息处理设备100A以及信息处理设备100B执行通信的情况作为第一示例描述与第二可操作性改进途径有关的处理的概述。

如果在信息处理设备100A以及信息处理设备100B执行通信的状态下(S100)确定用户在信息处理设备100A设置的动作区域MA中执行预定动作，则信息处理设备100A发送确定通知信息给合作控制服务器200(S102)。

现在，根据本公开实施例的确定通知信息是用于通知确定已经执行预定动作的信息(数据)，以及包括诸如MAC地址等等的、指示信息处理设备100的生成信息、指示确定预定动作的信息、等等，例如。很明显，根据本公开实施例的确定通知信息中包括的信息并不局限于以上所述。

在步骤S102中接收从信息处理设备100A中发送的确定通知信息的合作控制服务器200发送接收的确定通知信息到信息处理设备100B，其是信息处理设备100A的通信对象(S104)。注意在图9中，说明信息处理设备100B经由合作控制服务器200接收信息处理设备100A发送的确定通知信息的示例，但是通信系统1000中的处理并不局限于以上所述。例如，如果确定对设备本身已经执行预定处理，则信息处理设备100A不通过合作控制服务器200发送确定通知信息到信息处理设备100B。

接收在步骤S104从合作控制服务器200发送的确定通知信息的信息处理设备100B执行上述处理(i)(面部区域检测处理)至处理(iii)(动作确定处理)，以及确定用户是否执行预定动作。然后信息处理设备100B对合作控制服务器200作出与以上确定的确定结果相对应的响应(S106)。更具体地，如果确定对设备本身已经执行预定动作，则作为响应，信息处理设备100B传送确定通知信息到合作控制服务器200。注意，例如，信息处理设备100B可以发送确定通知信息到信息处理设备100A，其是通信对象。此外，如果确定对设备本身没有执行预定动作，则信息处理设备100B传送大意是不会执行合作处理的响应到合作控制服务器200。也就是说，在步骤S106信息处理设备100B的响应匹配信息处理设备100B(从信息处理设备100A角度来看的通信对象设备)上的用户预定动作的确定结果。注意，稍后将描述在接收从通信对象设备发送的确定通知信息的情况下的信息处理设备100上的处理的具体示例。

接收在步骤S106从信息处理设备100B发送的响应的合作控制服务器200基于在步骤S102从信息处理设备100中接收的确定通知信息、以及在步骤S106从信息处理设备100B中接收的响应而生成合作控制信息(S108：合作控制信息生成处理)。

更具体地，如果在步骤S106从信息处理设备100B中接收的响应是确定通知信息，则合作控制服务器200标识与信息处理设备100A以及100B每个的确定通知信息指示的预定动作的组合相对应的处理。合作控制服务器200然后生成用于使信息处理设备100A以及100B合作运行标识的处理的合作控制信息。

现在，例如，合作控制服务器200使用记录指示预定动作的组合以及处理内容的信息的合作管理信息(例如，数据库)执行上述合作确定处理。此外，例如，合作控制服务器200使用记录与预定动作的意思相关联的处理的合作管理信息作为将要实行的处理的内容。因此，通过使用诸如上述合作管理信息生成合作控制信息的合作控制服务器200，信息处理设备100能够执行与检测动作的意思相关联的处理(考虑可用性的处理)。例如，合作管理信息可以存储在合作控制服务器200具有的存储器单元(未示出)中，或者可以由合作控制服务器200从诸如服务器(未示出)的外部设备中获得。

如果接收从执行通信的所有信息处理设备100中发送的确定通知信息，例如，则合作控制服务器200确定使执行通信的信息处理设备100合作执行处理，但是合作控制服务器200上的合作控制信息生成处理并不局限于以上所述。例如，可以配置为如果合作控制服务器200接收从预定阈值数量或者更大(或者超过阈值的数量)的信息处理设备100中发送的确定通知信息，则确定使执行通信的信息处理设备100合作执行处理。现在，虽然与合作确定处理有关的以上预定阈值由例如合作控制服务器200的用户(例如，通信系统1000的管理者)设置，但是这可以是预置数量。

此外，如果在步骤S106从信息处理设备100B中接收的响应是大意是不会执行合作处理的响应，则合作控制服务器200生成用于使信息处理设备100A以及100B不执行与预定动作相对应的处理的合作控制信息。

一旦在步骤S108生成合作控制信息，合作控制服务器200就发送生成的合作控制信息到每个信息处理设备100A以及信息处理设备100B(S100，S112)。

接收在步骤S110从合作控制服务器200发送的合作控制信息的信息处理设备100A基于接收的合作控制信息而确定是否与信息处理设备100B(通信对象设备)合作执行处理(S114)。例如，信息处理设备100A基于指示是否合作执行合作控制信息中包括的处理的信息而执行步骤S114的确定。现在，图9所示的步骤S102以及S114的处理相当于以上处理(iv)(合作确定处理)。

此外，用与信息处理设备100A上的步骤S114的处理一样的方式，接收在步骤S112从合作控制服务器200发送的合作控制信息的信息处理设备100B基于接收的合作控制信息而确定是否与信息处理设备100A(通信对象设备)合作执行处理(S116)。

这里，信息处理设备100A以及信息处理设备100B基于在步骤S108由合作控制服务器200生成的合作控制信息而执行步骤S114以及S116的确定。因此，信息处理设备100A上的步骤S114的确定结果与信息处理设备100B上的步骤S116的确定结果匹配。

基于步骤S114中的确定结果，信息处理设备100A基于合作控制信息而有选择地执行处理(S118)。此外，基于步骤S116中的确定结果，信息处理设备100B基于合作控制信息而有选择地执行处理(S120)。如上所述，信息处理设备100A上的步骤S114的确定结果与信息处理设备100B上的步骤S116的确定结果匹配。因此，对于通信系统1000，信息处理设备100A与信息处理设备100B合作的处理由每个基于合作控制信息而确定是否与通信对象设备执行处理的信息处理设备100A以及信息处理设备100B实现。

应归于例如执行的诸如图9所示的处理，在通信系统1000上，基于合作控制信息的合作处理在执行通信的多个信息处理设备100上有选择地执行。因此，在通信系统1000上，能够防止应归于与在执行通信的多个信息处理设备的一个信息处理设备上执行的用户动作相对应的处理出现的不希望有的情形，诸如以上所述。此外，对于通信系统1000，如果确定用户在设置的动作区域MA中已经执行预定动作，则信息处理设备100用与上述第一可操作性改进途径有关的处理一样的方式执行与动作相对应的处理。因此，组成通信系统1000的信息处理设备100能够改进用户方便性以及可操作性。

注意，虽然图9经由合作控制服务器200生成合作控制信息的情况下的示例描述与通信系统1000上的第二可操作性改进途径有关的处理的概述，但是根据本公开实施例的与通信系统1000上的第二可操作性改进途径有关的处理并不局限于图9所示的示例。例如，组成通信系统1000的任一信息处理设备100，诸如图9中的信息处理设备100A、信息处理设备100B、等等，例如，可以具有合作控制服务器200的功能。同样在以上情况中，组成通信系统1000的信息处理设备100能够基于合作控制信息而有选择地执行合作处理。

与第二可操作性改进途径有关的处理的应用示例

图10是用根据本公开实施例的通信系统1000说明与第二可操作性改进途径有关的处理的应用示例的说明性图。现在，图10说明每个使用信息处理设备100执行视觉呼叫的用户P以及用户Q的示例，其中由执行再见动作(预定动作的示例)的用户P以及用户Q两者结束呼叫。图10中的E表示的一系列图像指示用户Q正在看的图像(例如，显示在用户Q具有的信息处理设备100的显示屏幕上的图像，或者信息处理设备100显示在外部设备的显示屏幕上的图像)。此外，图10中的F表示的图像指示用户P正在看的图像(例如，显示在用户P具有的信息处理设备100的显示屏幕上的图像，或者信息处理设备100显示在外部设备的显示屏幕上的图像)。

一旦在呼叫期间用户P以及用户Q执行再见动作(图10中的G)，用户P执行再见动作的事实就通知给用户P以及用户Q(图10中的H)。此时，在通信系统1000上，仅仅确定正好在与用户P相对应的一个信息处理设备100上执行预定动作，所以不结束与视觉呼叫有关的通信。

随后，一旦用户Q执行作为预定动作的再见动作(图10中的I)，就生成用于结束与视觉呼叫有关的通信的合作控制信息。与用户P相对应的信息处理设备100以及与用户Q相对应的信息处理设备100两者基于生成的合作控制信息而执行处理，凭此结束与用户P以及用户Q之间的视觉呼叫有关的通信(图10中的J)。

例如，如图10所示，如果在通信系统1000上确定执行通信的每个信息处理设备100的用户执行预定动作，则在每个信息处理设备100上实行与预定动作相对应的处理。因此，对于通信系统1000，能够防止应归于与对于执行通信的多个信息处理设备的一个信息处理设备上执行的用户动作相对应的处理出现的不希望有的情形，诸如以上所述。

此外，用与执行与第一可操作性改进途径有关的处理的信息处理设备100一样的方式，执行与第二可操作性改进途径有关的处理的信息处理设备100能够执行与确定的预定动作的意思相关联的处理。因此，如果信息处理设备100上的通信是与诸如图10所示的视觉呼叫有关的通信，则进行呼叫的用户能够用与在同一地点直接交谈时一样的方式通过执行诸如分别手势的自然动作结束呼叫。因此，通过执行与第二可操作性改进途径有关的处理能够改进用户方便性以及可操作性。

因此，由执行与第二可操作性实现途径有关的处理的信息处理设备100实现能够改进用户方便性以及可操作性的通信系统。注意，虽然以上参考通信系统1000上的通信是与如图10所示的视觉呼叫有关的通信的情况下的示例进行描述，但是很明显，根据本公开实施例的与通信系统1000上的第二可操作性改进途径有关的处理的应用示例并不局限于图10所示的示例。

与可操作性改进途径有关的处理的具体示例

接下来，将更详细地描述根据本公开实施例的用于实现第一可操作性改进途径的处理以及用于实现第二可操作性改进途径的处理。

1-1-1-1.与第一可操作性改进途径有关的第一处理的具体示例

图11是说明根据本公开实施例的信息处理设备100上的与第一可操作性改进途径有关的处理的示例的流程图，以及说明与第一可操作性改进途径有关的第一处理相对应的处理的示例。以下，将参考信息处理设备100基于关于成像图像设置的动作区域MA中的周期成分而确定由用户进行的预定动作的情况下的处理示例进行描述。

信息处理设备100确定是否执行用户的动作检测(S200)。现在，在提供基于用户操作等等而在例如信息处理设备100执行动作检测的第一处理模式与不执行动作检测的第二处理模式之间有选择地切换的功能的情况下，步骤S200的处理相当于确定处理模式是否是第一处理模式。也就是说，如果信息处理设备100不具有在第一处理模式与第二处理模式之间切换的功能，则信息处理设备100无须执行步骤S200的处理。

如果在步骤S200确定不执行用户的动作检测，则信息处理设备100结束与可操作性改进途径有关的处理。注意，图11中的与第一可操作性改进途径有关的处理不是一旦结束就不再执行的类型的处理，而是，即使目前处理结束，信息处理设备100也能够周期/非周期地重复与图11所示的第一可操作性改进途径有关的处理。

此外，如果在步骤S200确定执行用户的动作检测，则信息处理设备100基于输入成像图像而执行面部检测，以及标识面部区域FA(S202)。现在，步骤S202中的处理与以上处理(1)(面部区域检测处理)相对应。此外，信息处理设备100通过检测诸如，例如，用户的眼、鼻、嘴、组织、等等的特征点以及检测类似于面部亮度分布以及组织图案的区域标识面部区域FA；然而，标识面部区域FA的方法并不局限于以上所述。

此外，在从成像图像中标识多个面部区域FA的情况下，诸如在成像图像中存在多个用户的情况下，对于每个标识的多个面部区域FA，信息处理设备100执行稍后描述的步骤S204至S212的处理。

一旦执行步骤S202的处理，信息处理设备100就确定是否标识面部区域FA(S204)。如果在步骤S204确定没有标识面部区域FA，则信息处理设备100重复从步骤S200开始的处理。

此外，如果在步骤S204确定已经标识面部区域FA，则信息处理设备100基于面部区域FA而设置动作区域MA(S206)。现在，步骤S206中的处理与以上处理(2)(动作区域设置处理)相对应。此外，信息处理设备100在例如如图1以及2所示的面部区域FA附近设置动作区域MA，但是由信息处理设备100设置的动作区域MA并不局限于图1以及2所示的示例。

一旦在步骤S206中设置(或者重新设置)动作区域MA，信息处理设备100就在设置动作区域MA内检测预定动作(S208)。然后信息处理设备100确定在设置动作区域MA内是否检测到预定动作(S210)。这里，步骤S208以及S210的处理与以上处理(3)(动作确定处理)相对应。

更具体地，例如，在步骤S208中，信息处理设备100基于在基于成像图像而设置的动作区域MA中的周期成分的检测结果、以及参考检测信息的周期成分信息而检测是否已经执行预定动作(相当于上述动作确定处理的第一示例)。现在，例如，对于从该存储器单元中读出参考检测信息以执行上述检测的信息处理设备100，参考检测信息存储在信息处理设备100具有的存储器单元(稍后描述)中，但是根据本公开实施例的信息处理设备100上的处理并不局限于以上所述。例如，信息处理设备100可以与诸如存储参考检测信息的服务器的外部设备执行通信，以及从外部设备中获得参考检测信息，以便使用获得的参考检测信息执行检测。

注意，在根据本公开实施例的信息处理设备100上的步骤S208的处理并不局限于使用参考检测信息的处理。例如，信息处理设备100可以使用参考检测信息或者单个检测信息执行作为步骤S208的处理的处理，如上述动作确定处理的第二示例中所示。

图12是说明根据本公开实施例的信息处理设备100上的动作确定处理的示例的流程图。这里，图12说明相当于上述动作确定处理的第二示例的处理示例。

信息处理设备100从面部区域FA中提取面部信息(S300)。信息处理设备100然后确定在与提取的面部信息相对应的单个检测信息中是否有面部信息(S302)。

现在，例如，对于从该存储器单元中读出单个检测信息以执行上述确定处理的信息处理设备100，单个检测信息存储在信息处理设备100具有的存储器单元(稍后描述)中，但是根据本公开实施例的信息处理设备100上的处理并不局限于以上所述。例如，信息处理设备100可以与诸如存储单个检测信息的服务器的外部设备执行通信，以及从外部设备中获得单个检测信息，以便使用获得的单个检测信息执行检测。此外，信息处理设备100可以发送步骤S300中提取的面部信息到存储单个检测信息的外部设备，以便使外部设备执行在与提取的面部信息相对应的单个检测信息中是否存在面部信息的实际确定，以及从外部设备中获得确定结果。同样在以上情况中，信息处理设备100能够基于从外部设备中获得的确定结果而执行步骤S302的处理。

如果在步骤S302确定在与提取的面部信息相对应的单个检测信息中有面部信息，则信息处理设备100基于在基于成像图像而设置的动作区域MA中的周期成分的检测结果以及与提取的面部信息相对应的面部信息中包括的单个检测信息的周期成分信息而检测预定动作的执行。

此外，如果在步骤S302确定在与提取面部信息相对应的单个检测信息中没有面部信息，则信息处理设备100基于在基于成像图像而设置的动作区域MA中的周期成分的检测结果以及参考检测信息的周期成分信息而检测预定动作的执行。

例如通过执行图12所示的处理，信息处理设备100能够使用参考检测信息或者单个检测信息检测预定动作的执行。

此外，通过信息处理设备100使用单个检测信息检测预定动作的执行，信息处理设备100能够防止与单个检测信息中包括的面部信息相对应的用户预定动作的错误检测或者过度检测。

图13以及14是用于描述使用单个检测信息检测预定动作的执行的根据本公开实施例的信息处理设备100的优点的说明性图。

如果在诸如图13所示的成像图像中存在用户A以及用户B，则每个用户的部分或者所有动作区域MA可以重叠其他用户的动作区域MA。在这种情况下，如果一个用户(图13中的用户B)在重叠动作区域MA时执行再见动作，则不能明确地检测哪个用户执行该动作。现在，如果使用单个检测信息执行确定，则信息处理设备100能够明确地确定已经执行的动作是用户A的动作还是用户B的动作。因此，即使在诸如图13所示的成像图像中存在用户A以及用户B的情况下，信息处理设备100也能够通过使用单个检测信息检测预定动作的执行，防止与单个检测信息中包括的面部信息相对应的用户预定动作的错误检测或者过度检测。

此外，通过使用单个检测信息执行确定，信息处理设备100用对于用户唯一的检测参考检测预定动作，所以如图14所示，即使在设置动作区域MA内由不是用户的对象执行周期动作的情况下，信息处理设备100也能够比使用参考检测信息的情况更好地防止用户的预定动作的错误检测或者过度检测。

再次参考图11，将描述根据本公开实施例的信息处理设备100上的与可操作性改进途径有关的处理的示例。一旦执行步骤S208的处理，信息处理设备100就确定在设置动作区域MA中是否检测到预定动作(S210)。如果在步骤S210中在设置动作区域MA中没有检测到预定动作，则信息处理设备100重复从步骤S202开始的处理。

此外，如果在步骤S210确定在设置动作区域MA中检测到预定动作，则信息处理设备100执行与检测动作相对应的处理(S212)。这里，步骤S212的处理与以上处理(4)(实行处理)相对应。

通过执行例如图11所示的处理，信息处理设备100能够实现与第一可操作性改进途径有关的上述处理(1)(面部区域检测处理)至处理(4)(实行处理)。因此，例如，信息处理设备100能够通过执行图11所示的处理改进用户可操作性。

1-1-2-1.与第一可操作性改进途径有关的第二处理的具体示例

图15是说明与根据本公开实施例的信息处理设备100的第一可操作性改进途径有关的处理的另一示例的流程图，以及说明与上述第一可操作性改进途径有关的第二处理相对应的处理的示例。以下，将参考信息处理设备100基于关于成像图像设置的动作区域MA中的周期成分而确定由用户进行的预定动作的情况下的处理示例进行描述。

用与图11中的步骤S200一样的方式，信息处理设备100确定是否执行用户的动作检测(S400)。如果在步骤S400确定不执行用户的动作检测，则信息处理设备100结束与可操作性改进途径有关的处理。注意，图15中的与第一可操作性改进途径有关的处理不是一旦结束就不再执行的类型的处理，而是，即使目前处理结束，信息处理设备100也能够周期/非周期地重复与图15所示的第一可操作性改进途径有关的处理。

此外，如果在步骤S400确定执行用户的动作检测，则用与图11中的步骤S202一样的方式，信息处理设备100基于输入成像图像而执行面部检测，以及标识面部区域FA(S402)。现在，步骤S402中的处理与以上处理(I)(面部区域检测处理)相对应。此外，在从成像图像中标识多个面部区域FA的情况下，诸如在成像图像中包括有多个用户的情况下，对于每个标识的多个面部区域FA，信息处理设备100执行稍后描述的步骤S404至S416的处理。

一旦执行步骤S402的处理，信息处理设备100就用与图11中的步骤S204一样的方式确定是否标识面部区域FA(S404)。如果在步骤S404确定没有标识面部区域FA，则信息处理设备100重复从步骤S400开始的处理。

此外，如果在步骤S404确定已经标识面部区域FA，则信息处理设备100用与图11中的步骤S206一样的方式基于面部区域FA而设置动作区域MA(S406)。现在，步骤S406中的处理与以上处理(II)(动作区域设置处理)相对应。

一旦在步骤S406中设置(或者重新设置)动作区域MA，信息处理设备100就用与图11中的步骤S208一样的方式在设置动作区域MA内检测预定动作(S408)。然后信息处理设备100确定在设置动作区域MA内是否检测到预定动作(S410)。如果在步骤S410中在设置动作区域MA中确定没有检测到预定动作，则信息处理设备100重复从步骤S402开始的处理。

此外，如果在步骤S410确定在设置动作区域MA中检测到预定动作，则信息处理设备100通知用户已经检测到预定动作(S412)。这里，步骤S412的处理与以上处理(IV)(通知处理)相对应。

更具体地，例如如图4至8所示，信息处理设备100视觉通知用户确定在动作区域MA中已经由用户执行预定动作(或者使外部设备进行通知)。注意，信息处理设备100也可以通过例如从它自己的音频输出设备(例如，稍后描述的音频输出单元)或者外部音频输出设备中输出指示确定已经由用户执行预定动作的音频音频通知用户(或者使外部设备进行通知)。

此外，如果在步骤S410确定在设置动作区域MA内检测到预定动作，则信息处理设备100确定是否从确定已经执行预定动作开始连续执行预定动作预定周期(S414)。现在，步骤S408、S410、以及S414的处理相当于以上处理(III)(动作确定处理)。

注意，虽然图15示出步骤S414的处理在步骤S412的处理之后执行的示例，但是用步骤S410中在设置动作区域MA中检测的预定动作作为触发器，信息处理设备100能够独立执行步骤S414的处理以及步骤S412的处理。

如果在步骤S414确定预定动作没有连续执行预定周期，则信息处理设备100重复从步骤S400开始的处理。现在，确定预定动作没有连续执行预定周期的情况的示例是应归于来自步骤S412的处理的通知用户停止他/她自己的动作的情况。

此外，如果在步骤S414确定预定动作连续执行预定周期，则信息处理设备100用与图11中的步骤S212一样的方式执行与检测动作相对应的处理(S416)。这里，步骤S416的处理与以上处理(V)(实行处理)相对应。

通过执行例如图15所示的处理，信息处理设备100能够实现与第一可操作性改进途径有关的上述处理(I)(面部区域检测处理)至处理(V)(实行处理)。因此，例如，信息处理设备100能够通过执行图15所示的处理改进用户可操作性。

例如，通过执行图11以及15所示的处理，信息处理设备100实现上述根据本公开实施例的第一可操作性改进途径。很明显，与根据本公开实施例的信息处理设备100的第一可操作性改进途径有关的处理并不局限于图11以及15所示的处理。

接下来，将描述关于与上述第二可操作性改进途径有关的处理的具体示例。以下，将描述每个

1-2-1.在没有接收从通信对象设备发送的确定通知信息的情况下的信息处理设备100的处理的示例，以及

1-2-2.在接收从通信对象设备发送的确定通知信息的情况下的信息处理设备100的处理的示例。

1-2-1.在没有接收从通信对象设备发送的确定通知信息的情况下的处理的具体示例

图16是说明与根据本公开实施例的信息处理设备100的第二可操作性改进途径有关的处理的示例的流程图，以及说明在没有接收从通信对象设备发送的确定通知信息的情况下的处理的示例。这里，图16说明用与图15所示的第一可操作性改进途径有关的第二处理一样的方式执行以上处理(IV)(通知处理)的情况下的处理的示例。以下，将参考信息处理设备100基于关于成像图像设置的动作区域MA中的周期成分而确定由用户进行的预定动作的情况下的处理示例进行描述。此外，以下将参考如图9所示的通信系统1000中的合作控制服务器200生成合作控制信息的示例进行描述。

用与图11中的步骤S200一样的方式，信息处理设备100确定是否执行用户的动作检测(S500)。如果在步骤S500确定不执行用户的动作检测，则信息处理设备100结束与可操作性改进途径有关的处理。注意，图16中的与第二可操作性改进途径有关的处理不是一旦结束就不再执行的类型的处理，而是，即使目前处理结束，信息处理设备100也能够周期/非周期地重复与图16所示的第二可操作性改进途径有关的处理。

此外，如果在步骤S500确定执行用户的动作检测，则用与图11中的步骤S202一样的方式，信息处理设备100基于输入成像图像而执行面部检测，以及标识面部区域FA(S502)。现在，步骤S502中的处理与以上处理(i)(面部区域检测处理)相对应。此外，在从成像图像中标识多个面部区域FA的情况下，诸如在成像图像中包括有多个用户的情况下，对于每个标识的多个面部区域FA，信息处理设备100执行稍后描述的步骤S504至S520的处理，例如。注意，在从成像图像中检测多个面部区域FA的情况下的处理并不局限于以上所述。例如，根据本公开实施例的信息处理设备100可以关于面部区域FA执行面部证实，以及将与特别用户相对应的面部区域FA实行稍后描述的步骤S504至S520的处理。

一旦执行步骤S502的处理，信息处理设备100就用与图11中的步骤S204一样的方式确定是否标识面部区域FA(S504)。如果在步骤S504确定没有标识面部区域FA，则信息处理设备100重复从步骤S500开始的处理。

此外，如果在步骤S504确定已经标识面部区域FA，则信息处理设备100用与图11中的步骤S206一样的方式基于面部区域FA而设置动作区域MA(S506)。现在，步骤S506中的处理与以上处理(ii)(动作区域设置处理)相对应。

一旦在步骤S506中设置(或者重新设置)动作区域MA，信息处理设备100就用与图11中的步骤S208一样的方式在设置动作区域MA内检测预定动作(S508)。然后信息处理设备100确定在设置动作区域MA内是否检测到预定动作(S510)。如果在步骤S510中在设置动作区域MA中确定没有检测到预定动作，则信息处理设备100重复从步骤S502开始的处理。

此外，如果在步骤S510确定在设置动作区域MA中检测到预定动作，则信息处理设备100用与图15中的步骤S412一样的方式通知用户已经检测到预定动作(S512)。这里，步骤S512的处理与以上处理(IV)(通知处理)相同的通知处理相对应。

此外，如果在步骤S510确定在设置动作区域MA内检测到预定动作，则信息处理设备100用与图15中的步骤S414一样的方式确定是否从确定已经执行预定动作开始连续执行预定动作预定周期(S514)。现在，步骤S508、S510、以及S514的处理相当于以上处理(iii)(动作确定处理)。

如果在步骤S514确定预定动作没有连续执行预定周期，则信息处理设备100重复从步骤S500开始的处理。现在，确定预定动作没有连续执行预定周期的情况的示例是应归于来自步骤S512的处理的通知用户停止他/她自己的动作的情况。

此外，如果在步骤S514确定预定动作连续执行预定周期，则信息处理设备100发送确定通知信息给合作控制服务器200(S516)。

一旦在步骤S516发送确定通知信息，信息处理设备100就确定是否与通信对象设备合作执行处理(S518)。例如，信息处理设备100基于从合作控制服务器200发送的合作控制信息而执行步骤S518的处理。这里，步骤S516以及S518的处理与以上处理(iv)(合作确定处理)相对应。

如果在步骤S518确定不与通信对象设备合作执行处理，则信息处理设备100重复从步骤S500开始的处理。

此外，如果在步骤S518确定与通信对象设备合作执行处理，则信息处理设备100基于合作控制信息而有选择地执行处理(S520)。这里，步骤S520的处理与以上处理(v)(实行处理)相对应。

通过执行例如图16所示的处理，信息处理设备100能够实现与第二可操作性改进途径有关的上述处理(i)(面部区域检测处理)至处理(v)(实行处理)。因此，例如，信息处理设备100能够通过执行图16所示的处理改进通信系统1000的用户方便性以及可操作性。

1-2-2.在已经接收从通信对象设备发送的确定通知信息的情况下处理的具体示例

图17是说明与根据本公开实施例的信息处理设备100的第二可操作性改进途径有关的处理的示例的流程图，以及说明在已经接收从通信对象设备发送的确定通知信息的情况下的处理的示例。此外，以下将用与图16一样的方式参考如图9所示的通信系统1000中的合作控制服务器200生成合作控制信息的情况下的处理的示例进行描述。

信息处理设备100确定是否接收从通信对象设备发送的确定通知信息(S600)。如果在步骤S600确定没有接收从通信对象设备发送的确定通知信息，则信息处理设备100不预先处理，直到确定接收从通信对象设备发送的确定通知信息时为止。

此外，如果在步骤S600确定接收从通信对象设备发送的确定通知信息，则信息处理设备100通知用户接收到从通信对象设备发送的确定通知信息(S602)。

现在，例如如图10中的H所示，信息处理设备100通过改变图像视觉通知用户，但是步骤S602中的通知用户的方法并不局限于以上所述。例如，信息处理设备100能够通过改变照明设备的照明状态视觉通知用户接收到从通信对象设备发送的确定通知信息，如图8所示。此外，信息处理设备100可以音频通知用户接收到从通信对象设备发送的确定通知信息。

此外，如果在步骤S600确定接收从通信对象设备发送的确定通知信息，则信息处理设备100确定是否发送确定通知信息(S604)。现在，如果已经执行图16所示的步骤S516的处理，则信息处理设备100确定发送了确定通知信息。也就是说，步骤S604的处理相当于确定接收的确定通知信息是通信对象设备上执行的作为图16所示的步骤S516的处理结果发送的那一个，还是作为从该设备本身发送的确定通知信息的响应从通信对象设备发送的那一个。

注意，虽然图17说明步骤S604的处理在步骤S602的处理之后执行的示例，但是用接收到从通信对象设备发送的确定通知信息的步骤S600中的确定作为触发器，信息处理设备100能够独立执行步骤S602的处理以及步骤S604的处理。

如果在步骤S604确定已经发送确定通知信息，则信息处理设备100执行稍后描述的步骤S620的处理。在以上情况下步骤S620的处理与图16所示的步骤S518的处理相对应。

此外，如果在步骤S604确定没有发送确定通知信息，则信息处理设备100用与图11中的步骤S200一样的方式确定是否执行用户的动作检测(S606)。如果在步骤S606确定没有执行用户的动作检测，则信息处理设备100对合作控制服务器200作出大意是将不合作执行处理的响应(S624)，以及结束处理。注意，与图17中的第二可操作性改进途径有关的处理不是一旦结束就不再执行的类型的处理，而是，信息处理设备100能够重复与图17所示的第二可操作性改进途径有关的处理。

此外，如果在步骤S606确定执行用户的动作检测，则用与图11中的步骤S202一样的方式，信息处理设备100基于输入成像图像而执行面部检测，以及标识面部区域FA(S608)。现在，用与图16中的步骤S502一样的方式，步骤S608的处理与以上处理(i)(面部区域检测处理)相对应。

一旦执行步骤S608的处理，信息处理设备100就用与图11中的步骤S204一样的方式确定是否标识面部区域FA(S610)。如果在步骤S610确定没有标识面部区域FA，则信息处理设备100对合作控制服务器200作出大意是将不合作执行处理的响应(S624)，以及结束处理。

注意，虽然图17说明曾经执行步骤S610的确定的示例，但是在接收从通信对象设备发送的确定通知信息的情况下的信息处理设备100的处理并不局限于以上所述。例如，如果重复步骤S610的确定预定次数，但是确定没有面部区域FA，则信息处理设备100无须确定面部区域FA已经标识。

此外，如果在步骤S610确定已经标识面部区域FA，则用与图11中的步骤S206一样的方式，信息处理设备100基于面部区域FA而设置动作区域MA(S612)。现在，用与图16中的步骤S506一样的方式，步骤S612中的处理与以上处理(ii)(动作区域设置处理)相对应。

一旦在步骤S612中设置(或者重新设置)动作区域MA，信息处理设备100就用与图11中的步骤S208一样的方式在设置动作区域MA内检测预定动作(S614)。然后信息处理设备100确定在设置动作区域MA内是否检测到预定动作(S616)。

如果在步骤S616中确定在设置动作区域MA中没有检测到预定动作，则信息处理设备100对合作控制服务器200作出大意是将不合作执行处理的响应(S624)，以及结束处理。

注意，虽然图17说明曾经执行步骤S616的确定的示例，但是在接收从通信对象设备发送的确定通知信息的情况下的信息处理设备100的处理并不局限于以上所述。例如，如果重复步骤S616的确定预定次数，但是没有检测到预定动作，则信息处理设备100无须确定预定动作的检测。

如果在步骤S616在设置动作区域MA中确定检测到预定动作，则信息处理设备100发送确定通知信息给合作控制服务器200(S618)。这里，在步骤S618发送的确定通知信息与关于在步骤S600接收的确定通知信息的响应相对应。

注意，虽然图17说明在步骤S616确定在设置动作区域MA中检测到预定动作的情况下执行步骤S618的处理的示例，但是接收从通信对象设备发送的确定通知信息的情况下的信息处理设备100的处理并不局限于以上所述。例如，如果在步骤S616确定在设置动作区域MA内检测到预定动作，则信息处理设备100用与图16中的步骤S414一样的方式确定从确定已经执行预定动作开始预定动作是否连续执行预定周期。在上述情况下，例如，如果确定从确定已经执行预定动作开始预定动作连续执行预定周期，则信息处理设备100执行步骤S618的处理。此外，在上述情况下，例如，如果确定从确定已经执行预定动作开始预定动作没有连续执行预定周期，则信息处理设备100对合作控制服务器200作出大意是将不合作执行处理的响应(S624)，以及结束处理。

一旦在步骤S618发送确定通知信息，信息处理设备100就用与图16中的步骤S518一样的方式确定是否与通信对象设备合作执行处理(S620)。这里，步骤S618以及S620的处理与以上处理(iv)(合作确定处理)相对应。

如果在步骤S620确定不与通信对象设备合作执行处理，则信息处理设备100结束处理。

此外，如果在步骤S620确定与通信对象设备合作执行处理，则信息处理设备100用与图16中的步骤S520一样的方式基于合作控制信息而有选择地执行处理(S622)。这里，步骤S622的处理与以上处理(v)(实行处理)相对应。

通过执行例如图17所示的处理，信息处理设备100能够实现与第二可操作性改进途径有关的上述处理(i)(面部区域检测处理)至处理(v)(实行处理)。因此，例如，信息处理设备100能够通过执行图17所示的处理改进通信系统1000的用户方便性以及可操作性。

例如通过执行图16以及17所示的处理，信息处理设备100实现上述根据本公开实施例的第二可操作性改进途径。注意，与根据本公开实施例的信息处理设备100的第二可操作性改进途径有关的处理并不局限于图16以及17所示的处理。例如，如果在图16所示的步骤S510的处理中确定在设置动作区域MA中检测到预定动作，则信息处理设备100还确定该确定预定动作是否是用于与通信对象设备合作执行处理的动作。在上述情况下，如果确定确定预定动作是用于与通信对象设备合作执行处理的动作，则信息处理设备100执行步骤S512的处理等等。此外，如果确定确定预定动作不是用于与通信对象设备合作执行处理的动作，则信息处理设备100执行与第一可操作性改进途径有关的图11中的步骤S112的处理或者图15中的步骤S312的处理等等，例如。

例如如上所述，通过还确定已经确定的预定动作是否是用于与通信对象设备合作执行处理的动作，信息处理设备100能够有选择地在上述与第一可操作性改进途径有关的处理以及与第二可操作性改进途径有关的处理之间切换并且运行该处理。因此，信息处理设备100能够根据由用户执行的预定动作区别将要分别单独执行的处理以及将要与通信对象设备合作执行的处理，所以还能够改进用户方便性以及可操作性。

2.根据本公开实施例的信息处理设备

接下来，将描述根据本公开实施例的信息处理设备100的配置的示例，其能够执行与上述根据本公开实施例的可操作性改进途径有关的处理。

以下将参考能够实行上述与第二可操作性改进途径有关的处理的信息处理设备100的示例描述根据本公开实施例的信息处理设备100的配置。注意，根据本公开实施例的信息处理设备100能够用例如不具有稍后描述的合作确定单元以及基于稍后描述的动作确定单元的确定结果而有选择地执行处理的稍后描述的处理单元的配置实现上述根据第一可操作性改进途径的处理。此外，例如，根据本公开实施例的信息处理设备100可以具有包括合作确定单元但是合作确定单元不起作用的配置。同样用以上配置，根据本公开实施例的信息处理设备100能够实现上述根据第一可操作性改进途径的处理。

此外，以下，将参考信息处理设备100具有稍后描述的通知处理单元，从而执行与以上处理(IV)(通知处理)相同的通知处理的配置的示例进行描述。注意，根据本公开实施例的信息处理设备100可以具有不包括通知处理单元的配置，或者包括通知处理单元但是通知处理单元不起作用的配置。此外，根据本公开实施例的信息处理设备100还能够具有用使稍后描述的通知处理单元有选择地起作用的配置有选择地执行通知处理的配置。

第一实施例

图18是说明根据本公开第一实施例的信息处理设备100的配置的示例的方框图。在图18中，示出通信系统1000具有例如生成如图9所示的合作控制信息的合作控制服务器200以及合作控制服务器200与通信对象设备300(其他信息处理设备100)通过网络400与信息处理设备100连接的示例。注意，以上短语“通过网络400连接”意指一个设备与另一设备正在通过网络400执行通信，或者是处于通信状态。网络400的示例包括诸如LAN(局域网)或者WAN(宽域网)的电缆网络、诸如使用基站(WWAN(无线宽域网))的无线WAN的无线网络、使用诸如TCP/IP(传输控制协议/因特网协议)的通信协议的因特网、等等。注意，信息处理设备100、合作控制服务器200、以及通信对象设备300并不局限于通过网络400执行通信，也可以直接执行通信。

此外，图18还示出执行将图像(静止图像或者移动图像)显示在显示屏幕上、以及通过在显示屏幕的显示方向上成像生成成像图像的显示系统500。此外，虽然图18示出显示系统500由执行显示的显示设备600以及执行成像的成像装置700组成的示例，但是根据本公开实施例的显示系统500的配置并不局限于以上所述。例如，显示系统500可以是集成显示设备600与成像装置700的设备(例如，具有成像功能的显示设备)。

现在，由选取显示屏幕的显示方向上的图像生成成像图像的显示系统500获得成像观看显示屏幕的用户的成像图像。因此，通过处理由显示系统500生成的成像图像的信息处理设备100，信息处理设备100能够容易地执行诸如标识面部区域FA以及设置动作区域MA、用户预定动作的检测、面部表情的提取、等等的处理。

参考图18，信息处理设备100具有存储器单元102、通信单元104、输入单元106、检测单元108、动作区域设置单元110、动作确定单元112、通知处理单元114、合作确定单元116、以及处理单元118。

信息处理设备100还具有控制单元(未示出)、ROM(只读内存(未示出))、RAM(随机存取内存(未示出))、等等，例如。信息处理设备100具有通过充当数据传送路径的总线互连的部件，例如。这里，控制单元(未示出)用来控制整个信息处理设备100。注意，对于信息处理设备100，处理单元118可以充当控制单元(未示出)，例如。此外，ROM(未示出)存储控制单元(未示出)使用的程序，以及用于处理的诸如计算参数等等的数据，例如。RAM(未示出)临时存储由例如控制单元(未示出)实行的数据以及程序。

信息处理设备100的硬件配置示例

图19是说明根据本公开实施例的信息处理设备100的硬件配置的示例的说明性图。参考图19，信息处理设备100包括，例如，MPU(微处理单元)150、ROM 152、RAM 154、记录介质156、输入/输出接口158、操作输入设备160、显示设备162、以及通信接口164。此外，信息处理设备100具有与充当数据传送路径的总线166互连的部件，例如。

MPU 50是集成用于实现诸如图像处理等等的多种类型的功能的多个电路的集成电路，等等，以及起控制整个信息处理设备100的控制单元(未示出)的作用。此外，MPU 50充当信息处理设备100中的检测单元108、动作区域设置单元110、动作确定单元112、通知处理单元114、合作确定单元116、以及处理单元118。此外，MPU 50可以充当稍后描述的学习单元。

ROM 152控制MPU 50使用的诸如存储程序以及计算参数等等的数据。RAM 154临时存储将要由MPU 50实行的程序等等，例如。

记录介质156起存储器单元102的作用，以及存储诸如参考检测信息、单个检测信息、处理信息、等等的多种数据(或者数据库)、应用、等等，例如。记录介质156的示例包括诸如硬盘等等的磁存储器介质、以及诸如EEPROM(电可擦除以及可编程只读内存)、闪速内存、MRAM(磁性随机存取内存)、FeRAM(铁电随机存取内存)、以及PRAM(相变随机存取内存)的非易失性内存。此外，信息处理设备100可以具有从信息处理设备100中可拆卸的记录介质156。

此外，输入/输出接口158连接操作输入设备160以及显示设备162，例如。此外，输入/输出接口158能够充当输入单元106。操作输入设备160充当操作单元(未示出)，以及显示设备162充当显示单元(稍后描述)。现在，输入/输出接口158的示例包括USB(通用串行总线)终端、DVI(数字视觉接口)终端、HDMI(高分辨率多媒体接口)终端、多种类型的处理电路、等等。此外，操作输入设备160在例如信息处理设备100上提供，以及与信息处理设备100内部的输入/输出接口158连接。操作输入设备160的示例包括按钮、方向键、诸如轻推转盘(jog dial)的旋转选择器、其组合、等等。此外，显示设备162在例如信息处理设备100上提供，以及与信息处理设备100内部的输入/输出接口158连接。显示设备162的示例包括LCD(液晶显示器)以及有机场致发光显示器(也称为OLED(有机发光二极管)显示器)。很明显，输入/输出接口158能够连接充当信息处理设备100的外部设备的外部设备，诸如操作输入设备(例如，键盘，鼠标)、显示设备(例如，诸如显示设备600的外部显示设备)、成像设备(例如，成像装置700等等)、等等。此外，显示设备162可以是能够显示以及用户操作的设备，比如触摸屏。

信息处理设备100的通信接口164起通信单元104的作用，用于通过无线/电缆经由网络400(或者直接)与诸如例如合作控制服务器200、通信对象设备300、显示设备600、服务器(未示出)、等等的外部设备执行通信。通信接口164的示例包括通信天线以及RF电路(无线通信)、IEEE 802.15.1端口以及发送/接收电路(无线通信)、IEEE 802.11b口以及发送/接收电路(无线通信)、或者LAN终端以及发送/接收电路(电缆通信)、等等。

信息处理设备100用图19所示的配置执行与根据本公开实施例的可操作性改进途径有关的处理，例如。注意，根据本公开实施例的信息处理设备100的硬件配置并不局限于图19所示的配置。

例如，信息处理设备100可以具有由DSP(数字信号处理器)以及放大器(amp)和扬声器等等配置的、充当音频输出单元(稍后描述)的音频输出设备。在上述情况下，信息处理设备100能够执行作为与用户的预定动作相对应的处理的音频静音以及音量调节，例如。

此外，信息处理设备100可以具有由透镜/成像设备以及信号处理电路配置的、充当成像单元(稍后描述)的成像设备，例如。在上述情况下，信息处理设备100能够处理它本身生成的成像图像。现在，透镜/成像设备由光学透镜、以及使用诸如CCD(电荷耦合设备)或者CMOS(互补金属氧化物半导体)等等的多个成像设备的图像传感器配置，例如。信号处理单元具有例如AGC(自动增益控制)电路或者ADC(模拟数字转换器)，转换由成像设备生成的模拟信号为数字信号(图像数据)，以及执行多种类型的信号处理。信号处理电路执行的信号处理的示例包括白平衡校正处理、内插处理、颜色校正处理、伽马校正处理、YCbCr转换处理、边缘增强处理、编码处理、等等。

此外，信息处理设备100可以配置为不具有图19所示的操作输入设备160或者显示设备162，例如。

返回到图18，将描述根据本公开实施例的信息处理设备100的配置。存储器单元102是信息处理设备100具有的存储器。现在，存储器单元102的示例包括诸如硬盘等等的磁记录介质、以及诸如闪速内存等等的非易失性内存。

此外，存储器单元102存储诸如参考检测信息、单个检测信息、处理信息、等等的多种数据(或者数据库)、应用、等等，例如。图18说明在存储器单元102中存储参考检测信息170、处理信息172、以及识别信息174的示例。现在，根据本公开实施例的识别信息是与用户有关的、从成像图像中检测的信息。识别信息的示例包括成像图像中包括的用户的数量、代表用户特性的表情、指示估计用户情绪的信息、存在或者不存在身体运动、等等，其是由分析成像图像的信息处理设备100获得的数据。

信息处理设备100具有的通信单元104通过无线/电缆经由网络400(或者直接)与诸如例如合作控制服务器200、通信对象设备300、显示设备600、服务器(未示出)、等等的外部设备执行通信。此外，例如，通信单元104具有其由控制单元(未示出)以及处理单元118控制的通信。这里通信单元104的示例包括通信天线以及RF电路，LAN终端以及发送/接收电路，等等，但是通信单元104并不局限于以上所述。例如，通信单元104可以具有任选配置，以便经由网络400与外部设备通信。

输入单元106接收成像装置700通过成像生成的成像图像。输入单元106然后将接收(输入)的成像图像递交给检测单元108。现在，输入单元106的示例包括USB终端、DVI终端、HDMI终端、多种处理电路、等等，但是输入单元106并不局限于以上所述。例如，可以具有任选配置，以便能够通过电缆或者无线从外部设备中接收成像图像。

注意，输入单元106并不局限于接收成像图像，而可以接收由距离传感器等等生成的提供给显示设备600的数据(例如，指示显示屏幕与用户之间的距离的距离数据)，例如。如果接收以上数据，则输入单元106将数据递交给处理单元118。在上述情况下，信息处理设备100还基于在稍后描述的处理单元118递交的距离数据等等而能够执行与预定动作相对应的处理。

检测单元108在以上处理(i)(面部区域检测处理)中具有领导角色(leading role)。更具体地，检测单元108从例如成像图像中检测包括用户面部的面部区域FA，以及将指示检测(标识)面部区域FA以及成像图像的信息递交给动作区域设置单元110。

此外，检测单元108还用动作区域设置单元110检测设置动作区域MA中的移动身体，以及通知动作确定单元112是否检测到移动身体。在以上情况中，如果检测到移动身体，则动作确定单元112能够有选择地执行稍后描述的处理。因此，对于信息处理设备100，能够实现减少信息处理设备100上的计算负载以及防止用户预定动作的不检测或者错误检测。

动作区域设置单元110在以上处理(ii)(动作区域设置处理)中具有领导角色。更具体地，如果在例如检测单元108上检测面部区域FA，则动作区域设置单元110基于面部区域FA而在面部区域FA附近设置动作区域MA。动作区域设置单元110然后将设置动作区域MA的信息递交给检测单元108以及动作确定单元112，例如。此外，动作区域设置单元110将从检测单元108递交的成像图像递交给动作确定单元112。注意，如果如此配置以至于输入单元106以及检测单元108将成像图像递交给动作确定单元112，则动作区域设置单元110无须将成像图像递交给动作确定单元112。

此外，动作区域设置单元110能够从面部区域FA中提取指示用户的面部特性的面部信息，以及基于面部信息而重新设置基于面部区域FA而设置的动作区域MA(即，调节动作区域MA)。

动作确定单元112在以上处理(iii)(动作确定处理)中具有领导角色。更具体地，动作确定单元112基于成像图像以及参考检测信息170而确定预定动作由动作区域设置单元110设置的动作区域MA中的用户执行。现在，动作区域设置单元110检测动作区域MA中的周期成分，以及基于动作区域MA中的周期成分的检测结果以及参考检测信息170中的周期成分信息而确定预定动作已经执行，例如，但是动作区域设置单元110上的处理并不局限于以上所述。

如果确定在动作区域MA内检测到预定动作，则动作确定单元112然后递交确定结果给通知处理单元114。现在，如果确定在例如动作区域MA内检测到预定动作，则动作确定单元112有选择地递交指示已经检测到预定动作的确定结果给通知处理单元114，但是动作确定单元112上的处理并不局限于以上所述。例如，每次执行与确定有关的处理时，与确定结果无关，动作确定单元112可以将确定结果递交给通知处理单元114。在以上情况下，当递交的确定结果指示在动作区域MA内检测到预定动作时，通知处理单元114将有选择地执行稍后描述的处理。

此外，如果确定在动作区域MA内检测到预定动作，则动作确定单元112用与将确定结果递交给通知处理单元114一样的方式将确定结果递交给合作确定单元116。注意，用于递交确定结果给合作确定单元116的、动作确定单元112上的处理并不局限于以上所述。例如，如果确定在由动作区域设置单元110设置的动作区域MA内检测到预定动作，则动作确定单元112还确定从确定已经执行预定动作开始预定动作是否连续执行预定周期。在以上情况下，例如，如果确定预定动作连续执行预定周期，则动作确定单元112递交指示预定动作连续执行预定周期的确定结果给合作确定单元116。

如上所述，通过递交指示预定动作连续执行预定周期的确定结果给合作确定单元116的动作确定单元112，在用户连续执行预定动作预定周期的情况下，合作确定单元116有选择地执行由合作确定单元116执行的稍后描述的处理。也就是说，如果应归于来自例如通知处理单元114执行的通知处理的通知，用户退出他/她自己的动作，则合作确定单元116不执行处理。因此，即使在用户执行由信息处理设备100识别的预定动作，然后用户想要取消实行与信息处理设备100上的预定动作相对应的处理的情况下，或者在由信息处理设备100错误检测用户执行的动作的情况下，用户也能够通过他/她自己的动作控制与信息处理设备100上的动作相对应的处理的实行。

虽然在图18中未示出，但是如果在存储器单元102中存储单个检测信息，或者如果与诸如存储单个检测信息的服务器的外部设备合作执行处理，则动作确定单元112能够有选择地使用参考检测信息170或者单个检测信息确定由用户在动作区域MA中执行预定动作。

此外，如果检测动作区域MA中的周期成分以及确定已经执行预定动作，则除了在动作区域MA中之外，动作确定单元112无须检测周期成分。应归于以上所述，信息处理设备100还能够减少与根据本公开实施例的可操作性改进途径有关的处理的负载(计算负载)。

另外，例如，如果确定在动作区域MA中检测到预定动作，则动作确定单元112还基于参考检测信息170或者单个检测信息而确定该确定的预定动作是否是用于与通信对象设备300合作执行处理的动作。此外，在例如确定预定动作是否连续执行预定周期的情况下，如果确定预定动作连续执行预定周期，则动作确定单元112执行与合作有关的以上确定。

现在，如果应归于以上确定，确定预定动作是用于与通信对象设备300合作执行处理的动作，则动作确定单元112将确定结果递交给合作确定单元116。在以上情况下，信息处理设备100将执行与上述第二可操作性改进途径有关的处理。

此外，如果应归于以上确定，确定预定动作不是用于与通信对象设备300合作执行处理的动作，则动作确定单元112将执行预定动作的确定结果递交给处理单元118。在以上情况下，合作确定单元116中止操作(die)，不执行合作确定单元116执行的稍后描述的处理，以及还有处理单元118用与根据第一可操作性改进途径的以上处理(4)(实行处理)或者以上处理(V)(实行处理)一样的方式执行与动作确定单元112确定的预定动作相对应的处理。也就是说，在以上情况下，信息处理设备100执行与上述第一可操作性改进途径有关的处理。

例如如上所述，通过还执行确定该确定预定动作是用于与通信对象设备300合作执行处理的动作的动作确定单元112，信息处理设备100能够在上述用于第一可操作性改进途径的处理与用于第二可操作性改进途径的处理之间有选择地切换以及实行该处理。因此，例如如上所述，通过还确定该确定预定动作是否是用于与通信对象设备300合作执行处理的动作的动作确定单元112，还能够改进用户方便性以及可操作性。

通知处理单元114在与第一可操作性改进途径有关的以上处理(IV)(通知处理)相同的通知处理中具有领导角色。更具体地，如果在动作确定单元112上确定已经执行预定动作，则执行通知用户确定已经执行预定动作的通知处理。

现在，例如，通知处理单元114经由通信单元104发送用于通知外部设备确定已经执行预定动作的处理实行命令给外部设备作为通知处理。通过以上，信息处理设备100能够使显示设备600，其是外部设备，等等执行诸如图4至8所示的视觉通知，或者音频通知，例如。

通知处理单元114上的通知处理并不局限于经由通信单元104发送用于通知外部设备确定已经执行预定动作的处理实行命令给外部设备。例如，如果信息处理设备100具有显示单元(稍后描述)，则该显示单元能够用于执行视觉通知，以及如果信息处理设备100具有音频输出单元(稍后描述)，则该音频输出单元能够用于执行音频通知。在稍后描述的第三实施例中将描述上述形式。

合作确定单元116在以上处理(iv)(合作确定处理)中具有领导角色。更具体地，如果动作确定单元112确定用户在设置动作区域MA中执行预定动作，则合作确定单元116基于合作控制信息而确定是否与通信对象设备300合作执行处理。如果确定与通信对象设备300合作执行处理，例如，则合作确定单元116将确定结果以及控制信息递交给处理单元118。

现在，如果动作确定单元112确定已经执行预定动作，则合作确定单元116经由通信单元104发送确定通知信息给通信对象设备300。如上所述通过发送确定通知信息给通信对象设备300，信息处理设备100能够通知通信对象设备300确定用户执行预定动作。应归于以上，通信对象设备300(另一信息处理设备100)能够通知通信对象设备300的用户信息处理设备100的用户(其是从通信对象设备300的角度来看的通信对象设备)执行如图10中的H所指示的预定动作，例如。此外，应归于以上，通信对象设备300将确定通知信息或者大意是将不合作执行处理的响应发送到合作控制服务器200，如图9中的步骤S106所示。

此外，如果通过在例如通信系统1000中执行的图9所示的处理在合作控制服务器200上生成合作控制信息，则在动作确定单元112上确定已经执行预定动作时，合作确定单元116发送确定通知信息给合作控制服务器200。此外，如果在发送确定通知信息之前，通信单元104接收从通信对象设备300发送的确定通知信息，则合作确定单元116发送与动作确定单元112上的确定结果相对应的响应到合作控制服务器200。合作确定单元116然后基于通信单元104接收的从合作控制服务器200发送的合作控制信息而执行上述确定。

注意，合作确定单元116上的处理并不局限于基于由通信对象设备300生成的合作控制信息而确定是否与合作控制服务器200合作执行处理。例如，合作确定单元116可以具有用于执行图9中的步骤S108的处理(合作控制信息生成处理)的功能，以便生成合作控制信息。在以上情况下，合作确定单元116发送生成的合作控制信息到通信对象设备300，以及确定是否基于生成的合作控制信息而与通信对象设备300合作执行处理。也就是说，在上述情况下，合作确定单元116充当合作控制服务器200。此外，在通信对象设备300充当合作控制服务器200的情况下，例如，当接收由通信对象设备300生成的合作控制信息时，合作确定单元116基于通信单元104接收的合作控制信息而执行上述确定处理。

此外，如果通信单元104接收从通信对象设备300发送的确定通知信息，则合作确定单元116执行通知用户确定在通信对象设备300上已经执行预定动作的通知处理。现在，例如如图10中的H所指示，合作确定单元116通过改变显示在显示屏幕上的图像执行视觉通知用户的处理作为通知处理，但是处理并不局限于以上所述。例如，合作确定单元116能够用与通知处理单元114的通知处理一样的方式执行用于音频通知用户的处理作为通知处理，诸如从它自己的音频输出设备(例如，稍后描述的音频输出单元)或者外部音频输出设备中输出。此外，合作确定单元116可以将通知处理实行命令递交给例如通知处理单元114，以便使通知处理单元114执行用于视觉通知或者音频通知的处理。

处理单元118在以上处理(v)(实行处理)中具有领导角色，以及基于合作确定单元116上的确定结果，基于合作控制信息而有选择地执行作为与动作确定单元112上确定的预定动作相对应的处理的处理。

更具体地，一旦在合作确定单元116上确定与通信对象设备300合作执行处理，处理单元118就基于合作控制信息而执行作为与动作确定单元112上确定的预定动作相对应的处理的处理。此外，如果在合作确定单元116上确定不与通信对象设备300合作执行处理，则处理单元118不执行与动作确定单元112上确定的预定动作相对应的处理。因此，应归于基于合作控制信息而有选择地执行处理的处理单元118，基于合作确定单元116上的确定结果，能够防止出现应归于与正在执行通信的多个信息处理设备的一个信息处理设备上执行的用户动作相对应的处理的不希望有的情形，诸如以上所述。注意，如果处理单元118不打算执行与动作确定单元112上确定的预定动作相对应的处理，则处理单元118可以执行视觉或者音频通知用户大意是这不会执行的处理，例如。

此外，如果从动作确定单元112递交指示预定动作已经执行的确定结果，则处理单元118基于例如处理信息172而执行与动作确定单元112上确定的预定动作相对应的处理(与上述第一可操作性改进途径有关的处理)。现在，例如将要实行的预定动作以及处理以相关联的方式记录在处理信息172中。因此，通过使用记录与预定动作的意思相关联的处理的处理信息172，信息处理设备100能够执行与检测动作的意思相关联的处理(考虑可用性的处理)。

此外，处理单元118能够经由通信单元104发送使外部设备执行与预定动作相对应的处理的处理实行命令，作为与预定动作相对应的处理。因此，信息处理设备100能够使显示设备600，其是外部设备，等等执行与检测预定动作相对应的处理。

此外，处理单元118可以执行诸如记录识别信息到存储器单元102中、经由通信单元104发送存储在存储器单元102中的识别信息174到诸如服务器(未示出)的外部设备、等等的处理，例如。

用图18所示的配置，根据第一实施例的信息处理设备100能够实现根据第二可操作性改进途径的上述处理(i)(面部区域检测处理)至处理(v)(实行处理)。因此，信息处理设备100能够通过例如图18所示的配置防止恶化通信系统1000中的用户方便性以及改进用户可操作性。

根据第一实施例的信息处理设备100的修改

注意，根据本公开第一实施例的信息处理设备100的配置并不局限于图18所示的配置。例如，根据第一实施例的信息处理设备100还具有用于实现与用户执行的预定动作的意思相关联的处理的设备，诸如音频输出设备等等、与通信对象设备300的合作处理有关的设备、等等。此外，根据第一实施例的信息处理设备100可以布置为不具有存储器单元102，而是酌情从外部设备中获得诸如参考检测信息170以及处理信息172的用于处理的信息，以便执行处理。

第二实施例

图20是说明根据本公开第二实施例的信息处理设备的配置的示例的方框图。在图20中，像图18一样，一起示出合作控制服务器200、通信对象设备300、...、以及显示系统500。

图20所示的根据第二实施例的信息处理设备100具有基本上与图18所示的根据第一实施例的信息处理设备100一样的配置，但是与图18所示的根据第一实施例的信息处理设备100相比，根据第二实施例的信息处理设备100还具有学习单元120。

学习单元120用来管理单个检测信息。例如，如果在动作确定单元112上确定已经执行预定动作，则学习单元120更新与确定预定动作相对应的单个检测信息以及从动作区域设置单元110提取的面部信息。更具体地，例如，学习单元120选取动作确定单元112上检测的周期成分的信息，作为与确定预定动作相对应的单个检测信息以及由动作区域设置单元110提取的面部信息中的周期成分信息。

注意，学习单元120并不局限于在动作确定单元112上确定已经进行预定动作的情况下执行单个检测信息的更新，以及例如可以在动作确定单元112上确定预定动作连续执行预定周期的情况下执行单个检测信息的更新。此外，如果检测单元108具有用于在动作区域MA中检测周期成分的功能，则学习单元120选取从检测单元108递交的周期成分信息作为单个检测信息中的周期成分信息。

现在，如果在动作确定单元112上确定已经执行预定动作(或者如果确定预定动作连续执行预定周期)，则学习单元120能够自动更新单个检测信息，但是学习单元120上的处理并不局限于以上所述。例如，学习单元120能够基于与从操作单元(未示出)发出的用户操作相对应的操作信号或者从诸如远距离控制器等等的外部操作设备发送的外部操作信号而有选择地更新单个检测信息。

注意，学习单元120上的单个检测信息的管理并不局限于更新上述单个检测信息中的周期成分信息。例如，学习单元120能够管理作为单个检测信息的、对用户唯一的信息，诸如与动作区域MA的区域大小的调节以及其位置的调节有关的信息、用于确定用户的预定动作的周期的信息、等等。此外，与来自动作确定单元112的确定结果无关，学习单元120能够基于根据用户操作经由例如用于学习的用户界面从操作单元(未示出)发出的操作信号而生成或者更新单个检测信息。

根据第二实施例的信息处理设备100具有与根据图18中所示的第一实施例的信息处理设备100基本相同的配置。因此，根据具有图20所示的配置的第二操作性改进方法，以与根据第一实施例的信息处理装置100相同的方式，根据第二实施例的信息处理装置100可实现上述(i)(面部区域检测处理)的处理至(v)(实行处理)的处理。因此，根据第二实施例的信息处理装置100通过例如图20所示的配置可以防止通信系统1000中用户便利性的恶化，并改进用户操作性。

此外，通过具有学习单元120，根据第二实施例的信息处理设备100能够根据比如年龄、性别、人体特征、等等的用户唯一的条件管理作为单个检测信息的信息。现在，如参考图13以及14所描述，通过使用单个检测信息检测已经执行预定动作，信息处理设备100防止与单个检测信息中包括的面部信息相对应的特别用户动作的错误检测以及过度检测。因此，应归于管理单个检测信息的学习单元120，信息处理设备100能够改进在确定与单个检测信息相对应的特别用户的动作的情况下的确定精度。

根据第二实施例的信息处理设备100的修改

注意，根据本公开第二实施例实施例的信息处理设备100的配置并不局限于图20所示的配置。例如，像根据第一实施例的信息处理设备100的修改的情况一样，根据第二实施例的信息处理设备100还具有用于实现与用户执行的预定动作的意思相关联的处理的设备、与通信对象设备300的合作处理有关的设备、等等。此外，用与根据第一实施例的信息处理设备100一样的方式，根据第二实施例的信息处理设备100可以酌情从诸如服务器的外部设备中获得诸如参考检测信息170以及处理信息172的用于处理的信息，以便执行处理。

第三实施例

在以上描述中，说明具有处理生成的成像图像的显示系统500的成像装置700(例如，外部设备)的、作为根据第一实施例的信息处理设备100以及根据第二实施例的信息处理设备100的配置。然而，根据本公开实施例的信息处理设备100的配置并不局限于外部设备处理生成的成像图像的配置。

图21是说明根据本公开第三实施例的信息处理设备100的配置的示例的方框图。

图21所示的根据本公开第三实施例的信息处理设备100具有基本上与图18所示的根据第一实施例的信息处理设备100一样的配置，但是与图18所示的根据第一实施例的信息处理设备100相比，根据第三实施例的信息处理设备100还具有成像单元122、显示单元124、以及音频输出单元126。

信息处理设备100具有的成像单元122通过在显示在显示单元124上的显示屏幕的显示方向上成像生成成像图像。成像单元122发出成像图像给检测单元108。通过在显示屏幕的显示方向上成像生成成像图像的成像单元122，获得成像监视显示屏幕的用户的成像图像。因此，信息处理设备100能够容易地执行上述处理(i)(面部区域检测处理)至(v)(实行处理)，诸如标识面部区域FA、设置动作区域MA、检测用户的预定动作、提取面部表情、等等，例如。

此外，成像单元122用一个或者两个或者以上的成像设备进行配置，该成像设备用例如透镜/成像设备以及信号处理电路进行配置，但是成像单元122的配置并不局限于以上所述。

信息处理设备100具有的显示单元124将多种信息以及图像显示到显示屏幕上。显示在显示单元124的显示屏幕上的屏幕的示例包括用于显示内容的内容显示屏幕、用于显示由成像单元122生成的成像图像(可以与内容叠加)的屏幕、与诸如图10所示的视觉呼叫有关的屏幕、关于信息处理设备100的用于使想要的动作得以执行的操作屏幕、等等。

信息处理设备100具有的音频输出单元126输出诸如由内容指示的音频的多种音频、或者信息处理设备100上的系统音频，例如。通过具有音频输出单元126，信息处理设备100能够对从例如音频输出单元126输出的音频执行音频静音以及音量调节，作为与处理单元118执行的用户的预定动作相对应的处理。

此外，音频输出单元126的示例包括用DSP、以及放大器(amp)和扬声器等等配置的音频输出设备，但是音频输出单元126的配置并不局限于以上所述。

根据本公开第三实施例的信息处理设备100具有基本上与图18所示的根据第一实施例的信息处理设备100一样的配置。因此，用与根据第一实施例的信息处理设备100一样的方式，用图21所示的配置，根据第三实施例的信息处理设备100能够实现与第二可操作性改进途径有关的上述处理(i)(面部区域检测处理)至处理(v)(实行处理)。因此，例如，用图21所示的配置，根据第三实施例的信息处理设备100能够防止恶化通信系统1000中的用户方便性，以及改进用户可操作性。

根据第三实施例的信息处理设备100的修改

根据本公开第三实施例的信息处理设备100的配置并不局限于图21所示的配置。例如，用与根据第二实施例的信息处理设备100一样的方式，根据第三实施例的信息处理设备100可以具有学习单元120。此外，例如，根据第三实施例的信息处理设备100可以配置为不具有音频输出单元126，或者还可以具有用于实现与通信对象设备300合作执行的处理有关的用户或者设备的预定动作的意思相关联的处理的设备。另外，用与根据第一实施例的信息处理设备100的修改一样的方式，根据第三实施例的信息处理设备100可以具有酌情从诸如服务器的外部设备中获得诸如参考检测信息170以及处理信息172的用于处理的信息、以及执行处理的配置。

如上所述，根据本公开实施例的信息处理设备100执行与第一可操作性改进途径有关的上述处理(1)(面部区域检测处理)至处理(4)(实行处理)、或者与第一可操作性改进途径有关的上述处理(I)(面部区域检测处理)至处理(V)(实行处理)、或者与第二可操作性改进途径有关的上述处理(i)(面部区域检测处理)至处理(v)(实行处理)，从而确定预定动作由用户执行，以及执行与确定预定动作相对应的处理。现在，信息处理设备100在基于成像图像而标识的面部区域FA附近设置动作区域MA、在设置动作区域MA中检测(确定)用户的预定动作、以及执行与检测预定动作相对应的处理。通过用这种方式设置动作区域MA，信息处理设备100能够通过对成像图像中的部分区域执行图像处理、而不是像根据现有技术的信息处理设备一样对整个成像图像执行图像处理检测用户的动作。因此，与根据现有技术的信息处理设备相比，信息处理设备100能够减少与检测用户预定动作有关的计算负荷，对信息处理设备100也是一样，所以能够防止出现用根据现有技术的信息处理设备会发生的不希望有的情形，比如用户被迫等待不合理的时间量，或者不能实现除了用户界面之外的功能。因此，信息处理设备100能够防止在使用现有技术的技术的情况下会出现的用户方便性的恶化，以及还能够改进用户的可操作性。

此外，信息处理设备100执行与在面部区域FA附近设置的动作区域MA中检测的预定动作相对应的处理，因此与选取整个成像图像以及处理对象的根据现有技术的信息处理设备相比，能够减少由除了与例如面部区域FA相对应的用户之外的人或者对象执行的预定动作的错误检测。因此，与根据现有技术的信息处理设备相比，信息处理设备100还能够改进用户的可操作性。

信息处理设备100执行与预定动作的意思相关联的处理，作为与在面部区域FA附近设置的动作区域MA上检测的预定动作相对应的处理。如上所述，应归于执行与检测动作的意思相关联的处理(考虑可用性的处理)的信息处理设备100，还能够减少用户感觉在用户自己的动作与信息处理设备100执行的处理(或者信息处理设备100使外部设备执行的处理)之间的不一致的可能性。因此，信息处理设备100还能够改进用户的可操作性。

此外，如果确定已经执行预定操作(如果已经检测到预定动作)，则信息处理设备100还能够执行通知用户在信息处理设备100上确定已经执行预定动作的通知处理。此外，如果执行通知处理，则在确定从确定已经执行预定动作开始预定动作连续执行预定周期的情况下，信息处理设备100执行与已经确定的预定动作相对应的处理。现在，通过执行通知处理的信息处理设备100，用户能够领会用户执行的动作已经由信息处理设备100识别，所以通过退出他/她自己的动作，用户能够取消在信息处理设备100上实行与该动作相对应的处理。因此，如果用户想要在用户执行预定动作并且信息处理设备100已经识别此之后取消运行与信息处理设备100的动作相对应的处理，或者甚至如果信息处理设备100碰巧错误地检测到用户执行的动作，例如，则用户能够通过他/她自己的动作控制在信息处理设备100上的与该动作相对应的处理的运行。

因此，通过执行通知处理以及另外有选择地执行与在确定预定动作连续执行预定周期的情况下确定的预定动作相对应的处理，信息处理设备100能够防止应归于错误检测的用户无意识的处理的运行，因此还能够改进用户的方便性以及可操作性。

另外，如果执行与第二可操作性改进途径有关的处理，则在确定不与通信对象设备合作执行处理的情况下，即使确定用户执行预定动作，信息处理设备100也不会执行与确定的预定动作相对应的处理。因此，通过执行与第二可操作性改进途径有关的处理，能够防止出现应归于与正在执行通信的多个信息处理设备的一个信息处理设备上执行的用户动作相对应的处理的不希望有的情形，诸如以上所述。因此，通过执行与第二可操作性改进途径有关的处理，信息处理设备100能够防止恶化通信系统1000中的用户方便性以及改进用户可操作性。

虽然已经用作为本公开实施例的信息处理设备100进行描述，但是本公开的实施例并不局限于该形式。本公开的实施例能够应用于多种设备，比如，诸如PC以及服务器的计算机、诸如电视接收器的显示设备以及标志(signage)设备、诸如蜂窝电话的便携式通信设备、视觉/音频播放器(或者视觉/音频记录器-播放器)、游戏设备、等等。

此外，虽然已经用作为本公开实施例的合作控制服务器200进行描述，但是本公开的实施例并不局限于该形式。本公开的实施例能够应用于多种设备，比如，诸如PC以及服务器等等的计算机。

此外，虽然已经用作为本公开实施例的显示系统500进行描述，但是本公开的实施例并不局限于该形式。本公开的实施例能够应用于能够显示以及成像的多种设备，比如，诸如PC的计算机、诸如电视接收器的显示设备以及信号设备、诸如蜂窝电话的便携式通信设备、等等。注意，根据本公开实施例的显示系统500可以是执行显示的设备以及执行成像的设备的组合。

3.根据本公开实施例的程序

通过用于使计算机起根据本公开实施例的信息处理设备的作用的程序(例如，用于实现与第一可操作性改进途径有关的上述处理(1)(面部区域检测处理)至处理(4)(实行处理)的程序、用于实现与第一可操作性改进途径有关的上述处理(I)(面部区域检测处理)至处理(V)(实行处理)的程序、或者用于实现与第二可操作性改进途径有关的上述处理(i)(面部区域检测处理)至处理(v)(实行处理)的程序)，能够改进用户可操作性。

虽然已经参考附图描述本公开的优选实施例，但是很明显，本公开并不局限于这些示例。对于本领域技术人员来说很明显，在本公开技术范围所包含的权利要求的范围内，当然能够进行各种变更以及修改。

例如，在图18至21中，示出根据本公开第一至第三实施例的信息处理设备100(包括修改)分别具有检测单元108、动作区域设置单元110、动作确定单元112、通知处理单元114、合作确定单元116、以及处理单元118的示例，但是根据本公开实施例的信息处理设备的配置并不局限于以上所述。例如，根据本公开实施例的信息处理设备可以具有作为单个部件形成(例如，用单个处理电路实现)的检测单元108、动作区域设置单元110、动作确定单元112、通知处理单元114、合作确定单元116、以及处理单元118。此外，信息处理设备可以具有集成作为单个部件形成的比如检测单元108以及动作区域设置单元110(例如，用单个图像处理电路实现的图像处理单元)等等的任选部件。另外，例如，信息处理设备可以分别具有用于执行识别信息的记录的信息存储器单元(未示出)。

此外，虽然在以上描述中，说明了提供的用于使计算机起根据本公开实施例的信息处理设备的作用的程序(计算机程序)，但是本公开的实施例还提供与此存储上述程序的存储器介质。

上述配置是对本公开实施例的示例的说明，当然属于本公开的技术范围内。

本公开包含与2010年9月21日在日本专利局提交的日本优先专利申请JP 2010-210778中公开的有关的主题，在此其全部内容通过引用并入。

本领域技术人员应该理解在附加权利要求或者其等价物的范围内，可以取决于设计要求及其他因素而进行多种修改、组合、子组合以及变更。

Claims (20)

1.一种处理设备，包括：

存储器，用于存储检测信息；以及

至少一个处理器，用于检测图像的面部区域、根据该面部区域的该位置设置至少一个动作区域、将与该至少一个动作区域相对应的图像数据和该检测信息进行比较，以便确定是否已经执行预定动作、以及当确定已经执行该预定动作以及由该设备接收合作控制信息时基于该合作控制信息而实行预定处理。

2.根据权利要求1所述的处理设备，还包括通信单元，用于当确定已经执行该预定动作时发送确定通知信息。

3.根据权利要求2所述的处理设备，其中当确定该预定动作已经执行预定时间周期时该通信单元发送确定通知信息。

4.根据权利要求2所述的处理设备，其中该设备在发送确定通知信息之后接收该合作控制信息。

5.根据权利要求1所述的处理设备，其中当确定已经执行该预定动作时该至少一个处理器生成通知。

6.根据权利要求5所述的处理设备，其中该通知是视觉通知。

7.根据权利要求6所述的处理设备，其中该通知包括将该图像显示在显示屏幕上。

8.根据权利要求7所述的处理设备，其中该通知包括叠加通知对象到至少一个动作区域上。

9.根据权利要求7所述的处理设备，其中该通知包括遮盖部分该图像。

10.根据权利要求6所述的处理设备，其中该通知包括显示图标到显示在显示屏幕上的另一图像上。

11.根据权利要求6所述的处理设备，其中该通知包括改变该显示屏幕的外部提供的照明设备的该状态。

12.根据权利要求5所述的处理设备，其中该通知是音频通知。

13.根据权利要求1所述的处理设备，其中该预定动作与该图像的周期成分相对应。

14.根据权利要求13所述的处理设备，其中将与该至少一个动作区域相对应的图像数据和检测信息进行比较包括检测该周期成分是否存在于该至少一个动作区域中以及检测该检测信息是否使该周期成分与该预定动作相关联。

15.根据权利要求1所述的处理设备，其中将与该至少一个动作区域相对应的图像数据与该检测信息进行比较，以便确定是否已经执行预定动作，包括从该面部区域中提取面部信息以及确定是否存在与该面部信息相对应的单个检测信息，以及当存在与该面部信息相对应的单个检测信息时，将与该至少一个动作区域相对应的图像数据和该单个检测信息进行比较，以便确定是否已经执行预定动作。

16.一种处理方法，包括：

检测图像的面部区域；

根据该面部区域的该位置设置至少一个动作区域；

将与该至少一个动作区域相对应的图像数据与检测信息进行比较，以便确定是否已经执行预定动作；以及

当确定已经执行该预定动作以及接收合作控制信息时，基于该合作控制信息而实行预定处理。

17.一种非临时性计算机可读介质，存储用于实施处理方法的计算机可读程序，该处理方法包括：

检测图像的面部区域；

根据该面部区域的该位置设置至少一个动作区域；

将该至少一个动作区域相对应的图像数据与检测信息进行比较以便确定是否已经执行预定动作；以及

当确定已经执行该预定动作以及接收合作控制信息时，基于该合作控制信息而实行预定处理。

18.一种服务器，包括：

通信单元，用于从检测图像的面部区域的处理设备中接收确定通知信息、根据该面部区域的该位置设置至少一个动作区域、将与该至少一个动作区域相对应的图像数据与检测信息进行比较，以便确定是否已经执行预定动作、以及当确定已经执行该预定动作时发送该确定通知信息；以及

至少一个处理器，用于响应接收该确定通知信息执行合作确定处理。

19.一种处理方法，包括：

从检测图像的面部区域的处理设备中接收确定通知信息、根据该面部区域的该位置设置至少一个动作区域、将与该至少一个动作区域相对应的图像数据与检测信息进行比较，以便确定是否已经执行预定动作、以及当确定已经执行该预定动作时发送该确定通知信息；以及

响应接收该确定通知信息执行合作确定处理。

20.一种非临时性计算机可读介质，存储用于执行处理方法的计算机可读程序，该处理方法包括：

从检测图像的面部区域的处理设备中接收确定通知信息、根据该面部区域的该位置设置至少一个动作区域、将与该至少一个动作区域相对应的图像数据与检测信息进行比较，以便确定是否已经执行预定动作、以及当确定已经执行该预定动作时发送该确定通知信息；以及

响应接收该确定通知信息执行合作确定处理。

Images