CN101686329A - 操作输入设备、操作输入方法和程序 - Google Patents

Abstract

操作输入设备、操作输入方法和程序。该操作输入设备包括：身体部分检测单元，接收图像数据，并在该图像数据的图像中检测被摄体的特定身体部分；状态确定单元，针对每个身体部分确定与优先级设置条件对应的特定状态；优先级设置单元，根据确定的结果，为各身体部分设置优先级；操作确定单元，按照根据所述优先级设置的、作为确定对象的身体部分的确定容许度，确定所述身体部分是否执行了与特定操作对应的预定动作；和控制单元，控制操作输入设备，从而使操作输入设备根据已执行了与特定操作对应的特定动作的确定，执行预定操作。

Description

操作输入设备、操作输入方法和程序

技术领域

本发明涉及一种例如响应于操作输入而执行特定处理的操作输入设备及其方法。此外，本发明涉及一种由该操作输入设备执行的程序。

背景技术

日本未审专利申请公报No.2008-72183公开了一种被配置为通过当检测到睁开的两眼之一闭合并且之后两眼再次睁开的动作时释放快门来拍摄静止图像的摄影设备。以这种方式，摄影者通过遥控在希望的定时拍照。

发明内容

例如，希望根据被拍摄人的预定操作的遥控来操作诸如成像设备的设备。另外，希望提供具有高实用性和高可用性的这种设备。

为了解决以上问题，提供了一种具有下述结构的操作输入设备。

根据本发明的实施例，提供了一种操作输入设备，包括：身体部分检测单元，配置为接收通过图像拍摄获得的图像数据，并在与所述图像数据对应的图像中检测拍摄对象的特定身体部分；状态确定单元，配置为当使用身体部分检测单元检测到多个身体部分时，针对每个身体部分确定与优先级设置条件对应的特定状态；优先级设置单元，配置为根据由状态确定单元执行的确定的结果，为各身体部分设置优先级；操作确定单元，配置为按照根据所述优先级设置的、作为确定对象的身体部分的确定容许度，确定由身体部分检测单元检测到的身体部分是否执行了与特定操作对应的预定动作；和控制单元，配置为控制操作输入设备，从而使操作输入设备根据由操作确定单元执行的已执行了与特定操作对应的特定动作的确定，执行预定操作。

利用该结构，确定与通过图像拍摄获得的图像数据中包括的拍摄对象的特定身体部分的动作对应的操作。根据与该操作对应的动作的确定，操作输入设备执行预定操作。也就是说，用户能够通过执行身体部分的动作来遥控该设备。

然后，根据该特定身体部分的预定状态设置优先级，并且当确定了与该操作对应的动作时，反映根据优先级的容许度。藉此，容易地确定与拍摄对象的各部分对应的多个身体部分之中所述特定身体部分的动作，并且难以确定其它身体部分。

利用该结构，获得了能够通过被摄体的动作进行遥控并具有高实用性和高可用性的成像设备。

附图说明

图1是示出根据本发明实施例的数字静止照相机的内部结构示例的框图；

图2是示出与特定操作对应的面部姿态模式的示例的图；

图3是示出与特定操作对应的面部姿态模式的示例的图；

图4是示出与特定操作对应的面部姿态模式的示例的图；

图5是示出面部姿态模式识别处理的示例的图；

图6是示出识别面部姿态模式中的闭眼命令的处理示例的图；

图7是示出识别面部姿态模式中的睁眼命令的处理示例的图；

图8是示出在根据面部大小的对象距离被设置为优先级设置条件的情况下的优先级设置的示例的图；

图9是示出在图像框的中心和面部图像之间的距离被设置为优先级设置条件的情况下的优先级设置的另一示例的图；

图10是示出在图像框中的面部图像的运动速度被设置为优先级设置条件的情况下的优先级设置的另一示例的图；

图11A和图11B是示出在面部表情命令被设置为优先级设置条件的情况下的优先级设置的另一示例的图；

图12是示出在另一面部表情命令被设置为优先级设置条件的情况下的优先级设置的另一示例的图；

图13A至图13D是以时间序列示出根据图8至图12的优先级设置条件的优先级设置的具体示例的图；

图14A至图14C是以时间序列示出根据图8至图12的优先级设置条件的优先级设置的具体示例的图；

图15是示出对应于根据本实施例的面部姿态遥控功能的数字静止照相机的系统结构示例的图；

图16是示出由图15中示出的系统执行的面部表情遥控功能的处理过程示例的流程图；

图17是示出由图15中示出的系统执行的面部表情的通知控制的处理过程示例的流程图；

图18示出了记录面部姿态信息的示例的表；

图19是示出记录面部姿态信息随着时间而变化的示例的图；

图20是示出优先级设置处理的流程图；

图21是示出在运动速度被设置为优先级设置条件的情况下的优先级设置处理的流程图；

图22是示出在面部表情命令被设置为优先级设置条件的情况下的优先级设置处理的流程图；

图23是示出在面部表情模式被设置为优先级设置条件的情况下的优先级设置处理的流程图；

图24是示出对应于本实施例的数字静止照相机的云台的正视图；

图25是示出对应于本实施例的数字静止照相机的云台的后视图；

图26是示出对应于合本实施例的数字静止照相机的云台的左视图；

图27是示出对应于本实施例的数字静止照相机的云台的右视图；

图28是示出对应于本实施例的数字静止照相机的云台的俯视图；以及

图29是示出对应于本实施例的数字静止照相机的云台的仰视图。

具体实施方式

在下文中将按下面的次序描述执行本发明的最佳模式(以下称为“实施例”)。

1、数字静止照相机的结构

2、面部姿态模式的示例

3、面部姿态识别处理的示例

4、优先级设置

5、实现的示例

1、数字静止照相机的结构

图1是示出根据本发明实施例的数字静止照相机1的内部结构的示例的框图。

在图1中，光学系统单元21具有成像透镜组和光圈，成像透镜组包括预定数量的透镜，诸如变焦透镜和对焦透镜。光学系统单元21使用用作成像光的入射光在图像传感器22的光接收面上形成图像。

光学系统单元21例如包括用于驱动变焦透镜、对焦透镜和光圈的驱动机构单元。驱动机构单元的操作通过所谓的照相机控制(诸如变焦(场角)控制、自动对焦控制和自动曝光控制)进行控制。

图像传感器22把通过光学系统单元21获得的成像光转换成电信号，由此执行所谓的光电转换。具体地讲，图像传感器22通过光电转换元件的光接收面接收从光学系统单元21提供的成像光，并在预定定时顺次输出根据接收光的强度而存储的信号电荷。以这种方式，输出与成像光对应的电信号(成像信号)。要注意，用作图像传感器22的光电元件(成像元件)不受特别限制。然而，近年来，已使用例如CMOS传感器或CCD(电荷耦合器件)传感器。要注意，在使用CMOS传感器的情况下，数字静止照相机被构造为使得与图像传感器22对应的CMOS传感器包括与A/D转换器23(将在后面描述)对应的模数转换器。

从图像传感器22输出的成像信号被输入到用于把成像信号转换成数字信号的A/D转换器23，并且继而被提供给信号处理器24。

信号处理器24例如以一个静止图像(帧图像)为单位接收从A/D转换器23输出的数字成像信号，并以一个静止图像为单位对所提供的成像信号执行特定信号处理，从而产生拍摄图像数据(拍摄静止图像数据)，该拍摄图像数据是与一个静止图像对应的图像信号数据。

当使用信号处理器24产生的拍摄图像数据要作为图像信息被记录在作为存储介质的存储卡40中时，与一个静止图像对应的拍摄图像数据被从信号处理器24输出到编码/解码单元25。

编码/解码单元25通过预定静止图像压缩编码方法对从信号处理器24提供的与一个静止图像对应的拍摄图像数据执行压缩编码并在控制器27的控制下添加头部(header)，以获得具有预定格式的压缩拍摄图像数据。将如此产生的拍摄图像数据提供给介质控制器26。介质控制器26在控制器27的控制下把所提供的拍摄图像数据写入并存储在存储卡40中。在这种情况下，存储卡40具有例如符合特定标准的像卡片一样的外观，并用作包括诸如闪存的非易失性半导体存储元件的存储介质。要注意，在用于存储图像数据的存储介质中，可以采用除存储卡以外的类型和格式。

本实施例的信号处理器24能够执行用于在与拍摄图像数据对应的图像中检测作为用作拍摄对象的人的一部分的面部的图像的图像处理(面部检测处理)。以下，将详细描述本实施例的面部检测处理。

数字静止照相机1通过执行与使用信号处理器24获得的拍摄图像数据对应的图像的显示，能够在显示单元33中显示所谓的直通图像，该直通图像是当前正在拍摄的图像。例如，信号处理器24获得如上所述从A/D转换器23输出的成像信号，并产生与一个静止图像对应的拍摄图像数据。通过反复执行该操作，连续产生与运动图像的帧图像对应的拍摄图像数据。然后，在控制器27的控制下，连续产生的拍摄图像数据被提供给显示驱动器32。以这种方式，显示了直通图像。

显示驱动器32根据如上所述从信号处理器24提供的拍摄图像数据产生用于驱动显示单元33的驱动信号，并把驱动信号提供给显示单元33。藉此，显示单元33以静止图像为单位基于拍摄图像数据连续显示图像。从用户的观点看，正在拍摄的图像在显示单元33中被显示为运动图像。即，显示了直通图像。

另外，数字静止照相机1能够再现记录在存储卡40中的拍摄图像数据并在显示单元33中显示与拍摄图像数据对应的图像。

为了实现该操作，控制器27指定拍摄图像数据，并指示介质控制器26从存储卡40读取该数据。响应于该指示，介质控制器26访问存储卡40中指示记录有指定的拍摄图像数据的部分的地址以读取该数据，并把读取的数据提供给编码/解码单元25。

编码/解码单元25在控制器27的控制下从由介质控制器26提供的拍摄图像数据中提取用作压缩静止图像数据的实体数据，并对压缩编码的静止图像数据执行解码处理以获得与单个静止图像对应的拍摄图像数据。然后，编码/解码单元25把拍摄图像数据提供给显示驱动器32。藉此，在显示单元33中再现并显示与记录在存储卡40中的拍摄图像数据对应的图像。

除了直通图像和与拍摄图像数据对应的再现图像之外，显示单元33还显示用户界面图像。在这种情况下，控制器27根据例如操作状态产生与用户界面图像对应的显示图像数据，并把该显示图像数据提供给显示驱动器32。藉此，显示单元33显示用户界面图像。要注意，用户界面图像可以与直通图像和与拍摄图像数据对应的再现图像分别地显示在显示单元33中的显示画面(诸如特定菜单画面)中，并且可以显示为重叠在直通图像或与拍摄图像数据对应的再现图像的一部分上从而与直通图像或再现图像合成。

控制器27在实际使用中包括例如CPU(中央处理单元)，并与ROM 28和RAM 29一起构成微型计算机。ROM 28存储要由控制器27的CPU执行的程序和与数字静止照相机1的操作相关的各种设置信息。RAM 29用作CPU的主存储装置。

另外，在数字静止照相机1中包括用作非易失性存储区的闪存30，用于存储应该根据例如用户操作或操作历史而改变(重写)的各种设置信息。要注意，当将诸如闪存的非易失性存储器用作ROM 28时，ROM 28的部分存储区可以用作闪存30。

操作单元31总体表示数字静止照相机1中包括的各种操作元件和操作信息信号输出部分，其中，操作信息信号输出部分根据使用操作元件之一执行的操作产生操作信息信号并把操作信息信号提供给CPU。控制器27根据从操作单元31提供的操作信息信号执行预定处理。藉此，根据用户的操作，执行数字静止照相机1的操作。

本实施例的数字静止照相机1可以安装在对应于数字静止照相机1的云台10上。云台10能够相对于旋转轴沿平移(横向或水平)方向和倾斜(纵向或垂直)方向旋转。根据这种结构，当在数字静止照相机1安装于云台10上的状态下移动云台10时，数字静止照相机1的视野在水平和垂直方向上改变。

然后，在数字静止照相机1安装于云台10的状态下，数字静止照相机1通过有线或无线方式与云台10通信。因此，数字静止照相机1通过指定平移位置和倾斜位置控制云台10的运动。

数字静止照相机1的云台通信单元34根据预定通信方法与云台10进行通信。在数字静止照相机1安装于云台10的状态下，例如，云台通信单元34具有能够实现以有线或无线方式向云台10的通信单元发送通信信号和从云台10的通信单元接收通信信号的物理层结构、和用于实现通信处理的比物理层更高的特定层的结构。

音频输出单元35在控制器27的控制下输出预定音调和预定语音模式的电子声音。

LED单元36包括例如设置于数字静止照相机1的壳体前表面的LED(发光二极管)和在控制器27的控制下驱动LED以打开或关闭LED的电路单元。

要注意，在图24至图29中示出了本实施例的数字静止照相机1的云台10的的外观的示例。

图24是云台10的正视图。图25是云台10的后视图。图26是云台10的左视图。图27是云台10的右视图。图28是云台10的俯视图。图29是云台10的仰视图。

2、面部姿态模式的示例

本实施例的数字静止照相机1根据在拍摄图像中检测到的面部图像的变化模式执行预定操作。具体地讲，当用户试图使用数字静止照相机1拍摄用户的面部时，用户能够通过把面部表情改变为预定模式，例如通过眨眼或使面部倾斜，来遥控数字静止照相机1的操作。

要注意，以下，用于对数字静止照相机1的操作进行遥控的面部表情的变化称为“面部姿态”。

为了理解面部姿态，在图2至图4中示出了面部姿态的模式(面部姿态模式)的示例。

图2至图4是示意性地示出执行遥控操作的用户(操作者)的面部图像的图。

图2示出这样的面部姿态模式：操作者两眼睁开的状态变为操作者一只眼睛(在此情况下为右眼)闭上的状态，随后变为操作者的闭上的眼睛再次睁开从而两眼都睁开的状态。

图3示出这样的面部姿态模式：操作者两眼睁开的状态变为两眼闭上的状态，随后变为两眼都再次睁开的状态。

图4示出这样的面部姿态模式：在面部不倾斜(即，面部直立向上)时两眼睁开的状态变为一只眼(在此情况下的右眼)闭上的状态，随后变为在该眼闭上的情况下面部向左(向观察者的右侧)倾斜的状态。

例如，如图2至图4所示，考虑了面部姿态包括简单动作(状态)的元素，诸如两眼睁开的动作、一只眼闭上的动作、两眼闭上的动作和面部倾斜的动作。面部姿态模式包括简单动作元素中的至少一个。在面部姿态模式包括多个简单动作元素的情况下，根据预定规则将简单动作元素彼此组合。

然后，把要由数字静止照相机1执行的预定操作分配给如此产生的各个面部姿态模式。也就是说，一个特定的面部姿态模式对应于代表要从遥控设备发送的特定命令的一个命令代码。

要注意，由于简单动作用作构成面部姿态模式(即，命令)的最小单位，所以简单动作称为“单位命令”。

通过使用这种面部姿态的遥控要执行的操作的示例包括：将拍摄的图像记录为静止图像、自拍定时记录、连拍记录、开始和停止将拍摄的图像记录为运动图像、以及打开或关闭闪光灯。

另外，如以下将要描述的，根据面部姿态，故意把分配给各面部图像的面部姿态的优先级设置为高。以这种方式，执行不与关于数字静止照相机1的图像拍摄的动作直接关联的操作。

3、面部姿态识别处理的示例

接下来，将参照图5至图7描述由数字静止照相机1执行的面部姿态模式识别处理的示例。

要注意，作为示例，将描述图2中示出的面部姿态模式对应于使用自拍定时器执行图像拍摄的操作命令的情况。

操作者执行设置，以使操作者的面部包括在数字静止照相机1的图像拍摄视野中并且使面部的方向基本上对应于相对于图像拍摄方向(光学系统的光轴)的正面。在这种情况下，两眼通常睁开。要注意，操作者可以在两眼正常睁开的状态下眨眼。在以下将要描述的本实施例的动作识别处理中，眨眼与作为有意识动作的眼睛的开闭被彼此区分。

根据操作者的状态，在图5中示出的时间点t1，数字静止照相机1从拍摄图像数据中正常识别操作者的面部的图像。在识别面部图像之后，打开LED单元36的LED以向操作者通知面部图像的识别。藉此，操作者认识到如下事实：数字静止照相机1已进入数字静止照相机1接收操作者的面部姿态作为命令的状态。

在打开LED的时间点t1之后的时间点t2，为了使用自拍定时器的图像拍摄，操作者闭上操作者的一只眼。当在时间点t1闭上一只眼之后，操作者保持闭上一只眼0.6秒。然后，数字静止照相机1识别出该闭上一只眼的动作是构成用于遥控的面部姿态模式的简单动作(状态)元素，即单位命令(闭眼命令)。然后，在时间点t3，响应于闭眼命令的识别，数字静止照相机1从音频输出单元35输出用于向操作者通知闭眼命令的识别的声音(通知声音)。

要注意，对于本实施例中的闭眼命令的识别，闭上一只眼的状态应该保持0.6秒以上。以这种方式，该状态区别于由于眨眼而导致闭眼的状态，从而防止把眨眼误认为闭眼命令。要注意，已确定0.6秒的时段对于闭眼命令的识别是合适的(闭眼命令识别时段)，因为0.6是本申请的发明人检查了闭眼命令识别时段之后的结果。然而，0.6秒的时段仅为示例，适合于闭眼命令识别时段的时段不限于此。

当听到如上所述在时间点t3输出的通知声音时，操作者认识到操作者的闭眼动作被作为单位命令接受这一事实。之后，作为构成面部姿态模式的单位命令，操作者睁开已闭上的眼睛。

当眼睛睁开时，数字静止照相机1识别出：睁开眼睛的这个动作是构成用于遥控的面部姿态模式的单位命令(睁眼命令)，如将参照图7所述。响应于此，与在时间点t3的情况一样，数字静止照相机1在时间点t4输出通知声音。在已经执行了面部姿态的这个阶段，数字静止照相机1确定面部姿态模式是由如图2中所示的单位命令的组合构成的，即，由两眼睁开的状态代表的单位命令、一只眼闭上的状态代表的单位命令和两眼睁开的状态代表的单位命令的组合构成。也就是说，根据确定的结果，数字静止照相机1确定在时间点t4已执行了使用自拍定时器的图像拍摄的操作输入。

然后，数字静止照相机1在时间点t4之后待机作为预定自拍定时时段的特定时段(例如，两秒)。在该时段中，操作者可以通过对着数字静止照相机1摆姿势来准备使用自拍定时器的图像拍摄。在自拍定时时段终止的时间点t5，执行将拍摄图像记录为静止图像的操作。

图6是示出为了在闭眼命令识别时段中识别闭眼命令而执行的检测处理的图。

假定操作者在时间点t0闭上操作者的一只眼睛。要注意，数字静止照相机1利用0.1秒的检测时间间隔int来检测与面部姿态对应的面部的状态(面部状态)。另外，将以0.1秒为间隔的面部状态的三次连续检测确定为一组检测。也就是说，如图6所示，一组检测包括第一检测定时Dt1、在第一检测定时Dt1的0.1秒之后执行的第二检测定时Dt2、和在第二检测定时的0.1秒之后执行的第三检测定时Dt3。重复执行该组检测。

在这种情况下，在时间点t0的0.1秒之后的时间点t1以及随后的时间点t2和t3被确定为第一组检测。对于闭眼命令的确定，首先，当在第一组检测中包括的三个检测定时之中的两个以上处确定面部状态是代表操作者的一只眼睛闭上的“闭眼”时，确定眼睛状态是闭眼状态。具体地讲，在图6的情况下，在时间点t3获得代表闭眼状态的第一确定结果(第一闭眼状态确定)。

在包括时间点t1至t3的第一组检测之后，在随后的第二组检测中检测面部状态，第二组检测包括时间点t3的0.1秒之后的时间点t4以及随后的时间点t5和t6。在图6的情况下，在第二组检测中包括的三个检测定时t4至t6中的两个以上处确定面部状态是“闭眼”，从而获得代表闭眼状态的第二确定结果(第二闭眼状态确定)。

识别闭眼命令的条件是获得代表至少连续两组的闭眼状态的确定结果。因此，在图6的情况下，在时间点t6识别了闭眼命令(闭眼命令确定)。

发明人等已认识到，当操作者眨眼时，确定了几乎不能在两个连续的定时检测到闭眼状态。通过执行识别闭眼命令的处理，在本实施例中，能够将故意执行的并对应于闭眼命令的操作者的一只眼睛的动作和短时间无意执行的并对应于眨眼的操作者眼睛的动作基本上可靠地彼此区分。

图7是示出在如图6中所示识别闭眼命令之后识别睁眼命令的处理示例的图。

在图7中，在图6中示出的时间点t6之后经过一定时长来到时间点t7。在时间点t6仍保持的操作者的一只眼睛闭上的状态在时间点t7仍然继续保持。

另外，时间点t7对应于一组检测中的第三检测定时Dt3，因此，确定在时间点t7检测到第(n-1)闭眼状态。这里，识别出在时间点t6首次识别的闭眼命令仍然有效。

另外，由于在包括时间点t7之后的时间点t8至t10的下一组检测中保持了操作者的一只眼睛闭上的状态，所以确定在时间点t10检测到第n闭眼状态。因此，在时间点t10也识别出在时间点t6首次识别的闭眼命令仍然有效。

在时间点t10之后的下一组检测(时间点t11至t13)中，在与时间点t11和t12对应的检测定时Dt1和Dt2识别出一只眼闭上，并识别出在时间点t12之后立即睁开了闭上的眼睛，即操作者的两眼睁开。然后，在与时间点t13对应的检测定时Dt3，将两眼睁开确定为面部状态。

对于睁眼命令，如果在包括时间点t11至t13的这组检测中的三个检测定时中的至少一个检测到两眼睁开的状态，则这组检测被识别为睁眼命令。

如上所述，当检测到在至少连续两个检测定时检测到闭眼状态的连续两组检测时，识别出闭眼命令。

另一方面，当检测到在至少一个检测定时检测到睁眼状态的一组检测时，识别出睁眼命令。发明人等已确认，当设置以上条件时，在图7的条件下能够以高精度识别睁眼命令。因此，由于识别睁眼命令的时长短，所以数字静止照相机1响应于使用面部姿态的命令的响应速度变快。

4、优先级设置

在由数字静止照相机1执行的面部姿态识别处理中，如果在拍摄图像的图像框中检测到一个面部图像，则仅识别该面部图像，这很简单。

然而，如果拍摄了多个拍摄对象并因此在图像框中检测到多个面部图像，则出现如下问题。

如以上参照图2所述，根据本实施例的构成面部姿态模式的要素(单位命令)包括：一只眼睛闭上的动作、两眼睁开的动作和面部倾斜的动作。然而，人们可能无意识地执行这些动作。因此，如果除操作者之外的被拍摄人无意识地执行与对应于特定操作的特定面部姿态对应的动作，则数字静止照相机1会响应于该面部姿态而操作。即，如果拍摄多个人，则除操作者之外的一个人可能通过执行这种动作而无意识地操作数字静止照相机1，数字静止照相机1执行不希望的操作，这是不方便的。因此，在本实施例中，如下解决这个缺点。

即，如果在拍摄图像的图像框中检测到多个面部图像，则本实施例的数字静止照相机1根据下面的条件把优先级(优先次序)分配给这些面部图像。另外，根据设置的优先级，能够改变针对每个面部图像的使用面部姿态的操作的确定或识别的容易程度(确定容许度)。

参照图8到图12，将描述用于评价在图像框中检测出的面部图像的优先级的条件的示例。要注意，在图8到图12中，为了简化描述，将描述在图像框300中检测到两个面部图像的情况作为示例。

在图8示出的图像框300中，检测到两个面部图像A和B。在图像框300中，面部图像A比面部图像B大。例如，为了简化描述，假定与面部图像A和B对应的实际面部具有相同的大小。在这种情况下，在图8中，比面部图像B大的面部图像A具有比面部图像B的对象距离小的对象距离，也就是说，与面部图像B相比，与面部图像A对应的面部距离数字静止照相机1更近。对象距离指的是数字静止照相机1到拍摄对象之间的距离。在与面部图像对应的多个人(拍摄对象)之中，很可能操作者距离数字静止照相机1更近。因此，在本实施例中，作为优先级设置的第一条件，对象距离越小，即图像框300中的面部图像越大，分配的优先级越高。在图8的情况下，面部图像A具有比面部图像B高的优先级。

然而，在实际使用中，图像框中所包括的对象(面部)可能是成人和儿童或者男人和女人。通常，成人的面部比儿童的面部大，男人的面部比女人的面部大。在组合包括了这样的各种类型的面部的情况下，如果仅根据图像框中包括的面部图像的大小设置优先级而不考虑实际面部尺寸的差异，则可能无法反映正确的对象距离。

因此，当根据面部框中包括的面部图像的大小设置优先级时，如以下所述，根据诸如与检测出的面部图像对应的面部的年龄和性别的特征来修改面部大小并对其进行正规化，并且基于修改的面部图像的大小设置对应于对象距离的优先级。

在图9示出的图像框300中，示出了垂直通过水平宽度的中心的虚拟分割线Ly和垂直通过垂直高度的中心的虚拟分割线Lx。这里，分割线Ly和Lx的交点被确定为图像框300的中心。

在本实施例中，作为更靠近图像框300的中心的面部图像，该面部图像很可能对应于操作者的面部。因此，对于图像框300中包括的面部图像的位置，将更高的优先级分配给更靠近图像框300的中心的面部图像。

在图9的情况下，由于面部图像B比面部图像A更靠近图像框300的中心，所以分配给面部图像B的优先级比分配给面部图像A的优先级高。

例如，在针对图像框中检测到的图像观察了连续的多个帧周期的情况下，能够检测到图像框中面部图像的位置的变化，即面部的移动。

在图10中，作为这种移动检测的结果，在图像框300中检测到的面部图像A和B之中，面部图像B保持静止而面部图像A已移动。

对于与面部(对象)对应的面部图像的这种移动，与移动较小的面部图像对应的面部很可能对应于操作者的面部。因此，对于面部图像的移动，面部图像的移动越小，优先级越高。在图10的情况下，分配给面部图像B的优先级比分配给面部图像A的优先级高。

图11A示出在特定时间获得的图像框300中包括的图像，图11B示出在图11A的该特定时间的一定时间后的图像框300中包括的图像。

在图11A中，两眼睁开的面部图像A的状态变为一只眼睛(在本实施例中的右眼)闭上的状态，而两眼睁开的面部图像B的状态没有改变。在图11B中，图11A中示出的一只眼睛闭上的面部图像B的状态在获得图11A的图像之后保持了一定时间。

例如，根据参照图8到图10描述的条件，为了向操作者的面部图像分配最高优先级，通常，操作者移动得比其它被拍摄人更靠近数字静止照相机1，操作者移动以便在比其它被拍摄人更靠近图像框的中心的位置被拍摄，或者操作者尽可能静止不动。在图11A和图11B示出的优先级设置的示例中，要求操作者的积极面部动作。

也就是说，在图11A和图11B的示例中，首先，与预定面部姿态对应的操作被确定为优先动作。然后，将高优先级分配给按时间序列首先执行与优先动作对应的面部姿态的面部图像。

具体地讲，例如，在图11A和图11B中，优先动作对应于一只眼睛闭上的面部姿态。因此，在图11A和图11B的情况下，虽然面部图像A和B都具有一只眼睛闭上的面部姿态，但与面部图像A对应的面部比与面部图像B对应的面部更早地执行一只眼睛闭上的动作。因此，将高优先级分配给面部图像A。

在图12中，虽然在图像框300中检测到的面部图像A和B之中面部图像B的两眼睁开并且没有特别地执行面部姿态，但是面部图像A的一只眼(在本实施例中的右眼)闭上并且通过使面部向左倾斜来执行面部姿态。

此外，在图12示出的该示例中，要求操作者的积极面部动作作为条件。也就是说，在图12示出的示例中，将高优先级分配给首先执行被确定为优先动作的预定面部姿态模式的面部图像。

在图12的情况下，在一只眼睛闭上的同时面部向左倾斜的面部姿态模式被确定为优先动作。因此，在图12的情况下，将高优先级分配给面部图像A。

要注意，在要求操作者执行如图12中所示的面部姿态模式的情况下，当与图11A和图11B的情况相比时，操作者具有更强的作为操作者的意愿。

因此，在图12的情况下，例如，适于对执行与优先操作对应的面部姿态模式的面部图像分配比图11的情况更高的优先级。

要注意，对于图8到图12中示出的情况，定义了共同的前提。即，面部的方向是正面，即从基本上正面面对数字静止照相机1的成像光学系统的面部被确定为被分配优先级的对象。

难以识别面对除正面以外的方向的面部的面部姿态。因此，面对除正面以外的方向的(被拍摄人的)面部对应于操作者的可能性很低。因此，在本实施例中，设置了上述前提。

将参照图13和图14详细描述根据参照图8到图12描述的条件的优先级设置的示例。

首先，图12的面部图像A的面部姿态模式被确定为优先操作。另外，如参照图5所述，由一系列面部姿态命令(即，代表睁开的一只眼睛闭上并且两眼再次睁开的命令)构成的面部姿态模式被确定为对应于指示使用自拍定时器的图像拍摄的操作。接下来，在图像框中检测到的面部图像A和B之中，面部图像A执行图12中示出的面部姿态模式以成为姿态识别对象，并且作为姿态识别对象的面部图像A根据指示使用自拍定时器的图像拍摄的操作，执行面部姿态模式。

图13A到图14C以此次序按时间序列示出在图像框300中检测到的两个面部图像A和B。要注意，在本实施例中，实际面部的大小与面部图像A和B的大小相同。

首先，在图13A中，在面部图像A和B中两眼睁开。面部图像A和B的大小彼此相同，因此，面部图像A和B的对象距离彼此相同。另外，面部图像A和B的位置没有变化。

在这种情况下，根据面部图像A和B相对于图像框的中心的距离的条件设置优先级。在图13A中，面部图像A比面部图像B更靠近图像框的中心，因此，分配给面部图像A的优先级比分配给面部图像B的优先级高。

这里，将优先级20分配给面部图像A，并将优先级0分配给面部图像B。要注意，优先级的值越大，设置的优先级越高。

假定图13A中示出的状态在一定时间后变为图13B中示出的状态。在图13B中，面部图像A的操作者的一只眼睛(在本实施例中的右眼)闭上，这是与优先动作对应的面部姿态。然而，面部图像B的两眼仍睁开。面部图像B的这个状态与图13A中的状态相同。

在这种情况下，分配给面部图像A的优先级比分配给面部图像B的优先级高，如参照图11A和图11B所述。在图13B中，通过把优先级50加到图13A的面部图像A的优先级20，把优先级70分配给面部图像A，面部图像B的优先级与图13A中的情况相比不变，也就是说，面部图像B具有优先级0。

接下来，在图13C中，面部图像B的两眼仍睁开，与图13A中的情况相比不变。另一方面，在一只眼保持闭上的同时，面部图像A在图13C中向左倾斜。

面部图像A的这个变化对应于执行如图12中所示的与优先操作对应的特定面部姿态模式的情况。在这种情况下，把优先级50加到图13B的面部图像A的优先级，从而把优先级120分配给面部图像A。面部图像B的优先级仍然是0。

数字静止照相机1根据设置的优先级确定要成为姿态识别对象的面部图像。要成为姿态识别对象的面部图像是设置为要由数字静止照相机1识别与特定操作对应的面部姿态模式的对象的面部图像。

如果例如在多个面部图像中不包括具有100以上的优先级的面部图像，则确定所有这多个面部图像对应于姿态识别对象。

另一方面，如果所述多个面部图像之一具有100以上的优先级，则仅把具有100以上的优先级的面部图像设置为姿态识别对象，其它面部图像不是姿态识别对象。也就是说，姿态识别对象仅被固定为具有100以上的优先级的一个面部图像。姿态识别对象被固定，直到其优先级变为小于100。

要注意，即使在如上所述姿态识别对象被固定的时段(识别对象固定时段)中，也根据图8至图12中示出的操作对图像框中检测出的所有面部执行优先级设置。因此，在识别对象固定时段中，除已被确定为姿态识别对象的面部图像以外的面部图像也可具有100以上的优先级。然而，在姿态识别对象设置时段中，仅首先设置为姿态识别对象的面部图像被固定确定为姿态识别对象，其它面部图像不被确定为姿态识别对象，不管这些面部图像的优先级是否达到100。

这里，将确认在图13A至13C中执行的姿态识别对象的设置。

在图13A中，将优先级20分配给面部图像A，将优先级0分配给面部图像B，这些优先级小于100。也就是说，不包括具有100以上的优先级的面部图像。在这种情况下，所有的面部图像被设置为姿态识别对象。与图13A中的情况一样，在图13B中，所有的面部图像被设置为姿态识别对象。

在图13C中，面部图像A具有优先级120，而面部图像B具有优先级0。因此，在这种情况下，仅面部图像A被设置为姿态识别对象，而面部图像B不被设置为姿态识别对象。

在图13C的状态的一定时间后获得的图13D中，面部图像A的优先级从120减小到100。这是因为根据面部图像A到图像框的中心的距离和面部图像B到图像框的中心的距离之间的相对差获得的负优先级-20被加到面部图像A的优先级。然而，由于面部图像A仍然具有大于等于100的优先级，所以面部图像A保持作为在图13C的定时设置的姿态识别对象的设置，也就是说，该设置有效。

另外，在图13D中，由于面部图像B移动靠近图像框300的中心，所以优先级20被加到面部图像B的优先级0，因此，面部图像B具有优先级20。然而，由于面部图像A仍然被设置为姿态识别对象，所以面部图像B保持不被设置为姿态识别对象的状态。

图14A示出在图13D的状态的一定时间后的图像框300的状态。

图14A示出两眼睁开的状态变为一只眼睛闭上的状态的面部图像A的面部姿态。数字静止照相机1识别该闭上一只眼的操作，即闭眼命令。因此，由于加上50的优先级，所以面部图像A的优先级从100增加到150，并且保持作为姿态识别对象的固定设置。在这种情况下，面部图像B的优先级20不变，并且面部图像B保持不被设置为姿态识别对象的状态。

在图14A的状态的一定时间后获得的图14B示出的图像框300示出从面部图像A的一只眼睛闭上的状态变化而来的在执行睁开两眼的操作之后的状态。藉此，数字静止照相机1将该操作识别为睁眼命令。

这里，面部图像A和B的优先级不变，即，与图14A中的优先级相同，并且类似于图14A的情况，面部图像A被设置为姿态识别对象，而面部图像B不被设置为姿态识别对象。

然后，在图14A和图14B示出的操作流程中，面部图像A的两眼睁开的状态变为面部图像A的一只眼睛闭上的状态，并变为面部图像A的两眼再次睁开的状态。这一系列的状态代表与指示使用自拍定时器的图像拍摄的操作对应的面部姿态模式。当识别出该面部姿态模式时，数字静止照相机1执行使用自拍定时器的图像拍摄的操作。

当使用自拍定时器的图像拍摄的操作终止时，获得图14C中示出的状态。当使用自拍定时器的图像拍摄终止时，首先，面部图像A的优先级被重新设置为0。也就是说，当响应于与面部姿态模式对应的操作而执行的操作终止时，经受了与面部姿态模式对应的操作的面部图像的优先级被重新设置为0。诸如图像框中的面部图像的位置的各条件与图14B中的相同，因此，把与在图14B中分配的优先级相同的优先级20分配给面部图像B。以这种方式，在图14C中，面部图像A和B都被确定为姿态识别对象。

5、实现的示例

接下来，将描述如上所述根据面部姿态实现遥控(面部姿态遥控)的技术构成示例。

图15是示出符合根据实施例的面部姿态遥控功能的数字静止照相机1的系统结构示例的图。

图15中示出的系统结构包括：信号处理器24，包括面部检测器61和面部图像产生器62；控制器27，包括面部信息评价单元71、优先面部评价单元72和遥控操作控制器73；音频输出单元35；和LED单元36。

图16是示出由图15中示出的系统执行的基本处理过程的流程图。将参照图16中示出的流程图描述图15中示出的单元的功能。

在图16的步骤S101中，信号处理器24的面部检测器61接收由图像拍摄部分(包括光学系统单元21和图像传感器22)拍摄并通过A/D转换器23传送的图像数据，并对该图像数据执行面部图像检测处理。具体地讲，在与图像数据对应的图像框中检测识别为面部的图像部分(面部图像部分)。

作为面部图像检测处理的结果，获得关于图像框中检测到的面部图像部分的位置(重心)的信息和关于检测到的面部图像部分的大小的信息。面部检测器61把作为面部检测信息的信息提供给面部图像产生器62。

要注意，已知可以应用于面部检测器61的多个面部检测系统或多个面部检测方法。然而，在本实施例中采用的方法不受特别限制，考虑到检测精度和设计难度，可以采用任何方法。

面部图像产生器62接收图像数据和从面部检测器61提供的面部检测信息。在步骤S102中，面部图像产生器62使用由面部检测信息代表的关于面部图像部分的位置的信息和关于面部图像部分的大小的信息，执行从图像数据的帧图像区域中提取与面部图像部分对应的区域的处理。要注意，从帧图像区域提取的区域称为“面部图像区”。

面部图像产生器62把图像数据的面部图像区和相应的面部检测信息提供给控制器27的面部信息评价单元71。

由信号处理器24执行的面部检测处理通过使用DSP(数字信号处理器)的图像信号处理来实现，即通过提供给DSP的程序和指令来实现。因此，信号处理器24中包括的面部检测器61和面部图像产生器62也通过DSP来实现。

在步骤S103中，面部信息评价单元71使用接收的面部图像区的数据，执行评价(估计)面部图像区中包括的面部图像的特征值的处理。要注意，当检测到多个面部图像时，对所述多个面部图像之一执行步骤S103中的评价处理。

要评价和估计的面部特征值的示例包括：眼睛的开闭状态、嘴的开闭状态、年龄、性别、面部方向、面部倾斜和对象距离。

对于眼睛的开闭状态的评价，确定眼睛是睁开的还是闭上的。

对于嘴的开闭状态的评价，确定嘴是张开的还是闭上的。

对于年龄，从预定年龄范围估计年龄。在本实施例中，例如，作为最小要求，使用包括成人范围和儿童范围的两个年龄范围估计年龄。

对于性别，确定人是男人还是女人。

对于面部方向，在将面对数字静止照相机1的方向确定为正面的同时确定面部面对的方向。在本实施例中，作为最小要求，确定面部是否基本上面对正面。

对于面部倾斜，例如，确定参照图4描述的面部倾斜。例如，确定面部图像是处于不倾斜的直立状态、向左倾斜的状态还是向右倾斜的状态。

对于作为如图8所示的数字静止照相机1到被摄体之间的距离的对象距离，在本实施例中，如参照图8所述，可以使用图像框中包括的面部图像区的大小来估计对象距离。为了获得高精度的对象距离，根据估计的年龄修改面部图像区的大小并对其进行正规化。之后，使用该大小获得对象距离。要注意，作为评价处理的结果获得的信息称为“面部特征值信息”。

要注意，可以使用用于成像设备的对焦控制的距离测量方法和结构来获得对象距离。这种距离测量方法的示例包括采用泛光的三角测距法的主动方法、以及被动方法。

在步骤S103中执行评价一个面部图像的面部特征值的处理之后，在步骤S104中，面部信息评价单元71确定是否已评价了所有检测到的面部图像。当在步骤S104中的确定是否定时，处理返回至步骤S103，并对下一面部图像区执行评价面部特征值的处理。另一方面，当在步骤S104中的确定是肯定时，由于对所有面部图像区已进行了评价处理，所以通过评价处理获得的每个面部图像区的面部特征值信息被提供给优先面部评价单元72。也就是说，处理从步骤S104前进至步骤S105。

在步骤S105中，优先面部评价单元72根据从面部信息评价单元71接收的面部特征值信息，确定是否获得了至少一个有效的面部特征值信息。例如，在实际使用中，即使通过面部检测处理检测到面部图像，与提取的面部图像区的数据对应的图像也会不清楚，因此，可能没有获得有效的面部特征值信息。当没有获得有效的面部特征值信息时，在后面的处理中无法适当地识别面部姿态。

当在步骤S105中的确定为否定时，处理返回至面部检测器61执行面部检测处理的步骤S101。另一方面，当在步骤S105中的确定为肯定时，处理前进至步骤S106。

在步骤S106中，优先面部评价单元72执行为与有效的面部特征值信息对应的面部图像设置优先级(优先次序)的处理。

将参照图17至图23描述设置优先级的处理过程的示例。使用参照图8至图12描述的设置条件中的至少一个设置优先级。

在步骤S107中，遥控操作控制器73根据设置的优先级选择成为姿态识别对象的面部图像区。然后，对选择为姿态识别对象的面部图像区执行识别与面部姿态对应的动作的处理。在该识别处理中，执行使用参照图6和图7描述的方法的闭眼状态确定和睁眼状态确定。

在步骤S108中，遥控操作控制器73确定该面部图像区中的动作(面部姿态)是否满足与特定操作对应的模式条件。也就是说，遥控操作控制器73确定作为步骤S107中的姿态识别处理的结果是否获得了与特定操作对应的面部姿态模式。

当在步骤S108中的确定为否定时，处理前进至步骤S111，在步骤S111中，执行存储在步骤S103中获得的有效面部特征值信息的处理。特征值信息可以记录(写)在例如RAM 29中。

当根据图10中示出的面部图像的运动速度或图11和图12中示出的面部姿态条件在步骤S106中设置优先级时，应该检测时间轴上的面部图像区的变化。对于该检测，不仅使用关于当前检测的面部图像区的信息，还使用关于在时间上而言先前的面部图像区的信息。执行步骤S111的操作从而存储关于在时间上而言先前的面部图像区的信息。

在步骤S111的操作之后，优先面部评价单元72在步骤S112中执行如下处理：根据在步骤S106中为各面部图像设置的优先级，改变与图16中示出的处理相关的预定参数的设置。

以下，将描述在步骤S112中要改变的参数和改变参数的方法。通过执行步骤S112中的操作，根据当前设置的优先级对图16中示出的处理进行优化。藉此，例如，获得了操作者的误识别的低可能性，提高了面部姿态遥控的可靠性。

当在步骤S108中的确定为肯定时，处理前进至步骤S109。

在步骤S109中，遥控操作控制器73控制数字静止照相机1，使得响应于使用在步骤S108中识别的面部姿态模式的操作而执行适当的操作。

然后，在响应于该操作而执行的处理结束之后，处理前进至步骤S110，在步骤S110中，将用作姿态识别对象的面部图像区中设置的优先级重新设置为0。

之后，在适当的情况下执行其它例程，并再次执行从步骤S101开始的处理。

图17是示出与图16的处理并行的由优先面部评价单元72和遥控操作控制器73重复执行的通过声音或通过打开LED进行通知的处理的流程图。

在步骤S201中，优先面部评价单元72根据在步骤S201中从面部信息评价单元71提供的面部特征值信息的内容，确定是否已获得至少一个有效的面部特征值信息。步骤S201中的操作与步骤S105中的操作相同，因此，步骤S105中的操作的结果能够用于步骤S201。

当在步骤S201中的确定为否定时，处理前进至步骤S205，在步骤S205中，控制关闭LED单元36的LED。然后，图17的处理终止，并且处理在适当的定时返回至步骤S201。

另一方面，当在步骤S201中的确定为肯定时，在步骤S202中打开LED单元36的LED，然后，处理前进至步骤S203。藉此，实现与图5的时间点t1的操作对应的打开LED的操作。

在步骤S203中，遥控操作控制器73确定面部图像区的动作(面部姿态)是否满足与面部姿态对应的命令(例如，图5中的闭眼命令或睁眼命令)的要求。

当在步骤S203中的确定为否定时，图17的处理终止，并且处理在适当的定时返回至步骤S201。

另一方面，当在步骤S203中的确定为肯定时，处理前进至步骤S204，在步骤S204中，输出操作接收声音。以这种方式，如图5所示在时间点t3以及在时间点t4输出通知声音。

接下来，将详细描述在图16的流程图的步骤S106中执行的优先级设置处理。

在描述之前，在图18中示出在图16的步骤S111中记录的面部特征值信息的示例。要注意，在图16的步骤S111中记录的面部特征值信息称为“记录面部特征值信息”，以便与在步骤S103中获得的当前时间(当前检测定时)的面部特征值信息(当前面部特征值信息)区别。

图18示出检测定时t1至tn的在步骤S111中记录的记录面部特征值信息。这些检测定时之一对应于执行从图16的步骤S101至步骤S112的一个序列的定时，也就是说，对应于在图6和图7中示出的一个检测定时Dt。

每个检测定时的记录面部特征值信息包括诸如以下的信息项：“面部ID”、“面部位置”、“面部大小”、“眼睛状态”、“嘴状态”、“年龄”、“性别”、“面部方向”、“面部倾斜度”和“对象距离(距离)”。

“面部ID”是被唯一地分配给检测到有效的面部特征值信息的面部图像区的识别符。这里，将从1开始的编号按照升序分配。要注意，“面部位置”、“面部大小”、“眼睛状态”、“嘴状态”、“年龄”、“性别”、“面部方向”、“面部倾斜度”和“对象距离”与分配了“面部ID”的面部图像关联。

“面部位置”代表在图像框中检测到的相应面部图像区的位置。例如，  “面部位置”由针对面部框设置的x和y坐标表示。

“面部大小”代表图像框中的相应面部图像区的大小。

“眼睛状态”是代表在相应面部图像区中检测到的眼睛的状态是睁开状态还是闭合状态的信息。要注意，当确定至少一只眼处于闭合状态时，眼睛状态被确定为闭合状态。

“嘴状态”是代表在相应面部图像区中检测到的嘴的状态是张开状态还是闭合状态的信息。

“年龄”代表在相应面部图像区中确定的年龄。这里，“年龄”由与年龄对应的数值表示。

“性别”代表在相应面部图像区中确定的性别，即男性或女性。

“面部方向”代表在相应面部图像区中检测到的面部方向，在这里代表面部面正面、右方还是左方。

“面部倾斜度”代表面部的倾斜并由度数来表示。当代表倾斜度的值是0时，面部面向正面。随着代表倾斜度的负值或正值的绝对值变大，向左或向右的倾斜的程度变大。

“对象距离”在本实施例中以cm为单位进行表示。

在步骤S111中，例如，关于图18中示出的结构的信息被记录为在步骤S103中当前获得的有效面部特征值信息。要注意，作为步骤S111中的记录的方法，例如，通过重写当前面部特征值信息而去除在先前检测定时在步骤S111中记录的记录面部特征值信息。另选地，可以存储在当前检测定时之前获得的预定数量的面部特征值信息，并且可以用当前面部特征值信息替换最旧的面部特征值信息。

以这种方式，通过存储先前的面部特征值信息作为记录面部特征值信息，能够将在当前检测定时获得的面部特征值信息与先前的面部特征值信息进行比较。藉此，能够识别面部动作的变化。

例如，图19示出在检测定时t1至t6提取的与“面部ID”1对应的面部特征值信息的“眼睛状态”的项目。要注意，检测定时t1至t6分别对应于检测定时Dt1、Dt2、Dt3、Dt1、Dt2和Dt3。

通过按时间序列识别“眼睛状态”的检测结果，在这种情况下，例如，确定在检测定时t1至t3检测到睁眼状态。在检测定时t4和t5检测到闭眼状态，并且在检测定时t6检测到睁眼状态。这里，检测定时t4至t6对应于检测定时Dt1至Dt3。因此，根据参照图6的描述，在与检测定时t4至t6对应的时段中检测到闭眼状态。

图20是示出在图16的步骤S106中由优先面部评价单元72执行的优先级设置处理的流程图。

在步骤S301中，根据在步骤S103中当前获得的有效面部特征值信息(当前面部特征值信息)，优先面部评价单元72使用该有效面部特征值信息，根据预定优先级设置条件，针对获得了当前面部特征值信息的每个面部图像，根据预定规则设置要加到优先级的相加值。然后，获得的相加值被加到已设置给面部图像的优先级，由此执行优先级的改变。

在步骤S301中设置相加值时能够使用的优先级设置条件是在图8至图12中描述的各条件之中的图8中示出的基于面部图像区的大小的对象距离或图9中示出的面部图像相对于图像框的中心的距离差。

在步骤S301中，例如，使用对象距离或相对于图像框的中心的距离差能够获得相加值。另选地，可以针对各优先级设置条件获得相加值，并且获得的相加值可以被加到已设置的优先级。

在步骤S302中，确定当前是否存储了记录面部特征值信息。

当在步骤S302中的确定为否定时，跳过步骤S303至步骤S305，并且处理前进至步骤S306。另一方面，当在步骤S302中的确定为肯定时，执行步骤S303至步骤S305的操作，之后，处理前进至步骤S306。

执行下面描述的步骤S303至步骤S305的操作以根据应该检测并识别面部图像区的时间序列变化的优先级设置条件(诸如，图10中示出的与面部的动作的速度相关的条件或图11和图12中示出的与面部姿态相关的条件)来评价优先级。

另外，下面描述的步骤S303至步骤S305的操作是在图10、图11和图12中示出的优先级设置条件共有的上位概念。将参照图21至图23详细描述针对图10、图11和图12中示出的各优先级设置条件的优先级评价处理。

在步骤S303中，将当前面部特征值信息的预定信息项与记录面部特征值信息的信息项进行比较，并且存储比较的结果。要注意，根据用于优先级评价的优先级设置条件，要比较的信息项的类型和数量是不同的。

在步骤S304中，根据在步骤S303中获得的比较结果，检测与面部图像区中的面部图像对应的面部的动作。

要注意，根据用于优先级评价的优先级设置条件，在步骤S304中用于检测变化的动作的类型也是不同的。

在步骤S305中，根据在步骤S304中检测到的动作的结果针对各面部图像获得相加值，并且将相加值加到已设置的优先级，从而更新了优先级。

在步骤S306中，确定是否包括具有比图13和图14中描述的阈值高的优先级的面部图像。当在步骤S306中的确定为肯定时，将具有比阈值高的优先级的面部图像设置为姿态识别对象，如参照图13和图14所述。

当如上所述设置了姿态识别对象时，仅根据与用作姿态识别对象的面部图像区对应的面部的动作，执行步骤S108中的确定。

另一方面，当在步骤S306中的确定为否定时，执行步骤S308中的操作，并且图20中示出的处理终止。

在步骤S308中，如果包括了已设置为姿态识别对象的面部图像，则取消姿态识别对象的设置。

图21是示出图20中示出的步骤S303至步骤S305的操作，即基于参照图10描述的运动速度的优先级设置条件根据面部图像区中的时间序列动作的变化的优先级评价处理的流程图。

在步骤S401中，从根据预定次序选择的记录面部特征值信息中提取关于面部位置的信息(记录面部位置信息)。也就是说，获得关于面部图像中的前一面部位置的信息。

在步骤S402中，从在步骤S103中当前获得的有效面部特征值信息中提取关于面部位置的信息(当前面部位置信息)。也就是说，获得关于当前面部位置(即，最新的面部位置)的信息。

在步骤S403中，计算由记录面部位置信息代表的位置和由当前面部位置信息代表的位置之间的位移差，并且在步骤S404中，根据该位移差获得面部的运动速度。

在步骤S405中，确定是否获得了所有面部的运动速度。当在步骤S405中的确定为否定时，处理返回至步骤S401以便获得下一个面部的运动速度。

另一方面，当在步骤S405中的确定为肯定时，处理前进至步骤S406。

在步骤S406中，将通过前述处理获得的面部的运动速度彼此比较，以便根据运动速度设置与面部对应的面部图像的次序。然后，在步骤S407中，根据预定规则，例如，为面部图像设置相加值，从而使得当运动速度减小时相加值变大，并且将设置的相加值加到优先级以便更新优先级。

图22是示出图20中示出的步骤S303至步骤S305的操作，即参照图11描述的当与可以包括在面部姿态模式中的动作元素之一(例如，在图6和图7中识别的闭眼命令和睁眼命令)对应的面部动作被设置为优先级设置条件时的优先级评价处理的流程图。

在步骤S501中，根据记录面部特征值信息，在当前检测定时之前的上一检测定时首先满足优先动作条件的面部图像(与执行确定为优先动作的动作的面部对应的面部图像)将被检测。对于该检测，例如，应该存储在该上一检测定时以及该定时之前获得的预定数量的记录面部特征值信息项，并且如图19所示检查在记录面部特征值信息中包括的必要信息项的变化。例如，如果采用了图11示出的优先动作条件，则通过检查在记录面部特征值信息中包括的“眼睛状态”的时间序列动作来确定是否获得了与按顺序的闭眼命令和睁眼命令对应的动作。对所有面部图像执行这种确定。

在步骤S502中，根据步骤S501中的确定的结果，确定是否包括完成满足优先动作条件的动作的面部。当在步骤S502中的确定为肯定时，在前一检测定时已在后述的步骤S505中执行了根据已满足优先动作条件的事实的优先级的相加。因此，图22的处理终止，并且处理前进至图20的步骤S306。

另一方面，当在步骤S502中的确定为否定时，处理前进至步骤S503。

在步骤S503中，根据记录面部特征值信息和当前面部特征值信息，确定是否包括在此次的检测定时(当前检测定时)动作首先满足优先动作条件的面部。

当在步骤S504中的确定为否定时，图22的处理终止，并且处理前进至图20的步骤S306。因此，在当前检测定时不存在优先级被相加(改变)的面部图像。

另一方面，当在步骤S504中的确定为肯定时，处理前进至步骤S505。

在步骤S505中，预定相加值被加到与在当前检测定时被确定为首先满足优先动作条件的面部对应的面部图像的优先级，从而把高优先级分配给该面部图像。

图23是示出在与参照图12描述的特定面部姿态模式对应的面部的动作被确定为优先动作条件的情况下与图20的步骤S303至步骤S305的操作所对应的优先级评价处理的流程图。

在步骤S601和步骤S602中，根据记录面部特征值信息和当前面部特征值信息检测所有面部的动作。

之后，在步骤S603中，确定是否包括执行与设置为优先动作条件的面部姿态模式对应的动作的面部。

当在步骤S603中的确定为否定时，图23的处理终止并且处理前进至图20的步骤S306。另一方面，当在步骤S603中的确定为肯定时，处理前进至步骤S604。

在步骤S604中，预定相加值被加到在当前检测定时被确定为满足该面部姿态模式的优先动作条件的面部的优先级，从而把高优先级分配给该面部图像。

对于图20的步骤S303至步骤S305的操作，可以采用图21至图23中示出的任何一种处理操作。另外，可以组合使用图21至图23中示出的处理操作中的两种或更多种的处理操作以实现步骤S303至步骤S305的操作。当组合使用多个优先级设置条件时，获得优先级设置的高可靠性。

接下来，将详细描述在图16的步骤S112中执行的与设置的优先级对应的参数的设置的第一至第三示例。

在第一示例中，对于具有比预定级别高的优先级的面部图像，减小与重复执行的一个检测定时对应的、图16的步骤S101至步骤S112的处理的开始时间之前的间隔(检测时间间隔)。也就是说，在这种情况下，改变用作参数的检测时间间隔。

当针对具有高优先级的面部图像减小检测时间间隔时，能够减少用于识别具有高优先级的面部图像的面部姿态的时长。因此，迅速地获得面部姿态识别的结果。

在第二示例中，当要检测与优先动作对应的面部的动作时使用的阈值被设置为可以根据优先级而改变。

当要检测参照图6和图7描述的每个检测定时的动作(状态)时，对于要检测的特定动作已设置了用于检测的阈值。例如，对于闭眼状态的检测，首先，基于数值检测睁眼程度。当代表睁眼程度的数值小于等于阈值时，输出代表闭眼状态的检测结果。因此，对于闭眼状态的检测，当优先级变高时，用于确定的阈值变小。

通过执行作为参数的阈值的这种可变设置，容易获得动作的确定结果。

根据信号处理器24和控制器27的能力，在与图16示出的一个检测定时对应的处理中，在实际使用中可以限制要进行优先级评价的面部图像的最大数量。

另外，对于检测到有效面部特征值信息的图像面部中的面部图像中的至少一个，可以不执行优先级评价。在这种情况下，基本上在不同的检测定时对不同的面部图像执行优先级评价，并循环执行该操作。例如，假定允许在一个检测定时最多对三个面部图像执行优先级评价，并且检测到六个面部图像(具有面部ID 1至6)。在这种情况下，作为基本的处理，在第一检测定时对具有面部ID 1至3的面部图像执行优先级评价，然后，在第二检测定时对具有面部ID 4至6的面部图像执行优先级评价。重复执行这个处理。在这种情况下，单一面部图像的检测频率(每单位时间的检测次数)是每两个检测定时一次，即1/2。

在第三示例中，将更高的检测频率作为参数分配给具有大于等于预定级别的优先级的面部图像。例如，在以上描述的示例中，对于具有大于等于预定级别的优先级的面部图像，设置比1/2大的检测频率1，并且在每个检测定时执行优先级评价。

以这种方式，迅速地获得要确定的动作的确定结果。

在图16的步骤S112中，例如，可以选择并采用以上描述的第一至第三示例中的一个。另选地，选择第一至第三示例中的至少两个，并可以采用组合使用它们的算法。

通过如上所述执行步骤S112的操作，在下一检测定时执行根据改变的参数的处理操作。

在第一至第三控制示例中的每个中，在检测到多个面部图像的状态下，根据设置的优先级(优先次序)针对每个面部图像改变识别面部姿态的程度。也就是说，第一至第三控制示例中的每个示例是用于改变代表面部姿态的确定的、数字静止照相机1的容许度(确定容许度)的处理。然后，在步骤S112中，作为这种处理的执行结果，如上所述，例如，提高了面部姿态识别精度，并提高了响应于与特定操作对应的面部姿态模式的数字静止照相机1的响应速度。

如上所述，存在通过面部姿态遥控指示的各种可能的操作。

作为除了上述示例以外的示例，将描述当数字静止照相机1安装在云台上时实现的操作的示例。

如前面参照图1所述，在数字静止照相机1安装在云台上的状态下，数字静止照相机1和云台彼此通信，从而数字静止照相机1能够控制云台在平移方向或倾斜方向的运动。利用这种方式，数字静止照相机1控制云台在平移方向或倾斜方向上移动，以便在操作者被确定为拍摄对象的同时获得适合于特定构图的图像拍摄的视野。对于这种结构，不仅执行图像拍摄记录，还能够记录具有出色构图的照片(静止图像数据)。

另外，如上所述，本实施例的结构的一部分通过使用CPU或DSP执行程序来实现。

这种程序通过例如在制造时写在ROM中来存储，或者存储在可移动存储介质中。然后，通过从记录介质安装该程序，从存储介质安装(更新)该程序以存储在对应于DSP的非易失性存储区域或闪存30中。另外，可以在用作主机的另一设备的控制下，通过诸如USB和IEEE1394的数据接口安装该程序。另外，在数字静止照相机1具有网络功能时，该程序存储在网络上的服务器所包括的存储设备中，并通过从服务器下载该程序来获得。

在前面的描述中，当要识别与特定操作对应的面部姿态模式时，眼睛的睁开或闭合以及面部倾斜的动作(状态)被用作单位命令。然而，例如，图18中示出的面部特征值信息包括关于嘴的张开或闭合的状态的信息。因此，嘴的张开或闭合的状态可被用作单位命令。另外，特征的信息项的组合(诸如，年龄和性别)可以用作特定姿态模式。藉此，可以采用仅男人或女人能够执行操作的结构或者仅成人或儿童能够执行操作的结构。

在前面的描述中，虽然仅识别与操作对应的面部的动作，但可以将除面部以外的身体部分(诸如，手、臂、腿和躯干)的动作识别为对应于特定操作。

在这种情况下，当通过组合面部的动作和除面部以外的身体部分的动作获得的姿态模式被确定为对应于特定操作时，能够获得比仅识别与操作对应的面部的动作的情况下的姿态模式更多的姿态模式。因此，能够执行更多样的遥控操作。

另外，例如面部姿态被识别并被作为操作接收的操作输出的结构可应用于除包括数字静止照相机的成像设备以外的设备或系统。此外，在这种情况下，不必通过实时图像拍摄获得操作者的图像。

本申请包含与2008年9月22日提交给日本专利局的日本在先专利申请JP 2008-242609中公开的主题相关的主题，通过引用将该专利申请的全部内容包含于此。

本领域技术人员应该理解，在不脱离权利要求或其等同物的范围的情况下，可以根据设计的需要和其它因素做出各种变型、组合、子组合和替换。

Claims (15)

1.一种操作输入设备，包括：

身体部分检测装置，用于接收通过图像拍摄获得的图像数据，并在与所述图像数据对应的图像中检测拍摄对象的特定身体部分；

状态确定装置，用于当使用身体部分检测装置检测到多个身体部分时，针对每个身体部分确定与优先级设置条件对应的特定状态；

优先级设置装置，用于根据由状态确定装置执行的确定的结果，为各身体部分设置优先级；

操作确定装置，用于按照根据所述优先级设置的、作为确定对象的身体部分的确定容许度，确定由身体部分检测装置检测到的身体部分是否执行了与特定操作对应的预定动作；和

控制装置，用于控制操作输入设备，从而使操作输入设备根据由操作确定装置进行的、已执行了与特定操作对应的特定动作的确定，执行预定操作。

2.如权利要求1所述的操作输入设备，其中，状态确定装置确定各身体部分的对象距离，并且优先级设置装置根据所述对象距离为各身体部分设置优先级。

3.如权利要求2所述的操作输入设备，其中，状态确定装置基于与所述图像数据对应的图像框中的身体部分的大小，确定对象距离。

4.如权利要求1所述的操作输入设备，其中，状态确定装置确定所述身体部分和与所述图像数据对应的图像框的中心之间的距离，并且优先级设置装置根据该距离为所述身体部分设置优先级。

5.如权利要求1所述的操作输入设备，其中，状态确定装置确定与所述图像数据对应的图像框中的所述身体部分的运动速度，并且优先级设置装置根据该运动速度为所述身体部分设置优先级。

6.如权利要求1所述的操作输入设备，其中，状态确定装置确定所述身体部分是否执行了与被定义为优先级设置条件的预定动作对应的特定简单动作，并且优先级设置装置基于该确定结果设置优先级。

7.如权利要求1所述的操作输入设备，其中，状态确定装置确定所述身体部分是否执行了与被定义为优先级设置条件的预定动作对应的通过组合多个特定简单动作而获得的特定动作模式，并且优先级设置装置基于该确定结果设置优先级。

8.如权利要求1所述的操作输入设备，其中，状态确定装置在所述身体部分之中确定具有比阈值高的优先级的身体部分。

9.如权利要求1所述的操作输入设备，其中，对于具有大于或等于预定级别的优先级的身体部分，将使用身体部分检测装置检测身体部分和使用操作确定装置执行确定的、重复执行的相同操作之间的时间间隔设置为小于针对具有比所述预定级别小的优先级的身体部分的时间间隔。

10.如权利要求1所述的操作输入设备，其中，操作确定装置根据各身体部分的优先级改变用于确定各身体部分的预定动作的阈值。

11.如权利要求1所述的操作输入设备，其中，对于具有大于或等于预定级别的优先级的身体部分，在单位时间中执行使用身体部分检测装置的身体部分的检测的次数和执行使用操作确定装置的确定的次数被设置为大于针对具有小于所述预定级别的优先级的身体部分的次数。

12.如权利要求1所述的操作输入设备，其中，操作确定装置在要确定预定简单动作时，确定是否对于具有预定时间间隔的每个检测定时获得了与所述预定简单动作对应的状态，在a个连续检测定时获得与所述预定简单动作对应的状态b(a＞b)次以上时，获得表示执行了所述预定简单动作的识别结果，并且在连续c(c是大于等于1的自然数)次以上获得该识别结果时，获得表示执行了所述预定简单动作的确定结果。

13.一种操作输入方法，包括下述步骤：

接收通过图像拍摄获得的图像数据，并在与所述图像数据对应的图像中检测拍摄对象的特定身体部分；

当检测到多个身体部分时，针对每个身体部分确定与优先级设置条件对应的特定状态；

根据确定的结果为各身体部分设置优先级；

按照根据所述优先级设置的、作为确定对象的身体部分的确定容许度，确定检测到的身体部分是否执行了与特定操作对应的预定动作；以及

控制操作输入设备，从而使操作输入设备根据已执行了与特定操作对应的特定动作的确定，执行预定操作。

14.一种使操作输入设备执行下述步骤的程序：

接收通过图像拍摄获得的图像数据，并在与所述图像数据对应的图像中检测拍摄对象的特定身体部分；

当检测到多个身体部分时，针对每个身体部分确定与优先级设置条件对应的特定状态；

根据确定的结果为各身体部分设置优先级；

按照根据所述优先级设置的、作为确定对象的身体部分的确定容许度，确定检测到的身体部分是否执行了与特定操作对应的预定动作；以及

控制操作输入设备，从而使操作输入设备根据已执行了与特定操作对应的特定动作的确定，执行预定操作。

15.一种操作输入设备，包括：

身体部分检测单元，配置为接收通过图像拍摄获得的图像数据，并在与所述图像数据对应的图像中检测拍摄对象的特定身体部分；

状态确定单元，配置为当使用身体部分检测单元检测到多个身体部分时，针对每个身体部分确定与优先级设置条件对应的特定状态；

优先级设置单元，配置为根据由状态确定单元执行的确定的结果，为各身体部分设置优先级；

操作确定单元，配置为按照根据所述优先级设置的、作为确定对象的身体部分的确定容许度，确定由身体部分检测单元检测到的身体部分是否执行了与特定操作对应的预定动作；和

控制单元，配置为控制操作输入设备，从而使操作输入设备根据由操作确定单元执行的已执行了与特定操作对应的特定动作的确定，执行预定操作。

Images