CN102761706B - 成像设备和成像方法 - Google Patents

Abstract

本发明提供一种成像设备，该成像设备包括：图像输入部，用于以预定时间间隔顺序地输入图像数据；脸部检测器，用于从图像数据中检测被摄对象的脸部区域；旋转运动检测器，用于检测以预定时间间隔输入的图像数据的两帧之间的旋转运动；以及控制部，用于当由所述旋转运动检测器检测到旋转运动时，控制所述成像设备来执行预定操作。所述旋转运动检测器还用于：检测图像数据的两帧之间的旋转运动的至少一个候选，并计算所述至少一个候选的旋转中心的坐标和旋转角，以及基于由所述脸部检测器检测到的脸部区域的中心坐标、所述旋转中心的坐标和所述旋转角，确定所述至少一个候选是否是旋转运动。

Description

成像设备和成像方法

技术领域

本发明涉及一种识别被摄对象(subject)并在被摄对象的运动的基础上控制成像操作的成像设备、成像方法及其程序。

背景技术

例如数码照相机或数字摄像机等具有自动快门功能的成像设备已经流行甚广。自动快门功能是在任意时刻自动地或在完全按下快门后的预定时间内拍摄被摄对象。

在现有的自动拍摄中，会产生一个问题，即如果用户在设置照相机并按下快门后拍摄自己时，在用户准备好被拍摄前可能就完成了拍摄，或者在用户准备好被拍摄后他或她不得不等待快门发出咔哒声。

此外，提出了一种能够通过遥控器来释放快门的成像设备。然而，用户可能忘记带遥控器或觉得一直带着遥控器麻烦。

鉴于以上问题，例如日本专利申请JP特开2010-74735公开了一种成像装置，该成像装置具有根据被摄对象眨眼睛的自动快门控制功能。当捕捉多个被摄对象或脸部时这种成像装置设置优先权顺序，由此来识别具有高优先权的被摄对象脸部的运动，或者根据具有高优先级的被摄对象的眼睛睁开和闭合的组合输出控制信号。

然而，上述技术面临的问题是，当被摄对象位于远离成像装置的位置时，难于识别一部分小脸的运动。例如，通常，会通过广角变焦在相对远的距离拍摄一组照片，并且所捕获的各个脸部的尺寸趋小。在这种拍摄条件下，即使脸部被精确检测，也难于精确识别例如眨眼等脸部变化，从而使得自动拍摄控制无法实现。

为了精确识别一部分脸部的运动，被摄对象需要靠近成像装置或者他们的脸部需要通过远距离照相连续变焦(telephoto zooming)以特定或更大的尺寸成像。

此外，日本专利申请JP特开2011-78009公开了一种用于从图像中检测被摄对象的脸部或手势的成像装置。这种成像装置从图像数据中检测面部图像并检测关联于面部图像的手部图像以根据检测到的手部图像的形状或运动来控制成像操作。

然而，不利的是，成像装置需要大量的信息作为身体部分的位置的数据、颜色数据、尺寸数据和质地数据来精确地识别被摄对象的手势。并且，在设备上花费大量的时间和负荷以处理大量的数据。此外，由于手势的方式、皮肤颜色以及身体部分的形状和尺寸依据个体而不同，因此即使大量的数据也可能不足以精确地识别某个人的手势。

发明内容

本发明的目的是提供一种成像设备、成像方法及程序，该成像设备、成像方法及程序能够基于从图像中检测到的被摄对象的脸部区域、被摄对象的旋转运动的中心坐标以及旋转角来以高速稳定地、精确地识别被摄对象的姿势，并基于检测到的手势控制拍摄操作。

根据本发明的一个方面，提供一种成像设备，包括：图像输入部，用于以预定时间间隔顺序地输入图像数据；脸部检测器，用于从图像数据中检测被摄对象的脸部区域；旋转运动检测器，用于检测以预定时间间隔输入的图像数据的两帧之间的旋转运动；以及控制部，用于当由所述旋转运动检测器检测到旋转运动时，控制所述成像设备来执行预定操作，其中所述旋转运动检测器还用于：检测图像数据的两帧之间的旋转运动的至少一个候选，并计算所述至少一个候选的旋转中心的坐标和旋转角，以及基于由所述脸部检测器检测到的脸部区域的中心坐标、所述旋转中心的坐标和所述旋转角，确定所述至少一个候选是否是旋转运动。所述旋转运动检测器还用于：基于由所述脸部检测器检测到的脸部区域设置查找区域，将图像数据的两帧中的每一帧划分为具有预定数量像素的块，在所述查找区域的每个所述块中检测运动，并提取运动已经被检测到的至少一个块，检测所提取的块中的运动量作为运动向量，以及通过将所述运动向量作为旋转运动的候选来计算所述旋转中心的坐标和所述旋转角。

附图说明

根据下面的详细描述并参考附图，本发明的特征、实施例和优点将变得明显：

图1A至1C分别是作为本发明第一实施例的成像设备的示例的数字照相机的俯视图、前视图和后视图；

图2是图1中的成像设备的功能框图；

图3是成像设备的自动拍摄控制的框图；

图4是自动拍摄处理的流程图；

图5是以时间序列输入的图像数据帧的示例；

图6是旋转运动检测的流程图；

图7A示出在手臂移动前图像数据帧的示例，图7B示出手臂移动后图像数据帧的示例；

图8示出运动向量查找区域和运动向量；

图9A示出在手臂移动前被分成块的图像数据帧的示例，图9B示出手臂移动后被分成块的图像数据帧的示例；

图10示出如何计算旋转中心坐标和旋转角；以及

图11是示出通过支持向量机(SVM)辨识的手臂姿势的图。

具体实施方式

在下文中，将参考附图详细描述本发明的一个实施例。只要有可能，在整个附图中将使用相同的附图标记代表相同或相似的部件。

成像设备包括：图像输入部101，该图像输入部以预定的时间间隔顺序地输入图像数据Fa；脸部检测器102，用于从图像数据中检测被摄对象40的脸部区域50；旋转运动检测器103，用于检测以预定时间间隔输入的图像数据的两个帧Fb、Fc之间的旋转运动；以及作为快门控制部105的控制器，用于当旋转控制器检测到旋转运动时控制成像设备来执行预定操作，其中旋转运动检测器用于检测旋转运动的至少一个候选作为图像数据的两帧之间的运动向量，并计算所述至少一个候选的旋转中心的坐标和旋转角，并计算至少一个候选的旋转中心O’的坐标和旋转角θ，并且基于脸部检测器检测到的脸部区域的中心坐标O、旋转中心的坐标和旋转角来确定该至少一个候选是否是旋转运动。

本实施例描述了作为成像设备的示例的数字照相机。该成像设备不限于数字照相机，可以是任何具有自动拍摄功能的成像设备。

图1A至1C分别是作为本发明第一实施例的成像设备的示例的数字照相机的俯视图、前视图和后视图。在图1A中，数字照相机包括位于其顶部的辅助LCD1、快门按钮SW1和模式转盘SW2。

在图1B中，其包括位于前面的闪光灯部3、测距部5和遥控光接收部6、镜头单元7以及光学取景器11。在照相机体侧面设有在其中插入作为SD卡的存储卡34的存储卡节气门(memory card throttle)23。

在图1C中，数字照相机包括：位于后面的自动聚焦发光二极管(LED)8、闪光灯LED9、LCD10、光学取景器11、可伸缩变焦开关SW4、电压开关SW13、广角变焦开关SW3、自动定时器设置/复位开关15SW6、菜单开关SW5、OK开关SW12、朝左/图像检查开关SW11、朝下/微距开关SW10、朝上/闪光开关SW7、朝右开关SW8以及显示开关SW9。

图2是图1中的数字照相机的控制系统的功能框图。它包括作为固态图像传感器的CCD121、将来自CCD121的电信号转换为数字信号的前端IC120、处理来自前端IC120的数字信号的信号处理器IC110、临时存储数据的SDRAM33、存储控制程序的ROM30以及马达驱动器32。

镜头单元7包括变焦镜头、聚焦镜头和机械快门，由马达驱动器32驱动镜头单元7，马达驱动器32由包括在信号处理器IC110中的CPU111控制。

上面布置了具有RGB滤波器的像素的CCD121将光学图像进行光电地转换并输出模拟RGB图像信号。

前端(F/E)IC120包括从CCD21采样模拟图像数据的相关性双精度采样(CDS)122、调整所采样的被成像的数据的增益的自动增益控制器(AGC)123、模拟-数字(A/D)转换器124及时序产生器(TG)，对时序产生器(TG)提供来自CCD I/F112的垂直同步信号和水平同步信号来产生用于CCD121和前端IC120的驱动时序信号。

未示出的时钟产生器为信号产生器IC110、时序产生器125等的系统时钟提供时钟。时序产生器125对信号处理器IC110中的CCD I/F112提供时钟用于像素同步。

从前端IC120输入到信号处理器IC110的数字信号作为RGB数据(RAW-RGB)被存储器控制部115临时存储在SDRAM33中。

信号处理器IC110包括CPU111、CCD I/F112、尺寸调整单元113、存储器控制部115、显示输出控制部116、压缩部/解压缩部117、介质I/F118以及YUV转换部119。

CCD I/F112将VD和HD同步信号输出给CCD110并按照同步信号从AD转换器124捕获数字RGB信号，以通过存储器控制部115将RGB数据写到SDRAM33中。

显示输出控制部116将显示数据从SDRAM33传送给显示单元来显示捕获的图像。它还可将显示数据传送给LCD10或将其作为TV视频信号输出给外部设备。

显示数据是指作为自然图像的YCbCr数据和显示拍摄模式图标等的屏幕视控系统(OSD)数据。上述数据均由存储器控制部115从SDRAM33读取至数据显示输出控制部116，数据显示输出控制部116将这些数据同步为视频数据以进行输出。

压缩部/解压缩部117压缩YCbCr数据以按照JPEG格式进行记录，并将JPEG数据解压缩为YCbCr数据以再现地进行输出。

媒介接口(I/F)118在CPU111的控制下执行从存储卡34读取图像数据/将图像数据写入存储卡34。

YUV转换部119基于由CPU111设置的图像处理参数将在SDRAM33中保存的RGB数据转换为YUV数据并将其写入SDRAM33。

尺寸调整单元113读取YUV数据并改变它的尺寸以进行显示、记录或缩略图显示。

CPU111是整个系统的控制器。例如，在电源开关打开时，CPU111将控制程序从ROM30载入到SDRAM33，以根据控制程序控制各个元件的操作。

此外，CPU111根据来自具有按键和按钮的操作单元31、远程控制或例如个人计算机等外部终端的指令控制成像操作、设置图像处理参数并控制存储器、显示器等。从

操作单元31用于用户对数字照相机给出指令。根据用户的操作，预定的指令信号被输入到控制器。例如，图1中的数字照相机包括快门按钮2和例如设置光学或电子变焦的放大倍数的变焦按钮12、14的多个按钮。

在检测到通过操作单元31打开电源开关SW13时，CPU111将各个元件设置为预定的设置。通过镜头单元7在CCD121上产生的图像被转换为数字视频信号并输入给信号处理器IC110。

数字视频信号然后被输入给CCD I/F112并光电转换为模拟信号。CCD I/F112。CCD I/F112将模拟信号进行黑平衡调整等并将其临时存储在SDRAM33中。YUV变换器119从SDRAM33中读取RAW-RGB图像数据并将其进行伽马变换、白平衡调整、边缘增强以及YUV变换，从而产生YUV图像数据并将其写入SDRAM33。

YUV图像数据由显示输出控制部116读取，由尺寸调整单元113垂直并水平地改变图像大小并输出给例如NTSC系统TV的目的地。由此，通过与VD信号同步地改变数据的大小，静态图像预览显示被使能。

接下来，将描述数字照相机的预览操作和静态图像拍摄。

当用户打开电源开关SW13并通过模式转盘SW2设置静态图像拍摄模式时，在记录模式下启动数字照相机。检测到这个后，CPU111将控制信号输出到马达驱动器32来将镜头单元7移动到能照相的位置并激活CCD121、F/E IC120、信号处理器IC110、SDRAM33、ROM30以及LCD10。

由镜头单元7的光学系统捕获的被摄对象的图像被形成在CCD121的像素上，并且对应于该图像的模拟RGB图像信号通过CDS122、AGC123被输入到A/D变换器124并变换为12位RAW-RGB数据。

RAW-RGB数据被捕获到信号处理器IC110的CCD I/F112中并通过存储控制器115存储在SDRAM33。YUV变换器119将RAW-RGB数据变换为可显示的YUV数据并通过存储控制器115将其存储在SDRAM33中。

通过显示输出控制部116将YUV数据从SSRAM33传送到LCD10来显示捕获的图像(视频)。在LCD10上预览捕获的图像期间，图像像素的数量通过CCD I/F112变少由此在1/30秒内读取一个图像帧。

在预览期间，用户可检查图像的组成等以拍摄静态图像。显示输出控制部116可将TV视频信号通过视频电缆输出到外部TV从而在TV上显示捕获的图像。

信号处理器IC110的CCD I/F112根据RAW-RGB数据计算AF估计值、AE估计值和AWB(自动白平衡)估计值。

根据例如高通滤波器的输出的整数值或相邻像素之间的亮度差的整数值来计算AF估计值。在聚焦状态，被摄对象的边缘部分由于最高频分量而特别突出。在AF操作中在每个聚焦镜头位置查找AF估计值从而将具有最大估计值的点确定为检测到的焦距位置。

根据RAW-RGB数据中的每个RGB值的整数值计算AE和AWB估计值。例如，与CCD121的所有像素相关联的图像数据被等分为256块(16x16)从而在每个块中计算RGB整数值。

CPU111读取RGB整数值来计算每个块的亮度值并从AE操作中的亮度分布中确定合适的曝光量。它设置例如电子快门数、光圈调节器的f-值、ND滤波器的打开/关闭等的曝光条件。在自动白平衡操作中，根据与被摄对象的光源的颜色一致的RGB分布来确定AWB控制值。由此，YUV变换器119根据调整的白平衡执行YUV数据变换。在预览期间，连续地执行AE和AWB操作。

在预览期间快门按钮2被完全按压从而开始静态拍摄时，执行AF操作和静态图像记录。

也即，在快门按钮2被完全按压时，控制器命令马达驱动器32移动光学系统的聚焦镜头来执行所谓的爬山算法(对比度估计)AF操作。

在从无限远到最近点的AF区域中，从无限远到最近点或从最近点到无限远中将聚焦镜头移动到每个焦距位置。控制器读取在每个焦距位置由CCD I/F112计算的AF估计值。焦距镜头被移动到具有最大AF估计值的位置并被设置聚焦。

然后，执行AE操作。在完成曝光后，控制器命令马达驱动器32关闭机械快门和CCD121来输出模拟RGB图像信号用于静态图像。F/E120的A/D变换器124将其变换成预览中的RAW-RGB数据。

RAW-RGB数据被传送到数字处理器IC110的CCD I/F112，由YUV变换器119将其变换为YUV数据并通过存储控制器115存储在SDRAM中。尺寸调整单元113将YUV数据的尺寸改变为与用于记录的像素数一致，并由压缩/解压缩器117将该YUV数据压缩为JPEG格式的图像数据。压缩图像数据被写到SDRAM33中，由存储器控制部115从其中读取并通过媒体I/F118存储在存储卡34中。

接下来，将参考图3-11描述根据本实施例的基于脸部检测和旋转运动检测的成像设备的自动拍摄控制。

本实施例描述的一个实例中，基于脸部检测和旋转运动检测来控制成像设备执行快门控制和拍摄操作。然而，并不限于该示例。可替代地，例如，也可以是根据脸部检测和旋转运动检测控制器控制成像设备的电源使其关闭。

图3是成像设备的自动拍摄控制的框图，图4是由成像设备的控制元件执行的自动拍摄控制的流程图。

如图5所示在时间序列上连续的图像数据的帧被以例如33ms的预定时间间隔Δ预输入到图像输入部101来显示在LCD10中，(步骤S101)。

在图5中，在图像数据的第一帧Fa以后以预定的时间Δ时输入图像数据的第二帧。由此，输入时间序列的图像数据并将其存储在SDRAM33中。

在步骤S102中，脸部检测器102从例如数据帧Fa等顺序输入的图像数据的一帧中检测被摄对象的脸部。在本实施例中，脸部检测器102用于检测等同于被摄对象40的脸部41的脸部区域50。如图5所示，脸部区域50被顶点A至D包围并且中心坐标在O(x0,y0)。

步骤S102中用以脸部检测的算法可是例如模板匹配等任意已知的或新的算法。此外，被摄对象不必非得是人，也可以是动物。在此情况下，执行识别动物的脸部的处理。后面描述的手臂姿势检测器103也可利用学习模型的预学习结果的数据来检测该动物的手臂或腿(旋转身体部分)。

在步骤S103，确定定脸部检测器102是否已经检测到脸部。当步骤S103的结果是“否”时，流程返回到步骤S101的图像输入并处理下一个图像数据。

当检测到脸部时(步骤S103的“是”)，旋转运动检测器103在步骤S104执行旋转运动检测。参考图6具体描述旋转运动检测。

本实施例描述的示例中，当被摄对象围绕着做为旋转中心的肘部42横向移动手臂43时，检测到被摄对象的手或手掌44的旋转运动。这里，该旋转运动被称为手臂姿势。图7A示出手臂姿势前的图像数据以及图7B示出手臂姿势后的图像数据。注意图7B中增加虚线表示的区域来说明手臂是如何移动的。

注意手臂姿势不限于手部44围绕着肘部42旋转。另外，可以是整个手臂以肩膀45作为旋转中心的运动。此外，手臂43的旋转方向可以不限于图7B中所示的，并且手臂43可以从肘部42垂下。只要帧之间的旋转角出现，就可检测到与图像垂直的手臂运动。

也可以使用手臂姿势以外的其它姿势，只要它们是绕着基点的旋转运动。例如，当被摄对象40拿着例如杆或旗子等工具并旋转它们时，可检测到旋转的中心和旋转工具的顶点。

为了检测姿势，需要预先通过具有导师的学习模型对相对运动数据进行学习来计算辨识公式。此外，优选地检测多个种类的姿势并允许用户选择一种来控制图像设备。

参考图6，在步骤S201，图像数据被输入到图像输入部101。在本实施例中，图像数据的第一帧Fa和图像数据的第二、第三帧Fb、Fc被认为是不同的图像数据，在第一帧Fa中脸部检测器执行脸部检测，在第二、第三帧Fb、Fc中旋转运动检测器执行旋转运动检测。在图5中图像数据Fb定义为是在第一图像数据Fa以后第M帧输入图像数据。优选地，M的值是等于或大于1的较小值。

以例如33ms的帧率输入图像数据。为了避免增加成像设备的工作载荷，优选地，不同时对同一图像数据帧执行脸部检测(步骤S102)和旋转运动检测(步骤S104)。相反，在一帧处理时间内仅脸部检测器102或旋转运动检测器103优选地进行工作。由此，可以通过软件减少CPU在图像处理中的工作载荷并且提高处理速度和功率效率。在通过具有特定功能的图像处理芯片进行的图像处理中，仅仅对它们中的任何一个进行操作都可能导致降低功率效率。通过处理速度或性能的容限(margin)，图像数据Fa、Fb可以被认为是位于相同的帧。

图5中在以预定帧间隔N输入的两个图像帧Fb、Fc中检测手臂姿势。帧间隔值N被预设为参数。帧间隔N可被选择地设置并且可限制其最小值和最大值。

需要根据要被检测的被摄对象的旋转运动的速度恰当地设置间隔N。在非常大的时间间隔N中，在帧之间以特定角速度旋转的手臂的旋转角变得太大，或者在往复旋转中的手臂的旋转角变得太小。

根据本实施例，基于手臂的假设角速度和33ms的帧率确定帧间隔N，由此手臂的旋转角θ处于45至90度之间。例如，假设手臂在大约0.5秒中在45至90度之间的范围内旋转，则帧间隔N将是15。

例如，帧间隔可被任意地设置为1来检测连续帧之间的手臂姿势或设置为大约若干帧。

在步骤S202，查找区域设置部201根据检测到的脸部区域50设置运动向量查找区域51，在该查找区域51内检测作为旋转运动的候选的手臂运动向量。运动向量查找区域51被设置在帧内的手臂43的可移动区域内，例如如图8所示的在脸部区域50周围的预定的像素区域内或中心坐标为O(x0,y0)的区域。可以通过后面描述的处理代替设置运动向量查找区域51来在整个图像上检测旋转运动的候选。然而，优选在预先限定的区域内进行检测以降低吞吐量。

在步骤S203，块匹配元件202检测其中已经检测到两个帧之间的运动的区域并将其作为运动向量。如图9A、9B所示，图像数据帧Fb、Fc分别被划分为具有预定数量的像素(n×n)的块52由此通过块匹配来查找两帧的相同部分之间的运动量或运动向量HH’。可由任何已知的或新的技术来实现块匹配。

每个块的大小是根据旋转运动的主体恰当设置的参数。在本实施例中，它被设置为能够辨别手臂43的移动。例如，它可基于普通脸部大小和手臂大小的比例由脸部的大小确定。对于20×20像素的脸部区域，块的大小可以是5×5的像素。

此外，运动向量的开始点和结束点在例如5×5的像素区域的中心块内。由于被摄对象的大小根据焦距和与被摄对象的距离而变化，因此可将块的大小任意地设置为优化的值。

接着，在步骤S204，运动移除部203移除在整个图像中已经产生的运动或模糊部分。当成像设备被固定在例如三脚架等上时，很难出现整个图像中的运动或模糊。否则，优选检测和移除整个图像中的运动的量。这可提高检测到的运动向量的精度。

也就是说，当在帧之间在整个图像中发现平行移动或旋转时，通过块匹配检测到的运动向量是由移动造成的，因此其需要被消除。例如，参考图8，可通过除了运动向量查找区域51以外的区域中的运动向量Va、Vb来计算整个图像中的运动向量。

通过下面的公式将帧之间的运动表述为仿射变换：

$\left[\begin{array}{c}x1\\ y1\end{array}\right]=\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]\left[\begin{array}{c}x0\\ y0\end{array}\right]+\left[\begin{array}{c}e\\ f\end{array}\right]$

其中，(x1,y1)和(x0,y0)是帧Fb、Fc中相应点的坐标。通过大量(6个或多于6个)的对应点，可计算系数a到e。

可通过上式找到在任意坐标(x，y)在帧Fb、Fc之间整个图像中的运动向量(Vx0,Vy0)。由此，通过将从坐标(x，y)的运动向量(Vx,Vy)减去整个图像中的运动向量(Vx0,Vy0)来求得运动向量(Vx-Vx0,Vy-Vy0)。

如上所述，通过从检测到的运动向量减去在帧Fb、Fc之间整个图像中的运动向量，可消除整个图像的运动。保留的运动向量将是手臂旋转运动的候选。

本实施例描述的示例中，根据除了运动向量查找区域51以外的区域查找整个图像中的运动向量。然而，也可以从运动向量查找区域51中的运动向量中获得整个图像中的运动向量。此外，可通过对特定数量的块52采样来计算整个图像中的运动向量。

另外，本实施例描述的示例中，通过仿射变换校正成像设备的平行方向的运动量。然而，可通过任何已知的或新的技术进行校正。例如，可通过投影变换校正图像垂直方向的运动量。

在步骤S205，噪声向量移除部204从运动向量查找区域51内移除作为噪声向量的孤立的运动向量。这是为了移除被认为是运动向量查找区域51内的非真实手臂运动的运动向量，由此防止手臂运动的错误检测。

噪声向量Vc、Vd、Ve如图8所示。在整个图像中进行块匹配时，也必须移除除了运动向量查找区域51以外的区域中的运动向量Vf、Vg。

为了确定噪声向量的存在，确定在检测到的运动向量周围的某个区域(半径为R)内是否存在其它的运动向量。如果发现另一个运动向量，则将检测到的运动向量确定为手臂运动向量。如果没有发现另一个运动向量，则将检测到的运动向量确定为噪声向量。可任意设定半径R为例如20个像素。并且，作为向量确定的参考的像素可以是构成运动向量的任意像素，例如运动向量的开始点。

从运动向量中排除了上述确定的噪声向量Vc、Vd、Ve。通过步骤S201至S205，作为旋转运动的候选的手臂运动向量是可检测的。

接着，在步骤S206，旋转中心/旋转角计算部205基于检测到的运动向量计算旋转中心的坐标和旋转角。参考图8至图10，基于从帧Fb、Fc中检测到的运动向量H1H1’、H2H2’、H3H3’计算手臂姿势的旋转中心的坐标O’(x1,y1)和旋转角θ。虽然为了简述而使用三个运动向量H1至H3，但是检测到的运动向量的实际数量Hn可能是例如10或更多个。

下面将示例性地描述如何计算旋转中心的坐标和旋转角。旋转中心的坐标O’(x1,y1)定义为聚集了经过手臂部的运动向量的中点并垂直于中点的法线(在图10中由虚线表示)的点。在法线的交叉点互相不重合的情况下，通过两个或更多个交叉点，可将旋转中心O’(x1,y1)的坐标设置为两个相邻法线的交叉点的坐标的平均值。

旋转半径R1是旋转中心O’(x1,y1)的坐标和每个运动向量之间的距离，例如，该距离是开始点H1和结束点H1’之间的距离。通过下式计算旋转角θ：

θ1＝L1/R1

其中，L1是运动向量H1H1’的长度。

在本实施例中，旋转角θ被定义为等于或小于90度。然而，也可用于检测90度或大于90度的旋转角。此外，可从旋转中心O’(x1,y1)的坐标以及运动向量的开始点和结束点H1、H1’来得到旋转角θ1。

类似地，从运动向量得到运动向量H2H2’,H3H3’的旋转半径R2、R3和长度L2、L3来分别计算旋转角θ2、θ3。得到旋转角θ1、θ2、θ3的平均值作为手臂的旋转角θ。

在步骤S207至S209，旋转运动辨识部206根据手臂旋转的中心和脸部区域的中心的位置以及旋转角的特征量之间的关系，确定旋转运动的被检测到的候选是否是实际的手臂姿势。

根据下式，通过脸部区域的中心坐标O(x0,y0)和手臂旋转的中心坐标O’(x0,y0)计算位置的位移量。定义距离dx、dy和旋转角θ为用于步骤S207中的手臂姿势检测的特征量。

dx＝x1-x0

dy＝y1-y0

然后，在步骤S208将特征量标准化(normalized)。被摄对象的大小根据成像设备的变焦率的不同而不同。例如，整个图像被改变大小并被标准化由此平均面部尺寸成为20个像素长、20个像素宽。因此，即使被摄对象的大小发生改变，可不管变焦率而利用普通识别词典来精确地识别手臂旋转运动。

在步骤S209，利用特征量和通过机器学习预先计算出的辨识公式来确定候选是否是手臂姿势。

下面描述辨识公式的计算。利用脸部区域的旋转中心和手臂姿势的旋转中心之间的位置关系以及手臂旋转角(O’(x1,y1)、dx、dy和θ)的采样数据，收集手臂姿势的采样数据(视频数据)来建立手臂姿势识别词典作为学习模型学习的数据。

具体地，基于识别词典由支持向量机(SVM)生成如下线性SVM辨识函数f(dx,dy,θ)：

f＝A*dx+B*dy+C*θ

通过预先学习计算系数A、B和C。如果通过辨识函数f(dx,dy,θ)求得的值f高于阈值th时，则该候选被识别为手臂姿势。如果值f低于阈值th时，则其被识别为非手臂姿势。

图11是示出手臂姿势和非手臂姿势的特征量的分布图。为了简化，在图中使用两个变量dx和θ，由此识别水平(recognition level)是线性的。线上面的点Z被识别为手臂姿势而线下面的点x被识别为非手臂姿势。如果使用三个变量(dx、dy、θ)，则分布就是三维空间的且识别水平将是平面的。识别平面以上的特征量是手臂姿势而识别平面以下的点x是非手臂姿势。

通过该使用特征量的学习方法，即使被摄对象的手臂的长度不同，或手臂旋转角和脸部区域的中心与手臂旋转中心的相对位置不同，也可以精确地识别手臂姿势。

本实施例描述的示例中，使用线性SVM作为学习模型来建立识别词典。可替代的，也可使用非线性辨识函数、或可以使用其它例如AdaBoost等其它学习模型。注意要预先准备识别词典，并且在成像设备的存储单元中存储通过识别词典计算的辨识函数。

返回图4，如果函数值f高于阈值th(步骤S105的“是”)，则确定出现期望的手臂姿势。如果函数值f低于阈值th(步骤S105的“否”)，则确定没有出现期望的手臂姿势，从而流程返回步骤S101中的图像输入。

当确定出现期望的手臂姿势时，在步骤S106中通知部104显示指示来将该出现通知给作为手臂手势检测的对象的用户或人。

通知部可以多种方式通知该检测。例如，在成像设备的正面上提供未示出的LED光或任意类型的光以进行开启。也可在辅助LCD或LCD10上显示文字或标记。可替代地，可以代替在步骤S106中由通知部104通知，而在步骤S107中在该检测以后的预定时间内释放快门。

在步骤S107，快门控制部105控制快门在显示指示后的预定时间内释放。随后，在步骤108中执行拍摄和图像记录。这些操作与完全按下快门按钮2中的操作相同，并且捕获的图像数据被存储在例如存储卡34中。

在拍摄多个被摄对象时，在步骤S102检测他们的脸部。为此，优选地可预先确定被摄对象的优先权顺序，由此可根据被摄对象的优先权顺序从多个手臂姿势中确定成像控制所基于的手臂姿势。可在步骤104中仅检测具有最高优先级的主要被摄对象的旋转运动。

可任意设置被摄对象的优先级。例如，位于帧的中心的脸部或具有最大尺寸的脸部可被设置为主要的被摄对象。此外，可准备多个优先级模式从而运行用户选择期望的模式。

如上所述，即使当被摄对象远离成像设备或大量的被摄对象同时被拍摄由此被摄对象的脸部的尺寸很小时，本实施的成像设备也可以通过使用脸部检测和手臂运动检测作为触发来在用户期望的定时自动释放快门。

此外，在检测被摄对象的脸部后检测其手臂姿势可提高手臂运动识别的精度并减少错误识别。

此外，可根据手臂旋转中心和脸部中心之间的位置关系通过简单计算、以比通过模式识别找到手部位置更快的速度获得手臂姿势，并然后识别手臂姿势。

此外，在手部检测和手部运动检测中，由于手部形状的改变而使得检测的精度下降。同时，除了轴向旋转之外的作为平行位移的手部运动不是本实施例检测的对象，这可以提高手臂姿势检测的精度。

脸部区域的中心的坐标和运动的旋转中心的坐标以及旋转角可作为特征量数据使用。这使得不必单独设置或记录特定参数作为手臂长度、手臂旋转角和手臂旋转的中心与脸部中心之间的距离等。并且，不用考虑手部或手臂的形状、被摄对象的年龄、性别或体型，能够基于各种手臂姿势数据的词典通过辨识公式来精确地检测手部或手臂运动。这种手臂姿势检测对噪声不敏感。

成像设备包括在拍摄前向外部通知检测到手臂姿势的通知部。这可使得被摄对象能够知道检测到手势并准备他或她的用于拍摄图像的脸部表情或姿势。

尽管本发明是示例性地描述，但不限于此。需要注意到本领域技术人员对实施例所作出的变形或修改不会超出本发明在权利要求中所限定的范围。例如，图像输入部101、脸部检测器102、手臂姿势检测器103、通知部104、快门控制部105、查找区域设置部201、块匹配元件202、运动移除部203、噪声向量移除部20、旋转中心/旋转角计算部205以及旋转运动辨识部206可通过由成像设备的CPU111执行的软件或成像程序实现。软件或程序的执行所必要的数据被载入到例如SDRAM33中。替代地，这些元件可用作为模块使用并且用于执行脸部检测器102和手臂检测器103的功能的程序可被应用于硬件。也可提供存储有使得成像设备执行上述操作的成像程序的非瞬态计算机可读介质。

Claims (8)

1.一种成像设备，包括：

图像输入部，用于以预定时间间隔顺序地输入图像数据；

脸部检测器，用于从图像数据中检测被摄对象的脸部区域；

旋转运动检测器，用于检测以预定时间间隔输入的图像数据的两帧之间的旋转运动；以及

控制部，用于当由所述旋转运动检测器检测到旋转运动时，控制所述成像设备来执行预定操作，其中

所述旋转运动检测器还用于：

检测图像数据的两帧之间的旋转运动的至少一个候选，并计算所述至少一个候选的旋转中心的坐标和旋转角，以及

基于由所述脸部检测器检测到的脸部区域的中心坐标、所述旋转中心的坐标和所述旋转角，确定所述至少一个候选是否是旋转运动，

其中所述旋转运动检测器还用于：

基于由所述脸部检测器检测到的脸部区域设置查找区域，

将图像数据的两帧中的每一帧划分为具有预定数量像素的块，在所述查找区域的每个所述块中检测运动，并提取运动已经被检测到的至少一个块，

检测所提取的块中的运动量作为运动向量，以及

通过将所述运动向量作为旋转运动的候选来计算所述旋转中心的坐标和所述旋转角。

2.如权利要求1所述的成像设备，其中

所述旋转运动检测器还用于：基于经过所检测到的运动向量的中点的法线相互交叉的位置确定所述旋转中心的坐标，并根据所述旋转中心的坐标和检测到的运动向量的位置来计算所述旋转角。

3.如权利要求1所述的成像设备，其中

所述旋转运动检测器还用于：当在构成所述运动向量的像素周围的预定数量的像素的像素区域中不存在其它运动向量时，从旋转运动的所述候选中排除所述运动向量。

4.如权利要求1所述的成像设备，其中

所述旋转运动检测器还用于：将所述脸部区域的中心坐标、所述旋转中心的坐标以及所述旋转角作为特征量数据使用，并通过将所述特征量数据应用到辨识公式来确定旋转运动的所述候选是否是旋转运动，所述辨识公式是根据预先由学习模型学习的识别词典获得的。

5.如权利要求1所述的成像设备，其中

所述旋转运动检测器还用于检测所述被摄对象的肘部作为旋转中心的坐标，以及检测以肘部为基点的所述被摄对象的手臂的运动作为旋转运动。

6.如权利要求1所述的成像设备，其中

所述旋转运动检测器还用于从在第一图像数据以后输入的第二图像数据以及从在所述第二图像数据以后输入了预定数量的帧的第三图像数据中检测旋转运动，所述脸部检测器已经从所述第一图像数据中检测到了所述被摄对象的脸部区域。

7.如权利要求1所述的成像设备，其中

所述控制部控制所述成像设备执行的预定操作是拍摄操作，所述成像设备还包括：

通知部，用于当所述旋转运动检测器已经检测到旋转运动时，在所述控制部允许所述成像设备执行拍摄操作之前向外部通知检测到旋转运动。

8.一种成像方法，包括以下步骤：

以预定时间间隔顺序地输入图像数据；

从图像数据中检测被摄对象的脸部区域；

检测以预定时间间隔输入的图像数据的两帧之间的旋转运动；以及

当由所述旋转运动检测器检测到旋转运动时，控制所述成像设备来执行预定操作，其中

所述旋转运动检测步骤包括：

检测图像数据的两帧之间的旋转运动的至少一个候选，并计算所述至少一个候选的旋转中心的坐标和旋转角，以及

基于由脸部检测器检测到的脸部区域的中心坐标、所述旋转中心的坐标和所述旋转角，确定所述至少一个候选是否是旋转运动，

其中所述旋转运动检测步骤还包括：

基于由所述脸部检测器检测到的脸部区域设置查找区域，

将图像数据的两帧中的每一帧划分为具有预定数量像素的块，在所述查找区域的每个所述块中检测运动，并提取运动已经被检测到的至少一个块，

检测所提取的块中的运动量作为运动向量，以及

通过将所述运动向量作为旋转运动的候选来计算所述旋转中心的坐标和所述旋转角。