CN101136066A - 拍摄装置、方法及程序 - Google Patents

Abstract

本发明涉及拍摄装置、方法及程序，该拍摄装置数字照相机等，其特别在包含有面部等规定对象物的情况下，可以从图像中高效地检测规定对象物。面部检测部(80)用于从拍摄到的图像中检测面部等规定对象物。在内部存储器(68)中保存由规定对象物的以前的检测结果和最新的检测结果构成的检测履历。判断部(82)，其参照检测履历而判断是否对最新取得的图像中的规定对象物进行检测处理。

Description

拍摄装置、方法及程序

技术领域

本发明涉及一种通过拍摄取得图像的数字照相机等拍摄装置及

拍摄方法，以及用于在计算机中执行拍摄方法的程序。

背景技术

在利用数字照相机进行拍摄时，从拍摄取得的图像中检测例如面部等对象物，与该对象物检测结果对应，变更对图像实施图像处理的条件，变更拍摄时的拍摄条件。

在这里，提出了各种用于从图像中检测规定对象物的方法。例如提出下述方法，即针对从监视照相机等拍摄装置得到的影像信息中的目标图像，存储目标图像的特征量，对存储的特征量和其随时间的变化量等进行沿时间轴的比较评价处理，取得移动物体的移动矢量，使用取得的移动矢量和以前的目标图像的特征、特征量的变化、以及各个特征的可靠性评价结果，改变所使用的特征对判断结果产生影响的程度，同时在各个时间点上进行目标图像的判断(参照专利文献1)。

另外，还提出一种动作识别系统，即从输入的帧图像的时序数据中，由动作检测部抽取存在运动的区域，由肤色检测部抽取肤色区域，在区域集成部中，将存在运动的区域中成为肤色区域的区域作为对象区域抽取，通过处理包含特定对象的图像的时序图像数据，识别对象的形状及动作(参考专利文献2)。

专利文献1：特开平9-322153号公报

专利文献2：特开2001-16606号公报

发明内容

在上述专利文献1、2中记述的方法中，使用检测对象的以前的特征对对象物进行检测，但期望更高效地检测对象物。

本发明就是为了解决上述情况而提出的，其目的在于更高效地从图像中检测面部等规定的对象物。

本发明所涉及的拍摄装置的特征在于，具有：拍摄单元，其通过拍摄取得图像；对象物检测单元，其从由上述拍摄单元拍摄的图像中检测规定对象物；保存单元，其保存由上述规定对象物的以前的检测结果和最新的检测结果构成的检测履历；以及判断单元，其参照上述检测履历，判断是否对最新取得的图像中的上述规定对象物进行检测处理。

另外，在本发明所涉及的拍摄装置中，也可以使上述判断单元在上述规定对象物在包括以前在内的M次上述检测结果中被检测出大于或等于N次(M≥N)的情况下，判断为对上述规定对象物进行上述检测处理。

在这种情况下，也可以使上述判断单元即使在上述规定对象物在包括以前在内的M次上述检测结果中没有被检测出大于或等于N次(M≥N)的情况下，在上述最新的检测结果满足规定条件时，也判断为对上述规定对象物进行上述检测处理。

另外，在这种情况下，也可以使上述判断单元在上述规定对象物在包括以前在内的M次上述检测结果中被检测出大于或等于N次(M≥N)的情况下，即使在上述最新的检测结果中未检测出上述规定对象物的状态下，在满足一定条件的情况下，也判断为对上述规定对象物进行上述检测处理。

在本发明所涉及的拍摄装置中，还可以具有选择保持单元，其在上述新图像中选择了经过上述检测处理后的上述规定对象物的情况下，然后在新的图像中检测出与上述选择的规定对象物对应的规定对象物时，保持该规定对象物的选择状态。

另外，在本发明所涉及的拍摄装置中，也可以使上述判断单元对包含在上述检测履历中的经过上述检测处理的、相互对应的多个规定对象物的位置及大小中的任意一种进行平滑化，输出平滑化后的信息。

本发明所涉及的拍摄方法的特征在于：通过拍摄取得图像；从由上述拍摄单元拍摄的图像中检测规定对象物；保存由上述规定对象物的以前的检测结果和最新的检测结果构成的检测履历；以及参照上述检测履历，判断是否对最新取得的图像中的上述规定对象物进行检测处理。

另外，也可以提供用于在计算机上执行本发明所涉及的拍摄方法的程序。

发明的效果

根据本发明，从由拍摄取得的新图像中检测新的规定对象物，参照由规定对象物的以前的检测结果和最新的检测结果构成的检测履历，判断是否对最新取得的图像中的规定对象物进行检测处理。因此，可以利用以前的检测结果高效地从图像中检测规定对象物。

附图说明

图1是以本发明的拍摄装置的实施方式即数字照相机的背面为中心的斜视图。

图2是以本发明的拍摄装置的实施方式即数字照相机的正面为中心的斜视图。

图3是表示本发明的拍摄装置的实施方式即数字照相机结构的概略框图。

图4是表示面部朝向的输出值的表。

图5是表示面部倾斜度的输出值的表。

图6是表示检测履历的数据结构的图。

图7是表示在本实施方式中进行的处理的流程图。

图8是示意地表示检测履历的图。

图9是检测履历的更新处理的流程图(其1)。

图10是检测履历的更新处理的流程图(其2)。

图11是表示在进行检测处理的面部数量超过限制值的情况下的处理的流程图。

图12是AF目标面部追踪处理的流程图。

图13是表示AF目标追踪处理时的实况图像的图。

图14是表示在判断为进行检测处理的面部处附加检测框后的实况图像的图。

图15是表示将利用检测履历及运动矢量后的检测框显示在液晶显示器上的状态的图。

具体实施方式

下面，参照附图说明本发明的实施方式。图1是以本发明的拍摄装置的实施方式即数字照相机1的背面为中心的斜视图。如图1所示，在该数字照相机1的背面上，作为用于由拍摄者进行操作的界面，具有动作模式开关11、菜单/确认按钮12、变焦/上下操作杆13、左右按钮14、返回按钮15、显示切换按钮16，此外还具有取景器17和液晶显示器18。另外，在上表面上具有快门按钮19。图2是以本实施方式的数字照相机1的正面为中心的斜视图。如图2所示，在数字照相机1的正面具有镜头20、镜头盖21、电源开关22、取景窗23、闪光灯24、自拍计时灯25。

动作模式开关11是用于切换静态图像拍摄模式、动态图像拍摄模式及再现模式这些动作模式的滑动开关。

菜单/确认按钮12是通过被按下而将用于设定拍摄模式的种类、闪光灯发光模式、存储像素数或感光度等的各种菜单显示在液晶显示器18中，或对基于显示在液晶显示器18中的菜单的选择·设定进行确认的按钮。另外，通过菜单/确认按钮12可以将拍摄模式设定为全自动模式及手动模式，该全自动模式用于完全自动地设定曝光及白平衡，该手动模式用于由手动设定。此外，作为手动模式，可以设定为程序自动模式、光圈优先模式、快门优先模式及手动曝光模式。另外，通过菜单/确认按钮12，可以将与风景、花、夕阳及人物等场景的种类对应而进行拍摄的模式设定为手动模式。

变焦/上下操作杆13是用于通过向上下方向推动操作杆，在拍摄时进行长焦/广角的调整，在进行各种设定时使显示在液晶显示器18中的菜单画面的光标上下移动的操作杆。

左右按钮14是用于在进行各种设定时，使显示在液晶显示器18中的菜单画面的光标左右移动的按钮。

返回按钮15是用于通过将其按下而中止各种设定操作，返回至上一个画面的按钮。

显示切换按钮16是用于通过将其按下而切换液晶显示器18显示内容的显示/不显示，各种指示显示、文字显示的显示/不显示等的按钮。

通过各按钮、操作杆的操作而设定的内容，可以通过液晶显示器18中的显示或取景器内的灯、滑动杆的位置等进行确认。

液晶显示器18除通过在拍摄时显示用于确认被摄体的实况图像，而作为电子显示取景器起作用之外，还进行拍摄后的静态图像或动态图像的再现显示、各种设定菜单的显示。

图3是表示本发明的拍摄装置的实施方式即数字照相机结构的概略框图。如图3所示的数字照相机1，将通过拍摄取得的图像数据变换成Exif格式的图像文件，并存储在可拆卸地安装在主体上的外部存储介质70中。

作为该数字照相机的操作系统，具有：上述动作模式开关11；菜单/确认按钮12；变焦/上下操作杆13；左右按钮14；返回按钮15；显示切换按钮16；快门按钮19；电源开关22；以及作为接口部分的操作系统控制部74，其用于将上述开关类的操作内容传递至CPU75。

作为光学系统，具有对焦镜头20a及变焦镜头20b。上述各镜头可以通过由电动机和电动机驱动器构成的对焦镜头驱动部51及变焦镜头驱动部52而沿光轴方向移动。使对焦镜头驱动部51基于由AF处理部62输出的对焦驱动量数据，使变焦镜头驱动部52基于变焦/上下操作杆13的操作量数据分别控制各镜头的移动。

另外，光圈54由电动机和电动机驱动器构成的光圈驱动部55驱动。该光圈驱动部55基于AE/AWB处理部63输出的光圈值数据而调整光圈直径。

快门56是机械快门，由电动机和电动机驱动器构成的快门驱动部57驱动。快门驱动部57与通过按下快门按钮19产生的信号、和从AE/AWB处理部63输出的快门速度数据对应而控制快门56的开合。

在光学系统的后方具有作为摄像元件的CCD58。CCD58具有以二维方式排列有大量感光元件的光电面，透过光学系统的被摄体光在该光电面上成像，进行光电变换。在光电面的前方，配置用于向各像素处聚光的微型透镜阵列和规则地排列有R、G、B各颜色的过滤器的彩色过滤器阵列。CCD58与由CCD控制部59供给的垂直传送时钟及水平传送时钟同步地，将积蓄在每个像素上的电荷一列一列地作为串行模拟拍摄信号输出。各像素处积蓄电荷的时间，即曝光时间由CCD控制部59施加的电子快门驱动信号决定。另外，CCD58由CCD控制部59调整其增益，以得到预先设定大小的模拟拍摄信号。

从CCD58读入的模拟拍摄信号输入至模拟信号处理部60。该模拟信号处理部60由下述部件组成：相关双采样电路(CDS)，其去除模拟信号的噪声；自动增益控制器(AGC)，其调节模拟信号的增益；以及A/D转换器(ADC)，其将模拟信号变换为数字信号。该变换为数字信号的图像数据，是每个像素中具有的R、G、B浓度值的CCD-RAW数据。

定时发生器72产生定时信号，通过将该定时信号供给至快门驱动部57、CCD控制部59、模拟信号处理部60，使快门按钮19的操作、快门56的开合、CCD 58电荷的读入及模拟信号处理部60的处理取得同步。

闪光灯控制部73在拍摄时使闪光灯24发光。具体地说，在闪光灯发光模式为闪光灯打开的情况下，以及在闪光灯发光模式为自动模式时而后述的预图像没有达到规定亮度的情况下，使闪光灯24打开，在拍摄时使闪光灯24发光。另一方面，在闪光灯发光模式为闪光灯关闭的情况下，在拍摄时禁止闪光灯24发光。

图像输入控制器61将从模拟信号处理部60输入的CCD-RAW数据写入至帧存储器66。

帧存储器66是在对图像数据进行后述的各种数字图像处理(信号处理)时使用的工作存储器，例如，使用与恒定周期的总线时钟信号同步地进行数据传送的SDRAM(Synchronous Dynamic RandomAccess Memory)。

显示控制部71用于将存储在帧存储器66中的图像数据作为实况图像显示在液晶显示器18中，或在再生模式时，将保存在外部存储介质70中的图像数据显示在液晶显示器18中。另外，在选择拍摄模式期间，以规定时间间隔由CCD58拍摄实况图像。

AF处理部62及AE/AWB处理部63基于预图像决定拍摄条件。该预图像是指，通过CPU75检测出由半按压快门按钮19而产生的半按压信号，使CCD58执行预拍摄，其结果根据存储在帧存储器66中的图像数据而显示出的图像。

AF处理部62基于预图像检测焦点位置，输出对焦驱动量数据(AF处理)。作为焦点位置的检测方式，例如考虑被动方式，即，利用在焦点对准的状态下图像的对比度变高这一特征，检测对焦位置。

AE/AWB处理部63基于预图像测量被摄体的亮度，基于测量出的被摄体的亮度而决定光圈值及快门速度等，将光圈值数据及快门速度数据确定为曝光设定值(AE处理)，同时自动调整拍摄时的白平衡(AWB处理)。另外，对于曝光及白平衡，在拍摄模式设定为手动模式的情况下，数字照相机1的拍摄者可以通过手动操作进行设定。另外，即使在自动设定曝光及白平衡的情况下，拍摄者也可以通过利用菜单/确认按钮12等操作系统进行指示，手动调整曝光及白平衡。

图像处理部64对主图像的图像数据进行伽玛校正、锐度校正、对比度校正等画质校正处理，并进行YC处理，该YC处理是将CCD-RAW数据变换为由作为亮度信号的Y数据、作为蓝色色差信号的Cb数据及作为红色色差信号的Cr数据构成的YC数据。该主图像是指，在通过完全按下快门按钮19而执行的正式拍摄中，由从CCD58读入并经由模拟信号处理部60、图像输入控制器61而存储在帧存储器66中的图像数据形成的图像。主图像的像素数的上限由CCD58的像素数决定，但可以通过例如精细、普通等设定而变更存储像素数。另一方面，实况图像及预图像的像素数以小于主图像，例如以主图像的1/16左右的像素数读入。

压缩/扩展处理部65对由图像处理部64进行校正·变换处理后的主图像的图像数据，以例如JPEG等压缩形式进行压缩处理，生成图像文件。在该图像文件中，基于Exif格式等，添加存储有拍摄日期时间等附加信息的标签。另外，压缩/扩展处理部65在再现模式的情况下，从外部存储介质70读取被压缩的图像文件，进行扩展处理。扩展后的图像数据被输出至液晶显示器18。

介质控制部67访问外部存储介质70而进行图像文件的写入和读取的控制。

内部存储器68存储数字照相机1中设定的各种常数及CPU75执行的程序等。

面部检测部80从以规定时间间隔连续取得的各实况图像中检测人物的面部。具体地说，将具有面部所包含的面部特征的区域(例如具有肤色、眼睛、面部形状等)检测为面部区域，但并不限定于此。另外，面部检测部80还检测面部的中心位置、大小、平面上的倾斜度以及朝向(正面、向右、向左)并输出。

另外，面部检测部80将具有面部所包含的面部特征的区域(例如具有肤色、眼睛、面部形状等)检测为面部区域。

例如可以使用特开2006-202276号(下面称为参考文献1)的方法。参考文献1的方法，考虑利用基于Adaboost的机器学习方法，即在追踪面部时，对移动矢量、特征点检测等公知的方法或学习数据，在进行采样时逐次地更新权重，将完成的机器最后相对于学习机器加权后进行补充而制作综合学习机器的方法。例如可以为下述方法：将平均帧模型嵌入实际的面部图像中，在通过将平均帧模型上的各标志位置移动，以与从面部检测出的相应的标志位置一致，由此使平均帧模型变形而构筑面部的帧模型时，通过机器学习方法，使用识别器及相对于各识别器的识别条件，从面部图像中检测出表示该标志的点的位置，上述识别器是通过对已知为规定标志的多个采样图像中的点的亮度分布和已知不是该标志的多个采样图像中的点的亮度分布进行学习而得到的。另外，也可以使用特开2004-334836号(下面称为参考文献2)的方法。参考文献2的方法是一种使用图像数据的特征部分抽取方法的方法，即从图像数据中切取固定大小的图像数据，将各切取图像数据和特征部分图像数据的对照数据进行比较，检测在上述处理对象图像中是否存在上述特征部分图像。另外也可以如特开2007-11970号(下面称为参考文献3)的方法那样，除了人物的面部区域之外，还将动物的面部作为特定被摄体进行检测。

在这里，对于面部朝向、面部倾斜度，面部检测部80输出预先确定的规定值。图4是表示面部朝向的输出值的表，图5是表示面部倾斜度的输出值的表。如图4所示的面部检测部80在面部朝向正面(正面面部)的情况下输出0，在面部朝向右方(左侧面部)的情况下输出1，在面部朝向左方(右侧面部)的情况下输出-1。

另外，如图5所示，面部检测部80以垂直方向为基准，从0度～330度的每隔30度分别输出0、1、2、3、4、5、6、-5、-4、-3、-2、-1的值。

另外，面部检测部80以包围检测出的面部区域的矩形的一个边的长度作为面部的大小进行输出。另外，以面部中心的二维空间坐标值为中心位置进行输出。

判断部82判断是否对从以规定时间间隔连续拍摄的实况图像中的最新实况图像检测出的新面部进行检测处理，同时进行检测履历的更新。具体地说，参照进行检测处理的面部的检测履历，判断是否对新面部进行检测处理，更新检测履历。检测履历由以前的检测结果和最新的检测结果构成，存储在内部存储器68中。

追踪处理部84如后所述，对作为AF目标的面部进行追踪处理。

CPU75与来自动作模式开关11等的操作系统和AF处理部62等的各种处理部的信号对应而控制数字照相机1的主体各部分。

数据总线76上连接有图像输入控制器61、各种处理部62～65、帧存储器66、介质控制部67、内部存储器68、显示控制部71、面部检测部80、判断部82、追踪处理部84及CPU 75，进行数字图像数据等的交换。

下面，说明上述结构的数字照相机1中进行的处理。首先，在本实施方式中，将以前及最新的M次的面部检测结果作为检测履历存储在内部存储器68中。图6是表示检测履历的数据结构的图。检测履历保留以前及最新的M次的面部检测结果。各次检测结果中保留本次检测出的面部数量、和由固有信息及链接信息构成的各面部信息。另外，对检测出的面部从0开始编号。

作为固有信息，包括面部检测部80检测出的面部中心位置、大小、倾斜度、朝向及检测结果的分数。在这里，所谓的分数是表示检测出的面部的面部相似度的值，该分数越大，检测出的面部就越与面部接近。

作为链接信息，包括向以前方向的链接和向未来方向的链接。向以前方向的链接包括：履历差，其表示包括对应面部的检测结果是多少个之前的结果；以及该以前结果中的对应面部的序号。向未来方向的链接包括：履历差，其表示包括对应面部的检测履历是多少个之后的结果；以及该未来检测结果中的对应面部的序号。

另外，在数字照相机1的电源接通时、面部检测功能打开时、正式拍摄结束时及变更数字照相机1的模式时，将检测履历初始化。

图7是表示本实施方式中进行的处理的流程图。另外，该处理在拍摄模式时取得实况图像，每次从取得的实况图像中检测面部时进行。通过取得新的实况图像，从取得的实况图像中检测面部，使判断部82开始处理，判断是否满足检测履历初始化的条件(步骤ST1)，如果步骤ST1为肯定，则将检测履历初始化(步骤ST2)。在步骤ST1为否定的情况下，以及在步骤ST2之后，读取存储在内部存储器68中的检测履历(步骤ST3)。

图8是示意地表示读取的检测履历的图。另外，在图8中，检测结果标记为history，为了说明的简便使其包括history[0]～history[4]这5个以前的检测结果。另外，history的数值越小，表示检测结果越新。另外，记载在各history中的序号为检测出的面部的序号。

如图8(a)所示，在作为最新的检测结果的history[0]中检测出0～2三个面部。在history[1]中检测出0～3四个面部。在history[2]中检测出0～1两个面部。在history[3]中检测出0～2三个面部。在history[4]中检测出0～1两个面部。

然后，在图8(a)中，通过将表示所链接的面部的数字分别以不同的线段连结，表示将history[0]、[1]、[2]中的序号为0、1、0的面部链接，将history[0]、[1]、[3]中的序号为1、0、2的面部链接，将history[0]～[4]中的序号为2、3、1、1、1的面部链接，将history[3]、[4]中的序号为0、0的面部链接。

然后，判断部82将检测履历中的以前的检测结果顺移，以将新的实况图像的检测结果(最新检测结果)追加到检测履历中(步骤ST4)。该检测结果的顺移是指，从所保存的M个以前的检测结果中，删除最旧的检测结果，以可以将最新检测结果追加至检测履历中。具体地说，如图8(b)所示，删除history[4]，使history[0]～history[3]作为新的history[1]～history[4]，从而可以在history[0]中追加新的检测结果。

然后，在检测履历中追加最新检测结果(步骤ST5)。另外，在图8(b)中，最新检测结果为检测出序号0～3的四个面部。然后，链接最新的检测结果和以前的检测结果，并更新检测履历(步骤ST6)。下面，说明检测履历的更新。图9、图10是检测履历的更新处理的流程图。

判断部82首先将包含在最新检测结果中的面部序号i设定为初始值0(步骤ST11)，判断j是否小于或等于最新检测结果中包含的面部数量(步骤ST12)。如果步骤ST12为否定，则返回。如果步骤ST12为肯定，则为了使检测履历中所包含的除了最新检测结果之外的最新的检测结果成为用于判断链接的对象，而设定k＝1(步骤ST13)，判断k是否小于或等于检测结果最大值M(步骤ST14)。如果步骤ST14为否定，则将链接判断对象设定为下一序号的面部(j＝j+1；步骤ST15)，返回步骤ST12。

如果步骤ST14为肯定，则将用于如后述判断面部中心之间距离的阈值Th1设定为初始值(步骤ST16)。另外，初始值具有用于判断面部之间是否相邻的值，与如后述计算出的面部中心之间距离d1对应，而以使该值变小的方式更新。

然后，在作为当前对象的检测结果[k]中，将链接判断对象的面部的序号i设定为初始值0(步骤ST17)，判断序号i是否小于或等于检测结果[k]中所包含的判断为进行检测处理的面部数量(检测面部数)(步骤ST18)。如果步骤ST18为否定，则将作为链接判断对象的检测结果[k]设定为前一旧检测结果(k＝k+1；步骤ST19)，返回步骤ST14。

如果步骤ST18为肯定，则判断检测结果[k]的面部[i]是否没有向未来方向的链接目标(步骤ST20)。在这里，在图8(b)中，history[1]中的全部面部都没有向未来方向的链接目标。另外，history[2]中的面部0、1、3具有向未来方向的链接目标，但面部2没有向未来方向的链接目标。如果步骤ST20为肯定，则将最新检测结果的面部[j]和检测结果[k]的面部[i]设定为链接判断对象(步骤ST21)。

然后，判断面部[j]和面部[i]的朝向差是否小于或等于规定阈值Th2(步骤ST22)。在这里，如果阈值Th2为0，则仅将相同朝向的面部判断为相同，如果阈值Th2为1，则将90度之内的差异判断为相同，如果阈值Th2为2，则任何朝向的面部均判断为相同。

如果步骤ST22为肯定，则判断面部[j]和面部[i]的倾斜度之差是否小于或等于规定阈值Th3(步骤ST23)。另外，优选阈值Th3使用可以将朝向差为30度之内的面部判断为相同的值。

如果步骤ST23为肯定，则判断面部[j]和面部[i]的大小之差是否小于或等于规定阈值Th4(步骤ST24)。

如果步骤ST24为肯定，则判断面部[j]和面部[i]的中心之间距离d1是否小于或等于阈值Th1(步骤ST25)。另外，也可以使用中心之间的距离的平方代替中心之间的距离。

如果步骤ST25为肯定，则将阈值Thl的值更新为中心之间的距离d1(步骤ST26)，然后判断中心之间的距离d1是否小于或等于规定阈值Th5(步骤ST27)。

如果步骤ST27为肯定，则将面部[j]的以前方向的链接目标设定为检测结果[k]的面部[i]，将面部[i]的未来方向的链接目标设定为最新检测结果的面部[j]。即，将面部[j]向以前方向的链接信息设定为履历差为k、对应面部序号为i，将面部[i]向未来方向的链接信息设定为履历差为k、对应面部序号为i(步骤ST28)。然后，将检测结果[k]中的链接判断对象设定为下一个面部(i＝i+1；步骤ST29)，返回步骤ST18。

如果步骤ST20、ST22、ST23、ST24、ST25、ST27为否定，则将履历[k]中的链接判断对象设定为下一个面部(i＝i+1；步骤ST29)，返回步骤ST18。

由此，例如图8(c)所示，将作为最新检测结果的history[0]的面部0、2与history[1]的面部1、0进行链接，将history[0]的面部1与history[2]的面部2进行链接。

返回图7，在步骤ST6之后，判断进行检测处理的面部(步骤ST7)。下面说明对进行检测处理的面部的判断。首先，判断部82将检测履历所包含的M次检测结果中，在N次检测结果中检测出的面部判断为进行检测处理(第1条件)。另外，在满足第1条件的情况下，即使在最新检测结果中没有检测出，也判断为对在N次检测结果中检测出的面部进行检测处理(第2条件)。另外，即使不满足第1条件，也将在最新检测结果中检测出的面部之中，分数大于或等于规定阈值Th10的面部判断为进行检测处理(第3条件)。

另外，即使在最新检测结果中没有检测出，也可以对是否判断为进行检测处理进行切换，从而在即使最新检测结果中没有检测出，但判断为进行检测处理的情况下，在面部中心位于图像的周边部时，也可以判断为不进行检测处理。

另外，在即使最新检测结果中没有检测出也判断为进行检测处理的情况下，存在即使在得到最新检测结果之前面部中心位于图像的周边部，但根据被摄体的运动矢量，其向图像中心部移动的概率高的情况。此时，也可以如图15A、15B、15C所示，控制检测框。以虚线表示的人物是得到检测结果后的面部中最新的被摄体像，以实线表示的人物是在得到检测结果之前，当前存在的被摄体像。

图15A表示由于直接使用根据履历得到检测结果后的面部中最新的面部检测位置而显示检测框，检测框变得滞后。但是，通过检测当前存在的被摄体像的面部，可以如图15A的箭头所示追踪显示该检测框。

另外，图15B是根据运动矢量推定当前可能存在的被摄体像。然后，根据推定的面部检测位置显示检测框。根据运动矢量进行推定的方法也可以是根据在最新检测结果中检测出的面部中心位置的推移进行推定。另外，也可以通过与作为最新检测结果时的基准的特定帧图像整体进行比较而导出的运动矢量的推移，进行计算。

另外，图15C是基于根据检测到的履历得到检测结果后的面部中最新的面部位置及根据运动矢量推定的面部位置，扩大地显示检测框。这样，即使无法检测出最新检测时的被摄体，也具有使用户认为检测到了这样的效果。

上述实施方式并不限于显示检测框，也可以将其作为检测出的面部的位置信息而存储在外部存储介质70或帧存储器66等中。

另外，所存储的面部的位置信息，也可以用于例如AF处理部62或AE/AWB处理部63的AE处理或AWB处理中。

在这里，在图8中，5次中检测出3次的情况下判断为进行检测处理的情况下，如图8(d)所示，判断为对作为最新检测结果的history[0]的面部0、2进行检测处理，对history[1]的面部2进行检测处理。在图8(d)中，在判断为进行检测处理的面部序号上附加○进行表示。

另外，如果进行检测处理的面部数量过多，则会在如后述向判断为进行检测处理的面部处附加检测框进行显示时，使实况图像变得难以观察。因此，在本实施方式中，对判断为进行检测处理的面部数设置限制，在进行检测处理的面部数超过限制值的情况下，进行使检测处理的面部数减少至限制值以内的处理。下面，说明在进行检测处理的面部数超过限制值的情况下的处理。图11是表示进行检测处理的面部数超过限制值的情况下的处理的流程图。

判断部82判断进行检测处理的面部数是否超过限制值(步骤ST31)，如果步骤ST31为否定则结束处理。如果步骤ST31为肯定，则将判断为进行检测处理的面部按履历新旧的顺序进行排序(步骤ST32)。然后，判断数字照相机1是否对履历相同的面部设定为大小优先(步骤ST33)，如果步骤ST33为肯定，则将履历相同的面部按大小顺序排序(步骤ST34)。然后，将履历相同且大小相同的面部按距离实况图像的中央的远近顺序排序(步骤ST35)。

另一方面，如果步骤ST33为否定，则将履历相同的面部按距离中央的远近顺序排序(步骤ST36)。然后，将履历相同且与中央距离相同的面部以大小顺序排序(步骤ST37)。

在步骤ST35、步骤ST37之后，将履历相同、大小相同且与中央距离相同的面部按分数顺序排序(步骤ST38)。然后，将排序结果中的从上位至限制值为止的面部决定为最终进行检测处理的面部(步骤ST39)，并结束处理。

返回图7，在步骤ST7之后，进行AF目标面部追踪处理(步骤ST8)后返回。下面，说明AF目标面部追踪处理。AF目标面部追踪处理是由追踪处理部84进行的处理，在半按压快门按钮19而设定了作为AF目标的面部后进行处理，以在即使拍摄者使数字照相机1的视场角略微偏移后，作为AF目标的面部也不会变动。由此，即使在面部出现了多个的情况下，作为AF目标的面部也不会变化，具有可以在相同面部上进行对焦的效果。

图12是AF目标面部追踪处理的流程图。另外，AF目标面部追踪处理以规定时间间隔重复进行。该规定时间间隔可以与取得实况图像的间隔相同，也可以不同。

首先，追踪处理部84判断数字照相机1是否满足上述将检测履历初始化的条件(步骤ST41)，如果步骤ST41为肯定，则设定check result为0(步骤ST42)。该check result表示进行AF目标面部追踪处理的次数。

在步骤ST41为否定的情况下及在步骤ST42之后，判断数字照相机1是否设定为不进行AF目标面部追踪处理(步骤ST43)，如果步骤ST43为肯定，即设定为不进行AF目标面部追踪处理的情况下，设定为check result＝0(步骤ST44)，清除作为AF目标而选择的面部信息(清除AF选择面部信息；步骤ST45)，然后进行AF优先面部选择处理(步骤ST46)，将所选择的面部作为本次AF目标追踪处理中的AF目标面部(步骤ST47)，前进至步骤ST55使check result递加后返回。

在这里，由于作为AF目标而选择的面部，其信息被追加在检测履历中，所以只要参照检测履历就可以知道AF目标面部是哪一个面部。另外，AF优先面部选择处理是与AF配合而向进行检测处理的多个面部设置面部的优先顺序的处理。

另一方面，如果步骤ST43为否定，则判断check result是否小于预先设定的次数Th12(步骤ST48)，如果步骤ST48为否定，则前进至步骤ST44以重新进行AF目标追踪处理。如果步骤ST48为肯定，则参照检测履历而取得上次AF目标面部追踪处理中的AF目标信息(步骤ST49)。AF目标信息是检测履历中作为AF目标的面部所包含的检测结果及其面部信息。然后，基于取得的AF目标信息，判断上次AF目标追踪处理中的作为AF目标的面部是否存在未来方向的与其链接的面部(步骤ST50)。

在这里，如图8(c)所示，在history[1]中的面部1作为AF目标的情况下，在未来方向的检测结果history[0]中存在相应的面部0。在这种情况下，步骤ST50为肯定。另一方面，在history[1]中的面部2作为AF目标的情况下，在未来方向的检测结果history[0]中不存在相应的面部。在这种情况下，步骤ST50为否定。

如果步骤ST50为否定，则判断在上次AF目标追踪处理中作为AF目标的面部在本次AF目标追踪处理中是否也判断为进行检测处理(步骤ST51)，如果步骤ST51为否定，则前进至步骤ST44以重新进行AF目标追踪处理。如果步骤ST51为肯定，则使上次AF目标追踪处理中作为AF目标的面部成为本次AF目标追踪处理中的AF目标面部(步骤ST52)，前进至步骤ST55使check result递加后返回。

另一方面，如果步骤ST50为肯定，则参照检测履历，判断是否对与上次AF目标追踪处理中作为AF目标的面部在未来方向链接的面部进行检测处理(步骤ST53)。如果步骤ST53为否定，则前进至步骤ST44以重新进行AF目标追踪处理。如果步骤ST53为肯定，则使与上次AF目标追踪处理中作为AF目标的面部在未来方向链接的面部成为本次AF目标追踪处理中的AF目标面部(步骤ST54)，前进至步骤ST55使check result递加后返回。

在这里，如图8(c)所示，在history[1]中的面部1为AF目标的情况下，在未来方向的检测结果history[0]中存在相应的面部0，并对该面部0进行检测处理。由此，history[0]中的面部0成为本次AF目标追踪处理中的AF目标面部。

由此，可以对作为AF目标的面部进行追踪。

另外，在上述实施方式中，优选在将实况图像显示在液晶显示器18中时，利用检测框包围作为AF目标的面部，在通过AF目标追踪处理对该面部进行追踪时，使包围该面部的检测框也进行追踪显示。例如，如图13(a)～(c)所示，在视场角内的作为AF目标的面部F1为了拍摄时进行定位而从左向右移动的情况下，优选使包围面部F1的检测框A1与面部F1的移动配合而进行追踪。

另外，也可以不仅对作为AF目标的面部，而是如图14所示，利用检测框A1～A4包围所有判断为进行检测处理的面部F1～F4。在这种情况下，如果更新检测履历，则也要更新检测框的大小及位置。

另外，在如上述利用检测框包围AF目标或判断为进行检测处理的面部而进行显示的情况下，由于人物移动或视场角变化，面部的大小和位置也会变化，所以如果更新检测履历，则检测框的大小或位置也会变化。但是，由于随着检测履历更新，随着面部的大小和位置的变化，使检测框的大小和位置变化而进行显示，反而会使实况图像变得难以识别。

在这种情况下，优选参照检测履历，使面部的大小及位置平滑化，与平滑化后的面部大小及位置对应而显示检测框。

该平滑化处理利用检测履历和AF目标面部或判断为进行面部检测处理的面部的信息，而决定检测框的大小及位置。具体地说，针对AF目标面部或判断为进行检测处理的面部，将以前方向的链接目标回溯到规定次数之前的检测结果为止进行检索，抽取各次检测结果中的对应面部的固有信息(朝向、倾斜度、大小及中心位置)。然后，从对应面部中抽取出固有信息的差值分别处于规定范围内的面部。在该阶段中，在抽取的面部大于或等于规定数量的情况下，去除大小最大的面部及最小的面部，使用剩余的面部进行平滑化。另外，在抽取的面部小于规定数量的情况下，使用全部的面部进行平滑化。

由此，通过使用平滑化后的面部大小及位置显示检测框，可以防止每次在检测履历更新后，检测框的大小及位置大幅变动而难以识别实况图像的情况。

另外，在上述实施方式中，对面部的大小及位置两者都进行平滑化，但也可以仅对面部的大小及位置的任一个进行平滑化。

另外，也可以将平滑化后的面部大小及位置的信息，与通过正式拍摄取得的主图像的图像数据一起保存在外部存储介质70中，在再生模式中再生图像时，使用平滑化后的面部大小及位置的信息，在再生的图像中显示检测框。

另外，上述实施方式中，以面部作为规定的对象物，但并不限定于此，也可以是面部之外的其他被摄体。

以上说明了本发明的实施方式所涉及的数字照相机，但也可以使用计算机作为与上述面部检测部80、判断部82及追踪处理部84对应的单元起作用，进行如图7、9～12所示的处理的程序也是本发明的实施方式的一部分。另外，存储上述程序的可由计算机读取的存储介质也是本发明的实施方式的一部分。

Claims (7)

1.一种拍摄装置，其特征在于，具有：

拍摄单元，其通过拍摄取得图像；

对象物检测单元，其从由上述拍摄单元拍摄的图像中检测规定对象物；

保存单元，其保存由上述规定对象物的以前的检测结果和最新的检测结果构成的检测履历；以及

判断单元，其参照上述检测履历，判断是否对最新取得的图像中的上述规定对象物进行检测处理。

2.根据权利要求1所述的拍摄装置，其特征在于，

上述判断单元在上述规定对象物在包括以前在内的M次上述检测结果中被检测出大于或等于N次的情况下，判断为对上述规定对象物进行上述检测处理，其中M≥N。

3.根据权利要求2所述的拍摄装置，其特征在于，

上述判断单元，即使在上述规定对象物在包括以前在内的M次上述检测结果中没有被检测出大于或等于N次的情况下，在上述最新的检测结果满足规定条件时，也判断为对上述规定对象物进行上述检测处理，其中M≥N。

4.根据权利要求2所述的拍摄装置，其特征在于，

上述判断单元在上述规定对象物在包括以前在内的M次上述检测结果中被检测出大于或等于N次的情况下，即使在上述最新的检测结果中未检测出上述规定对象物的状态下，在满足一定条件时，也判断为对上述规定对象物进行上述检测处理，其中M≥N。

5.根据权利要求1所述的拍摄装置，其特征在于，

还具有选择保持单元，其在选择了经过上述检测处理后的上述规定对象物的情况下，然后在新的图像中检测出与上述选择的规定对象物对应的规定对象物时，保持该规定对象物的选择状态。

6.根据权利要求1所述的拍摄装置，其特征在于，

上述判断单元对包含在上述检测履历中的经过上述检测处理的、相互对应的多个规定对象物的位置及大小中的任意一种进行平滑化，输出平滑化后的信息。

7.一种拍摄方法，其特征在于，

通过拍摄取得图像，

从由上述拍摄单元拍摄的图像中检测规定对象物，

保存由上述规定对象物的以前的检测结果和最新的检测结果构成的检测履历，

参照上述检测履历，判断是否对最新取得的图像中的上述规定对象物进行检测处理。

Images