CN103369251A - 图像捕获装置和图像捕获装置的控制方法 - Google Patents

Abstract

本发明提供了一种图像捕获装置和图像捕获装置的控制方法，该图像捕获装置具有在连续拍摄的图像中依次检测预定被摄体的被摄体跟踪功能。在跟踪被摄体期间，确定跟踪可靠度。在将检测到的脸部设置为模板图像的情况下，在接连预定多次确定跟踪可靠度低之前，不改变模板图像。因此，能够实现几乎不被错误检测影响的被摄体跟踪功能。

Description

图像捕获装置和图像捕获装置的控制方法

技术领域

本发明涉及一种图像捕获装置和图像捕获装置的控制方法，尤其涉及一种具有跟踪被摄体的功能的图像捕获装置及其控制方法。

背景技术

传统上，在使用固态图像传感器的照相机中，从诸如实时取景图像的运动图像的帧中检测给定被摄体并且在后续帧中跟踪被摄体的功能已投入实际使用。具有这种被摄体跟踪功能的照相机能够检测被摄体在图像中的位置，以适当地对被摄体进行自动焦点调节和自动曝光控制。例如，检测人脸并且将其设置为跟踪目标，由此对检测到的脸部连续进行聚焦的照相机已经商业化。此外，还存在如下照相机，在照相机在跟踪被摄体期间丢失被摄体的情况下，这些照相机重设跟踪目标，并且再次开始进行跟踪。

例如，专利文献1（日本专利公开第2011-27847号）公开了一种照相机，在该照相机在图像中检测到人脸的情况下，该照相机将检测到的人脸中最大的脸部自动选择为跟踪目标。

此外，专利文献2（日本专利公开第2009-124565号）公开了一种照相机，该照相机进行脸部检测操作，然后设置跟踪目标，并且开始跟踪操作，该照相机具有在其丢失跟踪目标的情况下，再次进行脸部检测操作，并且重设跟踪目标的功能。

专利文献1和2两者启示了在没有检测到脸部的情况下，将自动焦点检测区域中先前设置的被摄体设置为跟踪目标。

然而，在专利文献1和2中公开的传统技术中，没有提出针对错误脸部检测的应对措施，从而可能将错误地检测到的区域取作脸部检测区域，来进行跟踪。

发明内容

鉴于传统技术的这种问题完成了本发明。本发明提供一种被摄体跟踪功能，该功能基于被摄体检测，并且对于被摄体的错误检测具有提高的容限或者鲁棒性。

根据本发明的一方面，提供一种图像捕获装置，其包括：脸部检测单元，被配置为检测包含在图像中的脸部；被摄体检测单元，被配置为从通过拍摄获得的图像中检测与模板图像类似的区域；以及控制单元，被配置为通过使所述被摄体检测单元在连续拍摄的图像中，依次检测与被摄体区域的模板图像类似的区域，来实现跟踪被摄体的功能，其中，所述控制单元还被配置为在跟踪所述被摄体期间，确定所述被摄体检测单元进行的检测的可靠性，并且在将由所述脸部检测单元检测到的所述脸部设置为所述模板图像的情况下，在接连预定多次确定所述被摄体检测单元进行的所述检测的可靠性低之前，所述控制单元不改变所述模板图像。

根据本发明的另一方面，提供一种图像捕获装置的控制方法，所述图像捕获装置包括：脸部检测单元，被配置为检测包含在图像中的脸部；以及被摄体检测单元，被配置为从通过拍摄获得的图像中检测与模板图像类似的区域，所述控制方法包括：控制步骤，通过使所述被摄体检测单元在连续拍摄的图像中，依次检测与被摄体区域的模板图像类似的区域，来实现跟踪被摄体的功能，在所述控制步骤中，在跟踪所述被摄体期间，确定所述被摄体检测单元进行的检测的可靠性，并且在将由所述脸部检测单元检测到的所述脸部设置为所述模板图像的情况下，在接连预定多次确定所述被摄体检测单元进行的所述检测的可靠性低之前，所述控制单元不改变所述模板图像。

通过以下参照附图对示例性实施例的描述，本发明的其它特征将变得清楚。

附图说明

图1是例示在根据本发明的实施例的图像捕获装置中基于脸部检测结果和跟踪的可靠性进行跟踪模式转变的控制的示例的图。

图2是例示作为根据本发明的实施例的图像捕获装置的示例的数字单镜头反光照相机的侧面剖视图。

图3是例示根据本发明的实施例的数字单镜头反光照相机的功能的配置的示例的框图。

图4是例示图2的AF控制单元、系统控制单元和AE控制单元的处理序列及它们之间的相互关系的图。

图5是例示图2的AF控制单元、系统控制单元和AE控制单元的处理序列及它们之间的相互关系的图。

图6A至6D是例示正在跟踪被摄体的根据本发明的实施例的图像捕获装置的光学取景器图像的示例的图。

图7是例示根据本发明的实施例的图像捕获装置的模板图像生成处理的流程图。

图8是例示根据本发明的实施例的图像捕获装置的脸部检测区域和测光区域之间的关系的示例的图。

具体实施方式

现在，根据附图详细描述本发明的示例性实施例。

图2是例示作为根据本发明的实施例的图像捕获装置的示例的数字单镜头反光照相机（DSLR）的主要构成部件的布置的示例的侧面剖视图。DSLR包括主体201和附着到主体201的前面的摄像镜头202。摄像镜头202是可互换的，主体201和摄像镜头202经由镜头座（未示出）彼此机械连接并且电连接。摄像镜头202包括聚焦透镜213和光圈214，主体201的电控制经由镜头座接点组215操作聚焦透镜213和光圈214。

主镜203是半透明反射镜，副镜204配设在主镜203后面。在例示的镜未抬升的状态下，主镜203反射来自摄像镜头202的光束中的一部分，使其入射到配设在上方的取景器光学系统上，并且副镜204反射光束中的透射光，使其入射到配设在下方的AF设备205上。在镜抬升的状态下，例如，在进行曝光时，两个镜从光路缩回。

AF设备205是相位差检测类型的AF传感器。通过在包含在AF设备205中的焦点检测线传感器上对摄像镜头202的二次成像表面进行成像，检测摄像镜头202的散焦量和焦点方向，并且基于检测结果驱动聚焦透镜213，由此进行自动焦点调节。由于相位差检测类型的焦点控制是公知的，并且不直接与本发明相关，因此省略对AF设备205的详细配置和焦点控制的描述。

聚焦屏206是布置在摄像镜头202的成像表面上的透射型液晶显示器，当摄像镜头202用作取景器光学系统时，要在摄像镜头202的成像表面上形成图像，并且聚焦屏206以叠加的方式在具有由摄像镜头202形成的视场（field of view）的光学图像上显示关于焦点区域等的信息。通过从目镜209经由用于改变取景器光路的五棱镜207观察聚焦屏206，用户能够确认要捕获的图像的视场、焦点区域等。

AE设备208使用具有多个像素的AE传感器将光学取景器图像改变为测光图像数据，以便观察被摄体的亮度。除了像素的数量之外，AE传感器可以具有与图像传感器211相同的配置，但是将其称为“AE传感器”，是因为其主要用于检测被摄体的亮度。测光图像数据具有R、G和B分量。AE设备208使用生成的测光图像数据，对被摄体进行亮度检测、曝光控制、跟踪和脸部检测。

图像传感器211是布置有各自包括光电转换元件的多个像素的CMOS图像传感器、CCD图像传感器等。通过从拍摄光路缩回主镜203和副镜204，并且通过打开帘幕式快门210，对图像传感器211进行曝光，并且拍摄被摄体的光学图像。

显示器212例如是在显示实时取景图像时用作电子取景器并且用于显示各种类型的设置值、拍摄信息、装置信息、GUI画面、捕获的图像等的液晶显示器（LCD）。

图3是例示本实施例的DSLR的功能配置的示例的框图。注意，对与在图2中相同的构成元素给予相同的附图标记。

操作单元301检测用户经由安装在主体201和/或摄像镜头202上的按钮、开关、旋钮、连接设备等进行的操作，并且向系统控制单元306输出与操作的内容相对应的信号。操作单元301根据释放按钮的按下量，发送信号SW1和SW2。具体来说，当近似半程按下释放按钮时，操作单元301向系统控制单元306输出信号SW1，而当进一步按下释放按钮到预定程度时，操作单元301向系统控制单元306输出信号SW2。注意，将按下释放按钮，从而输出信号SW1的状态称为“半程按下”，而将按下释放按钮，从而输出信号SW2的状态称为“全程按下”。将保持释放按钮的“半程按下”的状态称为“SW1保持状态”，而将保持释放按钮的“全程按下”的状态称为“SW2保持状态”。此外，当释放按钮的按下量下降到发送信号SW1的按下量以下时，操作单元301向系统控制单元306输出SW1取消信号，并且当释放按钮的按下量下降到发送信号SW2的按下量以下时，操作单元301向系统控制单元306输出SW2取消信号。

如上所述，AF设备205进行相位差检测类型的自动焦点检测，并且基于自动焦点检测的结果向焦点位置驱动聚焦透镜213（自动焦点调节）。AF设备205由AF控制单元304和聚焦传感器305构成。由例如与如图6A所示的61个焦点区域的布置相对应的线传感器构成的聚焦传感器305，将经由副镜204入射到其上的光转换为电信号，并且向AF控制单元304输出针对各个焦点区域的一对图像信号。AF控制单元304基于从聚焦传感器305输出的该对图像信号之间的相位差，计算图6A所示的各个焦点区域的散焦量，并且选择一个焦点区域进行聚焦。然后，AF控制单元304向系统控制单元306输出以各个焦点区域的散焦量作为数据的散焦图、以及选择的焦点区域的位置信息。系统控制单元306基于选择的焦点区域的位置和散焦图进行焦点调节操作，并且控制聚焦透镜213的位置，使得其聚焦在选择的焦点区域上。

AE设备208进行自动曝光控制和被摄体跟踪。AE设备208由AE控制单元302和测光传感器303构成。AE控制单元302基于从测光传感器303连续读出的测光图像数据进行自动曝光控制，并且向系统控制单元306输出其结果。系统控制单元306基于从AE控制单元302输出的自动曝光控制的结果，控制光圈214的F值（孔径大小），以调节要入射到主体201上的光量。

此外，在SW1保持状态下，并且在连续拍摄期间，AE控制单元302使用由测光传感器303连续拍摄的测光图像数据，依次检测被摄体，由此实现被摄体跟踪，并且向系统控制单元306输出检测到的被摄体的位置的信息。系统控制单元306向AF控制单元304输出由AE控制单元302输出的被摄体的位置信息。

AF控制单元304计算由系统控制单元306输出的被摄体的位置处或者该位置附近的焦点区域中的散焦量，并且将计算结果与预定阈值进行比较。如果比较结果示出散焦量不大于阈值，则AF控制单元304将要向系统控制单元306输出的选择的焦点区域的位置数据，从AF控制单元304基于各个焦点区域的散焦量选择的焦点区域，更新为位于被摄体上或者被摄体附近的焦点区域。

当从操作单元301输出了信号SW2时，系统控制单元306抬升主镜203（和副镜204），并且将其（它们）从光路缩回。然后，系统控制单元306驱动帘幕式快门210，并且在根据自动曝光控制的结果的时间段内对图像传感器211进行曝光。当曝光时间结束时，系统控制单元306降低主镜203（和副镜204）。

图像传感器211将在曝光时间期间经由摄像镜头202入射到其上的光，针对各个像素转换为电信号，从而生成图像数据，并且向系统控制单元306输出该图像数据。系统控制单元306对从图像传感器211输出的图像数据进行预定图像处理等，并且在显示器212上显示该图像数据，或者将该图像数据写入图像存储器设备307中。

下面，描述本实施例的DSLR的操作。

图4和5是例示AF控制单元304、系统控制单元306和AE控制单元302的操作序列的图，具体来说，图4例示了SW1保持状态下的操作序列，而图5例示了SW2保持状态下的操作序列。注意，图4和5旨在例示各个控制单元中的处理序列和操作定时，从而即使由同一控制单元进行处理，块的大小（高度）也不与处理时间的长度相关联，更不用说由不同控制单元进行处理。

步骤S441指示半程按下释放按钮，并且从操作单元301向系统控制单元306输出信号SW1的定时。接收到信号SW1的输入的系统控制单元306向AF控制单元304输出AF开始信号D01，并且向AE控制单元302输出AE开始信号D02。

在SW1保持状态下，AE控制单元302作为单个处理单位针对一个运动图像帧（静止图像帧）（下文中将运动图像帧和静止图像帧仅称为“帧”）中的图像，重复进行从步骤S401到步骤S406的处理。类似地，AF控制单元304作为单个处理单位针对一个帧中的图像，进行从步骤S421到步骤S425的处理。然而，AE控制单元302和AF控制单元304两者都响应于对从系统控制单元306输出的开始信号（AF开始信号和AE开始信号）的接收，来开始一个处理单位。此外，在自AE控制单元302和AF控制单元304开始处理起的第一帧中不进行包含在该单个处理单位中的被摄体跟踪处理（S403）和焦点区域重新选择处理（S424），而从第二帧以后进行这些处理。这是因为在第一帧中尚未决定跟踪目标。

现在，说明在AE控制单元302中进行的从步骤S401到步骤S406的处理。

在步骤S401中，当接收到来自系统控制单元306的AE开始信号D02时，AE控制单元302使用测光传感器303进行累积（由测光传感器303进行拍摄）。该累积（拍摄）操作与由接收到来自系统控制单元306的AF开始信号D01的AF控制单元304进行的聚焦传感器305的累积操作同时开始。相应地，聚焦传感器305和测光传感器303获得的图像信号是在同一定时拍摄的信号。

在步骤S402中，AE控制单元302从测光传感器303中读出测光图像数据，并且生成具有RGB颜色信息的检测目标图像数据。

在步骤S403中，AE控制单元302进行用于在检测目标图像中检测跟踪目标的位置（被摄体的坐标）的被摄体跟踪处理。具体来说，AE控制单元302将在先前进行的跟踪模板生成处理（S406）中生成的模板图像取作跟踪目标图像，并且对在步骤S402中生成的检测目标图像进行模板匹配。“模板匹配”是指检测包含在检测目标图像中的、与模板图像一致或者类似的图像区域的方法，该检测通过基于图像的亮度信息和颜色信息对其间的相关性进行评价来进行。

此外，AE控制单元302基于模板图像与包含在检测目标图像中的作为跟踪目标检测到的区域中的图像之间的相关程度，来计算跟踪的可靠度。它们之间的相关程度越高，计算的可靠度越高。然后，AE控制单元302将被摄体跟踪处理结果作为数据D03输出到系统控制单元306，数据D03包括跟踪目标的位置和跟踪的可靠度。系统控制单元306将该数据作为数据D04传送到AF控制单元304。

在步骤S404中，AE控制单元302基于在步骤S402中生成的检测目标图像进行曝光控制，并且将曝光控制结果作为曝光控制数据D06输出到系统控制单元306。这时，如果在针对之前一个帧中的图像进行的脸部检测处理（S405）中检测到了脸部，则AE控制单元302基于之前一个帧的相同检测目标图像中的检测到的脸部区域的亮度信息，对曝光控制结果进行校正，使得能够使用正确的曝光拍摄该脸部。在本实施例中，在检测到的脸部中选择接近选择的焦点区域的多达五个焦点区域，并且根据脸部区域中的亮度的平均值计算决定拍摄条件的被摄体的亮度值（BV值）。

在步骤S405中，AE控制单元302对在步骤S402中读出的图像数据进行脸部检测处理，并且输出检测到的脸部位置（脸部区域中的代表坐标）。如果检测到了多个脸部，则基于稍后将描述的选择的焦点区域的数据D08以及检测到的脸部的位置，选择位于最接近选择的焦点区域的脸部，并且将该脸部取作跟踪目标的候选对象。

在步骤S406中，AE控制单元302基于稍后将描述的选择的焦点区域的数据D08以及步骤S405中的脸部检测处理的结果，生成或者更新跟踪模板。稍后将说明处理的细节。

前面是AE控制单元302的处理。然而，如上所述，在没有生成跟踪模板的情况下（例如在第一帧中），不进行步骤S403中的被摄体跟踪处理。

下面，说明由AF控制单元304进行的从步骤S421到步骤S425的处理。

在步骤S421中，当接收到从系统控制单元306输出的AF开始信号D01时，AF控制单元304使用聚焦传感器305开始电荷累积（拍摄）。

在步骤S422中，AF控制单元304从聚焦传感器305中读出图像信号。

在步骤S423中，AF控制单元304基于在步骤S422中读出的图像信号进行焦点检测运算，并且计算焦点区域中的焦点状况（散焦量）。注意，在输出信号SW1之后的第一帧中，在通过用户设置等事先选择的焦点区域中进行焦点检测，但是在第二帧或者之后的帧中，在之前一个帧中选择的焦点区域和接近该帧的焦点区域中进行焦点检测。

在步骤S424中，AF控制单元304从系统控制单元306接收数据D04，数据D04是在步骤S403中由AE控制单元进行的被摄体检测处理的结果，并且与跟踪目标的位置和跟踪的可靠度相关。然后，基于跟踪目标的位置和跟踪的可靠度，AF控制单元304重新选择焦点区域。即，AF控制单元304计算可选择的焦点区域中总共五个焦点区域中的散焦量，该五个焦点区域包括最接近跟踪目标的位置（检测到的被摄体的位置）的焦点区域以及向上、向下、向左和向右的周围焦点区域中的其它焦点区域。如果计算的最小散焦量不大于预定值，则AF控制单元304将具有计算的最小散焦量的焦点区域，取作新选择的焦点区域，来代替在步骤S423中选择的焦点区域。

另一方面，如果所有五个焦点区域中的散焦量都大于该预定值，则AF控制单元304不改变在步骤S423中选择的焦点区域。以这种方式，通过不仅将最接近跟踪目标的位置的焦点区域，还将周围焦点区域，取作重新选择的候选对象，即使最接近其跟踪目标的位置的焦点区域的对比度如此低，使得无法计算散焦量，也能够进行主被摄体的焦点检测。

如果决定了选择的焦点区域，则AF控制单元304向系统控制单元306输出数据D05，数据D05包括与选择的焦点区域的位置相对应的散焦量的信息。使用这种措施，开始系统控制单元进行的焦点调节（S442）。

在步骤S425中，AF控制单元304计算可选择的所有焦点区域的焦点状况（散焦量），以更新散焦图，并且将更新后的散焦图作为数据D07输出到系统控制单元306。

系统控制单元306将作为数据D05接收到的选择的焦点区域的位置以及作为数据D07接收到的散焦图，作为数据D08输出到AE控制单元302。注意，“选择的焦点区域的位置”可以指指示焦点区域的具体位置的信息，但是当另外使用各个焦点区域的位置的信息时，诸如焦点区域编号的能够指定焦点区域的信息也适用。

由于所有焦点区域的散焦量的计算需要时间，因此在更新散焦图之后进行在步骤S442中由系统控制单元306进行的焦点调节处理的情况下，响应可能劣化。因此，通过首先在步骤S423中向系统控制单元306输出在选择的焦点区域上调节焦点所需的信息，从而进行焦点调节处理，然后向系统控制单元306新提供散焦图，来防止焦点调节的响应的劣化。

前面是AF控制单元304的处理。然而，由于在第一帧中，AE控制单元302跳过了步骤S403中的被摄体跟踪处理，而不输出与跟踪目标的位置相关的数据D04，因此AF控制单元304跳过步骤S424中的焦点区域重新选择处理。这里，AF控制单元304将在步骤S423中的焦点检测运算和焦点区域选择处理中选择的焦点区域，设置为选择的焦点区域，并且将其作为数据D05输出到系统控制单元306。

最后，说明系统控制单元306的处理。

在步骤S442中，系统控制单元306基于作为数据D05从AF控制单元304接收到的关于选择的焦点区域的位置和散焦量的信息，驱动聚焦透镜213，并且进行焦点调节，使得聚焦透镜213聚焦在选择的焦点区域上。

此外，系统控制单元306使开始AE控制单元302和AF控制单元304的操作的定时同步，并且在AE控制单元302和AF控制单元304之间传送数据。

系统控制单元306的该操作的细节如下。

为了同步测光传感器303和聚焦传感器305的累积操作，系统控制单元306同时输出用于处理的AF开始信号D01和AE开始信号D02。

系统控制单元306从AE控制单元302接收与跟踪目标的位置和跟踪可靠度相关的数据D03，并且在预定定时将数据D03作为与跟踪目标的位置相关的数据D04输出到AF控制单元304。

系统控制单元306从AF控制单元304接收与选择的焦点区域的位置的信息相关的数据D05以及与所有焦点区域的散焦图相关的数据D07，并且在预定定时将数据D05和数据D07作为数据D08输出到AE控制单元302。

图5是例示在全程按下释放按钮，并且输出信号SW2之后进行连续拍摄（连拍）时，AF控制单元304、系统控制单元306和AE控制单元302的处理序列的图。

与图4类似，图5也旨在例示各个控制单元中的处理序列和操作定时，从而即使由同一控制单元进行处理，块的大小（高度）也不与处理时间的长度相关联，更不用说由不同控制单元进行处理。此外，在图5中，添加了与图4中相同的编号的处理与在图4中说明的处理相同，并且省略重复说明。

在步骤S501中，当检测到从操作单元301输出信号SW2时，系统控制单元306开始镜抬升操作（S502）、主拍摄操作（S503）和镜降低操作（S504）的一系列操作。稍后详细说明各个操作。

此外，系统控制单元306向AF控制单元304输出释放开始信号D09并且向AE控制单元302输出释放开始信号D10。接收到释放开始信号D09和D10的AF控制单元304和AE控制单元302中断这时它们正在进行的处理。在完成步骤S504中的镜降低操作之后，系统控制单元向AF控制单元304输出AF开始信号D01，并且向AE控制单元302输出AE开始信号D02。

接收到AF开始信号D01的AF控制单元304进行从步骤S421到步骤S425的处理，并且接收到AE开始信号D02的AE控制单元302进行从步骤S401到步骤S406的处理。在SW2保持状态期间，系统控制单元306在完成步骤S504中针对各个帧的镜降低操作的定时，向AF控制单元304输出AF开始信号D01，并且向AE控制单元302输出AE开始信号D02。

下面，详细说明从步骤S502到S504的处理。

在步骤S502中，系统控制单元306抬升主镜203和副镜204，使得它们从光路缩回。此外，系统控制单元306基于作为数据D06直接从AE控制单元302接收到的曝光控制结果驱动光圈214，并且控制光圈的孔径。

在步骤S503中，系统控制单元306基于曝光控制结果驱动帘幕式快门210，并且在根据曝光控制结果的时间段内对图像传感器211进行曝光。

在步骤S504中，系统控制单元306降低主镜203和副镜204。

图像传感器211累积由在曝光时间期间经由摄像镜头202入射到各个像素上的光产生的电荷，并且将电荷转换为电信号，从而生成图像数据，并将其输出到系统控制单元306。系统控制单元306对从图像传感器211输出的图像数据进行预定图像处理等，并且将该图像数据显示在显示器212上，或者写入图像存储器设备307中。

只要保持SW2状态，则系统控制单元306作为一个处理单位重复进行从步骤S442到步骤S504的处理，由此实现连续拍摄。

接下来，参照图7所示的流程图，说明在步骤S406中由AE控制单元302进行的跟踪模板生成处理的操作序列。

在步骤S701中，AE控制单元302将脸部跟踪开始确定标志设置为“假”。在步骤S708中使用该标志，来确定是否更新模板图像。

在步骤S702中，AE控制单元302确定当前帧是否是自开始输出信号SW1起的第一帧。如果当前帧是第一帧，则不生成模板图像，因此在步骤S711中，AE控制单元302提取测光图像的选择的焦点区域作为模板图像，并且结束跟踪模板生成处理。

另一方面，如果在步骤S702中确定当前帧是第二帧或者之后的帧，则在步骤S703中，AE控制单元302确定当前模板图像是否是基于脸部检测区域生成的。如果模板图像不是基于脸部检测区域生成的，则在步骤S707中，AE控制单元302将脸部跟踪开始确定标志设置为“真”，并且使处理前进到步骤S708。如果模板图像是基于脸部检测区域生成的，则AE控制单元302使处理前进到步骤S704。

该措施用于即使在模板图像是基于脸部检测区域生成的（即当模板图像是脸部时），并且在跟踪处理期间检测到新脸部的情况下，也防止更新模板图像。这防止在中途改变作为检测目标的脸部。

在步骤S704中，AE控制单元302确定自生成最后的模板图像起经过的时间是否长于或者等于预定时间段。虽然这里根据拍摄的帧的数量来确定经过的时间，但是也能够使用计时器等来测量经过的时间。如果经过的时间长于或等于预定时间段，则AE控制单元302使处理前进到步骤S705，而如果经过的时间段短于预定时间段，则AE控制单元302使处理前进到步骤S708。在SW1保持状态下，因为正在拍摄实时取景图像（运动图像），所以使用运动图像的“帧”的数量（这同样适应于用于记录的运动图像的拍摄），而在SW2保持状态下，使用正在连续拍摄的静止图像的“帧”的数量。通常，如果拍摄运动图像时的帧频和进行连续拍摄时的拍摄间隔彼此不同，则尽管运动图像的帧的数量和静止图像的帧的数量相同，经过的时间的长度也彼此不同。因此，在需要的情况下，能够将经过的时间转换为实际时间。在任何情况下，这里的确定旨在基于经过的时间来确定是否应当更新模板图像，而不局限于特定方法。为了方便，下文中将“运动图像的帧”和“静止图像的帧”统称为“帧”。

在步骤S705中，AE控制单元302确定彼此接近的预定数量的帧中的跟踪可靠度是否至多是预定值。如果彼此接近的全部预定数量的帧中的跟踪可靠度至多是预定值，则AE控制单元302确定其丢失了跟踪目标，并且在步骤S706中，将脸部跟踪开始确定标志设置为“真”，并使处理前进到步骤S708。如果存在跟踪可靠度超过预定值的任何帧，则AE控制单元302不进行处理，而使处理前进到步骤S708。

在步骤S708中，如果在步骤S701、S706和S707中设置的脸部跟踪目标确定标志为“真”，则AE控制单元302使处理前进到步骤S709，如果其为“假”，则AE控制单元302结束跟踪模板生成处理。

在步骤S709中，AE控制单元302确定在脸部检测处理S405中，是否接连在当前帧和之前的一帧中检测到了脸部。如果接连检测到了脸部，则在步骤S710中，AE控制单元302将测光图像的脸部检测区域中的图像设置（更新）为模板图像，并且结束跟踪模板生成处理S406。如果在任何帧中都没有检测到脸部，则AE控制单元302不设置（更新）模板图像，并且结束步骤S406中的跟踪模板生成处理。

前面是对在步骤S406的跟踪模板生成处理中进行的处理的说明。

通过步骤S705中的处理，不在脸部检测的位置更新模板图像，直到跟踪可靠度低的状态持续预定数量的帧为止，从而能够防止跟踪目标改变为主被摄体之外的诸如背景中的路人的其他被摄体的脸部。此外，即使由于主被摄体隐藏在障碍物后面或者改变其方向，而暂时没有检测到主被摄体，也使模板图像在预定数量的帧内保持，从而当再次检测到主被摄体时，能够再次开始进行跟踪。

另一方面，如果跟踪可靠度低的状态持续了预定数量的帧，则AE控制单元302确定其丢失了跟踪目标，并且通过步骤S709中的操作立即将新检测到的脸部设置为模板图像，作为新的跟踪目标，从而能够自动改变跟踪目标。

下文中，参照图1、图6A至6D和图8，进一步详细说明本实施例的被摄体跟踪处理的结果和跟踪模板生成处理的操作之间的关系。

图1是例示基于脸部检测结果和跟踪可靠度的跟踪模式转变的控制的示例的图，AE控制单元302在SW1保持状态下进行脸部检测和跟踪。在本实施例中，被摄体跟踪处理和跟踪模板生成处理具有取决于作为跟踪目标的被摄体的三种跟踪模式。即，这三种跟踪模式是脸部跟踪模式106、AF跟踪模式107和跟踪OFF（关闭）模式108。

脸部跟踪模式106是在将以检测到脸部的区域为中心的图像区域设置为模板图像的情况下，进行跟踪的模式。AF跟踪模式107是在将以通过AF选择的焦点区域为中心的图像区域设置为模板图像的情况下，进行跟踪的模式。跟踪OFF模式108是不进行跟踪的模式。

在图1中，释放操作101示出了释放按钮的状态。这里，“SW1ON”表示检测到信号SW1的输出的定时，通过半程按下释放按钮而输出信号SW1。

AE的帧的编号102示出了自AE控制单元302第一次接收到AE开始信号D02并且开始进行操作起经过的帧的数量。

跟踪可靠度103示意性地示出了在步骤S403中的被摄体跟踪处理中计算的被摄体跟踪结果的可靠性。这里，○表示确定可靠度高于预定阈值的情况，而×表示确定可靠度低于预定阈值的情况。稍后将说明计算跟踪可靠度103的方法。

脸部检测结果104示出了是否在步骤S405中的脸部检测处理中检测到了至少一个脸部。这里，○表示检测到了至少一个脸部的情况，而×表示未检测到脸部的情况。

步骤S110至步骤S115示出了与对跟踪目标进行跟踪的模式转变相关的帧。

步骤S110是自AE控制单元302开始进行操作起的第一帧。在该时间点，尚未进行跟踪模板生成处理，从而未生成用于进行跟踪的模板图像。因此，保持跟踪OFF模式108，不进行跟踪处理。

步骤S111示出了下一帧（帧编号2）的状态。使用在第一帧中根据在图4中的传感器读出处理（S402）中生成的测光图像而在跟踪模板生成处理（S406）中生成的模板图像，开始被摄体跟踪。在该帧中，没有检测到脸部，从而模式转变为AF跟踪模式107。在这种情况下，跟踪目标是存在于选择的焦点区域的位置的被摄体。以这种方式，即使没有检测到脸部，也能够跟踪任意被摄体。

在图6A中示意性地例示了使用在步骤S110的帧中生成的模板图像的AF跟踪模式下的光学取景器图像的示例。如上所述，图6A所示的矩形是各自示出能够设置的焦点区域的框（焦点区域框），其中，未显示使用虚线的矩形。

如图6A所示的使用粗实线的用户选择焦点区域611是在半程按下释放按钮时用户选择的焦点区域。当接收到图4中的通过半程按下释放按钮而输出的AF开始信号D01时，AF控制单元304在图4中的焦点区域选择处理（S423）中，将用户选择焦点区域611设置为选择的焦点区域。

在用户选择焦点区域611下面示出的用实线表示的焦点区域612，示出了在位于选择的焦点区域向上、向下、向左和向右的焦点区域中，焦点区域和选择的焦点区域之间的散焦量的差不大于预定阈值的焦点区域。

由于使用实线的焦点区域框显示在图2所示的聚焦屏206上，因此用户通过取景器能够看到选择的焦点区域以及各自在焦点区域和选择的焦点区域之间具有小的散焦量的差的周围焦点区域。不在聚焦屏206上显示使用虚线的焦点区域框。

在将用户选择焦点区域611的位置设置为跟踪目标的情况下，图4中的跟踪模板生成处理S406从步骤S111开始进行跟踪。

步骤S112示出了第四帧中的状态。脸部检测结果104在第三和第四帧中连续显示○，也就是说，接连两次检测到了脸部。在这种情况下，在图4中的跟踪模板生成处理（S406）中，AE控制单元302将模板图像更新为从脸部检测区域中截取的图像。

仅将接连两次检测到的脸部设置为跟踪目标的原因是，减小在图4中的脸部检测处理（S405）中进行了错误检测的情况下，将错误地检测到的区域设置为跟踪目标的概率。由于真实脸部的检测率比在将物体错误地检测为脸部的情况下高，因此连续检测的次数越多，将错误地检测到的物体设置为跟踪目标的概率越低。然而，如果更新模板图像所需的连续检测的次数增加，则在将真实脸部设置为跟踪目标之前花费很长时间，因此这里根据经验将连续检测的次数设置为2。

将检测到脸部的区域取作新的跟踪目标，从而模式转变为脸部跟踪模式106。

这使得在SW1保持状态下并且在连续拍摄期间（在SW2保持状态下）检测到脸部的情况下，能够自动聚焦在脸部，而不需要用户手动重新设置焦点区域。

在图6B和6C中示意性地例示了在步骤S112中跟踪目标时光学取景器图像的变化。在图1的示例中，由于在第二帧之前没有检测到脸部，因此如在图6B中的情况下，使用在步骤S110（第一帧）中设置的模板图像601进行跟踪，并且保持将人的身体部分被选择为焦点区域。

在第四帧中的步骤S112中，由于将在第三和第四帧中连续检测到的脸部设置为了模板图像，因此如在图6C中，现在使用新的模板图像602跟踪脸部。因此，焦点区域转变为脸部，这使得能够拍摄聚焦在脸部的图像。

步骤S113示出了第六帧，其中，作为脸部检测结果104指示了○，在第五帧中脸部检测结果104为×。然而，检测到的脸部不一定是在步骤S112中检测到脸部的同一人的。如果每次检测到新脸部时，都更新模板图像，则存在被设置为跟踪目标的人经常改变的风险。

特别当在由测光传感器拍摄的图像中进行脸部检测时，由测光传感器获得的图像包括焦点区域框的指示，从而由于焦点区域框的指示，而在跟踪期间无法检测到正在跟踪的人的脸部（参见图6D），而仅可以检测到另一人的脸部，来代替作为跟踪目标的人。

这是因为AE设备208基于投影或者显示在作为透射型显示设备的聚焦屏206上的视场中的图像来检测脸部（参见图2）。也就是说，由于焦点区域框显示在作为透射型显示设备的聚焦屏206上，因此在由AE设备108观察到的图像中，作为跟踪目标的主被摄体的一部分可能被隐藏在焦点区域框后面，而难以看到。

显示在聚焦屏206上的焦点区域框是之前一帧中的选择的焦点区域，并且作为跟踪目标的脸部更可能存在于之前一帧中的选择的焦点区域附近。因此，在由AE设备208进行的脸部检测处理中，作为跟踪目标的脸部更可能被焦点区域框影响，而与作为跟踪目标的脸部相比，不是跟踪目标的脸部不太可能被焦点区域框影响。因此，如果由观察包括焦点区域框的指示的视场的AE设备208进行脸部检测，则可能产生如下状态：因为作为跟踪目标的脸部隐藏在焦点区域框的指示后面，因此在脸部跟踪期间无法检测到作为跟踪目标的脸部，而仅检测到其他脸部。

此外，与是否显示选择的焦点区域框无关地，存在将人的脸部之外的部分误认为脸部的错误检测的可能性。如果要跟踪的被摄体是错误的，则连续聚焦与用户希望的被摄体不同的其他被摄体。

因此，在本实施例中，在脸部跟踪模式106下不更新模板图像。具体来说，在不参照脸部检测处理（S405）的结果的情况下，进行跟踪模板生成处理（S406）。这使得能够连续跟踪第一次被设置为模板图像的人的脸部。

另一方面，为了有效地使用脸部检测功能，在图4中的曝光控制处理（S404）中，在检测到的脸部中选择多达五个接近选择的焦点区域的焦点区域，并且根据其平均值，计算用来决定拍摄条件的被摄体的亮度值（BV值）。通过基于该BV值决定拍摄条件，能够分别针对多个脸部设置适当的曝光。

例如，考虑如图8所示的拍摄，其中，两个人是主被摄体，背景是明亮的天空的场景。在该场景中，如果基于整个测光区域1201中的测光信息（亮度值）进行曝光控制，则可能获得由明亮的背景反映的BV值，由此可能决定对主被摄体的曝光不足的拍摄条件。在这种情形下，通过基于脸部检测区域1202获得BV值，能够决定用正确的曝光拍摄主被摄体的脸部的拍摄条件。除了仅依据基于脸部检测区域的BV值决定拍摄条件的配置之外，还可以使用对基于测光区域1201的BV值进行校正，使其与基于脸部检测区域1202的BV值的差较小的配置。

相应地，由于使用针对曝光控制的脸部区域的信息，因此即使当在不参照脸部检测结果的情况下，进行图4中的跟踪模板生成处理时，也针对各个帧进行脸部检测处理。

在图6D中示出了连续跟踪在步骤S112中检测到的脸部的情况。在步骤S113中，使用在步骤S112中生成的模板图像602进行跟踪。

步骤S114示出了在第十三帧中的状态。在步骤S114中，在从第十一帧开始的三个连续帧中跟踪可靠度低（×）。如果像跟踪可靠度低于预定阈值一样的状态持续预定数量的连续帧（这里为三个帧），则AE控制单元302确定在被摄体跟踪处理（S403）中丢失了跟踪目标，并将模式转变为跟踪OFF模式108。然而，如果如图1所示在当前帧（第十三帧）和之前的一帧（第十二帧）中（接连两次）检测到了脸部，则AE控制单元302将检测到的脸部设置为新的跟踪目标。然后，模式再次转变为脸部跟踪模式106（S115）。

如上所述，当在预定数量的连续帧中（接连多次）跟踪可靠性低，并且确定跟踪目标丢失时，如果在包括当前帧的预定数量的连续处理帧中检测到了脸部，则将检测目标改变为当前检测到的脸部。相应地，在跟踪目标改变时，实质上继续脸部跟踪模式，而不转变为跟踪OFF模式108。

另一方面，当确定跟踪目标丢失，并且没有在预定数量的连续帧中（接连多次）检测到脸部时，即使在当前帧中检测到了脸部，也不将检测到的脸部设置为新的跟踪目标。因此，抑制了使得将错误地检测到的人或者偶然进入视场的人设置为跟踪目标的可能性，这使得能够进行相对于诸如脸部的错误检测或者意外的人的出现的可能使跟踪操作出现错误的因素鲁棒的被摄体跟踪。

在没有检测到脸部，并且AE控制单元302不进行被摄体跟踪时，AF控制单元304根据焦点检测运算和焦点区域选择处理（S423）的结果，来决定主被摄体（要选择的焦点区域）。当跟踪可靠度低的状态持续预定数量的帧时，可能无法正确地跟踪用户希望的跟踪目标。由于这可能对由AF控制单元304进行的焦点区域重新选择处理（S424）产生负面影响，因此AE控制单元302转变为跟踪OFF模式，以暂时停止被摄体跟踪处理。在这种情况下，AE控制单元302能够删除模板图像并且如从第一帧开始那样转变跟踪模式，或者能够在预定数量的连续帧（接连多次）中检测到脸部的情况下，将模板图像改变为新的脸部，并且再次开始脸部跟踪模式。

根据本实施例，在具有被摄体跟踪功能的图像捕获装置中，如果没有检测到脸部，则使用基于由自动焦点检测设备选择的焦点区域生成的模板图像，进行被摄体跟踪。因此，能够跟踪人之外的被摄体。此外，如果在没有检测到脸部的状态之后，在预定数量的连续帧中检测到了脸部，则使用基于检测到的脸部生成的模板图像，进行被摄体跟踪，这使得能够在接连检测到同一人的情况下，自动跟踪该人（其脸部）。

此外，在跟踪人（脸部）期间，即使检测到了脸部，只要未确定在预定数量的连续帧中跟踪可靠性低，则也不改变模板图像。因此，如果正在跟踪的脸部暂时被隐藏，然后又重新出现，则能够继续跟踪同一脸部，由此实现抑制经常改变作为跟踪模板的脸部的稳定跟踪。此外，在跟踪人（脸部）期间，当确定在预定数量的连续帧中跟踪可靠性低，并且在预定数量的连续帧中没有检测到脸部时，则中断跟踪操作。因此，能够防止对意外的被摄体连续进行焦点调整。此外，在跟踪人（脸部）期间，当确定在预定数量的连续帧中跟踪可靠性低，并且在预定数量的连续帧中检测到了脸部时，则基于检测到的脸部更新模板图像。这使得能够在跟踪目标丢失的情况下，迅速自动改变为跟踪当前稳定地检测到的脸部。

其它实施例

本发明的各方面还能够通过读出并执行记录在存储装置上的用于执行上述实施例的功能的程序的系统或设备的计算机（或诸如CPU或MPU的装置）、以及由系统或设备的计算机例如读出并执行记录在存储装置上的用于执行上述实施例的功能的程序来执行步骤的方法来实现。鉴于此，例如经由网络或者从用作存储装置的各种类型的记录介质（例如计算机可读介质）向计算机提供程序。

虽然参照示例性实施例对本发明进行了说明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求的范围符合最宽的解释，以使其涵盖所有这种变型、等同结构及功能。

Claims (7)

1.一种图像捕获装置，其包括：

脸部检测单元，被配置为检测包含在图像中的脸部；

被摄体检测单元，被配置为从通过拍摄获得的图像中检测与模板图像类似的区域；以及

控制单元，被配置为通过使所述被摄体检测单元在连续拍摄的图像中，依次检测与被摄体区域的模板图像类似的区域，来实现跟踪被摄体的功能，

其中，所述控制单元还被配置为在跟踪所述被摄体期间，确定所述被摄体检测单元进行的检测的可靠性，并且在将由所述脸部检测单元检测到的所述脸部设置为所述模板图像的情况下，在接连预定多次确定所述被摄体检测单元进行的所述检测的可靠性低之前，所述控制单元不改变所述模板图像。

2.根据权利要求1所述的图像捕获装置，

其中，所述控制单元还被配置为在跟踪所述被摄体期间，在接连预定多次连续确定所述被摄体检测单元使用先前检测到并且被设置为所述模板图像的脸部进行的所述检测的可靠性低的情况下，将所述模板图像改变为接连预定多次连续检测到的其他脸部。

3.根据权利要求1所述的图像捕获装置，

其中，所述控制单元还被配置为在接连预定多次连续未检测到脸部的情况下，并且在接连预定多次连续确定所述被摄体检测单元使用先前检测到并且被设置为所述模板图像的脸部进行的所述检测的可靠性低的情况下，暂时中断使用所述模板图像对所述被摄体的跟踪。

4.根据权利要求1所述的图像捕获装置，所述图像捕获装置还包括：

焦点检测单元，被配置为检测多个焦点区域的焦点状况，并且基于所述焦点状况选择要聚焦的焦点区域，

所述控制单元还被配置为在未设置所述模板图像的情况下，基于由所述焦点检测单元选择的所述焦点区域，设置所述模板图像。

5.根据权利要求4所述的图像捕获装置，

其中，所述焦点检测单元还被配置为在所述被摄体检测单元检测到被摄体的情况下，基于检测到的被摄体的位置，选择要聚焦的焦点区域。

6.根据权利要求4所述的图像捕获装置，

其中，所述脸部检测单元还被配置为基于具有通过透射型显示设备观察到的视场的图像，来检测所述脸部，所述透射型显示设备用于显示所述多个焦点区域中的至少要聚焦的焦点区域。

7.一种图像捕获装置的控制方法，

所述图像捕获装置包括：脸部检测单元，被配置为检测包含在图像中的脸部；以及被摄体检测单元，被配置为从通过拍摄获得的图像中检测与模板图像类似的区域，

所述控制方法包括：

控制步骤，通过使所述被摄体检测单元在连续拍摄的图像中，依次检测与被摄体区域的模板图像类似的区域，来实现跟踪被摄体的功能，

在所述控制步骤中，在跟踪所述被摄体期间，确定所述被摄体检测单元进行的检测的可靠性，并且在将由所述脸部检测单元检测到的所述脸部设置为所述模板图像的情况下，在接连预定多次确定所述被摄体检测单元进行的所述检测的可靠性低之前，所述控制单元不改变所述模板图像。

Images