CN100545728C - 成像装置,成像装置控制方法及计算机程序 - Google Patents

Abstract

一种成像装置，包括：从成像装置中输入的输入图像检测面部区域的面部检测单元；以及根据聚焦透镜的调整执行聚焦操作的控制单元。该控制单元根据所检测到的面部的数目和尺寸，判断在聚焦操作期间是否在比聚焦操作开始之前检测到的面部当中最靠近成像装置的面部的位置更靠近成像装置的位置出现了新的面部，并且根据表示在更靠近成像装置的位置出现了新的面部的判断结果，执行重新运行或停止聚焦操作的处理。

Description

成像装置，成像装置控制方法及计算机程序

对相关申请的交叉引用

本发明包含与2006年6月9日于日本专利局提交的日本专利申请JP2006-160455相关的主题，其全部内容合并于此作为参考。

技术领域

本发明涉及成像装置，成像装置控制方法及计算机程序。更具体而言，本发明涉及一种成像装置，成像装置控制方法及计算机程序，它们使得对目标对象执行精确的自动聚焦处理成为可能。

背景技术

近来，在许多成像装置上，例如静物照相机或摄像机上，安装了自动对目标自动聚焦的自动聚焦(AF)机构。在通用照相机的拍摄中，在许多情况下人物是主要目标对象。然而，人物出现在拍摄图像的不同位置，并且有图像的各种构图。从一开始，目标对象可能出现在不设置成像装置中的测距(range finding)区域的位置。为了解决该问题，提议从成像装置中的图像识别出面部，并在所识别面部的位置设定测距区域，从而可能使成像装置不考虑构图而对面部进行聚焦。例如，在JP-A-2003-107335中披露了基于这种面部识别的一种聚焦控制技术。基于这种面部识别的聚焦控制使得可以在各种构图的拍摄中执行适当的聚焦控制(聚焦)。

作为一种聚焦控制的方法，判决通过透镜获取的成像数据的对比度级别的方法是众所周知的。其是这样一种系统，该系统用于将拍摄图像的特定区域设定为聚焦控制的信号获取区域(空间频率提取区域)，当该特定区域的对比度越高则判断透镜对焦对得越准，而当对比度低时则判断透镜没有对准焦距，并将透镜驱动到增加对比度以调整聚焦的位置。举例来说，在JP-A-10-213737中披露了这样一种聚焦控制处理技术。

具体而言，提取特定区域的高频分量，生成所提取高频分量的积分数据，并根据所生成的高频分量积分数据来判断对比度级别的方法应用于聚焦控制方法。换句话说，当聚焦透镜移动到多个位置时获取多个图像，并且将高通滤波器所代表的滤波处理施加给每个图像的亮度信号，以便获得表示每个图像对比度强度的AF评估值。在这种情况下，当出现在特定聚焦位置聚焦的正好聚焦的对象时，与聚焦透镜位置相对应的AF评估值可以画出如图1所示的曲线。该曲线的峰值位置P1，即图像对比度值为最大值的位置是正好聚焦的位置。在该系统中，可以仅根据在成像器上显示的图像的信息来执行聚焦操作，并且不必提供除了成像光学系统之外的测距光学系统。因此，该系统目前广泛地用于数码静物照相机中。

以这种方式，在自动聚焦控制中，计算特定区域的高频分量积分值，以判决对比度级别，并将该积分值用作评估值(AF评估值)。自动聚焦是通过驱动聚焦透镜以使该评估值最大来实现的。为了执行自动聚焦，必须以评估值为向导来驱动透镜。例如，作为透镜驱动机构，使用音圈马达。

然而，当在该聚焦操作期间其他人插入到设定为聚焦对象的对象之前时，就出现了以下描述的问题。该问题将参照图2和图3来进行解释说明。在图2中，示出了与目标对象相对应的AF评估值曲线1，以及与插入到设定为聚焦对象的目标对象之前的人相对应的AF评估值曲线2。

与插入到设定为聚焦对象的目标对象之前的人相对应的AF评估值曲线2自身是这样一条AF评估值曲线，它的峰值出现在比图2中虚线所表示的对象更靠近透镜的位置。

当在这样一种情形下执行聚焦操作，并获取在相应各个透镜位置的AF评估值时，图像的评估值总体上用图3中粗线所表示的AF评估值曲线3来表示。如果评估值曲线在聚焦操作期间发生了这种变化，那么照相机获取的评估值从图3中细线上的值变化到粗线上的值，反之亦然。因此，照相机识别的评估值的峰值位置与目标对象的正确聚焦点位置不同。结果，就获得了散焦的照片。

特别地，在自拍拍摄中，作为主要目标对象的人，他自己/她自己独立按下作为快门的释放按钮。因此，除了诸如团体照的多人照片的拍摄以外，在半按释放按钮且照相机执行聚焦操作的定时，作为主要目标对象的人并不出现在视角中。

因此，当把自拍拍摄中的聚焦操作和拍摄处理的序列设定为如在正常拍摄中那样在半按释放按钮时进行聚焦操作而在深按操作之后经过了固定时间时进行拍摄的序列时，难以拍摄出聚焦在主要对象上的照片。

因此，在自拍拍摄中，当期望作为主要目标对象的人出现在视角中时，要求在即将拍摄之前执行聚焦操作。作为在过去披露了对聚焦操作的这种执行定时的控制的技术，有JP-A-10-293342。JP-A-10-293342披露了这样一种技术，它允许用户根据作为目标对象的人数，改变在自拍拍摄中执行聚焦操作的定时。

在自拍拍摄中，执行成像装置操作的时刻与实际上执行拍摄的时刻之间存在一个时间差。因此，在即将拍摄之前经常会有预料之外的人插入到拍摄视角中。在这种情况下，尽管可能被挡在别人后面，也会对作为原本对象的人进行拍摄，从而得到失败的照片。

不管在即将拍摄前是不是有另一个人插入到照相机之前，即使当那个人在拍摄场合消失并且成功地拍摄原本的对象时，由于那个人在聚焦操作期间插入到照相机前，最终也会获得散焦的照片。

举例来说，作为解决其他人在即将拍摄前插入到视角中的这个问题的技术，JP-A-6-20222披露了这样一种方法，用于当自拍拍摄等待时间期间的测光值改变时，禁止拍摄或延迟拍摄的时机。JP-A-5-203862披露了一种方法，用于当快门按钮释放操作时的测距值与即将拍摄前的测距值之间存在差别时，禁止拍摄。

然而，在这些方法中，当出现测光值变化的检测错误或测距值测量的误判时，很可能不管拍摄正在正确执行的事实，就停止拍摄。例如，当测光值用作向导时，如果试图在移动的汽车、弗累斯大转轮等作为背景的运动场景中拍摄作为主要对象的人物，很可能因为检测到测光值的变化，而不管拍摄可以正常执行的事实，从而停止拍摄。例如，当测距值用作向导时，由于当执行释放操作的拍摄者进入拍摄视角的时期测距值会发生变化，拍摄会违背拍摄者的意愿而停止。

发明内容

因此，需要提供一种成像装置，成像装置控制方法及计算机程序，它们使得可以对目标对象执行快速且准确的自动聚焦处理。需要提供一种成像装置，成像装置控制方法及计算机程序，它们例如即使当其他人在聚焦操作期间插入到目标对象之前时，也可以执行与目标对象相应的正确聚焦控制。

根据本发明的一个实施例，提供一种成像装置，包括：从成像装置中输入的输入图像检测面部区域的面部检测单元，以及根据聚焦透镜的调整执行聚焦操作的控制单元。该控制单元根据所检测到的面部的数目和尺寸，判断在聚焦操作期间是否在比聚焦操作开始之前检测到的面部当中最靠近成像装置的面部位置更靠近成像装置的位置出现了新的面部，并且根据表示在更靠近成像装置的位置出现了新的面部的判断结果，执行重新运行或停止聚焦操作的处理。

根据本发明的实施例，控制单元执行比较聚焦操作开始之前所检测到的面部的数目(N1)和聚焦操作期间所检测到的面部的数目(N2)的处理，当N2大于N1时，执行比较到在聚焦操作开始之前最靠近成像装置的面部的距离(S1)和到在聚焦操作期间最靠近成像装置的面部的距离(S2)的处理，并且当S2小于S1时，停止聚焦操作，并执行重新运行或停止聚焦操作的处理。

根据本发明的实施例，控制单元执行控制以便根据表示在更靠近成像装置的位置出现了新的面部的判断结果，在聚焦操作期间停止聚焦操作，并且在确认曾经在靠近拍摄装置的位置出现的新面部消失之后，重新运行聚焦操作。

根据本发明的实施例，控制单元执行控制以便根据表示在更靠近成像装置的位置出现了新的面部的判断结果，在聚焦操作期间停止聚焦操作，执行聚焦操作的重新运行，并且当聚焦操作的次数达到重试次数的最大数目时，停止聚焦操作。

根据本发明的实施例，控制单元执行控制以便根据表示在更靠近成像装置的位置出现了新的面部的判断结果，在聚焦操作期间停止聚焦操作，待机等待曾经在靠近拍摄装置的位置出现的新面部消失，并且当不能确认新面部的消失时，即使已经经过了预先设定的重试等待时间，停止聚焦操作。

根据本发明的实施例，控制单元在设定自拍拍摄或遥控拍摄的条件下，根据在聚焦操作期间所检测到的面部的数目和尺寸，执行判断重新运行或停止聚焦操作的处理。

根据本发明的实施例，控制单元控制聚焦操作，以便获取与聚焦透镜的运动相对应的评估值，并计算该评估值的峰值。

根据本发明的另一实施例，提供一种在成像装置中执行自动聚焦控制的成像装置控制方法，该成像装置控制方法包括：面部检测步骤，在面部检测单元中从输入图像检测面部区域；聚焦操作执行步骤，在控制单元中根据聚焦透镜的调整执行聚焦操作；以及处理确定步骤，在控制单元中根据所检测到面部的数目和尺寸，判断在聚焦操作期间是否在比聚焦操作开始之前检测到的面部当中最靠近成像装置的面部位置更靠近成像装置的位置出现了新的面部，并且根据表示在更靠近成像装置的位置出现了新的面部的判断结果，执行重新运行或停止聚焦操作的处理。

根据本发明的实施例，所述处理确定步骤是这样的步骤：执行比较聚焦操作开始之前所检测到的面部的数目(N1)和聚焦操作期间所检测到的面部的数目(N2)的处理，当N2大于N1时，执行比较到聚焦操作开始之前最靠近成像装置的面部的距离(S1)和到聚焦操作期间最靠近成像装置的面部的距离(S2)的处理，并且当S2小于S1时，停止聚焦操作，并执行重新运行或停止聚焦操作的处理。

根据本发明的实施例，所述处理确定步骤包括这样的步骤：执行控制以便根据表示在更靠近成像装置的位置出现了新的面部的判断结果，在聚焦操作期间停止聚焦操作，并且在确认曾经在靠近拍摄装置的位置出现的新面部消失之后，重新运行聚焦操作。

根据本发明的实施例，所述处理确定步骤包括这样的步骤：执行控制以便根据表示在更靠近成像装置的位置出现了新的面部的判断结果，在聚焦操作期间停止聚焦操作，执行聚焦操作的重新运行，并且当聚焦操作的次数达到重试次数的最大数目时，停止聚焦操作。

根据本发明的实施例，所述处理确定步骤包括这样的步骤：执行控制以便根据表示在更靠近成像装置的位置出现了新的面部的判断结果，在聚焦操作期间停止聚焦操作，待机等待曾经在靠近拍摄装置的位置出现的新面部消失，并且当不能确认新面部的消失时，即使已经经过了预先设定的重试等待时间，停止聚焦操作。

根据本发明的实施例，该图像装置控制方法还包括这样的步骤：在控制单元中，在设定自拍拍摄或遥控拍摄的条件下，根据在聚焦操作期间所检测到的面部的数目和尺寸，执行判断重新运行或停止聚焦操作的处理。

根据本发明的实施例，所述聚焦操作执行步骤是这样的步骤：执行聚焦操作，以便获取与聚焦透镜的运动相对应的评估值，并计算该评估值的峰值。

根据本发明的又一实施例，提供一种用于使成像装置执行自动聚焦控制的计算机程序，该计算机程序使成像装置执行：面部检测步骤，在面部检测单元中从输入图像检测面部区域；聚焦操作执行步骤，在控制单元中根据聚焦透镜的调整执行聚焦操作；以及处理确定步骤，在控制单元中根据所检测到的面部的数目和尺寸，判断在聚焦操作期间是否在比聚焦操作开始之前检测到的面部当中最靠近成像装置的面部位置更靠近成像装置的位置出现了新的面部，并且根据表示在更靠近成像装置的位置出现了新的面部的判断结果，执行重新运行或停止聚焦操作的处理。

根据本发明实施例的计算机程序是这样的计算机程序，举例来说，它可以通过以计算机可读格式提供的存储媒体，通信媒体，诸如CD、FD及MO的记录媒体，或者诸如网络的通信媒体，提供给能够执行各种程序代码的计算机系统。通过以计算机可读格式提供这样的程序，能够在计算机系统上实现与程序相应的处理。

根据稍后描述的本发明实施例及附图，通过更详细的解释说明，本发明的其他目的、特征及优点将显而易见。在本说明书中，系统是多个装置的逻辑集合，并且不限于同一外壳中容纳的各种结构的装置。

根据本发明的实施例，在成像装置的自动聚焦处理中，从输入图像检测面部区域，根据所检测到的面部的尺寸计算对象的距离，根据所检测面部的数目和尺寸，判断在聚焦操作期间是否在比聚焦操作开始之前检测到的面部当中最靠近成像装置的面部位置更靠近成像装置的位置出现了新的面部，并且根据表示在更靠近成像装置的位置出现了新的面部的判断结果，执行重新运行或停止聚焦操作的处理。当判断其他人出现在目标对象之前的位置时，停止聚焦操作，并且在确认那个人已经离开之后，再次执行聚焦操作。根据该实施例，可以确保执行对目标对象的聚焦调整，从而实现没有聚焦误差的图像的满意拍摄。

附图说明

图1是用于解释作为聚焦控制中的聚焦操作来执行的透镜驱动和AF评估值获取处理实例的简图；

图2是用于解释作为聚焦操作的AF评估值获取处理中由于多个人而造成的影响的简图；

图3是用于解释作为聚焦操作的AF评估值获取处理中由于多个人而造成的影响的简图；

图4A至4C是用于解释根据本发明实施例的成像装置的外部结构实例的简图；

图5是用于解释根据本发明实施例的成像装置的硬件构造实例的简图；

图6是用于解释设定AF检测区域和面部检测区域实例的简图，其中AF检测区域是用于获取AF评估值的图像区域，而面部检测区域是用于面部检测处理的图像区域；

图7是用于解释在聚焦操作的执行期间，当别人插入到成像装置之前时，AF检测区域和面部检测区域之间对应关系实例的简图；

图8是用于解释根据面部尺寸的对象距离计算处理的简图；

图9是用于解释在根据本发明实施例的成像装置中执行的处理序列实例的流程图；以及

图10是用于解释聚焦显示实例的简图。

具体实施方式

在下文中将参照附图，对根据本发明的实施例的成像装置，成像装置控制方法及计算机程序的细节进行解释说明。

在本发明的实施例中，披露了一种使得可以对目标对象执行快速且准确的自动聚焦的技术。在根据本实施例的成像装置中，作为聚焦控制的方法，一种判决通过透镜获取的成像数据的对比度级别的方法用作基础。该成像装置将拍摄图像的特定区域设定为聚焦控制的信号获取区域(空间频率提取区域)，该特定区域的对比度越高则判断透镜对焦对得越准，而当对比度低时判断透镜没有对焦对准，并将透镜驱动到增加对比度以调整聚焦的位置。

具体而言，提取特定区域的高频分量，生成所提取高频分量的积分数据，并根据所生成的高频分量积分数据来判断对比度级别的方法应用于该成像装置。换句话说，该成像装置计算特定区域的高频分量积分值，以判断对比度级别，并使用该高频分量积分值作为评估值(AF评估值)。自动聚焦是通过驱动聚焦透镜以使该评估值最大来实现的。为了执行自动聚焦，必须以评估值为向导来驱动透镜。例如，作为透镜驱动机构，使用音圈马达。

在该实施例中，在使用这种对比度识别处理的聚焦控制中，在判断作为目标对象的人物面部尺寸，根据该尺寸计算到该对象的距离，并移动聚焦透镜以获取AF评估值的聚焦操作期间，当检测到比计算的目标对象距离距离更短的面部时，停止并重新运行聚焦操作。这还使得即使当其他人在聚焦操作期间插入到目标对象之前时，也可能执行与目标对象相对应的正确聚焦控制。

首先，将参照附图来解释根据该实施例的成像装置的结构。图4A至4C是示出了成像装置10外观的简图。图4A是成像装置10的俯视图，图4B是成像装置10的前视图，图4C是成像装置10的后视图。图4A中俯视图的透镜部分显示为剖面图。成像装置10具有电源开关11，用于设定图像捕捉定时的触发装置(即起快门作用的释放开关12)，显示成像装置所拍摄图像(直通(through)图像through image)、操作信息等等的监视器13，作为成像设备的成像器14(CCD)，用于执行变焦控制的变焦按钮15，用于输入各种操作信息的操作按钮16，用于检查成像装置所拍摄图像(直通图像)的取景器17，聚焦调整驱动的聚焦透镜18，变焦调整驱动的变焦透镜19，用于设定拍摄模式的模式拨盘20，用于驱动聚焦透镜18的聚焦透镜马达(M1)21，以及用于驱动变焦透镜19的变焦透镜马达(M2)22。

在取景器17和监视器13上显示对象的图像。取景器17和监视器13是由例如LCD构成的。通过透镜获取的对象的图像在取景器17和监视器13上显示为运动图像。该运动图像称作直通图像。用户检查取景器17或监视器13，检查要拍摄的目标对象，并按下作为快门的释放开关12，以便执行图像的记录处理。

以下将参照图5来解释根据该实施例的成像装置100的内部结构。根据该实施例的成像装置是具有自动聚焦功能的成像装置。将穿过聚焦透镜101和变焦透镜102的入射光输入给诸如CCD(电荷耦合器件)的成像设备103，并在成像设备103中进行光电转换。将光电转换后的数据输入给模拟信号处理单元104，在模拟信号处理单元104中经受诸如去除噪声的处理，而后在A/D转换单元105中转换成数字信号。将在A/D转换单元105中转换为数字信号的数据记录在由闪速存储器等构成的记录设备115中。该数据还在监视器117和取景器(EVF)116上进行显示。不管是否执行拍摄，都要在监视器117和取景器(EVF)116上将通过透镜获得的图像显示为直通图像(throughimage)。

操作单元118是这样的操作单元，它包括参考图4A至4C解释的照相机主体中配备的释放开关12，变焦按钮15，用于输入各种操作信息的操作按钮16，以及用于设定拍摄模式的模式拨盘20。控制单元110具有CPU，并执行对成像装置根据存储器(ROM)120等中预先存储的程序而执行的各种处理的控制。存储器(EEPROM)119是非易失性存储器。在存储器119中存储图像数据，各种补充信息，程序，等等。存储器(ROM)120存储由控制单元(CPU)110使用的程序，算术运算参数，等等。存储器(RAM)121存储控制单元(CPU)110中使用的程序，在合适时在程序执行中发生变化的参数，等等。陀螺仪111检测成像装置的倾斜，抖动，等等。将检测信息输入给控制单元(CPU)110，并执行诸如防止抖动的处理。

马达驱动器112驱动结合聚焦透镜101设定的聚焦透镜驱动马达113，以及结合变焦透镜102设定的变焦透镜驱动马达114。垂直驱动器107驱动成像设备(CCD)103。定时发生器106产生成像设备103和模拟信号处理单元104的处理定时的控制信号，并控制这些处理单元的处理定时。

面部检测单元130分析通过透镜输入的图像数据，并在图像数据中检测人物的面部。将面部检测信息发送给控制单元110。控制单元110根据所检测到面部信息，判断作为目标对象的人物的面部尺寸，并根据该尺寸来估计到该对象的距离。控制单元110还使用通过把关于该估计的信息应用于聚焦控制而弄窄的聚焦控制范围，执行快速聚焦控制。而且，在根据面部尺寸的对象距离的估计处理中，控制单元110执行顾及个体差异、种族差异、年龄差异、性别差异等等的处理，从而实现准确的距离估计。

在根据该实施例的成像装置中，如上所述，在聚焦控制中，判决通过透镜获取的图像数据的对比度级别的方法用作基础。在判断作为目标对象的人物面部尺寸，根据该尺寸计算到该对象的距离，并移动聚焦透镜以获取AF评估值的聚焦操作期间，当检测到距离比计算的对象距离更短的面部时，成像装置停止聚焦操作，并再次执行聚焦操作。该处理还使得即使当其他人在聚焦操作期间插入到目标对象之前时，也可能执行与目标对象相对应的正确聚焦控制。

尤其是在用户难以在即将执行拍摄之前停止拍摄的自拍拍摄模式中，很可能执行用于由于其他人的遮断而引起的聚焦误差的拍摄处理。在下述说明中，将主要对自拍拍摄模式中的处理实例进行解释说明。首先，将解释根据该实施例的在成像装置中执行的总体处理的概述，接下来，将解释诸如面部检测和距离计算处理的各种处理的细节。

(1)总体处理的概述

如图6所示，当成像装置(照相机)设定为自拍拍摄模式时，在成像装置获取的图像(直通图像)的视角中设定AF检测区域201和面部检测区域202，AF检测区域201是用于在自动聚焦处理中获取AF评估值的图像区域，而面部检测区域202是用于面部检测处理的图像区域。根据这两个图像区域的设定，启动在聚焦操作期间有人插入的检测处理。

可以根据区域的使用，在不同的区域设定AF检测区域201和面部检测区域202。通常，面部检测区域202布置为覆盖与AF201检测区域相同的范围，或者包含AF检测区域201并且比AF检测区域201更宽的范围。这使得可以准确地检测在聚焦操作期间有人插入。

在自拍拍摄模式中设定了成像装置之后，当按下与快门按钮等同的释放按钮时，定时计数器开始运行并计算直到拍摄为止的时间。举例来说，在此期间成像装置检测图6所示面部检测区域202中的面部，计算所检测到面部的数目[N1]和到所检测到面部当中最靠近成像装置的面部的距离[S1]，并保存面部数目[N1]和距离[S1]。稍后将详细描述面部检测和距离计算的细节。

在计数到预先设定的定时计数之前的固定时间间隔内继续更新到最靠近成像装置的面部的距离[S1]和所检测到面部的数目[N1]。换句话说，这正是以上参照图1所解释的移动聚焦透镜，获取AF评估值，并计算峰值的处理。

例如，假设在聚焦操作开始后，其他人从视角外部插入到成像装置之前。具体而言，假设发生了如图7所示的情况。在聚焦操作期间，根据该实施例的成像装置在固定时间间隔内执行面部检测处理，并且当必需时随时比较所检测到面部数目[N2]和即将开始聚焦操作之前检测到的面部数目[N1]。在图6与图7的例子中，当假设图6示出了在即将开始聚焦操作之前的情况，而图7示出了在聚焦操作期间的情况时，即将开始聚焦操作之前检测到的面部数目[N1]为1，而在聚焦操作期间检测到的面部数目[N2]为2。

当聚焦操作期间检测到的面部数目与聚焦操作开始之前相比发生了增加时，成像装置比较到分别在聚焦操作之前和聚焦操作期间检测到的面部当中最靠近成像装置的面部的距离[S1]和[S2]。当到在聚焦检测期间检测到的最靠近成像装置的面部的距离[S2]小于到在聚焦操作之前检测到的最靠近成像装置的面部的距离[S1]时，成像装置断定有其他人插入到目标对象之前的位置，立即停止聚焦操作，丢弃对该点获取的所有评估值，并切换到重试等待处理。

执行重试等待处理，是为了检测插入到成像装置之前的那个人已经移出了视角之外，即那个人不包含在成像装置拍摄的图像中，断定可以启动仅根据目标对象的图像的聚焦操作，并发布重新开始聚焦操作的许可。具体而言，执行下述的处理。

当开始重试处理时，根据本发明实施例的成像装置在固定时间间隔内，更新检测区域中所出现面部的数目[Nnow]和到所检测到面部当中最靠近成像装置的面部的距离[Snow]。与重试开始时相比，当面部数目减少，并且最靠近成像装置的面部的距离增加了预先设定的阈值[Thr]或更多时，成像装置断定插入到成像装置之前的那个人已经离开并允许进行重试。作为对插入到成像装置之前的那个人不容易离去这种情况的准备，准备用于测量重试等待时间的计数器。当该计数器达到固定或更大值时，成像装置取消重试，并断定不可能执行聚焦。

为了避免这样的情形，即使重复地执行聚焦操作的重试，又有其他人插入到成像装置之前，从而目标对象在很长的一段时间不能拍摄，对继续重试等待处理的次数设定一个限度。当重试等待时间到了或重试次数已经达到了该限度时，成像装置断定不可能执行聚焦。当断定不可能执行聚焦时，成像装置将聚焦透镜移动到例如固定值指示的位置，并执行拍摄。

根据该处理，可以提高执行关于设定为聚焦控制对象的目标对象的处理，并拍摄没有聚焦误差的对焦照片的可能性。在自拍拍摄以外的拍摄中，例如遥控拍摄，能够以很高的可能性拍摄没有聚焦误差的对焦图像。

以下将解释根据该实施例的成像装置中执行的各种处理的细节。成像装置在该成像装置所拍摄的图像数据中指定了作为目标对象的人物的面部区域，并根据该面部图像执行距离计算。换句话说，成像装置通过面部检测单元130执行面部区域检测，并通过控制单元110执行到面部距离的计算。在下文中将解释用于该处理的特定处理构成。以下将按照下述项目次序进行解释说明。

(1)面部识别处理

(2)基于面部尺寸的对象距离计算处理

(1)面部识别处理

首先，将解释面部检测单元130执行的处理，即从成像装置获取的图像数据中指定人物面部区域的方法。作为识别和追踪面部的技术，已经公开了各种各样的技术。可以将这些现有技术用于识别和追踪面部的技术。例如JP-A-2004-133637中描述的，可以通过将其中具有记录的面部亮度分布信息的模板与实际图像匹配来实现该技术。首先，准备通过对实际图像施加缩小处理而获得的多种图像。预先准备当人物倾斜面部时获得的面部的一组亮度分布信息模板。随后执行这些图像与模板的匹配。所述模板是相对于面部三维正交坐标系X，Y和Z各个轴倾斜的模板。根据与模板的匹配来判断面部的实际倾斜。

当把图像在两维平面上平移时顺序执行缩小图像与模板的匹配时，如果特定区域与模板匹配，则该区域就是出现面部的位置。可以根据实际图像的缩小比率来计算面部的尺寸。可以根据匹配中所使用的模板，计算正交的三个轴周围的旋转角，偏转角(yaw)，间距(pitch)，以及滚动角(roll angle)。利用以这种方式获得的面部尺寸，位置，和旋转角度来计算到面部的距离。

(2)基于面部尺寸的对象距离计算处理

在下文中将解释一种计算到面部距离的特定方法。根据该实施例的成像装置根据成像装置所拍摄图像中包含的面部尺寸，来计算到面部的距离。以下将参照图8对该处理进行解释说明。在图8中示出了对象位置301，聚焦透镜302，和成像设备303。人物的面部出现在对象位置301。面部的尺寸(面部宽度)为Wf。

如果面部的实际尺寸(Wf)是已知的，根据透镜的基本物理原理，可以根据下述等式，计算出到面部的距离，即对象距离(Df)，它就是从聚焦透镜302到对象位置301的距离：

Df＝Wref×(f/Wi)×(Ww/Wf)        (等式1.1)

其中Wref是人物面部尺寸的参考值，Wi是成像设备的宽度，f是焦距，Wf是所拍摄图像的人物面部尺寸的像素数目(成像设备检测值)，而Ww是用于人物面部检测的图像尺寸的像素数目(成像设备检测值)。

可以使用预先设定的固定值作为人物面部尺寸的参考值(Wref)。可以使用该面部尺寸参考值(Wref)来执行处理，该Wref值设定为考虑个体差异、种族差异、年龄差异、性别差异等等而获得的值。根据该处理，可以实现更准确的距离估计。

通过将等式1.1应用于计算，该成像装置根据所拍摄的图像(直通图像)计算对象距离(Df)。

具体而言，当聚焦操作期间检测到的面部数目与聚焦操作开始之前相比发生了增长，成像装置比较到聚焦操作开始之前和聚焦操作期间所检测到面部当中最靠近成像装置的面部的距离[S1]和[S2]。当到在聚焦检测期间检测到的最靠近成像装置的面部的距离[S2]小于到在聚焦操作之前检测到的最靠近成像装置的面部的距离[S1]时，成像装置断定有其他人插入到目标对象之前的位置，立即停止聚焦操作，丢弃对该点获取的所有评估值，并切换到重试等待处理。

以下将参照图9所示的流程图，解释根据本实施例的成像装置中执行的处理序列。在图5所示成像装置的控制单元110的控制下，通过控制诸如面部检测单元130的各个部件，执行图9所示流程图表示的处理。例如，该处理执行为在设定自拍拍摄或遥控拍摄之后执行的处理，用户操作释放按钮，并且启动定时器。

例如，在设定自拍拍摄模式和遥控拍摄模式之后，当执行等同于快门按钮或遥控器的释放按钮时，定时器计数器开始运行并且计数时间，直到拍摄为止。此后，在步骤S101，举例来说，控制单元110检测图6所示面部检测区域202中的面部，计算所检测到面部的数目[N1]和到所检测到面部当中最靠近成像装置的面部的距离[S1]，并且在存储单元中记录并保存数目[N1]和距离[S1]。

如上所述，举例来说，根据其中具有记录的面部亮度分布信息的模板与实际图像的匹配来执行面部检测处理。如参照图8所解释的，根据下述等式，计算对象距离(Df)：

Df＝Wref×(f/Wi)×(Ww/Wf)        (等式1.1)

可以使用该面部尺寸参考值(Wref)来执行处理，该Wref值设定为考虑个体差异、种族差异、年龄差异、性别差异等等而获得的值。根据该处理，可以实现更准确的距离估计。

在步骤S101中，控制单元101执行该面部检测和距离计算，并且在存储单元中记录并保存所检测到面部的数目[N1]和到所检测到面部当中最靠近成像装置的面部的距离[S1]。

步骤S102至S106是聚焦操作环路。如参照图1所解释的，执行移动聚焦透镜，获取每个移动点的AF评估值，并计算峰值的处理。步骤S103是在聚焦透镜的一个移动点获取AF评估值(即AF检测值)的处理。在下一个步骤S104中，控制单元110从当前在成像装置中获取的图像中执行面部检测，并计算在聚焦操作期间所检测到面部数目[N2]，以及到在聚焦检测期间检测到的面部当中最靠近成像装置的面部的距离[S2]。

在步骤S105，控制单元110执行聚焦操作开始之前所检测到面部的数目(N1)和聚焦操作期间所检测到面部的数目(N2)的比较。当关系表达式N2＞N1不成立时，控制单元110进行到步骤S106并继续聚焦操作。换句话说，控制单元110进行到步骤S103，将聚焦透镜移动到下一个移动点，并获取AF评估值。

当在步骤S105中关系表达式N2＞N1成立时，这意味着面部数目与聚焦操作开始之前相比发生了增长。在这种情况下，控制单元110进行到步骤S111，并比较到聚焦操作开始之前和聚焦操作期间所检测到面部当中最靠近成像装置的面部的距离[S1]和[S2]。

当关系表达式S2＜S1成立时，控制单元110断定在聚焦操作开始之前最靠近成像装置的人物之前出现了其他人，并切换到步骤S201至S207的重试处理。

在步骤S111中当关系表达式S2＜S1不成立时，控制单元110断定在聚焦操作开始之前最靠近成像装置的人物之前没有出现其他人，进行到步骤S106，并继续聚焦操作。换句话说，控制单元110进行到步骤S103，将聚焦透镜移动到下一个移动点，并获取AF评估值。

在聚焦环路执行期间，当关系表达式N2＞N1成立(步骤S105中“是”)并且关系表达式S2＜S1不成立(步骤S111中“否”)时，控制单元110断定在聚焦操作期间，在聚焦操作开始之前最靠近成像装置的人物之前没有出现其他人，进行到步骤S107，并检测在聚焦操作期间获得的AF评估值曲线的峰值。

当检测到峰值时，控制单元110在步骤S108断定聚焦成功并进行到步骤S109。控制单元110将聚焦透镜设定在聚焦位置，并且在步骤S110执行拍摄处理。当未检测到峰值时，控制单元110在步骤S108中断定聚焦失败并进行到步骤S112。在将聚焦透镜移动到预先设定的聚焦透镜设定位置之后，控制单元110在步骤S110中执行拍摄处理。

另一方面，在聚焦环路的执行期间，当关系表述式N2＞N1成立(步骤S105中“是”)并且关系表达式S2＜S1成立(步骤S111中“是”)时，控制单元110断定在聚焦操作期间，在聚焦操作开始之前最靠近成像装置的人物之前出现了其他人，进行到步骤S201，并切换到重试处理。

在步骤S201，控制单元110判断重试次数是否达到了预先设定的重试次数。当断定重试次数已经达到了预先设定的重试次数时，控制单元110进行到步骤S112。在将聚焦透镜移动到预先设定的聚焦透镜设定位置之后，控制单元110在步骤S110中执行拍摄处理。

当在步骤S201中断定重试次数还未达到预先设定的重试次数时，在步骤S202，控制单元110使重试次数的计数值累加1，并将该计数值存储在存储单元中。在步骤S203，控制单元110启动重试等待时间的计数。在步骤S204，控制单元110计算当前点获取的图像中所检测到面部的数目[Nnow]和到在所检测到的这些面部当中最靠近成像装置的面部的距离[Snow]。

随后，在步骤S205，控制单元110执行在聚焦操作期间所检测到面部的数目[N2]与在当前点获取的图像中所检测到面部的数目[Nnow]的比较。

当关系表达式N2＞Nnow不成立时，这意味着出现了聚焦操作开始之前所检测到面部以外的面部。控制单元110进行到步骤S206，并判断到从当前点获取的图像中所检测到面部当中最靠近成像装置的面部的距离[Snow]与到操作期间所检测到面部当中最靠近成像装置的面部的距离[S2]之间的差值绝对值[|Snow-S2|]是否大于预先设定的阈值[Thr]。

当关系表达式|Snow-S2|＞Thr不成立且[|Snow-S2|]不大于预先设定的阈值[Thr]时，控制单元110断定在聚焦操作期间重新检测到的面部还存在，进行到步骤S207，并判断是否经过了预先设定的重试等待超时的时间。当未经过该时间时，控制单元110在步骤S203累加重试等待时间计数，并重复地执行处理步骤S204和后继步骤。

当在步骤S207断定已经经过了预先设定的重试等待超时的时间时，控制单元110断定不可能执行聚焦并进行到步骤S112。在将聚焦透镜移动到预先设定的聚焦透镜设定位置之后，控制单元110在步骤S110中执行拍摄处理。

另一方面，当在步骤S206断定关系表达式|Snow-S2|＞Thr成立且[|Snow-S2|]大于预先设定的阈值[Thr]时，控制单元110断定在聚焦操作期间重新检测到的面部已经离开，返回到步骤S101，并再次开始面部数目的计数，距离计算，以及聚焦操作。在开始该处理时，在丢弃到该点为止获取的所有评估值之后，该处理作为新的处理来执行。

当在步骤S108中断定聚焦成功时，控制单元110在成像装置监视器上的显示图像中呈现一个表示聚焦成功的聚焦框，并向用户通知聚焦成功。例如，控制单元110执行关于例如特定面部的聚焦显示。该聚焦显示是在监视器或取景器上显示的图像中呈现的表示聚焦完成的识别信息。用户能够通过检查该聚焦显示，并按下快门以拍摄该目标对象，从而确保拍摄某一对象。

图10示出了聚焦显示的一个例子。图10所示例子是在作为成像装置的照相机的监视器上显示的图像中执行聚焦显示的一个例子。例如，当成像装置成功地根据AF评估值计算进行了峰值检测，并成功地对特定人物的面部聚焦，成像装置在成功聚焦的面部321上设定一个聚焦框331。而且，当断定在该聚焦点面部322和面部323也在预先设定的可允许聚焦深度时，成像装置在这些面部上显示聚焦框332和333。用户能够通过检查该聚焦显示，按下快门，并拍摄该目标对象，从而确保拍摄某一对象。

如上所述，根据参照图9所示流程图而解释的处理，当到聚焦操作期间所检测到的最靠近成像装置的面部的距离[S2]小于到在聚焦操作开始之前所检测到的最靠近成像装置的面部的距离[S1]时，根据该实施例的成像装置断定有其他人插入到目标对象之前的位置，立即停止聚焦操作，并且在确认那个人已经离开之后，再次执行聚焦处理。因此，可以确保执行对目标对象的聚焦调整，从而实现拍摄到没有聚焦误差的满意图像。

已经参照特定的实施例对本发明进行了详细的解释说明。然而，显然本领域技术人员在不脱离本发明精神的前提下，可以进行对实施例的修正和替换。本发明以举例说明的形式进行了披露，并且不应当进行限制性的解释。为了判别本发明的要旨，应当对所附权利要求加以考虑。

可以以硬件、软件、或硬件和软件的组合来执行该说明书中解说的处理系列。当通过软件来执行处理时，可以在内装有计算机的专用硬件的存储器中安装其中记录有处理序列的程序，并执行该程序。替代地，也可以在能够执行各种处理的通用计算机中安装该程序，并执行该程序。

例如，可以将程序预先记录在作为记录媒体的硬盘或ROM(只读存储器)上。替代地，可以临时或永久地将程序存储(记录)在可移动记录媒体上，例如软盘，CD-ROM(压缩盘只读存储器)，MO(磁光)盘，DVD(数字通用盘)，磁盘，或半导体存储器。可以提供这样的如所谓的软件包的可移动记录媒体。

除了从可移动记录媒体向计算机中安装程序之外，还可以通过无线电把程序传送给计算机，或者通过线缆从下载站点，经由诸如LAN(局域网)或因特网的网络把程序传送给计算机。计算机可以接收以这种方式传送的程序，并将该程序安装到诸如其中内置的硬盘的记录媒体上。

在该说明书中描述的各种处理根据执行处理的装置的处理能力或者在必需时，不仅可以根据基于以上描述的时序来执行，还可以并行地或独立地执行。在该说明书中，系统是多个装置的逻辑集合，并且不限于同一外壳中容纳的各种结构的装置。

如上所述，根据本发明的实施例，在成像装置的自动聚焦处理中，从输入图像检测面部区域，根据所检测到面部的尺寸计算对象的距离，根据所检测面部的数目和尺寸，判断在聚焦操作期间，是否在比聚焦操作开始之前检测到的面部当中最靠近成像装置的面部位置更靠近成像装置的位置出现了新的面部，并且根据表示在更靠近成像装置的位置出现了新的面部的判断结果，执行重新运行或停止聚焦操作的处理。当判断其他人出现在目标对象之前的位置时，停止聚焦操作，并且在确认那个人已经离开之后，再次执行聚焦操作。根据该实施例，可以确保执行对目标对象的聚焦调整，从而实现没有聚焦误差的图像的满意拍摄。

本领域技术人员应当理解，根据设计需求和至今为止的其他因素，可以进行各种修改，组合，次组合及变更，只要它们都在所附权利要求及其等同物的范围之内。

Claims (14)

1.一种成像装置，包括：

面部检测单元，从成像装置中输入的输入图像检测面部区域；以及

控制单元，根据聚焦透镜的调整执行聚焦操作；其中

该控制单元根据所检测到面部的数目和尺寸，判断在聚焦操作期间是否在比聚焦操作开始之前检测到的面部当中最靠近成像装置的面部的位置更靠近成像装置的位置出现了新的面部，并且根据表示在更靠近成像装置的位置出现了新的面部的判断结果，执行重新运行或停止聚焦操作的处理。

2.根据权利要求1的成像装置，其中控制单元执行比较在聚焦操作开始之前检测到的面部的数目N1和在聚焦操作期间检测到的面部的数目N2的处理，当N2大于N1时，执行比较到聚焦操作开始之前最靠近成像装置的面部的距离S1和到聚焦操作期间最靠近成像装置的面部的距离S2的处理，并且当S2小于S1时，停止聚焦操作，并执行重新运行或停止聚焦操作的处理。

3.根据权利要求1的成像装置，其中控制单元执行控制以便根据表示在更靠近成像装置的位置出现了新的面部的判断结果，在聚焦操作期间停止聚焦操作，并且在确认已经在更靠近成像装置的位置出现的新面部消失之后，重新运行聚焦操作。

4.根据权利要求1的成像装置，其中控制单元执行控制以便根据表示在更靠近成像装置的位置出现了新的面部的判断结果，在聚焦操作期间停止聚焦操作，执行聚焦操作的重新运行，并且当聚焦操作的次数达到重试次数的最大数目时，停止聚焦操作。

5.根据权利要求1的成像装置，其中控制单元执行控制以便根据表示在更靠近成像装置的位置出现了新的面部的判断结果，在聚焦操作期间停止聚焦操作，待机等待已经在更靠近成像装置的位置出现的新面部消失，并且当即使已经经过了预先设定的重试等待时间仍不能确认新面部的消失时，停止聚焦操作。

6.根据权利要求1的成像装置，其中控制单元在设定自拍拍摄或遥控拍摄的条件下，根据在聚焦操作期间所检测到的面部的数目和尺寸，执行判断重新运行还是停止聚焦操作的处理。

7.根据权利要求1的成像装置，其中控制单元控制聚焦操作，以便获取与聚焦透镜的运动相对应的评估值，并计算该评估值的峰值。

8.一种在成像装置中执行自动聚焦控制的成像装置控制方法，该成像装置控制方法包括以下步骤：

在面部检测单元中从输入图像检测面部区域；

在控制单元中根据聚焦透镜的调整执行聚焦操作；以及

在控制单元中根据所检测到的面部的数目和尺寸，判断在聚焦操作期间是否在比聚焦操作开始之前检测到的面部当中最靠近成像装置的面部的位置更靠近成像装置的位置出现了新的面部，并且根据表示在更靠近成像装置的位置出现了新的面部的判断结果，执行重新运行或停止聚焦操作的处理。

9.根据权利要求8的成像装置控制方法，其中所述用于执行重新运行或停止聚焦操作的处理的步骤是这样的步骤：执行比较聚焦操作开始之前所检测到的面部的数目N1和聚焦操作期间所检测到的面部的数目N2的处理，当N2大于N1时，执行比较到在聚焦操作开始之前最靠近成像装置的面部的距离S1和到在聚焦操作期间最靠近成像装置的面部的距离S2的处理，并且当S2小于S1时，停止聚焦操作，并执行重新运行或停止聚焦操作的处理。

10.根据权利要求8的成像装置控制方法，其中所述用于执行重新运行或停止聚焦操作的处理的步骤包括这样的步骤：执行控制以便根据表示在更靠近成像装置的位置出现了新的面部的判断结果，在聚焦操作期间停止聚焦操作，并且在确认已经在更靠近成像装置的位置出现的新面部消失之后，重新运行聚焦操作。

11.根据权利要求8的成像装置控制方法，其中所述用于执行重新运行或停止聚焦操作的处理的步骤包括这样的步骤：执行控制以便根据表示在更靠近成像装置的位置出现了新的面部的判断结果，在聚焦操作期间停止聚焦操作，执行聚焦操作的重新运行，并且当聚焦操作的次数达到重试次数的最大数目时，停止聚焦操作。

12.根据权利要求8的成像装置控制方法，其中所述用于执行重新运行或停止聚焦操作的处理的步骤包括这样的步骤：执行控制以便根据表示在更靠近成像装置的位置出现了新的面部的判断结果，在聚焦操作期间停止聚焦操作，待机等待已经在更靠近成像装置的位置出现的新面部消失，并且当即使已经经过了预先设定的重试等待时间仍不能确认新面部的消失时，停止聚焦操作。

13.根据权利要求8的成像装置控制方法，还包括这样的步骤：在控制单元中，在设定自拍拍摄或遥控拍摄的条件下，根据在聚焦操作期间所检测到的面部的数目和尺寸，执行判断重新运行或停止聚焦操作的处理。

14.根据权利要求8的成像装置控制方法，其中所述用于执行聚焦操作的步骤是这样的步骤：执行聚焦操作，以便获取与聚焦透镜的运动相对应的评估值，并计算该评估值的峰值。

Images