CN101106647B - 图像拾取装置及其控制方法 - Google Patents

Abstract

本发明公开一种图像拾取装置及其控制方法和计算机程序，该图像拾取装置包括：脸检测部分，配置用于从图像拾取装置获得的图像中检测脸区域；以及控制部分，配置用于检测由脸检测部分所检测的脸区域的尺寸变化量和脸区域的运动速度中的至少任意一个，根据关于所检测的脸区域的尺寸变化量或所检测的脸区域的运动速度的信息确定是否存在发生作为由于主体运动而导致在捕获的图像中出现的模糊的主体抖动模糊的可能性，并且在确定存在发生主体抖动模糊的可能性时输出告警。

Description

图像拾取装置及其控制方法

相关申请的交叉引用

本发明包含与2006年7月13日向日本专利局提出的日本专利申请第2006-192417号相关的主题，其全部内容在此引用作为参考。

技术领域

本发明涉及一种图像拾取装置及其控制方法和计算机程序，更具体地说，涉及一种能够检测主体的运动所导致的模糊并防止捕获模糊图像的图像拾取装置及其控制方法和计算机程序。

背景技术

比如数字照相机的图像拾取装置有时提供模糊的照片。当前在照相机中已经实现了各种防止捕获模糊照片的功能。例如，在设置以低于预定速度的快门速度执行图像捕获的图像捕获模式时，存在一种在照相机的显示器上显示“模糊告警图标”的功能。该功能用于通知用户(拍摄者)在快门速度较低时存在发生由照相机抖动所导致的模糊的可能。

另外，某些照相机包括陀螺传感器，并且具有使陀螺传感器检测用户(拍摄者)手持的照相机机体的运动、并根据检测结果在照相机的显示器上显示“模糊告警图标”的功能。因此，已经开发并应用了多种检测照相机机体所导致的模糊并根据检测结果输出告警的技术。

但是，存在两种主要因素导致照相机捕获的照片中出现模糊，即，上面所述的由照相机的运动所导致的照相机抖动以及主体抖动。在曝光期间由于照相机机体的运动而导致发生照相机抖动。在曝光期间由于主体的运动而导致发生主体抖动。已经提出了多种检测由于照相机机体的运动而导致发生的照相机抖动、并根据检测结果输出告警的技术。

另一方面，尚未见到公开检测由于主体的运动而导致发生的主体抖动、并根据检测结果向用户(拍摄者)输出告警的技术。作为类似的技术，例如日本待审专利申请公开No.2003-323621公开了一种检测设置为主体的人是否走出图像捕获视野、并根据检测结果输出告警的技术。另外，日本待审专利申请公开No.2005-20196公开了一种分析捕获的图像、提取其中脸图像重叠或脸图像切开的图像、并且将所提取的图像作为错误照片删除的技术。

但是，上面所述的现有技术没有检测主体运动，并根据检测结果向用户告警出现模糊。

发明内容

期望提供一种能够确定是否存在在捕获的图像中将会出现由于目标主体的运动所导致的模糊的可能性、并且在存在出现模糊的可能性时向用户输出告警的图像拾取装置及其控制方法和计算机程序。

根据本发明的实施例的图像拾取装置包括：脸检测部分，配置用于从图像拾取装置获得的图像中检测脸区域；以及控制部分，配置用于检测由脸检测部分所检测的脸区域的尺寸变化量和脸区域的运动速度中的至少任意一个，根据关于所检测的脸区域的尺寸变化量或所检测的脸区域的运动速度的信息确定是否存在发生作为由于主体运动而导致在捕获的图像中出现的模糊的主体抖动模糊的可能性，并且在确定存在发生主体抖动模糊的可能性时输出告警。

在根据本发明的实施例的图像拾取装置中，所述控制部分包括：主体历史信息获取单元，配置用于从脸检测部分连续接收脸区域检测结果，检测包括在连续接收的脸区域检测结果中的脸区域的尺寸和位置中的至少任意一个，使用关于所检测的脸区域的尺寸或位置的多个信息生成历史信息，并且将所生成的历史信息记录在存储部分中；主体尺寸变化量计算单元，配置用于根据历史信息计算脸区域的尺寸变化量；以及主体运动速度计算单元，配置用于根据历史信息计算脸区域的运动速度。另外，控制部分根据主体尺寸变化量计算单元所计算的脸区域的尺寸变化量和主体运动速度计算单元所计算的脸区域的运动速度中的任意一个，确定是否存在发生主体抖动模糊的可能性。

在根据本发明的实施例的图像拾取装置中，控制部分比较脸检测部分所检测的脸区域的尺寸变化量[ΔF]和为图像拾取装置所设置的快门速度[S]的乘积[ΔF·S]与预定阈值，并且在乘积[ΔF·S]大于预定阈值时确定存在发生主体抖动模糊的可能性。

在根据本发明的实施例的图像拾取装置中，控制部分比较脸检测部分所检测的脸区域的运动速度[V]和为图像拾取装置所设置的快门速度[S]的乘积[V·S]与预定阈值，并且在乘积[V·S]大于预定阈值时确定存在发生主体抖动模糊的可能性。

在根据本发明的实施例的图像拾取装置中，在确定存在发生主体抖动模糊的可能性时，控制部分向图像拾取装置的显示部分输出告警图标。

在根据本发明的实施例的图像拾取装置中，从控制部分输出的告警图标是主体抖动模糊告警图标，其显示信息与用于因照相机的运动所导致的照相机抖动模糊的告警图标的显示信息不同。

在根据本发明的实施例的图像拾取装置中，在确定存在发生主体抖动模糊的可能性时，控制部分执行禁止图像拾取装置执行图像捕获的控制处理。

在根据本发明的实施例的图像拾取装置中，在确定存在发生主体抖动模糊的可能性时，控制部分执行将为图像拾取装置所设置的快门速度改变为高快门速度的控制处理。

在根据本发明的实施例的图像拾取装置中，在确定存在发生主体抖动模糊的可能性时，控制部分执行增加图像拾取装置执行图像捕获时的ISO速度的控制处理。

根据本发明的实施例的图像拾取装置控制方法是在图像拾取装置中执行模糊检测处理的方法。该图像拾取装置控制方法包括：脸检测步骤，用于从图像拾取装置获得的图像中检测脸区域；以及控制步骤，用于检测在脸检测步骤中所检测的脸区域的尺寸变化量和脸区域的运动速度中的至少任意一个，根据关于所检测的脸区域的尺寸变化量或所检测的脸区域的运动速度的信息确定是否存在发生作为由于主体运动而导致在捕获的图像中出现的模糊的主体抖动模糊的可能性，并且在确定存在发生主体抖动模糊的可能性时输出告警。

在根据本发明的实施例的图像拾取装置控制方法中，所述控制步骤包括：主体历史信息获取步骤，用于连续接收在脸检测步骤中获得的脸区域检测结果，检测包括在连续接收的脸区域检测结果中的脸区域的尺寸和位置中的至少任意一个，使用关于所检测的脸区域的尺寸或位置的多个信息生成历史信息，并且将所生成的历史信息记录在存储部分中；主体尺寸变化量计算步骤，用于根据历史信息计算脸区域的尺寸变化量；以及主体运动速度计算步骤，用于根据历史信息计算脸区域的运动速度。另外，在控制步骤中，根据主体尺寸变化量计算步骤所计算的脸区域的尺寸变化量和主体运动速度计算步骤所计算的脸区域的运动速度中的任意一个，确定是否存在发生主体抖动模糊的可能性。

在根据本发明的实施例的图像拾取装置控制方法中，在控制步骤中，比较在脸检测步骤中所检测的脸区域的尺寸变化量[ΔF]和为图像拾取装置所设置的快门速度[S]的乘积[ΔF·S]与预定阈值，并且在乘积[ΔF·S]大于预定阈值时确定存在发生主体抖动模糊的可能性。

在根据本发明的实施例的图像拾取装置控制方法中，在控制步骤中，比较在脸检测步骤中所检测的脸区域的运动速度[V]和为图像拾取装置所设置的快门速度[S]的乘积[V·S]与预定阈值，并且在乘积[V·S]大于预定阈值时确定存在发生主体抖动模糊的可能性。

在根据本发明的实施例的图像拾取装置控制方法中，控制步骤包括在确定存在发生主体抖动模糊的可能性时、向图像拾取装置的显示部分输出告警图标的步骤。

在根据本发明的实施例的图像拾取装置控制方法中，告警图标是主体抖动模糊告警图标，其显示信息与用于因照相机的运动所导致的照相机抖动模糊的告警图标的显示信息不同。

在根据本发明的实施例的图像拾取装置控制方法中，控制步骤包括在确定存在发生主体抖动模糊的可能性时、执行禁止图像拾取装置执行图像捕获的控制处理的步骤。

在根据本发明的实施例的图像拾取装置控制方法中，控制步骤包括在确定存在发生主体抖动模糊的可能性时、执行将为图像拾取装置所设置的快门速度改变为高快门速度的控制处理的步骤。

在根据本发明的实施例的图像拾取装置控制方法中，控制步骤包括在确定存在发生主体抖动模糊的可能性时、执行增加图像拾取装置执行图像捕获时的ISO速度的控制处理的步骤。

根据本发明的实施例的计算机程序使计算机执行图像拾取装置中的抖动检测处理。该计算机程序使计算机执行：脸检测步骤，用于从图像拾取装置获得的图像中检测脸区域；以及控制步骤，用于检测在脸检测步骤中所检测的脸区域的尺寸变化量和脸区域的运动速度中的至少任意一个，根据关于所检测的脸区域的尺寸变化量或所检测的脸区域的运动速度的信息确定是否存在发生作为由于主体运动而导致在捕获的图像中出现的模糊的主体抖动模糊的可能性，并且在确定存在发生主体抖动模糊的可能性时输出告警。

这里，根据本发明的实施例的计算机程序可以通过诸如CD、FD或MO的计算机可读存储介质或者诸如网络的通信介质提供给例如能够执行各种程序代码的各种计算机系统。通过以计算机可读的格式提供该程序给计算机系统，能够在计算机系统中执行与该程序相对应的处理。

本发明的其它目的、特点和优点从下面基于本发明的各个实施例和附图的详细描述中将变得更加清楚。在本说明书中，系统指的是多个装置的逻辑组。这些装置可以不在同一个机箱中。

根据本发明的实施例，从图像拾取装置获得的图像的数据中检测脸区域。计算所检测的脸区域的尺寸变化量或所检测的脸区域的运动速度。根据计算结果和快门速度确定是否存在发生由主体运动所导致的主体抖动模糊的可能性。另外，如果在确定存在发生主体抖动模糊的可能性，例如执行在监视器上显示告警图标、禁止图像捕获的控制处理、快门速度的自动调整、或者控制ISO速度的处理。由此，用户(拍摄者)能够执行适当的处理，从而防止捕获模糊的图像。从而，能够捕获清晰的图像。

附图说明

图1是描述在聚焦控制中聚焦操作时所执行的透镜驱动处理和示例AF评估值获取处理的图；

图2A～2C是描述根据本发明的实施例的图像拾取装置的示例外部结构的图；

图3是描述根据本发明的实施例的图像拾取装置的示例硬件结构的图；

图4是描述根据脸尺寸执行的主体距离计算处理的图；

图5是描述包括在根据本发明的实施例的图像拾取装置中的控制部分的功能结构的图；

图6是描述距离测量框、关于主体尺寸的信息、以及关于主体位置的信息的图；

图7是描述包括在主体历史信息中的示例数据的图；

图8是描述主体抖动模糊告警图标的显示示例的图；

图9是描述主体抖动模糊告警图标和照相机抖动模糊告警图标的显示示例的图；以及

图10是描述根据本发明的实施例的图像拾取装置所执行的示例处理序列的流程图。

具体实施方式

下面将参照附图详细描述根据本发明的实施例的图像拾取装置及其控制方法和计算机程序。

在本发明中，确定是否存在由于目标主体的运动导致在捕获的图像中出现模糊的可能性。如果确定存在出现模糊的可能性，则向用户输出告警。在本说明书中，将由于主体运动而在捕获的图像中出现的模糊称作“主体抖动模糊”，并将由于照相机运动而在捕获的图像中出现的模糊称作“照相机抖动模糊”。

根据本发明的实施例的图像拾取装置检测主体抖动模糊并根据检测结果输出告警，从而防止捕获模糊的图像。更具体地，根据本发明的实施例的图像拾取装置根据作为目标主体的人的脸图像检测主体抖动模糊。

下面将概要描述根据本发明的实施例的图像拾取装置所执行的处理。首先，根据本发明的实施例的图像拾取装置比如数字照相机分析待捕获的图像数据，比如包括连续获得的图像的照相机通过图像(camerathrough image)，从而识别主体的脸区域，检测所识别的脸区域的尺寸或位置的变化，并根据检测结果确定是否存在发生主体抖动模糊的可能性。如果存在发生主体抖动模糊的可能性，则图像拾取装置在其显示器上显示告警图标(主体抖动模糊告警图标)，其上显示照相机通过图像，以便通知用户存在发生主体抖动模糊的可能性。

由根据本发明的实施例的图像拾取装置基于检测结果所执行的主体抖动模糊检测处理和主体抖动模糊告警处理可以独立地执行。但是，它们也可以例如与图像拾取装置执行的自动聚焦一起同时执行。也就是说，计算图像拾取装置到在主体抖动模糊检测处理中所检测的主体的脸区域的距离，并将计算结果用作进行自动聚焦的控制信息。关于该自动聚焦控制技术，本发明的受让人已经提交了日本专利申请。

许多图像拾取装置具有自动聚焦功能，其中对待捕获的图像自动执行聚焦控制。作为代表性的聚焦控制方法，确定获得的图像的对比度的方法是公知的。在该方法中，确定通过透镜获得的图像数据的对比度是高还是低。

更具体地说，提取特定区域中的高频分量，生成所提取的高频分量的积分数据，然后根据所生成的高频分量的积分数据确定所获得的图像数据的对比度是高还是低。也就是说，通过将聚焦透镜移动到多个位置获得多个图像。接着，使用例如高通滤波器对所获得的图像的亮度信号执行滤波处理，从而获得AF评估值，每一个表示所获得的图像的每一个的对比强度。此时，如果在某一聚焦透镜位置存在焦点对准的主体，则相对于聚焦透镜位置的AF评估值用图1所示的曲线描述。在该曲线上的峰值位置P1，即，图像对比值变为最大值的位置是焦点对准位置。在该方法中，除了图像拾取光学系统外不需要布置距离测量光学系统，这是因为可以仅根据关于作为数字照相机的图像拾取器件的成像器所获得的图像的信息来执行聚焦处理。因此，当前该方法广泛地应用于数字静止照相机。

通过计算图像拾取装置和检测为主体的脸区域之间的距离并使用关于所计算的距离的信息确定对比强度，可以更精确地执行该自动聚焦控制。

此外，在根据本发明的实施例的图像拾取装置中，根据从获得的图像中检测的脸区域的尺寸或位置的变化，确定发生主体抖动模糊的可能性。如果确定发生主体抖动模糊的可能性高，则输出告警。例如，将告警图标(主体抖动模糊告警图标)显示在显示器上，其上显示通过图像，从而通知用户存在发生主体抖动模糊的可能性。用户检查该告警并能够执行适当的处理，从而防止捕获模糊的图像。

下面参照图2A至图10描述根据本发明的实施例的图像拾取装置的结构。图2A、2B和2C是根据本发明的实施例的图像拾取装置10的外部视图。图2A是图像拾取装置10的顶视图。图2B是图像拾取装置10的前视图。图2C是图像拾取装置10的后视图。图2A包括透镜部分的截面图。图像拾取装置10配置有下述组件：电源开关11；释放开关12，用作触发单元用于设置图像捕获定时，即，用作快门；监视器13，显示由图像拾取装置捕获的图像(照相机通过图像)和操作信息；为图像拾取器件(CCD)的成像器14；缩放按钮15，允许用户执行缩放控制；操作按钮16，允许用户输入各种操作信息；取景器17，允许用户检查图像拾取装置捕获的图像(照相机通过图像)；聚焦透镜18，用于针对聚焦控制进行驱动；缩放透镜19，用于针对缩放控制进行驱动；模式拨盘20，允许用户设置图像捕获模式；聚焦透镜马达(M1)21，用于驱动聚焦透镜18；以及缩放透镜马达(M2)22，用于驱动缩放透镜19。

可以对根据本发明的实施例的图像拾取装置设置的多种模式中的一种是脸识别图像捕获模式。如果模式拨盘20移动到用于脸识别图像捕获模式的设置位置，则在图像拾取装置中设置该模式，并且从图像拾取装置捕获的图像(照相机通过图像)中识别主体的脸图像。

此外，检测所识别的脸图像的尺寸或位置的变化。根据检测结果确定是否存在发生主体抖动模糊的可能性。如果确定存在发生主体抖动模糊的可能性，则执行通知用户(拍摄者)存在发生主体抖动模糊的可能性的处理。更具体地说，代表存在将会发生主体抖动模糊的可能性的告警图标显示在监视器13或取景器17上。可替代地，通过例如蜂鸣器输出音频告警。

主体图像显示在取景器17和监视器13上。取景器17和监视器13配置为例如LCD，并且显示通过透镜获得的主体图像作为移动图像。该移动图像称作照相机通过图像。用户检查包括在取景器17或监视器13上所显示的照相机通过图像中的待捕获的目标主体，并且按下用作快门的释放开关12，从而记录目标主体的图像。

下面参照图3描述图像拾取装置100的内部结构。聚焦透镜101和缩放透镜102接收的光输入到比如CCD(电荷耦合器件)的图像拾取器件103，然后在此进行光电转换。光电转换数据输入到模拟信号处理部分104，然后在此进行诸如消除干扰的处理。处理后的信号输入到A/D转换部分105，然后在此转换成数字信号。通过A/D转换部分105执行的模拟-数字转换所获得的数据记录在诸如闪存的记录设备中。此外，所获得的数据显示在监视器117和取景器116上。通过透镜获得的图像在监视器117和取景器116上显示为照相机通过图像，而不管是否已经执行图像捕获。

操作部分118包括释放开关12、缩放按钮15、允许用户输入各种操作信息的操作按钮16、以及允许用户设置图像捕获模式的模式拨盘20，这些已经在前面参照图2进行了详细描述，并且设置在照相机机体上。包括CPU的控制部分110根据存储在诸如ROM的存储器120中的程序，控制由图像拾取装置执行的各种处理操作。诸如EEPROM的非易失性存储器119存储图像数据、各种增补信息、程序等。存储器120存储控制部分110使用的程序和计算参数等。诸如RAM的存储器121存储控制部分110使用的程序以及通过执行所述程序改变的参数。陀螺仪111检测图像拾取装置的倾斜和抖动。检测结果输入到控制部分110，并且在此根据检测结果执行诸如照相机抖动校正的处理。

马达驱动器112驱动为聚焦透镜101配置的聚焦透镜驱动马达113以及为缩放透镜102配置的缩放透镜驱动马达114。垂直驱动器107驱动诸如CCD的图像拾取器件103。定时发生器106生成用于控制图像拾取器件103和模拟信号处理部分104的处理定时的控制信号，并且使用所生成的控制信号控制处理定时。

脸检测部分130从数字信号处理部分108接收通过透镜获得的图像数据，并且分析所接收的图像数据，以便检测包括在所接收的图像数据中的人的脸区域。检测结果发送给控制部分110。

控制部分110根据所发送的脸区域检测结果检测人的脸区域的尺寸或位置的变化，并且根据检测结果确定是否存在发生主体抖动模糊的可能性。如果控制部分110确定存在发生主体抖动模糊的可能性，则执行通知用户(拍摄者)存在发生主体抖动模糊的可能性的处理。更具体地说，控制部分110在监视器117或取景器116上显示表示存在发生主体抖动模糊的可能性的告警图标，或者输出音频告警。

下面将单独地详细描述根据本发明的实施例的图像拾取装置所执行的处理操作。在根据本发明的实施例的图像拾取装置中，根据图像拾取装置捕获的图像的数据指定作为目标主体的人的脸区域。根据脸图像的数据确定是否存在主体抖动模糊。如果确定存在主体抖动模糊，则输出告警。也就是说，脸检测部分130执行脸区域检测。接着，控制部分110根据关于所检测的脸区域的信息确定是否存在发生主体抖动模糊的可能性，并且根据确定结果输出告警。下面将依次顺序描述脸识别处理和距离计算处理的细节、以及主体抖动模糊发生确定处理和告警输出处理的细节。

脸识别处理和距离计算处理

首先描述由脸检测部分130执行的处理操作，即，根据图像拾取装置所获得的图像数据指定人的脸区域的处理操作、以及根据指定的脸区域计算距离的处理操作。

已经公开了各种脸识别技术和各种脸跟踪技术。这些技术均可以应用到本发明中。例如，可以使用日本待审专利申请公开No.2004-133637中公开的技术，其中将原始图像与包括关于脸亮度电平分布的信息的模板进行比较。更具体地说，首先准备通过缩减原始图像所获得的不同类型的图像。将每一个不同类型的图像与每一个都包括关于脸亮度电平分布的信息的模板进行比较。包括在模板中的脸亮度电平分布是在脸相对于三维直角坐标系统的X、Y、Z轴倾斜的情况下单独获得的。包括在原始图像中的脸的倾斜通过使用这些模板执行比较处理来确定。

在尺寸缩减的图像的二维平面上改变特定模板的位置的同时，比较特定模板与尺寸缩减的图像中的一个，如果包括在尺寸缩减的图像中的特定区域与模板相匹配，则能够确定该区域包括脸图像。脸图像的尺寸可以使用原始图像的缩减比例来计算。此外，关于三个正交轴的旋转角以及偏转角、俯仰角和摇摆角可以从所使用的模板中获得。从图像拾取装置到脸的距离使用前文所述已经获得的脸的尺寸、位置和旋转角来计算。

从所获得的图像识别的脸的尺寸与图像拾取装置到脸的距离，即，主体距离相关。如上所述，主体距离根据所识别的脸的尺寸来计算，并且能够根据所计算的主体距离执行自动聚焦控制。下面将参照图4详细描述计算从图像拾取装置到脸的距离的方法。在图4中示出主体位置301、聚焦透镜302、以及图像拾取器件303。人的脸出现在主体位置301处。脸的尺寸(宽度)用Wf表示。

如果获得了脸的尺寸(Wf)，则可以根据透镜的基本物理定律使用下面的公式计算透镜到脸的距离，即，从聚焦透镜302到主体位置301的主体距离(Df)：

Df＝Wref×(f/Wi)×(Ww/Wf)                 (公式1.1)

其中，Wref表示人脸的尺寸的基准值，Wi表示图像拾取器件的宽度，f表示焦距，Wf表示与包括在捕获的图像中的人的脸的尺寸相对于的像素数(图像拾取器件检测值)，以及Ww表示与用于人的脸检测的图像的尺寸相对于的像素数。

人脸的尺寸的基准值(Wref)可以设置为预定的固定值。考虑到个体差异、人种差异、年龄差异、以及性别差异，可以将人脸的尺寸的基准值(Wref)设置为其它不同的值。结果，可以执行更加精确的距离估算。

主体抖动模糊确定处理和告警输出处理

下面将详细描述根据本发明的实施例的图像拾取装置所执行的主体抖动模糊确定处理和告警输出处理。在根据本发明的实施例的图像拾取装置中，如前所述，图3所示的脸检测部分130识别包括在图像拾取装置捕获的图像中的脸区域，并且输出关于所识别的脸区域的信息给控制部分110。控制部分110根据所识别的脸区域的尺寸或位置变化确定发生主体抖动模糊的可能性。

下面将参照图5描述控制部分的功能及其执行的处理操作。如上面参照图3所描述的，控制部分110包括CPU，并且根据存储在诸如ROM的存储器120中的程序控制图像拾取装置所执行的各种处理操作。图5所示的控制部分110的结构不是其硬件结构。图5是描述控制部分所执行的功能的功能方框图。

如图5所示，控制部分110配置有下述组件作为执行功能：目标主体确定单元401；主体历史信息获取单元402；主体运动速度计算单元403；主体尺寸变化量计算单元404；主体抖动模糊确定单元405；以及告警输出控制单元406。

如上所述，如果模式拨盘20(图2所示)被调整到预定位置，则在图像拾取装置中设置脸识别图像捕获模式。此时，在功能为显示部分的监视器13和取景器17上显示表示照相机运行在脸识别图像捕获模式中的图标、以及照相机通过图像。与此同时，脸检测部分130(图3所示)根据照相机所获得的图像的分析，开始脸区域识别处理。

随后的处理将参照图5描述。脸检测部分130周期地从所获得的图像350中检测包括人脸的区域，即，脸区域。检测信息输入到包括在控制部分中的目标主体确定单元401和主体历史信息获取单元402。例如，如果检测到多个脸，则目标主体确定单元401选择检测到的脸中的一个作为目标主体。该选择处理是根据预定算法执行的。例如，选择最大的脸或者最接近获得的图像的中心的脸。如果只检测到一个脸，则将该脸设置为目标主体。

控制部分110根据关于目标主体的信息在液晶显示板上围绕脸区域显示距离测量框。如图6所示，例如在作为显示部分的监视器或取景器上围绕目标主体450的脸区域显示距离测量框451。

如图5所示，脸检测部分130获得的脸区域检测信息还输入到包括在控制部分110中的主体历史信息获取单元402。另外，关于目标主体的信息从目标主体确定单元401发送到主体历史信息获取单元402。主体历史信息获取单元402根据所接收的信息获取关于脸检测部分130所检测到的目标主体脸区域的位置[P]和尺寸[F]的信息，并且将所获得的各条信息记录在存储部分351中。

现在参照图6和图7描述主体历史信息获取单元402所获得的各条信息。历史信息获取单元402所获得的各条信息是关于脸检测部分130所检测到的脸区域的位置[P]和尺寸[F]的信息。如图6所示，例如关于脸区域的位置[P]的信息是关于围绕目标主体450的距离测量框451的中心坐标(x，y)的信息。例如，该信息可以通过使用关于作为显示部分的监视器上的像素位置的信息来获取。此外，如图6所示，关于脸区域的尺寸[F]的信息是关于围绕目标主体450的距离测量框451的宽度(X)和高度(Y)的信息。例如，该信息可以通过使用关于作为显示部分的监视器上的像素数量的信息来获取。

主体历史信息获取单元402根据从脸检测部分130发送的脸区域检测信息针对脸区域设置并显示距离测量框、获取关于脸区域的位置[P]和尺寸[F]的信息、并将所获得的信息记录在存储部分351中。记录在存储部分351中的历史信息的示例如图7所示。

主体历史信息获取单元402以预定时间间隔，即，如图7所示的时刻t0、t1、t2、...，获取关于脸区域的位置[P]和尺寸[F]的信息，并将所获得的信息记录在存储部分351中。例如，如图7所示的示例历史信息包括下述各条信息。

时刻t0：位置[P]＝(235，325)，尺寸[F]＝185×210

时刻t1：位置[P]＝(233，324)，尺寸[F]＝184×208

时刻t2：位置[P]＝(220，320)，尺寸[F]＝180×205

时刻tn：位置[P]＝(180，280)，尺寸[F]＝150×180

包括在上述各条信息中的位置[P]表示图像数据的像素位置的坐标(x，y)。包括在上述各条信息中的尺寸[F]表示与距离测量框的宽度和高度相对应的像素数量[X×Y]。

图5所示的主体运动速度计算单元403获取存储在存储部分351中的主体历史信息，并根据所获得的历史信息计算主体位置[P]的时间变化量，即，主体运动速度[V]。例如，主体运动速度[V]用输出图像的像素运动速度[像素/秒]表示。图5所示的主体尺寸变化量计算单元404获取存储在存储部分351中的主体历史信息，并根据所获得的主体历史信息计算预先确定的周期性的测量周期(例如，采样周期)内的主体尺寸[F]的变化量[ΔF]。例如，主体尺寸[F]的变化量[ΔF]用输出图像的像素变化量[像素]表示。如果采样周期不是周期性的，则可以使用主体尺寸[F]的变化速度[ΔF’]。变化速度[ΔF’]用输出图像的像素变化速度[像素/秒]表示。

下面将描述使用主体运动速度[V]和主体尺寸[F]的变化量[ΔF]所执行的示例主体抖动模糊确定处理。主体抖动模糊确定单元405接收关于主体运动速度计算单元403所计算的主体运动速度[V]的信息以及关于主体尺寸变化量计算单元404所计算的主体尺寸[F]的变化量[ΔF]的信息，并且根据所接收的信息执行主体抖动模糊确定处理。

主体抖动模糊确定单元405执行两种类型的确定处理操作，即，根据主体运动速度[V]的主体抖动模糊确定处理操作和根据主体尺寸[F]的变化量[ΔF]的主体抖动模糊确定处理操作。如果主体抖动模糊确定单元405在这些确定处理操作的任意一种中确定存在主体抖动模糊，则使告警输出控制单元406输出表示发生主体抖动模糊的告警。

主体抖动模糊确定单元405使用关于为图像拾取装置所设置的快门速度[S]的信息执行上述两种主体抖动模糊确定处理操作中的每一种。也就是说，如果曝光时间短(高速快门)，则发生主体抖动模糊的可能性变低。另一方面，如果曝光时间长(低速快门)，则发生主体抖动模糊的可能性变高。因此，在考虑到关于为图像拾取装置所设置的快门速度[S]的信息的情况下，独立地执行上述两种确定处理操作。

下面将详细描述确定处理操作。

基于主体运动速度[V]的主体抖动模糊确定处理

基于主体运动速度[V]的主体抖动模糊确定处理如下所述执行。将主体运动速度[V]和快门速度[S]的乘积[V·S]与预定阈值[Thr1]比较。

V·S＞Thr1                (不等式1)

接着，确定是否满足上述不等式1。

如果满足上述不等式1，则主体抖动模糊确定单元405确定发生主体抖动模糊的可能性高，并使告警输出控制单元406输出表示发生主体抖动模糊的告警。如果上述不等式1不满足，则主体抖动模糊确定单元405确定发生主体抖动模糊的可能性低，并且不执行告警输出处理。该基于主体运动速度[V]的主体抖动模糊确定处理对于其中主体相对于照相机在平移方向上运动的情况尤其有效，也就是其中主体在照相机的图像捕获屏幕上纵向或横向移动的情况。在这种情况下，主体和照相机之间的距离的变化量非常小。

基于主体尺寸[F]的变化量[ΔF]的主体抖动模糊确定处理

基于主体尺寸[F]的变化量[ΔF]的主体抖动模糊确定处理如下所述执行。将主体尺寸[F]的变化量[ΔF]和快门速度[S]的乘积[ΔF·S]与预定阈值[Thr2]比较。

ΔF·S＞Thr2                 (不等式2)

接着，确定是否满足上述不等式2。

如果满足上述不等式2，则主体抖动模糊确定单元405确定发生主体抖动模糊的可能性高，并使告警输出控制单元406输出表示发生主体抖动模糊的告警。如果上述不等式2不满足，则主体抖动模糊确定单元405确定发生主体抖动模糊的可能性低，并且不执行告警输出处理。该基于主体尺寸[F]的变化量[ΔF]的主体抖动模糊确定处理对于其中主体相对于照相机在深度方向上运动的情况尤其有效，也就是其中主体和照相机之间的距离发生变化的情况。

由此，执行了两种类型的确定处理操作，即，根据主体运动速度[V]的主体抖动模糊确定处理操作和根据主体尺寸[F]的变化量[ΔF]的主体抖动模糊确定处理操作，从而能够执行与主体的各种类型运动相对应的主体抖动模糊确定处理操作。

如果主体抖动模糊确定单元405在上述两种类型的主体抖动模糊确定处理操作的至少任意一种中确定存在主体抖动模糊，则使告警输出控制单元406输出表示发生主体抖动模糊的告警。例如，通过在图像拾取装置的监视器或取景器上显示图标来执行该告警输出处理。

图标的显示示例如图8所示。图8示出图像拾取装置的监视器屏幕的显示示例。如果检测到主体抖动模糊，则与图像拾取装置所获得的图像一起在监视器屏幕上显示主体抖动模糊告警图标501。如果补偿了该主体抖动模糊，则告警输出控制单元406从监视器屏幕上删除主体抖动模糊告警图标501。

如上所述，存在两种导致模糊发生的主要因素，即，由照相机的运动导致的照相机抖动和由主体的运动导致的主体抖动。如果对这些因素显示相同的告警图标而不加以区分，则用户(拍摄者)无法执行适当的处理。因此，输出不同的告警图标，即，主体抖动模糊告警图标和照相机抖动模糊告警图标。

更具体地，如图9所示，如果检测到主体抖动模糊，则显示主体抖动模糊告警图标501。如果检测到照相机抖动模糊，则显示照相机抖动模糊告警图标502。因此，由于显示了不同的告警图标使得用户(拍摄者)能够区分导致模糊发生的这些因素，用户(拍摄者)能够正确地进行响应而不会感到困惑。

例如，如果主体抖动模糊通过用户执行的动作得到了补偿，则从显示屏幕上删除主体抖动模糊告警图标501。如果照相机抖动模糊得到了补偿，则从显示屏幕上删除照相机抖动模糊告警图标502。在没有告警图标显示的条件下捕获图像能够提供清晰的捕获图像。

下面将参照图10所示的流程图描述根据本发明的实施例的图像拾取装置所执行的处理序列。图10示出主要由图3所示的图像拾取装置所包括的控制部分110和脸检测部分130执行的处理序列。

在步骤S101，控制部分确定是否已经设置脸识别模式。如上所述，图像拾取装置的模式拨盘20(图2所示)调整到预定位置时，在图像拾取装置中设置脸识别模式。控制部分接收该模式拨盘的操作信息，并且根据所接收的操作信息确定是否已经设置脸识别模式。如果没有设置脸识别模式，则不执行从图10所示的步骤S102开始的随后处理。

如果已经设置了脸识别模式，则执行从步骤S102开始的随后处理。在步骤S102中，脸检测部分130(图3所示)分析照相机获得的图像，以便检测包括在图像中的脸区域。如上所述，例如该脸区域检测可以通过比较所获得的图像与包括关于脸亮度电平分布的信息的模板来执行。

在步骤S103，包括在控制部分中的目标主体确定单元401执行前面参照图5所描述的处理。也就是说，目标主体确定单元401确定脸检测部分130是否从单个图像中检测到了多个脸图像。如果检测到了多个脸图像，则处理前进到步骤S104，在此从多个脸图像中选择单个脸图像作为目标主体。例如，选择最大的脸图像或者最接近图像中心的脸图像。如果只检测到了一个脸图像，则不执行步骤S104的处理并且将所检测到的脸图像设置为目标主体。

接着，在步骤S105，获取关于目标主体的脸区域的尺寸[F]和位置[P]的信息并记录在存储部分中。如前面参照图5所描述的，主体历史信息获取单元402获取关于围绕目标主体450的脸区域的距离测量框451的宽度[X]和高度[Y]的信息作为关于目标主体的脸区域的尺寸[F]的信息，并且获取关于围绕目标主体450的脸区域的距离测量框451的中心坐标(x，y)的信息作为关于主体位置[P]的信息，如图6所示。主体历史信息获取单元402周期性地获取上述各条信息，并且将所获得的各条信息记录在存储部分中作为如前面参照图7所描述的历史信息。

接着，在步骤S106，计算主体位置[P]的时间变化量，即，主体运动速度[V]，以及主体尺寸[F]的变化量[ΔF]。

上述计算处理操作由图5所示的主体运动速度计算单元403和主体尺寸变化量计算单元404分别独立地执行。主体运动速度计算单元403获取存储在存储部分351中的主体历史信息，并且根据所获取的历史信息计算主体位置[P]的时间变化量，即，主体运动速度[V]。主体尺寸变化量计算单元404获取存储在存储部分351中的主体历史信息，并且根据所获取的历史信息计算主体尺寸[F]的变化量[ΔF]。

接着，在步骤S107和S108，执行主体抖动模糊确定处理操作。步骤S107和S108的处理操作由图5所示的主体抖动模糊确定单元405执行。如上所述，主体抖动模糊确定处理操作通过使用关于为图像拾取装置所设置的快门速度[S]的信息来执行。也就是说，如果曝光时间短(高速快门)，则发生主体抖动模糊的可能性变低。如果曝光时间长(低速快门)，则发生主体抖动模糊的可能性变高。因此，在考虑到关于为图像拾取装置所设置的快门速度[S]的信息的情况下执行主体抖动模糊确定处理。

首先，在步骤S107，执行基于主体运动速度[V]的主体抖动模糊确定处理。将主体运动速度[V]和快门速度[S]的乘积[V·S]与预定阈值[Thr1]比较。

V·S＞Thr1               (不等式1)

接着，确定是否满足上述不等式1。

如果满足上述不等式1，则确定发生主体抖动模糊的可能性高。接着，处理前进到步骤S109，主体抖动模糊确定单元405使告警输出控制单元406输出表示发生主体抖动模糊的告警。例如，如前面参照图8和9所描述的，将主体抖动模糊告警图标输出到显示部分。

如果上述不等式1不满足，则处理前进到步骤S108。在步骤S108，执行基于主体尺寸[F]的变化量[ΔF]的主体抖动模糊确定处理。将主体尺寸[F]的变化量[ΔF]和快门速度[S]的乘积[ΔF·S]与预定阈值[Thr2]比较。

ΔF·S＞Thr2          (不等式2)

接着，确定是否满足上述不等式2。

如果满足上述不等式2，则确定发生主体抖动模糊的可能性高，并且处理前进到步骤S109，在此主体抖动模糊确定单元405使告警输出控制单元406输出表示发生主体抖动模糊的告警。

如果上述不等式2不满足，则确定没有发生主体抖动模糊的可能性，并且结束处理。在图像拾取装置开启并且获得照相机通过图像的同时，连续且重复执行图10所示的处理序列。

如上所述，在根据本发明的实施例的图像拾取装置中，确定是否存在发生与照相机的运动导致的模糊不同、由主体的运动导致的模糊的可能性。如果确定存在发生主体抖动模糊的可能性，则向用户(拍摄者)输出告警。由此，在执行图像捕获之前，用户(拍摄者)能够知道发生主体的运动所导致的模糊的可能性，并且能够通过执行适当的处理来防止捕获模糊的图像。

此外，在根据本发明的实施例的图像拾取装置中，执行两种类型的确定处理操作，即，根据主体运动速度[V]的主体抖动模糊确定处理操作和根据主体尺寸[F]的变化量[ΔF]的主体抖动模糊确定处理操作，从而能够执行与主体的各种类型的运动相对应的主体抖动模糊确定处理操作。

在上面所述的处理示例中，如果从单个图像中检测到多个脸区域，则从中选择单个脸区域作为目标主体。对所选择的目标主体进行分析，以便确定是否存在发生主体抖动模糊的可能性。但是，可以计算多个脸区域的主体运动速度[V]的平均值和多个脸区域的尺寸变化量[ΔF]的平均值，并且使用所计算的平均值执行主体抖动模糊确定处理。也就是说，例如计算所检测的多个脸区域的尺寸的平均值和所检测的多个脸区域的平均运动速度，并且计算这些平均值的绝对值。可以使用所计算的绝对值执行主体抖动模糊确定处理。

在上面所述的处理示例中，如果确定存在发生主体抖动模糊的可能性，则输出告警图标。但是，不仅可以输出告警图标，而且也可以输出诸如蜂鸣声的音频告警。此外，在存在发生主体抖动模糊的可能性时执行禁止图像捕获的处理。

另外，如果确定存在发生主体抖动模糊的可能性，可以执行设置高快门速度的控制处理。可替代地，可以执行自动增加成像器的灵敏度的控制处理，以便减少发生主体抖动模糊的危险。在捕获图像中发生主体抖动模糊的危险可以通过执行上面所述的控制处理来减小。

上面所述的控制处理操作由控制部分执行。也就是说，如果确定存在发生主体抖动模糊的可能性，控制部分执行下述控制处理操作之一或者组合执行这些控制处理：用于控制输出告警图标或音频告警的控制处理；用于禁止图像拾取装置执行图像捕获的控制处理；用于将为图像拾取装置所设置的快门速度变为高快门速度的控制处理；以及用于增加图像拾取装置执行图像捕获时的ISO速度的控制处理。

在上面所述的实施例中，已经假定图像拾取装置为数字静止照相机进行了描述。但是，图像拾取装置可以是不同类型的装置，比如视频摄像机或具有照相机的移动电话，只要该装置能够捕获人的图像即可。

已经参照具体实施例描述了本发明。但是，显然在不脱离本发明的范围的情况下，本领域的普通技术人员能够进行实施例的各种修改和替换。也就是说，本发明是结合具体实施例进行公开的，因此该说明书的细节不应该进行严格的解释。本发明的范围应该在考虑到所附权利要求的情况下进行解释。

上面所述的处理流程可以通过硬件、软件或者它们的组合来执行。如果处理流程通过软件来执行，则将记录处理序列的程序安装到包括在嵌入专用硬件的计算机中的存储器中或者安装到通过安装各种程序允许执行各种处理操作的通用计算机中。

例如，程序可以事先记录在诸如硬盘或ROM(只读存储器)的记录介质上。可替代地，程序可以暂时或永久存储(记录)在可移除的记录介质上，比如软盘、CD-ROM(致密盘-只读存储器)、MO(磁光)盘、DVD(数字通用盘)、磁盘、或半导体存储器。该可移除的记录介质可以作为封装软件来获得。

在将程序从上面所述的可移除的记录介质安装到计算机时，程序可以从下载站点无线传输到计算机，或者通过诸如LAN(局域网)或因特网的有线网络传输到计算机。计算机可以接收所传输的程序，并且将所接收的程序安装到诸如硬盘的内部记录介质中。

在本说明书中描述的各种类型的处理操作可以按照上面所述的时间顺序执行。可替代地，可以适当地或者根据执行这些处理操作的装置的处理能力并行或单独执行这些处理操作。在本说明书中，系统指的是多个装置的逻辑组，这些装置可以不在同一壳体中。

Claims (14)

1.一种图像拾取装置，包括：

脸检测部分，配置用于从图像拾取装置获得的图像中检测脸区域；以及

控制部分，配置用于：检测由脸检测部分所检测的脸区域的尺寸变化量和脸区域的运动速度中的至少任意一个；比较脸检测部分所检测的脸区域的尺寸变化量[ΔF]和为图像拾取装置所设置的快门速度[S]的乘积[ΔF·S]与预定阈值并且在乘积[ΔF·S]大于预定阈值时确定存在发生作为由于主体运动而导致在捕获的图像中出现的模糊的主体抖动模糊的可能性，或者，比较脸检测部分所检测的脸区域的运动速度[V]和为图像拾取装置所设置的快门速度[S]的乘积[V·S]与预定阈值并且在乘积[V·S]大于预定阈值时确定存在发生作为由于主体运动而导致在捕获的图像中出现的模糊的主体抖动模糊的可能性；并且在确定存在发生主体抖动模糊的可能性时输出告警。

2.根据权利要求1所述的图像拾取装置，其中控制部分包括：

主体历史信息获取单元，配置用于从脸检测部分连续接收脸区域检测结果，检测包括在连续接收的脸区域检测结果中的脸区域的尺寸和位置中的至少任意一个，使用关于所检测的脸区域的尺寸或位置的多个信息生成历史信息，并且将所生成的历史信息记录在存储部分中；

主体尺寸变化量计算单元，配置用于根据历史信息计算脸区域的尺寸变化量；以及

主体运动速度计算单元，配置用于根据历史信息计算脸区域的运动速度；并且

其中，控制部分根据主体尺寸变化量计算单元所计算的脸区域的尺寸变化量和主体运动速度计算单元所计算的脸区域的运动速度中的任意一个，确定是否存在发生主体抖动模糊的可能性。

3.根据权利要求1所述的图像拾取装置，其中在确定存在发生主体抖动模糊的可能性时，控制部分向图像拾取装置的显示部分输出告警图标。

4.根据权利要求3所述的图像拾取装置，其中从控制部分输出的告警图标是主体抖动模糊告警图标，其显示信息与用于因照相机的运动所导致的照相机抖动模糊的告警图标的显示信息不同。

5.根据权利要求1所述的图像拾取装置，其中在确定存在发生主体抖动模糊的可能性时，控制部分执行禁止图像拾取装置执行图像捕获的控制处理。

6.根据权利要求1所述的图像拾取装置，其中在确定存在发生主体抖动模糊的可能性时，控制部分执行将为图像拾取装置所设置的快门速度改变为高快门速度的控制处理。

7.根据权利要求1所述的图像拾取装置，其中在确定存在发生主体抖动模糊的可能性时，控制部分执行增加图像拾取装置执行图像捕获时的ISO速度的控制处理。

8.一种图像拾取装置控制方法，用于在图像拾取装置中执行模糊检测处理，包括：

脸检测步骤，用于从图像拾取装置获得的图像中检测脸区域；以及

控制步骤，用于检测在脸检测步骤中所检测的脸区域的尺寸变化量和脸区域的运动速度中的至少任意一个；比较在脸检测步骤中所检测的脸区域的尺寸变化量[ΔF]和为图像拾取装置所设置的快门速度[S]的乘积[ΔF·S]与预定阈值并且在乘积[ΔF·S]大于预定阈值时确定存在发生作为由于主体运动而导致在捕获的图像中出现的模糊的主体抖动模糊的可能性，或者，比较在脸检测步骤中所检测的脸区域的运动速度[V]和为图像拾取装置所设置的快门速度[S]的乘积[V·S]与预定阈值并且在乘积[V·S]大于预定阈值时确定存在发生作为由于主体运动而导致在捕获的图像中出现的模糊的主体抖动模糊的可能性；并且在确定存在发生主体抖动模糊的可能性时输出告警。

9.根据权利要求8所述的图像拾取装置控制方法，其中所述控制步骤包括：

主体历史信息获取步骤，用于连续接收在脸检测步骤中获得的脸区域检测结果，检测包括在连续接收的脸区域检测结果中的脸区域的尺寸和位置中的至少任意一个，使用关于所检测的脸区域的尺寸或位置的多个信息生成历史信息，并且将所生成的历史信息记录在存储部分中；

主体尺寸变化量计算步骤，用于根据历史信息计算脸区域的尺寸变化量；以及

主体运动速度计算步骤，用于根据历史信息计算脸区域的运动速度；并且

其中，在控制步骤中，根据主体尺寸变化量计算步骤所计算的脸区域的尺寸变化量和主体运动速度计算步骤所计算的脸区域的运动速度中的任意一个，确定是否存在发生主体抖动模糊的可能性。

10.根据权利要求8所述的图像拾取装置控制方法，其中控制步骤包括在确定存在发生主体抖动模糊的可能性时、向图像拾取装置的显示部分输出告警图标的步骤。

11.根据权利要求10所述的图像拾取装置控制方法，其中告警图标是主体抖动模糊告警图标，其显示信息与用于因照相机的运动所导致的照相机抖动模糊的告警图标的显示信息不同。

12.根据权利要求8所述的图像拾取装置控制方法，其中控制步骤包括在确定存在发生主体抖动模糊的可能性时、执行禁止图像拾取装置执行图像捕获的控制处理的步骤。

13.根据权利要求8所述的图像拾取装置控制方法，其中控制步骤包括在确定存在发生主体抖动模糊的可能性时、执行将为图像拾取装置所设置的快门速度改变为高快门速度的控制处理的步骤。

14.根据权利要求8所述的图像拾取装置控制方法，其中控制步骤包括在确定存在发生主体抖动模糊的可能性时、执行增加图像拾取装置执行图像捕获时的ISO速度的控制处理的步骤。

Images