CN101334578B - 图像拍摄装置以及图像拍摄方法 - Google Patents

Abstract

本发明公开了图像拍摄装置以及图像拍摄方法，该图像拍摄装置用于根据对象的笑脸检测捕获对象图像，包括：光学单元；图像捕获单元，被配置为捕获对象图像；光学机构驱动控制单元，被配置为控制光学单元的机构的驱动；图像信号处理单元，被配置为对捕获图像执行信号处理；图像记录单元，被配置为在预定记录介质上记录捕获图像；面部检测单元，被配置为检测对象的面部；笑脸检测单元，被配置为检测所检测面部的笑脸；以及笑脸检测摄影控制单元，被配置为响应于来自捕获图像的对象笑脸的检测执行对对象图像的拍摄处理，同时保持固定光学机构驱动控制单元对机构的驱动。在检测到笑脸之后，立即开始捕获操作，而不执行用于固定焦距和光圈的后继操作。

Description

图像拍摄装置以及图像拍摄方法

相关申请的交叉参考 

本发明包含于2007年6月25日向日本专利局提交的日本专利申请JP 2007-166994的主题，其全部内容结合于此作为参考。 

技术领域

本发明涉及用于捕获包含对象(例如，人物)的图像的图像拍摄装置、图像拍摄方法以及计算机程序，更具体地，涉及用于响应于包含在图像中的对象的特定图案的识别执行关于相机工作的自动处理的图像拍摄装置、图像拍摄方法以及计算机程序。

更具体地，本发明涉及用于通过利用包含在图像中的对象的笑脸识别自动确定拍摄定时的图像拍摄装置、图像拍摄方法以及计算机程序，更具体地，涉及用于在输入图像包含多个对象的情况下，在适当对象上聚焦、对对象执行笑脸检测以及自动确定拍摄定时的图像拍摄装置、图像拍摄方法以及计算机程序。

背景技术

相机具有作为用于记录视觉信息的装置的悠久历史。近年来，代替使用胶卷和感光板执行拍摄的银盐相机，用于对使用诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)的固态图像捕获元件所捕获的图像进行数字化的数码相机得到了广泛地使用。数码相机具有能够在存储器中存储经过数字化和编码的图像、使用 计算机执行图像处理和图像控制的优点，并且还不存在关于胶卷寿命的问题。

对银盐相机和数码相机采用几乎相同的基本相机工作。与所捕获图像的数字化一起，开发了用于相机工作的自动技术。因此，即使对执行相机操作没有经验的用户也很少执行失败的拍摄。例如，用于相机工作的自动技术包括自动聚焦(AF)功能、自动曝光(AE)功能以及运动模糊校正。数码相机具有能够不仅通过使用光学系统而且还通过光学处理来执行诸如AF和AE处理的优点。此外，在通过数字处理对所捕获的图像执行图像质量调整的情况下(例如，使用自动白平衡(AWB)对所捕获的图像应用白平衡)，可以准确地再现颜色。

通过诸如自动聚焦和图像质量校正的功能，参照存在于图像帧的一个或多个对象的任何一个执行处理。以前，用户通过手工操作设定重要对象。然而，近年来，已经引入了利用用于从所捕获的图像中检测面部的面部检测以及自动聚焦在所检测的面部上或参照所检测的面部自动校正图像质量的图像捕获技术。

作为从所捕获的图像信号中检测面部的技术，例如，在本发明所属的技术领域中，已经广泛利用用于在输入图像信号和用作模板的平均面部图像之间执行匹配的技术(例如，参见日本未审查专利申请公开第2003-271933号(第0051段～0053段，及图6))。在所捕获图像中的面部倾斜的情况下，难以实现精确的面部检测。因此，已经使用了用于检测面部的倾斜角度、根据检测值旋转面部图像、然后执行匹配处理的技术。作为检测面部倾斜角度的方法，例如，已经使用了检测面部的候选中心线、基于面部的左右对称性计算表示每个候选中心线作为面部实际中心线的可能性的程度、并输出具有最高可能性的中心线角度作为面部倾斜角度的技术(例如，参见 日本未审查专利申请公开第9-171560号(第0032段～0044段，及图4))。

此外，近来，已经进行了关于通过利用从对象图像中识别诸如笑脸的特定图案来确定拍摄定时的自动拍摄的研究和开发。

例如，已经提出了确定将被拍摄的主对象的目标部分是否满足预定拍摄条件并在主对象的目标部分满足预定拍摄条件时输出拍摄定时信号的相机(例如，参见日本未审查专利申请公开第2000-347278号、2004-294498号以及2006-237803号)。术语“目标部分”表示例如在拍摄人物的情况下为人物的眼睛和嘴巴的形状和颜色，以及在拍摄鸟的情况下为鸟的羽毛。

作为用于确定拍摄定时的具体标准，可很好地捕获人物图像的条件(例如，“不眨眼”、“看向相机”、“笑”等)的条件可以看作是用于确定适当的拍摄定时的标准。此外，已经使用了用于改善作为对象的人物的照片的技术。然而，难以将眨眼的人物照片修改为人物不眨眼的照片，或者将人物没有笑的照片修改为人物在笑的照片。这是为什么将“笑脸”设定为拍摄条件的一个原因。例如，可基于诸如对象眼睛白色部分的面积、对象嘴巴的横向长度以及嘴巴中白色部分的面积的图像信息来确定拍摄条件“笑脸”。

在执行拍摄的情况下，需要调整焦距和光圈以适合于对象。如上所述，通过用于识别对象的诸如笑脸的特定图案以及在检测笑脸之后执行拍摄操作的自动拍摄功能，执行用于使焦距和光圈跟随对象的操作，然后执行拍摄操作。即，在检测到笑脸之后，需要一段时间，该时间段与使用通常的自动聚焦能拍摄单一图片情况下的时间段相同。

对于使焦距和光圈跟随对象的操作，至少需要约0.2秒～约0.3秒的时间，然而，通常人物的笑脸仅持续约0.1秒。因此，即使可以从对象图像中检测到笑脸，但实际捕获的图像经常不包含笑脸。

发明内容

期望提供能够响应于包含在图像中的对象的特定图案的识别来执行关于相机工作的自动处理的图像拍摄装置、图像拍摄方法以及计算机程序。

还期望提供能够通过利用包含在图像中的对象的笑脸识别自动确定适当的拍摄定时的图像拍摄装置、图像拍摄方法以及计算机程序。

还期望提供能够根据笑脸检测以及可靠地捕获从图像中检测的对象笑脸来自动确定拍摄定时的图像拍摄装置、图像拍摄方法以及计算机程序。

还期望提供能够执行拍摄操作而不晚于根据笑脸检测而自动确定的拍摄定时的图像拍摄装置、图像拍摄方法以及计算机程序。

根据本发明实施例，用于根据对象的笑脸检测来捕获对象图像的图像拍摄装置包括：光学装置，会聚来自对象的光；图像捕获装置，用于捕获基于由光学装置会聚的来自对象的光而获得的对象图像；光学机构驱动控制装置，用于控制光学装置的机构的驱动；图像信号处理装置，用于对由图像捕获装置所捕获的图像执行信号处理；图像记录装置，用于在预定记录介质上记录由图像信号处理装置执行了信号处理的捕获图像；面部检测装置，用于从由图像信号处理装置执行了信号处理的捕获图像中检测对象的面部；笑脸检测装置，用于检测由面部检测装置检测的面部的笑脸；以及笑脸检测 拍摄控制装置，用于响应于从捕获图像检测对象的笑脸来执行对对象图像的拍摄处理，同时使光学机构驱动控制装置对光学装置的机构的驱动保持固定。

根据本发明实施例的图像拍摄装置检测用作笑脸检测目标的检测面部的笑脸等级，并响应于达到笑脸检测等级的检测笑脸等级来控制拍摄处理。然而，显然地，可根据笑脸检测结果执行不同于拍摄的处理。

近年来，诸如数码相机的图像拍摄装置已经得到广泛地使用。与此同时，开发了关于各种相机工作的自动技术。对于自动拍摄，进行了用于通过利用对象图像诸如笑脸的特定图案的识别来确定拍摄定时的自动快门功能的研究和开发。作为用于确定拍摄定时的特定标准，将可以很好地捕获人物图像的条件(例如，“不眨眼”、“看向相机”、“笑”等)作为用于确定适当拍摄定时的标准。

在执行拍摄的情况下，需要执行以下控制：用于调整焦距、使得对象图像被光学系统会聚并形成在图像捕获元件的图像捕获面上的控制；以及用于调整光圈、以执行适合于对象的曝光的控制。然而，在检测到笑脸之后的情况下，执行用于使焦距和光圈跟随对象的扫描操作，然后执行对图像的捕获操作，拍摄操作没有在对象笑脸持续的时间段内开始。因此，实际捕获的图像没有包含笑脸。

在这种情况下，在根据本发明实施例的图像拍摄装置中，在从捕获的图像中检测到笑脸之后，立即执行捕获操作，而不执行用于固定焦距和光圈的后继操作。因此，可以成功地捕获对象的笑脸。

例如，根据本发明实施例的图像拍摄装置具有称作笑脸检测拍摄模式的拍摄模式以及标准拍摄模式。当用户(拍摄者)执行快门键操作时，执行对应于当前设定的拍摄模式的处理。

在标准拍摄模式下，响应于快门键的半按压执行对图像中对象的焦距和光圈控制(即，扫描操作)，以及响应于快门键的全按压执行相机拍摄处理(即，图像捕获操作)。在直接执行快门键的全按压操作而不执行半按压操作的情况下，执行类似于在执行半按压操作时所执行的操作的扫描操作，然后执行捕获操作。

相反，在笑脸检测拍摄模式下，响应于快门键的半按压，执行对对象的用于焦距调整和光圈控制的扫描操作，并固定焦距和光圈。然后，响应于快门键的全按压，开始对图像中对象的笑脸检测处理。当检测到笑脸时，直接执行用于记录图像的捕获操作而不执行扫描操作。即，由于预先固定了焦距和光圈，所以可以消除在笑脸检测和捕获操作之间执行的扫描操作所必须的约0.2秒至约0.3秒的时间。因此，可以成功地捕获对象的笑脸。

在笑脸检测拍摄模式下，基本保持固定焦距和光圈。因此，每当检测到对象笑脸时，就执行捕获操作。此外，当在笑脸检测拍摄模式下再次完全按下快门键时，将笑脸检测拍摄模式切换至标准拍摄模式。

然而，假定在对象处于静止的状态下执行上述自动拍摄方法。在对象可能移动的情况下，可能在与预先固定的位置不同的位置中捕获图像。因此，不能准确地执行对捕获图像的焦距调整。例如，在检测面部由于对象的移动而消失或长时间没有检测到对象笑脸的情况下，即，在没有快速执行笑脸检测拍摄的情况下，假设固定的焦距和光圈不再有效。

因此，在根据本发明实施例的图像拍摄装置中，在完全按下快门键之后没有立即执行笑脸检测拍摄的情况下，可以更新焦距和光圈，即，可以以适当的方式执行再扫描操作。

更具体地，在笑脸检测拍摄状态下，在用作笑脸检测目标的检测面部从捕获图像中消失的情况下，当再次检测到对象时，开始再扫描操作，并再次固定焦距和光圈。

可选地，在笑脸检测拍摄状态下，在预定的时间段以上没有从捕获图像中检测到用作笑脸检测目标的检测面部的笑脸的情况下，开始再扫描操作，并再次固定焦距和光圈。

根据本发明的另一实施例，以计算机可读的形式写入以在计算机上执行用于捕获的对象图像的图像拍摄处理的计算机程序使计算机执行根据对象的笑脸检测捕获对象图像的笑脸检测拍摄状态下的处理，该处理包括：执行以下控制：用于调整焦距、使得对象图像被光学系统会聚并形成在图像捕获面上的控制以及用于调整光圈、使得执行适合于对象的曝光的控制；固定用于焦距的控制和用于光圈的控制；从捕获图像中检测对象的面部；以及响应于从捕获图像中检测对象的笑脸，执行用于将捕获图像记录在预定记录介质上的捕获操作，同时使用于焦距的控制和用于光圈的控制保持固定。

根据本发明实施例的计算机程序是以计算机可读的形式写入以在计算机上执行预定处理的计算机程序。换句话说，通过向计算机安装根据本发明实施例的计算机程序，在计算机上执行协作操作，并可以实现类似于在根据本发明实施例的图像拍摄装置中获得的那些优点的优点。

如上所述，可以提供通过利用包含在图像中的对象的笑脸的识别自动确定适当的拍摄定时的图像拍摄装置、图像拍摄方法以及计算机程序。

此外，可以提供能够根据笑脸检测和可靠地捕获从图像中检测的对象笑脸自动确定拍摄定时的图像拍摄装置、图像拍摄方法以及计算机程序。

在根据本发明实施例的图像拍摄装置中，在检测到笑脸之后，立即开始捕获操作，而不执行用于固定焦距和光圈的后继操作。因此，可以执行拍摄操作而不晚于根据笑脸检测自动确定的拍摄定时。因此，可以成功地捕获对象的笑脸。

本发明的其他目的、特征和优点将从下面本发明实施例的描述和附图中变得显而易见。

附图说明

图1示意性示出了应用本发明实施例的数码相机的硬件结构；

图2是在监控显示器上整个显示相机图像的情况下的示意性数据流程图；

图3是在数码相机执行图像拍摄处理的情况下的示意性数据流程图；

图4A是示出当数码相机捕获图像时执行的扫描操作处理的流程图；

图4B是示出当数码相机捕获图像时执行的捕获操作处理的流程图；

图5是处于笑脸检测拍摄模式的数码相机的状态转移图；

图6示出了使用显示在监控显示器上的屏幕在笑脸检测拍摄模式下执行的操作进程；

图7是示出当数码相机在笑脸检测拍摄状态下根据笑脸检测执行自动拍摄时执行的处理的流程图；

图8是示出在步骤S22中执行的对对象的笑脸检测处理的处理的流程图；

图9示出了在笑脸检测拍摄状态下，用作笑脸检测目标的检测面部从图像消失，以及当再次检测到对象时，开始再扫描操作；

图10示出了在笑脸检测拍摄状态下，在预定的时间段以上没有从图像中检测到用作笑脸检测目标的检测面部的笑脸的情况下，开始再扫描操作；

图11示出了在笑脸检测拍摄状态下以问题分析图(PAD)格式执行再扫描操作的处理；以及

图12是用于解释显示在监控显示器上的整个图像(throughimage)和屏幕上显示(OSD)显示信息的示图。

具体实施方式

将参照附图描述本发明的实施例。

图1示意性示出了应用本发明实施例的数码相机的硬件结构。图1所示的数码相机1包括图像捕获元件11、模拟前端(AFE：模拟预处理)单元12以及相机数字信号处理(DSP)单元16。数码相机1对通过光学系统10接收的图像进行数字化，并在数码相机1中记录经过数字化的图像。

光学系统10包括：透镜，用于将来自对象的光会聚在图像捕获元件11的图像捕获面上；驱动机构，用于移动透镜以执行焦距调整和变焦；快门机构，用于通过开启/关闭操作使来自对象的光仅在预定时间段内入射到图像捕获元件11上；以及光圈(光阑)机构，用于限定来自对象的光通量的方向和区域。在图1中没有示出组成光学系统10的每个部分。驱动器10a基于来自稍后描述的中央处理单元(CPU)29的控制信号控制光学系统10中的每个机构的驱动(例如，对象的焦距和光圈控制)。

图像捕获元件11具有其上二维排列有诸如CCD或CMOS的具有光电转换效率的多个像素的图像捕获面，并将从对象入射的光转换为电信号。在光接收侧，例如，设置了G方格RB颜色编码信号面板。在每个像素中累积对应于穿过滤色片的入射光量的信号电荷，并且可以从像素读取的三色信号电荷量中再现像素位置中的入射光的颜色。从图像捕获元件11输出的模拟图像信号是RGB颜色的原色信号。然而，模拟图像信号可以是补色信号。

AFE单元12包括相关双采样/自动增益控制/模数转换器CDS/AGC/ADC块13、定时发生器14以及V驱动器15。例如，AFE单元12被配置为信号集成电路(IC)芯片。

CDS/AGC/ADC块13以高精度抑制从图像捕获元件11接收的像素信号的低噪声分量(即，执行相关双采样)。然后，CDS/AGC/ADC块13执行采样和保持。然后，CDS/AGC/ADC块13使用自动增益控制功能执行适当的增益控制，执行模数转换，并输出所获得的数字图像信号。

定时发生器14生成用于驱动图像捕获元件11的定时脉冲信号。根据定时脉冲信号，V驱动器15输出用于在垂直方向上以线为单位输出图像捕获元件11的像素电荷的驱动信号。

相机DSP单元16包括相机信号处理器17、分辨率转换器18、图像编码解码处理器19、存储控制器20、显示控制器21以及介质控制器22。例如，相机DSP单元16被配置为单IC芯片。

相机信号处理器17对从AFE单元12传送的图像信号执行诸如缺陷像素校正、数字箝位以及数字增益控制的预处理。然后，相机信号处理器17使用自动白平衡(AWB)执行白平衡增益的应用并执行诸如清晰度调整和另一对比度调整的图像质量校正处理，使得可以准确地再现颜色。此外，相机信号处理器17执行去马赛克处理，以生成RGB屏幕信号(图像质量调整可包括诸如闪光控制和红眼消除的处理)。此外，相机信号处理器17对RGB图像信号执行γ校正，以将RGB图像信号转换为适合于将图像信息输出至监视器、被打印或记录的灰度级。

分辨率转换器18根据图像是否作为整个图像而被显示在监控显示器25上或被捕获，即，被存储在记录介质上来改变图像大小。

图像编码解码处理器19将RGB颜色系统的图像信号转换为亮度信号(Y)和色差信号(Cr/Cb)的颜色系统的图像信号。然后，图像编码解码处理器19执行编码和压缩处理，例如联合图像专家组(JPEG)压缩和运动图像专家组(MPEG)压缩。由于这种向YUV颜色系统的颜色空间转换，通过利用人类用于亮度的分辨率较高而用于颜色的分辨率较低的可见度特性，可以容易地执行数据压缩。

存储控制器20控制用于向/从诸如同步动态随机存取存储器(SDRAM)的存储装置24写入/读取诸如捕获图像信息的数据的存取操作。

例如，监控显示器25是液晶显示(LCD)或不同类型的薄显示面板。显示控制器21控制监控显示器25的驱动。显示控制器21将从相机信号处理器17输出的图像数据(整个图像)和存储在存储装置24中的图像数据转换为将显示在监控显示器25上的信号，并向监控显示器25输出所得到的信号。

在监控显示器25上显示整个图像。此外，响应于来自稍后描述的控制单元27的请求，组合菜单屏幕、各种设定屏幕、各种类型的警告信息等并作为屏幕上显示(OSD)进行显示。在该实施例中，作为将以OSD显示在监控显示器25上的设定屏幕，包括表示所检测对象的检测面部的检测框、用于识别设定为笑脸检测目标的对象的图标、表示笑脸被检测的图标等(参见图12)。

此外，在监控显示器25的表面上叠加触摸传感器。监控显示器25还用作触摸面板。通过触摸面板检测的坐标与显示在显示面板上的坐标相同。因此，拍摄者能够在监控显示器25的显示屏幕上直接指定用作笑脸检测目标的对象和其它图形用户界面(GUI)组件。

介质控制器22具有其中插入诸如记忆棒/的可移动记录介质26的插槽。介质控制器22向/从记录介质26写入/读取数据。例如，介质控制器22在记录介质26上记录存储在存储装置24中的捕获图像文件。

相机DSP单元16经由总线接口单元(BIU)23连接至控制单元27。控制单元27包括用户界面(UI)28、通常根据用户操作控制整个装置的操作的CPU 29、用作CPU 29的主存储器的随机存取存储器(RAM)30以及以非易失性方式存储程序代码和装置信息的电可擦除和可编程只读存储器(EEPROM)31。

CPU 29通过使用由分辨率转换器18中的分辨率转换所获得的图像(整个图像)执行对对象的笑脸检测处理。CPU 29还执行GUI处理，以在监控显示器25上执行OSD显示。GUI处理包括诸如显示用于识别由拍摄者指定作为笑脸检测目标的对象的检测框以及显示检测框使得可以将用作笑脸检测目标的对象与不作为笑脸检测目标的对象区别开来的处理(参见图12)。

UI 28具有使用户发布指示的操作功能和诸如扬声器和发光二极管(LED)灯的输出功能。对于操作功能，例如，设置快门键按钮和用于诸如开启和关闭闪光灯的各种设定的键和拨盘。向CPU 29输入关于操作功能的用户操作相对应的控制信号。

在该实施例中，数码相机1具有多种拍摄模式。由快门键操作表示的指示根据拍摄模式而不同。在标准拍摄模式下，快门键的半按压表示对图像中对象的焦距和光圈控制的指示，以及快门键的全按压表示对相机拍摄处理的指示。相反，在笑脸检测拍摄模式下，快门键的全按压开始对对象的笑脸检测，并响应于笑脸检测开始相机拍摄处理。

此外，通过输出功能，UI 28能够通过产生诸如警报声的声音、LED的照明或闪烁等向用户反馈关于相机工作的信息。闪光灯发光单元32根据从控制单元27接收的闪光控制信息来发射闪光。

在数码相机1中，将在图像捕获元件11中接收并进行了光电转换的信号提供给AFE单元12。在对信号进行CDS处理和AFE处理之后，将信号转换为数字信号。相机信号处理器17对由AFE单元12提供的数字图像信号执行图像质量校正，并将获得的数字图像信号转换为亮度信号(Y)和色差信号(R-Y和B-Y)。然后，通过显示控制器21将由相机信号处理器17输出的图像数据转换为显示图像信号，并在监控显示器25上显示整个图像。

图2是在监控显示器25上显示相机图像(整个图像)的情况下的示意性数据流程图。

通过光学系统10、图像捕获元件11和AFE单元12将关于对象的信息转换为数字信号，并将获得的数字信号传送给相机DSP单元16。相机DSP单元16执行用于校正亮度、颜色等的图像信号处理，并转换图像的分辨率以显示在面板上。在监控显示器25上显示所获得的图像。当控制单元27中的CPU 29执行特定程序代码时，实现用于这种图像输出处理的控制。实际上，细致限定了控制分配。然而，由于这不直接涉及本发明的要旨，所以将省略这种控制分配的描述。

图3是在数码相机1执行图像拍摄处理的情况下的示意性数据流程图。

与显示整个图像的情况一样，通过光学系统10、图像捕获元件11和AFE单元12将关于对象的信息转换为数字信号，并将获得的数字信号传送给相机DSP单元16。相机DSP单元16执行用于校正亮度、颜色等的图像信号处理。

当指示控制单元27响应于经由UI 28等的用户操作记录图像时，分辨率转换器18转换来自相机信号处理器17的图像数据的分辨率，以具有用于拍摄的图像大小，并将获得图像数据提供给图像编码解码处理器19。图像编码解码处理器19对图像数据执行特定压缩和编码处理。然后，在存储控制器20的控制下将获得的图像数据存储在存储装置24中，或者在介质控制器22的控制下将获得的图像存储在记录介质26上。

在记录静止图像的情况下，将用于一帧的图像数据从相机信号处理器17提供给图像编码解码处理器19。在记录运动图像的情况下，连续将处理的图像数据提供给图像编码解码处理器19。

在标准拍摄模式下，响应于快门键的半按压执行对图像中对象的焦距和光圈控制(即，扫描操作)，以及响应于快门键的全按压执行相机拍摄处理(即，用于捕获图像的操作)。

图4A是示出响应于快门键的半按压执行扫描操作的处理的流程图。图4B是示出响应于快门键的全按压执行捕获操作的处理的流程图。

当半按压UI 28的快门键时，将表示快门键半按压的键信息传送给CPU 29(步骤S1)。

响应于快门键的半按压，CPU 29指示AFE单元12和相机DSP单元16执行拍摄处理。此外，CPU 29使驱动器10a执行用于对象的扫描操作，例如用于调整焦距使得对象图像被光学系统10会聚并形成在图像捕获元件11的图像捕获面上的控制以及用于调整光圈以执行适于对象的曝光的控制(步骤S2)。由于焦距和光圈控制本身可采用相关领域的技术，所以这里省略焦距和光圈控制的描述。

相反，在监控显示器25上显示对象的状态下，当用户完全按下UI 28的快门键(步骤S11)时，UI 28执行键检测并将表示快门键全按压的键信息的信号传送给CPU 29。响应于快门键的全按压，CPU 29向驱动器10a输出控制信号，并执行拍摄处理(步骤S12)。在步骤S12的处理中，根据类似于图2所示数据流的数据流，在监控显示器25上显示从光学系统10输入的相机图像。

如上所述，当经由驱动器10a发布用于拍摄处理的指示时，通过光学系统10、图像捕获元件11和AFE单元12将关于对象的信息转换为数字信号，并将获得的数字信号传送给相机DSP单元16。相机DSP单元16执行用于校正亮度、颜色等的图像信号处理，并转换图像的分辨率以具有适于拍摄模式的大小(步骤S13)。然后，图像编码解码处理器19对图像执行JPEG压缩处理(步骤S14)，并在介质控制器22的控制下在记录介质26上记录经过JPEG压缩的图像(步骤S15)。

已经描述了用户执行包括快门键的半按压和全按压的两阶段操作的情况。在用户(拍摄者)直接执行快门键的全按压操作的情况下，如执行半按压操作的情况执行包括焦距和光圈控制的扫描操作，然后执行捕获操作。

可以对根据本实施例的数码相机1应用通过利用对象图像的诸如笑脸的特定图案的识别来确定拍摄定时的笑脸检测自动拍摄功能。当CPU 29执行特定图像识别处理程序或在控制单元27中设置用于图像识别处理的引擎(未示出)时，可以实现笑脸识别。

当执行拍摄处理时，数码相机1可使用UI 28的输出功能，通过来自UI 28的外部输出(例如，警报声或灯的照明或闪烁)向对象通知拍摄定时。

在图像中存在多个对象的情况下，系统侧可自动确定哪个对象将用作笑脸检测的目标。可选地，可根据用户(拍摄者等)的手动操作确定笑脸检测的目标。

在执行拍摄处理的情况下，需要调整焦距和光圈以适合于对象。通过用于识别对象笑脸和执行拍摄操作的笑脸检测自动拍摄功能，在检测笑脸之后，执行用于使焦距和光圈跟随对象的扫描操作， 然后执行拍摄操作。即，在检测笑脸之后，需要一段时间，这段时间与使用标准自动聚焦功能获取单张照片的情况相同的时间段相同。

通常，尽管人的笑脸持续仅大约0.1秒，但用于焦距和光圈控制的扫描操作至少花费约0.2秒至约0.3秒，这占用了整体拍摄时间的大部分。因此，即使可以从对象图像中检测到笑脸，但由于扫描操作所引起的延迟，实际捕获的面部经常不具有笑脸。

因此，根据本实施例的数码相机1预先使焦距和光圈固定。当从图像中检测到对象笑脸时，立即开始捕获操作而不再开始扫描操作。即，由于预先固定了焦距和光圈，所以可以消除对在笑脸检测和捕获操作之间执行的扫描操作所必须的大约0.2秒至约0.3秒的时间。因此，可以成功地捕获对象的笑脸。

更具体地，在笑脸检测拍摄模式下，如图4A所示的处理，响应于快门键的半按压，执行包括用于对象的焦距调整和光圈控制的扫描操作，并固定焦距和光圈。然后，响应于快门键的全按压，开始图像中对象的笑脸检测处理，并等待捕获操作直到检测到笑脸。当检测到笑脸时，省略扫描操作，并立即执行用于记录所捕获图像的捕获操作。

图5是处于笑脸检测拍摄模式的数码相机1的状态转移图。如图5所示，在笑脸检测拍摄模式中，设置了三种状态，即“监控”、“焦距/光圈固定”以及“笑脸检测拍摄”。

在监控状态下，根据图2所示的数据流，用户(拍摄者)使用显示在监控显示器25上的相机图像，执行关于将被捕获的图像和视角的设定。

在监控状态下，如果半按压快门键，则执行对相机图像中对象的焦距和光圈控制(即，扫描操作)。然后，进入焦距/光圈固定状态，固定焦距和光圈。

在焦距/光圈固定状态下，如果再次半按压快门键，则解除焦距/光圈固定状态，并再次进入监控状态。

在焦距/光圈固定状态下，如果完全按下快门键，则进入笑脸检测拍摄状态。在笑脸检测拍摄状态下，执行稍后描述的用于图像中对象的笑脸检测处理，同时保持焦距和光圈固定，并且数码相机1处于待机状态以准备执行捕获操作。然后，当检测到笑脸时，执行用于记录所捕获图像的捕获操作。

在笑脸检测拍摄状态下，基本上保持焦距和光圈固定。在直到解除笑脸检测拍摄状态的时间段内，每当检测到对象笑脸时都执行捕获操作(即，捕获操作被顺序执行期望的次数)。

此外，在笑脸检测拍摄状态下，如果再次完全按下快门键，则解除笑脸检测拍摄状态，并再次进入监控状态。

在笑脸检测拍摄状态下，代替每当检测到对象笑脸时就执行捕获操作，仅在第一次检测到对象笑脸时可执行单次捕获操作。然而，数码相机不涉及用于拍摄的诸如胶卷的资源消耗。因此，响应于对象笑脸的检测而顺序执行捕获操作提供了用户能够从每个均包含笑脸的多个捕获图像中轻松选择最好的照片的优点。

图6示出了使用监控显示器25上的显示屏幕(整个图像)在笑脸检测拍摄模式下执行的操作过程。

还将根据图2所示的数据流显示在监控显示器25上的相机图像传送给控制单元27，并执行面部检测处理。为所检测的对象面部显示检测框。为主要对象的检测面部的检测框显示表示用作焦距和光圈控制的目标或笑脸检测的目标的主要对象的图标(参见图12)。在图6的(a)部分所示的实例中，仅存在一个对象。因此，为所检测的对象面部设置检测框和图标。

在这种状态下，响应于快门键的半按压，执行用于相机图像中对象的焦距和光圈控制(即，扫描操作)(图6的(b)部分)。在成功完成扫描操作之后，固定焦距和光圈(图6的(c)部分)。

然后，在固定焦距和光圈的状态下，响应于快门键的另一次半按压，解除焦距/光圈固定状态，并再次进入监控状态(图6的(a)部分)。

相反，在固定焦距和光圈的状态下，响应于快门键的全按压，进入笑脸检测拍摄状态。然后，执行稍后描述的用于图像中对象的笑脸检测处理，同时保持焦距和光圈固定，并且每当检测到笑脸时就执行用于记录捕获图像的捕获操作(图6的(d)部分～(f)部分)。在监控显示器上，可以显示表示笑脸被检测的图标。

然后，在笑脸检测拍摄状态下，响应于快门键的另一次全按压，解除笑脸检测拍摄状态，并再次进入监控状态(图6的(a)部分)。

图7是示出当数码相机1根据图5所示状态转移图中的笑脸检测拍摄状态下的笑脸检测执行自动拍摄时所执行的处理的流程图。

根据类似于图2所示数据流的数据流，在监控显示器25上显示从光学系统10输入的相机图像(整个图像)(步骤S21)。

在步骤S21的处理中，还将所显示的图像提供给控制单元27。在该时间点，控制单元27执行对图像中对象的面部检测以及用作笑脸检测目标的检测面部的选择。例如，可以使用在“Pikuseru SabunTokuchou wo Mochiita Jitsujikan Nin′i Shisei Kao Kenshutsuki noGakushuu”(The 10th Image Sensing Symposium(SSII 2004))中描述的面部检测处理算法。

然后，执行特定图像识别处理程序的CPU 29对在屏幕上指定的对象的笑脸图案执行检测处理(步骤S22)。稍后将描述笑脸检测处理。

然后，开始相机拍摄处理(步骤S23)。更具体地，CPU 29使用驱动器10a发布用于拍摄处理的指示。通过光学系统10、图像捕获元件11和AFE单元12将关于对象的信息转换为数字信号，并将获得的数字信号传送给相机DSP单元16。相机DSP单元16执行用于校正亮度、颜色等的图像信号处理。

由于已经固定了焦距和光圈，所以省略了占用整个拍摄时间的大部分的扫描处理，并开始上述相机拍摄处理。

然后，分辨率转换器18转换图像的分辨率，以具有适合于拍摄模式的图像大小(步骤S24)，并且图像编码解码处理器19对图像执行JPEG压缩处理(步骤S25)。然后，在介质控制器22的控制下，在记录介质26上记录经过JPEG压缩的图像(步骤S26)。

例如，在“Pikuseru Sabun Tokuchou wo Mochiita Jitsujikan Nin′iShisei Kao Kenshutsuki no Gakushuu”(The 10th Image SensingSymposium(SSII 2004))中描述的面部检测处理方法可以用于在图7所示流程图的步骤S22中执行的对象的笑脸检测处理。尽管可以对笑脸检测处理使用相同的处理算法，但如上所述，在这种情况 下使用不同的图像字典(dictionary)。然而，本发明的要旨不限于特定面部检测处理。

图8是示出在步骤S22中执行的用于对象的笑脸检测处理的处理的流程图。

获取被分辨率转换器18转换了分辨率以适合于拍摄模式的图像(步骤S31)。

然后，执行用于图像中笑脸的特征分析(步骤S32)，并使用图像字典执行比较(步骤S33)。

获得经过分辨率转换的图像和字典图像之间的笑脸图案的差异(步骤S34)。当该差异落在预定阈值范围内时，传送表示笑脸被检测的值(步骤S35)。

如上所述，在根据该实施例的数码相机1中，在笑脸检测拍摄模式下，保持焦距和光圈固定。因此，响应于图像中对象的笑脸检测，省略了占用整个拍摄时间的大部分的扫描操作，并且可以快速地执行捕获操作而不会错过笑脸。

然而，假定这种自动拍摄方法在对象处于静止的状态下执行。在对象可能移动的情况下，可以在与预先固定的位置不同的位置中捕获对象。因此，不能准确地执行对捕获图像的焦距调整。

例如，参考在图5所示的状态转移图，在“焦距/光圈固定”状态下完全按压快门键以进入“笑脸检测拍摄”状态以及所检测的面部由于对象的移动而消失或长时间没有检测到对象笑脸的情况下，即，在没有快速执行笑脸检测拍摄的情况下，假设固定的焦距和光圈不再有效。

因此，期望应该以适当的方式执行焦距和光圈的更新，即，再扫描操作。

例如，如图9所示，在笑脸检测拍摄状态下，在用作笑脸检测目标的检测面部从所捕获的图像中消失的情况下，当再次检测到对象时，开始再扫描操作并再次固定焦距和光圈。

此外，如图10所示，在笑脸检测拍摄状态下，在预定的时间段以上没有从所捕获的图像中检测到用作笑脸检测目标的检测面部上的笑脸的情况下，开始再扫描并再次固定焦距和光圈。可选地，在笑脸检测拍摄状态下，可以周期性地更新焦距和光圈。

图11是示出在笑脸检测拍摄状态下执行再扫描操作的处理的流程图。图11所示的流程图示出了根据被称作问题分析图(PAD)的程序图符号并且不同于日本工业标准(JIS)流程图的算法配置。本质上，该算法可表示为连接、反复和选择的三个基本单位的组合。PAD采用使用这三种类型的基本单位的描述方法。

定时器的值被初始化为0(P1)，并进入笑脸检测拍摄状态(L1)。

在每个预定控制周期中，确定是否从图像中检测到用作笑脸检测目标的对象的检测面部(C11)。如果没有检测到面部，则将定时器的值复位至0(P22)。

如果检测到面部，则定时器的值加1(P21)。然后，确定是否在最后的周期中检测到面部(C31)。

如果在最后的周期中检测到对象面部，则确定定时器的值是否小于预定值(C41)。如果定时器的值超过预定值(参见图10)，则执行用于焦距和光圈的再扫描操作(P51)。

如果在最后的周期中没有检测到对象面部，即，如果用作笑脸检测目标的检测面部从图像中消失并再次检测到对象(参见图9)，则执行用于焦距和光圈的再扫描操作(P41)。

本领域的技术人员应该理解，根据设计要求和其它因素，可以有多种修改、组合、再组合和改进，均应包含在本发明的权利要求或等同物的范围之内。

Claims (15)

1.一种图像拍摄装置，用于根据对象的笑脸检测来捕获对象图像，包括： 

光学装置，用于会聚来自所述对象的光； 

图像捕获装置，用于捕获基于由所述光学装置会聚的来自所述对象的光而获得的所述对象图像； 

光学机构驱动控制装置，用于控制所述光学装置的机构的驱动； 

图像信号处理装置，用于对由所述图像捕获装置所捕获的图像执行信号处理； 

图像记录装置，用于在预定记录介质上记录由所述图像信号处理装置执行了所述信号处理的捕获图像； 

面部检测装置，用于从由所述图像信号处理装置执行了所述信号处理的捕获图像中检测所述对象的面部； 

笑脸检测装置，用于检测由所述面部检测装置检测的面部的笑脸；以及 

笑脸检测拍摄控制装置，用于响应于从所述捕获图像检测所述对象的笑脸来执行对所述对象图像的拍摄处理，同时使所述光学机构驱动控制装置对所述光学装置的机构的驱动保持固定。 

2.根据权利要求1所述的图像拍摄装置， 

其中，所述光学机构驱动控制装置执行以下控制中的至少一个：用于调整焦距、使得所述对象图像被光学系统会聚并 形成在所述图像捕获装置的图像捕获面上的控制；以及用于调整光圈、使得执行适合于所述对象的曝光的控制。 

3.根据权利要求1所述的图像拍摄装置，还包括： 

快门键，被拍摄者操作，所述快门键与拍摄操作相关， 

其中，响应于所述快门键的半按压，在使所述光学机构驱动控制装置控制所述光学装置的机构的驱动之后，所述笑脸检测拍摄控制装置使所述光学装置的机构的驱动固定，以及 

其中，响应于所述快门键的全按压，所述笑脸检测拍摄控制装置处于待机状态为所述拍摄处理做准备，直到从所捕获的图像中检测到所述对象的笑脸，同时使所述光学机构驱动控制装置对所述光学装置的机构的驱动保持固定。 

4.根据权利要求3所述的图像拍摄装置， 

其中，每当从所述捕获图像中检测到所述对象面部的笑脸时，所述笑脸检测拍摄控制装置就执行对所述对象图像的拍摄处理，同时使所述光学机构驱动控制装置对所述光学装置的机构的驱动保持固定。 

5.根据权利要求3所述的图像拍摄装置， 

其中，在使所述光学机构驱动控制装置对所述光学装置的机构的驱动保持固定的固定状态下，响应于所述快门键的另一次半按压，所述笑脸检测拍摄控制装置解除所述固定状态。 

6.根据权利要求3所述的图像拍摄装置， 

其中，响应于所述快门键的另一次全按压，所述笑脸检测拍摄控制装置解除如下等待状态：所述笑脸检测拍摄控制装置为所述拍摄处理做准备直到从所述捕获图像中检测到所述 对象的笑脸，同时使所述光学机构驱动控制装置对所述光学装置的机构的驱动保持固定。 

7.根据权利要求1所述的图像拍摄装置， 

其中，在所述笑脸检测拍摄控制装置为所述拍摄处理做准备直到从所述捕获图像中检测到所述对象的笑脸、同时使所述光学机构驱动控制装置对所述光学装置的机构的驱动保持固定的等待状态下，当所述笑脸检测装置在用作笑脸检测目标的对象的面部从所述捕获图像中消失之后再次检测到所述对象的面部时，所述笑脸检测拍摄控制装置使所述光学机构驱动控制装置控制所述光学装置的机构的驱动，并使所述光学装置的机构的驱动再次被固定。 

8.根据权利要求1所述的图像拍摄装置， 

其中，在所述笑脸检测拍摄控制装置为所述拍摄处理做准备直到从所述捕获图像中检测到所述对象的笑脸、同时使所述光学机构驱动控制装置对所述光学装置的机构的驱动保持固定的等待状态下，当由于没有检测到用作笑脸检测目标的对象面部的笑脸而过去预定时间段时，所述笑脸检测拍摄控制装置使所述光学机构驱动控制装置控制所述光学装置的机构的驱动，并使所述光学装置的机构的驱动再次被固定。 

9.一种图像拍摄方法，用于捕获对象图像，包括以下步骤： 

执行以下控制：用于调整焦距、使得所述对象图像被光学系统会聚并形成在图像捕获面上的控制；以及用于调整光圈、使得执行适合于对象的曝光的控制； 

固定用于焦距的控制和用于光圈的控制； 

从捕获图像中检测所述对象的面部；以及 

响应于从所述捕获图像中检测所述对象的笑脸，执行用于将所述捕获图像记录在预定记录介质上的捕获操作，同时保持固定所述用于焦距的控制和所述用于光圈的控制。 

10.根据权利要求9所述的图像拍摄方法， 

其中，由拍摄者使用快门键输入关于拍摄操作的操作， 

其中，响应于所述快门键的半按压，在执行用于调整焦距的控制和用于调整光圈的控制之后，固定所述用于焦距的控制和所述用于光圈的控制，并且只要所述快门键持续被半按压，就保持固定所述用于焦距的控制和所述用于光圈的控制的状态，以及 

其中，响应于所述快门键的全按压，所述捕获操作等待直到从所述捕获图像中检测到所述对象的笑脸，同时保持固定所述用于焦距的控制和所述用于光圈的控制。 

11.根据权利要求10所述的图像拍摄方法， 

其中，每当从所述捕获图像中检测到所述对象的面部的笑脸时，就执行所述捕获操作。 

12.根据权利要求10所述的图像拍摄方法， 

其中，在保持固定所述用于焦距的控制和所述用于光圈的控制的固定状态下，响应于所述快门键的半按压的释放，解除所述固定状态。 

13.根据权利要求10所述的图像拍摄方法， 

其中，响应于所述快门键的另一次全按压，解除如下等待状态：所述捕获操作等待直到从所述捕获图像中检测到所述对象的笑脸，同时保持固定所述用于焦距的控制和所述用于光圈的控制。 

14.根据权利要求9所述的图像拍摄方法，

其中，在所述捕获操作等待直到从所述捕获图像中检测到所述对象的笑脸同时保持固定所述用于焦距的控制和所述用于光圈的控制的等待状态下，当用作笑脸检测目标的对象的面部从所述捕获图像消失之后再次检测到所述对象的面部时，再次执行所述用于调整焦距的控制和所述用于调整光圈的控制，并再次固定所述用于焦距的控制和所述用于光圈的控制。

15.根据权利要求9所述的图像拍摄方法，

其中，在所述捕获操作等待直到从所述捕获图像中检测到所述对象的笑脸同时保持固定所述用于焦距的控制和所述用于光圈的控制的等待状态下，当由于没有检测到用作笑脸检测目标的对象的面部笑脸而过去预定时间段时，再次执行所述调整焦距的控制和用于调整光圈的控制，并再次固定所述用于焦距的控制和所述用于光圈的控制。 

Images