CN1905629A - 摄像装置和摄像方法 - Google Patents

Abstract

一种摄像装置和摄像方法，在该摄像装置中，视频输入单元(2)拍摄被摄体的图像并顺序获取与该图像拍摄相关的图像数据；模型数据存储器(6)存储从模型图像中所述被摄体的特征点计算的、与第一特征量相关的模型数据；主被摄体检测单元(3)从所获得的图像数据中所述被摄体的特征点计算第二特征量；状态变化估计单元(4)基于所述第二特征量和所述模型数据来估计所述被摄体满足预定条件的定时；图像输入处理控制单元(7)将对应于所估计的定时的图像数据存储在图像记录单元(5)中。这种结构使摄像装置可以在更合适的状态下获取图像而无需大容量存储器。

Description

摄像装置和摄像方法

技术领域

本发明涉及一种摄像装置，更具体地，涉及一种根据摄像条件自动摄像的摄像装置。本发明还涉及一种同时拍摄运动和静止图像的摄像技术。

背景技术

传统上已知一种与根据摄像条件自动摄像的摄像装置有关的技术。

日本特开2000-259833号公报公开了一种技术，该技术从连续的图像中确定人的面部状态并且选择呈最佳面部状态的图像。

日本专利3240339号公开了一种技术，该技术当使用者所希望的时刻的图像不存在时，利用所记录的运动图像数据的不同图像之间的像素对应关系来进行插值处理，从而产生使用者所希望时刻的图像。

传统上还已知一种跟踪被摄体的运动并拍摄被摄体的技术。

日本专利3200950号公开了一种技术，该技术从图像中抽取部分模板，并且基于模板和输入图像之间的相关性跟踪被摄体。在跟踪中，根据跟踪记录和关于被摄体的知识对模板进行划分、结合和更新。可以获得被摄体的行为模式，并基于对未来行为的预测确定相关性计算范围。

已知一种技术，其当基于输入图像与参考图像数据之间的最小残差检测目标被摄体的位置时，基于在时间序列中所检测到的目标被摄体的两个位置来检测动作(速度)，或基于三个位置来检测加速度，并进一步计算预定位置。还已知一种用于相关跟踪系统的技术，该系统具有如下装置：该装置针对形状变化的目标从多个模板中找出最为一致的模板，顺序计算对于模板位置的运动矢量，并跟踪目标。

根据上述技术，处于最佳面部状态的图像能在图像输入后从一串存储于存储器中的图像中确定和选择出来。

然而，输入处于最佳状态的图像的时刻不能被设置或预测。因此，为了选择图像，必须记录不需要的图像数据，需要大容量存储器。跟踪高速变化的被摄体状态，并以正常的记录速率获得高质量的图像是很难令人满意的。而且，插值常常不能提供所需时刻的图像。

当照明条件变化或摄像装置自身移动时，很难跟踪运动的被摄体。

在日本专利3200950号中所公开的结构中，基于模板和从输入图像中抽取的部分之间的相关性跟踪被摄体。然而，通常很难适当地设置要从输入图像中抽取的部分区域。当被跟踪的被摄体由于拍摄条件的变化或者照明条件的变化而离焦时，不能保持跟踪高速移动和变化的被摄体的性能。如果在跟踪过程中类似于被摄体的运动向量的模式在背景中存在，则背景被摄体可能被错误地识别和跟踪。

另一方面，已知一种混合摄像机，该混合摄像机能够通过在运动图像与像素数和图像质量比运动图像更高的静止图像之间进行切换来拍摄。

作为能在以低像素数记录运动图像等的过程中记录高像素数静止图像的技术，高像素数静止图像通过按模式按钮来记录，例如，如日本特开2003-125344号公报(图22)所述。

如在日本特开平11-069222号公报(图23)中所述，通过无线通信从外部将拍摄模式切换到高质量模式的技术也是已知的。如果在图22的步骤S61010中按下快门按钮，则进行图24中所示的普通运动图像帧(图24中320×240像素)的记录。如果在步骤S61014中按下高质量模式按钮，则在运动图像帧中插入一帧高像素数记录帧(图24中1280×960像素)。在图23中，外部控制器6107通过包括接收单元6103、天线6106和6111以及发送单元6110的无线通信单元，来控制摄像单元6101的记录模式控制单元6104和拍摄控制单元6105，从而在高速拍摄和高质量拍摄之间切换。

作为确定更希望拍摄的拍照时机的方法，提出了一种由摄像机自动确定拍照时机以当被摄体呈现出所希望的面部表情或姿态时进行拍摄的方法，如日本特开2004-294498号公报中(图25)所述。在图25的例子中，摄像单元6202重复地获取图像。当控制单元6209判断为满足预定条件时，它控制摄像单元6202的聚焦和光圈以进行拍照。注意，拍摄时机是通过下述步骤来确定的，即，从图像中抽取表示人等的面部表情的形状，计算所抽取形状和预定形状之间的一致性，并且当一致性超过预定的值时，将当前时刻确定为拍摄被摄体的拍照时机。

要求在不影响运动图像的记录的情况下，以高的图像质量记录在运动图像拍摄过程中所出现的瞬间面部表情的拍照时机。出于此目的，根据日本特开2003-125344以及特开平11-069222号公报中所公开的技术，运动图像拍摄能切换到高像素数静止图像拍摄。在拍摄运动图像过程中，使用者等待拍摄时机，并且能够拍摄所希望的静止图像。

然而，在从运动图像拍摄模式切换到静止图像拍摄模式的过程中产生时间延迟，使用者在按下快门时可能错过拍照时机。结果，拍照可能失败，这是因为需要例如预测变化并且释放快门的高级技术来防止由于瞬时的闪光而致使被摄体闭眼的图像，或者拍摄例如微笑之类的良好面部表情的瞬间。在日本特开平11-069222号公报中，运动图像拍摄被高质量拍摄中断，使得运动图像记录长时间中断。

在日本特开2004-294498号公报中，摄像机自动确定拍照时机，使用者本身不需要在拍照时机释放触发器。摄像机从过去所拍摄的图像中确定下一个拍照时机，并且转换到拍摄操作。因此，会产生在AF、光圈等操作中的时间延迟，或产生例如帧之间的时差之类的时间延迟，并且瞬时拍照时机可能被错过。除此之外，由于摄像单元6202被静止图像的拍摄所占用，因此在静止图像拍摄的同时不能拍摄运动图像。

也可以想到双镜头的结构，其中，包括用来检测面部例如面部表情的系统的运动图像拍摄系统和高质量拍摄系统被设计为分离的光学系统并设置于一个壳体内。然而，装置变得体积庞大，并且很难控制两套光学装置相互同步。而且，两套光学装置在视角、聚焦状态以及光圈值(F-number)上经常不一致，很少能获得所希望的图像。

发明内容

本发明是为了克服传统缺陷而做出的，其目的在于提供一种与摄像装置有关的技术，该技术不需要任何大容量存储器并能获得处于更适合的状态的图像。本发明的另一目的在于提供一种技术，该技术能同时拍摄被连续拍摄的运动图像和高质量的静止图像，并能拍摄高质量静止图像而不影响运动图像拍摄且不会错过任何拍照时机。

为了实现上述目的，根据本发明的摄像装置包括下列结构。更具体地，一种摄像装置，包括：摄像单元，用于拍摄被摄体的图像并顺序获取与该图像拍摄相关的图像数据；存储单元，用于存储从模型图像中的所述被摄体的特征点计算的、与第一特征量相关的模型数据；计算单元，用于从所获得的图像数据中的所述被摄体的特征点来计算第二特征量；第一估计单元，用于基于所述第二特征量和所述模型数据来估计所述被摄体满足预定条件的定时；以及控制单元，用于将对应于所估计的定时的图像数据存储在图像数据存储单元中。

根据本发明，一种控制摄像装置的方法，包括：摄像步骤，用于拍摄被摄体的图像并顺序获取与该图像拍摄相关的图像数据；存储步骤，用于在存储单元中存储从模型图像中的所述被摄体的特征点计算的、与第一特征量相关的模型数据；计算步骤，用于从所获得的图像数据中的所述被摄体的特征点来计算第二特征量；第一估计步骤，用于基于所述第二特征量和所述模型数据来估计所述被摄体满足预定条件的定时；以及控制步骤，用于将对应于所估计的定时的图像数据存储在图像数据存储单元中。

为了解决上述问题并实现上述目的，根据本发明的摄像装置包括：摄像单元，用于拍摄被摄体的图像并获取图像数据；保持控制单元，用于从所述摄像单元同时获取第一图像数据和第二图像数据，使第一数据保持单元临时保持所述第一图像数据，使第二数据保持单元临时保持所述第二图像数据；分析单元，用于通过使用所述第二图像数据来分析所述被摄体的状态；以及记录控制单元，用于控制在记录介质上连续记录所述第二图像数据，并基于所述分析单元的分析结果控制是否将所述第一图像数据记录在所述存储介质上。

一种根据本发明的摄像方法，包括：摄像步骤，用于拍摄被摄体的图像并获取图像数据；数据保持步骤，用于同时获取所述摄像步骤中的第一图像数据和第二图像数据，将所述第一图像数据临时保持在第一数据保持单元中，将所述第二图像数据临时保持在第二数据保持单元中；分析步骤，用于通过使用所述第二图像数据来分析所述被摄体的状态；以及记录控制步骤，用于控制在记录介质上连续记录所述第二图像数据，并基于所述分析步骤的分析结果控制是否将所述第一图像数据记录在所述存储介质上。

通过以下结合附图的说明，本发明的其它特征和优点将变得明显，其中，在全部附图中，相似的附图标记表示相同或相似的部分。

附图说明

包含在说明书中并构成说明书一部分的附图示出了本发明的实施例，并与说明书一起用来解释本发明的原理。

图1是示出根据第一实施例的摄像装置的主要部分的结构的框图；

图2是示出根据第二实施例的摄像装置的主要部分的结构的框图；

图3是示出根据第一实施例的整体处理流程的流程图；

图4是示出在摄像条件控制单元中的处理流程的流程图；

图5是示出时刻控制处理流程的流程图；

图6是示出根据第三实施例的摄像装置的主要部分的结构的框图；

图7是示出预测最佳拍摄状态的处理流程的流程图；

图8是示出主被摄体检测单元的功能结构的框图；

图9是示出在摄像模式设置元件中设置摄像模式的过程的流程图；

图10是示出当选择组拍摄模式时，由状态变化估计单元进行的处理的流程的流程图；

图11是示出由运动检测单元执行的处理的流程的流程图；

图12是示出根据本发明第四实施例的摄像装置的结构的框图；

图13是示出根据本发明的第四实施例的操作的流程图；

图14是示出根据本发明的第四实施例的操作的时序图；

图15是示出根据本发明的第四实施例的操作的另一个例子的时序图；

图16A、16B、16C和16D是用来说明面部检测方法的视图；

图17是根据本发明的第五实施例的操作的流程图；

图18A、18B、18C和18D是示出根据本发明第五实施例通知使用者的方法的视图；

图19A、19B、19C和19D是示出根据本发明第五实施例通知使用者的方法的另一个例子的视图；

图20是示出根据本发明的第六实施例的操作的流程图；

图21A和21B是用来说明根据本发明第六实施例的效果的视图；

图22是示出由摄像装置进行的传统运动图像和高像素数记录操作的流程图；

图23是示出传统的运动图像和高像素数记录操作的另一个例子的流程图；

图24是用来解释传统的运动图像和高像素数记录操作的视图；以及

图25是示出自动确定被摄体状态并拍摄图像的传统摄像装置的框图。

具体实施方式

下面将参考附图详细地描述本发明的优选实施例。然而，在下列实施例中所描述的组成部件仅是一个例子，不能解释为将本发明的范围仅限制到这些组成部件上。

第一实施例

摄像装置的结构

参考图1描述根据第一实施例的摄像装置的结构。图1是示出根据第一实施例的摄像装置的主要部分的结构的框图。

如图1所示，根据第一实施例的摄像装置包括：摄像光学系统1，视频输入单元2，主被摄体检测单元3，状态变化估计单元4，模型数据存储器6，图像输入处理控制单元7，摄像模式设置单元8，图像记录单元5等。每一构成单元的功能的概要如下。

摄像光学系统1包括镜头等，基于从被摄体传播的光形成图像。

视频输入单元2光电转换摄像光学系统1所形成的图像，并将图像输出为图像数据。视频输入单元2由视频(光学)传感器，例如CCD(Charge-Coupled Device，电荷耦合装置)、传感器信号处理电路、传感器驱动电路等组成。视频输入单元2通常使用CMOS图像传感器等形成。视频输入单元2响应来自传感器驱动电路(未示出)的读取控制信号，来输出预定的视频信号(图像数据)。在第一实施例中，输入图像数据是包括多个帧的运动图像。

主被摄体检测单元3处理从视频输入单元2的传感器信号驱动(处理)电路输入的图像数据，并且对应于在摄像模式设置单元8中由使用者设置的摄像模式在预定的类别中检测被摄体。即，主被摄体检测单元3检测与预先注册的特定类别中的目标相对应的图像作为来自输入图像数据的被摄体。

由主被摄体检测单元3检测的被摄体种类的尺度是可变的，并且可以基于使用者输入的指令、预设的条件等进行适当的变化。种类类型从按例如人、车等宽泛地划分等级，到按人的年龄和性别的中尺度划分，以及细分到每一个人的等级。

在这种情况下，对于人的面部设置特定的类别(特定个人的面部或者普通人的面部)，面部的模型数据存储到主被摄体检测单元3中的模型数据存储单元31中(后面描述)。所使用的关于面部的模型数据包括：例如，面部图像数据；关于整个面部的预定特征向量数据，其通过主成分分析或者独立成分分析得到；或每一个面部的特征区域上的局部特征数据(例如，面部的眼睛或嘴)。

用于主被摄体的状态变化估计单元4估计主被摄体状态的变化，并且估计直到主被摄体达到特定状态类别时的时间。在第一实施例中的状态类别是面部表情。状态变化估计单元4预测和估计面部表情的变化，并且估计当面部表情达到预先注册的面部表情类别(例如最佳的微笑)时的时刻(后面将会描述)。状态变化估计单元4将估计的时刻输入到图像输入处理控制单元7。

模型数据存储器6将对应于摄像模式的典型图像存储为模型数据。如图1所示，模型数据存储器6能够从状态变化估计单元4访问。

图像输入处理控制单元7基于来自状态变化估计单元4的输入控制视频输入单元2的图像输入的最佳时刻。更具体地，图像输入处理控制单元7在状态变化估计单元4估计的时刻产生控制信号，进行控制以将从视频输入单元2的光学传感器输入的图像数据记录在图像记录单元5中。通过这种控制，自主地设置所谓的快门时刻，使得被摄体在预定的状态下自动被拍摄。

图像记录单元5记录图像数据，并且由诸如软盘(FD)、CD-ROM、CD-R、CD-RW、PC卡、DVD、IC存储卡、MO或记忆棒之类的介质形成。图像记录单元5也可以由硬盘装置，RAM等形成。

摄像模式设置单元8接受来自使用者的对于摄像模式的设置，其由显示器、按钮、触摸屏等组成。

整体处理

参考图3对上述结构中整体处理的流程进行说明。图3是示出根据第一实施例的整体处理流程的流程图。

在步骤S0中，设定摄像模式，对应于最佳拍摄状态的图像被使用者注册或选择。第一实施例将描述使用者从菜单窗口中选择被摄体张开嘴微笑的面部表情作为摄像模式的情形。

在步骤S1中，如果根据第一实施例的摄像装置朝向被摄体，通过图像输入单元2获取图像。

在步骤S2中，主被摄体检测单元3从输入图像中检测主被摄体(人的面部)。

在步骤S3中，状态变化估计单元4确定状态，即所检测的主被摄体的面部表情，并抽取面部表情。

在步骤S4中，状态变化估计单元4预测所检测的主被摄体的面部表情变化到对应于摄像模式的预定表情(例如微笑)时的时间(最佳帧时刻)。

在步骤S5中，图像输入处理控制单元7控制在步骤S4中预测的时刻进行摄像。然后处理结束。

下面将说明每一个步骤中处理的细节。

摄像模式设置处理

参考图9对在步骤S0中执行的摄像模式设置处理进行说明。图9是示出摄像模式设置元件8中设置摄像模式的过程的流程图。

在步骤S91中，摄像模式设置菜单在显示屏(未示出)上显示以接受使用者对于摄像模式的选择。

在步骤S92中，确定使用者选择的摄像模式。可以将可选择的摄像模式设计为包括例如最佳微笑拍摄，侧面肖像拍摄，以及侵入者/可疑者拍摄。

最佳微笑拍摄方式在被摄体人脸呈现出最佳微笑时的时刻自主地拍摄被摄体。侧面肖像拍摄方式在被摄体人脸变为具有理想姿态或角度的轮廓时的时刻自主地拍摄被摄体的图像。当根据第一实施例的摄像装置作为监视摄像机安装在预定位置时，侵入者/可疑者拍摄方式在侵入者进行犯罪的时刻自主地拍摄侵入者的图像，例如，侵入者将他的手伸向珠宝或者保险箱。主要说明选择最佳微笑拍摄情况中的步骤(步骤S0到S5)。相同的处理也可应用于选择其它模式的情形(例如侧面肖像或侵入者/可疑者拍摄)。

在步骤S93中，对应于所选择的摄像模式的模型图像数据被选择或者注册，摄像模式的设置结束。

模型图像数据的选择是根据使用者的主观观点，在已经对应于每一种模式注册的场景图像中选择被认为是最佳的图像(数据)作为模型数据。根据第一实施例的摄像装置对应于摄像模式将所选择的图像数据存储于模型数据存储器6中。模型图像数据的注册是新拍摄最佳场景，并将其图像作为模型数据存储在模型数据存储器6中。

注意，模型图像数据可以是作为模型使用的图像，或者是从图像中抽取作为模型使用的上述模型数据。例如，当进行最佳微笑拍摄模式的设置时，作为模型使用的图像是模型人的微笑的图像。类似地，当进行侧面肖像拍摄模式的设置时，作为模型使用的图像是理想轮廓的图像。当进行侵入者/可疑者拍摄模式的设置时，作为模型使用的图像包括将手伸向保险箱的可疑者的个人模型的图像。假设这些图像对于照明条件、构图、角度等都是理想的。

模型数据包含：关于整个图像的预定的特征向量数据，该特征向量数据从图像中抽取作为模型使用，并且通过主成分分析或局部成分分析获得；以及关于每一个被摄体的特征区域的局部特征数据。

例如，在预测面部表情变化到所希望的微笑(最佳拍摄状态)时，在无表情的面部与所希望的微笑之间的主特征点(多个部分)的位移向量预先被抽取作为运动(位移)向量分布模型，并存储在模型数据存储器6中。注意，可存储在预定时间间隔的帧之间，对应预定类别(例如微笑)的特定部分(例如，眼睛的终点和嘴的终点)的运动向量分布模型。

根据应用目的，模型数据(包括作为模型使用的数据)可对于每一个目标人分别注册，或者可以注册应用于普通人的平均数据。

主被摄体检测处理

参考图8详细说明在步骤S2中通过主被摄体检测单元3执行的检测处理。图8是示出主被摄体检测单元3的功能结构的框图。

主被摄体检测单元3抽取输入图像数据中在每个点(采样点)的几何特征或其它特征(例如颜色或运动向量信息)。主被摄体检测单元3基于特征量进行模型数据的匹配、模板匹配等，并且在设定的类别中检测被摄体。主被摄体检测单元3输出所检测的目标在输入图像中的位置。

如图8所示，主被摄体检测单元3的主要构成部件为模型数据存储单元31、特征抽取单元32和匹配处理单元33。模型数据存储单元31预先存储图像信息作为每一个类别的模型数据，该图像信息对应于包含被检测被摄体的类别。特征抽取单元32在预定的采样点位置进行上述特征量抽取。匹配处理单元33基于所抽取的特征量在输入图像数据和模型数据之间进行匹配处理(相似性计算)。

匹配处理单元33执行的处理与例如日本特开平9-130714号公报中描述的图像信息抽取装置所执行的处理相同。即，生成尺寸与目标距离相对应的模板模型图像，并且当使用模板模型数据扫描帧时，在每一个点计算归一化的相关系数等。然后，计算输入图像局部部分与模型数据之间的相似性分布。通常，如果相似性分布的最大值超过预定阈值，则属于该类别的模式被检测出来。

作为预处理，一次特征量(低次特征量，例如运动向量或颜色信息)可以通过已知方法从时间序列输入图像数据中预先抽取。主被摄体很可能存在的候选区域被抽取出来以缩小搜索范围。这可以缩短用于检测主被摄体的时间。例如，具有与模型图像数据的主要部分的预先注册颜色(例如，人的肤色)相近颜色的图像区域通过阈值处理被抽取出来。可选地，(从这些图像区域)将具有给定运动向量量、预定大小或更大的区域抽取出来作为被摄体候选区域。此后，仅在候选区域内的采样点处进行上述相似性计算。

假设摄像装置(的摄像光学系统1)固定并安装在预定的位置。当手持摄像装置以照相时，伴随摄像装置自身运动的全局运动向量(自运动向量)被从总运动向量分布中抽取并抵消，然后基于所得到的运动向量量进行区域分割。通过这个过程，可以得到例如人的移动被摄体的候选区域。

为了预处理所抽取的一次特征量不必局限于从色彩信息或运动向量信息获得的特征量，也可以使用其它的低次特征量。低次特征量的例子为具有特定范围的方向分量和特定范围的空间频率的几何特征，以及在日本专利3078166号中所公开的局部特征元素。在这种情况下，阈值与算出的最大相似性的比值作为可靠性使用，但是其它指标(在预定的时间宽度内所计算的最大相似性的方差(variance)值)也可以作为可靠性使用。

注意，匹配处理单元33不局限于以上结构。例如，匹配处理单元33可以通过分层神经网络电路(日本特开2000-181487、2000-181488和2000-181480号)或其它结构实现。在任意情况下，匹配处理单元33输出被检测为主被摄体的被摄体的检测可靠性(或确定性因子)和在帧中的位置信息。如果在帧中没有检测到主被摄体，则匹配处理单元33可以输出不存在主被摄体检测信号。

状态变化估计单元4的处理

下面说明在步骤S3和S4中通过状态变化估计单元4执行的处理的内容。假设主被摄体的面部已经被检测到，并且对检测面部表情有效的部分(例如，面部的眼角和嘴角)的特征点或特征量(例如位置、相对位置向量或距离、或靠近目标部分的边缘密度)已经被检测到。

状态变化估计单元4基于作为时空模式序列的这些特征点处过去若干帧的变化量，或者从当前帧中的面部图像所抽取的特征量向量序列和特征量分布，进行与最佳拍摄状态的预测相关的处理。图7是示出预测最佳拍摄状态的处理流程的流程图。在被检测的面部图像归一化到预定尺寸之后，进行该处理。

状态变化估计单元4进行如图7的流程图所示的最佳拍摄状态预测处理，并且估计面部表情变化到最接近预先存储于模型数据存储器6中的预定面部表情的注册数据(模型数据)的时刻。

在步骤S71中，状态变化估计单元4在有效部分抽取m个特征量(包括运动和位移向量的分布、特征点之间的距离例如眼角和嘴角端点之间的距离、以及边缘密度的变化)，作为面部表情检测的特征量。状态变化估计单元4抽取时间序列向量(误差向量)，该时间序列向量包含：从过去到当前多个帧的每一个中的m个特征量的时间序列数据之间的误差作为元素，以及注册为模型数据的面部表情的相应特征量的时间序列数据。假设每一个特征点位置通过位置向量给定，以鼻子的顶点位置或连接两眼中心的线段的中点位置(此后称为脸部基准点)作为基准。每一个特征点位置也可以通过其它标记来表示。用于面部表情识别的主要特征点为，例如，痣、眼角、眼端、嘴角、眉毛端点、眉毛轮廓的拐点、鼻孔以及皱纹的拐点、分支点和端点。

在步骤S72中，状态变化估计单元4基于在对应点的运动(位移)向量分布的时间序列数据，估计在设置在人的面部的平面内的特征点处，从预定的帧图像(例如无表情面部)到面部表情达到指定表情(例如，微笑)的时间。更具体地，状态变化估计单元4估计当误差向量序列收敛为零向量时或误差向量的泛数(norm)收敛为预定幅值(步骤S72)时的时间。注意，误差向量可以不基于相关特征量的所有元素的模型数据的差别产生，而是可以基于某些有效特定元素的元素的模型数据的差别产生。

基于从预定的时间前到当前时刻的误差向量值的变化，对时间进行估计。例如，当误差向量的泛数值在两个单位时间之前为5，在一个单位时间之前为4，目前为3时，可以预测泛数值以每个单位时间下降一的速度减少。因此，可以预测在两个单位时间后泛数值变为0，即面部表情达到指定表情。如后面所述，预测算法是众所周知的。

在误差向量的幅值的计算中，当基于相关特征量的某些元素产生误差向量时，赋予向量的每个元素预定的权重以通过预定的比例计算范数(例如Euclidian范数或Minkowski范数)。最常用的是采用统一权重的欧式范数。然而，当特定的元素(例如，对于微笑检测，眼角和嘴角终点之间的距离)根据所进行检测的类别对检测重要时，根据重要性增加权重值。

例如，当要检测所希望的微笑时，如上所述，根据第一实施例的摄像装置在步骤S0中基于使用者输入的指令预先注册所希望的微笑的图像，或者选择预设微笑的图像。根据第一实施例的摄像装置分析图像从而抽取特征点，基于所抽取的特征点计算模型数据，并且将模型数据存储于模型数据存储器6中。

在处理步骤S71中，选择与用于计算模型数据的特征点相对应的特征点。例如，选择微笑时右嘴角和左嘴角的位置以及右眼角和左眼角的位置作为特征点。基于这些特征点位置的位移(模型数据)以及输入图像上相应特征点位置(相对于面部基准点的位置)的位移而产生的误差向量(基于上述定义)对于各帧进行计算，即在时间t＝n、n-1、n-2、...的帧。

更具体地，在每一个特征点(或临近每一个特征点)位移向量(运动向量)的模型数据根据检测种类预先存储于由状态变化估计单元4所参考的模型数据存储器6中。通过对从模型数据存储器6中读出的位移向量与从输出图像中抽取的相应位移向量之间的差别向量的每一个元素赋予预设的权重，产生误差向量。每一个权重值通常为常数，但是当特定部分处的位移或者部分之间的位移重要时，其可被设成相对高的值。

在步骤S72的处理中预测当所得到的误差向量变为零向量或其幅值减小到预定值或更小时的帧时刻(此后称为最佳面部表情时刻)。例如，当从时间序列数据中所获得的对于每一个输入图像帧的误差向量幅值变为0或者等于或小于基准值时的时刻通过使用线性预测(所谓的AR(Auto-Regressive，自回归)、ARMA(Auto-Regressive Moving Average，移动平均自回归)、ARX(Auto-Regressive eXogenous，外生自回归)等)、基于模型的非线性预测等得到。基于模型的非线性预测包括对于观测数据序列建立模型运动方程以及基于模型运动方程进行预测的方法或使用神经网络的方法。

作为被预测的局部特征量，除了误差向量之外，在示出被检测的面部所特有的变化的特征点处例如在靠近眼睛和嘴的局部区域中的边缘密度或功率谱、以及在特征点位置例如眼角或眼顶点的位移向量也可以用作时间序列数据。在这种情况下，可以从每一个时刻的特征量数据和无表情面部所对应特征量数据之间的偏差分布预测直到面部表情达到或者收敛到所希望的表情的时刻。

更具体地，当检测微笑时并且在特定特征点位置的变化趋势(例如，嘴部的端点位置横向移动)作为微笑所特有的数据保持时，进行以下处理。在这种情况下，对于每一个输入图像数据，获得在每一个特征点从无表情状态朝着面部表情所特有的变化(在向着预定面部表情类别的方向上)的位移向量变化率的分布。当值等于或者小于阈值(面部表情收敛到特定表情)时的时刻被预测为最佳面部表情时刻。

最佳面部表情时刻(图像输入定时)也可以基于位于被限定的特定部分的位移向量的代表幅值(例如，眼角和嘴角端点之间的距离)进行设定，以代替获取人的面部平面上多点的位移向量的分布。这可以减少计算量，提高了高速响应性而没有显著降低估计精度。

为了当目标面部表情为微笑时，不预测面部表情从微笑变为张嘴大笑的过程，而是预测当被摄体张嘴笑时面部表情收敛到最佳表情的时间，预测当位移向量的时间变化率等于或者低于阈值时的时刻。然而，在变化到特定面部表情过程中对应于特定中间面部表情的模型图像也能被设定为最佳面部表情。在这种情况下，在每一个特征点位置以上述方式抽取的与模型数据的位置偏移可被参考。在使用这种偏移时，脸的尺寸等预先被归一化。

使用者选择的拍摄模式可以进一步包括组拍摄/纪念拍摄模式。特别地，在这种模式下，必须控制拍摄时间(图像输入时刻)从而满足若干面部表情的要求，使得多个被摄体睁开他们的眼睛(不闭上他们的眼睛)，闭上他们的嘴(或微笑)，并且面向前方。

通过参考图10，说明当选择组拍摄模式时通过状态变化估计单元4进行的处理。图10是示出当选择组拍摄模式时，通过状态变化估计单元4进行处理的流程的流程图。

在步骤S10A中，抽取每一个被摄体(人)的面部表情参数。更具体地，抽取例如眼角和眼顶点的端点以及嘴的终点的位置(或者特征点之间的距离)或在各点的运动向量。

在步骤S10B中，抽取面部表情的变化的特征，与面部表情参数的变化趋势相关联的特征量也被抽取。更具体地，眼睛睁开的变化、嘴张开的变化以及面部朝向的变化等被检测。

在步骤S10C和S10D中，与图7所示的处理类似地，预测被摄体变化到总体上接近于与摄像模式(组拍摄模式)相对应的最佳面部表情的时间。这时，很难预测所有被摄体变化到最佳状态的时间。为此，进行以下处理。即，在步骤S10C中，从每个被摄体中抽取的面部表情变化特征量的变化被近似地预测。在步骤S10D中，通过如图7所示的处理估计最佳面部表情的时刻。基于被摄体睁开眼睛、微笑并且面向前方的状况预先定义最佳面部表情。

预测不局限于组拍摄模式，状态变化估计单元4可以在最佳面部表情前后几帧的时间段内预测眨眼(被摄体闭上他的眼睛的状态)，并且预测被摄体不闭眼的时刻(此后称为不眨眼时间段)。在这种情况下，图像在预测的当最佳面部表情落到不眨眼时间段内时的时刻输入。如果预测到在最佳面部表情时刻眼睛闭上，输入落到不眨眼时间段并属于要检测的面部表情类型的图像，得到被预测为与最佳面部表情时刻最为接近的时间，将其作为最佳拍摄状态时刻。

定时控制

参考图5，说明在步骤S 5中执行的从视频输入单元2的视频传感器读取数据的定时控制。图5是示出定时控制处理流程的流程图。

当帧之间的时间间隔为T毫秒时，状态变化估计单元4估计得到最佳面部表情时的时间(最佳面部表情时刻)，该最佳面部表情是从以T毫秒的离散图像输入时间(此后称为帧时间)获得的误差向量数据中得到的。所获得的最佳面部表情时刻不总是与帧时刻相一致，并且通常在离散的帧时间之间选取中间的模拟值。因此，图像输入处理控制单元7执行以下处理。

在步骤S51中，图像输入处理控制单元7从状态变化估计单元4中接收所预测的最佳拍摄状态时刻。

在步骤S52中，图像输入处理控制单元7向视频输入单元2的视频传感器发送信号，用来在预测时刻的一帧前复位读取定时。

在步骤S53中，图像输入处理控制单元7向视频输入单元2的视频传感器输出读取定时脉冲信号，并且控制来自CMOS图像传感器的光电检测器的读取定时，使得在预测的时间记录相应的图像。在这种控制下，在估计的时间读出图像数据。注意，在最接近于估计时间的帧时间的图像可能被输入。

通过以预定的速率输入图像，并且预测最接近最佳面部表情的帧，也可以得到所希望的效果，而不执行上述对于来自传感器的读取定时的控制。

除了以上的结构，摄像装置可以包括信号处理电路(未示出)，用来控制曝光量控制参数、白平衡控制参数以及其它摄像参数，并且包括功能元件，用来控制摄像条件。功能元件可以基于运动向量分布模型以及从输入图像中抽取的运动向量分布来预测被摄体变化到最接近目标类别的定时，并且可以设置图像输入定时。

如上所述，根据本实施例，可以预测主被摄体的图形和行动的变化、拍摄条件的变化等。可以基于预测结果设置摄像条件，例如满足预先设定的条件的最佳定时、曝光、聚焦。结果，照片能被自动拍摄，而不会错过任何拍照时机。

第二实施例

第一实施例描述了这样一种结构，其中估计当被拍摄的目标满足预设条件时的定时并且存储和控制对应于预测定时的图像数据。然而，估计目标不局限于摄像定时。第二实施例将描述这样一种结构，其中估计在适于摄像的定时的拍摄条件例如曝光和聚焦，并且在该摄像条件下拍摄图像。

图2是示出根据第二实施例的摄像装置的主要部分的结构的框图。根据第二实施例的结构除了第一实施例的结构之外还包括：摄像条件控制单元10，用来控制拍摄条件，例如曝光和聚焦；以及距离测量单元29，用来测量被摄体和摄像装置间的距离。剩下的主要构造单元，即，摄像光学系统21、视频输入单元22、主被摄体检测单元23、状态变化估计单元24、图像记录单元25、模型数据存储器26、图像输入处理控制单元27、以及摄像模式设置单元28与第一实施例中的单元相同，即，对应于图1中的单元1到8。与第一实施例相似，图像输入单元22包括视频传感器、传感器信号处理电路以及传感器驱动电路。

摄像条件控制单元10基于从状态变化估计单元24输入的预测信号来控制拍摄条件，例如曝光和聚焦。例如，当被摄体快速移动远离摄像装置时，普通的AF(自动调焦)装置不能跟踪或控制准确的聚焦状态。为了解决这个问题，根据第二实施例的(自主)摄像装置包含预定距离测量单元29，其用来测量被摄体与摄像装置之间的距离。状态变化估计单元24基于从距离测量单元29输出的信号产生与被摄体距离相关的预测信号，该信号还与到被摄体的距离相关。根据预测信号，摄像条件控制单元10进行聚焦控制镜头电机的定位控制。在这种情况下，状态变化估计单元24采用主要对被测被摄体区域的聚焦状态进行测量的结果。

参考图4说明在摄像条件控制单元10中的处理流程。图4是示出在摄像条件控制单元中的处理的流程的流程图。

在步骤S40A中，从主被摄体检测单元23输入主被摄体存在信息，以判断人是否作为主被摄体存在于帧中。如果主被摄体存在(在步骤S40A中为“是”)，流程前进到步骤S40B；如果主被摄体不存在(在步骤S40A中为“否”)，在步骤S40A中的处理在经过预定时间后继续进行。

在步骤S40B中，判断被摄体是否位于帧的中央。如果被摄体不位于中央，控制并设置光轴，使得主被摄体的位置位于帧的中央。注意，根据第二实施例的摄像装置包括能够自由地设定摄像方向的驱动机构(未示出)。基于驱动机构的操作执行在步骤S40B中的处理。

在步骤S40C中，对应于拍摄模式(例如肖像模式)的最佳摄像条件(例如曝光条件、白平衡、聚焦和面部尺寸，它们对肤色成分区域给出预定的色彩成分值)从模型数据存储器26中读出。

通过对进行聚焦控制(预测性聚焦控制)的情况举例说明，来说明这个处理。为了进行预测性聚焦控制，对应于被摄体距离的聚焦控制镜头位置的数据作为查找表预先存储在模型数据存储器26中。在预测性聚焦控制处理中，状态变化估计单元24参考模型数据存储器26，线性预测在下一帧中的被摄体距离并从与被摄体距离相关的时间序列数据中预测相应的最佳镜头位置。摄像条件控制单元10产生用于相应聚焦控制的镜头电机驱动控制信号。在这种方式下，基于来自距离测量单元29的信号，使用主被摄体的距离信息从查找表中预测聚焦状态的变化。结果，可以跟踪聚焦控制，并实现高速的聚焦控制。

这也可以应用于其它摄像条件的参数。例如，对于预测性曝光控制，如果主被摄体是特定的人，从摄像控制参数存储单元中读出适用于人的曝光量和色彩校正处理参数。

在步骤S40D中，在时间序列中检测人区域中光度量的变化数据。

在步骤S40E中，控制相应的最佳拍摄条件(例如，曝光量、缩放和聚焦)。适用于特定人的曝光量是在调节白平衡时设置的曝光量，从而获得在给定的照明条件下适用于此人的预定肤色。

更具体地，类似于图像输入定时的预测，状态变化估计单元24基于主被摄体区域的平均光度量的时间序列数据，线性或非线性地预测下一帧中或预定时间之后的光度量。摄像条件控制单元10通过从预先存储于预定存储器中的查找表中查询数据，从预测的光度量中确定曝光控制参数(例如，传感器中的积累时间和读取定时)。随后，摄像条件控制单元10控制下一帧或预定时间之后的曝光。查找表的数据采用表形式，其记录了光度量数据和相应的控制参数值(例如，与传感器中积累时间相关的参数值和从传感器的读取间隔)。

在步骤S40E中，为了执行预测性控制从而帧中的主被摄体的尺寸落在预定的范围内，控制缩放量以拍摄尺寸在该范围内的被摄体。当主被摄体是人的面部时，个体之间面部的尺寸并非很不相同。令d为人到摄像单元之间的距离，f为焦距，S为面部(主被摄体)尺寸，s为帧中所拍摄的面部(主被摄体)的尺寸，有如下关系成立：s＝(f/d-f)·S  (d＞f)。

为了保持主被摄体的尺寸为常数，执行以下处理。即，从距离信号(与到预定距离测量区域内的主被摄体的距离相对应的信号)中估计d，该距离信号是从包含在图像输入处理控制单元27中的AF控制电路(未示出)的距离检测单元中获得的。控制焦距f使得帧中的主被摄体尺寸s保持在预定范围内。当在帧内的多个部分设置了距离测量区域时，可以只在检测到主被摄体的位置处的距离测量区域内获得距离信号。

注意，预测性的缩放控制可以如下执行。更具体地，预测当帧中主被摄体的尺寸s大于帧尺寸或者变为等于或小于预定尺寸时的时刻。在当前时刻到达预定时刻之前，在前一种情况中(当尺寸s变为大于帧尺寸时)控制放大倍率减小，或者在后一种情况中(当尺寸s变为等于或小于预定尺寸时)控制放大倍率增大。这时，可以基于直到预测时刻的到达时间T1和帧中主被摄体尺寸的变化率R来获得放大倍率的可控变量P。例如，通过P＝C₁/{(1+C₂T₁)R}(C₁和C₂为正常数)获得可控变量P。

作为主被摄体区域的简单估计，例如，通过主被摄体检测单元23只检测到人的面部区域的中心位置，可以从基于以上方程计算得到的尺寸s估计区域。可以通过众所周知的方法(例如，在日本特开平08-278528号公报中公开的方法)得到区域的光度信息，以基于此结果控制曝光等。

在第二实施例中，状态变化估计单元24预测在当前图像输入时刻之后的预定时刻或在预定帧之后的图像输入定时，主被摄体的至少一个参数。这些参数包括，例如，帧内主被摄体的位置、形状或尺寸、典型的亮度值、典型的对比度以及色相(hue)和亮度分布。摄像条件控制单元10使用所预测的参数值中的至少一个来控制摄像光学系统21的光轴方向、放大倍率、焦点位置和曝光量的条件中的至少一个。

作为对每个参数预先设定的控制规则，例如，将光轴方向(摄像方向)控制为使得主被摄体总是靠近帧的中央。作为其它参数，例如，控制放大倍率以保持主被摄体的尺寸在预定的范围内(基于图像总尺寸比率的参考)。例如，控制聚焦以总是保持主被摄体的聚焦度接近于最大值(或局部最大值)。例如，控制曝光量以保持主被摄体的主要部分的平均亮度值在预定的范围内。

选择要进行预测的参数是变化率或变化(或者随时间序列数据的方差值)大于为每个参数所设定的基准值的参数。假设要被控制的摄像条件对每个要进行预测的参数进行定义。例如，当预测主被摄体的位置时，为了光轴方向和尺寸控制焦点位置(放大倍率也可以被控制)，为了典型的亮度值或典型的对比度控制曝光量。

通过基于根据第二实施例的状态变化估计单元24的预测来控制摄像条件，即使在主被摄体位置距离和照明条件突变时，也能够实现对被摄体状态变化具有高跟踪性能的摄像操作。

如上所述，根据第二实施例的结构除了第一实施例的结构外，还包括摄像条件控制单元10和距离测量单元29。预测与被摄体的摄像相关的参数，并基于所预测的参数控制摄像条件。利用根据第二实施例的结构，可以进行响应复杂环境变化的适当的摄像操作。

第三实施例

在第三实施例中，除了以上的结构外，基于检测主被摄体(人)的运动模式(运动模式的内容)的结果自动控制(变化)摄像条件。

图6是示出根据第三实施例的摄像装置的主要部分的结构的框图。如图6所示，根据第三实施例的摄像装置包括：摄像光学系统31，视频输入单元32，主被摄体检测单元33，状态变化估计单元34，图像记录单元35，模型数据存储器36，图像输入处理控制单元37，摄像模式设置单元38，以及摄像条件控制单元300。这些单元与图1中的单元1到8以及图2中的单元10相同，省略对其的详细描述。

除了上述结构之外，根据第三实施例的摄像装置还包括用于主被摄体的运动检测单元39。当运动检测单元39检测到主被摄体的预定运动时，图像输入处理控制单元37和摄像条件控制单元300执行图像输入速率的变化、对主被摄体的缩放、以主被摄体为中心的曝光、聚焦条件的设置等。图像输入速率的变化是从正常速率增加或者降低图像速率，该正常速率是当运动检测单元39没有检测到任何运动时所用的速率。缩放、聚焦和曝光条件的复合控制与第二实施例中的处理相同，省略对其的描述。

改变图像输入速率的目的是为了详细地拍摄和记录具有显著(重要)的运动的内容。当图像输入速率设为高(低)时，来自传感器的光电变换信号的读取速率设为高(低)。通常，当读取速率设为高时，对于从传感器输出并被放大器放大的信号的放大因子被控制为增大。

当主被摄体是人或动物时，通过运动检测单元39检测的运动是主被摄体的身体运动。身体运动是给定体育运动(sport)的特定运动模式(例如，当主被摄体打高尔夫球、网球或棒球时挥击的运动)，舞蹈时的特定姿势，具有特定意义的手势或手势信号，跑步者整个身体或头部的运动。当主被摄体是车辆例如汽车、两轮车或火车时，检测车流中不正常的状态，并且对应到事故，例如撞击、碰撞、倾翻或侧翻。当类似于后一情况主被摄体是车辆，并且检测到事故状态时，图像输入速率增加，或者设置为没有输入图像在介质上正常地记录的运动模式(当检测为无事故状态时)。通过这种设置，在检测到事故状态前后预定时间范围内记录运动图像。

用来检测人的典型运动的识别处理使用已知的技术。例如，对使用例如球拍或球棒这类工具的挥击运动，例如球类比赛，如下进行检测。更具体地，检测人的面部的朝向、手腕(或手掌或手指)的位置以及工具的位置和姿态。可以检测到在从预定的观察点位置进行观察的图像中，当保持预定的相对位置关系时，这些特征点跟随着给定范围内的轨迹变化。

例如，为了检测打网球时的挥击运动，球拍表面的重心、柄的位置、手腕的位置、头的位置、身体的腿的膝盖和脚踝的位置等设置为运动检测的特征点。手腕位置接近于拍柄并且手腕在水平平面内大范围地移动的状态被检测为挥击运动。

为了这个目的，运动检测单元39包括：头检测单元(未示出)、面部位置/方向检测单元(未示出)、手腕(或手掌或手指)检测单元(未示出)、工具位置/方向检测单元(未示出)以及运动类别确定单元(未示出)。代替这些单元，可采用被摄体检测/识别单元作为主构造部件，其与多个类别相兼容并且包括检测头、面部、手和工具的功能。

参考图11说明上述处理的流程。图11是示出根据第三实施例的运动检测单元39所执行处理的流程的流程图。

图11中的处理在图3中的步骤S3后执行(例如，介于步骤S3和S4之间)。在步骤S1101中，基于例如在步骤S3中抽取的主被摄体状态判断主被摄体的运动是否被检测到。如果检测到运动(在步骤S1101中为“是”)，流程前进到步骤S1102；如果没有检测到运动(在步骤S1101中为“否”)，前进到步骤S1103。

在步骤S1102中，进行根据被摄体的运动提高摄像速率的处理。然后，图11中的流程结束。

在步骤S1103中，进行正常摄像控制。然后，图11中的流程结束。

如上所述，根据第三实施例的结构含有处理电路(运动检测单元39)，其用来检测和识别人或车辆，还检测特定的运动或状态。当检测到特定的移动或状态时，控制图像输入速率增加。这能够实现不错过任何重要场景的拍摄机会的拍摄。

第四实施例

图12是示出根据本发明第四实施例的摄像装置的结构的框图。图13是示出图12中的摄像装置的操作的流程图。

在图12中，附图标记61表示用户界面。用户界面61允许输入为摄像机的视角和自动调焦而调节光学系统63和缩放64等的指令，调节光圈65的指令，记录(连续摄像)开始/结束指令，对拍摄条件和图像条件(例如微笑或防止眨眼)的指定等。附图标记62表示摄像机控制电路，其用来对光学系统63和缩放64进行缩放控制和自动调焦控制，驱动光圈65，将电荷信号从例如CCD的摄像元件66传送到缓冲存储器67和68，并且控制记录控制电路610和611获取连续图像。

附图标记67和68表示缓冲存储器。缓冲存储器68以预定的分辨率存储图像，该图像是根据来自摄像机控制电路62的记录开始指令以预定速率(例如30毫秒/帧)连续拍摄的。与缓冲存储器68相比，缓冲存储器67是用于更高分辨率和/或多色调的高质量缓冲存储器。缓冲存储器67根据从摄像机控制电路62输出的预定触发信号存储一帧图像。

图像分析电路69分析缓冲存储器68的内容，并且当它们满足预定拍摄条件和图像条件时(例如微笑或防止眨眼)，将记录信号输出到记录控制电路610。附图标记610和611表示记录控制电路。记录控制电路611根据来自摄像机控制电路62的记录开始指令，在记录介质613上以预定的速率(例如3毫秒/帧)记录存储于缓冲存储器68中的图像数据。

记录控制电路610仅当记录信号从图像分析电路69输入时，在记录介质612上记录存储于缓冲存储器67中的一帧图像数据。记录介质612和613长期保存图像数据，它们的例子为磁带、光盘和半导体存储器(例如，闪速(flash)ROM)。图12示出两个记录介质，但是当存储器能够随机访问并且允许独立地在两部分写入各自的数据时，一个记录介质即可。此外，当存储器能够以足够高的速度随机访问时，通过进行时分(time-division)写入，记录介质的数量能被降低到一个。

参考图13的流程图说明图12中摄像装置的操作。

当摄像装置打开时，通过使用者操作设置所希望的条件(例如，微笑或防止眨眼)(步骤S6101)。同时，设定所希望的图像获取数量。当设置了所希望的条件而没有设置图像数量时，或者当图像数量设置为大于记录介质612上可记录的数量时，记录介质612上可记录的最大数量可被设置为指定数量。这时，提示使用者确认图像数量的警告也可被输出到用户界面61。

判断是否进行视频记录(步骤S6102)。在这种情况下，通常判断使用者是否按下记录按钮或者记录信号是否从外部装置输入。如果检测到视频记录的开始，则摄像机控制电路62以预定的分辨率和更新过的速率，在缓冲存储器68中存储摄像元件66所拍摄的图像数据(步骤S6103)，并在记录介质613上顺序记录图像数据(步骤S6107)。

同时，在步骤S6103中当帧被存储时，高质量(高像素数和/或多色调)的图像数据在缓冲存储器67中存储并保持(步骤S6104)。一旦保持了图像数据，即使缓冲存储器68被更新，缓冲存储器67的内容也被保持，直到输入记录信号或放弃信号。与缓冲存储器67的存储时刻同时地，缓冲存储器68的内容传送到图像分析电路69，并且在使用者指定的条件下(例如微笑)进行条件分析/检测处理(步骤S6105)。判断步骤S6105中的检测结果是否满足指定条件(步骤S6106)。在这种情况下，基于计数器614中所记录的计数，判断记录数量是否等于或者小于指定的数量。如果步骤S6105中的检测结果满足指定的条件，则记录信号输出到记录控制电路610，从而将缓冲存储器67的内容写入记录介质612中并且递增计数器614。如果步骤S6105中的检测结果不满足指定的条件，则在缓冲存储器68的下一存储定时，放弃信号输出到摄像机控制电路62以更新缓冲存储器67。

图14是示出上述操作的时序图。在图14中，“Vrate”代表视频速率，以视频速率Vrate的频率更新连续的图像。在图14中，连续图像数据和高质量图像数据在t0、t1和t2同时存储于缓冲存储器67和68中，并且使用连续图像数据进行分析。通常，高质量图像具有大的数据量，并占用长的处理时间。在这个例子中，使用两帧的连续图像数据，直到高质量图像数据记录在记录介质上。

注意，存储于缓冲存储器67中的高质量图像数据不总是记录在记录介质上。通过准备写入缓冲存储器，在其中临时存储图像数据，并且当没有图像数据保存时将图像数据写入缓冲存储器，可以提高每个单位时间的写入频率。也可以准备多个用来存储高质量图像数据的缓冲存储器，并且准备相同数量的缓冲存储器用来分析和检测条件。在这种情况下，即使当从连续图像中连续检测到满足指定条件的图像数据时，也能在记录介质上连续记录它们，除非图像数据的数量超过缓冲存储器的帧的数量。

在图15的例子中，准备两个帧中的每一个的缓冲帧，高质量图像数据在时间t0、t1、t2、t3...交替地存储于两个缓冲器中，其帧数与连续图像数据的数量相同。分析数据被临时保存在分析缓冲器62中，并且在所有的帧都被分析后，能够判断是否记录帧，以在记录介质上记录帧。

作为用来分析被摄体状态的方法，可以是人检测、人识别、面部表情识别、形状识别等。下面说明进行人检测的例子。为了检测人，希望使用人的特征出现得最多的面部。图16A到16D是用来说明从拍摄的图像数据中指定面部区域的一系列处理的视图，其在上述日本特开2004-294498号公报中描述。

作为简单线段的一次特征量621到624从图像中抽取(已知的抽取方法为小波变换、神经网络方法等)。结合一次特征量621到624以抽取二次特征量625到628，结合二次特征量625到628以抽取三次特征量629和630。在此例中，特征量629代表眼睛，特征量630代表嘴。三次特征量629和630进一步结合以抽取四次特征量631(面部特征量)。帧是否包含面部可以从四次特征量631中判断，人能被检测到。由于图像中面部的组成部分(眼睛、嘴等)的位置和边缘能通过抽取三次特征量而获得，面部表情(例如微笑)、眨眼等也能基于图像中的组成部分之间的相对位置关系以及组成部分所占据的面积进行检测。注意，图16A到16D示出从图像中检测人的例子。为了进行人检测、人识别、面部表情识别以及形状识别，可以使用色彩信息或者执行模板匹配。

以这种方式，根据第四实施例，使用相同的光学系统(相同的视角、焦点以及光圈条件)，同时获取并临时保存连续图像和高质量图像。通过在相同定时使用小数据容量的连续图像的帧，可以选择是否记录高质量图像。因此，由于对高质量图像的拍照机会能通过随后的分析得到，而没有为高质量图像准备大尺寸、高速记录介质，所以不会发生拍摄失败。由于通过指定记录数量来自动得到被指定的数量，拍摄者能够集中精神拍摄运动图像，并且能够不影响运动图像的记录地以高图像质量记录在运动图像拍摄过程中所出现的拍照时机的图像，例如瞬间的面部表情。

第五实施例

图17是示出根据本发明第五实施例的流程图。

在第五实施例中，与第四实施例不同，仅通过使用者等设置所希望的条件(例如微笑或者防止眨眼)(步骤S6201)。从步骤S6202到步骤S6205的处理与第四实施例中的处理相同，省略对其的描述。如果在步骤S6205中判断为与要保存的高质量图像同时获取的一帧运动图像满足条件，则摄像机控制电路62通过用户界面61通知使用者得到候选图像(步骤S6206)。在步骤S6206中，使用者可识别出最佳拍摄候选图像是在缓冲存储器67中得到的。使用者选择是否保存图像数据(步骤S6207)。基于使用者的选择，图像数据写在记录介质上(步骤S6209)，或者放弃(步骤6210：实际上允许覆盖)。

步骤S6206中的通知可以通过各种方法执行。

图18A到18D示出了当用户界面61通过例如液晶显示器的图像显示单元632实现时，在步骤S6206中的通知操作的例子。在图18A和18B中，当满足条件的图像(在这个例子中，微笑)未被检测到时，连续图像即运动图像以预定的帧速在图像显示单元632上显示。在图18C中，当微笑图像由图像分析电路69获取和检测到时，在图18C之后的图18D中，用于分析的图像634这时显示在运动图像上，通过文字信息633等通知使用者已获得了目标图像。此时，以预定的间隔闪烁图像634，或者用粗的或彩色的框包围它是非常有效的，因为这样显示能够唤起使用者的注意。出于相同原因，也能同时输出音频通知(例如口头通知、音乐片断、警报或动物声)。在图18A到18D中，文字信息633仅通过文字显示，但也可以显示图标或者图标和文字两者。运动图像与被检测到的图像的重叠持续到使用者等选择保存或者放弃(步骤S6207)。代替明确的放弃指示，结构也能够被设计为当使用者在步骤S6206中的通知之后的预定时间段内没有输入保存指令时，解释为使用者选择放弃。根据此方法，运动图像放大显示，当运动图像具有更大的权重时这是有效的。

图19A到19D示出了在步骤S6206中执行通知的另一个例子。对于图19A到19C的处理与图18A到18C相同，省略对其的描述。在图19C中，当微笑图像被图像分析电路69获取和检测到时，微笑图像再一次显示在图19C之后的图19D中的主要部分。此时的运动图像被重写并显示在图像的部分635上(在图19D中，为了说明方便，部分635以点的形式显示，实际中不显示点)。区域635布置在这样的位置，使得通过图像分析电路69检测到的区域636(在图19D中，为了说明方便，区域636用阴影线显示，实际中不显示阴影线)和此时运动图像被重写的区域635之间的重叠部分最小。此时，通过文字信息633等通知使用者已经获得了目标图像。与图18D相似，通过以预定的间隔闪烁图像，用粗的或彩色的框包围图像，输出音频通知，或者显示图标，可以唤起使用者的注意力。根据此方法，被检测到的图像放大显示，当高质量的图像具有更大的权重时这是有效的。

第五实施例的优点在于允许使用者根据其爱好选择被检测的图像。因此，对于用来保存高质量图像的记录介质的容量较小，并且拍摄了不需要的图像情况下所引起的对存储位置的需要，第五实施例能防止存储位置的不足。

第六实施例

图20是示出根据本发明第六实施例的流程图。

在步骤S6301到步骤S6303以及步骤S6308中的处理与第四实施例中步骤S6101到步骤S6103和步骤S6107相同。如果在步骤S6302中选择视频记录，则以预定的间隔拍摄图像(步骤S6303)，并且记录在记录介质上(步骤S6308)。如果在步骤S6304中在连续图像记录状态下使用者输入检测开始指令，则执行与第四实施例中相同的处理。更具体的，在步骤S6304之后，在缓冲存储器中保持高质量图像(步骤S6305)，进行对于同时的连续图像帧的条件分析/检测处理(步骤S6306)，判断是否保持图像(步骤S6307)，将图像数据记录在记录介质上(步骤S6309)，以及放弃高质量图像数据(步骤S6310)。

在步骤S6304中用来输入检测开始指令的单元以图12中的用户界面61实现，利用推动开关以及操纵杆，通过视线、脑电波等的输入是可以想象到的。第六实施例可以用在如下情况中：例如，当记录在运动会中奔跑的儿童等时，拍摄儿童到达终点的时刻；或者记录鸟的振翼飞行，拍摄它落在树上的时刻。在这些场景中，目标在记录开始时小，很难自动地确定目标。当其它儿童或鸟接近拍摄目标时，不必要的图像被拍摄。

这种情况对应于例如图21A和21B中的情况。图21A和21B示出在记录开始时和在儿童(图21A和21B中的人A)到达终点时的场景。在图21A的场景中，不必要的被摄体(人B)比目标(人A)大。在步骤S6307中，可能对人B进行匹配判断而获取不需要的图像。结果，消耗了记录介质的容量，在图21B的必要场景中没有记录高质量图像。为了防止这个问题，使用者确定目标的粗状态，并指定检测开始定时(在图21A和21B中，当人A跑到接近终点时，检测开始)，因此极大地减少了获取浪费的图像的可能性。即使在这种情况下，与传统的混合摄像机不同，不用害怕省略运动图像的帧，与人工释放快门的情况不同，不用害怕错过决定性的时机。

在步骤S6304中，当没有输入检测开始指令时，摄像机控制电路62的负荷很小。因此，与高质量图像在记录中总是被缓存和分析的第四实施例相比，第六实施例能够有利地减少功率消耗并提高其它控制(自动调焦或光圈调整)的频率。

如上所述，根据本实施例，能同时拍摄连续拍摄的运动图像以及高质量静止图像，并且高质量静止图像的拍摄不影响运动图像的拍摄并且不会错过任何拍照时机。

其它实施例

上面已详细描述了本发明的实施例。本发明能将实施例作为系统、装置、方法、程序、存储介质等。更具体地，本发明可以应用于包括多个装置的系统或由单个装置形成的装置。

通过将用来实现上述实施例的功能的程序直接或从远程提供给系统或装置，并且利用系统或装置的计算机读出并执行所提供的程序代码，也能实现本发明。

因此，本身安装在计算机中，为了通过计算机执行本发明的功能处理的程序代码也落在本发明的技术范围之内。即，本发明包括用来执行本发明的功能处理的计算机程序本身。

在这种情况下，本发明可以采用目标代码、通过解释程序执行的程序、或提供给OS的脚本数据的形式，只要能实现程序的功能即可。

用来提供程序的记录介质的例子为软盘、硬盘、光盘、磁光盘、MO、CD-ROM、CD-R、CD-RW、磁带、非易失存储卡、ROM以及DVD(DVD-ROM和DVD-R)。

作为另一种程序提供形式，根据本发明的计算机程序可以利用客户计算机的浏览器通过将客户计算机连接到因特网网页上从因特网网页上下载，或者包含自动安装功能的压缩文件可被下载到记录介质例如硬盘上。通过将形成本发明程序的程序代码分组为多个文件，从不同的网页上下载文件，也可以执行此程序。即，本发明也包括WWW服务器，该服务器允许多个使用者下载用来由计算机执行的本发明的功能处理的程序文件。

以下提供形式也是可以考虑的。即，对根据本发明的程序进行加密，存储于例如CD-ROM的记录介质中，并分发给使用者。允许满足预定条件的使用者通过因特网从网页上下载解码密钥信息。使用者使用密钥信息执行解码程序，并将程序安装在计算机中，实现根据本发明的配置。这种提供形式也是可行的。

当计算机执行所读出的程序代码时，上述实施例的功能得以实现。也可假定以下实施例。即，在计算机上运行的OS等基于程序指令实现某些或者全部实际处理。该处理也能实现上述实施例的功能。

此外，当从记录介质读出的程序写在插入计算机的功能扩展板的存储器中或者与计算机相连接的功能扩展单元的存储器中，可以基于程序指令实现上述实施例的功能。即，功能扩展板或功能扩展元件的CPU进行某些或者全部实际处理。这些处理也可以实现上述实施例的功能。

如上所述，本发明能够提供一种与摄像装置相关的技术，该技术不需要任何大容量存储器并且能够以更为合适的状态获取图像。

由于在不脱离本发明的精神和范围的情况下可以做出本发明的很多明显不同的实施例，因此应当理解，除了由所附权利要求书限定之外，本发明不局限于具体实施例。

Claims (24)

1.一种摄像装置，包括：

摄像单元，用于拍摄被摄体的图像并顺序获取与该图像拍摄相关的图像数据；

存储单元，用于存储从模型图像中的所述被摄体的特征点计算的、与第一特征量相关的模型数据；

计算单元，用于从所获得的图像数据中的所述被摄体的特征点来计算第二特征量；

第一估计单元，用于基于所述第二特征量和所述模型数据来估计所述被摄体满足预定条件的定时；以及

控制单元，用于将对应于所估计的定时的图像数据存储在图像数据存储单元中。

2.根据权利要求1所述的摄像装置，其特征在于，所述控制单元还基于所估计的定时控制所述摄像单元获取所述图像数据的定时。

3.根据权利要求1所述的摄像装置，其特征在于，所述第一估计单元对所述模型数据与基于顺序获取的所述图像数据分别计算的所述第二特征量之间的差异的变化进行估计。

4.根据权利要求1所述的摄像装置，其特征在于，还包括：

获取单元，用于获取拍摄所述被摄体的图像的环境的参数；

确定单元，用于基于所获取的参数确定在所估计的定时所述摄像单元的摄像条件，

其中，所述摄像单元在所确定的摄像条件下，在所估计的定时拍摄图像。

5.根据权利要求4所述的摄像装置，其特征在于，所述摄像条件包括焦点调节、曝光量、白平衡、缩放率以及摄像方向中的至少一个的控制条件。

6.根据权利要求4所述的摄像装置，其特征在于，还包括：

检测单元，用于检测在所述图像数据中所述被摄体占据的区域；以及

第二估计单元，用于基于所述计算单元计算的所述第二特征量和所述模型数据，来估计所检测的区域在所述图像数据中的位置、尺寸、代表亮度值、代表对比度以及所检测的区域的速度向量中的至少一个参数，

其中，所述确定单元基于所估计的参数确定所述摄像条件。

7.根据权利要求6所述的摄像装置，其特征在于，所述确定单元确定所述摄像条件，使得所述至少一个参数与对应的基准值之间的差异落在预定范围内。

8.根据权利要求1所述的摄像装置，其特征在于，所述预定条件是所述被摄体进行预定运动。

9.根据权利要求8所述的摄像装置，其特征在于，所述摄像单元在所述第一估计单元估计的所述被摄体进行所述预定运动的定时增加图像的摄像速率。

10.根据权利要求1所述的摄像装置，其特征在于，

所述被摄体包括人的面部，以及

所述预定条件是所述面部呈现出预定的面部表情。

11.一种控制摄像装置的方法，包括：

摄像步骤，用于拍摄被摄体的图像并顺序获取与该图像拍摄相关的图像数据；

存储步骤，用于在存储单元中存储从模型图像中的所述被摄体的特征点计算的、与第一特征量相关的模型数据；

计算步骤，用于从所获得的图像数据中的所述被摄体的特征点来计算第二特征量；

第一估计步骤，用于基于所述第二特征量和所述模型数据来估计所述被摄体满足预定条件的定时；以及

控制步骤，用于将对应于所估计的定时的图像数据存储在图像数据存储单元中。

12.一种摄像装置，包括：

摄像单元，用于拍摄被摄体的图像并获取图像数据；

保持控制单元，用于从所述摄像单元同时获取第一图像数据和第二图像数据，使第一数据保持单元临时保持所述第一图像数据，使第二数据保持单元临时保持所述第二图像数据；

分析单元，用于通过使用所述第二图像数据来分析所述被摄体的状态；以及

记录控制单元，用于控制在记录介质上连续记录所述第二图像数据，并基于所述分析单元的分析结果控制是否将所述第一图像数据记录在所述存储介质上。

13.根据权利要求12所述的摄像装置，其特征在于，与所述第二图像数据相比，所述第一图像数据具有高分辨率和多色调中的至少一个。

14.根据权利要求12所述的摄像装置，其特征在于，

所述保持控制单元使所述第一数据保持单元保持所述第一图像数据直到进行了所述分析单元的分析和在记录介质上的记录为止，所述第一图像数据不用于所述分析单元的分析处理并与进行所述分析处理的所述第二图像数据同时获得，以及

所述记录控制单元控制为当指定在所述记录介质上记录时在所述记录介质上记录所述第一图像数据，所述保持控制单元控制为当指定不在所述记录介质上记录时废弃所述第一图像数据。

15.根据权利要求12所述的摄像装置，其特征在于，所述第一数据保持单元和所述第二数据保持单元包括多个第一数据保持单元和多个第二数据保持单元，以及

保持所述第一图像数据和所述第二图像数据的多个组合。

16.根据权利要求12所述的摄像装置，其特征在于，所述记录介质包括多个记录介质，以及

所述第一图像数据记录在第一记录介质上，所述第二图像数据记录在第二记录介质上。

17.根据权利要求12所述的摄像装置，其特征在于，所述分析单元对所述第二图像数据执行人物检测、人物识别、面部表情识别以及形状识别中的至少一个。

18.根据权利要求12所述的摄像装置，其特征在于，还包括：

设定单元，用于设定所述分析单元执行分析的条件；以及

指定单元，用于指定要记录在记录介质上的图像的数量，

其中，满足所述条件的第一图像数据被顺序记录在所述记录介质上，当所述第一图像数据达到所述指定单元所指定的图像数量时，结束所述第一图像数据的记录。

19.根据权利要求18所述的摄像装置，其特征在于，还包括指示单元，该指示单元用于指示开始获取所述第一图像数据和所述第二图像数据，

其中，所述记录控制单元控制为当未指示开始获取时在所述记录介质上不记录所述第一图像数据而记录所述第二图像数据，以及

所述记录控制单元控制为当指示开始获取时将满足所述条件的所述第一图像数据顺序记录在所述记录介质上，当所述第一图像数据达到所述指定单元指定的图像数量时结束所述第一图像数据的记录。

20.根据权利要求18所述的摄像装置，其特征在于，还包括：

通知单元，用于通知存在满足所述条件的第一图像数据；以及

确定单元，用于在所述通知单元的通知之后确定是否在所述记录介质上记录所述第一图像数据，

其中，当所述确定单元指示记录所述第一图像数据时，所述第一图像数据被记录在所述记录介质上，当所述确定单元指示废弃所述第一图像数据时，废弃所述第一图像数据。

21.根据权利要求20所述的摄像装置，其特征在于，还包括显示单元，该显示单元用于显示满足所述条件的所述第一图像数据，

其中，当未检测到满足所述条件的所述第一图像数据时，所述显示单元显示所述第二图像数据，当检测到满足所述条件的所述第一图像数据时，所述显示单元可区分地显示所述第一图像数据和所述第二图像数据。

22.根据权利要求21所述的摄像装置，其特征在于，当所述第一图像数据和所述第二图像数据互相重叠并被显示时，所述显示单元将所述第一图像数据和所述第二图像数据布置为使所述第一图像数据和所述第二图像数据互相重叠的区域最小。

23.根据权利要求20所述的摄像装置，其特征在于，当在预定时间段内没有做出记录指令时，所述确定单元判断为指示废弃。

24.一种摄像方法，包括：

摄像步骤，用于拍摄被摄体的图像并获取图像数据；

数据保持步骤，用于同时获取所述摄像步骤中的第一图像数据和第二图像数据，将所述第一图像数据临时保持在第一数据保持单元中，将所述第二图像数据临时保持在第二数据保持单元中；

分析步骤，用于通过使用所述第二图像数据来分析所述被摄体的状态；以及

记录控制步骤，用于控制在记录介质上连续记录所述第二图像数据，并基于所述分析步骤的分析结果控制是否将所述第一图像数据记录在所述存储介质上。

Images