CN101262561B - 成像设备及其控制方法 - Google Patents

Abstract

本发明公开一种成像设备及其控制方法。数码相机具有人物提取装置、非人物提取装置和构成判断装置。人物提取装置通过分析图像数据而提取人物图形区域。非人物提取装置通过分析由人物提取装置提取的人物图形区域以外的区域，而提取人物图形区域以外的主被摄物。构成判断装置根据提取的结果评估对人物图形与主被摄物的布置，并且判断构成是否合适。基于该构成是否合适，确定记录图像数据的定时。优选地，控制记录装置以便在所确定的定时记录图像数据，或者向用户通知该定时。

Description

成像设备及其控制方法

技术领域

本发明涉及基于要拍摄的图像的构成来执行拍摄控制的成像设备及其控制方法。本发明还涉及通过使用语音作为触发来执行自动拍摄的成像设备及其控制方法。

背景技术

数码相机的AE(自动曝光)和AF(自动聚焦)功能逐年改进，甚至使得对操作相机不熟悉的人也能够拍摄出明亮色彩的清晰图像。但是，使用相机进行图像捕捉的方式以及何时按下快门释放按钮仍旧取决于拍摄者的技术。因此，对于初学者来说，要拍摄出具有适当构成的图像仍旧困难。

为了解决这个问题，日本待审专利公开2001-051338公开了一种相机，其通过识别人物面部的朝向从而基于有关人物面部是否在预定方向的判断来控制记录操作。但是，日本待审专利公开2001-051338公开了一种控制拍摄的方法，其只用于拍摄一个人的情况，而没有公开用于拍摄多个人或人物以外的其他目标的情况的控制拍摄的方法。同时，日本待审专利公开2006-203346公开了一种相机，其通过分析拍摄场景的构成而设置拍摄条件。但是，日本待审专利公开2006-203346提议通过除检测人脸之外还检测天空并且检测被摄图像的倾斜来拍摄控制，没有公开人脸和天空之外的目标的控制拍摄的具体方法。

作为解决上述问题的另外一种方法，已经试图通过基于在按下快门释放按钮之前获得的图像而控制图像数据记录的定时来以适当的构成而获取图像。日本待审专利公开2000-196934公开了一种成像设备，其关注被拍摄的图像的预定部分并且在该部分变化时操作快门。但是，该成像设备通过仅仅关注用户所指定的预定部分来执行控制，不执行考虑整个图像构成的拍摄控制。

此外，作为解决该问题的另一种方法，已经提议通过使用特定语音作为指示拍摄时机的触发来执行自动拍摄的数码相机。例如，日本待审专利公开2006-184589公开了一种数码相机，其通过在通过识别检测到从相机麦克风输入的特定短语时进行自动拍摄操作而获得图像。尽管通过使用语音作为触发而执行自动拍摄的数码相机很方便，但是，相机有时会执行不必要的操作来响应无关的语音。例如，在诸如观光点的地方，大量的人聚集在一起，这样的相机可能会对邻近的陌生人的语音也产生响应。在拍摄群体照片的情况下，当有人说“茄子(saycheese)”而没有考虑未完成的拍摄准备时，这样的相机也可能会执行拍摄。

发明内容

本发明解决了现有技术中的上述问题，本发明的目标是提供一种成像设备，其使得初学者能够容易地拍摄出构成合适的图像。本发明的另一目标是在保持使用语音作为触发而带来的自动拍摄的便利的同时，解决不必要地执行自动拍摄操作的不便。

为了取得上述的目标，本发明提供了三种类型的成像设备。

第一成像设备包括用于通过拍摄场景而生成表示场景的图像数据的成像装置以及用于在预定记录介质中记录由成像装置所生成的图像数据的记录装置。所述第一成像设备进一步包括：人物提取装置、非人物提取装置、构成判断装置和记录定时确定装置，下面将描述所有这些装置。

人物提取装置通过分析所述成像装置所生成的图像数据而提取表示一个或多个人物图形的一个或多个图像区域。例如，所述人物提取装置在图像数据中执行人物面部搜索，并且输出表示通过所述搜索而检测到的人物面部的数目以及每一人物面部的位置和大小的信息，作为提取的结果。在此情况下，可以识别在所述搜索中检测到的一个或多个面部的面部表情，由此进一步输出表示识别出的面部表情的信息。此外，所述人物提取装置可以识别在图像数据中包括的一个或多个人物图形的姿势，由此可以输出表示识别出的姿势的信息，作为提取结果。

非人物提取装置通过从所述成像装置所生成的图像数据中分析由所述人物提取装置提取的所述一个或多个图像区域以外的图像区域，而提取所述一个或多个人物图形以外的主被摄物。例如，所述非人物提取装置通过使用高通滤波器对图像数据执行滤波处理来提取所述主被摄物。可替换地，所述非人物提取装置可以在图像数据中包括的目标中识别预定的预先登记的目标，从而提取目标作为所述主被摄物。此外，所述非人物提取装置可以通过使用上述的两种方法来提取所述主被摄物。

构成判断装置根据所述人物提取装置的提取结果和所述非人物提取装置的提取结果，评估对所述一个或多个人物图形与所述一个或多个人物图形以外的所述主被摄物的布置是否满足预定条件，并且根据对所述布置的评估来判断图像数据的构成是否合适。

记录定时确定装置基于所述构成判断装置的判断结果来确定记录图像数据的定时。

在本发明的实施例中，除了成像装置、记录装置、人物提取装置、非人物提取装置、构成判断装置和记录定时确定装置之外，所述第一成像设备还包括记录控制装置，用于控制所述记录装置以便在由所述记录定时确定装置所确定的定时记录图像数据。在这个实施例中，当拍摄构成合适的图像时，自动地记录图像数据。因此不管拍摄者的技能如何，总是可以获得构成合适的图像。

在本发明的另一实施例中，所述第一成像设备包括通知装置，用于通知由所述记录定时确定装置所确定的定时。在得到通知装置的通知后，拍摄者知道获得构成合适的图像的定时。因此，通过在得到通知的定时按下快门释放按钮，可以容易地获得构成合适的图像。

本发明的第一成像设备可以进一步包括：构成建议装置，用于通过使用所述人物提取装置和所述非人物提取装置的提取结果来确定满足预定条件的所述一个或多个人物图形与所述主被摄物的布置；以及拍摄控制装置，用于控制所述成像装置的操作，以便生成以所述构成建议装置所确定的布置来布局所述一个或多个人物图形与所述主被摄物的图像数据。在包括构成建议装置和拍摄控制装置的配置中，在拍摄到的图像的构成不合适的情况下，此后改变成像装置的操作(诸如放大)。因此，改进了构成，并且可以快速地获得构成合适的图像。

本发明的第一成像设备可以进一步包括：上述的构成建议装置；以及图像处理装置，用于对图像数据执行图像处理，以便使得所述一个或多个人物图形与所述主被摄物的布置同所述构成建议装置所确定的布置相一致。在包括构成建议装置和图像处理装置的配置中，在拍摄到的图像的构成不合适的情况下，可以通过图像处理自动地生成构成合适的图像。因此，可以快速地获得构成合适的图像。

优选地，所述记录装置在所述记录介质中与图像数据一起记录所述人物提取装置和所述非人物提取装置的提取结果。这样，当在个人计算机等上编辑记录在记录介质中的图像数据时，可以通过使用提取结果而编辑图像数据。

除了上述的装置，第一成像设备还可以包括语音分析装置，用于通过分析输入的语音来执行对与语音有关的预定特征的检测。例如，所述语音分析装置检测预定音量变化、预定短语、或者已经预先登记为预定人语音特征的特征，作为预定特征。在此情况下，所述构成判断装置基于由所述语音分析装置所检测到的预定特征与对所述布置的评估来执行有关图像数据的构成是否合适的判断。而且，优选地，在此情况下，所述记录装置在所述记录介质中与图像数据一起记录所述人物提取装置和所述非人物提取装置的提取结果与所述语音分析装置的检测结果。通过除了在判断构成时进行评估之外还考虑语音，可以在更加合适的定时记录图像数据。

本发明的第一控制方法是这样一种方法，其通过以下面的方式控制所述设备而使得图像设备操作为上述的第一成像设备。首先，通过分析所述成像装置所生成的图像数据而提取表示人物图形的图像区域。通过分析所述成像装置所生成的图像数据中的表示人物图形的图像区域以外的图像区域，而提取所述人物图形以外的主被摄物。评估对所提取的人物图形与所述主被摄物的布置是否满足预定条件，并且基于对所述布置的评估来判断图像数据的构成是否合适。基于对所述构成的判断结果来随后确定记录图像数据的定时。在本发明的实施例中，控制所述记录装置以便在所确定的定时记录图像数据。在另一实施例中，通过控制诸如监视器、扬声器或灯光等的预定输出装置的操作而向用户通知所确定的定时。

本发明的第二成像设备包括用于通过拍摄场景而生成表示场景的图像数据的成像装置以及用于在预定记录介质中记录由成像装置所生成的图像数据的记录装置。所述第二成像设备具有人物提取装置、语音分析装置、构成判断装置和记录定时确定装置，下面将描述所有这些装置。

人物提取装置通过分析所述成像装置所生成的图像数据而提取表示一个或多个人物图形的一个或多个图像区域。例如，所述人物提取装置在图像数据中执行人物面部搜索，并且输出表示通过所述搜索而检测到的人物面部的数目以及每一人物面部的位置和大小的信息，作为提取的结果。在此情况下，可以识别在所述搜索中检测到的一个或多个面部的面部表情，由此进一步输出表示识别出的面部表情的信息。此外，所述人物提取装置可以识别在图像数据中包括的一个或多个人物图形的姿势，由此可以输出表示识别出的姿势的信息，作为提取结果。

语音分析装置通过分析输入的语音来执行对与语音有关的预定特征的检测。例如，所述语音分析装置检测预定音量变化、预定短语、或者已经预先登记为预定人语音特征的特征，作为预定特征。构成判断装置基于所述人物提取装置的提取结果和所述语音分析装置的检测结果，判断图像数据的构成是否合适。

记录定时确定装置基于所述构成判断装置的判断结果来确定记录图像数据的定时。

在本发明的实施例中，除了成像装置、记录装置、人物提取装置、语音分析装置、构成判断装置和记录定时确定装置之外，所述第一成像设备还包括记录控制装置，用于控制所述记录装置以便在由所述记录定时确定装置所确定的定时记录图像数据。在这个实施例中，即使在产生语音作为自动拍摄的触发的情况下，如果构成不满足预定条件，也不会执行自动拍摄。因此，不必担心只响应于语音的不必要拍摄。

在另一实施例中，第二成像设备包括通知装置，用于通知由所述记录定时确定装置所确定的定时。第二成像设备在这个实施例中不执行自动拍摄。但是，在构成满足预定条件且产生了预定特征的语音的情况下，成像设备向用户通知按下快门释放按钮的定时。因此，用户可以从与自动拍摄相同的便利中获益。此外，由于不会自动执行拍摄操作，成像设备不会违背用户的意图而执行不必要的操作。

优选地，所述记录装置在所述记录介质中与图像数据一起记录所述人物提取装置的提取结果和所述语音分析装置的检测结果。这样，当在个人计算机等上编辑记录在记录介质中的图像数据时，可以通过使用提取结果而编辑图像数据。

本发明的第二控制方法是这样一种方法，其通过以下面的方式控制所述设备而使得图像设备操作为上述的第二成像设备。首先，通过分析所述成像装置所生成的图像数据而提取表示人物图形的图像区域。与提取并行，通过分析输入的语音来执行对与语音有关的预定特征的检测。此后，基于所述提取的结果和所述检测的结果，判断图像数据的构成是否合适。随后基于所述判断的结果来确定记录图像数据的定时。在实施例中，控制所述记录装置以便在所确定的定时记录图像数据。在另一实施例中，通过控制预定输出装置的操作而向用户通知所确定的定时。

本发明的第三成像设备包括用于通过拍摄场景而生成表示场景的图像数据的成像装置以及用于在预定记录介质中记录由成像装置所生成的图像数据的记录装置。所述第三成像设备进一步包括：人物提取装置、非人物提取装置、构成判断装置和构成建议装置，下面将描述所有这些装置。

人物提取装置通过分析所述成像装置所生成的图像数据而提取表示一个或多个人物图形的一个或多个图像区域。例如，所述人物提取装置在图像数据中执行人物面部搜索，并且输出表示通过所述搜索而检测到的人物面部的数目以及每一人物面部的位置和大小的信息，作为提取的结果。在此情况下，可以识别在所述搜索中检测到的一个或多个面部的面部表情，由此进一步输出表示识别出的面部表情的信息。此外，所述人物提取装置可以识别在图像数据中包括的一个或多个人物图形的姿势，由此可以输出表示识别出的姿势的信息，作为提取结果。

非人物提取装置通过从所述成像装置所生成的图像数据中分析由所述人物提取装置提取的所述一个或多个图像区域以外的图像区域，而提取所述一个或多个人物图形以外的主被摄物。例如，所述非人物提取装置通过使用高通滤波器对图像数据执行滤波处理来提取所述主被摄物。可替换地，所述非人物提取装置可以在图像数据中包括的目标中识别预定的预先登记的目标，从而提取目标作为所述主被摄物。此外，所述非人物提取装置可以通过使用上述的两种方法来提取所述主被摄物。

构成判断装置根据所述人物提取装置的提取结果和所述非人物提取装置的提取结果，评估对所述一个或多个人物图形与所述一个或多个人物图形以外的所述主被摄物的布置是否满足预定条件，并且根据对所述布置的评估来判断图像数据的构成是否合适。构成建议装置通过使用所述人物提取装置和所述非人物提取装置的提取结果，来确定满足预定条件的所述一个或多个人物图形与所述主被摄物的布置。

在本发明的实施例中，除了成像装置、记录装置、人物提取装置、非人物提取装置、构成判断装置和构成建议装置之外，第三成像设备还包括拍摄控制装置，用于控制所述成像装置的操作，以便生成以所述构成建议装置所确定的布置来布局所述一个或多个人物图形与所述主被摄物的图像数据。根据这个实施例中的成像设备，在拍摄到的图像的构成不合适的情况下，此后改变成像装置的操作(诸如放大率)。因此，自动地改善了构成。

在本发明的另一实施例中，第三成像设备包括图像处理装置，用于对图像数据执行图像处理，以便使得所述一个或多个人物图形与所述主被摄物的布置同所述构成建议装置所确定的布置相一致。根据这个实施例中的成像设备，在拍摄到的图像的构成不合适的情况下，可以通过图像处理自动地生成具有优选构成的图像，并且改善构成。

第三成像设备可以包括记录控制装置，用于根据所述构成判断装置的判断结果来确定记录图像数据的定时，并且用于控制所述记录装置以便在所确定的定时记录图像数据。在具有记录控制装置的配置中，在获得构成合适的图像时自动记录图像数据。因此，不管拍摄者的技术如何，都可以总是获得构成合适的图像。

可替换地，第三成像设备不包括记录控制装置，而是可以包括通知装置，用于根据所述构成判断装置的判断结果来确定记录图像数据的定时，并且用于通知所确定的定时。在具有通知装置的配置中，拍摄者得到关于拍摄构成合适的图像的定时的通知。因此，通过在所通知的定时按下快门释放按钮，可以获得构成合适的图像。

优选地，所述记录装置在所述记录介质中与图像数据一起记录所述人物提取装置和所述非人物提取装置的提取结果。这样，当在个人计算机等上编辑记录在记录介质中的图像数据时，可以通过使用提取结果而编辑图像数据。

除了上述的装置之外，第三成像设备进一步包括语音分析装置，用于通过分析输入的语音来执行对与语音有关的预定特征的检测。例如，所述语音分析装置检测预定音量变化、预定短语、或者已经预先登记为预定人语音特征的特征，作为预定特征。在此情况下，所述构成判断装置基于由所述语音分析装置所检测到的预定特征与上面已经描述的对所述布置的评估来执行有关图像数据的构成是否合适的判断。优选地，在此情况下，所述记录装置在所述记录介质中与图像数据一起记录所述人物提取装置和所述非人物提取装置的提取结果与所述语音分析装置的检测结果。通过除了在判断构成时进行评估之外还考虑语音，可以在更加合适的定时记录图像数据。

本发明的第三控制方法是这样一种方法，其通过以下面的方式控制所述设备而使得图像设备操作为上述的第三成像设备。首先，通过分析所述成像装置所生成的图像数据而提取表示人物图形的图像区域。随后，通过分析表示人物图形的图像区域以外的图像区域，而从图像装置所生成的图像数据中提取所述人物图形以外的主被摄物。此后，评估所提取的人物图形与所述主被摄物的布置是否满足预定条件，基于对所述布置的评估来判断图像数据的构成是否合适。然后，确定满足预定条件的所提取的人物图形与所述主被摄物的布置。在实施例中，控制所述成像装置的操作，以便生成以所确定的布置来布置所述人物图形与所述主被摄物的图像数据。在另一实施例中，对图像数据执行图像处理，以便使得对所述人物图形与所述主被摄物的布置同所确定的布置相一致。

附图说明

图1A示出数码相机的前透视图；

图1B示出数码相机的后透视图；

图2示出数码相机的内部配置；

图3是示出数码相机的操作的流程图(自动拍摄模式)；

图4是示出数码相机的操作的流程图(拍摄协助模式)；

图5示出定时通知的例子；

图6示出定时通知的另一例子；

图7示出用于协助拍摄的显示的例子；

图8示出拍摄协助显示的另一例子；

图9示出定时检测单元的配置；

图10A图示说明面部检测处理；

图10B图示说明面部检测处理；

图10C图示说明面部检测处理；

图10D图示说明面部检测处理；

图11A图示说明面部表情识别处理；

图11B图示说明面部表情识别处理；

图11C图示说明面部表情识别处理；

图11D图示说明面部表情识别处理；

图12A图示说明姿势识别处理；

图12B图示说明姿势识别处理；

图13A图示说明用于非人物对象的提取的处理；

图13B图示说明非人物对象提取处理；

图13C图示说明非人物对象提取处理；

图13D图示说明非人物对象提取处理；

图14示出语音分析的例子；

图15是示出构成判断处理的例子的流程图；

图16图示说明构成判断处理；

图17图示说明构成判断处理；

图18A图示说明构成建议处理；

图18B图示说明构成建议处理；

图18C图示说明构成建议处理；以及

图19示出用于选择要记录的图像的屏幕的例子。

具体实施方式

下面，将公开通过有选择地使用多种控制方法来执行操作控制的数码相机，作为本发明的方法和装置的实施例。该数码相机具有四个操作模式，包括普通拍摄模式、图像回放模式、自动拍摄模式和拍摄协助模式。

首先将描述数码相机的配置。图1A和1B示出数码相机1的外部视图。图1A示出相机1的前透视图，图1B示出相机1的后透视图。如图1A和1B中所示，数码相机1具有拍摄镜头2、快门释放按钮3、麦克风4、操作转盘和操作按钮5a到5f、监视器6、以及LED灯9。扬声器8与可以打开和关闭的槽盖(未示出)位于数码相机1的底部。用于插入存储卡7的卡槽安装在槽盖内。

图2示出数码相机1的内部配置。如图2中所示，数码相机1包括成像单元，成像单元包括拍摄镜头2、镜头驱动单元16、光圈13、光圈驱动单元17、CCD 14、以及定时发生器(TG)18。拍摄镜头2包括用于各种功能的镜头，诸如用于对被摄物聚焦的聚焦镜头，以及实现变焦功能的变焦镜头。通过使用小型马达，诸如步进马达，镜头驱动单元16调节每一镜头的位置，从而使得与CCD 14的距离适合于进行拍摄。光圈13包括多个光圈叶片。通过使用小型马达，诸如步进马达，光圈驱动单元17调节光圈叶片的位置，从而使得光圈的孔径大小适合于进行拍摄。CCD 14是500万到1200万像素的CCD，具有主滤色镜，根据来自定时发生器18的指令信号而对存储的电荷进行放电。定时发生器18发送信号到CCD 14，从而使得CCD 14只在希望的时间段期间存储电荷，由此调节快门速度。

数码相机1还具有：A/D转换单元15，用于将从CCD 14输出的信号转换为数字信号；图像输入控制单元23，用于将从A/D转换单元15输出的图像数据经由系统总线24传送到另一处理单元；以及存储器22，用于临时存储从图像输入控制单元23传送来的图像数据。

数码相机1进一步包括：聚焦调节单元20，用于通过指令镜头驱动单元16移动镜头来进行镜头聚焦；曝光调节单元21，用于确定光圈值和快门速度并且用于将指令信号发送到光圈驱动单元17和定时发生器18。数码相机1还具有图像处理单元25，用于对存储在存储器22中的图像数据执行图像处理。图像处理单元25执行各种类型的加工处理以使图像看上去吸引人，诸如：色彩灰度校正和亮度校正，以使图像具有自然色彩和亮度；红眼校正，用于将包括在图像数据中的任何红眼校正为可替换的颜色；以及用于在图像构成不合适的情况下校正构成的处理。由图像处理单元25进行了图像处理的图像数据被再次存储到存储器22中。

此外，数码相机1具有显示控制单元26，用于控制存储在存储器22中的图像数据到监视器6的输出。显示控制单元26在将存储在存储器22中的图像数据“瘦身”为适合于显示的像素数后将图像数据输出到监视器6。显示控制单元26还控制用于设置操作条件等的屏幕的显示。

而且，数码相机1包括读取写入控制单元27，用于控制存储在存储器22中的图像数据写入到存储卡7以及将存储在存储卡7中的图像数据加载到存储器22。读取写入控制单元27根据用户所设置的设定，不进行压缩或者在对其进行压缩编码之后，将通过拍摄所获得的图像数据在存储卡7中记录为Exif(可交换图像文件格式)文件。Exif是日本电子工业发展协会(JEIDA)所确定的文件格式。当请求回放存储在存储卡7中的图像文件时，读取写入控制单元27将Exif文件中的图像数据加载到存储器22中。在图像数据进行了压缩的情况下，读取写入控制单元27在对图像数据解压缩之后再将图像数据加载到存储器22中。

数码相机1还包括：LED控制单元19，用于执行LED 9的开/关控制；以及音频输入输出控制单元12，用于执行对麦克风4、扬声器8、A/D转换单元10、D/A转换单元11以及声音的输入/输出控制。音频输入输出控制单元12将从麦克风4输入并由A/D转换单元10转换为数字数据的音频数据经由系统总线24传送到存储器22，音频数据存储在存储器22中。从每一处理单元和后面将描述的整体控制单元提供给音频输入输出控制单元12的音频数据被D/A转换单元11转换，并输出到扬声器8。

数码相机1包括定时检测单元28，用于检测定时以获得图像。定时检测单元28分析存储在存储器22中的图像数据和音频数据，并且输出指示出存储器22中的数据满足预定条件的定时的信号。

数码相机1具有整体控制单元30，其包括CPU(中央处理单元)31、存储操作/控制程序的RAM(随机存取存储器)32、以及存储各种设定值的EEPROM(电可擦写及可编程只读存储器)33。整体控制单元30的CPU 31查阅存储在EEPROM 33中的设定值，根据设定值来选择并执行存储在RAM 32中的程序之一。因此，通过检测怎样操作快门释放按钮3或操作转盘/按钮5a到5f，或者通过接收每一处理单元的处理结果，整体控制单元30将指示出要执行的处理的指令信号发送到LED控制单元19、聚焦调节单元20、曝光调节单元21、图像输入控制单元23、图像处理单元25、显示控制单元26、读取写入控制单元27、定时检测单元28、或音频输入输出控制单元12。这样，控制数码相机1的操作。

在普通拍摄模式、自动拍摄模式和拍摄协助模式，通过由每一处理单元在整体控制单元30的控制下执行聚焦调节、曝光控制、闪光控制、图像处理、记录等来获得图像。在回放模式，在整体控制单元30的控制下，存储在存储卡7中的图像被输出到监视器6。在设置模式，在整体控制电源30的控制下，在监视器6上显示设置屏幕，从操作转盘/按钮5a到5f接收操作的输入。通过用户操作操作转盘/按钮5a到5f而从设置屏幕选择的信息，或者从存储卡7输入的信息，被存储在EEPROM 33中。

下面，将进一步描述自动拍摄模式和拍摄协助模式。图3是示出设置为自动拍摄模式的数码相机1的操作的流程图。当设置为自动拍摄模式时，数码相机1开始生成表现通过镜头所观看到的场景的图像数据(S101)。数码相机1判断生成的图像数据所表现的图像的构成是否合适(S102)。在构成合适的情况下，数码相机1在存储卡7中记录图像(S103)而不管用户是否操作了快门释放按钮3。在构成不合适的情况下，数码相机1建议更好的构成(S104)，并且控制成像单元的操作或使得图像处理单元25执行预定的处理(S105)，从而使得在步骤S101生成的图像数据具有在步骤S104所建议的构成。例如，在主被摄物太小的情况下，数码相机使得成像单元变焦。在主被摄物没有以较好的平衡方式来布置时，数码相机1指令图像处理单元25执行图像处理，其中修剪被摄物的区域并将其移动或放大。可替换地，在应该直立的被摄物偏斜时，数码相机1使得图像处理单元25执行旋转处理，由此使被摄物看上去直立。

由成像单元或图像处理单元25再次生成(S101)的图像数据在步骤S102被再次评估。重复上述的流程，直至检测到模式改变操作(S106)。

图4是示出数码相机被设置为拍摄协助模式的情况下的数码相机1的操作的流程图。当设置为拍摄协助模式时，数码相机1开始生成表现通过镜头所观看到的场景的图像数据(S201)。数码相机1随后判断(评估)图像数据所表现的图像的构成(S202)。

在构成合适的情况下，数码相机1通知进行拍摄的定时(S203)。图5和6示出了怎样通知定时的例子。图5示出通过在监视器6上显示记号34来通知的例子，该记号34提示按下快门释放按钮。可以显示诸如“拍摄时机”的消息，来取代记号34。在图6的例子中，通过使得LED灯9闪烁来通知该定时。此外，可以通过来自扬声器的语音而通知该定时。

在构成不合适的情况下，数码相机1建议更好的构成(S204)。通过在监视器6上显示建议的构成(下文中，该显示将被称为协助显示)，数码相机1提示拍摄者改变相机进行图像捕捉的方式或者操作预定的操作按钮之一(S205)。图7和8示出协助显示的例子。图7显示通过在未加任何处理的图像数据上叠加框35的显示来建议优选构造的例子。图8显示的例子中，显示通过图像处理所生成的优选构造的图像，并在屏幕边角上示出记号36，其建议怎样执行构造以获得正在显示的图像。此外，可以显示诸如“请变焦”或“请将相机稍微向左摇”的消息，或输出为语音，以便建议优选的构造。在拍摄协助模式，重复上述的流程，直到检测到模式改变操作(S206)。

下面将进一步详细描述在步骤S102和S202用于判断构成以及在步骤S104和S204用于建议构成的流程。图2中所示的定时检测单元28执行对构成的判断和建议。图9示出定时检测单元28的配置。如图9中所示，定时检测单元28包括人物提取装置41、非人物提取装置42、语音分析装置43、构成判断装置44、以及构成建议装置45。定时检测单元28可以是包括LSI的电路，LSI起到装置41到45的作用，或者可以是微计算机，其中安装有用来执行装置41到45的流程的软件。

人物提取装置41读取存储在存储器22中的图像数据，在图像数据中搜索任何一个或多个人物图形区域(下文中，简单地称为人物图形区域，包括人物图形区域的数目为一的情况)。在本实施例中，人物提取装置41通过搜索人脸来检测人物图形。在人物提取装置41检测到人脸的情况下，人物提取装置41将诸如序列号的标识符添加给每个面部，计算每一面部区域的面积、表示包括面部在内的全身的每一区域(下文称为全身区域)的面积、以及质心的坐标。在任何一个面部区域的面积超过预定值的情况下，使用该面部区域的质心的坐标作为质心的坐标。否则，使用对应的全身区域的质心的坐标作为质心的坐标。例如，如图10A和10B中的例子所示，当面部区域相对较大时，计算每一面部区域的质心的坐标。在面部区域相对较小的情况下，如图10C和10D中的例子所示，计算十字线所表示的每一全身区域的质心的坐标。在搜索整个区域之后，人物提取装置将检测出的人物图形的数目、每一面部区域的范围和面积、每一全身区域的范围和面积、以及质心的坐标都存储在定时检测单元28的存储器(未示出)中，作为表示检测到的人物图形的数目、其位置及其大小的信息。

作为通过搜索检测面部的方法，已知有各种类型的方法。例如，如日本待审专利公开2001-51338中所介绍的，已知一种将皮肤颜色区域检测为面部的方法和一种通过判断具有几何特征的面部成分(诸如头发、眼睛、嘴)的存在与否来检测面部的方法。任何已知的方法都可以用于人物提取装置41的面部检测。

人物提取装置41随后识别检测到的面部的面部表情。但是，面部表情识别只在在自动拍摄模式的详细设定中设置面部表情识别功能为ON的情况下才执行。可替换地，面部表情识别可能只在检测到的任何一个面部的大小超过预定值的情况下才执行。在本实施例中，人物提取装置41识别四种面部表情，即微笑、生气、哭泣、惊讶，分别由图11A、11B、11C和11D中的例子所示。从图11A到11D中的例子中明显可以看出，这些表情分别具有如下的特征：眼睛和嘴如何张开、眉毛和嘴角如何卷起。因此，可以基于每一面部成分的图示特征来识别面部表情。作为识别面部表情的方法，已知多种类型的方法，诸如日本待审专利公开2001-51338中所述的方法。任何已知方法都可以用于人物提取装置41的面部表情识别。人物提取装置41将识别出的面部表情存储在定时检测单元28的存储器中。

人物提取装置进一步识别检测到的面部的人物图形的姿势。姿势识别只在在自动拍摄模式的详细设定中设置姿势识别功能为ON的情况下才执行。可替换地，在检测到的任何一个面部的大小超过预定值的情况下，识别面部表情，否则可以执行姿势识别。

在这个实施例中，定时检测单元28的存储器预先存储公知的姿势作为表示各个姿势的几何特征的数据。例如，预先登记了图12A中所示的张开食指和中指所表示的姿势(和平符号)、图12B中所示的胳膊举到空中所表示的姿势(欢呼或胜利的姿态)、食指尖与拇指尖接触而形成大致的圆形同时抬起其余手指所表示的姿势(OK或日本钱币)、如翘拇指符号的姿势(好)。人物提取装置41比较从存储器22读取的图像数据中的每一检测到的面部周围的区域中提取的几何特征与登记的数据。在提取的特征与登记的姿势之一相符的情况下，人物提取装置41将该姿势的名称或预定标识符存储在定时检测单元28的存储器中。

已知还有多种方法作为姿势识别的方法，包括在日本待审专利公开2001-51338中描述的方法。任何已知方法都可以用于人物提取装置41的姿势识别处理。

此后，人物提取装置41计算面部区域的总面积。例如，在图10A到10D中所示的例子中，人物提取装置41计算虚线框所示的区域的总面积。但是，人物提取装置可以计算全身区域的总面积。

在计算出的区域的总面积超过预定阈值的情况下，人物提取装置41只向构成判断装置44提供定时发生器28的存储器中存储的面部数目、每一面部区域的面积、每一全身区域的面积、质心的坐标、面部表情、以及姿势的信息。否则，人物提取装置41向构成判断装置44和非人物提取装置42提供存储在存储器中的信息。

非人物提取装置42提取图像数据中的人物图形以外的主被摄物。在这个实施例中，非人物提取装置42读取存储在存储器22中的图像数据，通过将对应于人物图形、包括其面部或身体的区域的像素值替换为0或其他方法而从图像数据中删除对应于人物图形区域的图像数据部分。例如，假设从存储器22读取的图像数据是包括人50a、人50b、人以外的被摄物51的图像数据，如图13A所示。人物提取装置41已经提供虚线框所围绕的区域52a和52b的质心坐标等信息。通过从图像数据中删除对应于人物图形区域52a和52b的图像数据部分，获得只包括被摄物51的剩余图像数据，如图13B所示。

非人物提取装置42使用高通滤波器对排除了人物图像区域52a和52b的信息的图像数据执行滤波操作。这样，获得边缘图像53，其中提取了被摄物51的边缘，例如，如图13C所示。边缘图像53是包括图像数据中的人物图形以外的被摄物的轮廓的图像，并且，可以通过分析边缘图像而识别使被摄物53位于其中的粗略区域54，如图13D所示。非人物提取装置42计算被识别的区域54的面积和质心的坐标，将计算出的面积和坐标提供给构成判断装置44。

可以执行通过傅立叶变换只提取特定频率成分(对应于边缘)的方法，来代替高通滤波处理，作为识别人物图形以外的被摄物区域的方法。可替换地，可以采用通过使用色彩信息的分析而提取主被摄物的方法，以替代频率分析。例如，在一像素值表示预定颜色的情况下，留下该值。否则，该值被替换为0或1。这样，图像被分割成两个区域，然后，提取具有预定色彩的区域或具有预定色彩以外的色彩的被摄物的区域。此外，对于趋向于频繁地与人物一起拍摄的目标(诸如动物，作为宠物而受到欢迎)，可以通过使用判断算法(诸如基于学习的Adaboost算法)进行识别来生成表示被摄物区域的数据。

同时，图像锐度有时取决于获取图像数据时的快门速度，而在某些情况下图像色彩取决于光测值或光圈。因此，通过在图像分析时考虑各种类型的调节值与设定值，对被摄物区域的识别可以变得更加容易。

语音分析装置43分析从麦克风4输入的语音，检测下面的语音。但是，在这个实施例中，下面的流程只在语音分析功能设置为ON的情况下执行。首先，语音分析装置43持续地测量从麦克风4输入的语音的音量，并且将该音量与预定阈值进行比较。图14是分别通过横轴和纵轴表示的时间和音量的图形。在图14的例子中，语音分析装置43检测时刻T，也就是，音量突然增加并超过阈值Th的时刻。在对体育比赛或聚会进行拍摄时，响起欢呼声的情况，诸如足球比赛中进球的时候或婚礼中敬酒的时候，通常是拍摄时机。因此，通过检测音量突然发生变化的时刻，可以检测拍摄时机。可替换地，不检测音量变化，而是可以执行只对超过阈值Th的音量的检测，因为响起欢呼声的时间总是可以被认为是拍摄时机。与之相反，在变得安静的时候是拍摄时机的情况下，诸如拍摄正在睡觉的小孩的面部的情况，可以检测音量变得低于阈值的时刻或音量低于阈值的状态。哪个时间需要作为音量分析的结果而被检测，这是可以根据设置而变化的。

语音分析装置43还识别语音说出的短语，并且将该短语与预先登记的特定短语进行比较。登记的数据可以存储在定时检测单元28的存储器中，很可能在按下快门释放按钮同时说出的诸如“茄子”或“干杯”等短语已经进行了存储。在这个实施例中，语音可以被登记作为登记的数据之一，语音可以与短语相关地进行登记。通过与登记的数据进行比较，语音分析装置43可以检测(a)语音说出登记的短语之一的时刻，(b)被登记了语音的人物发出语音的时刻，以及(c)人物说出短语作为语音的时刻。检测时刻(a)到(c)中的哪一个，原则上是通过设定来确定的。但是，根据数据登记的状态，可以执行不同于设定的处理。例如，即使设定为检测时刻(c)，在没有登记任何语音的情况下，也可以检测时刻(a)。

执行音量检测还是执行短语比较的检测，或二者都执行，这取决于设定。

接下来将描述构成判断装置44所执行的流程。如图9中所示，向构成判断装置44提供从存储器22读取的图像数据、来自人物提取装置41和非人物提取装置42的提取结果、以及来自语音分析装置43的检测结果。但是，在没有执行提取或检测的情况下，在此输入表示没有要提供的信息的值(诸如0)。

图15是示出构成判断装置44所执行的流程的例子的流程图。构成判断装置44接收来自人物提取装置41的每一面部区域的范围和面积、每一全身区域的范围和面积、质心的坐标、面部表情、和姿势的信息，来自非人物提取装置42的人物图形以外的被摄物的范围、面积、和质心坐标的信息，以及来自语音分析装置43的语音分析结果的信息。

构成判断装置44首先评估包括人物图形的被摄物的布置的平衡(S301)。在人物提取装置41和非人物提取装置42分别检测到N个人(其中N为整数)和M个被摄物(其中M为整数)的情况下，构成判断装置44基于已经提取的人物区域和被摄物区域的质心坐标，以M+N个区域作为整体来计算质心坐标。例如，对于由图13A到13D所示的图像所表示的例子，构成判断装置44以三个区域(即，人物区域52a和52b以及被摄物区域54)作为整体，根据区域52a的质心坐标g1、区域52b的质心坐标g2、以及被摄物区域54的质心坐标g3，来计算其整体的质心坐标G。如果质心G位于图像中心部分的预定区域55内的话，构成判断装置44就判断布置的平衡是合适的。否则，构成判断装置44判断该平衡是不合适的。

在计算这N+M个区域作为整体的质心坐标的情况下，可以在根据其面积对每一区域的质心坐标进行加权后得到该坐标。如果对每一区域，当其面积越大时对其加权越多，则区域的质心位置上更接近面积较大的区域。例如，在图17所示的例子中，对区域平均加权所得到的质心位于点GA，其在区域55之外。因此，构成判断装置44判断布置的平衡是不合适的。但是，在区域的面积越大时对其加权越多的情况下，计算出的质心位于点GB，其在区域55之内。因此，布置的平衡被判断为是合适的。

除了布置平衡评估之外，构成判断装置44还对某些被摄物评估旋转偏差。旋转偏差指的是图像中被摄物的方向或朝向与实际世界中被摄物的方向或朝向之间的差别。例如，在假定应该直立的摩天大楼在图像中看上去倾斜的情况下，构成判断装置44判断观察到旋转偏差。在非人物提取装置42使用基于学习的判断算法提取被摄物的情况下，非人物提取装置42不仅能够判断被摄物的轮廓，还能判断被摄物的类型。对于这样的被摄物，非人物提取装置42向构成判断装置44提供表示被摄物类型的信息。在所提取的被摄物是在实际世界中为水平或垂直的物体的情况下，诸如摩天大楼或地平线，构成判断装置44计算提取的被摄物的方向或朝向，判断是否存在旋转偏差。

在步骤S302，在构成判断装置44经判断出布置平衡不合适的情况下或者在构成判断装置44经判断出观察到旋转偏差的情况下，构成判断装置44输出表示构成不合适的判断结果(NG)(S306)。

在构成判断装置44已经判断出布置平衡合适以及没有观察到旋转偏差的情况下，构成判断装置44随后基于人物提取装置41所提供的面部表情信息来判断人物图形的面部表情是否是值得拍摄的特定面部表情(S303)。可替换地，构成判断装置44通过与判断之前不久提供的面部表情信息进行比较来判断面部表情是否变化。但是，对面部表情的判断可以只在任何一个检测到的面部区域的面积超过预定值的情况下才执行。在面部表情是特定表情的情况下(或者在观察到面部表情的变化的情况下)，构成判断装置44输出表示构成合适的判断结果(OK)(S307)。

在面部表情不是特定表情的情况下(或者在没有观察到面部表情的变化的情况下)，构成判断装置44基于从人物提取装置41提供的姿势的信息来判断是否有任何一个人物图形正在显现值得拍摄的姿势(S304)。可替换地，构成判断装置44通过与判断之前不久提供的姿势信息进行比较来判断是否观察到人物图形运动上的变化。但是，姿势判断可以只在任何一个检测到的人物图形区域的面积为预定值或更大的情况下才执行。在观察到特定姿势或运动变化的情况下，构成判断装置44输出表示构成合适的判断结果(OK)(S307)。

在观察到特定姿势或运动变化的情况下，构成判断装置44基于从语音分析装置43提供的信息来判断是否检测到特定语音(S305)。在没有检测到特定语音的情况下，构成判断装置输出表示构成不合适的判断结果(S306)。在检测到特定语音的情况下，构成判断装置44输出表示构成合适的判断结果(S307)。

在已经从构成判断装置44输出表示构成合适的判断结果的情况下，定时检测单元28向整体控制单元30发送判断结果。在数码相机1已经被设置为自动拍摄模式的情况下，接收到结果的整体控制单元30指令读取写入控制单元27在存储卡7中记录存储在存储器22中的图像数据。在数码相机1被设置为拍摄协助模式的情况下，整体控制单元30指令显示控制单元26在监视器上显示记号或消息，指出拍摄时机(参看图5)。可替换地，整体控制单元30指令LED控制单元19闪烁LED 9(参看图6)。

在这个实施例中，读取写入控制单元27在存储卡7中记录用于构成判断的信息，作为图像数据的伴随信息。更具体地，该信息被记录在Exif文件的标签中。在构成已经被判断为不合适的情况下，构成判断装置44向构成建议装置45提供用于判断的信息。构成建议装置45通过使用该信息来执行下面的流程。

构成建议装置45分析从构成判断装置44提供的信息，对于构成被判断为不合适的图像，建议优选的构成。建议构成指的是确定满足构成判断条件的布置。确定的构成与要执行处理的信息一起输出，用于获得构成的图像。例如，如图18A中的例子所示，在图像中提取的区域52a、52b和54大体布置在左下的情况下，建议的构成为区域52a、52b和54的质心G位于图像的中心部分，如图18B所示。可替换地，如图18C中的例子所示，建议的构成为区域52a、52b和54的质心G位于图像的中心部分且被摄物看上去更大。有两种类型的信息被输出作为要执行的处理的信息，用于获取建议的构成的图像。

构成建议装置45所输出的第一信息是使得在拍摄中获得的图像数据通过图像处理而转换为优选构成的图像数据所需的信息。例如，在图18B中的例子中，输出修剪的区域(图18中的粗体框)以及质心G的运动方向(运动矢量)的信息。在图18C所示的例子中，例如，输出修剪区域、运动方向以及放大率的信息。

构成建议装置45所输出的第二信息是用于通过重新拍摄而获得优选构成的图像数据所需的信息。例如，在图18B所示的例子中，输出表示将相机摇到左边的操作的信息。在图18C所示的例子中，输出表示将相机摇到左边的操作以及要设置的放大率的信息。

对于作为构成不合适的另一原因的旋转偏差，构成建议装置45输出表示用于倾斜校正的旋转的方向和角度的信息作为第一信息，输出向左或向右倾斜相机的信息作为第二信息。在构成不合适的原因是面部表情、姿势或语音的情况下，不能通过图像处理执行校正。因此，输出表示该原因是面部表情、姿势或语音的信息。

构成建议装置45所输出的信息被发送到整体控制单元30。接收到该信息的整体控制单元30判断数码相机1是否被设置为自动拍摄模式或拍摄协助模式，并且根据模式来执行处理。

在数码相机1被设置为自动拍摄模式的情况下，整体控制单元30指令图像处理单元25从存储器22读取图像数据并且执行改善构成所需的图像处理(诸如修剪、放大/缩小、以及旋转)。整体控制单元30还指令显示控制单元26在监视器6上显示图像处理单元25所处理的图像数据。此外，整体控制单元30指令读取写入控制单元27在存储卡7中记录由图像处理装置25所处理的图像数据。

在这个实施例中，在接收到指令后，显示控制单元26显示选择屏幕，如图19所示，让用户选择记录拍摄到的构成的图像的数据(拍摄的图像)还是建议的构成的图像的数据(建议的图像)、或是拍摄的图像和建议的图像这二者都记录。读取写入控制单元27在存储卡7中记录在屏幕中所选的图像数据。但是，可以不显示选择屏幕，只记录建议的图像，或者与拍摄的图像一起记录建议的图像。

在这个实施例中，接收了指令的读取写入控制单元27在存储卡7中记录用于构成判断装置44的构成判断的信息，即N+M区域整体的质心坐标、检测到旋转偏差的被摄物的朝向、面部表情和姿势、以及检测到的语音的信息，作为图像数据的伴随信息。而且，读取写入控制单元27在存储卡7中记录由构成建议装置45输出的第一信息，即使得拍摄中获得的图像数据被转换为优选构成的图像数据所需的信息，作为图像数据的伴随信息。更具体地，上述的信息记录在Exif文件的标签中。

当在个人计算机上编辑图像时可以使用Exif文件的标签中记录的信息。例如，如果拍摄到的图像和构成建议装置45所输出的第一信息可用，可以通过个人计算机生成等价于所建议的图像的图像。因此，不记录所建议的图像就可以缩小图像文件的大小。而且，可以通过基于构成建议装置45所输出的第一信息对拍摄到的图像进行编辑而生成在构成上与构成建议装置45所建议的构成略有不同的图像。

在数码相机1被设置为拍摄协助模式的情况下，整体控制单元30指令图像处理单元25从存储器22读取图像数据并且执行改善构成所需的处理(诸如修剪、转换、放大/缩小、以及旋转)。整体控制单元30还指令显示控制单元26显示图像处理单元25所处理的图像数据以及根据构成建议装置45所输出的第二信息而生成的记号或消息。这样，执行结合图7和8所述的协助显示。

在这个实施例中，如果数码相机被设置为自动拍摄模式，当布置的平衡合适且检测到预定面部表情、姿势或语音时，自动在存储卡中记录图像数据。因此，即使是不熟悉拍摄的人，也总是可以获得构成上合适的图像。此外，数码相机在单独检测到预定语音时不响应。因此，不会在相机拍摄被摄物之前或者响应于碰巧接近拍摄场景的人的语音而不必要地执行拍摄操作。换句话说，在保持使用语音作为触发的自动拍摄的便利的同时，解决了不必要的拍摄的不便。

在拍摄协助模式中，拍摄者得到了关于拍摄时机的通知。因此，通过在得到通知的定时按下快门释放按钮，可以容易地获得在构成上合适的图像，同时可以享受到等价于自动拍摄的便利。在单独检测到预定语音的情况下，不会执行该通知。该通知只在图像中布置平衡合适且检测到表现出构成合适的面部表情变化、姿势或语音的情况下才执行。因此，不会执行错误通知。

在没有获得构成合适的图像的情况下，控制成像单元的操作，以便获得构成合适的图像，或者对已经获得的图像执行图像处理。因此，用户可以获得构成上合适的图像，而不用改变站立位置，或者不用改变图像捕捉的方式，或者不用调节诸如放大率的设定。

在上述实施例中，描述了判断/建议的方法，诸如通过为每一区域计算质心坐标来判断或建议构成的方法。但是，可以列举各种类型的条件和数据作为构成满足的条件以及用于判断的数据，并且该条件和数据不必限于上述实施例中所示的例子。在上述实施例中，描述了静止图像拍摄的情况作为例子。但是，本发明在确定开始拍摄运动图像的定时方面也很有用。

Claims (45)

1.一种成像设备，具有用于通过拍摄场景而生成表示场景的图像数据的成像装置以及用于在预定记录介质中记录由成像装置所生成的图像数据的记录装置，所述成像设备包括：

人物提取装置，用于在所述成像装置所生成的图像数据中执行人物面部搜索以提取表示一个人物图形的一个图像区域或表示多个人物图形的多个图像区域，并且输出表示通过所述搜索而检测到的人物面部的数目以及每一人物面部的位置和大小的信息作为提取结果；

非人物提取装置，用于通过从所述成像装置所生成的图像数据中分析由所述人物提取装置提取的所述一个或多个图像区域以外的图像区域，而执行对所述一个或多个人物图形以外的主被摄物的提取，并且输出除了所述人物图形以外的被摄物的范围、面积、和质心坐标的信息作为提取结果；

构成判断装置，用于根据所述人物提取装置的提取结果和所述非人物提取装置的提取结果，评估所述一个或多个人物图形与所述一个或多个人物图形以外的所述主被摄物的布置的平衡，当布置的平衡是合适的时判断图像数据的构成是合适的，并且当布置的平衡是不合适的时判断图像数据的构成是不合适的；以及

定时检测装置，用于在所述构成判断装置的判断结果为所述图像数据的构成是合适的情况下检测获得图像数据的定时。

2.根据权利要求1所述的成像设备，进一步包括记录控制装置，用于控制所述记录装置以便在由所述定时检测装置所检测的定时获得图像数据。

3.根据权利要求1所述的成像设备，进一步包括通知装置，用于通知由所述定时检测装置所检测的定时。

4.根据权利要求1所述的成像设备，进一步包括： 

构成建议装置，用于通过使用所述人物提取装置和所述非人物提取装置的提取结果来确定满足预定条件的所述一个或多个人物图形与所述主被摄物的布置；以及

拍摄控制装置，用于控制所述成像装置的操作，以便生成以所述构成建议装置所确定的布置来布局所述一个或多个人物图形与所述主被摄物的图像数据。

5.根据权利要求1所述的成像设备，进一步包括：

构成建议装置，用于通过使用所述人物提取装置和所述非人物提取装置的提取结果来确定满足预定条件的所述一个或多个人物图形与所述主被摄物的布置；以及

图像处理装置，用于对图像数据执行图像处理，以便使得所述一个或多个人物图形与所述主被摄物的布置同所述构成建议装置所确定的布置相一致。

6.根据权利要求1所述的成像设备，其中所述记录装置在所述记录介质中与图像数据一起记录所述人物提取装置和所述非人物提取装置的提取结果。

7.根据权利要求1所述的成像设备，其中所述人物提取装置识别在所述搜索中检测到的一个或多个面部的面部表情，并且进一步输出表示识别出的面部表情的信息。

8.根据权利要求1所述的成像设备，其中所述人物提取装置识别在图像数据中包括的一个或多个人物图形的姿势，并且输出表示识别出的姿势的信息，作为提取结果。

9.根据权利要求1所述的成像设备，其中所述非人物提取装置通过使用高通滤波器对图像数据执行滤波处理来提取所述主被摄物。 

10.根据权利要求1所述的成像设备，其中所述非人物提取装置通过在图像数据中包括的目标中识别目标来提取预定的预先登记的目标作为所述主被摄物。

11.根据权利要求1所述的成像设备，进一步包括语音分析装置，用于通过分析输入的语音来执行对与语音有关的预定特征的检测，其中

所述构成判断装置基于由所述语音分析装置所检测到的预定特征与对所述布置的评估来执行有关图像数据的构成是否合适的判断。

12.根据权利要求11所述的成像设备，其中所述记录装置在所述记录介质中与图像数据一起记录所述人物提取装置和所述非人物提取装置的提取结果与所述语音分析装置的检测结果。

13.根据权利要求11所述的成像设备，其中所述语音分析装置检测预定音量变化作为预定特征。

14.根据权利要求11所述的成像设备，其中所述语音分析装置检测预定短语作为预定特征。

15.根据权利要求11所述的成像设备，其中所述语音分析装置检测已经预先登记为预定人语音特征的特征作为预定特征。

16.一种对成像设备的控制方法，该成像设备具有用于通过拍摄场景而生成表示场景的图像数据的成像装置以及用于在预定记录介质中记录由成像装置所生成的图像数据的记录装置，所述方法包括如下步骤：

在所述成像装置所生成的图像数据中执行人物面部搜索以提取表示人物图形的图像区域，并且输出表示通过所述搜索而检测到的人物面部的数目以及每一人物面部的位置和大小的信息作为提取结果； 

通过分析所述成像装置所生成的图像数据中的表示人物图形的图像区域以外的图像区域，而提取所述人物图形以外的主被摄物，并且输出除了所述人物图形以外的被摄物的范围、面积、和质心坐标的信息作为提取结果；

评估所提取的人物图形与所述主被摄物的布置的平衡；

当布置的平衡是合适的时判断图像数据的构成是合适的，并且当布置的平衡是不合适的时判断图像数据的构成是不合适的；以及

在所述图像数据的构成是合适的情况下检测获得图像数据的定时。

17.根据权利要求16所述的对成像设备的控制方法，进一步包括步骤：控制所述记录装置以便在所检测的定时获得图像数据。

18.根据权利要求16所述的对成像设备的控制方法，进一步包括步骤：通过控制预定输出装置的操作而向用户通知所检测的定时。

19.一种成像设备，具有用于通过拍摄场景而生成表示场景的图像数据的成像装置以及用于在预定记录介质中记录由成像装置所生成的图像数据的记录装置，所述成像设备包括：

人物提取装置，用于在所述成像装置所生成的图像数据中执行人物面部搜索以提取表示一个人物图形的一个图像区域或表示多个人物图形的多个图像区域，并且输出表示通过所述搜索而检测到的人物面部的数目以及每一人物面部的位置和大小的信息作为提取结果；

语音分析装置，用于通过分析输入的语音来执行对与语音有关的预定特征的检测，所述预定特征包括预定音量变化、预定短语和已经预先登记为预定人语音特征的特征中的至少一个；

构成判断装置，用于根据所述人物提取装置的提取结果和所述语音分析装置的检测结果，执行关于图像数据的构成是否合适的判断；以及

定时检测装置，用于在所述构成判断装置的判断结果为所述图像 数据的构成是合适的情况下检测获得图像数据的定时。

20.根据权利要求19所述的成像设备，进一步包括记录控制装置，用于控制所述记录装置以便在由所述定时检测装置所检测的定时获得图像数据。

21.根据权利要求19所述的成像设备，进一步包括通知装置，用于通知由所述定时检测装置所检测的定时。

22.根据权利要求19所述的成像设备，其中所述记录装置在所述记录介质中与图像数据一起记录所述人物提取装置的提取结果和所述语音分析装置的检测结果。

23.根据权利要求19所述的成像设备，其中所述人物提取装置识别在所述搜索中检测到的一个或多个面部的面部表情，并且进一步输出表示识别出的面部表情的信息。

24.根据权利要求19所述的成像设备，其中所述人物提取装置识别在图像数据中包括的一个或多个人物图形的姿势，并且输出表示识别出的姿势的信息，作为提取结果。

25.一种对成像设备的控制方法，该成像设备具有用于通过拍摄场景而生成表示场景的图像数据的成像装置以及用于在预定记录介质中记录由成像装置所生成的图像数据的记录装置，所述方法包括如下步骤：

在所述成像装置所生成的图像数据中执行人物面部搜索以提取表示人物图形的图像区域，并且输出表示通过所述搜索而检测到的人物面部的数目以及每一人物面部的位置和大小的信息作为提取结果；

通过分析输入的语音来执行对与语音有关的预定特征的检测，所述预定特征包括预定音量变化、预定短语和已经预先登记为预定人语 音特征的特征中的至少一个；

根据所述提取的结果和所述检测的结果，执行关于图像数据的构成是否合适的判断；以及

在所述图像数据的构成是合适的情况下检测获得图像数据的定时。

26.根据权利要求25所述的对成像设备的控制方法，进一步包括步骤：控制所述记录装置以便在所检测的定时获得图像数据。

27.根据权利要求25所述的对成像设备的控制方法，进一步包括步骤：通过控制预定输出装置的操作而向用户通知所检测的定时。

28.一种图像设备，具有用于通过拍摄场景而生成表示场景的图像数据的成像装置以及用于在预定记录介质中记录由成像装置所生成的图像数据的记录装置，所述成像设备包括：

人物提取装置，用于在所述成像装置所生成的图像数据中执行人物面部搜索以提取表示一个人物图形的一个图像区域或表示多个人物图形的多个图像区域，并且输出表示通过所述搜索而检测到的人物面部的数目以及每一人物面部的位置和大小的信息作为提取结果；

非人物提取装置，用于通过从所述成像装置所生成的图像数据中分析由所述人物提取装置提取的所述一个或多个图像区域以外的图像区域，而执行对所述一个或多个人物图形以外的主被摄物的提取，并且输出除了所述人物图形以外的被摄物的范围、面积、和质心坐标的信息作为提取结果；

构成判断装置，用于根据所述人物提取装置的提取结果和所述非人物提取装置的提取结果，评估所述一个或多个人物图形与所述一个或多个人物图形以外的所述主被摄物的布置的平衡，当布置的平衡是合适的时判断图像数据的构成是合适的，并且当布置的平衡是不合适的时判断图像数据的构成是不合适的；以及

构成建议装置，用于通过使用所述人物提取装置和所述非人物提 取装置的提取结果，来确定合适的所述一个或多个人物图形与所述主被摄物的布置。

29.根据权利要求28所述的成像设备，进一步包括拍摄控制装置，用于控制所述成像装置的操作，以便生成以所述构成建议装置所确定的布置来布局所述一个或多个人物图形与所述主被摄物的图像数据。

30.根据权利要求28所述的成像设备，进一步包括图像处理装置，用于对图像数据执行图像处理，以便使得所述一个或多个人物图形与所述主被摄物的布置同所述构成建议装置所确定的布置相一致。

31.根据权利要求28所述的成像设备，进一步包括记录控制装置，用于在所述构成判断装置的判断结果为所述图像数据的构成是合适的情况下检测获得图像数据的定时，并且用于控制所述记录装置以便在所检测的定时获得图像数据。

32.根据权利要求28所述的成像设备，进一步包括通知装置，用于在所述构成判断装置的判断结果为所述图像数据的构成是合适的情况下检测获得图像数据的定时，并且用于通知所检测的定时。

33.根据权利要求28所述的成像设备，其中所述记录装置在所述记录介质中与图像数据一起记录所述人物提取装置和所述非人物提取装置的提取结果。

34.根据权利要求28所述的成像设备，其中所述人物提取装置识别在所述搜索中检测到的一个或多个面部的面部表情，并且进一步输出表示识别出的面部表情的信息。

35.根据权利要求28所述的成像设备，其中所述人物提取装置识别在图像数据中包括的一个或多个人物图形的姿势，并且输出表示识 别出的姿势的信息，作为提取结果。

36.根据权利要求28所述的成像设备，其中所述非人物提取装置通过使用高通滤波器对图像数据执行滤波处理来提取所述主被摄物。

37.根据权利要求28所述的成像设备，其中所述非人物提取装置通过在图像数据中包括的目标中识别目标来提取预定的预先登记的目标作为所述主被摄物。

38.根据权利要求28所述的成像设备，进一步包括语音分析装置，用于通过分析输入的语音来执行对与语音有关的预定特征的检测，其中

所述构成判断装置基于由所述语音分析装置所检测到的预定特征与对所述布置的评估来执行有关图像数据的构成是否合适的判断。

39.根据权利要求38所述的成像设备，其中所述记录装置在所述记录介质中与图像数据一起记录所述人物提取装置和所述非人物提取装置的提取结果与所述语音分析装置的检测结果。

40.根据权利要求38所述的成像设备，其中所述语音分析装置检测预定音量变化作为预定特征。

41.根据权利要求38所述的成像设备，其中所述语音分析装置检测预定短语作为预定特征。

42.根据权利要求38所述的成像设备，其中所述语音分析装置检测已经预先登记为预定人语音特征的特征作为预定特征。

43.一种对成像设备的控制方法，该成像设备具有用于通过拍摄场景而生成表示场景的图像数据的成像装置以及用于在预定记录介质 中记录由成像装置所生成的图像数据的记录装置，所述方法包括如下步骤：

在所述成像装置所生成的图像数据中执行人物面部搜索以提取表示人物图形的图像区域，并且输出表示通过所述搜索而检测到的人物面部的数目以及每一人物面部的位置和大小的信息作为提取结果；

通过分析表示人物图形的图像区域以外的图像区域，而从图像装置所生成的图像数据中提取所述人物图形以外的主被摄物，并且输出除了所述人物图形以外的被摄物的范围、面积、和质心坐标的信息作为提取结果；

评估所提取的人物图形与所述主被摄物的布置的平衡；

当布置的平衡是合适的时判断图像数据的构成是合适的，并且当布置的平衡是不合适的时判断图像数据的构成是不合适的；以及

确定合适的所提取的人物图形与所述主被摄物的布置。

44.根据权利要求43所述的对成像设备的控制方法，进一步包括步骤：控制所述成像装置的操作，以便生成以所确定的布置来布置所述人物图形与所述主被摄物的图像数据。

45.根据权利要求43所述的对成像设备的控制方法，进一步包括步骤：对图像数据执行图像处理，以便使得所述人物图形与所述主被摄物的布置同所确定的布置相一致。 

Images