CN102148935A

CN102148935A - 构图判定设备、构图判定方法

Info

Publication number: CN102148935A
Application number: CN2011100932430A
Authority: CN
Inventors: 善积真吾; 山胁央树
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-10-17
Filing date: 2008-10-15
Publication date: 2011-08-10
Anticipated expiration: 2028-10-15
Also published as: EP2059029A2; CN102148935B; JP2009100300A; CN101415077A; KR101481830B1; CN101415077B; EP2059029A3; KR20090039631A; US8275171B2; TWI386056B; EP2059029B1; JP5115139B2; US20090103778A1; TW200930091A

Abstract

本发明提供了构图判定设备、构图判定方法和程序。一种构图判定设备包括：对象检测单元，被配置为基于图像数据来检测图像中的一个或多个特定对象；对象朝向检测单元，被配置为检测指示出由所述对象检测单元检测到的对象在所述图像中的朝向的对象朝向信息，对所述对象朝向信息的检测是针对每个检测到的对象执行的；以及构图判定单元，被配置为基于所述对象朝向信息来判定构图。当所述对象检测单元检测到多个对象时，所述构图判定单元基于与所述多个对象相对应的多个对象朝向信息之间的关系来判定构图。

Description

构图判定设备、构图判定方法

本申请是申请日为2008年10月15日，题为“构图判定设备、构图判定方法和程序”的发明专利申请No.200810171104.3的分案申请。

技术领域

本发明涉及对静态图像数据等等执行关于图像内容的构图(composition)的处理的构图判定设备，并且涉及构图判定方法。另外，本发明涉及由该设备执行的程序。

背景技术

拍摄留下良好印象的照片的技术因素之一是构图设定。这里的术语“构图”也被称为“取景”，并且是作为照片等等的图像中的对象的布局。

存在一些用于获得良好构图的典型和基本方法。但是，对于普通的相机用户来说，拍摄良好构图的照片是很不容易的，除非他/她具有关于摄影的充足知识和技术。由于此原因，需要一种使得用户能够快捷容易地获得良好构图的照片图像的技术配置。

例如，专利文献1(日本未实审专利申请公布No.59-208983)公开了一种自动跟踪设备的技术配置。在此技术配置中，检测固定时间间隔的图像之间的差别，计算图像之间的差别的重心，通过基于重心的运动量和运动方向检测对象图像相对于成像屏幕的运动量和运动方向来控制成像设备，并且将对象图像设定在成像屏幕的基准区域中。

另外，专利文献2(日本未实审专利申请公布No.2001-268425)公开了一种关于自动跟踪设备的技术。在此技术中，在屏幕上的整个人的上部20％的区域位于屏幕中心以便人的脸部位于屏幕中心的情况下，自动对人进行跟踪，从而可以在对人的脸部进行可靠拍摄的同时跟踪该人。

当从决定构图的观点来看这些技术配置时，可以自动搜索作为人的对象并且以预定的构图将该对象放置于成像屏幕中。

发明内容

最佳构图可能取决于对象的预定状况或条件而有所不同。但是，上述专利文献中公开的技术只能以某种固定的构图来放置被跟踪的对象。换言之，可能无法通过根据对象状况改变构图来执行拍摄。

因此，本发明致力于建议一种技术，用于很容易地获得作为照片等等的图像的良好构图。具体而言，本发明致力于根据对象的状况和条件的改变来更加适当和灵活地决定构图。

根据本发明的一个实施例，提供了一种构图判定设备，包括：对象检测装置，用于基于图像数据来检测图像中的一个或多个特定对象；对象朝向检测装置，用于检测指示出由所述对象检测装置检测到的对象在所述图像中的朝向的对象朝向信息，对所述对象朝向信息的检测是针对每个检测到的对象执行的；以及构图判定装置，用于基于所述对象朝向信息来判定构图。当所述对象检测装置检测到多个对象时，所述构图判定装置基于与所述多个对象相对应的多个对象朝向信息之间的关系来判定构图。

在上述配置中，可以检测在图像数据的屏幕中检测到的对象的预定部分的朝向，并且可以获得指示出所检测到的朝向的对象朝向信息。

如果检测到多个对象，则基于由与这多个检测到的对象相对应的多个对象朝向信息所指示的朝向之间的关系来判定构图。

例如，最佳构图可能取决于每个对象的朝向而有所不同。根据本发明的实施例，当存在多个对象时，可以根据这些对象的朝向之间的关系来获得最佳构图。

当存在多个对象时，在各个对象的朝向之间发生一定的关系。在本发明的实施例中，基于复杂到某种程度的条件(例如多个对象的朝向之间的关系)来决定构图。也就是说，比起以前来可以更加适当且灵活地自动决定构图。因此，使用本发明实施例所应用到的设备的用户无需麻烦的操作就可获得最佳构图的图像，从而可以提供更大的便利。

附图说明

图1是示出根据本发明实施例的包括数字静态相机和云台(pan/tilt head)的成像系统的外观配置示例的图；

图2A和2B是示意性地示出根据该实施例的成像系统的运动的图，即示出沿着附接到云台的数字静态相机的摇动(pan)和倾动(tilt)方向的运动的示例的图；

图3是示出根据该实施例的数字静态相机的配置示例的图；

图4是示出根据该实施例的云台的配置示例的图；

图5是示出在根据该实施例的数字静态相机中设置的与构图控制相对应的以块为单位的功能的图；

图6A和6B是示出个体对象的重心和由多个个体对象构成的合成对象的重心的图；

图7是示出在摄得图像数据的屏幕上设定的原点坐标的图；

图8是示意性地示出在所检测到的个体对象的数目为1的情况下第一构图控制的示例的图；

图9A和9B是示意性地示出在所检测到的个体对象的数目为2的情况下第一构图控制的示例的图；

图10是示意性地示出在所检测到的个体对象的数目为3的情况下第一构图控制的示例的图；

图11A和11B示出第一构图控制的处理过程的示例的流程图；

图12是示意性地示出在所检测到的个体对象的数目为3的情况下第二构图控制的示例的图；

图13A和13B示出第二构图控制的处理过程的示例的流程图；

图14是示出作为对根据该实施例的成像系统的修改的配置示例的图；

图15是示出作为对根据该实施例的成像系统的另一修改的配置示例的图；

图16是示出基于本发明实施例的构图判定的应用示例的图；

图17是示出基于本发明实施例的构图判定的应用示例的图；

图18是示出基于本发明实施例的构图判定的应用示例的图；

图19是示出基于本发明实施例的构图判定的应用示例的图；

图20是示出基于本发明实施例的构图判定的应用示例的图；

图21是示出基于本发明实施例的构图判定的应用示例的图；

图22是示出基于本发明实施例的构图判定的应用示例的图；以及

图23是示出基于本发明实施例的构图判定的应用示例的图。

具体实施方式

下面描述本发明的实施例。具体而言，给出关于这样一种情况的描述，即基于本发明实施例的配置被应用到包括数字静态相机和附接有该数字静态相机的云台的成像系统。

图1是示出根据该实施例的成像系统的外观配置示例的正视图。

如图1所示，该实施例的成像系统包括数字静态相机1和云台10。

数字静态相机1能够基于通过设置在主体的正面面板上的透镜单元3获得的成像光来生成静态图像数据，并且将该静态图像数据存储在装载于其中的存储介质中。也就是说，数字静态相机1具有将作为照片摄取的图像以静态图像数据的形式存储在存储介质中的功能。当手工执行这种摄影时，用户按下设置在主体的上表面上的快门(释放)按钮2。

数字静态相机1能够通过对其进行固定而被附接到云台10。也就是说，云台10和数字静态相机1具有使能相互附接的机构部分。

云台10具有摇动/倾动机构，以使附接于其上的数字静态相机1在摇动(水平)和倾动两个方向上运动。

由云台10的摇动/倾动机构所实现的数字静态相机1在摇动和倾动方向上的运动的示例在图2A和2B中示出。图2A和2B分别示出了从平面方向和从侧面方向来看的附接到云台10的数字静态相机1。

关于摇动方向，数字静态相机1的主体的水平方向与图2A中的直线X1匹配的位置状态被认为是基准状态。例如，当执行绕旋转轴Ct1沿旋转方向+α的旋转时，给出向右的摇动运动。当执行沿旋转方向-α的旋转时，给出向左的摇动运动。

另一方面，关于倾动方向，数字静态相机1的主体的垂直方向与图2B中的直线Y1匹配的位置状态被认为是基准状态。例如，当执行绕旋转轴Ct2沿旋转方向+β的旋转时，给出向下的倾动运动。当执行沿旋转方向-β的旋转时，给出向上的倾动运动。

没有提及图2A和2B所示的各个±α和±β方向上的最大可动旋转角。但是，优选地，最大可动旋转角尽可能地大，以便用户能够有更多的机会来捕捉对象。

图3是示出根据该实施例的数字静态相机1的内部配置示例的图。

参考图3，光学系统单元21包括一组预定数目的成像透镜，例如变焦透镜和聚焦透镜；以及光圈。光学系统单元21基于作为成像光的入射光在图像传感器22的光接收表面上形成图像。

另外，光学系统单元21包括用于驱动变焦透镜、聚焦透镜、光圈等等的驱动机构。这些驱动机构的操作例如由控制单元27所执行的所谓相机控制来控制，所述相机控制例如是变焦(视角)控制、自动聚焦控制和自动曝光控制。

图像传感器22执行将在光学系统单元21中获得的成像光转换成电信号的所谓光电转换。为此，图像传感器22在光电转换器件的光接收表面上接收来自光学系统单元21的成像光，并且在预定的定时顺序输出根据接收光的强度积累的信号电荷。因此，与成像光相对应的电信号(成像信号)被输出。对于用作图像传感器22的光电转换器件(成像器件)没有特别限制。在当前的情况下，例如可以使用CMOS(互补金属氧化物半导体)传感器或CCD(电荷偶合器件)。当采用CMOS传感器时，与图像传感器22相对应的器件(组件)的配置可包括与下述A/D转换器23相对应的模数转换器。

从图像传感器22输出的成像信号被输入到A/D转换器23，并且被转换成数字信号，然后数字信号被输入到信号处理单元24。

信号处理单元24以静态图像(帧图像)为单位取入从A/D转换器23输出的数字成像信号，并且以静态图像为单位对成像信号执行必要的信号处理，从而生成摄得图像数据(摄得静态图像数据)，其是与一个静态图像相对应的图像信号数据。

当由信号处理单元24以上述方式生成的摄得图像数据要被作为图像信息存储在充当存储介质(存储介质设备)的存储卡40中时，与一个静态图像相对应的摄得图像数据被从信号处理单元24输出到编码/解码单元25。

编码/解码单元25对从信号处理单元24输出的静态图像的摄得图像数据执行按预定静态图像压缩编码方法的压缩编码，并且根据控制单元27进行的控制添加头部等等，从而将摄得图像数据转换成以预定格式压缩的摄得图像数据。然后，编码/解码单元25将以这种方式生成的摄得图像数据传送到介质控制器26。介质控制器26根据控制单元27进行的控制将所传送的摄得图像数据写在存储卡40上，从而摄得图像数据被存储在存储卡40中。

此情况下采用的存储卡40是具有符合预定标准的卡外形并且包括诸如闪存之类的非易失性半导体存储设备的存储介质。取代存储卡40，另一种类型和格式的存储介质可被用于存储图像数据。

根据该实施例的信号处理单元24能够利用以上述方式获得的摄得图像数据来执行图像处理，以检测对象。该实施例中的对象检测处理的细节在下文中描述。

另外，数字静态相机1能够通过允许显示单元33利用在信号处理单元24中获得的摄得图像数据执行图像显示，来显示所谓的穿透图像(through image)，该穿透图像是当前正被摄取的图像。具体而言，信号处理单元24取入从A/D转换器23输出的成像信号，并且生成与一个静态图像相对应的摄得图像数据，如上所述。通过继续此操作，信号处理单元24顺序地生成与运动图像中的帧图像相对应的摄得图像数据。然后，信号处理单元24根据控制单元27进行的控制将顺序生成的摄得图像数据传送到显示驱动器32。因此，穿透图像被显示。

显示驱动器32基于以上述方式从信号处理单元24输入的摄得图像数据来生成驱动显示单元33的驱动信号并将驱动信号输出到显示单元33。因此，基于以静态图像为单位的摄得图像数据的图像被顺序显示在显示单元33中，从而用户可以在显示单元33中查看当时正摄取的运动图像。也就是说，监视图像被显示。

另外，数字静态相机1能够对记录在存储卡40上的摄得图像数据进行再现并且将图像显示在显示单元33中。

为此，控制单元27指定摄得图像数据并指令介质控制器26从存储卡40读取数据。响应于指令，介质控制器26访问存储卡40上记录着所指定的摄得图像数据的地址并且读取数据，然后将读取的数据传送到编码/解码单元25。

编码/解码单元25根据控制单元27进行的控制，从传送自介质控制器26的摄得图像数据中提取作为压缩后静态图像数据的实质数据，并且对压缩后静态图像数据执行与压缩编码相对应的解码处理，从而获得与一个静态图像相对应的摄得图像数据。然后，编码/解码单元25将摄得图像数据传送到显示驱动器32。因此，记录在存储卡40上的摄得图像数据的图像被再现和显示在显示单元33中。

用户界面图像可与上述监视图像和摄得图像数据的再现图像一起被显示在显示单元33中。在这种情况下，控制单元27根据当时的操作状态生成要作为必要的用户界面图像显示的图像数据，并且将所生成的图像数据输出到显示驱动器32。因此，用户界面图像被显示在显示单元33中。该用户界面图像可以与监视图像或者摄得图像数据的再现图像相分离的作为特定的菜单屏幕等等被显示在显示单元33的显示屏幕上。或者，用户界面图像可以在被叠加在监视图像或者摄得图像数据的再现图像上或者结合为其一部分的同时被显示。

控制单元27实际包括CPU(中央处理单元)，并且与ROM(只读存储器)28和RAM(随机访问存储器)29一起构成微计算机。ROM 28存储要被作为控制单元27的CPU执行的程序、与数字静态相机1的操作相关的各条设定信息，等等。RAM 29充当CPU的主存储设备。

在此情况下，设置了闪存30，作为用于存储应当根据用户操作或操作历史而改变(改写)的各条设定信息。当诸如闪存之类的非易失性存储器被用作ROM 28时，ROM 28中的一部分存储区域可取代闪存30被使用。

操作单元31包括设置在数字静态相机1中的各种操作按钮，以及用于生成与对这些操作按钮执行的操作相对应的操作信息信号并将所生成的信号输出到CPU的操作信息信号输出单元。控制单元27响应于从操作单元31输入的每个操作信息信号而执行预定的处理。因此，数字静态相机1根据用户的操作而被操作。

云台兼容通信单元34根据预定的通信方法执行云台10和数字静态相机1之间的通信，并且具有：物理层配置，该物理层配置使得在数字静态相机1附接到云台10的状态中能够向/从云台10的通信单元进行有线或无线的通信信号发送/接收；以及实现与预定的更上层相对应的通信处理的配置。

图4是示出云台10的配置示例的框图。

如上所述，云台10包括摇动/倾动机构。作为与此机构相对应的元件，云台10包括摇动机构单元53、摇动电机54、倾动机构单元56和倾动电机57。

摇动机构单元53具有向附接到云台10的数字静态相机1赋予在图2A所示的摇动(水平)方向上的运动的机构，并且此机构的运动可在摇动电机54在正向或反向方向上旋转时获得。同样地，倾动机构单元56具有向附接到云台10的数字静态相机1赋予在图2B所示的倾动(垂直)方向上的运动的机构，并且此机构的运动可在倾动电机57在正向或反向方向上旋转时获得。

控制单元51包括例如通过组合CPU、ROM和RAM而形成的微计算机，并且对摇动机构单元53和倾动机构单元56的运动进行控制。具体而言，当对摇动机构单元53的运动进行控制时，控制单元51向摇动驱动单元55输出与摇动机构单元53所需的运动量和运动方向相对应的控制信号。摇动驱动单元55生成与输入的控制信号相对应的电机驱动信号，并将电机驱动信号输出到摇动电机54。在必要的旋转方向上，以必要的旋转角度，通过电机驱动信号来旋转摇动电机54。结果，摇动机构单元53被驱动以在相应运动方向上以相应的运动量进行运动。

同样地，当对倾动机构单元56的运动进行控制时，控制单元51向倾动驱动单元58输出与倾动机构单元56所需的运动量和运动方向相对应的控制信号。倾动驱动单元58生成与输入的控制信号相对应的电机驱动信号，并将电机驱动信号输出到倾动电机57。在必要的旋转方向上，以必要的旋转角度，通过电机驱动信号来旋转倾动电机57。结果，倾动机构单元56被驱动以在相应运动方向上以相应的运动量进行运动。

通信单元52根据预定的通信方法与附接到云台10的数字静态相机1中的云台兼容通信单元34通信。与云台兼容通信单元34一样，通信单元52包括：物理层配置，该物理层配置使得能够向/从另一方的通信单元进行有线或无线的通信信号发送/接收；以及实现与预定的更上层相对应的通信处理的配置。

在包括具有上述配置的数字静态相机1和云台10的成像系统中，如果人被认为是主对象(以下简称为对象)并且如果在搜索之后对象的存在被检测到，则云台10的摇动/倾动机构被驱动，以获得包括对象的图像的最佳构图(执行最佳取景)。然后，在获得最佳构图的定时，当时摄取的图像数据被记录在存储介质(存储卡40)上。

也就是说，在根据该实施例的成像系统中，在通过数字静态相机1进行的摄影期间，自动执行为所找到的对象决定(判定)最佳构图并且执行拍摄和记录的操作。这样，可以获得具有适度良好的质量的照片图像，而无需用户进行构图判定和拍摄。另外，在这种系统中，不需要某人握持着相机就能够执行拍摄，从而拍摄地点中的每个人都可成为对象。此外，即使作为对象的用户没有自觉地进入相机的视角范围，对象也可被拍摄在照片中。也就是说，增加了拍摄到存在于拍摄地点中的人的自然外表的机会，从而可以获得许多具有空前的氛围的照片。

最佳构图可能取决于对象的朝向(orientation)而有所不同。但是，根据该实施例，根据多个对象的朝向之间的关系来决定不同的最佳构图。因此，使用具有根据该实施例的配置的设备的用户无需麻烦的操作就可获得最佳构图的图像。

下面，描述根据该实施例的构图控制。

图5示出了在数字静态相机1中设置的与根据该实施例的构图控制相对应的功能单元的配置示例。

参考图5，对象检测块61利用基于在图像传感器22中获得的成像信号而在信号处理单元24中获得的摄得图像数据，来执行包括对象的搜索控制的对象检测处理。这里，对象检测处理指的是辨别和检测摄得图像数据的图像内容中的作为人的对象的处理。作为检测结果而获得的信息(检测信息)包括作为人的对象的数目、屏幕中的每个个体对象的位置信息以及图像中的每个个体对象的大小(占有面积)。在该实施例中，每个个体对象的脸部朝向的信息(对象朝向信息)也作为检测信息被获得。在这里，脸部朝向被认为是在摄得图像数据的屏幕中的作为人的个体对象的朝向。

为了简单和易于理解，以下描述是基于下述假设来给出的：脸部朝向的检测结果是在右和左两个阶段中获得的。例如，即使能够判定对象基本上是朝向正面的，也根据预定的算法来获得右和左中的任何一个的检测结果。

取决于构图判定算法的结构，根据该实施例的构图控制可以通过只获得对象的数目和对象朝向信息作为检测信息来实现。

作为上述对象检测处理的特定方法，可以使用脸部检测技术。在相关技术中使用了一些脸部检测方法，但是对于该实施例中要采用的方法并没有特别限制，可以考虑到检测准确性和设计难度来采用适当的方法。

可以通过应用脸部检测技术来检测上述脸部朝向。例如，当基于使用特征点(例如鼻子)的模式识别来执行脸部检测处理时，可以基于在整个检测到的脸部中这些特征点之间的位置和距离关系来识别脸部朝向。

如果除了应用上述脸部检测技术之外还存在用于检测作为人的个体对象的朝向的有用方法，例如检测身体部分的朝向或者检测视线，则可以使用该有用方法，而不会有特别的问题。也就是说，作为用于检测个体对象的朝向(对象朝向)或者检测脸部朝向的方法或算法，可以从包括相关技术中使用的那些方法在内的方法中选择适当的方法，并且可以采用所选择的方法。

对象检测块61所执行的对象检测处理可实现为信号处理单元24中的图像信号处理。在信号处理单元24如上所述由DSP(数字信号处理器)构成的情况下，对象检测处理是通过提供给作为信号处理单元24的DSP的程序和指令来实现的。

在对象搜索控制期间，用于驱动上述摇动/倾动机构的控制信号经由通信控制块63被输出，以控制云台10的摇动/倾动机构。

由对象检测块61生成的作为对象检测处理的结果的检测信息被输入到构图控制块62。

构图控制块62利用输入其中的关于对象的检测信息来决定被认为是最佳的构图(最佳构图)。然后，构图控制块62执行控制以获得所决定的最佳构图(构图控制)。此情况下的构图控制包括改变视角(在该实施例中，它指的是根据对变焦透镜的控制而可改变的视野)的控制、沿着摇动(右或左)方向的拍摄方向的控制(摇动控制)以及沿着倾动(上或下)方向的拍摄方向的控制(倾动控制)。为了改变视角，执行移动数字静态相机1的光学系统单元21中的变焦透镜的控制，或者执行裁剪摄得图像数据上的图像的图像信号处理。摇动控制和倾动控制是通过控制和移动云台10的摇动/倾动机构来执行的。当对摇动/倾动机构的控制被执行时，构图控制块62允许用于将摇动/倾动机构设定在所需位置的控制信号经由通信控制块63被发送到云台10。

由上述构图控制块62执行的决定和控制构图的处理可由控制单元27(CPU)基于程序来执行。或者，由信号处理单元24基于程序执行的处理可以被一起使用。通信控制块63根据预定的协议与云台10的通信单元52执行通信处理，并且充当与云台兼容通信单元34相对应的功能单元。

接下来，参考图6A和6B描述对象检测块61执行的对象检测处理的示例。

假定对象检测块61取入了具有图6A所示的图像内容的摄得图像数据。摄得图像数据的图像内容是通过摄取其中存在作为人的对象的图像来获得的。图6A(和图6B)示出了屏幕按矩阵样式被划分的状态。这示意性地说明了作为摄得图像数据的屏幕是由一组预定数目的水平和垂直像素构成的。

通过对具有图6A所示的图像内容的摄得图像数据执行对象检测(脸部检测)检测出图中所示的个体对象SBJ的脸部。也就是说，通过脸部检测处理对脸部的检测等同于对个体对象的检测。作为对个体对象的检测的结果，获得个体对象的数目、朝向、位置和大小的信息，如上所述。

至于个体对象的数目，可以获得通过脸部检测而检测到的脸部的数目。在图6A所示的情况中，检测到的脸部的数目是1，从而个体对象的数目是1。

作为每个个体对象的位置信息，至少获得作为摄得图像数据的图像中的个体对象SBJ的重心G(X，Y)。在此情况下，摄得图像数据的屏幕上作为重心B(X，Y)的基准的X和Y原点坐标P(0，0)是与屏幕大小相对应的X轴方向(水平方向)上的宽度(水平图像大小)Cx的中点与Y轴方向(垂直方向)上的宽度(垂直图像大小)Cy的中点的交点，如图7所示。

可以采用根据相关技术的用于检测对象的重心的方法来定义图像中的个体对象的重心G的位置或设定重心G。

可通过计算被脸部检测处理等等指定和检测为脸部部分的区域中的像素数目来获得每个个体对象的大小。

每个个体对象的脸部朝向基于脸部检测处理被检测为右和左中的任何一个，如上所述。

另一方面，如果图6B所示的摄得图像数据被取入，并且对象检测块61执行对象检测处理，则两个脸部的存在通过脸部检测被检测到，从而指示出个体对象的数目为2的结果可以被获得。在这里，两个个体对象被彼此辨别开来：左边那个是个体对象SBJ0；右边那个是个体对象SBJ1。个体对象SBJ0和SBJ1的重心G的坐标分别是G0(X0，Y0)和G1(X1，Y1)。

在以这种方式检测到两个或更多个个体对象的情况下，计算由多个个体对象构成的合成对象的重心，即合成对象的重心Gt(Xg，Yg)。

存在一些方式来设定合成对象的重心Gt。在此情况下，采用最容易的方式：连接多个检测到的个体对象中在屏幕上的最左边和最右边的个体对象的重心的线的中点被设定为合成对象的重心Gt。合成对象的重心Gt是被用于构图控制中的信息，如下所述，并且是可通过在个体对象的重心的信息被获得之后进行计算来获得的信息。因此，合成对象的重心Gt可由对象检测块61获得，并且作为检测信息被输出。或者，合成对象的重心Gt可由构图控制块62利用作为检测信息获得的指示个体对象的重心的位置的信息中关于最左和最右个体对象的重心的信息来获得。

除了上述方法之外，也可使用以下设定方法。也就是说，根据多个个体对象的指派加权系数，并且利用加权系数来进行安排，以便合成对象的重心Gt的位置接近个体对象中的一个具有较大的大小的个体对象。

个体对象SBJ0和SBJ1中的每一个的大小可通过计算由检测到的该对象的脸部所占有的像素数目来获得。

接下来，参考图8至10来描述作为该实施例的第一示例的构图控制能够获得的构图。

图8示出了这样的情况，即作为对象搜索的结果，包括个体对象SBJ0的图像内容已经通过对象检测作为摄得图像数据被获得。

在该实施例中，当数字静态相机1所附接到的云台10被正常设定时，数字静态相机1的朝向被设定，以便水平朝向的图像被摄取。从而，下面描述的第一示例和第二示例是基于通过成像获得水平朝向的图像的假设的。

在如图8所示已检测到一个个体对象的情况下，改变个体对象SBJ0的大小，以便个体对象SBJ0在摄得图像数据的屏幕中的占有率具有被视为最佳的预定值。例如，如果在个体对象被检测到的阶段中个体对象在屏幕中的占有率低于预定值，则减小视角的变焦控制被执行以便个体对象的占有率增大到该预定值。如果个体对象在屏幕中的占有率高于该预定值，则增大视角的变焦控制被执行以便个体对象的占有率减小到该预定值。通过执行这种变焦控制，在检测到的个体对象的数目为1的情况下，对象大小被改变到适当的大小。

在检测到的个体对象的数目为1情况下，通过以下方式来调整对象在屏幕上的位置(对象位置)。

对于对象位置，使用检测到的脸部朝向的信息。图8所示的个体对象SBJ0被检测为脸部朝向左侧。此时，当图8所示的图像内容的屏幕被实际观看时，观看者会看到个体对象SBJ0的脸部在屏幕中朝向左侧。在现实世界中，作为个体对象SBJ0的实际的人是面向右的，其中面向执行成像的成像装置的那一侧为正面。

为了调整对象位置，虚拟地设定一经过图像中的原点坐标P(0，0)的垂直线，即图像区域划分线，它是与Y轴线相对应的直线并且是对象位置调整的基准线。

如果像上述情况中那样脸部朝向被检测为向左，则个体对象SBJ0的重心G被置于相对于与图像区域划分线Ld相对应的位置(X＝0)移动了一移动量的位置，该移动量由水平偏移量θx(水平移位位置)表示。为此，执行控制以驱动云台10的摇动机构以便重心G被定位在水平移位位置处。

一般地，对象被定位在屏幕中心的构图被认为是一般来说不宜的构图。通过根据由三分规则或者黄金分割表示的某种规则来使对象的位置相对于的屏幕中心位移，可以获得更好的构图。根据该实施例，个体对象SBJ0在屏幕的水平方向上的位置(重心G)根据这种构图决定方法被相对于屏幕中心移动预定的量(水平偏移量θx)。

另外，根据该实施例，当检测到的个体对象的脸部朝向是向左时，在由沿着Y轴线的图像区域划分线Ld所限定的右和左的两个图像区域(划分区域)中，对象的重心G在水平方向上的位置被置于右侧的图像区域，与脸部所朝向的左侧相反，如图8所示。因此，在屏幕上检测到的对象SBJ0的脸部所朝向的左侧可以获得空间。这样，与脸部朝向左的个体对象SBJ0的重心G被定位于屏幕在水平方向上的中心的情况或者重心G被定位在相对于图像区域划分线Ld的左侧图像区域的情况相比，可以获得更好的构图。

在该实施例中存在多种算法来决定水平偏移量θx的实际值，但是在该实施例中决定是基于三分规则作出的。三分规则是最基本的构图设定方法之一。在此方法中，对象被定位在将矩形屏幕分别在水平和垂直方向上划分成三段的虚拟线中的任何一条上，以便获得良好的构图。

例如，参考图8，水平偏移量θx被设定成使得重心G被定位在将水平图像大小Cx划分成三段并且沿屏幕的垂直方向延伸的两条虚拟线中的右虚拟线上。因此，可以获得根据个体对象的脸部朝向的针对对象在水平方向上的位置的最佳构图。

虽然在图中没有示出，但如果已检测到所检测到的个体对象SBJ的脸部朝向为向右，则个体对象SBJ的重心G被定位在图8所示的位置的关于图像区域划分线Ld的水平线对称的位置处。也就是说，将通过颠倒图8的情况中的值的正/负而获得的值设定为此情况下的水平偏移量θx，并且基于水平偏移量θx来执行摇动控制。

在如图9A所示检测到两个个体对象SBJ0和SBJ1的情况下，按以下方式执行构图控制。首先，执行调整(变焦控制)以便由个体对象SBJ0和SBJ1的图像部分的群组构成的合成对象图像部分的大小(对象图像部分在整个屏幕中的占有率)具有与个体对象的数目为2的情况相对应的最佳值。

存在一些方法来定义合成对象图像部分并计算其大小。例如，可以通过将多个检测到的个体对象的图像部分的大小相加来计算该大小。或者，可以将该大小计算为由围绕所有的多个检测到的个体对象的虚拟绘制线所限定的图像部分的大小。

至于两个个体对象SBJ0和SBJ1的水平方向上的位置，使用两个个体对象SBJ0和SBJ1的脸部朝向的信息。

假定图9A所示的两个个体对象SBJ0和SBJ1的脸部朝向已被检测为向左。换言之，所有的两个个体对象的脸部朝向都是相同的，即在此情况下为朝向左。

在此情况下，与图8中的个体对象SBJ0的脸部朝向为向左的情况一样，由个体对象SBJ0和SBJ1构成的合成对象图像部分被定位在图像区域划分线Ld的右侧，与脸部所朝向的左侧相反，以便在屏幕的左侧提供空间。为此，如图9A所示，设定用于向右位移预定量的水平偏移量θx，并且执行摇动控制以便合成对象的重心Gt被定位在相对于经过原点坐标P(0，0)的垂直线(Y轴线)移动了水平偏移量θx的位置处，其中合成对象的重心Gt是由个体对象SBJ0和SBJ1构成的合成对象图像部分的重心，所述垂直线是图像区域划分线Ld。

虽然在图中没有示出，但如果个体对象SBJ0和SBJ1的脸部朝向为向右，则执行摇动控制，使得合成对象的重心Bt被定位在图9A所示的位置的关于图像区域划分线Ld的线对称的位置处(在左侧图像区域中相对于Y轴线移动了水平偏移量θx的绝对值的位置)。

注意，如果在个体对象的数目为两个或更多个的情况下给出对于个体对象的数目为1的情况下被视为最佳的水平偏移量θx，则可能产生留下太靠右(或太靠左)的印象的构图。因此，在如图9A所示的个体对象的数目为2的情况下，比图8所示的个体对象的数目为1的情况的值更小的值(绝对值)根据预定规则被设定为水平偏移量θx。

图9B示出了检测到的两个个体对象SBJ0和SBJ1的脸部朝向分别是向左和向右的情况的示例。这是个体对象的数目为2并且对象的脸部朝向彼此不同的情况的示例。

在这种情况下，至于合成对象图像部分在水平方向上的位置，执行调整(摇动控制)，使得由两个个体对象SBJ0和SBJ1构成的合成对象的重心Bt被定位在图像区域划分线Ld上，如图9B所示。

在相应获得的构图中，由两个个体对象SBJ0和SBJ1构成的合成对象图像部分被定位在屏幕的水平方向上的几乎中心处。在这种对象数目为两个或更多个并且这些对象的朝向不同的情况下，即使合成对象图像部分处于中心，也可相应地获得良好的构图。

图10示出检测到三个个体对象SBJ0、SBJ1和SBJ2的情况。

在这种情况下，按以下方式执行构图控制。首先，执行调整(变焦控制)，使得由个体对象SBJ0、SBJ1和SBJ2构成的合成对象图像部分的大小具有与个体对象的数目为3的情况相对应的最佳值。

然后，至于合成对象图像部分的水平方向上的位置，使用为各个个体对象检测到的脸部朝向的信息。在图10中，所有三个个体对象SBJ0、SBJ1和SBJ2的脸部朝向都是相同的(向左)。

在这种情况下，与图9A中所示的情况一样，执行对水平偏移量θx的设定以及摇动控制，以将合成对象的重心Gt移动到由水平偏移量θx确定的某个位置，以便将由个体对象SBJ0、SBJ1和SBJ2构成的图像区域部分位移到由图像区域划分线Ld限定的右侧图像区域。如果所有三个个体对象SBJ0、SBJ1和SBJ2的脸部朝向都是相同的(向右)，则执行摇动控制，使得合成对象的重心Gt被定位在图10所示的位置的关于图像区域划分线Ld的水平线对称的位置处。

此时设定的水平偏移量θx具有比图9A的检测到的个体对象的数目为2的情况下的更小的绝对值。因此，对于个体对象的数目为3的情况进一步优化了对象在水平方向上的位置，从而可以获得良好的构图。

在构图控制的第一示例中，如果三个个体对象SBJ0、SBJ1和SBJ2的脸部朝向不相同，则与图9B中一样，获得合成对象的重心Gt被定位在图像区域划分线Ld(Y轴线)上的构图。

根据以上给出的描述，可以明白，构图控制的第一示例中的水平方向上的位置调整是基于为每个个体对象检测到的脸部朝向来执行的。也就是说，作为最基本的控制，当个体对象的数目为1时，依据个体对象的脸部朝向是向右还是向左，将对象的重心G(合成对象的重心Gt)向图像区域划分线Ld(Y轴线)的右侧或左侧位移一预定的量以执行重心G的水平偏移，从而在屏幕中与脸部朝向相同的一侧提供了空间。

当个体对象的数目为多个(两个或更多个)时，如果所有个体对象的脸部朝向都相同，则根据上述位置调整来执行合成对象的重心Gt的水平偏移。如果脸部朝向不同，则不执行水平偏移，并且将合成对象的重心Gt定位在与图像区域划分线Ld相对应的X坐标处，使得合成对象图像部分被定位在屏幕的几乎中心处。

然后，当执行合成对象的重心Gt的水平偏移时(当个体对象的数目为1时重心G被视为合成对象的重心Gt)，如以上参考图8至10所述根据个体对象的数目来改变水平偏移量θx。这样，进行了布置，使得可以根据个体对象的数目来获得合成对象图像部分在屏幕中的水平方向上的最佳位置。

图11A和11B示出了由图5所示的对象检测块61、构图控制块62和通信控制块63执行的、以上参考图8至10描述的构图控制的第一示例的过程示例。图11A和11B所示的处理是在作为DSP的信号处理单元24和控制单元27中的CPU执行程序时实现的。这种程序是在制造期间被写入和存储在ROM等等之中的。或者，该程序可被存储在非易失性存储介质中，然后被从存储介质安装(包括更新)，以便被存储在与DSP兼容的非易失性存储区域中，或者被存储在闪存30中。另外，该程序可在另一主机设备的控制下经由诸如USB或IEEE 1394之类的数据接口来安装。另外，在允许数字静态相机1具有网络功能时，可以将该程序存储在网络上的服务器等等的存储设备中并且通过从服务器下载程序来获得程序。

在以下参考流程图进行的描述中，以上使用的术语“合成对象的重心Gt”和“合成对象图像部分”不仅被应用到检测到的个体对象的数目为2个或更多个的情况，而且也应用到检测到的个体对象的数目为1的情况。也就是说，在检测到的个体对象的数目为1的情况下，图8所示的重心G相当于合成对象的重心Gt。另外，图8所示的仅由个体对象SBJ0构成的图像部分相当于检测到的个体对象的数目为1的情况下的合成对象图像部分。

步骤S101至S106对应于搜索和检测对象的过程，并且主要由对象检测块61执行。

在步骤S101中，取入并获得基于来自图像传感器22的成像信号的摄得图像数据。在步骤S102中，利用在步骤S101中获得的摄得图像数据来执行对象检测处理。在对象检测处理中，利用上述脸部检测方法等等来判定在作为摄得图像数据的图像内容中是否存在个体对象。如果存在个体对象，则至少获得个体对象的数目以及每个个体对象的位置(重心)、大小和脸部朝向来作为检测信息。

在步骤S103中，判定作为步骤S102中的对象检测处理的结果是否检测到了个体对象的存在。如果获得否定的判定结果，也就是说，如果尚未检测到个体对象的存在(检测到的个体对象的数目为0)，则处理前进到步骤S104，在该步骤中执行增大视角的变焦透镜运动控制(拉远(zoom-out)控制)。通过增大视角，可以摄取更宽范围的图像，从而相应地可以很容易地捕捉个体对象。同时，在步骤S105中，执行移动云台10的摇动/倾动机构的控制(摇动/倾动控制)，以便搜索对象。此时，执行控制，以便对象检测块61向通信控制块63提供用于摇动/倾动控制的控制信号，并且该控制信号被发送到云台10的通信单元52。

在摇动/倾动控制中移动云台10的摇动/倾动机构以搜索对象的样式可以被决定为使得搜索被高效地执行。

在步骤S106中，模式标志“f”被设定为0(f＝0)，并且处理返回到步骤S101。

这样，重复步骤S101至S106的过程，直到在摄得图像数据的图像内容中检测到至少一个个体对象为止。此时，包括数字静态相机1和云台10的系统处于数字静态相机1被在摇动和倾动方向上移动以搜索对象的状态中。

如果在步骤S103中获得肯定的判定结果，即如果检测到了个体对象的存在，则处理前进到步骤S107。从步骤S107起的过程主要由构图控制块62执行。

在步骤S107中，判定当前在模式标志“f”中设定的值。

如果判定f＝＝0，则该值指示出应当执行初始粗略对象捕捉模式来作为构图控制，从而执行从步骤S108开始的过程，如图11A和11B所示。

在步骤S108中，判定合成对象的重心Gt是否被定位在摄得图像数据的屏幕(通过显示摄得图像数据的图像内容而获得的屏幕)上的原点坐标P(0，0)处(见图7)。如果获得否定的判定结果，也就是说，如果合成对象的重心Gt尚未被定位在原点坐标处，则处理前进到步骤S109，在该步骤中，执行移动云台10的摇动/倾动机构的控制以便合成对象的重心Gt被定位在原点坐标处，然后处理返回到步骤S101。如上所述，在作为个体对象的存在已被检测到的状态中的构图控制的第一过程的捕捉模式中，执行云台10的摇动/倾动机构，以便合成对象的重心Gt被定位在作为初始基准位置的原点坐标处，从而包括检测到的个体对象的图像区域被定位在屏幕的中心。

现在，描述步骤S109中用于实际执行摇动/倾动控制的算法的示例。

在个体对象被检测到并且模式标志f＝＝0的状态中，对象检测块61根据以下式(1)来执行计算，以获得摇动方向上的必要运动量Span和倾动方向上的必要运动量Stilt。在以下式(1)中，“n”表示检测到的个体对象的数目，“p(Xi，Yi)”表示被指派以号码0至n-1的个体对象中的第i个个体对象的重心的X和Y坐标。为了确认，此情况下的原点坐标(0，0)位于屏幕的水平方向上的中点与垂直方向上的中点的交点处，如图7所示。

(S_{pan}, S_{tilt}) = \frac{Σ_{i = 0}^{n - 1} p (x_{i}, y_{i})}{n} - - - (1)

例如，在步骤S108中，通过判定以上述方式计算出的必要运动量Span和Stilt的绝对值是否在预定范围内(严格来说是0，但该值可以大于0)，来判定合成对象的重心Gt是否位于原点坐标P处。然后，在步骤S109中，执行摇动/倾动控制，使得必要运动量Span和Stilt的绝对值在预定范围内。此时，摇动/倾动控制时摇动机构单元53和倾动机构单元56的速度可以恒定。或者，该速度可以被改变，例如，该速度可以随着必要运动量Span和Stilt变大而被增大。因此，即使摇动或倾动的必要运动量较大，也可以在相对较短的时间中将合成对象的重心Gt定位在原点坐标处。

如果在步骤S108中获得肯定的判定结果，即如果合成对象的重心Gt被定位在原点坐标处，则在步骤S110中，模式标志“f”被设定为1(f＝1)，并且处理返回到步骤S101。在步骤S110中模式标志“f”被设定为1的状态是这样一种状态，即作为构图控制中的第一过程的捕捉模式已经完成并且第一构图调整控制(构图调整模式)应当被执行。

在模式标志被设定为f＝＝1并且第一构图调整模式应当被执行的情况下，处理从步骤S107前进到步骤S111。在第一构图调整模式中，变焦(视角)调整和摇动控制被执行，以获得根据检测到的个体对象的数目和个体对象的脸部朝向的组合的最佳构图。注意，取决于视角调整和摇动控制，可以改变屏幕中的每个个体对象的大小和位置。

在步骤S111中，判定已经检测到的个体对象的数目。如果数目为1，则执行从步骤S112开始的过程。

在步骤S112中，设定与检测到的个体对象的数目为1的情况相对应的目标对象大小。这里，目标对象大小指的是作为屏幕中合成对象图像部分的大小的、就构图而言最佳的大小。例如，与图8相对应，目标对象大小对应于“处于一预定范围中的值，在该预定范围中(1)个体对象SBJ0在摄得图像数据的屏幕中的占有率被视为最佳”。

在步骤S113中，判定个体对象的大小是否合适。个体对象的大小合适的状态指的是当时检测到的个体对象具有在步骤S112中设定的目标对象大小的状态。如果在步骤S113中获得否定的判定结果，则处理前进到步骤S114，在该步骤中执行变焦透镜驱动控制(变焦控制)，以便个体对象具有目标对象大小，并且处理返回到步骤S101。

此时，在维持步骤S109中设定的处于与X坐标(X＝0)相对应的位置的合成对象的重心Gt的水平(左右)方向位置的同时执行变焦控制。因此，可以维持个体对象被定位在水平方向上的几乎中心的位置的状态。另外，由于在对象搜索操作期间在步骤S104中执行拉远控制，因此在步骤S114中执行的变焦控制有可能是拉近(zoom-in)控制。但是，如果由于某种原因在当时检测到的个体对象的大小大于目标对象大小并且在步骤S113中获得否定的判定结果，则在步骤S114中执行拉远控制以便使实际个体对象具有目标对象大小。

如果在步骤S113中获得肯定的判定结果，则处理前进到步骤S115。

在步骤S115中，水平偏移量θx被设定。

在根据该实施例的第一构图控制中，水平偏移量θx是利用以下式(2)来计算的。

θx＝D×(Cx/6)/n…(2)

在式(2)中，“D”是基于脸部朝向或者多个脸部朝向的组合(关系)而被设定为+1、-1和0中的任何一个的系数。“Cx”指示出水平图像大小。“Cx/6”这一项对应于基于三分规则获得的沿垂直方向的虚拟线的X坐标。“n”指示检测到的个体对象的数目。

在步骤S115中，检测到的个体对象的数目为1，因此n＝1。脸部朝向是向右和向左中的任何一种。当脸部朝向为向左时系数D为+1，当脸部朝向为向右时系数D为-1。

当检测到的个体对象的脸部朝向为向左时，满足θx＝-Cx/6。水平偏移量θx指示出相对于经过原点坐标P(0，0)的垂直线(图像区域划分线Ld:Y轴线)向右移动Cx/6的垂直线上的位置。该垂直线的位置对应于基于三分规则的两条虚拟线中的右虚拟线。

另一方面，当检测到的个体对象的脸部朝向为右向时，水平偏移量θx为Cx/6。这指示出相对于经过原点坐标P(0，0)的垂直线(图像区域划分线Ld:Y轴线)向左移动Cx/6的垂直线上的位置。该垂直线的位置对应于基于三分规则的两条虚拟线中的左虚拟线。

在步骤S116中，判定合成对象的重心Gt(在此情况下，个体对象的数目为1，因此图8中的重心G与合成对象的重心Gt相同)是否被定位在与步骤S115中设定的水平偏移量θx相对应的X坐标上。如果在步骤S116中获得否定判定结果，则处理前进到步骤S117。

在步骤S117中，执行摇动控制，以便合成对象的重心Gt被定位在与水平偏移量θx相对应的X坐标上，并且处理返回到步骤S101。

然后，在合成对象的重心Gt已通过步骤S117中的控制被定位在与水平偏移量θx相对应的X坐标上之后，在步骤S116中就可以获得肯定判定。当在步骤S116中获得肯定判定结果时，个体对象(SBJ)的重心处于根据其脸部朝向相对于图像区域划分线Ld向左或向右移动水平偏移量θx的位置处，如图8所示。

如果在步骤S116中获得肯定判定结果，则处理前进到步骤S118，在该步骤中，模式标志“f”被设定为2，并且处理返回到步骤S101。模式标志被设定为f＝＝2的状态是第一构图调整已经完成并且释放操作应当在第二构图调整被执行之后被执行的状态，这从以下描述中可以明白。

如果在步骤S111中判定检测到的个体对象的数目为2个或更多个，则执行从步骤S119开始的过程。

在步骤S119中，设定目标对象大小。当个体对象的数目为2个或更多个时，获得最佳构图的目标对象大小依据个体对象的数目而变化。从而，在步骤S119中，根据在步骤S102中检测到的个体对象的数目来设定预定的目标对象大小。为了确认，在个体对象的数目为2个或更多个的情况下的目标对象大小是针对由所有检测到的个体对象构成的合成对象图像部分来设定的。

在步骤S120中，判定每个个体对象的大小是否合适。也就是说，判定从关于个体对象的检测信息获得的合成对象图像部分是否具有在步骤S119中设定的目标对象大小。

如果在步骤S120中获得否定的判定结果，则处理前进到步骤S121。在步骤S121中，在该步骤中执行变焦透镜驱动控制(变焦控制)，以便此时检测到的个体对象的合成对象图像部分具有在步骤S119中设定的目标对象大小，这类似于步骤S114，并且处理返回到步骤S101。

另一方面，如果在步骤S120中获得肯定判定结果，则处理前进到步骤S122。

在步骤S122中，判定为多个个体对象检测的脸部朝向是否相同。

如果在步骤S122中获得肯定判定结果，则处理前进到步骤S123。在步骤S123中，利用上述式(2)来设定水平偏移量θx。

在此情况下，根据检测到的脸部朝向是向左还是向右，用+1和-1中的任何一个来代入式(2)中的系数D。另外，作为检测到的个体对象的数目的、等于2或更大的值被代入“n”。从此处可以明白，依据式(2)，个体对象的数目越大，计算出的θx的绝对值越小。也就是说，如以上参考图8、9A和10所描述的，合成对象图像部分相对于图像区域划分线Ld在右侧或左侧的偏移量随着个体对象的数目变大而变小。

另一方面，如果在步骤S122中获得否定判定结果，则在步骤S124中将水平偏移量θx设定为0。

在步骤S124中，可以通过利用式(2)执行计算来设定θx＝0。也就是说，构成这样一种算法，即，如果在步骤S122中获得否定判定结果(如果脸部朝向不同)，则在步骤S124中通过用0代入系数D，来执行式(2)的计算。

在步骤S123或S124之后，处理前进到步骤S125。

在步骤S125、S126和S127中，与上述步骤S116、S117和S118中一样，执行摇动控制，直到合成对象的重心Gt被定位在与在步骤S123或S124中设定的水平偏移量θx相对应的X坐标上为止。利用此控制，如果多个个体对象的脸部朝向相同，则合成对象图像部分(合成对象的重心Gt)可以向右或向左移动与对象数目相对应的水平偏移量θx。在这种情况下，在步骤S125中获得肯定判定结果，从而模式标志“f”在步骤S127中被设定为2，然后处理返回到步骤S101。

在模式标志“f”被设定为2的状态中，以上参考图8至10描述的、包括根据个体对象的数目的大小调整和根据每个个体对象的脸部朝向或其组合的水平方向位置调整在内构图控制已经完成。从而，如果在步骤S107中判定模式标志“f”为2，则在从步骤S128开始的过程中执行第二构图调整模式。

例如，在参考图8至10对构图控制的描述中，为了简单没有描述如何设定个体对象的重心在屏幕的垂直方向上的位置。但是，实际上，通过将该位置相对于屏幕中心向上移动(偏移)某一必要量，可以获得更好的构图。从而，在根据该实施例的实际构图控制中，也设定了合成对象的重心Gt的垂直方向上的偏移量，以便获得更好的构图来作为最佳构图。用于该设定的过程是第二构图调整模式，其是作为下述步骤S128和S129来执行的。

在步骤S128中，判定合成对象的重心Gt(如果个体对象的数目为1，则是个体对象的重心G)的位置是否相对于经过屏幕上的原点坐标P的水平线(X轴)位移了预定的垂直偏移量θy(重心偏移是否合适)。

如果在步骤S128中获得否定的判定结果，则处理前进到步骤S129，在该步骤中，执行倾动控制以移动云台10的倾动机构，以便重心按所设定的垂直偏移量θy被位移，并且处理返回到步骤S101。在步骤S128中获得肯定的判定结果的阶段中，已经获得了与最佳构图相对应的合成对象图像部分在水平和垂直两个方向上的位置，并且也获得了与最佳构图相对应的合成对象图像部分的大小。也就是说，获得了最佳构图。

存在一些与步骤S128和S129相对应的用于设定垂直偏移量θy的实际值的方法，并且对于该方法并没有具体限制。作为最简单的设定方法之一，基于三分规则可以给出相对于垂直方向的中心的、与垂直图像大小Cy的六分之一相对应的长度。当然，根据预定的规则，可以设定取决于个体对象的数目、脸部朝向及其组合的不同值。

如果在步骤S128中获得肯定的判定结果，则执行从步骤S130开始的与释放操作相对应的过程。在这里，释放操作指的是将当时获得的摄得图像数据作为静态图像数据存储在存储介质(存储卡40)中的操作。具体而言，在手工快门操作被执行的情况下，释放操作指的是响应于快门操作将当时获得的摄得图像数据作为静态图像数据记录在存储介质中的操作。

在步骤S130中，判定当前是否满足执行释放操作的条件。这些条件例如包括聚焦状态(当自动聚焦控制有效时)已被建立以及云台10的摇动/倾动机构处于停止状态。

如果在步骤S130中获得否定的判定结果，则处理返回到步骤S101，以便等待直到执行释放操作的条件得到满足。如果在步骤S130中获得肯定的判定结果，则在步骤S131中执行释放操作。这样，在该实施例中可以记录最佳构图的摄得图像数据。

在释放操作结束之后，在步骤S132中执行对必要参数的初始设定。利用此设定，模式标志“f”被设定为初始值0。另外，变焦透镜的位置被返回到预设的初始位置。

在步骤S132之后，处理返回到步骤S101。通过使处理从步骤S132返回到S101，自动重复搜索对象、根据搜索所检测到的(一个或多个)个体对象的朝向和个体对象的数目获得最佳构图并且执行成像和记录(释放操作)的操作。

以上参考图11A和11B描述的释放操作是将基于摄得图像的静态图像记录在记录介质中的操作。在更宽泛的意义上，根据该实施例的释放操作包括将上述静态图像记录在记录介质上的操作以及从摄得图像获得必要的静态图像数据的操作。从而，释放操作还包括该实施例的数字静态相机1进行的从摄得图像获得静态图像数据以将静态图像数据经由数据接口发送到另一记录设备的操作。

在图11A和11B所示的上述过程中，执行了用于捕捉的摇动/倾动控制。也就是说，在步骤S108和S109中，由检测到的一个或多个个体对象构成的合成对象的重心Gt基于利用式(1)计算出的必要运动量Span和Stilt被定位在屏幕上的原点坐标P处。然后，在下一阶段中，基于个体对象的数目和为各个个体对象检测到的脸部朝向之间的关系(是否相同)来计算水平偏移量θx，并且执行摇动控制以参考经过原点坐标P的垂直线(图像区域划分线Ld:Y轴线)，将合成对象的重心Gt向右或向左移动与水平偏移量θx相对应的距离。另外，执行倾动控制，以参考经过原点坐标P的水平线(X轴)、基于由所设定的垂直偏移量θy指示的移动量，来将合成对象的重心Gt向上(或向下)移动与垂直偏移量θy相对应的距离。

因此，在图11A和11B所示的过程中的摇动/倾动控制中，利用以下式(3)来计算必要运动量Span和Stilt，然后控制摇动机构以在屏幕中获得与必要运动量Span相对应的运动量，并且控制倾动机构以在屏幕中获得与必要运动量Stilt相对应的运动量。

(S_{pan}, S_{tilt}) = \frac{Σ_{i = 0}^{n - 1} p (x_{i}, y_{i}) + (θ_{x}, θ_{y})}{n}

下面，描述根据该实施例的第二构图控制。

作为第二构图控制的示例，图12示出了检测到三个个体对象SBJ0、SBJ1和SBJ2的状态。在这些个体对象中，为个体对象SBJ0和SBJ2检测到的脸部朝向是向左，而为个体对象SBJ1检测到的脸部朝向是向右。在这种情况下，所有个体对象的脸部朝向不相同。因此，在第一构图控制中，设定构图，以使得合成对象的重心Gt被定位在经过原点坐标P的垂直线(图像区域划分线Ld:Y轴线)上，如以上参考图9B所述。

但是，在这种情况下，三个个体对象中的大多数，即两个个体对象SBJ0和SBJ2，都面向相同的方向(脸部朝向相同)。该情形暗示着某件重要的事物可能存在于两个个体对象SBJ0和SBJ2的眼睛的方向上，而不是个体对象SBJ1的眼睛的方向上。基于这种观点，通过在由两个个体对象SBJ0和SBJ2的眼睛方向所指示的图像区域中提供空间，有可能获得良好的构图。在此情况下，两个个体对象SBJ0和SBJ2的脸部朝向被检测为向左，因此由三个个体对象SBJ0、SBJ1和SBJ2构成的合成对象图像部分被定位在屏幕中图像区域划分线Ld的右侧的图像区域中，以便获得良好的构图。

在第二构图控制中，当在个体对象的脸部朝向之间的关系中，相同脸部朝向的数目占了个体对象总数的预定百分比或更多时，该相同脸部朝向被视为基准脸部朝向。基准脸部朝向是屏幕中多个个体对象构成的合成对象的朝向。然后，基于基准脸部朝向来计算和设定水平偏移量θx。通过执行这种构图控制，设定了构图，使得在图12中合成对象的重心Gt被定位在经过原点坐标P的垂直线的右侧。

虽然在图中没有示出，但如果相同脸部朝向的数目没有占预定的百分比，也就是说，如果未决定基准脸部朝向，则在该实施例中优选通过将合成对象图像部分定位在水平方向上的几乎中心的位置来设定构图。因此，在此情况下，水平偏移量θx被设定为0。

图13A和13B示出了与图5所示的对象检测块61、构图控制块62和通信控制块63执行的上述第二构图控制相对应的过程的示例。

在图13A和13B所示的过程中，除了步骤S222-1和S222-2之外，步骤S201至S232与图11A和11B中的步骤S101至S132相同。

作为如果在步骤S222中获得否定判定结果而应当执行的过程，插入了步骤S222-1和S222-2。也就是说，步骤S222-1和S222-2是在检测到多个个体对象并且在合成对象图像部分的大小调整已经完成的阶段中、在个体对象的脸部朝向之间的关系中这些个体对象的脸部朝向不同的情况下执行的。

在步骤S222-1中，决定基准脸部朝向。

为此，判定多个检测到的个体对象的脸部朝向之间的关系，如上所述。具体而言，判定是否存在一组占所有检测到的个体对象的预定百分比或更多的、具有相同的脸部朝向的个体对象。如果存在这样的一组个体对象，则该组中的个体对象的脸部朝向被决定为有效的基准脸部朝向。如果不存在这样的一组个体对象，则判定不存在基准脸部朝向。

考虑到个体对象的实际数目和各个个体对象的脸部朝向之间的实际关系，可以适当地决定要实际设定为该预定百分比的值，以获得最佳构图。基本上，可以将固定的值设定为该预定百分比，但是也可依据所决定的个体对象的数目来设定不同的值。

另外，作为决定基准脸部朝向的算法，也可以使用除上述之外的算法。例如，不考虑在所有个体对象中的百分比，在各自具有相同脸部朝向的个体对象的组中，具有最大数目的个体对象的组的脸部朝向可被为决定为有效基准脸部朝向。在这种情况下，如果存在各自具有相同数目的、脸部朝向相同的个体对象的组，则判定不存在基准脸部朝向。

在步骤S222-2中，判定作为在步骤S222-1中的脸部朝向决定处理中的结果是否决定了有效基准脸部朝向。

如果获得肯定判定结果，则处理前进到步骤S223。在步骤S223中，基于在步骤S222-1中决定的基准脸部朝向来设定系数D，并且计算并设定水平偏移量θx。

另一方面，如果在S222-2中获得了否定判定结果，这意味着在前一步骤S222-1中未决定指示向右或向左的有效基准脸部朝向。从而，处理前进到步骤S224，在该步骤中水平偏移量θx被设定为0。这样，通过插入步骤S222-1和S222-2，实现了以上参考图12描述的第二构图控制。

在图11A和11B以及图13A和13B中所示的每种构图控制的过程的整个流程中，根据检测到的个体对象的数目来判定和决定被认为是最佳的构图，并且适当地执行变焦控制和摇动/倾动控制来实际获得(反映)所判定的构图的摄得图像数据。

上述构图控制是基于按向右和向左的两级来检测脸部朝向这一假设的。但是，实际上，可以按向右、向左和向前的三级来执行脸部朝向检测处理。在这种情况下，也可以有效地应用根据本发明实施例的构图控制。

例如，在如图8所示一个个体对象被检测到并且脸部朝向被检测为向前的情况下，水平方向上的对象位置可以被定位在屏幕的几乎中心的位置处(重心G被定位在大概图像区域划分线Ld(Y轴线)上)。但是，在许多情况下，这种构图被认为是一般来说不宜的构图。因此，在检测到的个体对象的数目为1并且其脸部朝向为向前的情况下，可以决定水平偏移量θx以获得与图8所示相同的构图或者图8所示构图的关于图像区域划分线Ld的线对称构图。这样，可以获得基于三分规则的良好构图。

另外，在检测到两个或更多个个体对象的情况下，如果所有个体对象的脸部朝向都是向前或者如果基准脸部朝向是向前，则可以通过将式(2)中的系数D设定为0来计算水平偏移量θx。

另外，在也能在垂直方向上检测到脸部朝向的情况下，可以根据垂直方向上脸部朝向的检测结果来执行根据本发明实施例的构图控制。在这种情况下，合成对象的重心Gt相对于沿着水平方向的图像区域划分线Ld(例如经过原点坐标的水平方向上的线(X轴线))在垂直方向上移动。

另外，在也能在作为水平和垂直方向的合成方向的倾斜方向上检测到脸部朝向的情况下，可以根据倾斜脸部朝向来执行构图控制。在这种情况下，穿过屏幕并且与检测到的倾斜脸部朝向正交的线(例如，经过原点坐标的线)可以被设定为图像区域划分线Ld，并且合成对象的重心Gt可以被移动到由图像区域划分线Ld限定的任何图像区域。

另外，在能够在水平方向(或垂直方向)上按两级或三级检测到脸部朝向的情况下，可以采用根据检测到的朝向的级(程度)来改变水平偏移量θx(或垂直偏移量θy)的算法。

在这种情况下，基准线所经过的基准点对应于图7所示的屏幕上的原点坐标。但是，作为基准点的位置，可以设定除原点坐标之外的位置来获得更好的构图。

图14示出了作为根据该实施例的成像系统的修改的配置示例。

在图14中，由信号处理单元24基于成像而生成的摄得图像数据被经由通信控制块63从数字静态相机1发送到云台10。

在图14中，云台10包括通信控制块71、摇动/倾动控制块72、对象检测块73和构图控制块74。

通信控制块71是与图4所示的通信单元52相对应的功能单元，并且根据预定的协议与数字静态相机1上的通信控制块63(云台兼容通信单元34)执行通信。

由通信控制块71接收的摄得图像数据被提供到对象检测块73。对象检测块73包括至少能够执行与图5所示的对象检测块61所执行的相等同的对象检测处理的信号处理单元，对提供给它的摄得图像数据执行对象检测处理，并且将检测信息输出到构图控制块74。

构图控制块74能够执行与图5所示的构图控制块62所执行的相等同的构图控制。当作为构图控制的结果执行摇动控制或倾动控制时，构图控制块74向摇动/倾动控制块72输出用于控制的控制信号。

摇动/倾动控制块72对应于执行图4所示的控制单元51所执行的控制处理中的关于摇动/倾动控制的处理的功能，并且响应于输入到其中的控制信号而向摇动驱动单元55或倾动驱动单元58输出控制摇动机构单元53或倾动机构单元56的运动的信号。因此，执行摇动或倾动以获得由构图控制块62判定的构图。

如上所述，在图14所示的成像系统中，摄得图像数据被从数字静态相机1发送到云台10，并且基于摄得图像数据的对象检测处理和构图控制是在云台10一方执行的。

图15示出了作为根据该实施例的成像系统的另一修改的配置示例。在图15中，与图14中相同的部分由相同的标号标示，并且相应的描述被省略。

在此系统中，在云台10中设置了成像单元75。成像单元75包括用于成像的光学系统和成像器件(成像器)，以获得基于成像光的信号(成像信号)。另外，成像单元75包括信号处理单元，以基于成像信号来生成摄得图像数据。此配置对应于图3所示的包括光学系统单元21、图像传感器22、A/D转换器23和信号处理单元24在内的用于获得摄得图像数据的信号处理级中的单元。由成像单元75生成的摄得图像数据被输出到对象检测块73。顺便说一下，成像单元75取入成像光的方向(成像方向)被设定为与放置于云台10上的数字静态相机1的光学系统单元21(镜头单元3)的成像方向尽可能地匹配。

在此情况下，对象检测块73和构图控制块74以与图14相同的方式执行对象检测处理和构图控制处理。但是，此情况下的构图控制块74执行摇动/倾动控制，并且还允许通信控制块71在执行释放操作的定时向数字静态相机1发送释放指令信号。在数字静态相机1中，在接收到释放指令信号时执行释放操作。

如上所述，在此修改中，除了释放操作之外的整个对象检测处理和构图控制都可在云台10一方执行。

图11A和11B以及图13A和13B所示的构图控制中执行的摇动控制和倾动控制是通过控制云台10的摇动/倾动机构的运动来执行的。或者，取代云台10，可以采用另一配置。例如，可以允许由反射镜反射的成像光进入数字静态相机1的镜头单元3，并且可以移动反射光以获得基于成像光获得的图像的摇动/倾动结果。

另外，通过执行控制以在水平方向和垂直方向上移动像素区域以取入效果上作为来自数字静态相机1的图像传感器22的图像的成像信号，可以获得与摇动/倾动相等同的结果。在此情况下，云台10或者除数字静态相机1之外的用于摇动/倾动的替代设备是不必要的，并且根据该实施例的整个构图控制可以由数字静态相机1独自执行。

另外，可以通过设置能够在水平方向和垂直方向上改变光学系统单元21中的透镜的光轴的机构并且控制该机构的运动来执行摇动/倾动。

基于本发明实施例的用于判定构图的配置可被应用除了以上作为实施例描述的成像系统之外的其他系统或设备。下面，描述根据本发明实施例的构图判定的应用示例。

首先，参考图16，根据本发明实施例的构图判定被应用到单个成像设备，例如数字静态相机。例如，当在成像模式中获得由成像设备摄取的图像的适当构图时，通过显示把这个事实通知给用户。

为此应当在成像设备中设置的配置包括对象检测/构图判定块81、通知控制块82和显示单元83。

对象检测/构图判定块81取入摄得图像数据，并且执行与图5所示的对象检测块61所执行的相等同的对象检测处理，并利用作为对象检测处理的结果的检测信息执行与图5所示的构图控制块62所执行的相等同的构图判定处理。

例如，假定用户将被设定到成像模式的成像设备握在手中，并且他/她可以通过执行释放操作(快门按钮操作)来随时记录摄得图像。

在此状态下，对象检测/构图判定块81取入当时通过成像获得的摄得图像数据，并且执行对象检测。然后，根据检测到的个体对象的数目等等来指定最佳构图。注意，在此构图判定处理中，判定当时获得的摄得图像数据的图像内容的构图与最佳构图之间的一致性与相似性。如果获得预定程度或更大的相似性，则判定通过拍摄实际获得的摄得图像数据的图像内容具有最佳构图。实际上，配置一算法，以使得如果获得预定程度或更大的相似性，并且判定摄得图像数据的图像内容的构图匹配最佳构图，则给出最佳构图的判定。存在各种计算一致性和相似性的算法，因而这里不描述具体示例。

指示出摄得图像数据的图像内容具有最佳构图的判定结果的信息被输出到通知控制块82。在接收到该信息后，通知控制块82执行显示控制，以便向用户指示出当前正摄取的图像具有最佳构图的通知以预定的方式被显示在显示单元83中。通知控制块82是由诸如成像设备中包括的微计算机(CPU)之类的显示控制功能以及在显示单元83中实现图像显示的所显示图像处理功能来实现的。指示出获得了最佳构图的对用户的通知可利用诸如电子声音或合成语音之类的声音来执行。

显示单元83对应于该实施例的数字静态相机1的显示单元33。一般地，在被曝光的同时，显示单元的显示面板被设置在成像设备的预定位置中，并且当前正被摄取的图像(所谓的穿透图像)在拍摄模式中被显示于其上。从而，在实际的成像设备中，将最佳构图通知给用户的图像在被叠加于穿透图像上的同时被显示在显示单元83中。当此通知图像出现时，用户执行释放操作。因此，即使不具备充足的摄影知识和技术的用户也可以很容易地拍摄到良好构图的照片。

图17示出了如图16中那样，根据本发明实施例的构图判定被应用到诸如数字静态相机之类的单个成像设备的示例。

在图17所示的配置中，与图16中一样，对象检测/构图判定块81取入当时通过成像获得的摄得图像数据并执行对象检测处理，并且还基于对象检测信息来判定摄得图像数据的图像内容是否具有最佳构图。在判定图像内容具有最佳构图之后，对象检测/构图判定块81将判定结果通知给释放控制块84。

释放控制块84执行记录摄得图像数据的控制，并且例如是由成像设备中包括的微计算机执行的控制来实现的。接收到了通知的释放控制块84执行图像信号处理和记录控制，以便当时获得的摄得图像数据被存储在存储介质等等之中。

利用此配置，成像设备可以在最佳构图的图像被摄取时自动记录摄得图像。

图16和17中所示的配置可被应用到处于静态相机的类别中的、具有图1所示的配置的数字静态相机。另外，通过设置划分由光学系统获得的成像光并取入划分后的光的图像传感器和从图像传感器接收信号并处理信号的数字图像信号处理单元，这些配置可被应用到在银盐膜上记录摄得图像的所谓银盐相机。

图18示出了本发明实施例被应用到编辑现有图像数据的编辑设备的示例。

图18示出了编辑设备90。编辑设备90获得通过再现而来自存储介质的图像数据(再现图像数据)，来作为现有图像数据。除了从存储介质再现的图像数据之外，经由网络下载的图像数据也可被获得。也就是说，对于编辑设备90用来获得摄得图像数据的途径没有特别限制。

由编辑设备90获得的所再现的摄得图像数据被输入到修剪块91和对象检测/构图判定块92中的每一个。

首先，对象检测/构图判定块92执行如图16和17中那样的对象检测处理，并输出检测信息。然后，作为利用检测信息的构图判定处理，对象检测/构图判定块92在作为输入其中的所再现的摄得图像数据的整个屏幕中指定获得最佳构图的具有预定的纵横比的图像部分(最佳构图的图像部分)。然后，在指定最佳构图的图像部分之后，对象检测/构图判定块92向修剪块91输出指示该图像部分的位置的信息(修剪指令信息)。

响应于修剪指令信息的输入，修剪块91执行图像处理以从输入到其中的所再现的摄得图像数据中提取修剪指令信息所指示的图像部分，并且将所提取的图像部分作为独立图像数据输出。这是经编辑的摄得图像数据。

利用此配置，作为对图像数据的编辑处理，自动执行通过从原始图像数据的图像内容中提取最佳构图的一部分来进行的对新获得的图像数据的修剪。这种编辑功能可以被采用来作为安装到个人计算机等等之中的编辑图像数据的应用或者作为管理图像数据的应用中的图像编辑功能。

图19是根据本发明实施例的构图判定被应用到诸如数字静态相机之类的成像设备的配置示例。

通过成像单元(未示出)进行的成像而获得的摄得图像数据被输入到成像设备100中的对象检测/构图判定块101和文件生成块103。在此情况下，输入到成像设备100的摄得图像数据是应当通过释放操作等等被存储在存储介质中的摄得图像数据，并且是基于通过成像单元(未示出)进行的成像而获得的成像信号来生成的。

首先，对象检测/构图判定块101对输入到其中的摄得图像数据执行对象检测并且基于检测信息来判定最佳构图。具体而言，与图18中所示的情况一样，可以获得指定输入的摄得图像数据的整个屏幕中的最佳构图的图像部分的信息。然后，对象检测/构图判定块101将指示以这种方式获得的最佳构图的判定结果的信息输出到元数据生成块102。

元数据生成块102基于输入的信息生成包括从相应摄得图像数据获得最佳构图所必需的信息在内的元数据(构图编辑元数据)，并且将元数据输出到文件生成块103。构图编辑元数据例如包括可以指示出在作为相应摄得图像数据的屏幕中要对其执行修剪的图像区域部分的位置信息。

在图19所示的成像设备100中，摄得图像数据被记录在存储介质上，以便该数据作为预定格式的静态图像文件被管理。为此，文件生成块103将摄得图像数据转换成静态图像文件格式(生成静态图像文件)。

首先，文件生成块103对输入到其中的摄得图像数据执行与图像文件格式相对应的图像压缩编码，以便生成由摄得图像数据构成的文件主体。另外，在将从元数据生成块102接收的构图编辑元数据存储在预定的存储位置中的同时，文件生成块103还生成头部和包括附加信息块的数据部分。然后，文件生成块103基于文件主体、头部和附加信息块生成静态图像文件，并且输出静态图像文件。因此，如图19所示，可以获得应当被记录在存储介质上并且具有包括摄得图像数据和元数据(构图编辑元数据)的配置的静态图像文件。

图20示出了对图19所示的设备生成的静态图像文件进行编辑的编辑设备的配置示例。

图20所示的编辑设备110取入静态图像文件的数据并且将该数据输入到元数据分离块111。元数据分离块111将静态图像文件的数据中与文件主体相对应的摄得图像数据与元数据分离开来。通过分离获得的元数据被输出到元数据分析块112，而摄得图像数据被输出到修剪块113。

元数据分析块112对获得的元数据进行分析。作为分析处理，元数据分析块112参考构图编辑元数据中包括的用于获得最佳构图的信息，至少指定相应摄得图像数据中其上应当执行修剪的图像区域。然后，元数据分析块112向修剪块113输出修剪指令信息，以提供执行指定图像区域的修剪的指令。

与图18中所示的修剪块91一样，修剪块113执行图像处理以从输入自元数据分离块111的摄得图像数据中提取出由输入自元数据分析块112的修剪指令信息所指示的图像部分，并且将提取出的图像部分作为经编辑的摄得图像数据输出，其中经编辑的摄得图像数据是独立的图像数据。

根据包括图19和20所示的成像设备和编辑设备的系统，在对通过拍摄获得的原始静态图像数据(摄得图像数据)在未经处理的状态中进行存储的同时，可以执行利用元数据从原始静态图像数据中提取最佳构图的图像的编辑。此外，自动决定与最佳构图相对应的要提取的图像部分。

图21示出了本发明实施例被应用到诸如视频相机之类的能够摄取和记录运动图像的成像设备的示例。

运动图像数据被输入到图21所示的成像设备120。运动图像数据是基于通过成像设备120中包括的成像单元进行的成像而获得的成像信号来生成的。运动图像数据被输入到成像设备120中的对象检测/构图判定块122和运动图像记录块124。

此情况中的对象检测/构图判定块122判定输入到其中的运动图像数据的构图是良好的还是不好的。例如，对象检测/构图判定块122保存着定义良好构图的参数(良好构图对应参数)。这些参数包括根据检测到的个体对象的数目和每个个体对象的脸部朝向的信息而适当设定的目标对象大小和水平偏移量θx。对象检测/构图判定块122对输入到其中的运动图像数据连续执行构图判定(例如计算构图参数，比如实际的个体对象在运动图像数据中的占有率以及对象之间的距离K)，并且将作为判定结果获得的运动图像数据的构图参数与上述的良好构图对应参数相比较。如果运动图像数据的构图参数与良好构图对应参数具有预定程度或更大的相似性，则判定运动图像数据具有良好构图。否则，判定运动图像数据具有不好构图。

如果对象检测/构图判定块122判定运动图像数据具有良好构图，则它向元数据生成块123输出指示出运动图像数据中已被判定为具有良好构图的图像区段(良好构图图像区段)的信息(良好构图图像区段指示信息)。良好构图图像区段指示信息例如是指示出运动图像数据中的良好构图图像区段的起始位置和结束位置的信息。

此情况下的元数据生成块123生成关于如下所述要由运动图像记录块124作为文件记录在存储介质上的运动图像数据的各种必要的元数据。当以上述方式从对象检测/构图判定块122接收到良好构图图像区段指示信息时，元数据生成块123生成指示出由输入的良好构图图像区段指示信息指示的图像区段具有良好构图的元数据，并将该元数据输出到运动图像记录块124。

运动图像记录块124执行控制以将输入的运动图像数据记录在存储介质，以便该运动图像数据作为预定格式的运动图像文件被管理。当元数据被从元数据生成块123输出时，运动图像记录块124执行控制以便该元数据在被包括在附于运动图像文件的元数据中的同时被记录。

因此，如图21所示，记录在存储介质上的运动图像文件包括通过成像获得的运动图像数据和指示出具有良好构图的图像区段的元数据，该元数据被附于该运动图像数据。

以上述方式由元数据指示的具有良好构图的图像区段可以是具有某个时间宽度的运动图像的图像区段或者是从运动图像数据中提取的静态图像。或者，具有良好构图的图像区段的运动图像数据或静态图像数据可以取代上述元数据被生成，并且所生成的数据可以作为添加到运动图像文件的副静态图像数据(或者作为独立于运动图像文件的文件)被记录。

另外，在图21所示的成像设备120包括对象检测/构图判定块122的配置中，只有被对象检测/构图判定块122判定为良好构图图像区段的运动图像区段可以作为运动图像文件被记录。另外，与被对象检测/构图判定块122判定为具有良好构图的图像区段相对应的图像数据可经由数据接口等等被输出到外部设备。

图22示出了本发明实施例被应用到执行打印的打印设备的示例。

在此情况下，打印设备130取入具有要打印的图像内容的图像数据(静态图像)。已取入的数据被输入到修剪块131和对象检测/构图判定块132。

首先，对象检测/构图判定块132执行与图18所示的对象检测/构图判定块92所执行的相同的对象检测/构图判定处理，以便指定输入图像数据的整个屏幕中的最佳构图的图像部分，根据处理结果生成修剪指令信息，并且将该信息输出到修剪块131。

修剪块131以与图18所示的修剪块91中相同的方式，执行图像处理以从输入的图像数据中提取由修剪指令信息所指示的图像部分。然后，修剪块131将提取出的图像部分的数据输出到打印控制块133，以作为要打印的图像数据。

打印控制块133利用输入的要打印图像数据执行控制以操作打印机构(未示出)。

利用此操作，在打印设备130中，具有最佳构图的图像部分被自动从输入图像数据的图像内容中提取出，并且被打印在纸上。

图23所示的示例优选地被应用到存储许多静态图像文件并利用这些静态图像文件来提供服务的设备或系统。

许多静态图像文件被存储在存储单元141中。

对象检测/构图判定块142在预定的定时取入存储在存储单元141中的静态图像文件，并且提取存储在其文件主体中的静态图像数据。然后，对象检测/构图判定块142对静态图像数据执行与图19所示的对象检测/构图判定块101所执行的相同的处理以获得指示出关于最佳构图的判定结果的信息，并随后将该信息输出到元数据生成块143。

与图19中所示的元数据生成块102一样，元数据生成块143基于输入的信息生成元数据(构图编辑元数据)。然后，在此情况下，元数据生成块143将所生成的元数据登记在存储单元141中存储的元数据表中。元数据表是一信息单元，其如此存储元数据，以便指示出与存储单元141中存储的静态图像数据的对应关系。也就是说，元数据表指示出元数据(构图编辑元数据)和作为对象检测/构图判定块142执行的生成元数据的对象检测处理和构图判定处理的目标的静态图像文件之间的对应关系。

当存储在存储单元141中的静态图像文件响应于来自外界的对静态图像文件的请求而要被输出时(例如，在服务器中，静态图像文件响应于来自客户端的下载请求而被下载)，静态图像文件输出块144搜索存储单元141以寻找所请求的静态图像文件并取入该文件，并且还搜索元数据表以寻找与所搜索的静态图像文件相对应的元数据(构图编辑元数据)并取入该元数据。

静态图像文件输出块144至少包括与图20所示的元数据分析块112和修剪块113相对应的功能块。

在静态图像文件输出块144中，其中设置的元数据分析块对所取得的元数据进行分析以获得修剪指令信息。然后，其中设置的修剪块根据修剪指令信息对存储在所取得的静态图像文件中的静态图像数据执行修剪。然后静态图像文件输出块144基于通过修剪获得的图像部分来生成新的静态图像数据，并且输出新的静态图像数据。

图23所示的系统配置可应用到各种服务。

例如，该系统配置可应用到经由网络的照片打印服务。具体而言，用户经由网络将要打印的图像数据(静态图像文件)上载到打印服务的服务器。在服务器中，所上载的静态图像文件被存储在存储单元141中，并且与该文件相对应的元数据被生成并登记在元数据表中。然后，在实际打印输出时，静态图像文件输出块144将通过提取最佳构图而生成的静态图像数据作为要打印的图像数据输出。也就是说，在此服务中，响应于对照片打印的请求而发送其中构图被校正到最佳构图的打印图像。

另外，该系统配置可被应用到博客(blog)等等的服务器。博客的文本数据和上载的图像数据被存储在存储单元141中。因此，可以从用户上载的图像数据中提取最佳构图的图像，并且可将提取的图像贴在博客的页面上。

以上参考图14至23描述的配置只是示例，根据本发明实施例的构图判定也可被应用到其他设备、系统和应用软件。

以上给出的对实施例的描述是基于对象(个体对象)是人这一假设的，但本发明实施例也可被应用到对象是动物的情况。

另外，作为对象检测的目标的图像数据不应当限于通过成像获得的数据(摄得图像数据)。例如，可以使用具有绘画或设计图的图像内容的图像数据。

基于本发明实施例判定的构图(最佳构图)并不一定限于通过诸如三分规则之类的、其中添加有检测到的个体对象的数目这一元素的构图设定方法决定的构图。例如，取决于构图的设定，即使一般认为不好的构图也可被用户评价为有趣的或者良好的构图。因此，可以考虑到实用性和娱乐特性任意设定构图来作为基于本发明实施例判定的构图(最佳构图)，并且在实践中没有特别限制。

本领域的技术人员应当明白，取决于设计要求和其他因素，可以进行各种修改、组合、子组合和变更，只要它们处于所附权利要求或其等同物的范围之内。

本发明包含与2007年10月17日向日本专利局提交的日本专利申请JP 2007-270391相关的主题，这里通过引用将该申请的全部内容并入。

Claims

1.一种图像处理装置，包括：

对象检测部件，其基于输入图像数据来检测图像中的预定对象；

朝向检测部件，其检测对象朝向信息，所述对象朝向信息指示出在所述图像中所述对象的一部分面向的朝向；以及

构图判定部件，其基于所述对象朝向信息判定所述图像的构图。

2.如权利要求1所述的图像处理装置，其中，

当所述对象检测部件检测到多个对象时，所述构图判定部件基于与所述多个对象相对应的多个对象朝向信息之间的关系来判定构图。

3.如权利要求2所述的图像处理装置，

其中，当由所述多个对象朝向信息所指示的所有朝向都相同时，所述构图判定部件获得下述构图来作为判定结果：在所述构图中，在由所述图像中所有检测到的对象构成的图像部分中设定的重心被定位在由在所述图像中设定的图像区域划分线所限定的所述图像中的区域之中的、与所述多个对象朝向信息所指示的朝向相反的一侧的区域中。

4.如权利要求3所述的图像处理装置，

其中，所述构图判定部件基于检测到的对象的数目，来设定在作为判定结果获得的所述构图中所述图像区域划分线与所述重心之间的距离。

5.如权利要求2所述的图像处理装置，

其中，当由所述多个对象朝向信息指示的所有朝向不是都相同时，所述构图判定部件可以获得下述构图来作为判定结果：在所述构图中，至少在由多个检测到的对象构成的图像部分中设定的重心被基于指示不同朝向的多个对象朝向信息之间的关系而定位在与所述图像中设定的图像区域划分线相对应的位置处。

6.如权利要求5所述的图像处理装置，

其中，当在所述指示不同朝向的多个对象朝向信息之间的关系中，一组最大数目的、指示相同朝向的对象朝向信息不占所有对象朝向信息中的预定百分比或更多时，所述构图判定部件判定下述构图来作为最佳构图：在所述构图中，在由所述图像中的所有检测到的对象构成的图像部分中设定的重心被定位在与在所述图像中设定的图像区域划分线相对应的位置处。

7.如权利要求6所述的图像处理装置，

其中，当在所述指示不同朝向的多个对象朝向信息之间的关系中，一组最大数目的、指示相同朝向的对象朝向信息占了所有对象朝向信息中的预定百分比或更多时，所述构图判定部件获得下述构图来作为判定结果：在所述构图中，在由所述图像中所有检测到的对象构成的图像部分中设定的重心，被定位在由在所述图像中设定的图像区域划分线所限定的所述图像中的区域之中的、与所述一组最大数目的对象朝向信息所指示的朝向相反的一侧的区域中。

8.如权利要求7所述的构图判定设备，

9.一种图像处理方法，包括以下步骤：

基于输入图像数据来检测图像中的预定对象；

检测对象朝向信息，所述对象朝向信息指示出在所述图像中所述对象的一部分面向的朝向；以及

基于所述对象朝向信息判定所述图像的构图。

10.如权利要求9所述的图像处理方法，其中，

当在对象检测步骤中检测到多个对象时，构图判定步骤基于与所述多个对象相对应的多个对象朝向信息之间的关系来判定构图。