CN102158650B - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN102158650B
CN102158650B CN201110045756.4A CN201110045756A CN102158650B CN 102158650 B CN102158650 B CN 102158650B CN 201110045756 A CN201110045756 A CN 201110045756A CN 102158650 B CN102158650 B CN 102158650B
Authority
CN
China
Prior art keywords
composition
individual subject
image
image data
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110045756.4A
Other languages
English (en)
Other versions
CN102158650A (zh
Inventor
善积真吾
山胁央树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102158650A publication Critical patent/CN102158650A/zh
Application granted granted Critical
Publication of CN102158650B publication Critical patent/CN102158650B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Abstract

本发明提供了图像处理设备和图像处理方法。一种图像处理设备，包括：对象检测装置，用于检测基于由图像捕获装置捕获的图像数据的图像中的一个或多个特定对象的存在；构图判定装置，用于根据由所述对象检测装置检测到的对象的数目来判定构图；以及控制装置，用于控制存储装置根据所述构图判定装置判定所述构图的定时来存储由所述图像捕获装置捕获的图像数据。

Description

图像处理设备和图像处理方法
本申请是申请号为200810167942.3、申请日为2008年10月16日、题为“构图判定设备、构图判定方法和程序”的发明专利申请的分案申请。
技术领域
本发明涉及判定静态图像数据等等的图像内容的构图(composition)的构图判定设备，并且涉及构图判定方法。另外，本发明涉及由该设备执行的程序。
背景技术
拍摄留下良好印象的照片的技术因素之一是构图设定。这里的术语“构图”也被称为“取景”，并且是作为照片等等的图像中的对象的布局。
存在一些用于获得良好构图的典型和基本方法。但是，对于普通的相机用户来说，拍摄良好构图的照片是很不容易的，除非他/她具有关于摄影的充足知识和技术。由于此原因，需要一种使得用户能够快捷容易地获得良好构图的照片图像的技术配置。
例如，专利文献1(日本未实审专利申请公布No.59-208983)公开了一种自动跟踪设备的技术配置。在此技术配置中，检测固定时间间隔的图像之间的差别，计算图像之间的差别的重心，通过基于重心的运动量和运动方向检测对象图像相对于成像屏幕的运动量和运动方向来控制成像设备，并且将对象图像设定在成像屏幕的基准区域中。
另外，专利文献2(日本未实审专利申请公布No.2001-268425)公开了一种关于自动跟踪设备的技术配置。在此技术配置中。在屏幕上的整个人的上部20％的区域位于屏幕中心以便人的脸部位于屏幕中心的情况下，自动对人进行跟踪，从而可以在对人的脸部进行可靠拍摄的同时跟踪该人。
当从决定构图的观点来看这些技术配置时，可以自动搜索作为人的对象并且以预定的构图将该对象放置于成像屏幕中。
发明内容
最佳构图可能取决于对象的预定状况或条件而有所不同。但是，上述专利文献中公开的技术只能以某种固定的构图来放置被跟踪的对象。换言之，可能无法通过根据对象状况改变构图来执行拍摄。
因此，本发明致力于建议一种技术，用于很容易地获得作为照片等等的图像的良好构图。具体而言，本发明致力于根据对象的状况和条件的改变来更加适当和灵活地决定构图。
根据本发明一个实施例，提供了一种构图判定设备，包括：对象检测装置，用于基于图像数据来检测图像中的一个或多个特定对象的存在；以及构图判定装置，用于根据由所述对象检测装置检测到的对象的数目来判定构图。
在上述配置中，最佳构图是根据基于图像数据在图像中检测到的对象的数目来判定的。例如，最佳构图取决于屏幕中存在的对象的数目而有所不同。根据本发明的实施例，可以根据条件的改变，即对象数目的改变，来获得最佳构图。
根据本发明的实施例，可以根据对象数目来获得图像数据的图像内容的最佳构图。也就是说，与基于固定构图来简单地放置对象的情况相比，更加适当和灵活地自动决定构图。因此，使用应用了本发明实施例的设备的用户无需麻烦的操作就能获得最佳构图的图像，从而可以提供更高的便利性。
附图说明
图1是示出根据本发明实施例的包括数字静态相机和云台(pan/tilthead)的成像系统的外观配置示例的图；
图2A和2B是示意性地示出根据该实施例的成像系统的运动的图，即示出沿着附接到云台的数字静态相机的摇动(pan)和倾动(tilt)方向的运动的示例的图；
图3是示出根据该实施例的数字静态相机的配置示例的图；
图4是示出根据该实施例的云台的配置示例的图；
图5是示出在根据该实施例的数字静态相机中设置的与构图控制相对应的以块为单位的功能的图；
图6A和6B是示出个体对象的重心和由多个个体对象构成的合成对象的重心的图；
图7是示出在摄得图像数据的屏幕上设定的原点坐标的图；
图8A和8B是示意性地示出在所检测到的个体对象的数目为1的情况下第一构图控制的示例的图；
图9A和9B是示意性地示出在所检测到的个体对象的数目为2的情况下第一构图控制的示例的图；
图10A和10B是示意性地示出在所检测到的个体对象的数目为3个或更多个的情况下第一构图控制的示例的图；
图11示出第一构图控制的处理过程的示例的流程图；
图12A和12B是示意性地示出在所检测到的个体对象的数目为1的情况下第二构图控制的示例的图；
图13A和13B是示意性地示出在所检测到的个体对象的数目为2并且个体对象之间的距离被检测(捕捉)为等于或小于预定值的情况下第二构图控制的示例的图；
图14示出第二构图控制的处理过程的示例的流程图；
图15A和15B是示出根据该实施例的对象辨别的图；
图16示出根据该实施例用于实现对象辨别的处理过程的示例的流程图；
图17是示出作为对根据该实施例的成像系统的修改的配置示例的图；
图18是示出作为对根据该实施例的成像系统的另一修改的配置示例的图；
图19是示出基于本发明实施例的构图判定的应用示例的图；
图20是示出基于本发明实施例的构图判定的应用示例的图；
图21是示出基于本发明实施例的构图判定的应用示例的图；
图22是示出基于本发明实施例的构图判定的应用示例的图；
图23是示出基于本发明实施例的构图判定的应用示例的图；
图24是示出基于本发明实施例的构图判定的应用示例的图；
图25是示出基于本发明实施例的构图判定的应用示例的图；以及
图26是示出基于本发明实施例的构图判定的应用示例的图。
具体实施方式
下面描述本发明的实施例。具体而言，给出关于这样一种情况的描述，即基于本发明实施例的配置被应用到包括数字静态相机和附接有该数字静态相机的云台的成像系统。
图1是示出根据该实施例的成像系统的外观配置示例的正视图。
如图1所示，该实施例的成像系统包括数字静态相机1和云台10。
数字静态相机1能够基于通过设置在主体的正面面板上的透镜单元3获得的成像光来生成静态图像数据，并且将该静态图像数据存储在装载于其中的存储介质中。也就是说，数字静态相机1具有将作为照片摄取的图像以静态图像数据的形式存储在存储介质中的功能。当手工执行这种摄影时，用户按下设置在主体的上表面上的快门(释放)按钮2。
数字静态相机1能够通过对其进行固定而被附接到云台10。也就是说，云台10和数字静态相机1具有使能相互附接的机构部分。
云台10具有摇动/倾动机构，以使附接于其上的数字静态相机1在摇动(水平)和倾动两个方向上运动。
由云台10的摇动/倾动机构所实现的数字静态相机1在摇动和倾动方向上的运动的示例在图2A和2B中示出。图2A和2B分别示出了从平面方向和从侧面方向来看的附接到云台10的数字静态相机1。
关于摇动方向，数字静态相机1的主体的水平方向与图2A中的直线X1匹配的位置状态被认为是基准状态。例如，当执行绕旋转轴Ct1沿旋转方向+α的旋转时，给出向右的摇动运动。当执行沿旋转方向-α的旋转时，给出向左的摇动运动。
另一方面，关于倾动方向，数字静态相机1的主体的垂直方向与图2B中的直线Y1匹配的位置状态被认为是基准状态。例如，当执行绕旋转轴Ct2沿旋转方向+β的旋转时，给出向下的倾动运动。当执行沿旋转方向-β的旋转时，给出向上的倾动运动。
没有提及图2A和2B所示的各个±α和±β方向上的最大可动旋转角。但是，优选地，最大可动旋转角尽可能地大，以便用户能够有更多的机会来捕捉对象。
图3是示出根据该实施例的数字静态相机1的内部配置示例的图。
参考图3，光学系统单元21包括一组预定数目的成像透镜，例如变焦透镜和聚焦透镜；以及光圈。光学系统单元21基于作为成像光的入射光在图像传感器22的光接收表面上形成图像。
另外，光学系统单元21包括用于驱动变焦透镜、聚焦透镜、光圈等等的驱动机构。这些驱动机构的操作例如由控制单元27所执行的所谓相机控制来控制，所述相机控制例如是变焦(视角)控制、自动聚焦控制和自动曝光控制。
图像传感器22执行将在光学系统单元21中获得的成像光转换成电信号的所谓光电转换。为此，图像传感器22在光电转换器件的光接收表面上接收来自光学系统单元21的成像光，并且在预定的定时顺序输出根据接收光的强度积累的信号电荷。因此，与成像光相对应的电信号(成像信号)被输出。对于用作图像传感器22的光电转换器件(成像器件)没有特别限制。在当前的情况下，例如可以使用CMOS(互补金属氧化物半导体)传感器或CCD(电荷偶合器件)。当采用CMOS传感器时，与图像传感器22相对应的器件(组件)的配置可包括与下述A/D转换器23相对应的模数转换器。
从图像传感器22输出的成像信号被输入到A/D转换器23，并且被转换成数字信号，然后数字信号被输入到信号处理单元24。
信号处理单元24以静态图像(帧图像)为单位取入从A/D转换器23输出的数字成像信号，并且以静态图像为单位对成像信号执行必要的信号处理，从而生成摄得图像数据(摄得静态图像数据)，其是与一个静态图像相对应的图像信号数据。
当由信号处理单元24以上述方式生成的摄得图像数据要被作为图像信息存储在充当存储介质(存储介质设备)的存储卡40中时，与一个静态图像相对应的摄得图像数据被从信号处理单元24输出到编码/解码单元25。
编码/解码单元25对从信号处理单元24输出的静态图像的摄得图像数据执行按预定静态图像压缩编码方法的压缩编码，并且根据控制单元27进行的控制添加头部等等，从而将摄得图像数据转换成以预定格式压缩的摄得图像数据。然后，编码/解码单元25将以这种方式生成的摄得图像数据传送到介质控制器26。介质控制器26根据控制单元27进行的控制将所传送的摄得图像数据写在存储卡40上，从而摄得图像数据被存储在存储卡40中。
此情况下采用的存储卡40是具有符合预定标准的卡外形并且包括诸如闪存之类的非易失性半导体存储设备的存储介质。取代存储卡40，另一种类型和格式的存储介质可被用于存储图像数据。
根据该实施例的信号处理单元24能够利用以上述方式获得的摄得图像数据来执行图像处理，以检测对象。该实施例中的对象检测处理的细节在下文中描述。
另外，数字静态相机1能够通过允许显示单元33利用在信号处理单元24中获得的摄得图像数据执行图像显示，来显示所谓的穿透图像(throughimage)，该穿透图像是当前正被摄取的图像。具体而言，信号处理单元24取入从A/D转换器23输出的成像信号，并且生成与一个静态图像相对应的摄得图像数据，如上所述。通过继续此操作，信号处理单元24顺序地生成与运动图像中的帧图像相对应的摄得图像数据。然后，信号处理单元24根据控制单元27进行的控制将顺序生成的摄得图像数据传送到显示驱动器32。因此，穿透图像被显示。
显示驱动器32基于以上述方式从信号处理单元24输入的摄得图像数据来生成驱动显示单元33的驱动信号并将驱动信号输出到显示单元33。因此，基于以静态图像为单位的摄得图像数据的图像被顺序显示在显示单元33中，从而用户可以在显示单元33中查看当时正摄取的运动图像。也就是说，监视图像被显示。
另外，数字静态相机1能够对记录在存储卡40上的摄得图像数据进行再现并且将图像显示在显示单元33中。
为此，控制单元27指定摄得图像数据并指令介质控制器26从存储卡40读取数据。响应于指令，介质控制器26访问存储卡40上记录着所指定的摄得图像数据的地址并且读取数据，然后将读取的数据传送到编码/解码单元25。
编码/解码单元25根据控制单元27进行的控制，从传送自介质控制器26的摄得图像数据中提取作为压缩后静态图像数据的实质数据，并且对压缩后静态图像数据执行与压缩编码相对应的解码处理，从而获得与一个静态图像相对应的摄得图像数据。然后，编码/解码单元25将摄得图像数据传送到显示驱动器32。因此，记录在存储卡40上的摄得图像数据的图像被再现和显示在显示单元33中。
用户界面图像可与上述监视图像和摄得图像数据的再现图像一起被显示在显示单元33中。在这种情况下，控制单元27根据当时的操作状态生成要作为必要的用户界面图像显示的图像数据，并且将所生成的图像数据输出到显示驱动器32。因此，用户界面图像被显示在显示单元33中。该用户界面图像可以与监视图像或者摄得图像数据的再现图像相分离的作为特定的菜单屏幕等等被显示在显示单元33的显示屏幕上。或者，用户界面图像可以在被叠加在监视图像或者摄得图像数据的再现图像上或者结合为其一部分的同时被显示。
控制单元27实际包括CPU(中央处理单元)，并且与ROM(只读存储器)28和RAM(随机访问存储器)29一起构成微计算机。ROM28存储要被作为控制单元27的CPU执行的程序、与数字静态相机1的操作相关的各条设定信息，等等。RAM29充当CPU的主存储设备。
在此情况下，设置了闪存30，作为用于存储应当根据用户操作或操作历史而改变(改写)的各条设定信息。当诸如闪存之类的非易失性存储器被用作ROM28时，ROM28中的一部分存储区域可取代闪存30被使用。
操作单元31包括设置在数字静态相机1中的各种操作按钮，以及用于生成与对这些操作按钮执行的操作相对应的操作信息信号并将所生成的信号输出到CPU的操作信息信号输出单元。控制单元27响应于从操作单元31输入的每个操作信息信号而执行预定的处理。因此，数字静态相机1根据用户的操作而被操作。
云台兼容通信单元34根据预定的通信方法执行云台10和数字静态相机1之间的通信，并且具有：物理层配置，该物理层配置使得在数字静态相机1附接到云台10的状态中能够向/从云台10的通信单元进行有线或无线的通信信号发送/接收；以及实现与预定的更上层相对应的通信处理的配置。
图4是示出云台10的配置示例的框图。
如上所述，云台10包括摇动/倾动机构。作为与此机构相对应的元件，云台10包括摇动机构单元53、摇动电机54、倾动机构单元56和倾动电机57。
摇动机构单元53具有向附接到云台10的数字静态相机1赋予在图2A所示的摇动(水平)方向上的运动的机构，并且此机构的运动可在摇动电机54在正向或反向方向上旋转时获得。同样地，倾动机构单元56具有向附接到云台10的数字静态相机1赋予在图2B所示的倾动(垂直)方向上的运动的机构，并且此机构的运动可在倾动电机57在正向或反向方向上旋转时获得。
控制单元51包括例如通过组合CPU、ROM和RAM而形成的微计算机，并且对摇动机构单元53和倾动机构单元56的运动进行控制。具体而言，当对摇动机构单元53的运动进行控制时，控制单元51向摇动驱动单元55输出与摇动机构单元53所需的运动量和运动方向相对应的控制信号。摇动驱动单元55生成与输入的控制信号相对应的电机驱动信号，并将电机驱动信号输出到摇动电机54。在必要的旋转方向上，以必要的旋转角度，通过电机驱动信号来旋转摇动电机54。结果，摇动机构单元53被驱动以在相应运动方向上以相应的运动量进行运动。
同样地，当对倾动机构单元56的运动进行控制时，控制单元51向倾动驱动单元58输出与倾动机构单元56所需的运动量和运动方向相对应的控制信号。倾动驱动单元58生成与输入的控制信号相对应的电机驱动信号，并将电机驱动信号输出到倾动电机57。在必要的旋转方向上，以必要的旋转角度，通过电机驱动信号来旋转倾动电机57。结果，倾动机构单元56被驱动以在相应运动方向上以相应的运动量进行运动。
通信单元52根据预定的通信方法与附接到云台10的数字静态相机1中的云台兼容通信单元34通信。与云台兼容通信单元34一样，通信单元52包括：物理层配置，该物理层配置使得能够向/从另一方的通信单元进行有线或无线的通信信号发送/接收；以及实现与预定的更上层相对应的通信处理的配置。
在包括具有上述配置的数字静态相机1和云台10的成像系统中，如果人被认为是主对象(以下简称为对象)并且如果在检测对象的搜索之后对象的存在被检测到，则云台10的摇动/倾动机构被驱动，以获得包括对象的图像的最佳构图(执行最佳取景)。然后，在获得最佳构图的定时，当时摄取的图像数据被记录在存储介质(存储卡40)上。
也就是说，在根据该实施例的成像系统中，在通过数字静态相机1进行的摄影期间，自动执行为所找到的对象决定(判定)最佳构图并且执行拍摄和记录的操作。这样，可以获得具有适度良好的质量的照片图像，而无需用户进行构图判定和拍摄。另外，在这种系统中，不需要某人握持着相机就能够执行拍摄，从而拍摄地点中的每个人都可成为对象。此外，即使作为对象的用户没有自觉地进入相机的视角范围，对象也可被拍摄在照片中。也就是说，增加了拍摄到存在于拍摄地点中的人的自然外表的机会，从而可以获得许多具有空前的氛围的照片。
最佳构图可能取决于对象的数目而有所不同。但是，在根据该实施例的构图决定中，可以基于所检测到的对象的数目而判定不同的最佳构图。因此，与不考虑对象数目地决定构图的情况相比，在具有综合观点的实施例中可以获得质量更好的图像。
下面，描述根据该实施例的构图控制。
图5示出了在数字静态相机1中设置的与根据该实施例的构图控制相对应的功能单元的配置示例。
参考图5，对象检测块61利用基于在图像传感器22中获得的成像信号而在信号处理单元24中获得的摄得图像数据，来执行包括对象的搜索控制的对象检测处理。这里，对象检测处理指的是辨别和检测摄得图像数据的图像内容中的作为人的对象的处理。作为检测结果而获得的信息(检测信息)包括作为人的对象的数目、屏幕中的每个个体对象的位置信息以及图像中的每个个体对象的大小(占有面积)。取决于构图判定算法的结构，可以通过只获得对象数目作为检测信息来实现根据该实施例的构图控制。
作为对象检测处理的特定方法，可以使用脸部检测技术。另外，在相关技术中使用了一些脸部检测方法，但是对于该实施例中要采用的方法并没有特别限制，可以考虑到检测准确性和设计难度来采用适当的方法。
对象检测块61所执行的对象检测处理可实现为信号处理单元24中的图像信号处理。在信号处理单元24如上所述由DSP(数字信号处理器)构成的情况下，对象检测处理是通过提供给作为信号处理单元24的DSP的程序和指令来实现的。
在对象搜索控制期间，用于驱动上述摇动/倾动机构的控制信号经由通信控制块63被输出，以控制云台10的摇动/倾动机构。
由对象检测块61生成的作为对象检测处理的结果的检测信息被输入到构图控制块62。
构图控制块62利用输入其中的关于对象的检测信息来决定被认为是最佳的构图(最佳构图)。然后，构图控制块62执行控制以获得所决定的最佳构图(构图控制)。此情况下的构图控制包括改变视角(在该实施例中，它指的是根据对变焦透镜的控制而可改变的视野)的控制、沿着摇动(右或左)方向的拍摄方向的控制(摇动控制)以及沿着倾动(上或下)方向的拍摄方向的控制(倾动控制)。为了改变视角，执行以下各项中的至少任何一个：移动数字静态相机1的光学系统单元21中的变焦透镜的变焦控制；以及裁剪摄得图像数据上的图像的图像信号处理。摇动控制和倾动控制是通过控制和移动云台10的摇动/倾动机构来执行的。当对摇动/倾动机构的控制被执行时，构图控制块62允许用于将摇动/倾动机构设定在所需位置的控制信号经由通信控制块63被发送到云台10。
由上述构图控制块62执行的决定和控制构图的处理可由控制单元27(CPU)基于程序来执行。或者，由信号处理单元24基于程序执行的处理可以被一起使用。通信控制块63根据预定的协议与云台10的通信单元52执行通信处理，并且充当与云台兼容通信单元34相对应的功能单元。
接下来，参考图6A和6B描述对象检测块61执行的对象检测处理的示例。
假定对象检测块61取入了具有图6A所示的图像内容的摄得图像数据。摄得图像数据的图像内容是通过摄取其中存在作为人的对象的图像来获得的。图6A(和图6B)示出了屏幕按矩阵样式被划分的状态。这示意性地说明了作为摄得图像数据的屏幕是由一组预定数目的水平和垂直像素构成的。
通过对具有图6A所示的图像内容的摄得图像数据执行对象检测(脸部检测)检测出图中所示的个体对象SBJ的脸部。也就是说，通过脸部检测处理对脸部的检测等同于对个体对象的检测。作为对个体对象的检测的结果，获得个体对象的数目、位置和大小的信息，如上所述。
至于个体对象的数目，可以获得通过脸部检测而检测到的脸部的数目。在图6A所示的情况中，检测到的脸部的数目是1，从而个体对象的数目是1。
作为每个个体对象的位置信息，至少获得作为摄得图像数据的图像中的个体对象SBJ的重心G(X，Y)。在此情况下，摄得图像数据的屏幕上作为重心B(X，Y)的基准的X和Y原点坐标P(0，0)是与屏幕大小相对应的X轴方向(水平方向)上的宽度(水平图像大小)Cx的中点与Y轴方向(垂直方向)上的宽度(垂直图像大小)Cy的中点的交点，如图7所示。
可以采用根据相关技术的用于检测对象的重心的方法来定义图像中的个体对象的重心G的位置或设定重心G。
可通过计算被脸部检测处理等等指定和检测为脸部部分的区域中的像素数目来获得每个个体对象的大小。
另一方面，如果图6B所示的摄得图像数据被取入，并且对象检测块61执行对象检测处理，则两个脸部的存在通过脸部检测被检测到，从而指示出个体对象的数目为2的结果被获得。在这里，两个个体对象被彼此辨别开来：左边那个是个体对象SBJ0；右边那个是个体对象SBJ1。个体对象SBJ0和SBJ1的重心G的坐标分别是G0(X0，Y0)和G1(X1，Y1)。
在以这种方式检测到两个或更多个个体对象的情况下，计算由多个个体对象构成的合成对象的重心，即合成对象的重心Gt(Xg，Yg)。
存在一些方式来设定合成对象的重心Gt。在此情况下，采用最容易的方式：连接多个检测到的个体对象中在屏幕上的最左边和最右边的个体对象的重心的线的中点被设定为合成对象的重心Gt。合成对象的重心Gt是被用于构图控制中的信息，如下所述，并且是可通过在个体对象的重心的信息被获得之后进行计算来获得的信息。因此，合成对象的重心Gt可由对象检测块61获得，并且作为检测信息被输出。或者，合成对象的重心Gt可由构图控制块62利用作为检测信息获得的指示个体对象的重心的位置的信息中关于最左和最右个体对象的重心的信息来获得。
除了上述方法之外，也可使用以下设定方法。也就是说，根据多个个体对象的指派加权系数，并且利用加权系数来进行安排，以便合成对象的重心Gt的位置接近个体对象中的一个具有较大的大小的个体对象。
个体对象SBJ0和SBJ1中的每一个的大小可通过计算由检测到的该对象的脸部所占有的像素数目来获得。
接下来，参考图8A至10B来描述作为该实施例的第一示例的构图控制能够获得的构图。
图8A示出了这样的情况，即作为构图控制之前的对象检测的结果，包括个体对象SBJ0的图像内容已经作为摄得图像数据被获得。在该实施例中，当数字静态相机1所附接到的云台10被正常设定时，数字静态相机1的朝向被设定，以便水平朝向的图像被摄取。从而，第一示例是基于通过成像获得水平朝向的图像的假设的。
在如图8A所示已检测到一个个体对象的情况下，执行减小视角的变焦控制，以便此个体对象SBJ0在摄得图像数据的屏幕中的占有率具有预定的值，从而个体对象的大小被改变，如图8A至8B的转变所示。图8A和8B示出了视角被减小以增大个体对象SBJ0的大小的情况。但是，如果在个体对象被检测到的阶段中个体对象在屏幕中的占有率超过上述预定值，则增大视角的变焦控制被执行以便占有率减小到该预定值。
当个体对象的数目为1时，在该实施例中，个体对象被定位在屏幕的水平方向上的几乎中心的位置。为此，个体对象SBJ0的重心G的水平方向位置被定位在屏幕的几乎中心的位置。
然后，如图9A所示，在检测到了两个个体对象的情况下，首先，作为构图控制，计算两个个体对象SBJ0和SBJ1之间的距离K(对象到对象距离)。距离K例如可由个体对象SBJ0的重心G0的X坐标(X0)与个体对象SBJ1的图像G1的X坐标(X1)之间的距离(X1-X0)来表示。然后，调整视角，以便以上述方式计算的对象到对象距离K是水平图像大小Cx的三分之一(K＝Cx/3)，如图9B所示。在此情况下，两个个体对象SBJ0和SBJ1的区域也被定位在屏幕的水平方向上的几乎中心位置。为此，由个体对象SBJ0和SBJ1构成的合成对象的重心Gt被定位在水平方向上的中心。
顺便说一下，将对象到对象距离K设定为Cx的三分之一是基于被称为“三分规则(theruleofthirds)”的构图设定方法的。三分规则是最基本的构图设定方法之一。在此方法中，对象被定位在将矩形屏幕分别在水平和垂直方向上划分成三段的虚拟线中的任何一条上，以便获得良好的构图。通过如上所述将对象到对象距离K设定为Cx/3并且将合成对象的重心Gt定位在水平方向上的中心，个体对象SBJ0的重心G0基本被定位在沿屏幕的垂直方向的左虚拟线，而个体对象SBJ1的重心G1基本被定位在沿屏幕的垂直方向的右虚拟线。也就是说，可以获得基于三分规则的构图。
另外，在如图10A所示检测到了三个个体对象的情况下，作为构图控制，计算屏幕中的最左个体对象SBJ0和最右对象SBJ2之间的对象到对象距离K。具体而言，按以下方式来计算对象到对象距离K。也就是说，在检测到的个体对象的数目为“n”的情况下，从屏幕的左边到右边向个体对象指派号码0至n-1。屏幕中的最左个体对象SBJ0的重心G0的X坐标由(X0)表示，并且最右个体对象SBJ(n-1)的重心Gn-1的X坐标由(Xn-1)表示。然后，可以利用一般的式子(Xn-1)-(X0)来计算距离K。
在此情况下，控制视角，以便对象到对象距离K是水平图像大小Cx的一半，如图10B所示。至于水平方向上的对象位置，合成对象的重心Gt被定位在屏幕的水平方向上的几乎中心的位置，以便包括三个个体对象的区域部分被定位在屏幕的水平方向上的几乎中心的位置。根据该实施例，如果检测到三个或更多个个体对象，则执行图10A和10B所示的构图控制。
在屏幕中存在三个或更多个个体对象的情况下，与忠实符合三分规则地将对象到对象距离K设定为水平图像大小Cx的三分之一的情况相比，当对象到对象距离K与水平图像大小Cx的比率较高时，一般能够获得更好的构图。从而，在该实施例中，如果像上述情况中那样检测到三个或更多个个体对象，则形成对象到对象距离K被设定为Cx/2的构图。
如上所述，在根据该实施例的构图控制中，在检测到的个体对象的数目为1、2和3的各个情况中，执行对视角的不同调整。
图11示出了由图5所示的对象检测块61、构图控制块62和通信控制块63执行的、以上参考图8A至10B所描述的构图控制的第一示例的过程示例。图11所示的处理是在作为DSP的信号处理单元24和控制单元27中的CPU执行程序时实现的。这种程序是在制造期间被写入和存储在ROM等等之中的。或者，该程序可被存储在非易失性存储介质中，然后被从存储介质安装(包括更新)，以便被存储在与DSP兼容的非易失性存储区域或闪存30中。另外，该程序可在另一主机设备的控制下经由诸如USB或IEEE1394之类的数据接口来安装。另外，在允许数字静态相机1具有网络功能时，可以将该程序存储在网络上的服务器等等的存储设备中并且通过从服务器下载程序来获得程序。
步骤S101至S106对应于搜索和检测对象的过程，并且主要由对象检测块61执行。
在步骤S101中，取入并获得基于来自图像传感器22的成像信号的摄得图像数据。在步骤S102中，利用在步骤S101中获得的摄得图像数据来执行对象检测处理。在对象检测处理中，利用上述脸部检测方法等等来判定在作为摄得图像数据的图像内容中是否存在个体对象。如果存在个体对象，则至少获得个体对象的数目以及每个个体对象的位置(重心)和大小来作为检测信息。
在步骤S103中，判定作为步骤S102中的对象检测处理的结果是否检测到了个体对象的存在。如果获得否定的判定结果，也就是说，如果尚未检测到个体对象的存在(检测到的个体对象的数目为0)，则处理前进到步骤S104，在该步骤中执行增大视角的变焦透镜运动控制(拉远(zoom-out)控制)。通过增大视角，可以摄取更宽范围的图像，从而相应地可以很容易地捕捉个体对象。同时，在步骤S105中，执行移动云台10的摇动/倾动机构的控制(摇动/倾动控制)，以便搜索对象。此时，执行控制，以便对象检测块61向通信控制块63提供用于摇动/倾动控制的控制信号，并且该控制信号被发送到云台10的通信单元52。
在摇动/倾动控制中移动云台10的摇动/倾动机构以搜索对象的样式可以如此被决定，以使得搜索被高效地执行。
在步骤S106中，模式标志“f”被设定为0(f＝0)，并且处理返回到步骤S101。
这样，重复步骤S101至S106的过程，直到在摄得图像数据的图像内容中检测到至少一个个体对象为止。此时，包括数字静态相机1和云台10的系统处于数字静态相机1被在摇动和倾动方向上移动以搜索对象的状态中。
如果在步骤S103中获得肯定的判定结果，即如果检测到了个体对象的存在，则处理前进到步骤S107。从步骤S107起的过程主要由构图控制块62执行。
在步骤S107中，判定当前在模式标志“f”中设定的值。
如果判定f＝＝0，则该值指示出应当执行初始粗略对象捕捉模式来作为构图控制，从而执行从步骤S108开始的过程，如图11所示。
在步骤S108中，判定合成对象的重心Gt是否被定位在摄得图像数据的屏幕(通过显示摄得图像数据的图像内容而获得的屏幕)上的原点坐标P(0，0)处(见图7)。如果获得否定的判定结果，也就是说，如果合成对象的重心Gt尚未被定位在原点坐标处，则处理前进到步骤S109，在该步骤中，执行移动云台10的摇动/倾动机构的控制以便合成对象的重心Gt被定位在原点坐标处，然后处理返回到步骤S101。如上所述，在作为个体对象的存在已被检测到的状态中的构图控制的第一过程的捕捉模式中，执行云台10的摇动/倾动机构，以便合成对象的重心Gt被定位在作为初始基准位置的原点坐标处，从而包括检测到的个体对象的图像区域被定位在屏幕的中心。
现在，描述步骤S109中用于实际执行摇动/倾动控制的算法的示例。
在个体对象被检测到并且模式标志f＝＝0的状态中，对象检测块61根据以下式(1)来执行计算以获得摇动方向上的必要运动量Span和倾动方向上的必要运动量Stilt。在以下式(1)中，“n”表示检测到的个体对象的数目，“p(Xi，Yi)”表示被指派以号码0至n-1的个体对象中的第i个个体对象的重心的X和Y坐标。为了确认，此情况下的原点坐标(0，0)位于屏幕的水平方向上的中点与垂直方向上的中点的交点处，如图7所示。
( S pan , S tilt ) = Σ i = 0 n - 1 p ( x i , y i ) n - - - ( 1 )
例如，在步骤S108中，通过判定以上述方式计算出的必要运动量Span和Stilt的绝对值是否在预定范围内(严格来说是0，但该值可以大于0)，来判定合成对象的重心Gt是否位于原点坐标P处。然后，在步骤S109中，执行摇动/倾动控制，使得必要运动量Span和Stilt的绝对值在预定范围内。此时，摇动/倾动控制时摇动机构单元53和倾动机构单元56的速度可以恒定。或者，该速度可以被改变，例如，该速度可以随着必要运动量Span和Stilt变大而被增大。因此，即使摇动或倾动的必要运动量较大，也可以在相对较短的时间中将合成对象的重心Gt定位在原点坐标处。
如果在步骤S108中获得肯定的判定结果，即如果合成对象的重心Gt被定位在原点坐标处，则在步骤S110中，模式标志“f”被设定为1(f＝1)，并且处理返回到步骤S101。在步骤S110中模式标志“f”被设定为1的状态是这样一种状态，即作为构图控制中的第一过程的捕捉模式已经完成并且第一构图调整控制(构图调整模式)应当被执行。
在模式标志被设定为f＝＝1并且第一构图调整模式应当被执行的情况下，处理从步骤S107前进到步骤S111。在第一构图调整模式中，从以下描述中可以明白，变焦(视角)调整被执行，以获得根据检测到的个体对象的数目的最佳构图。注意，取决于视角调整，可以改变屏幕中的每个个体对象的大小以及个体对象之间的距离。
在步骤S111中，判定已经检测到的个体对象的数目。如果数目为1，则执行从步骤S112开始的过程。
在步骤S112中，判定检测到的个体对象的大小是否合适。个体对象的大小合适的状态指的是作为个体对象的图像部分在屏幕中的占有率具有在预定范围中的值的状态，如图8B所示。如果在步骤S112中获得否定的判定结果，则处理前进到步骤S113，在该步骤中执行变焦透镜驱动控制(变焦控制)，以便占有率具有在预定范围内的值，并且处理返回到步骤S101。此时，在维持步骤S109中设定的处于与X坐标(X＝0)相对应的位置的个体对象的重心G(合成对象的重心Gt)的水平(左右)方向位置的同时执行变焦控制。因此，可以维持个体对象被定位在水平方向上的几乎中心的位置的状态。另外，由于在对象搜索和检测操作期间在步骤S104中执行拉远控制，因此在步骤S113中执行的变焦控制有可能是拉近(zoom-in)控制。但是，如果由于某种原因占有率在屏幕中的预定范围之外并且在步骤S112中获得否定的判定结果，则在步骤S113中执行拉远控制以便占有率具有在预定范围内的值。
如果在步骤S112中获得肯定的判定结果，则处理前进到步骤S114，在该步骤中模式标志“f”被设定为2。然后，处理返回到步骤S101。模式标志被设定为f＝＝2的状态是第一构图调整已经完成并且释放操作应当在第二构图调整被执行之后被执行的状态，这从以下描述中可以明白。
如果在步骤S111中判定检测到的个体对象的数目为2，则执行从步骤S115开始的过程。
在步骤S115中，判定摄得图像数据的屏幕中的两个个体对象之间的距离K是否是水平图像大小Cx的三分之一(K＝＝Cx/3)，如图9B所示。如果在这里获得否定的判定结果，则处理前进到步骤S116，在该步骤中执行变焦控制以便满足K＝＝Cx/3。此时，同样执行变焦控制以便合成对象的重心Gt的水平方向位置被维持在步骤S109中设定的X坐标(X＝0)处。这与下述步骤S119相同。然后，如果在步骤S115中获得肯定的判定结果，即如果满足K＝＝Cx/3，则处理前进到步骤S117，在该步骤中，模式标志“f”被设定为2。然后，处理返回到步骤S101。
如果在步骤S111中判定检测到的个体对象的数目为3，则执行从步骤S118开始的过程。
在步骤S118中，判定摄得图像数据的屏幕中的对象到对象距离K(在此情况下是屏幕中的最左个体对象的重心与屏幕中的最右个体对象的重心之间的距离)是否是水平图像大小Cx的一半(K＝＝Cx/2)，如图10B所示。如果在这里获得否定的判定结果，则处理前进到步骤S119，在该步骤中，执行变焦控制以便满足K＝＝Cx/2。然后，如果在步骤S118中获得肯定的判定结果，即如果满足K＝＝Cx/2，则处理前进到步骤S120，在该步骤中模式标志“f”被设定为2。然后，处理返回到步骤S101。
在模式标志“f”被设定为2的状态中，以上参考图8A至10B描述的与个体对象的数目为1、2或3的情况相对应的构图控制的过程已经完成。从而，如果在步骤S107中判定模式标志“f”为2，则在从步骤S121开始的过程中执行第二构图调整模式。
例如，在参考图8A至10B对构图控制的描述中，为了简单没有描述如何设定个体对象的重心在屏幕的垂直方向上的位置。但是，实际上，通过将该位置相对于屏幕中心向上移动(偏移)某一必要量，可以获得更好的构图。从而，在根据该实施例的实际构图控制中，也可以设定合成对象的重心Gt的垂直方向上的偏移量，以便获得更好的构图来作为最佳构图。用于该设定的过程是第二构图调整模式，其是作为下述步骤S121和S122来执行的。
在步骤S121中，判定合成对象的重心Gt(如果个体对象的数目为1，则是个体对象的重心G)的位置是否相对于经过屏幕上的原点坐标P的水平线(X轴)位移了预定的偏移量(重心偏移是否合适)。
如果在步骤S121中获得否定的判定结果，则处理前进到步骤S122，在该步骤中，执行倾动控制以移动云台10的倾动机构，以便重心按所设定的偏移量被位移，并且处理返回到步骤S101。在步骤S121中获得肯定的判定结果的阶段中，已经获得了根据个体对象的数目的最佳构图。
存在与步骤S121和S122相对应的用于设定作为重心偏移的偏移量的值的一些方法，并且该方法没有被特别限制。作为最简单的设定方法之一，可以基于三分规则给出相对于垂直方向的中心具有与垂直图像大小Cy的六分之一相对应的长度的偏移值。当然，根据预定的规则，可以设定取决于个体对象的数目的不同偏移值。
如果在步骤S121中获得肯定的判定结果，则执行从步骤S123开始的与释放操作相对应的过程。在这里，释放操作指的是将当时获得的摄得图像数据作为静态图像数据存储在存储介质(存储卡40)中的操作。具体而言，在手工快门操作被执行的情况下，释放操作指的是响应于快门操作将当时获得的摄得图像数据作为静态图像数据记录在存储介质中的操作。
在步骤S123中，判定当前是否满足执行释放操作的条件。这些条件例如包括聚焦状态(当自动聚焦控制有效时)已被建立以及云台10的摇动/倾动机构处于停止状态。
如果在步骤S123中获得否定的判定结果，则处理返回到步骤S101，以便等待直到执行释放操作的条件得到满足。如果在步骤S123中获得肯定的判定结果，则在步骤S124中执行释放操作。这样，在该实施例中可以记录最佳构图的摄得图像数据。
在释放操作结束之后，在步骤S125中执行对必要参数的初始设定。利用此设定，模式标志“f”被设定为初始值0。另外，变焦透镜的位置被返回到预设的初始位置。
在步骤S125之后，处理返回到步骤S101。通过使处理从步骤S125返回到S101，自动重复搜索对象、根据搜索所检测到的个体对象的数目获得最佳构图并且执行成像和记录(释放操作)的操作。
以上参考图11描述的释放操作是将基于摄得图像的静态图像记录在记录介质中的操作。在更宽泛的意义上，根据该实施例的释放操作包括将上述静态图像记录在记录介质上的操作以及从摄得图像获得必要的静态图像数据的操作。从而，释放操作还包括该实施例的数字静态相机1进行的从摄得图像获得静态图像数据以将静态图像数据经由数据接口发送到另一记录设备的操作。
参考图11，根据在步骤S111中获得的判定结果，执行与步骤S112和S113相对应的变焦控制、与步骤S115和S116相对应的变焦控制或者与步骤S118和S119相对应的变焦控制的配置可被认为是根据检测到的个体对象的数目来改变构图判定方法。
在这里，构图判定方法的改变指的是用于构图判定和构图控制的算法的改变或者用于构图判定和构图控制的参数的改变。如果在步骤S111中判定检测到的个体对象的数目为1，则在步骤S112和S113中基于个体对象的图像部分在屏幕中的占有率来执行变焦控制。另一方面，如果在步骤S111中判定检测到的个体对象的数目为2个或更多个，则基于对象到对象距离K而不是占有率来执行变焦控制。这意味着关于每个个体对象的大小调整的构图判定和构图控制的算法根据检测到的个体对象的数目被改变。另外，在检测到的个体对象的数目为2个或更多个的情况下，Cx/3和Cx/2的不同值被设定为个体对象的数目为2和3的情况下的最佳构图的对象到对象距离K。这意味着关于个体对象的大小调整的构图判定和构图控制的参数根据检测到的个体对象的数目被改变。
下面，描述根据该实施例的第二构图控制。在第二构图控制中，根据检测到的个体对象的数目在垂直构图和水平构图之间切换摄得图像数据的屏幕设定(构图)，如下所述。
在第二构图控制中，首先在水平构图被设定的初始状态中执行对对象的检测。
然后，假定在摄得图像数据的屏幕中检测到个体对象SBJ0，如图12A所示。在检测到的个体对象的数目为1的这种情况下，在第二构图控制中设定垂直构图，如从图12A到图12B的转变所示。
然后，执行大小调整(变焦)控制，以便个体对象SBJ0在屏幕中的占有率具有在预定范围内的值。在此情况下，个体对象SBJ0的水平方向的位置几乎在中心。垂直方向的位置根据预定的规则被相对于中心向上位移。
当对象的数目为1时，尤其是在对象是人时，从综合的观点来看，垂直构图而不是水平构图被认为是更好的构图。基于这种观点，当个体对象的数目为1时，采用垂直构图，然后在第二构图控制中调整个体对象的大小和位置。
在该实施例中，可以通过从在水平构图中获得的摄得图像数据中提取垂直构图大小的图像区域来将水平构图改变到垂直构图。可以使用以这种方式提取的垂直构图大小的图像数据部分。
或者，可以在云台10中设置能够将数字静态相机1切换到水平朝向状态和垂直朝向状态的机构，以便可以通过控制对此机构的驱动来改变构图。
另外，假定在摄得图像数据的屏幕中检测到两个个体对象SBJ0和SBJ1，如图13A所示。在第二构图控制中，当如此情况下那样检测到两个个体对象时，判定在检测时的视角下的对象到对象距离K是否等于或小于预定的阈值。
如果对象到对象距离K等于或小于阈值，则可以判定两个个体对象与彼此相当靠近。在此状态中，优选采用垂直构图而不是水平构图。从而，在此情况下，构图被改变到垂直构图，如从图13A到图13B的转变所示。用于改变构图的方法在上文中描述。然后，执行变焦控制或摇动/倾动控制，以便个体对象SBJ0和SBJ1具有适当的大小并且被定位在适当的位置。在此情况下，屏幕中由个体对象SBJ0和SBJ1构成的图像部分的水平方向位置也被设定为几乎在中心。垂直方向的位置根据预定的规则相对于中心被向上位移。
另一方面，如果两个检测到的个体对象SBJ0和SBJ1之间的对象到对象距离K超过阈值，则可以判定两个个体对象彼此分隔开了相应的距离。在此情况下，优选采用水平构图。从而，在此情况下，执行与以上参考图9A和9B所述相同的构图控制。
另外，假定在摄得图像数据的屏幕中检测到三个或更多个个体对象SBJ0至SBJn(n是等于或大于3的自然数)。在此情况下，优选采用水平构图来作为整体构图。从而，在此情况下，执行与以上参考图10A和10B所述相同的构图控制来作为第二构图控制。
图14示出了与图5所示的对象检测块61、构图控制块62和通信控制块63执行的第二构图控制相对应的过程的示例。
在图14中，步骤S201至S210的过程与图11中的步骤S101至S110的过程相同。但是，在步骤S204中，像步骤S104中那样执行拉远控制，并且在当前设定的构图是垂直构图时还执行将构图设定到初始状态(水平构图)的控制。
在模式标志为f＝＝1的状态中，像步骤S111中那样判定检测到的个体对象的数目，即判定数目是否是1、2、3或更多。
如果在步骤S211中判定个体对象的数目为1，则执行从步骤S212开始的过程。
在步骤S212中，如果当前设定的构图是水平构图，则执行将其改变为垂直构图的控制。作为此控制，可以执行从水平构图的摄得图像数据中提取垂直构图大小的图像区域的信号处理，如上所述。这种控制是由作为信号处理单元24中的构图控制块62的功能来实现的。在步骤S212之后，处理前进到步骤S213。
步骤S213至S215与图11中的步骤S112至S114相同。
通过执行步骤S212至S215的过程，可以执行以上参考图12A和12B描述的构图控制(除了个体对象的向上偏移之外)。
如果在步骤S211中判定个体对象的数目为2，则执行从步骤S216开始的过程。
在步骤S216中，判定两个检测到的个体对象之间的对象到对象距离K是否等于或小于阈值。如果获得肯定的判定结果，则处理前进到步骤S217。如果当前设定的构图是水平构图，则执行将其改变到垂直构图的控制。然后，执行步骤S213至S215的过程。
注意，当处理从步骤S217前进到S213时，在步骤S213至S215中的过程中，使用不同于与一个个体对象相对应的值的、与两个个体对象相对应的占有率的预定范围中的值。然后，如果判定两个个体对象的占有率具有在该预定范围中的值，则判定已经获得了个体对象的适当大小，并且在步骤S215中将模式标志“f”设定为2。
另一方面，如果在步骤S216中获得否定的判定结果，则执行从步骤S218开始的过程。
在步骤S218中，如果当前设定的构图是垂直构图，则执行将其改变成垂直构图的控制。之后的步骤S219至S221与图11中的步骤S115至S117相同。
在步骤S216至S221的过程以及步骤S217之后的步骤S213至S215的过程中，执行个体对象的数目为2的情况下的第二构图控制。也就是说，使用两种类型的构图控制：当对象到对象距离K较短时设定垂直构图的构图控制；以及当对象到对象距离K较长时设定水平构图的构图控制。
在步骤S216中，只有屏幕的水平方向上的对象到对象距离K被用作用于判定要设定的构图(水平或垂直)的因素。但是，实际上，除了屏幕的水平方向上的对象到对象距离K之外，屏幕的垂直方向上的对象到对象距离Kv也可被用作判定因素。对象到对象距离Kv可被定义为屏幕中最上边的个体对象的重心与最下边的个体对象的重心之间的距离。
例如，存在这样的情况，即两个个体对象在垂直方向上的距离在实际屏幕中相当长。在这种情况下，即使两个个体对象之间的水平方向上的距离长到某种程度，更好的构图也可通过采用垂直构图来获得。
下面，给出关于以下情况下的算法示例的描述：在步骤S216中，屏幕的垂直方向上的对象到对象距离Kv与屏幕的水平方向上的对象到对象距离K一起被用作判定因素。
例如，获得屏幕的水平方向上的对象到对象距离K与屏幕的垂直方向上的对象到对象距离Kv的比率K/Kv。然后，判定K/Kv是否等于或大于预定的阈值。如果判定K/Kv等于或大于阈值，则可以判定水平方向上两个个体对象之间的距离比垂直方向上个体对象之间的距离更长到某种程度。在此情况下，在步骤S218中设定水平构图。另一方面，如果判定K/Kv小于阈值，则可以判定垂直方向上个体对象之间的距离长到了某种程度。在此情况下，在步骤S217中设定垂直构图。
或者，与上述情况中一样，可以将屏幕的水平方向上的对象到对象距离K与预定的阈值相比较，并且如果对象到对象距离K等于或大于阈值，则在步骤S217中设定垂直构图。另一方面，如果对象到对象距离K超过阈值，则将屏幕的垂直方向上的对象到对象距离Kv与预定的阈值相比较。与对象到对象距离Kv相比较的阈值不一定等于用于对象到对象距离K的阈值，而是可以使用为对象到对象距离Kv适当设定的值。如果对象到对象距离Kv等于或小于阈值，则在步骤S218中设定水平构图。如果对象到对象距离Kv超过阈值，则在步骤S217中设定垂直构图。
如果在步骤S211中判定个体对象的数目为3，则执行从步骤S222起的过程。在步骤S222中，如果当前设定的构图是垂直构图，则执行将其改变到水平构图的控制。之后步骤S223到S225的过程与图11中的步骤S118至S120的过程相同。
在作为上述过程的结果，模式标志“f”被设定为2的状态中，执行从步骤S226开始的过程。
步骤S226和S227的过程与图11中的步骤S121和S122的相同。通过执行此过程，如以上参考图12A至13B所述，可以获得其中个体对象被相对于屏幕中心向上位移的构图。
与图11中的步骤S123至S125一样，步骤S228至S230对应于关于释放操作的过程。通过执行此过程，已经通过构图控制获得了最佳构图的摄得图像数据可被记录在存储介质中。
在图11和14中所示的每种构图控制的过程的整个流程中，根据检测到的个体对象的数目来判定和决定被认为是最佳的构图，并且适当地执行变焦控制和摇动/倾动控制来实际获得(反映)所判定的构图的摄得图像数据。
在图11和14中所示的每种构图控制的过程中，基本上，构图是基于检测到的个体对象的数目为1、2以及3或更多的三种条件中的任何一种来判定的。但是，这只是示例，当个体对象的数目为3个或更多个时，可以基于更具体的个体对象数目来判定构图。
例如，对于有关应当设定垂直构图和水平构图中的哪一个的构图判定的算法，如果在图14中检测到的个体对象的数目为2，则根据对象到对象距离K来选择垂直构图和水平构图中的任何一个，但如果检测到的个体对象的数目为3个或更多个，则统一地设定水平构图。或者，即使检测到的个体对象的数目为3个或更多个，也可以基于为检测到的个体对象的每个数目所设定的阈值与当前的对象到对象距离K之间的比较结果来选择垂直构图和水平构图中的任何一个。也就是说，如果检测到的个体对象的数目为2个或更多个，可以基于对象到对象距离K来执行垂直构图或水平构图的判定。另外，以上联系步骤S216描述的垂直方向上的对象到对象距离Kv也可被添加到判定因素。
在使用根据该实施例的成像系统时，可能发生以下情形。即，在许多人存在于成像系统周围的环境中，应当只对一个或多个特定的人执行构图控制。在这种情形下，如果在对象检测处理基于脸部检测技术的假设下使用简单地将所有检测到的脸部识别为个体对象的算法，那么就不会对特定的人执行适当的构图控制。具体地，在根据该实施例的构图控制中，不同的构图是根据个体对象的数目来设定的，从而，可能设定出用户不希望的构图的可能性变高了。
为了针对该实施例中的上述情形采取措施，在图11中的步骤S102或图14中的步骤S202的对象检测处理中可以执行以下对象辨别处理。
在此情况下，进行设定，以便作为构图控制的目标的个体对象(目标个体对象)的最大数目可通过对数字静态相机1的操作来设定。所设定的目标个体对象的最大数目的信息例如由对象检测块61保存。在此情况下，假定2被设定为目标个体对象的最大数目。
然后，假定作为对象搜索操作(步骤S105或S205)的结果获得图15A所示的图像内容的摄得图像数据。在与此情况相对应的步骤S102或S202中的对象检测处理中，通过脸部检测而检测到四个个体对象的存在。在此阶段中检测到的个体对象被认为是“候选对象”。在图15A中，屏幕中的四个候选对象从左至右由标号DSBJ0、DSBJ1、DSBJ2和DSBJ3来标示。
这样，作为简单的脸部检测的结果，检测到四个对象(候选对象)。但是，在此情况下，2被设定为目标个体对象的最大数目，如上所述。基于该最大数目，对象检测块61从四个候选对象DSBJ0、DSBJ1、DSBJ2和DSBJ3中按大小降序选择两个候选对象。所选择的对象被认为是目标个体对象。在此情况下，候选对象DSBJ0、DSBJ1、DSBJ2和DSBJ3中具有最大大小的两个个体对象是候选对象DSBJ2和DSBJ3。从而，对象检测块61认为候选对象DSBJ2和DSBJ3分别是目标个体对象SBJ0和SBJ1，并且将候选对象DSBJ0和DSBJ1作为非目标个体对象忽略。然后，在从图11的步骤S107或图14的步骤S207开始的用于构图控制的过程中，仅对目标个体对象执行控制。通过执行这样的对象辨别，即使在许多人存在于成像系统周围的环境或情形中，当作为构图控制目标的那些人被放置在最靠近成像系统的位置处时，也可以基于对特定的人的适当构图控制来执行拍摄。
图16中的流程图示出了作为图11中的步骤S102或图14中的步骤S202的对象检测处理的一部分执行的上述对象辨别的过程示例。
在此处理中，在脸部检测处理中检测到的所有对象都被认为是候选对象。在步骤S301中，判定是否检测到至少一个候选对象。如果判定已检测到至少一个候选对象，则处理前进到步骤S302。
在步骤S302中，判定当前设定的目标个体对象的最大数目是否等于或大于在步骤S301中检测的候选对象的数目。
如果在步骤S302中获得肯定的判定结果，则可以判定候选对象的数目没有超过目标个体对象的最大数目。从而，处理前进到步骤S303，在该步骤中，所有检测到的个体对象都被设定为目标个体对象。
另一方面，如果在步骤S302中获得否定的判定结果，则可以判定候选对象的数目大于目标个体对象的最大数目。在此情况下，处理前进到步骤S304，在该步骤中，按大小降序从检测到的候选对象中选择与目标个体对象的最大数目相对应的候选对象。然后，在步骤S305中，所选择的候选对象被设定为目标个体对象。因此，可以执行对象辨别。
通过执行图16所示的过程，作为在图11的步骤S102或图14中的步骤S202中执行的对象检测处理的结果，包括在步骤S303或305中设定的目标个体对象的数目以及每个目标个体对象的大小和位置的信息作为检测信息被输出到构图控制块62。构图控制块62利用该检测信息来执行从图11中的步骤S107或图14中的步骤S207开始的构图控制。
图17示出了作为根据该实施例的成像系统的修改的配置示例。
在图17中，由信号处理单元24基于成像而生成的摄得图像数据被经由通信控制块63从数字静态相机1发送到云台10。
在图17中，云台10包括通信控制块71、摇动/倾动控制块72、对象检测块73和构图控制块74。
通信控制块71是与图4所示的通信单元52相对应的功能单元，并且根据预定的协议与数字静态相机1上的通信控制块63(云台兼容通信单元34)执行通信。
由通信控制块71接收的摄得图像数据被提供到对象检测块73。对象检测块73包括至少能够执行与图5所示的对象检测块61所执行的相等同的对象检测处理的信号处理单元，对提供给它的摄得图像数据执行对象检测处理，并且将检测信息输出到构图控制块74。
构图控制块74能够执行与图5所示的构图控制块62所执行的相等同的构图控制。当作为构图控制的结果执行摇动控制或倾动控制时，构图控制块74向摇动/倾动控制块72输出用于控制的控制信号。
摇动/倾动控制块72对应于执行图4所示的控制单元51所执行的控制处理中的关于摇动/倾动控制的处理的功能，并且响应于输入到其中的控制信号而向摇动驱动单元55或倾动驱动单元58输出控制摇动机构单元53或倾动机构单元56的运动的信号。因此，执行摇动或倾动以获得由构图控制块62判定的构图。
如上所述，在图17所示的成像系统中，摄得图像数据被从数字静态相机1发送到云台10，并且基于摄得图像数据的对象检测处理和构图控制是在云台10一方执行的。
图18示出了作为根据该实施例的成像系统的另一修改的配置示例。在图18中，与图17中相同的部分由相同的标号标示，并且相应的描述被省略。
在此系统中，在云台10中设置了成像单元75。成像单元75包括用于成像的光学系统和成像器件(成像器)，以获得基于成像光的信号(成像信号)。另外，成像单元75包括信号处理单元，以基于成像信号来生成摄得图像数据。此配置对应于图3所示的包括光学系统单元21、图像传感器22、A/D转换器23和信号处理单元24在内的用于获得摄得图像数据的信号处理级中的单元。由成像单元75生成的摄得图像数据被输出到对象检测块73。顺便说一下，成像单元75取入成像光的方向(成像方向)被设定为与放置于云台10上的数字静态相机1的光学系统单元21(镜头单元3)的成像方向尽可能地匹配。
在此情况下，对象检测块73和构图控制块74以与图17相同的方式执行对象检测处理和构图控制处理。但是，此情况下的构图控制块74执行摇动/倾动控制，并且还允许通信控制块71在执行释放操作的定时向数字静态相机1发送释放指令信号。在数字静态相机1中，在接收到释放指令信号时执行释放操作。
如上所述，在此修改中，除了释放操作之外的整个对象检测处理和构图控制都可在云台10一方执行。
另外，可通过以下方式来修改根据该实施例的成像系统中的对象检测和构图控制。
以上没有描述尤其是水平(左右)方向上的构图控制。但是，根据三分规则，例如，通过使对象相对于中心向右或左中的任何一个方向位移，可以获得良好的构图。从而，作为根据个体对象的数目的构图控制，实际上可以使对象的重心(个体对象或合成对象的重心)向右或向左移动必要的量。
图11和14所示的构图控制中执行的摇动控制和倾动控制是通过控制云台10的摇动/倾动机构的运动来执行的。或者，取代云台10，可以采用另一配置。例如，可以允许由反射镜反射的成像光进入数字静态相机1的镜头单元3，并且可以移动反射光以获得基于成像光获得的图像的摇动/倾动结果。
另外，通过执行控制以在水平方向和垂直方向上移动像素区域以取入效果上作为来自数字静态相机1的图像传感器22的图像的成像信号，可以获得与摇动/倾动相等同的结果。在此情况下，云台10或者除数字静态相机1之外的用于摇动/倾动的替代设备是不必要的，并且根据该实施例的整个构图控制可以由数字静态相机1独自执行。
另外，可以通过设置能够在水平方向和垂直方向上改变光学系统单元21中的透镜的光轴的机构并且控制该机构的运动来执行摇动/倾动。
基于本发明实施例的用于判定构图的配置可被应用除了以上作为实施例描述的成像系统之外的其他系统或设备。下面，描述根据本发明实施例的构图判定的应用示例。
首先，参考图19，根据本发明实施例的构图判定被应用到单个成像设备，例如数字静态相机。例如，当在成像模式中获得由成像设备摄取的图像的适当构图时，通过显示把这个事实通知给用户。
为此应当在成像设备中设置的配置包括对象检测/构图判定块81、通知控制块82和显示单元83。
对象检测/构图判定块81取入摄得图像数据，并且执行与图5所示的对象检测块61所执行的相等同的对象检测处理，并利用作为对象检测处理的结果的检测信息执行与图5所示的构图控制块62所执行的相等同的构图判定处理。
例如，假定用户将被设定到成像模式的成像设备握在手中，并且他/她可以通过执行释放操作(快门按钮操作)来随时记录摄得图像。
在此状态下，对象检测/构图判定块81取入当时通过成像获得的摄得图像数据，并且执行对象检测。然后，在构图控制处理中，根据检测到的个体对象的数目等等来指定最佳构图。注意，在此构图判定处理中，判定当时获得的摄得图像数据的图像内容的构图与最佳构图之间的一致性与相似性。如果获得预定程度或更大的相似性，则判定通过拍摄实际获得的摄得图像数据的图像内容具有最佳构图。实际上，配置一算法，以使得如果获得预定程度或更大的相似性，并且判定摄得图像数据的图像内容的构图匹配最佳构图，则给出最佳构图的判定。存在各种计算一致性和相似性的算法，因而这里不描述具体示例。
指示出摄得图像数据的图像内容具有最佳构图的判定结果的信息被输出到通知控制块82。在接收到该信息后，通知控制块82执行显示控制，以便向用户指示出当前正摄取的图像具有最佳构图的通知以预定的方式被显示在显示单元83中。通知控制块82是由诸如成像设备中包括的微计算机(CPU)之类的显示控制功能以及在显示单元83中实现图像显示的所显示图像处理功能来实现的。指示出获得了最佳构图的对用户的通知可利用诸如电子声音或合成语音之类的声音来执行。
显示单元83对应于该实施例的数字静态相机1的显示单元33。一般地，在被曝光的同时，显示单元的显示面板被设置在成像设备的预定位置中，并且当前正被摄取的图像(所谓的穿透图像)在拍摄模式中被显示于其上。从而，在实际的成像设备中，将最佳构图通知给用户的图像在被叠加于穿透图像上的同时被显示在显示单元83中。当此通知图像出现时，用户执行释放操作。因此，即使不具备充足的摄影知识和技术的用户也可以很容易地拍摄到良好构图的照片。
图20示出了如图19中那样，根据本发明实施例的构图判定被应用到诸如数字静态相机之类的单个成像设备的示例。
在图20所示的配置中，与图19中一样，对象检测/构图判定块81取入当时通过成像获得的摄得图像数据并执行对象检测处理，并且还基于对象检测信息来判定摄得图像数据的图像内容是否具有最佳构图。在判定图像内容具有最佳构图之后，对象检测/构图判定块81将判定结果通知给释放控制块84。
释放控制块84执行记录摄得图像数据的控制，并且例如是由成像设备中包括的微计算机执行的控制来实现的。接收到了通知的释放控制块84执行图像信号处理和记录控制，以便当时获得的摄得图像数据被存储在存储介质等等之中。
利用此配置，成像设备可以在最佳构图的图像被摄取时自动记录摄得图像。
图19和20中所示的配置可被应用到处于静态相机的类别中的、具有图1所示的配置的数字静态相机。另外，通过设置划分由光学系统获得的成像光并取入划分后的光的图像传感器和从图像传感器接收信号并处理信号的数字图像信号处理单元，这些配置可被应用到在银盐膜上记录摄得图像的所谓银盐相机。
图21示出了本发明实施例被应用到编辑现有图像数据的编辑设备的示例。
图21示出了编辑设备90。编辑设备90获得通过再现而来自存储介质的图像数据(再现图像数据)，来作为现有图像数据。除了从存储介质再现的图像数据之外，经由网络下载的图像数据也可被获得。也就是说，对于编辑设备90用来获得摄得图像数据的途径没有特别限制。
由编辑设备90获得的所再现的摄得图像数据被输入到修剪块91和对象检测/构图判定块92中的每一个。
首先，对象检测/构图判定块92执行如图19和20中那样的对象检测处理，并输出检测信息。然后，作为利用检测信息的构图判定处理，对象检测/构图判定块92在作为输入其中的所再现的摄得图像数据的整个屏幕中指定获得最佳构图的具有预定的纵横比的图像部分(最佳构图的图像部分)。然后，在指定最佳构图的图像部分之后，对象检测/构图判定块92向修剪块91输出指示该图像部分的位置的信息(修剪指令信息)。
响应于修剪指令信息的输入，修剪块91执行图像处理以从输入到其中的所再现的摄得图像数据中提取修剪指令信息所指示的图像部分，并且将所提取的图像部分作为独立图像数据输出。这是经编辑的摄得图像数据。
利用此配置，作为对图像数据的编辑处理，自动执行通过从原始图像数据的图像内容中提取最佳构图的一部分来进行的对新获得的图像数据的修剪。这种编辑功能可以被采用来作为安装到个人计算机等等之中的编辑图像数据的应用或者作为管理图像数据的应用中的图像编辑功能。
图22是根据本发明实施例的构图判定被应用到诸如数字静态相机之类的成像设备的配置示例。
通过成像单元(未示出)进行的成像而获得的摄得图像数据被输入到成像设备100中的对象检测/构图判定块101和文件生成块103。在此情况下，输入到成像设备100的摄得图像数据是应当通过释放操作等等被存储在存储介质中的摄得图像数据，并且是基于通过成像单元(未示出)进行的成像而获得的成像信号来生成的。
首先，对象检测/构图判定块101对输入到其中的摄得图像数据执行对象检测并且基于检测信息来判定最佳构图。具体而言，与图21中所示的情况一样，可以获得指定输入的摄得图像数据的整个屏幕中的最佳构图的图像部分的信息。然后，对象检测/构图判定块101将指示以这种方式获得的最佳构图的判定结果的信息输出到元数据生成块102。
元数据生成块102基于输入的信息生成包括从相应摄得图像数据获得最佳构图所必需的信息在内的元数据(构图编辑元数据)，并且将元数据输出到文件生成块103。构图编辑元数据例如包括可以指示出在作为相应摄得图像数据的屏幕中要对其执行修剪的图像区域部分的位置信息。
在图22所示的成像设备100中，摄得图像数据被记录在存储介质上，以便该数据作为预定格式的静态图像文件被管理。为此，文件生成块103将摄得图像数据转换成静态图像文件格式(生成静态图像文件)。
首先，文件生成块103对输入到其中的摄得图像数据执行与图像文件格式相对应的图像压缩编码，以便生成由摄得图像数据构成的文件主体。另外，在将从元数据生成块102接收的构图编辑元数据存储在预定的存储位置中的同时，文件生成块103还生成头部和包括附加信息块的数据部分。然后，文件生成块103基于文件主体、头部和附加信息块生成静态图像文件，并且输出静态图像文件。因此，如图22所示，可以获得应当被记录在存储介质上并且具有包括摄得图像数据和元数据(构图编辑元数据)的配置的静态图像文件。
图23示出了对图22所示的设备生成的静态图像文件进行编辑的编辑设备的配置示例。
图23所示的编辑设备110取入静态图像文件的数据并且将该数据输入到元数据分离块111。元数据分离块111将静态图像文件的数据中与文件主体相对应的摄得图像数据与元数据分离开来。通过分离获得的元数据被输出到元数据分析块112，而摄得图像数据被输出到修剪块113。
元数据分析块112对获得的元数据进行分析。作为分析处理，元数据分析块112参考构图编辑元数据中包括的用于获得最佳构图的信息，至少指定相应摄得图像数据中其上应当执行修剪的图像区域。然后，元数据分析块112向修剪块113输出修剪指令信息，以提供执行指定图像区域的修剪的指令。
与图21中所示的修剪块91一样，修剪块113执行图像处理以从输入自元数据分离块111的摄得图像数据中提取出由输入自元数据分析块112的修剪指令信息所指示的图像部分，并且将提取出的图像部分作为经编辑的摄得图像数据输出，其中经编辑的摄得图像数据是独立的图像数据。
根据包括图22和23所示的成像设备和编辑设备的系统，在对通过拍摄获得的原始静态图像数据(摄得图像数据)在未经处理的状态中进行存储的同时，可以执行利用元数据从原始静态图像数据中提取最佳构图的图像的编辑。此外，自动决定与最佳构图相对应的要提取的图像部分。
图24示出了本发明实施例被应用到诸如视频相机之类的能够摄取和记录运动图像的成像设备的示例。
运动图像数据被输入到图24所示的成像设备120。运动图像数据是基于通过成像设备120中包括的成像单元进行的成像而获得的成像信号来生成的。运动图像数据被输入到成像设备120中的对象检测/构图判定块122和运动图像记录块124。
此情况中的对象检测/构图判定块122判定输入到其中的运动图像数据的构图是良好的还是不好的。例如，对象检测/构图判定块122保存着定义良好构图的参数(良好构图对应参数)。这些参数包括根据需要为每个检测到的个体对象设定的屏幕中占有率，以及对象到对象距离K。对象检测/构图判定块122对输入到其中的运动图像数据连续执行构图判定(例如计算构图参数，比如实际的个体对象在运动图像数据中的占有率以及对象到对象距离K)，并且将作为判定结果获得的运动图像数据的构图参数与上述的良好构图对应参数相比较。如果运动图像数据的构图参数与良好构图对应参数具有预定程度或更大的相似性，则判定运动图像数据具有良好构图。否则，判定运动图像数据具有不好构图。
如果对象检测/构图判定块122判定运动图像数据具有良好构图，则它向元数据生成块123输出指示出运动图像数据中已被判定为具有良好构图的图像区段(良好构图图像区段)的信息(良好构图图像区段指示信息)。良好构图图像区段指示信息例如是指示出运动图像数据中的良好构图图像区段的起始位置和结束位置的信息。
此情况下的元数据生成块123生成关于如下所述要由运动图像记录块124作为文件记录在存储介质上的运动图像数据的各种必要的元数据。当以上述方式从对象检测/构图判定块122接收到良好构图图像区段指示信息时，元数据生成块123生成指示出由输入的良好构图图像区段指示信息指示的图像区段具有良好构图的元数据，并将该元数据输出到运动图像记录块124。
运动图像记录块124执行控制以将输入的运动图像数据记录在存储介质，以便该运动图像数据作为预定格式的运动图像文件被管理。当元数据被从元数据生成块123输出时，运动图像记录块124执行控制以便该元数据在被包括在附于运动图像文件的元数据中的同时被记录。
因此，如图24所示，记录在存储介质上的运动图像文件包括通过成像获得的运动图像数据和指示出具有良好构图的图像区段的元数据，该元数据被附于该运动图像数据。
以上述方式由元数据指示的具有良好构图的图像区段可以是具有某个时间宽度的运动图像的图像区段或者是从运动图像数据中提取的静态图像。或者，具有良好构图的图像区段的运动图像数据或静态图像数据可以取代上述元数据被生成，并且所生成的数据可以作为添加到运动图像文件的副静态图像数据(或者作为独立于运动图像文件的文件)被记录。
另外，在图24所示的成像设备120包括对象检测/构图判定块122的配置中，只有被对象检测/构图判定块122判定为良好构图图像区段的运动图像区段可以作为运动图像文件被记录。另外，与被对象检测/构图判定块122判定为具有良好构图的图像区段相对应的图像数据可经由数据接口等等被输出到外部设备。
图25示出了本发明实施例被应用到执行打印的打印设备的示例。
在此情况下，打印设备130取入具有要打印的图像内容的图像数据(静态图像)。已取入的数据被输入到修剪块131和对象检测/构图判定块132。
首先，对象检测/构图判定块132执行与图21所示的对象检测/构图判定块92所执行的相同的对象检测/构图判定处理，以便指定输入图像数据的整个屏幕中的最佳构图的图像部分，根据处理结果生成修剪指令信息，并且将该信息输出到修剪块131。
修剪块131以与图21所示的修剪块91中相同的方式，执行图像处理以从输入的图像数据中提取由修剪指令信息所指示的图像部分。然后，修剪块131将提取出的图像部分的数据输出到打印控制块133，以作为要打印的图像数据。
打印控制块133利用输入的要打印图像数据执行控制以操作打印机构(未示出)。
利用此操作，在打印设备130中，具有最佳构图的图像部分被自动从输入图像数据的图像内容中提取出，并且被打印在纸上。
图26所示的示例优选地被应用到存储许多静态图像文件并利用这些静态图像文件来提供服务的设备或系统。
许多静态图像文件被存储在存储单元141中。
对象检测/构图判定块142在预定的定时取入存储在存储单元141中的静态图像文件，并且提取存储在其文件主体中的静态图像数据。然后，对象检测/构图判定块142对静态图像数据执行与图22所示的对象检测/构图判定块101所执行的相同的处理以获得指示出关于最佳构图的判定结果的信息，并随后将该信息输出到元数据生成块143。
与图22中所示的元数据生成块102一样，元数据生成块143基于输入的信息生成元数据(构图编辑元数据)。然后，在此情况下，元数据生成块143将所生成的元数据登记在存储单元141中存储的元数据表中。元数据表是一信息单元，其如此存储元数据，以便指示出与存储单元141中存储的静态图像数据的对应关系。也就是说，元数据表指示出元数据(构图编辑元数据)和作为对象检测/构图判定块142执行的生成元数据的对象检测处理和构图判定处理的目标的静态图像文件之间的对应关系。
当存储在存储单元141中的静态图像文件响应于来自外界的对静态图像文件的请求而要被输出时(例如，在服务器中，静态图像文件响应于来自客户端的下载请求而被下载)，静态图像文件输出块144搜索存储单元141以寻找所请求的静态图像文件并取入该文件，并且还搜索元数据表以寻找与所搜索的静态图像文件相对应的元数据(构图编辑元数据)并取入该元数据。
静态图像文件输出块144至少包括与图23所示的元数据分析块112和修剪块113相对应的功能块。
在静态图像文件输出块144中，其中设置的元数据分析块对所取得的元数据进行分析以获得修剪指令信息。然后，其中设置的修剪块根据修剪指令信息对存储在所取得的静态图像文件中的静态图像数据执行修剪。然后静态图像文件输出块144基于通过修剪获得的图像部分来生成新的静态图像数据，并且输出新的静态图像数据。
图26所示的系统配置可应用到各种服务。
例如，该系统配置可应用到经由网络的照片打印服务。具体而言，用户经由网络将要打印的图像数据(静态图像文件)上载到打印服务的服务器。在服务器中，所上载的静态图像文件被存储在存储单元141中，并且与该文件相对应的元数据被生成并登记在元数据表中。然后，在实际打印输出时，静态图像文件输出块144将通过提取最佳构图而生成的静态图像数据作为要打印的图像数据输出。也就是说，在此服务中，响应于对照片打印的请求而发送其中构图被校正到最佳构图的打印图像。
另外，该系统配置可被应用到博客(blog)等等的服务器。博客的文本数据和上载的图像数据被存储在存储单元141中。因此，可以从用户上载的图像数据中提取最佳构图的图像，并且可将提取的图像贴在博客的页面上。
以上参考图17至26描述的配置只是示例，根据本发明实施例的构图判定也可被应用到其他设备、系统和应用软件。
以上给出的对实施例的描述是基于对象(个体对象)是人这一假设的，但本发明实施例也可被应用到对象不是人而例如是动物或植物的情况。
另外，作为对象检测的目标的图像数据不应当限于通过成像获得的数据(摄得图像数据)。可以使用具有绘画或设计图的图像内容的图像数据。
基于本发明实施例判定的构图(最佳构图)并不一定限于仅基于三分规则决定的构图。例如，可以采用另一种方法，例如基于黄金比率(goldenratio)的构图设定方法。另外，最佳构图并不限于一般基于三分规则或黄金比率而认为是良好构图的构图。例如，取决于构图的设定，即使一般认为不好的构图也可被用户评价为有趣的或者良好的构图。因此，可以考虑到实用性和娱乐特性任意设定构图来作为基于本发明实施例判定的构图(最佳构图)，并且在实践中没有特别限制。
本领域的技术人员应当明白，取决于设计要求和其他因素，可以进行各种修改、组合、子组合和变更，只要它们处于所附权利要求或其等同物的范围之内。
本发明包含与2007年10月17日向日本专利局提交的日本专利申请JP2007-270392相关的主题，这里通过引用将该申请的全部内容并入。

Claims (10)

1.一种图像处理设备，包括：
对象检测装置，用于检测基于由图像捕获装置捕获的图像数据的图像中的一个或多个特定对象的存在；
构图判定装置，用于根据由所述对象检测装置检测到的特定对象的数目和所述特定对象之间的距离来判定构图，并且
其中，当所述构图判定装置判定了所述构图时，由所述图像捕获装置捕获的图像数据被存储在存储装置中。
2.如权利要求1所述的图像处理设备，
其中所述构图判定装置根据所述检测到的对象的数目来改变构图判定方式。
3.如权利要求1所述的图像处理设备，
其中所述构图判定装置根据所述检测到的对象的数目来改变构图判定算法。
4.如权利要求2所述的图像处理设备，
其中，当所述检测到的对象的数目为两个或更多个时，所述构图判定装置根据所述检测到的对象的数目，设定不同的值来作为位于右端和左端的对象之间的距离与所述图像在水平方向上的长度的比率。
5.如权利要求2所述的图像处理设备，
其中所述构图判定装置根据所述检测到的对象的数目，来把矩形的所述图像的朝向判定为垂直和水平中的任何一个。
6.如权利要求5所述的图像处理设备，
其中，当所述检测到的对象的数目等于或大于预定值时，所述构图判定装置基于位于右端和左端的对象之间的距离，来将矩形图像的朝向判定为垂直和水平中的任何一个。
7.如权利要求6所述的图像处理设备，
其中，当所述检测到的对象的数目等于或大于所述预定值并且所述数目为两个或更多个的预定值时，所述构图判定装置基于位于右端和左端的对象之间的距离，来将所述矩形图像的朝向判定为垂直和水平中的任何一个。
8.如权利要求5所述的图像处理设备，
其中，当所述检测到的对象的数目等于或大于预定值时，所述构图判定装置基于位于右端和左端的对象之间的距离和位于上端和下端的对象之间的距离，来将矩形图像的朝向判定为垂直和水平中的任何一个。
9.如权利要求8所述的图像处理设备，
其中，当所述检测到的对象的数目等于或大于所述预定值并且所述数目为两个或更多个的预定值时，所述构图判定装置基于位于右端和左端的对象之间的距离和位于上端和下端的对象之间的距离，来将所述矩形图像的朝向判定为垂直和水平中的任何一个。
10.一种图像处理方法，包括以下步骤：
检测步骤，用于检测基于由图像捕获装置捕获的图像数据的图像中的一个或多个特定对象的存在；
判定步骤，用于根据在所述检测步骤中检测到的特定对象的数目和所述特定对象之间的距离来判定构图，并且
其中，当在所述判定步骤中所述构图被判定时，由所述图像捕获装置捕获的图像数据被存储。
CN201110045756.4A 2007-10-17 2008-10-16 图像处理设备和图像处理方法 Expired - Fee Related CN102158650B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007270392A JP4894712B2 (ja) 2007-10-17 2007-10-17 構図判定装置、構図判定方法、プログラム
JP2007-270392 2007-10-17
CN2008101679423A CN101415076B (zh) 2007-10-17 2008-10-16 构图判定设备、构图判定方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2008101679423A Division CN101415076B (zh) 2007-10-17 2008-10-16 构图判定设备、构图判定方法

Publications (2)

Publication Number Publication Date
CN102158650A CN102158650A (zh) 2011-08-17
CN102158650B true CN102158650B (zh) 2015-11-25

Family

ID=40010825

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201110045756.4A Expired - Fee Related CN102158650B (zh) 2007-10-17 2008-10-16 图像处理设备和图像处理方法
CN2008101679423A Expired - Fee Related CN101415076B (zh) 2007-10-17 2008-10-16 构图判定设备、构图判定方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2008101679423A Expired - Fee Related CN101415076B (zh) 2007-10-17 2008-10-16 构图判定设备、构图判定方法

Country Status (6)

Country Link
US (1) US8164643B2 (zh)
EP (1) EP2051505A3 (zh)
JP (1) JP4894712B2 (zh)
KR (1) KR20090039595A (zh)
CN (2) CN102158650B (zh)
TW (1) TWI410125B (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4904243B2 (ja) * 2007-10-17 2012-03-28 富士フイルム株式会社 撮像装置及び撮像制御方法
JP5206095B2 (ja) 2008-04-25 2013-06-12 ソニー株式会社 構図判定装置、構図判定方法、プログラム
KR101599871B1 (ko) * 2009-02-11 2016-03-04 삼성전자주식회사 촬상 장치 및 촬상 방법
JP5577623B2 (ja) * 2009-05-14 2014-08-27 リコーイメージング株式会社 撮像装置
JP2010268184A (ja) * 2009-05-14 2010-11-25 Hoya Corp 撮像装置
JP5347802B2 (ja) * 2009-07-27 2013-11-20 ソニー株式会社 構図制御装置、撮像システム、構図制御方法、プログラム
JP5446546B2 (ja) * 2009-07-28 2014-03-19 ソニー株式会社 撮像制御装置、撮像制御方法、プログラム、撮像システム
JP5434339B2 (ja) * 2009-07-29 2014-03-05 ソニー株式会社 撮像制御装置、撮像システム、撮像方法、プログラム
JP5434338B2 (ja) 2009-07-29 2014-03-05 ソニー株式会社 撮像制御装置、撮像方法、プログラム
US20120206638A1 (en) * 2009-10-09 2012-08-16 Sharp Kabushiki Kaisha Liquid crystal display device, image display method, program and recording medium
JP2011082881A (ja) * 2009-10-09 2011-04-21 Sanyo Electric Co Ltd 電子カメラ
JP2011139231A (ja) * 2009-12-28 2011-07-14 Sony Corp 画像処理装置、画像処理方法、プログラム
JP5533048B2 (ja) * 2010-03-08 2014-06-25 ソニー株式会社 撮像制御装置、撮像制御方法
JP5648298B2 (ja) * 2010-03-15 2015-01-07 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP5625443B2 (ja) * 2010-03-30 2014-11-19 ソニー株式会社 撮像システムおよび撮像装置
US9526156B2 (en) * 2010-05-18 2016-12-20 Disney Enterprises, Inc. System and method for theatrical followspot control interface
JP5577900B2 (ja) * 2010-07-05 2014-08-27 ソニー株式会社 撮像制御装置、撮像制御方法、プログラム
JP2013214858A (ja) * 2012-04-02 2013-10-17 Sony Corp 撮像装置、撮像装置の制御方法およびコンピュータプログラム
CN103197491B (zh) * 2013-03-28 2016-03-30 华为技术有限公司 快速自动聚焦的方法和图像采集装置
JP6171628B2 (ja) * 2013-06-28 2017-08-02 株式会社ニコン 撮像装置、制御プログラム、および電子機器
CN104883506B9 (zh) * 2015-06-26 2021-09-03 重庆智韬信息技术中心 基于人脸识别技术实现的自助拍摄方法
KR102469694B1 (ko) * 2015-08-24 2022-11-23 삼성전자주식회사 카메라를 구비하는 장치에서 사진 촬영 지원 기법
CN106331508B (zh) * 2016-10-19 2020-04-03 深圳市道通智能航空技术有限公司 拍摄构图的方法及装置
JP6875196B2 (ja) * 2017-05-26 2021-05-19 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ モバイルプラットフォーム、飛行体、支持装置、携帯端末、撮像補助方法、プログラム、及び記録媒体
WO2019061063A1 (zh) * 2017-09-27 2019-04-04 深圳市大疆创新科技有限公司 无人机图像采集方法及无人机
WO2019136636A1 (zh) * 2018-01-10 2019-07-18 深圳前海达闼云端智能科技有限公司 图像识别方法、系统、电子设备和计算机程序产品
JP7049632B2 (ja) * 2018-03-31 2022-04-07 株式会社ウォンツ 車両画像撮影システム
JP6873186B2 (ja) * 2019-05-15 2021-05-19 日本テレビ放送網株式会社 情報処理装置、スイッチングシステム、プログラム及び方法
EP3982623A4 (en) 2019-06-04 2022-07-27 Sony Group Corporation IMAGE FORMING DEVICE AND IMAGE FORMING CONTROL METHOD
WO2021031159A1 (zh) * 2019-08-21 2021-02-25 深圳市大疆创新科技有限公司 比赛拍摄方法、电子设备、无人机与存储介质
CN111277763A (zh) * 2020-03-06 2020-06-12 维沃移动通信有限公司 电子设备及拍摄提示方法
CN111756998B (zh) * 2020-06-22 2021-07-13 维沃移动通信有限公司 构图方法、装置及电子设备
KR20220152019A (ko) * 2021-05-07 2022-11-15 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그 동작 방법
JP6970945B1 (ja) * 2021-06-18 2021-11-24 パナソニックＩｐマネジメント株式会社 撮像装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060158534A1 (en) * 2004-12-24 2006-07-20 Fuji Photo Film Co., Ltd. Image capturing system and image capturing method
EP1699013A1 (en) * 2003-12-10 2006-09-06 Sony Corporation Image judgment method and image processing device
JP2006319470A (ja) * 2005-05-10 2006-11-24 Fuji Photo Film Co Ltd 撮像装置
CN1933539A (zh) * 2005-09-16 2007-03-21 富士胶片株式会社 用于对图像布局的方法、设备和程序
US20070147826A1 (en) * 2005-12-22 2007-06-28 Olympus Corporation Photographing system and photographing method

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0614698B2 (ja) 1983-05-13 1994-02-23 株式会社日立製作所 自動追尾カメラ
JP2000098456A (ja) * 1998-09-28 2000-04-07 Minolta Co Ltd オート構図機能を有するカメラ
JP2001268425A (ja) 2000-03-16 2001-09-28 Fuji Photo Optical Co Ltd 自動追尾装置
DE60040051D1 (de) * 1999-12-03 2008-10-09 Fujinon Corp Automatische Folgevorrichtung
JP2001167253A (ja) * 1999-12-10 2001-06-22 Fuji Photo Film Co Ltd 撮像画像を評価する撮像装置、方法および記録媒体
JP2004526179A (ja) * 2000-12-22 2004-08-26 ヒューレット・パッカード・カンパニー 画像構図評価方法および装置
AU2002252885A1 (en) * 2001-04-24 2002-11-05 Mcgill University A 150 kda tgf-beta 1 accessory receptor acting as a negative modulator of tgf-beta signaling
DE10261295A1 (de) * 2002-12-27 2004-07-08 Bernhard Rauscher Verfahren zur Messung der Kameraposition bei einer Bildaufnahme
JP4630749B2 (ja) * 2005-07-26 2011-02-09 キヤノン株式会社 画像出力装置及びその制御方法
JP4466585B2 (ja) * 2006-02-21 2010-05-26 セイコーエプソン株式会社 対象物が表現された画像の数の算出
JP4894328B2 (ja) 2006-03-31 2012-03-14 東レ株式会社 脂肪族ポリエステルカーペット用捲縮糸
TW200828988A (en) * 2006-12-22 2008-07-01 Altek Corp System and method for image evaluation
JP2009088710A (ja) * 2007-09-27 2009-04-23 Fujifilm Corp 撮影装置、撮影方法及び撮影プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1699013A1 (en) * 2003-12-10 2006-09-06 Sony Corporation Image judgment method and image processing device
US20060158534A1 (en) * 2004-12-24 2006-07-20 Fuji Photo Film Co., Ltd. Image capturing system and image capturing method
JP2006319470A (ja) * 2005-05-10 2006-11-24 Fuji Photo Film Co Ltd 撮像装置
CN1933539A (zh) * 2005-09-16 2007-03-21 富士胶片株式会社 用于对图像布局的方法、设备和程序
US20070147826A1 (en) * 2005-12-22 2007-06-28 Olympus Corporation Photographing system and photographing method

Also Published As

Publication number Publication date
US8164643B2 (en) 2012-04-24
TW200934228A (en) 2009-08-01
EP2051505A2 (en) 2009-04-22
CN102158650A (zh) 2011-08-17
JP4894712B2 (ja) 2012-03-14
EP2051505A3 (en) 2012-01-25
CN101415076B (zh) 2011-04-20
KR20090039595A (ko) 2009-04-22
JP2009100301A (ja) 2009-05-07
TWI410125B (zh) 2013-09-21
CN101415076A (zh) 2009-04-22
US20090102942A1 (en) 2009-04-23

Similar Documents

Publication Publication Date Title
CN102158650B (zh) 图像处理设备和图像处理方法
CN102148935B (zh) 构图判定设备、构图判定方法
CN101616261B (zh) 图像记录设备和方法、图像处理设备和方法
US9679394B2 (en) Composition determination device, composition determination method, and program
CN100462999C (zh) 图像处理设备和图像处理方法
CN103002211B (zh) 摄影设备
CN101335835B (zh) 摄像装置以及图像显示控制方法
US20110293250A1 (en) Determining key video snippets using selection criteria
CN100496097C (zh) 图像显示控制装置及其控制方法和控制程序
US20090237529A1 (en) Image recording method, image recording device, and storage medium
CN101969531A (zh) 构图控制设备、成像系统、构图控制方法和程序
JP2008035125A (ja) 撮像装置、画像処理方法およびプログラム
JP5440588B2 (ja) 構図判定装置、構図判定方法、プログラム
JP2008103850A (ja) カメラ及び画像検索システム並びに画像検索方法
JP4159271B2 (ja) デジタルカメラ
JP2024001638A (ja) 制御装置、撮像装置、制御方法、プログラム及び撮像システム
JP2024001639A (ja) 制御装置、撮像装置、制御方法、プログラム及び撮像システム
JP2011061857A (ja) 画像処理装置、画像処理方法、プログラム、撮像装置
JPS63302678A (ja) ディジタル電子スチル・カメラ

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151125

CF01 Termination of patent right due to non-payment of annual fee