CN102439966B - 图像处理设备和方法 - Google Patents

图像处理设备和方法 Download PDF

Info

Publication number
CN102439966B
CN102439966B CN201180002162.3A CN201180002162A CN102439966B CN 102439966 B CN102439966 B CN 102439966B CN 201180002162 A CN201180002162 A CN 201180002162A CN 102439966 B CN102439966 B CN 102439966B
Authority
CN
China
Prior art keywords
subject
unit
ratio
zoom
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180002162.3A
Other languages
English (en)
Other versions
CN102439966A (zh
Inventor
木下雅也
米田丰
龟谷敬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102439966A publication Critical patent/CN102439966A/zh
Application granted granted Critical
Publication of CN102439966B publication Critical patent/CN102439966B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0046—Movement of one or more optical elements for zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Lens Barrels (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了图像处理设备、方法和程序。本发明涉及可以期望成像范围以更简单的方式对被摄体成像的图像处理设备、方法和程序。大小比率计算单元553利用已成像的成像图像计算作为感兴趣的被摄体的区域的感兴趣区域和作为感兴趣区域中包括的被摄体的一部分的区域的部分区域之间的比率，并且镜头驱动控制单元556控制根据用户的变焦操作的成像图像的变焦倍率以使得大小比率计算单元553计算出的大小比率与预定值匹配或者基本匹配。本发明可以应用于成像设备。

Description

图像处理设备和方法
技术领域
本发明涉及图像处理设备、方法和程序，并且具体而言涉及能够使得被摄体被以期望成像范围成像的图像处理设备、方法和程序。 
背景技术
近年来，对于诸如数字相机等的成像设备，已经作出了这样的布置，其中在检测器检测出诸如人或面部之类的被摄体之后，利用诸如自动聚焦(AF)、自动曝光(AE)等的功能来以更合适的方式对被摄体成像。 
另外，已经存在用于通过变焦操作执行成像范围(视角)的调节的成像设备，其跟踪被摄体，当被摄体进入成像范围的边缘时使被摄体经历缩小(zoom out)，而当被摄体进入成像范围的中心区域时使被摄体经历放大(zoom in)(见PTL1)。 
引文列表 
专利文献 
PTL1：日本未实审专利申请公布No.2009-33450 
发明内容
技术问题 
然而，上述成像设备不能根据变焦操作通过与成像范围的调节有关的更简单的操作来获得期望成像范围。 
例如，当在成像时与被摄体的距离改变的情况下，为了固定地维持成像范围中的被摄体的大小，必须根据其距离执行细微的变焦操作。另外，即使当与被摄体的距离恒定时，为了将成像范围中被摄体的大小改变到期望大小，也必须执行细微的变焦操作。 
尤其是，近年来，随着成像设备的大小的减小，用于执行变焦操作的按钮或操纵杆的大小也随之减小，因而，通过变焦操作对成像范围的调节已变得困难。 
鉴于这种情形作出了本发明，本发明尤其涉及以更简单的方式以期望成像范围对被摄体成像。 
对问题的解决方案 
根据本发明第一方面的图像处理设备包括成像装置，被配置为对被摄体成像；计算装置，被配置为计算在由所述成像装置成像的成像图像中感兴趣区域和部分区域之间的比率，所述感兴趣区域是感兴趣的被摄体的区域，所述部分区域是包括在所述感兴趣区域中的所述被摄体的一部分的区域；倍率控制装置，被配置为根据用户的变焦操作控制所述成像图像的变焦倍率，以使得所述计算装置计算出的所述比率与预定值匹配或者基本匹配。 
图像处理设备还可包括存储装置，被配置为预先存储预定值；判定装置，被配置为针对每帧判定计算装置计算出的比率与存储装置存储的预定值是否匹配或者基本匹配，其中所述倍率控制装置控制所述变焦倍率，直到通过所述判定装置判定所述比率与所述预定值匹配或者基本匹配为止。 
计算装置可以计算作为矩形区域的感兴趣区域和部分区域的高度之间的比率。 
计算装置可以计算在由所述成像装置成像的成像图像中人物区域和面部区域之间的比率，所述人物区域是用作感兴趣的所述被摄体的人物的区域，所述面部区域是包括在所述人物区域中的所述人物的面部的区域。 
倍率控制装置可以根据所述用户的变焦操作控制变焦镜头的驱动，以使得所述计算装置计算出的所述比率与所述预定值匹配或者基本匹配。 
倍率控制装置可以根据所述用户的变焦操作控制所述成像图像的电子放大，以使得所述计算装置计算出的所述比率与所述预定值匹 配或者基本匹配。 
图像处理设备还可包括比较装置，被配置为在所述成像图像中将所述感兴趣区域的大小与预定目标大小相比较；其中所述倍率控制装置在所述用户没有执行变焦操作的情况下控制所述成像图像的变焦倍率，以使得所述比较装置比较出的所述感兴趣区域的大小和所述目标大小之间的差小于预定阈值。 
倍率控制装置可以在控制所述成像图像的变焦倍率以使得所述感兴趣区域的大小和所述目标大小之间的差小于所述预定阈值时，在所述用户执行变焦操作时根据所述变焦操作控制所述成像图像的变焦倍率；并且其中还向所述图像处理设备提供了设置装置，其被配置为将所述用户已执行了变焦操作之后的所述感兴趣区域的大小设置为所述目标大小。 
图像处理设备还可包括检测装置，被配置为检测所述成像图像中所述感兴趣区域的位置，其中所述倍率控制装置在所述检测装置检测出所述感兴趣区域的位置在所述成像图像的外边缘区域中的情况下向广角侧控制所述成像图像的变焦倍率。 
图像处理设备还可包括呈现装置，被配置为在借助所述倍率控制装置的控制、所述成像图像的变焦倍率变为广角端的情况下，呈现指示所述被摄体在所述成像图像之外的意思的信息。 
根据本发明第一方面的图像处理设备是一种图像处理设备的图像处理方法，所述图像处理设备包括成像装置、计算装置和倍率控制装置，所述成像装置被配置为对被摄体成像，所述计算装置被配置为计算在由所述成像装置成像的成像图像中感兴趣区域和部分区域之间的比率，所述感兴趣区域是感兴趣的所述被摄体的区域，所述部分区域是包括在所述感兴趣区域中的所述被摄体的一部分的区域，所述倍率控制装置被配置为根据用户的变焦操作控制所述成像图像的变焦倍率以使得所述计算装置计算出的所述比率与预定值匹配或者基本匹配，所述方法包括：计算步骤，由所述计算装置计算在由所述成像装置成像的成像图像中感兴趣区域和部分区域之间的比率，所述感兴趣 区域是感兴趣的所述被摄体的区域，所述部分区域是包括在所述感兴趣区域中的所述被摄体的一部分的区域；以及倍率控制步骤，由倍率所述倍率控制装置根据用户的变焦操作控制所述成像图像的变焦倍率，以使得由所述计算步骤中的处理计算出的所述比率与预定值匹配或者基本匹配。 
根据本发明第一方面的程序是一种使得计算机执行图像处理设备的图像处理的程序，该图像处理设备包括用于对被摄体成像的成像装置，该程序使得计算机执行包括计算步骤和倍率控制步骤的处理，计算步骤，用于计算在由所述成像装置成像的成像图像中感兴趣区域和部分区域之间的比率，所述感兴趣区域是感兴趣的所述被摄体的区域，所述部分区域是包括在所述感兴趣区域中的所述被摄体的一部分的区域；以及倍率控制步骤，用于根据用户的变焦操作控制所述成像图像的变焦倍率，以使得由所述计算步骤中的处理计算出的所述比率与预定值匹配或者基本匹配。 
在本发明的第一方面中，对被摄体成像，在已被成像的成像图像中计算作为感兴趣的被摄体的区域的感兴趣区域和作为包括在感兴趣区域中的被摄体的一部分的区域的部分区域之间的比率，并且根据用户的变焦操作控制成像图像的变焦倍率以使得计算出的比率与预定值匹配或者基本匹配。 
根据本发明第二方面的图像处理设备包括成像装置，被配置为对被摄体成像；检测装置，被配置为在由所述成像装置成像的成像图像中，通过预定的图像处理检测作为感兴趣的所述被摄体的区域的感兴趣区域；比较装置，被配置为比较检测装置检测出的感兴趣区域的大小和预定目标大小；倍率控制装置，被配置为控制所述成像图像的变焦倍率，以使得所述比较装置比较出的所述感兴趣区域的大小和所述目标大小之间的差小于预定阈值。 
根据本发明第二方面的图像处理方法是一种图像处理设备的图像处理方法，该图像处理设备包括成像装置、检测装置、比较装置和倍率控制装置，成像装置被配置为对被摄体成像，检测装置被配置为 在由所述成像装置成像的成像图像中通过预定的图像处理检测作为感兴趣的所述被摄体的区域的感兴趣区域，所述比较装置被配置为比较所述检测装置检测出的所述感兴趣区域的大小和预定目标大小，所述倍率控制装置被配置为控制所述成像图像的变焦倍率以使得所述比较装置比较出的所述感兴趣区域的大小和所述目标大小之间的差小于预定阈值，所述方法包括：检测步骤，用于在由所述成像装置成像的成像图像中，通过预定的图像处理检测作为感兴趣的所述被摄体的区域的感兴趣区域；比较步骤，用于比较由所述检测步骤的处理检测出的所述感兴趣区域的大小和预定目标大小；以及倍率控制步骤，用于控制所述成像图像的变焦倍率，以使得由所述比较步骤的处理比较出的所述感兴趣区域的大小和所述目标大小之间的差小于预定阈值。 
在本发明的第二方面中，对被摄体成像，通过预定的图像处理在已被成像的成像图像中检测作为感兴趣的被摄体的区域的感兴趣区域，比较检测出的感兴趣区域的大小和预定目标大小，并且控制成像图像的变焦倍率以使得比较出的感兴趣区域的大小和目标大小之间的差小于预定阈值。 
本发明的有利效果 
根据本发明的第一和第二方面，可以更简单的方式以期望成像范围对被摄体成像。 
附图说明
图1是图示应用了本发明的图像处理设备的实施例的配置示例的框图。 
图2是图示被摄体跟踪单元的配置示例的框图。 
图3是图示被摄体图生成单元的配置示例的框图。 
图4是图示被摄体候选区域到矩形转换单元的配置示例的框图。 
图5是图示被摄体区域选择单元的配置示例的框图。 
图6是用于描述被摄体跟踪处理的流程图。 
图7是用于描述被摄体图生成处理的流程图。 
图8是图示被摄体图生成处理的具体示例的示图。 
图9是用于描述被摄体候选区域到矩形转换处理的流程图。 
图10是图示被摄体候选区域到矩形转换处理的具体示例的示图。 
图11是用于描述被摄体区域选择处理的流程图。 
图12是用于描述带状特征量图的被摄体区域特征量的加和的示图。 
图13是用于描述权重系数的示图。 
图14是用于描述成像范围调节处理的流程图。 
图15是图示控制单元的功能配置示例的框图。 
图16是用于描述自动变焦调节处理的流程图。 
图17是用于描述自动变焦调节处理的流程图。 
图18是用于描述被摄体被成像的成像范围的示图。 
图19是用于描述被摄体被成像的成像范围的示图。 
图20是用于描述被摄体被成像的成像范围的示图。 
图21是用于描述被摄体被成像的成像范围的示图。 
图22是图示图像处理设备的另一配置示例的框图。 
图23是图示图22中的控制单元的功能配置示例的框图。 
图24是用于描述面部检测处理的流程图。 
图25是用于描述指定变焦处理的流程图。 
图26是用于描述指定变焦处理的流程图。 
图27是用于描述理想大小比率的示图。 
图28是图示图像处理设备的又一配置示例的框图。 
图29是图示图28中的控制单元的功能配置示例的框图。 
图30是用于描述自动变焦调节处理的流程图。 
图31是用于描述自动变焦调节处理的流程图。 
图32是用于描述指定变焦处理的流程图。 
图33是用于描述指定变焦处理的流程图。 
图34是图示图像处理设备的又一配置示例的框图。 
图35是图示计算机的硬件配置示例的框图。 
具体实施方式
下面将参考附图描述本发明的实施例。 
[图像处理设备的配置示例] 
图1是图示应用了本发明的图像处理设备的实施例的配置示例的示图。 
图像处理设备11被提供给诸如数字视频相机、数字静止相机等的成像设备，这些成像设备对具有运动的被摄体成像。 
图像处理设备11由光学系统31、成像器32、数字信号处理单元33、显示单元34、控制单元35、镜头驱动单元36、接口控制单元37和用户接口38配置而成。 
光学系统31被配置为包括变焦镜头和聚焦镜头(未在图中示出)的光学系统。输入到光学系统31的光经历成像器32的光电转换，成像器32由诸如CCD(电荷耦合器件)等的成像设备构成。经历成像器32的光电转换的电信号(模拟信号)被未示出的A/D(模拟到数字)转换单元转化为数字信号的图像数据，并被提供给数字信号处理单元33。 
数字信号处理单元33使来自成像器32的数字信号(图像数据)经历预定信号处理。数字信号处理单元33包括预处理单元51、解拼(demosaic)处理单元52、YC生成单元53、分辨率转换单元54、被摄体跟踪单元55和编解码器56。 
预处理单元51使来自成像器32的图像数据经历用于将R、G和B的黑电平钳制到预定电平的钳制处理，R、G和B颜色通道之间的校正处理等等，作为预处理。解拼处理单元52使经历预处理单元51的预处理的图像数据经历解拼处理，用于补充像素颜色分量，以使得图像数据的每个像素具有所有R、G和B的颜色分量。 
YC生成单元53根据经历解拼处理单元52的解拼处理的R、G和B的图像数据生成(分离)亮度(Y)信号和颜色(C)信号。分辨率转换单元54对在YC生成单元53处理的图像数据执行分辨率转 换处理。 
被摄体跟踪单元55基于由YC生成单元53生成的亮度信号和颜色信号所构成的图像数据执行用于检测与图像数据相对应的输入图像(成像图像)中的被摄体的被摄体跟踪处理，并且跟踪被摄体。 
这里，被摄体的检测是在如下假定下执行的：在用户扫视输入图像的情况下，估计将被用户聚焦的输入图像上的对象(即，估计将吸引用户的注意的对象)被确定为被摄体。因此，被摄体并不一定局限于人。 
被摄体跟踪单元55将作为被摄体跟踪处理的结果获得的、关于表示包括输入图像中的被摄体的区域的被摄体框的数据提供给控制单元35。注意，被摄体跟踪单元55的细节将在后面参考图2描述。 
编解码器56根据需要对在YC生成单元53或分辨率转换单元54处生成的图像数据编码并将其记录在未示出的存储器中，或者对经编码的图像数据解码。在编解码器56处解码的图像数据，或者在分辨率转换单元54处获得的图像数据被提供给显示单元34以进行显示。显示单元34例如由液晶显示器等构成，并且根据控制单元35的控制显示与从数字信号处理单元33提供的图像数据相对应的输入图像(下文中也适当地称为“成像图像”)。 
控制单元35根据从接口控制单元37提供的控制信号来控制图像处理设备11的单元。 
例如，控制单元35将用于各种类型的信号处理的参数等等提供给数字信号处理单元33，并且还从数字信号处理单元33获得作为各种类型的信号处理的结果而获得的数据并提供给接口控制单元37。 
另外，控制单元35向镜头驱动单元36提供用于驱动构成光学系统31的变焦镜头和聚焦镜头或者调节光圈等的控制信号。另外，控制单元35还控制成像器32对输入图像的成像。 
用户接口38由在用户对图像处理设备11输入指令时操作的输入设备(例如按钮、操纵杆、开关、麦克风等)和向用户呈现信息的输出设备(例如灯、扬声器等)等等配置而成。 
例如，在用作用户接口38的按钮被操作时，用户接口38经由接口控制单元37将根据其操作的控制信号提供给控制单元35。 
[被摄体跟踪单元的配置示例] 
接下来，将参考图2描述图1中被摄体跟踪单元55的配置示例。 
图2中的被摄体跟踪单元55由被摄体图生成单元71、被摄体候选区域到矩形转换单元72、被摄体区域选择单元73和权重系数计算单元74配置而成。 
被摄体图生成单元71针对输入图像中包括的诸如亮度、颜色等的每个特征生成指示输入图像的预定帧的预定区域中的特征量的特征量图，并提供给权重系数计算单元74。另外，被摄体图生成单元71基于所生成的特征量图和从权重系数计算单元74提供的每个特征量的权重系数生成指示输入图像中被摄体的区域似然性的被摄体图。 
具体而言，被摄体图生成单元71针对每个特征对位于关于特征量图的每个区域的信息(特征量)的相同位置中的每个区域执行带有权重的加法以生成被摄体图。被摄体图生成单元71将所生成的被摄体图提供给被摄体候选区域到矩形转换单元72。 
注意，对于每个特征量图，信息量较高的区域(即，输入图像上与具有较高特征量的区域相对应的区域)变为具有较高的包括被摄体的可能性的区域，并且因此，根据每个特征量图可以确定输入图像中包括被摄体的区域。 
利用来自被摄体图生成单元71的被摄体图，被摄体候选区域到矩形转换单元72获得用作被摄体的候选的区域，即，包括被摄体图中具有较高信息量的区域的矩形区域，并将表示其矩形区域的坐标的坐标信息提供给被摄体区域选择单元73。另外，被摄体候选区域到矩形转换单元72计算关于被摄体图上由坐标信息表示的矩形区域的信息(下文中称为区域信息)，并以与坐标信息相关联的方式提供给被摄体区域选择单元73。 
被摄体区域选择单元73基于来自被摄体候选区域到矩形转换单元72的区域信息从矩形区域中选择要跟踪的被摄体区域(它是包括了 感兴趣的被摄体的矩形区域)，并将其被摄体区域的坐标信息提供给控制单元35(图1)和权重系数计算单元74。 
权重系数计算单元74计算权重系数并提供给被摄体图生成单元71，权重系数用于在来自被摄体图生成单元71的预定帧的每个特征量图上与被摄体区域相对应的区域中，加权与相对较大的特征量相对应的下一帧的特征量图。 
根据这种配置，被摄体跟踪单元55可以针对输入图像的每个帧获得表示被摄体区域的被摄体框。 
[被摄体图生成单元的配置示例] 
接下来，将参考图3描述图2中被摄体图生成单元71的配置示例。 
图3中的被摄体图生成单元71由特征量图生成单元111、带状特征量图生成单元112、带状特征量图合成单元113和合成特征量图合成单元114配置而成。 
特征量图生成单元111针对来自输入图像的预定帧的每个特征量生成指示关于诸如亮度或颜色之类的特征的信息(特征量)的特征量图，并提供给带状特征量图生成单元112。 
带状特征量图生成单元112以预定次数从来自特征量图生成单元111的每个特征量图的特征量中提取出预定带状分量的特征量，生成指示所提取出的特征量的带状特征量图，并提供给权重系数计算单元74和带状特征量图合成单元113。 
带状特征量图合成单元113基于来自权重系数计算单元74的权重系数，针对每个特征量合成来自带状特征量图生成单元112的带状特征量图以生成合成特征量图，并提供给权重系数计算单元74和合成特征量图合成单元114。 
合成特征量图合成单元114基于来自权重系数计算单元74的权重系数，合成来自带状特征量图合成单元113的合成特征量图以生成被摄体图，并提供给被摄体候选区域到矩形转换单元72(图2)。 
这里，在下面的描述中，上述带状特征量图和合成特征量图将被 简称为特征量图。 
[被摄体候选区域到矩形转换单元的配置示例] 
接下来，将参考图4描述图2中被摄体候选区域到矩形转换单元72的配置示例。 
图4中的被摄体候选区域到矩形转换单元72由二值化处理单元131、标记化处理单元132、矩形区域候选计算单元133和区域信息计算单元134配置而成。 
二值化处理单元131基于预定阈值将从被摄体图生成单元71提供的被摄体图中与输入图像的每个像素相对应的信息二值化为0或1的值，并提供给标记化处理单元132。这里，在下面的描述中，被摄体图中与输入图像的每个像素相对应的信息也将被简称为像素。 
标记化处理单元132对来自二值化处理单元131的二值化的被摄体图中与其值为1的像素相邻的区域(下文中称为连接区域)执行标记，并提供给矩形区域候选计算单元133。 
矩形区域候选计算单元133计算被摄体图中包括(包围)连接区域的矩形区域的坐标，并将表示其坐标的坐标信息与被摄体图一同提供给区域信息计算单元134，其中连接区域是从标记化处理单元132标记的。 
区域信息计算单元134计算区域信息(是来自矩形区域候选计算单元133的与被摄体图上以坐标信息表示的矩形区域有关的信息)，并以与坐标信息相关联的方式提供给被摄体区域选择单元73(图1)。 
[被摄体区域选择单元的配置示例] 
接下来，将参考图5描述被摄体区域选择单元73的配置示例。 
图5中的被摄体区域选择单元73由区域信息比较单元151和被摄体区域确定单元152配置而成。 
区域信息比较单元151将来自被摄体候选区域到矩形转换单元72的每个矩形区域的区域信息与存储在区域信息存储单元153中的之前一帧的被摄体区域的区域信息相比较，并将比较结果提供给被摄体区域确定单元152。 
被摄体区域确定单元152基于来自区域信息比较单元151的比较结果，将以与这样的区域信息(该区域信息与之前一帧的被摄体区域的区域信息最接近)相关联的坐标信息表示的矩形区域取作被摄体区域。被摄体区域确定单元152将所确定的被摄体区域的坐标信息提供给控制单元35(图1)和权重系数计算单元74(图2)，并且还将被摄体区域的区域信息提供给区域信息存储单元153。 
区域信息存储单元153存储来自被摄体区域确定单元152的被摄体区域的区域信息。存储在区域信息存储单元153中的被摄体区域的区域信息在一帧之后被区域信息比较单元151读出。 
[被摄体跟踪处理] 
下面将描述图像处理设备11的被摄体跟踪处理。 
图6是用于描述图像处理设备11的被摄体跟踪处理的流程图。被摄体跟踪处理例如在以下情形时开始：图像处理设备11的操作模式通过用户操作用作按钮的用户接口38而进行到用于执行被摄体跟踪处理的被摄体跟踪处理模式，并且用户在显示在显示单元34上的输入图像中选择了用作跟踪对象的被摄体的预定区域。 
在步骤S11中，被摄体跟踪单元55的被摄体图生成单元71执行被摄体图生成处理以生成被摄体图，并提供给被摄体候选区域到矩形转换单元72。 
[被摄体图生成处理] 
现在，将参考图7和图8描述被摄体图生成处理的细节。图7是用于描述被摄体图生成处理的流程图。图8是图示被摄体图生成处理的具体示例的示图。 
在图7的流程图中的步骤S31中，被摄体图生成单元71的特征量图生成单元111(针对每个特征量)生成关于亮度、颜色等的特征的特征量图，并提供给带状特征量图生成单元112。 
具体而言，如图8所示，从输入图像200生成了M类特征量图，它们是指示关于亮度的信息的亮度信息图F1、指示关于颜色的信息的颜色信息图F2至FK、以及指示关于边缘的信息的边缘信息图F(K+1)至 FM。 
对于亮度信息图F1，从输入图像的每个像素获得的亮度分量(亮度信号)Y变为与输入图像的每个像素相对应的信息，并且对于颜色信息图F2至FK，从输入图像的每个像素获得的颜色分量(颜色信号)R、G和B变为与输入图像的每个像素相对应的信息。另外，对于边缘信息图F(K+1)至FM，例如，在输入图像的每个像素处在0°、45°、90°和135°的方向上的边缘强度变为与输入图像的每个像素相对应的信息。 
注意，关于上述特征量图，像素的分量R、G和B的值的平均值可以被取作亮度信息图F1的信息(特征量)，并且色差分量Cr和Cb以及Lab颜色空间中的a*坐标分量和b*坐标分量可以被取作颜色信息图F2至FK。另外，在除了0°、45°、90°和135°以外的方向上的边缘强度可以被取作边缘信息图F(K+1)至FM。 
在步骤S32中，带状特征量图生成单元112N次地从每个特征量图中的特征量中提取出预定带状分量的特征量，生成指示每个提取出的特征量的带状特征量图，并提供给权重系数计算单元74和带状特征量图合成单元113。 
具体而言，如图8所示，从亮度信息图F1中的亮度信息提取出预定带1至带N的亮度信息，并且生成指示这些带的亮度信息的带状亮度信息图R11至R1N。另外，从颜色信息图F2至FK中的颜色信息提取出预定带1至带N的颜色信息，并且生成指示这些带的颜色信息的带状颜色信息图R21至R2N、…、RK1至RKN。从边缘信息图F(K+1)至FM中的边缘信息提取出预定带1至带N的边缘信息，并且生成指示这些带的边缘信息的带状边缘信息图R(K+1)1至R(K+1)N、…、RM1至RMN。这样，带状特征量图生成单元112生成了(M*N)类带状特征量图。 
现在，将描述带状特征量图生成单元112的处理示例。 
例如，带状特征量图生成单元112使用特征量图来生成具有相互不同的分辨率的多个特征量图，并且将这些特征量图取作其特征量的金字塔图像。例如，假定生成了级别L1至级别L8的八分辨率层级的 金字塔图像，级别L1的金字塔图像具有最高的分辨率，并且金字塔图像的分辨率按照从级别L1至级别L8的顺序减小。 
在这种情况下，由特征量图生成单元111生成的特征量图被取作级别L1的金字塔图像。另外，级别Li(然而，1≤i≤7)的金字塔图像中四个相互相邻的像素的像素值的平均值被取作与这些像素相对应的级别L(i+1)的金字塔图像的一个像素的像素值。因此，级别L(i+1)的金字塔图像变为相对于级别Li的金字塔图像在每一方向上一半的图像(在除不尽的情况下省略了分数)。 
另外，带状特征量图生成单元112从多个金字塔图像中选择具有相互不同的层级的两个金字塔图像，获得所选择的金字塔图像之间的差，并且生成每个特征量的N个差图像。注意，每个层级的金字塔图像在大小(像素数)上是不同的，因此，在生成差图像时，较小的金字塔图像被根据较大的金字塔图像向上转换(up-converted)。 
例如，带状特征量图生成单元112在多个层级的特征量的金字塔图像中获得以下级别的层级组合的金字塔图像的差：级别L6和级别L3、级别L7和级别L3、级别L7和级别L4、级别L8和级别L4、以及级别L8和级别L5。因而，获得了总共五个特征量的差图像。 
具体而言，例如，在生成级别L6和级别L3的组合的差图像的情况下，级别L6的金字塔图像被根据级别L3的金字塔图像的大小向上转换。也就是说，向上转换之前的级别L6的金字塔图像的一个像素的像素值被取作与该像素相对应的向上转换之后的级别L6的金字塔图像的相互相邻的若干像素的像素值。级别L6的金字塔图像的像素的像素值与位于和该像素相同位置处的级别L3的金字塔图像的像素的像素值之间的差被获得，并且其差被取作差图像的像素的像素值。 
这样生成了差图像，从而可以从特征量图中提取出预定带状分量的特征量，以使得特征量图经历使用带通滤波器的滤波处理。 
注意，在下面的描述中，要从特征量图中提取的带的宽度是由在获得差图像时金字塔图像的层级的组合确定的，但是该组合是可选地确定的。 
另外，预定带状分量的特征量的提取并不限于使用差图像的上述技术，而是可以采用另一技术。 
现在，将返回到对图7中的流程图的描述。在步骤S33中，带状特征量图合成单元113基于来自权重系数计算单元74的权重系数群组WR，针对每个特征量合成来自带状特征量图生成单元112的带状特征量图。带状特征量图合成单元113将合成的带状特征量图(合成特征量图)提供给权重系数计算单元74和合成特征量图合成单元114。 
具体而言，如图8所示，带状亮度信息图R11至R1N经历使用来自权重系数计算单元74的作为每个带状亮度信息图的权重的权重系数w11至w1N的加权加法，并且获得了合成特征量图C1。另外，带状颜色信息图R21至R2N、…、RK1至RKN经历使用来自权重系数计算单元74的作为针对每个带状颜色信息图的权重的权重系数w21至w2N、…、wK1至wKN的加权加法，并且获得了合成特征量图C2至CK。另外，带状边缘信息图R(K+1)1至R(K+1)N、…、RM1至RMN经历使用来自权重系数计算单元74的作为针对每个带状边缘信息图的权重的权重系数w(K+1)1至w(K+1)N、…、wM1至wMN的加权加法，并且获得了合成特征量图CK+1至CM。这样，带状特征量图合成单元113生成了M类合成特征量图。注意，尽管权重系数群组WR的细节将在后面描述，但是权重系数群组WR的权重系数具有0至1的值。然而，在第一被摄体图生成处理中，权重系数群组WR的权重系数都被设置为1，并且带状特征量图被无权重地相加。 
在步骤S34中，合成特征量图合成单元114基于来自权重系数计算单元74的权重系数群组WC合成来自带状特征量图合成单元113的合成特征量图以生成被摄体图，并提供给被摄体候选区域到矩形转换单元72。 
具体而言，如图8所示，合成特征量图C1至CM利用来自权重系数计算单元74的作为针对每个带状亮度信息图的权重的权重系数w1至wM被线性组合。另外，作为线性组合的结果而获得的图的像素值被乘以作为预先获得的权重的被摄体的权重以进行归一化，并且获得 被摄体图201。注意，尽管权重系数群组WC的细节将在后面描述，但是权重系数群组WC的权重系数具有0至1的值。然而，在第一被摄体图生成处理中，权重系数群组WC的权重系数都被设置为1，并且合成特征量图被无权重地线性组合。 
也就是说，如果假定从现在起要获得的被摄体图上感兴趣的位置(像素)被取作感兴趣的位置，则与每个合成特征量图的感兴趣位置相同位置(像素)的像素值被乘以针对每个合成特征量图的权重系数，并且乘以权重系数的像素值的加和被取作感兴趣位置的像素值。另外，这样获得的被摄体图的每个位置的像素值被乘以针对被摄体图预先获得的被摄体权重以进行归一化，并被取作最终被摄体图。例如，执行归一化以使得被摄体图的每个像素的像素值变为0至255的值。 
被摄体图生成单元71以这种方式生成带状特征量图和合成特征量图，从而生成被摄体图。 
现在，将返回到对图6中的流程图的描述。在步骤S12中，被摄体候选区域到矩形转换单元72在来自被摄体图生成单元71的被摄体图中执行被摄体候选区域到矩形转换处理，以获得包括用作被摄体候选的区域的矩形区域。 
[被摄体候选区域到矩形转换处理] 
现在，将参考图9和图10描述被摄体候选区域到矩形转换处理的细节。图9是用于描述被摄体候选区域到矩形转换处理的流程图，并且图10是图示被摄体候选区域到矩形转换处理的具体示例的示图。 
在图9的流程图中的步骤S51中，被摄体候选区域到矩形转换单元72的二值化处理单元131基于预定阈值将从被摄体图生成单元71提供的被摄体图中的信息二值化为0或1的值，并提供给标记化处理单元132。 
具体而言，二值化处理单元131将图10中顶部第一行示出的被摄体图201的每个像素的像素值(它是0至255的值)设置为例如0(如果像素值是小于阈值127的值)和1(如果像素值是大于127的值)。因而，获得了从图10的顶部起第二行中所示的二值化图202。 在图10所示的二值化图202中，以白色(像素)指示的部分具有1的像素值，而以黑色(像素)指示的部分具有0的像素值。注意，尽管该阈值被示为127，但是可以采用另一值。 
在步骤S52中，对于来自二值化处理单元131的二值化图202(二值化被摄体图)，标记化处理单元132使具有1的像素值的像素(例如通过形态操作等获得)邻接的连接区域经历标记化，并提供给矩形区域候选计算单元133。 
具体而言，例如，如从图10中顶部起第三行所示的，在二值化图202中，连接区域211经历标记化且标记为“1”，并且连接区域212经历标记化且标记为“2”。 
在步骤S53中，矩形区域候选计算单元133利用来自标记化处理单元132的二值化图202计算包括(包围)连接区域的矩形区域的坐标，并将表示其坐标的坐标信息与二值化图202一同提供给区域信息计算单元134。 
具体而言，如从图10的顶部起第四行所示的，在二值化图202中，检测到从外部包围经历标记化且标记为“1”的连接区域211的矩形框(外接框)221，并且例如获得图中其矩形框的左上顶点和右下顶点的坐标。另外，检测到从外部包围经历标记化且标记为“2”的连接区域212的矩形框222，并且例如获得图中其矩形框的左上顶点和右下顶点的坐标。 
在步骤S54中，区域信息计算单元134基于来自被摄体图生成单元71的坐标信息和来自矩形区域候选计算单元133的被摄体图，来计算被摄体图上关于以矩形框包围的矩形区域的区域信息。 
具体而言，区域信息计算单元134基于来自矩形区域候选计算单元133的坐标信息(其表示二值化图202中的矩形框221和222)来计算矩形框的大小和中心位置的坐标作为关于矩形区域的区域信息。区域信息计算单元134将计算出的区域信息以与来自矩形区域候选计算单元133的坐标信息相关联的方式提供给被摄体区域选择单元73。 
这样，被摄体候选区域到矩形转换单元72利用被摄体图获得了 包围用作感兴趣的被摄体的候选的每个区域的矩形框，以及表示被摄体图上以其矩形框包围的区域的特征的区域信息。 
现在，将返回到对图6中的流程图的描述。在步骤S13中，被摄体区域选择单元73基于来自被摄体区域选择单元73的区域信息执行被摄体区域选择处理，以从矩形区域中选择作为其中包括了感兴趣的被摄体的矩形区域的被摄体区域。 
[被摄体区域选择处理] 
现在，将参考图11中的流程图描述被摄体区域选择处理的细节。 
在步骤S71中，区域信息比较单元151将来自被摄体候选区域到矩形转换单元72的每个矩形区域的区域信息与存储在区域信息存储单元153中的之前一帧的被摄体区域的区域信息相比较，并将比较结果提供给被摄体区域确定单元152。 
具体而言，例如，区域信息比较单元151将来自被摄体候选区域到矩形转换单元72的被摄体图上包围每个矩形区域的矩形框的大小与存储在区域信息存储单元153中的包围之前一帧的被摄体区域的矩形框(被摄体框)的大小相比较。另外，例如，区域信息比较单元151将来自被摄体候选区域到矩形转换单元72的被摄体图上包围每个矩形区域的矩形框的中心位置的坐标与存储在区域信息存储单元153中的包围之前一帧的被摄体区域的矩形框(被摄体框)的中心位置的坐标相比较。 
在步骤S72中，被摄体区域确定单元152基于来自区域信息比较单元151的比较结果将一矩形区域取作被摄体区域，该矩形区域具有与包围之前一帧的被摄体区域的矩形框(被摄体框)的大小或中心位置的坐标最接近的矩形框的大小或中心位置。被摄体区域确定单元152将所确定的被摄体区域的坐标信息提供给控制单元35和权重系数计算单元74，并且还将被摄体区域的区域信息(被摄体框的大小或中心位置)提供给区域信息存储单元153。 
然而，在第一被摄体区域选择处理中，之前一帧的被摄体区域的区域信息未被存储在区域信息存储单元153中，并且因此，包括在开 始被摄体跟踪处理的开始时用户所选择的被摄体的预定区域的矩形区域(下文中称为“初始选定区域”)被取作被摄体区域。 
这样，被摄体区域选择单元73从用作被摄体的候选的矩形区域中选择感兴趣的被摄体的被摄体区域。 
[权重系数的计算] 
现在，将返回到对图6中的流程图的描述。在步骤S14中，权重系数计算单元74基于来自被摄体图生成单元71的带状特征量图和合成特征量图以及来自被摄体区域选择单元73的表示被摄体区域的坐标信息，来计算图8中所示的权重系数群组WR和WC。 
具体而言，如图12所示，如果假定与表示预定带状特征量图Rmn(1≤m≤M，1≤n≤N)上的被摄体区域的被摄体框231相对应的矩形区域内的特征量(信息量)的加和是被摄体区域特征量加和rmn，则计算出例如图13的上部所示的权重系数群组WR。 
图13中的权重系数群组WR中的系数分别对应于图8中的权重系数w11至wMN。假定在图13中，Max[a，…，z]表示值a至z的最大值。 
例如，从图13中权重系数群组WR的顶部起第一行的系数指示关于针对每个特征量的带状特征量R11至RM1(它们位于图8所示的“带1”中)的权重系数w11至wM1。如图13所示，关于权重系数w11至wM1，分母是分别关于带状特征量图R11至RM1的被摄体区域特征量加和r11至rM1的最大值，并且分子是作为分别关于带状特征量图R11至RM1的被摄体区域特征量加和r11至rM1的系数，并且取0至1的值。 
类似地，从图13中权重系数群组WR的顶部起第N行的系数指示关于针对每个特征量的带状特征量图R1N至RMN(它们位于图8所示的“带N”中)的权重系数w1N至wMN。如图13所示，关于权重系数w1N至wMN，分母是分别关于带状特征量图R1N至RMN的被摄体区域特征量加和r1N至rMN的最大值，并且分子是作为分别关于带状特征量图R1N至RMN的被摄体区域特征量加和r1N至rMN的系数，并且取0 至1的值。 
也就是说，根据权重系数w1n至wMn，对于位于“带n”中的针对每个特征量的带状特征量图R1n至RMn，具有使得被摄体区域特征量加和为最大的特征量的带状特征量图被用1的最大值加权，而其他带状特征量图被根据被摄体区域特征量加和加权。 
另外，如果假定与表示预定合成特征量图Cm(1≤m≤M)上的被摄体区域的矩形框221相对应的矩形区域内的特征量(信息量)的加和是被摄体区域特征量加和cm，则计算出例如图13的下部所示的权重系数群组WC。 
图13中的权重系数群组WC中的系数分别对应于图8中所示的权重系数w1至wM。 
也就是说，图13中的权重系数群组WC中的系数指示图8中所示关于针对每个特征量的合成特征量图C1至CM的权重系数w1至wM。如图13所示，关于权重系数w1至wM，分母是分别关于合成特征量图C1至CM的被摄体区域特征量加和c1至cM的最大值，并且分子是作为分别关于合成特征量图C1至CM的被摄体区域特征量加和c1至cM的系数，并且取0至1的值。 
也就是说，根据权重系数w1至wM，对于针对每个特征量的合成特征量图C1至CM，具有使得被摄体区域特征量加和为最大的特征量的合成特征量图被用1的最大值加权，而其他带状特征量图被根据被摄体区域特征量加和加权。 
权重系数计算单元74将计算出的权重系数WR提供给被摄体图生成单元71的带状特征量图合成单元113，并且还将权重系数群组WC提供给被摄体图生成单元71的合成特征量图合成单元114。对于图6中的流程图，在步骤S14之后，执行针对下一帧的被摄体跟踪处理，并且针对每一帧重复该处理。 
根据上述处理，利用与输入图像的预定帧有关的针对每个特征量的特征量图，根据与在其帧中选择的被摄体区域相对应的区域的特征量的相对大小来确定关于下一帧的针对每个特征量的特征量图的权重 系数。因此，即使在特征量在帧之间波动的情况下，也生成被摄体图(其中，在多个特征量中，以最适当的方式表示被摄体的特征量的特征量图被用最高值加权)，并且因此，即使在被摄体的状态波动的环境下，也可以以更稳定的方式跟踪被摄体。 
另外，被摄体区域被确定为包括整个被摄体，并且因此，即使在被摄体的部分区域的状态波动的环境下，也可以以更稳定的方式跟踪被摄体。 
具体而言，在传统的被摄体跟踪技术中，在被摄体区域(或者包括其坐标的部分区域)内的任何坐标被识别的情况下，不能跟踪整个被摄体，并且不能正确地设置AF(自动聚焦)、AE(自动曝光)和ACC(自动颜色控制)的检测帧。另外，在相同特征量区域(其中特征量在被摄体区域内是相同的)被识别的情况下，与上述情况相比可以提高用于设置检测帧的精度，但是相同特征量区域通常仅是被摄体区域的一部分，并且不能获得足够的检测精度。 
另一方面，根据上述被摄体跟踪处理，可以识别包括整个被摄体的被摄体区域，可以提高检测精度，并且因此可以将跟踪结果应用于各种应用。 
另外，在传统的被摄体跟踪技术中，例如，某些技术通过学习在辞典中登记人的整体图像来检测并跟踪人，但是不能跟踪除了在辞典中登记的人以外的被摄体。另外，要在辞典中登记的信息(图像)的量变得巨大，因此设备规模也增大。 
另一方面，根据上述被摄体跟踪处理，可以检测并跟踪可选的被摄体，另外，不需要在辞典等中登记大量的信息，从而可以缩减设备规模。 
在上述描述中，亮度分量、颜色分量和边缘方向已被用作特征量，但是特征量并不限于此，并且例如可以添加运动信息等等。另外，要采用的特征量如果具有诸如亮度分量和颜色分量之间的补充关系则也是合适的，并且可以适当地被选择。 
另外，在上述描述中，响应于M*(N+1)类特征量图，已计算出 M*(N+1)类权重系数，但是仅仅与特征量图的一部分相对应的权重系数被适当地计算，从而可以抑制图像处理设备11处的计算量。例如，可以仅计算与合成特征量图C1至CM的M类特征量图相对应的权重系数w1至wM。 
另外，在上述描述中，区域信息计算单元134已计算出矩形框的大小和中心位置的坐标作为矩形区域的区域信息，但是可以计算矩形区域的像素值的积分值或峰值(最大值)。在这种情况下，在被摄体区域选择处理(图11)中，具有最接近于之前一帧的被摄体区域内的像素值的积分值或峰值的区域内的像素值的积分值或峰值的矩形区域被取作被摄体区域。 
另外，对于图像处理设备11，作为应用了上述被摄体跟踪处理的跟踪结果的应用的示例，可以执行成像范围调节处理，该处理用于在固定地维持成像范围中的被摄体的大小的同时、对被跟踪的被摄体成像。 
[成像范围调节处理] 
现在，将参考图14中的流程图描述图像处理设备11的成像范围调节处理。成像范围调节处理例如在以下情形时开始：图像处理设备11的操作模式通过用户操作用作按钮的用户接口38而进行到用于对被摄体成像的成像模式，并且用户在显示在显示单元34上的输入图像(成像图像)上选择了用作成像对象的被摄体的预定区域。 
在步骤S71中，被摄体跟踪单元55执行在图6的流程图中描述的被摄体跟踪处理以将被摄体区域的坐标信息提供给控制单元35。 
在步骤S72中，控制单元35基于来自被摄体跟踪单元55的被摄体区域的坐标信息来控制镜头驱动单元36，以驱动光学系统31中包括的变焦镜头并执行自动变焦调节处理。 
控制单元35的自动变焦调节处理的细节将在后面描述，但是根据上述处理，即使相对被摄体的距离改变，成像范围中被摄体的大小也可以保持恒定。 
[控制单元的功能配置示例] 
现在，将参考图15描述执行图14的流程图的步骤S72中的自动变焦调节处理的控制单元35的功能配置示例。 
图15中的控制单元35包括坐标信息获得单元311、目标大小设置单元312、操作确定单元313、位置检测单元314、比较单元315和镜头驱动控制单元316。 
坐标信息获得单元311从被摄体跟踪单元55获得针对输入图像的每帧提供的被摄体区域的坐标信息，并提供给目标大小设置单元312、位置检测单元314和比较单元315。另外，在从被摄体跟踪单元55获得坐标信息后，坐标信息获得单元311将指示坐标信息已获得的意思的信息提供给操作确定单元313。 
目标大小设置单元312基于来自坐标信息获得单元311的被摄体区域的坐标信息来将与预定帧有关的以坐标信息表示的被摄体区域的大小设置为目标大小(用作用于保持成像范围中被摄体的大小恒定的目标)。具体而言，控制单元35控制镜头驱动单元36以驱动变焦镜头，从而恒定地将被摄体区域的大小近似为目标大小。目标大小设置单元312将已设置的目标大小提供给比较单元315。 
在从坐标信息获得单元311提供了指示已从被摄体跟踪单元55获得坐标信息的意思的信息后，操作确定单元313基于来自用户接口控制单元37的控制信号来判定用作用户接口38的变焦按钮(或者变焦操纵杆)是否已被操作。操作确定单元313将表示判定结果的信息提供给目标大小设置单元312、位置检测单元314和镜头驱动控制单元316。 
位置检测单元314基于来自坐标信息获得单元311的被摄体区域的坐标信息来检测成像范围中被摄体的位置，并将根据其位置的信息提供给比较单元315、镜头驱动控制单元316和显示单元34(图1)。 
在从位置检测单元314提供了根据被摄体的位置的信息后，比较单元315将以来自坐标信息获得单元311的坐标信息表示的被摄体区域的大小与来自目标大小设置单元312的目标大小相比较。比较单元315将表示比较结果的信息提供给镜头驱动控制单元316。 
基于来自操作确定单元313的表示判定结果的信息，或者来自比较单元315的表示比较结果的信息，镜头驱动控制单元316控制镜头驱动单元36以驱动光学系统31(图1)的变焦镜头。 
[自动变焦调节处理] 
接下来，将参考图16和图17中的流程图描述与图14的流程图中的步骤S72相对应的图15中的控制单元35的自动变焦调节处理。 
在步骤S111中，坐标信息获得单元311从被摄体跟踪单元55获得被摄体区域的坐标信息，并提供给目标大小设置单元312。 
在步骤S112中，坐标信息获得单元311判定该操作是否是初始操作，即，在步骤S111中获得的坐标信息是否是在成像范围调节处理(图14)开始之后与第一帧有关的被摄体区域的坐标信息。 
在步骤S112中确定该操作是初始操作的情况下，坐标信息获得单元311将指示从成像范围调节处理开始起已获得了与第一帧有关的坐标信息的意思的信息提供给目标大小设置单元312和操作确定单元313，并且处理进行到步骤S113。 
在步骤S113中，在从坐标信息获得单元311提供了与第一帧有关的被摄体区域的坐标信息后，目标大小设置单元312将作为以其坐标信息表示的矩形区域的被摄体区域的大小设置为目标大小。具体而言，目标大小设置单元312将与第一帧有关的被摄体区域的宽度Hw(或者高度Hh)设置为目标宽度Hw_target(或者目标高度Hh_target)。目标大小设置单元312将已设置的目标大小提供给比较单元315，并且处理进行到步骤S114。 
另一方面，在步骤S112中确定该操作不是初始操作的情况下，即，在在步骤S111中获得的坐标信息是从成像范围调节处理(图14)开始时起与第二帧和其后帧有关的被摄体区域的坐标信息的情况下，坐标信息获得单元311将指示坐标信息已获得的意思的信息提供给操作确定单元313，并且处理进行到步骤S114。 
在步骤S114中，在从坐标信息获得单元311提供了指示已从被摄体跟踪单元55获得坐标信息的意思的信息后，操作确定单元313 基于来自用户接口控制单元37的控制信号来判定是否已执行了用户的变焦操作。 
在步骤S114中确定已执行了用户的变焦操作的情况下，操作确定单元313将表示变焦操作的内容的控制信号从用户接口控制单元37提供给镜头驱动控制单元316，并且处理进行到步骤S115。 
在步骤S115中，操作确定单元313开启内部保持的手动标志。手动标志是一个表示在针对每帧执行成像范围调节处理的同时、用户是否在与之前一帧的帧有关的成像范围调节处理的自动变焦调节处理中已执行了变焦操作的标志。具体而言，在用户在与之前一帧的帧有关的自动变焦调节处理中执行了变焦操作的情况下，手动标志为ON，而在还未执行变焦操作的情况下，手动标志为OFF。注意，在紧接着成像范围调节处理(自动变焦调节处理)开始之后，手动标志被设置为OFF。 
在步骤S116中，响应于以来自操作确定单元313的控制信号表示的用户的变焦操作(广角(wide-angle)指令或者远摄(telephoto)指令)，镜头驱动控制单元316控制镜头驱动单元36以按距离d1驱动光学系统31的变焦镜头。距离d1是在执行对相当于一帧的被摄体跟踪处理的同时、变焦镜头可以移动的距离。 
在这种情况下，用户可以按照他/她的偏好调节成像范围(视角)，而无论被摄体是否在成像范围中被跟踪。 
在步骤S114中确定还未执行用户的变焦操作的情况下，在步骤S117中，操作确定单元313判定内部保持的手动标志是否为ON。 
在步骤S117中确定手动标志为ON的情况下，即，在与之前一帧的帧有关的自动变焦调节处理中已执行了用户的变焦操作的情况下，处理进行到步骤S118。 
在步骤S118中，操作确定单元313关闭内部保持的手动标志，并将指示手动标志已关闭的意思的信息提供给目标大小设置单元312和位置检测单元314。 
在步骤S119中，基于来自操作确定单元313的信息并且基于来 自坐标信息获得单元311的以与该时刻的帧有关的被摄体区域的坐标信息表示的被摄体区域的大小，目标大小设置单元312更新目标大小，并提供给比较单元315。 
也就是说，对于最后的帧，用户所调节的成像范围(视角)中被摄体的大小，即，被摄体区域的大小被新设置为目标大小。 
另一方面，在步骤S117中确定手动标志不为ON的情况下，即，在与之前一帧的帧有关的自动变焦调节处理中还未执行用户的变焦操作的情况下，操作确定单元313将指示手动标志为OFF的意思的信息提供给位置检测单元314。 
在从操作确定单元313提供了指示手动标志为OFF(或者被关闭)的意思的信息后，在步骤S120中，位置检测单元314基于来自坐标信息获得单元311的被摄体区域的坐标信息来检测成像范围中被摄体的位置。位置检测单元314随后基于所检测的位置判定被摄体是否被包括在图18所示的成像范围中的区域A中。 
图18是表示显示在显示单元34上的成像图像中、被摄体被成像的成像范围的示图。在图18中，被摄体被表示被摄体区域的被摄体框H包围。另外，在图18中，区域A和区域B用虚线指示。区域A被设置为包括成像范围的中心部分，并且是在成像时希望被摄体被包括在其内部的区域。另外，区域B被设置为成像范围的外边缘区域，并且是在成像时如果被摄体在其外部则被摄体可能在成像范围外(框外)的区域。 
也就是说，在步骤S120中，位置检测单元314判定被摄体是否被包括在成像范围中希望对其成像的区域中。具体而言，位置检测单元314判定表示被摄体区域的被摄体框H的中心坐标(或者四个顶点之一的坐标)是否被包括在范围A中。 
在步骤S120中确定被摄体被包括在区域A中的情况下，位置检测单元314将指示被摄体被包括在区域A中的意思的信息提供给比较单元315，并且处理进行到步骤S121。 
在从位置检测单元314提供了指示被摄体被包括在区域A中的意 思的信息后，在步骤S121中，比较单元315将以来自坐标信息获得单元311的坐标信息表示的被摄体区域的大小与来自目标大小设置单元312的目标大小相比较。 
现在，假定图18中所示的被摄体框H的大小是目标大小，则比较单元315将用作目标大小的图18中所示被摄体框H的目标宽度Hw_target(或者目标高度Hh_target)与该时刻用作与帧有关的被摄体区域的大小的宽度Hw(或者高度Hh)相比较。 
比较单元315判定被摄体区域的大小是否大于目标大小，并且具体而言判定被摄体区域的宽度Hw(或者高度Hh)是否大于通过向目标宽度Hw_target(或者目标高度Hh_target)加上预定值而获得的值。 
在步骤S121中确定被摄体区域的大小大于目标大小(如图19所示)的情况下，比较单元315将指示被摄体区域的大小大于目标大小的意思的信息提供给镜头驱动控制单元316，并且处理进行到步骤S122。 
在步骤S122中，基于来自比较单元315的信息，镜头驱动控制单元316控制镜头驱动单元36以驱动光学系统31的变焦镜头向广角侧移动距离d1。 
这样，在成像范围中被摄体的大小大于用作目标的大小的情况下，被摄体经历缩小以使得被摄体的大小接近用作目标的大小。 
另一方面，在步骤S121中确定被摄体区域的大小不大于目标大小的情况下，处理进行到步骤S123。 
在步骤S123中，比较单元315判定被摄体区域的大小是否小于目标大小，并且具体而言判定被摄体区域的宽度Hw(或者高度Hh)是否小于通过从目标宽度Hw_target(或者目标高度Hh_target)减去预定值而获得的值。 
在步骤S123中确定被摄体区域的大小小于目标大小(如图20所示)的情况下，比较单元315将指示被摄体区域的大小小于目标大小的意思的信息提供给镜头驱动控制单元316，并且处理进行到步骤S124。 
在步骤S124中，基于来自比较单元315的信息，镜头驱动控制单元316控制镜头驱动单元36以驱动光学系统31的变焦镜头向远摄侧移动距离d1。 
这样，在成像范围中被摄体的大小小于用作目标的大小的情况下，被摄体经历放大以使得被摄体的大小接近用作目标的大小。 
另一方面，在步骤S123中确定被摄体区域的大小不小于目标大小的情况下，即，在被摄体区域的大小与目标大小相同或者基本相同的情况下，比较单元315不进行任何操作，并且因此，没有任何信息被提供给镜头驱动控制单元316。 
这样，在成像范围中被摄体的大小与用作目标的大小相同或者基本相同的情况下，既不执行缩小，也不执行放大。 
另外，在步骤S120中确定被摄体未被包括在区域A中的情况下，处理进行到步骤S125，在步骤S125中位置检测单元314判定被摄体是否被包括在区域B中。具体而言，位置检测单元314判定表示被摄体区域的被摄体框H的中心坐标(或者所有四个顶点的坐标)是否被包括在区域B中。 
在步骤S125中确定被摄体被包括在区域B中的情况下，位置检测单元314不进行任何操作，并且因此，没有任何信息被提供给镜头驱动控制单元316。 
这样，在在成像范围中被摄体位于区域A的外部并且还位于区域B的内部的情况下，既不执行缩小，也不执行放大。 
另一方面，在步骤S125中确定被摄体未被包括在区域B中的情况下，位置检测单元314将指示被摄体未被包括在区域B中的意思的信息提供给镜头驱动控制单元316，并且处理进行到步骤S126。 
在步骤S126中，基于来自位置检测单元314的信息，镜头驱动控制单元316控制镜头驱动单元36以驱动光学系统31的变焦镜头向广角侧移动距离d2。距离d2是大于距离d1的距离，并且是在执行对相当于一帧的被摄体跟踪处理的同时、变焦镜头可以移动的距离。 
因而，即使当被摄体接近成像范围(视角)的边缘时，也可以快 速地执行缩小以便防止被摄体超出框外。 
在步骤S127中，镜头驱动控制单元316判定作为镜头驱动单元36驱动变焦镜头向广角侧移动距离d2的结果，变焦镜头的镜头位置是否在广角端。 
在步骤S127中确定变焦镜头的镜头位置不是广角端的情况下，镜头驱动控制单元316不进行任何操作。 
另一方面，在步骤S127中确定变焦镜头的镜头位置是广角端的情况下，镜头驱动控制单元316将指示变焦镜头的镜头位置是广角端的意思的信息提供给位置检测单元314，并且处理进行到步骤S128。 
在步骤S128中，在从镜头驱动控制单元316提供了信息后，位置检测单元314判定被摄体是否被包括在成像范围中。具体而言，位置检测单元314判定表示被摄体区域的被摄体框H的中心坐标(或者四个顶点之一的坐标)是否被包括在成像范围中，并且位于区域B的外部。 
在步骤S128中确定被摄体被包括在成像范围中的情况下，位置检测单元314将用于呈现指示被摄体可能位于框外的意思的警告的信息提供给显示单元34，并且处理进行到步骤S129。 
在步骤S129中，显示单元34基于来自位置检测单元314的信息呈现(显示)指示被摄体可能位于框外的意思的警告。 
例如，如图21所示，对于表示被摄体区域的被摄体框H的中心坐标被显示在显示单元34上的成像图像(成像范围)，在被摄体在区域B的右侧可能位于框外的情况下，显示单元34显示箭头P，箭头P提示用户将成像范围向右侧移动，如图21的右上方所示。 
因而，用户可以确认指示被摄体可能位于框外的意思的警告，并且摇动图像处理设备11自身以防止被摄体位于框外。 
另一方面，在步骤S128中确定被摄体未被包括在成像范围中的情况下，即，在被摄体位于框外的情况下，位置检测单元314将用于呈现指示被摄体位于框外的意思的警告的信息提供给显示单元34，并且处理进行到步骤S130。 
在步骤S130中，显示单元34基于来自位置检测单元314的信息呈现(显示)指示被摄体位于框外的意思的警告。 
例如，对于表示被摄体区域的被摄体框H的中心坐标被显示在显示单元34上的成像图像(成像范围)，在被摄体在区域B的右侧已完全位于框外的情况下，显示单元34以更着重的方式显示图21的右上方所示的箭头P。 
因而，用户可以确认指示被摄体位于框外的意思的警告，并且摇动图像处理设备11自身以使得被摄体位于框中。 
根据上述处理，在被摄体区域的大小大于目标大小的情况下，变焦镜头可以被在广角侧驱动以执行缩小，并且在被摄体区域的大小小于目标大小的情况下，变焦镜头可以被在远摄侧驱动以执行放大。因此，即使在相对被摄体的距离在成像时改变的情况下，成像范围中被摄体的大小也可以保持基本恒定，而无需执行细微的变焦操作。 
另外，在用户已执行了变焦操作的情况下，用户的操作具有优先级，并且因此，用户也可以以用户喜爱的方式调节成像范围。在用户的变焦操作完成之后，在该时刻被摄体区域的大小被更新为目标大小，从而目标大小可以被设置为用户喜爱的大小。 
注意，在上述处理中，在初始操作时被摄体区域的大小已被设置为目标大小，但是目标大小可以例如通过用户的操作等预先确定。 
另外，在上述处理中，指示被摄体可能位于框外(或者已经在框外)的意思的警告已被显示在显示单元34上，但是除此之外，可以从用作用户接口38的扬声器输出音频，或者可以进行这样的布置，其中提供了由马达(偏心重力被附接到马达)构成的振动部分，并且其振动部分被振动。 
另外，在上述处理中，用作被摄体的人被跟踪，并且该人的大小在成像范围中被保持基本恒定，但是被摄体并不限于人。另外，在被摄体是人的情况下，提供了用于检测人的面部的面部检测设备，从而成像范围中面部的大小可以保持基本恒定。 
在上述描述中，已描述了自动变焦调节处理，其中即使在相对被 摄体的距离在成像时改变的情况下，成像范围中被摄体的大小也保持基本恒定。然而，利用图像处理设备11的配置，在相对被摄体的距离恒定的情况下，成像范围中被摄体的大小不能被改变到期望大小。具体而言，在被摄体是人的情况下，成像范围中人的大小(我们可称为像片)的示例包括其中全身的人像被成像的全身像(full shot)、其中上半身被成像的半身像(bust shot)、以及其中面部被成像的特写像(close-up shot)，但是成像范围不能被调节以获得这样的像片。 
因此，下文中将描述这样的配置，其中成像范围被调节以使得成像范围中被摄体的大小变为期望大小。 
[图像处理设备的另一配置示例] 
图22图示了一图像处理设备的配置示例，其中成像范围被调节以使得成像范围中被摄体的大小变为期望大小。 
注意，对于图22所示的图像处理设备511，具有与提供给图1中的图像处理设备11相同功能的配置将用相同的名称和相同的标号表示，并且其描述将被适当地省略。 
具体而言，图22中的图像处理设备511与图1中的图像处理设备11的不同之处在于向数字信号处理单元33新提供了面部检测单元531并且提供了控制单元532来替代控制单元35。 
基于由YC生成单元53生成的亮度信号和颜色信号构成的图像数据，在由图像数据显示的输入图像中，面部检测单元531从用作由被摄体跟踪单元55检测的被摄体的人的被摄体区域中检测面部，并将表示面部的区域(下文中称为“面部区域”)的坐标信息提供给控制单元532。 
控制单元532基于来自被摄体跟踪单元55的被摄体区域和面部区域的坐标信息来控制镜头驱动单元36，从而控制镜头驱动单元36以驱动光学系统31中包括的变焦镜头。 
[控制单元的功能配置示例] 
现在，将参考图23描述图22中的控制单元532的功能配置示例。 
图23中的控制单元532包括操作确定单元551、坐标信息获得单 元552、大小比率计算单元553、大小比率确定单元554、理想大小比率存储单元555和镜头驱动控制单元556。 
基于来自用户接口控制单元37的控制信号，操作确定单元551判定用作用户接口38的变焦按钮(或者变焦操纵杆)是否已被操作。操作确定单元551将表示判定结果的信息提供给坐标信息获得单元552和大小比率确定单元554。 
响应于来自操作确定单元551或镜头驱动控制单元556的信息，坐标信息获得单元552获得被摄体区域，以及针对每帧从被摄体跟踪单元55和面部检测单元531提供的面部区域的坐标信息，并提供给大小比率计算单元553。 
大小比率计算单元553基于被摄体区域和来自坐标信息获得单元552的面部区域的坐标信息来计算被摄体区域的大小和面部区域的大小之间的比率(下文中称为“大小比率”)，并提供给大小比率确定单元554。 
大小比率确定单元554将来自大小比率计算单元553的大小比率与存储在理想大小比率存储单元555中的理想大小比率相比较，并将表示比较结果的信息提供给镜头驱动控制单元556。 
理想大小比率存储单元555存储理想大小比率，它是被摄体区域的大小和面部区域的大小之间的理想比率。理想大小比率是被摄体区域的大小和面部区域的大小之间的比率，其用于从用作要成像的被摄体的人获得诸如全身像、半身像和特写像之类的合适像片，并且理想大小比率可选地由用户设置。存储在理想大小比率存储单元555中的理想大小比率在适当时被大小比率确定单元554读出。 
基于来自大小比率确定单元554的表示比较结果的信息，镜头驱动控制单元556控制镜头驱动单元36以驱动光学系统31(图22)的变焦镜头。另外，镜头驱动控制单元556将指示变焦镜头已被驱动的意思的信息提供给坐标信息获得单元552。 
[面部检测处理] 
现在，将参考图24中的流程图描述图22中的图像处理设备511 的面部检测处理。面部检测处理是在针对每帧执行的被摄体跟踪单元55的被摄体跟踪处理之后执行的。 
基于由YC生成单元53生成的亮度信号和颜色信号构成的图像数据，对于由图像数据显示的输入图像，面部检测单元531从用作由被摄体跟踪单元55的被摄体跟踪处理检测的被摄体的人的被摄体区域中检测面部，并将表示面部区域的坐标信息提供给控制单元532。 
这样，在成像范围中，可以检测被作为感兴趣的被摄体跟踪的人的面部。 
[指定变焦处理] 
接下来，将参考图25和图26中的流程图描述图23中的控制单元532的指定变焦处理。 
在步骤S311中，基于来自用户接口控制单元37的控制信号，操作确定单元551判定用户的变焦操作是否已被执行。 
在步骤S311中确定该处理已重复直到用户执行变焦操作为止并且已执行了变焦操作的情况下，操作确定单元551将指示已执行了变焦操作的意思的信息提供给坐标信息获得单元552，并且还将表示变焦操作的内容的控制信号从用户接口控制单元37提供给大小比率确定单元554，并且处理进行到步骤S312。 
在步骤S312中，在从操作确定单元551提供了指示用户已执行了变焦操作的意思的信息后，坐标信息获得单元552关于预定帧获得来自被摄体跟踪单元55的被摄体区域的坐标信息以及来自面部检测单元531的面部区域的坐标信息，并提供给大小比率计算单元553。 
在步骤S313中，大小比率计算单元553基于来自坐标信息获得单元552的被摄体区域和面部区域的坐标信息来计算被摄体区域的大小和面部区域的大小之间的大小比率。具体而言，大小比率计算单元553计算被摄体区域的高度Hh(或者宽度Hw)和面部区域的高度Fh(或者宽度Fw)之间的比率Fh/Hh(或者Fw/Hw)作为大小比率。大小比率计算单元553将计算出的大小比率提供给大小比率确定单元554，并且处理进行到步骤S314。 
在步骤S314中，在从大小比率计算单元553提供了大小比率后，大小比率确定单元554基于来自用户接口控制单元37的控制信号(从操作确定单元551提供)来判定用户的变焦操作是否是远摄侧上的变焦操作。 
在步骤S314中确定用户的变焦操作是远摄侧上的变焦操作的情况下，处理进行到步骤S315。 
在步骤S315中，大小比率确定单元554判定来自大小比率计算单元553的大小比率是否小于用于获得全身像的理想大小比率。 
现在，将参考图27描述理想大小比率。 
图27示意性地图示了变焦镜头的驱动范围和输入图像中被摄体的大小之间的关系。 
在图27的上部示出了变焦镜头的驱动范围，其中广角端被示出在图的左边，并且远摄端被示出在图的右边。另外，镜头位置LP1至LP6被示出在广角端和远摄端之间。 
另外，用作被摄体的人被成像的图像a至c被示出在图27的下部。在图像a至c中，被摄体已被成像以分别获得全身像、半身像和特写像。 
现在，假定其全身的人像已在图像a中被成像的被摄体的被摄体区域Ha的高度是Hah，并且面部区域Fa的高度是Fah，则用于获得全身像的理想大小比率用Fah/Hah表示。图27图示了该理想大小比率Fah/Hah是在变焦镜头的镜头位置位于变焦镜头的驱动范围中的位置LP1至LP2之间时获得的。 
另外，假定其上半身已在图像b中被成像的被摄体的被摄体区域Hb的高度是Hbh，并且面部区域Fb的高度是Fbh，则用于获得半身像的理想大小比率用Fbh/Hbh表示。图27图示了该理想大小比率Fbh/Hbh是在变焦镜头的镜头位置位于变焦镜头的驱动范围中的位置LP3至LP4之间时获得的。 
另外，假定其面部已在图像c中被成像的被摄体的被摄体区域Hc的高度是Hch，并且面部区域Fc的高度是Fch，则用于获得特写 像的理想大小比率用Fch/Hch表示。图27图示了该理想大小比率Fch/Hch是在变焦镜头的镜头位置位于变焦镜头的驱动范围中的位置LP5至LP6之间时获得的。 
也就是说，在图25的流程图的步骤S315中，判定来自大小比率计算单元553的大小比率Fh/Hh是否小于用于获得全身像的理想大小比率Fah/Hah。 
注意，在全身的人像已被成像的情况下，例如，即使被摄体是在远处被成像的，即使被摄体是在近处被成像的，两者的大小比率也几乎相同。具体而言，即使当被摄体在图27的图像a中在更远处被成像时，大小比率也基本上与Fah/Hah相同。 
因此，在步骤S315中，判定来自大小比率计算单元553的大小比率Fh/Hh是否小于用于获得全身像的理想大小比率Fah/Hah，并且被摄体区域的高度Hh是否大于预定阈值。这里，很显然预定阈值是小于成像图像(成像范围)的高度的值，并且例如可以采用这样一个值，其使得约一个面部区域可以被放置在成像范围中被摄体区域的顶部和底部中。 
在步骤S315中确定大小比率小于用于获得全身像的理想大小比率的情况下，变焦镜头的镜头位置位于图27的变焦镜头的驱动范围中的广角端和镜头位置LP1之间，并且因此，大小比率确定单元554将用于指示向远摄侧驱动变焦镜头的信息提供给镜头驱动控制单元556，并且处理进行到步骤S316。 
在步骤S316中，基于来自大小比率确定单元554的信息，镜头驱动控制单元556控制镜头驱动单元36以驱动光学系统31的变焦镜头向远摄侧移动距离d1。如上所述，距离d1被取作在执行对相当于一帧的被摄体跟踪处理的同时、镜头驱动单元36可以移动变焦镜头的距离。镜头驱动控制单元556将指示变焦镜头已被驱动的意思的信息提供给坐标信息获得单元552。 
在步骤S317中，在从镜头驱动控制单元556提供了指示变焦镜头已被驱动的意思的信息后，坐标信息获得单元552获得来自被摄体 跟踪单元55的被摄体区域的坐标信息以及与下一帧有关的来自面部检测单元531的面部区域的坐标信息，并且提供给大小比率计算单元553。 
在步骤S318中，大小比率计算单元553基于来自坐标信息获得单元552的被摄体区域和面部区域的坐标信息来计算被摄体区域的大小和面部区域的大小之间的大小比率Fh/Hh。大小比率计算单元553将计算出的大小比率提供给大小比率确定单元554，并且处理进行到步骤S319。 
在步骤S319中，大小比率确定单元554判定被摄体是否位于全身像中，具体而言，判定来自大小比率计算单元553的大小比率Fh/Hh是否与用于获得全身像的理想大小比率Fah/Hah相同或基本相同，并且被摄体区域的高度Hh是否大于预定阈值。 
在步骤S319中确定被摄体并未位于全身像中的情况下，变焦镜头的镜头位置仍然位于图27的变焦镜头的驱动范围中的广角端和镜头位置LP1之间，并且因此，大小比率确定单元554将用于指示向远摄侧驱动变焦镜头的信息提供给镜头驱动控制单元556，并且处理返回到步骤S316。之后，针对每帧重复步骤S316至S319中的处理。 
在步骤S319中确定被摄体位于全身像中的情况下，变焦镜头的镜头位置已经变为图27的变焦镜头的驱动范围中的镜头位置LP1至LP2之间，并且因此，大小比率确定单元554将用于指示停止变焦镜头的驱动的信息提供给镜头驱动控制单元556，并且处理进行到步骤S320。 
在步骤S320中，基于来自大小比率确定单元554的信息，镜头驱动控制单元556控制镜头驱动单元36停止光学系统31的变焦镜头的驱动。 
因而，即使在对远离用户的被摄体成像的情况下，用户也可以通过简单地执行远摄侧上的变焦操作来利用合适的全身像对被摄体成像。 
另一方面，在步骤S315中确定大小比率不小于用于获得全身像 的理想大小比率的情况下，处理进行到步骤S321，大小比率确定单元554判定大小比率是否小于用于获得半身像的理想大小比率。具体而言，判定来自大小比率计算单元553的大小比率Fh/Hh是否小于用于获得半身像的理想大小比率Fbh/Hbh。 
在步骤S321中确定大小比率小于用于获得半身像的理想大小比率的情况下，变焦镜头的镜头位置已经变为图27的变焦镜头的驱动范围中的镜头位置LP1至LP3之间，并且因此，大小比率确定单元554将用于指示向远摄侧驱动变焦镜头的信息提供给镜头驱动控制单元556，并且处理进行到步骤S322。 
步骤S322至S324中的处理以与步骤S316至S318中的上述处理相同的方式执行，并且因此，其描述将被省略。 
在步骤S325中，大小比率确定单元554判定被摄体是否位于半身像中，具体而言，判定来自大小比率计算单元553的大小比率Fh/Hh是否与用于获得半身像的理想大小比率Fbh/Hbh相同或者基本相同。 
在步骤S325中确定被摄体并未位于半身像中的情况下，变焦镜头的镜头位置仍然位于图27的变焦镜头的驱动范围中的镜头位置LP1至LP3之间，并且因此，大小比率确定单元554将用于指示向远摄侧驱动变焦镜头的信息提供给镜头驱动控制单元556，并且处理返回到步骤S322。之后，针对每帧重复步骤S322至S325中的处理。 
在步骤S325中确定被摄体位于半身像中的情况下，变焦镜头的镜头位置已经变为图27的变焦镜头的驱动范围中的镜头位置LP3至LP4之间，并且因此，大小比率确定单元554将用于指示停止变焦镜头的驱动的信息提供给镜头驱动控制单元556，并且处理进行到步骤S320。在步骤S320中，变焦镜头的驱动如上所述停止。 
因而，即使在被摄体被以全身像成像的情况下，用户也可以通过简单地执行远摄侧上的变焦操作来利用合适的半身像对被摄体成像。 
另一方面，在步骤S321中确定大小比率不小于用于获得半身像的理想大小比率的情况下，处理进行到步骤S326，大小比率确定单元554判定大小比率是否小于用于获得特写像的理想大小比率。具体而 言，判定来自大小比率计算单元553的大小比率Fh/Hh是否小于用于获得特写像的理想大小比率Fch/Hch。 
在步骤S326中确定大小比率小于用于获得特写像的理想大小比率的情况下，变焦镜头的镜头位置位于图27的变焦镜头的驱动范围中的镜头位置LP3至LP5之间，并且因此，大小比率确定单元554将用于指示向远摄侧驱动变焦镜头的信息提供给镜头驱动控制单元556，并且处理进行到步骤S327。 
步骤S327至S329中的处理以与步骤S316至S318和步骤S322至S324中的上述处理相同的方式执行，并且因此，其描述将被省略。 
在步骤S330中，大小比率确定单元554判定被摄体是否位于特写像中，具体而言，判定来自大小比率计算单元553的大小比率Fh/Hh是否与用于获得特写像的理想大小比率相同或者基本相同。 
在步骤S330中确定被摄体并未位于特写像中的情况下，变焦镜头的镜头位置仍然位于图27的变焦镜头的驱动范围中的镜头位置LP3至LP5之间，并且因此，大小比率确定单元554将用于指示向远摄侧驱动变焦镜头的信息提供给镜头驱动控制单元556，并且处理返回到步骤S327。之后，针对每帧重复步骤S327至S329中的处理。 
在步骤S330中确定被摄体位于特写像中的情况下，变焦镜头的镜头位置已经变为图27的变焦镜头的驱动范围中的镜头位置LP5至LP6之间，并且因此，大小比率确定单元554将用于指示停止变焦镜头的驱动的信息提供给镜头驱动控制单元556，并且处理进行到步骤S320。在步骤S320中，变焦镜头的驱动如上所述停止。 
因而，即使在被摄体被以半身像成像的情况下，用户也可以通过简单地执行远摄侧上的变焦操作来利用合适的特写像对被摄体成像。 
另一方面，在步骤S326中确定大小比率不小于用于获得特写像的理想大小比率的情况下，即，在变焦镜头的镜头位置位于比图27的变焦镜头的驱动范围中的镜头位置LP6更靠近远摄侧的情况下，不执行任何处理。在这种情况下，被摄体被以特写像或者比它更近的像片成像，并且因此，即使在执行远摄侧上的变焦操作的情况下，也不 需要执行超过该程度的变焦。 
另外，在步骤S314中确定用户的变焦操作不是远摄侧上的变焦操作的情况下，即，在确定用户的变焦操作是广角侧上的变焦操作的情况下，处理进行到步骤S331。 
在步骤S331中，大小比率确定单元554判定来自大小比率计算单元553的大小比率是否大于用于获得特写像的理想大小比率。具体而言，判定来自大小比率计算单元553的大小比率Fh/Hh是否大于用于获得特写像的理想大小比率Fch/Hch。 
在步骤S331中确定大小比率大于用于获得特写像的理想大小比率的情况下，变焦镜头的镜头位置位于图27的变焦镜头的驱动范围中的远摄侧和镜头位置LP6之间，并且因此，大小比率确定单元554将用于指示向广角侧驱动变焦镜头的信息提供给镜头驱动控制单元556，并且处理进行到步骤S332。 
在步骤S332中，基于来自大小比率确定单元554，镜头驱动控制单元556控制镜头驱动单元36以向广角侧驱动光学系统31的变焦镜头达距离d1。镜头驱动控制单元556将指示变焦镜头已被驱动的意思的信息提供给坐标信息获得单元552。 
在步骤S333中，在从镜头驱动控制单元556提供了指示变焦镜头已被驱动的意思的信息后，坐标信息获得单元552获得来自被摄体跟踪单元55的被摄体区域的坐标信息以及与下一帧有关的来自面部检测单元531的面部区域的坐标信息，并提供给大小比率计算单元553。 
在步骤S334中，大小比率计算单元553基于来自坐标信息获得单元552的被摄体区域和面部区域的坐标信息来计算被摄体区域的大小和面部区域的大小之间的大小比率Fh/Hh。大小比率计算单元553将计算出的大小比率提供给大小比率确定单元554，并且处理进行到步骤S335。 
在步骤S335中，大小比率确定单元554判定被摄体是否位于特写像中，具体而言判定来自大小比率计算单元553的大小比率Fh/Hh 是否与用于获得特写像的理想大小比率Fch/Hch相同或者基本相同。 
在步骤S335中确定被摄体并未位于特写像中的情况下，变焦镜头的镜头位置仍然位于图27的变焦镜头的驱动范围中的远摄侧和镜头位置LP6之间，并且因此，大小比率确定单元554将用于指示向广角侧驱动变焦镜头的信息提供给镜头驱动控制单元556，并且处理返回到步骤S332。之后，针对每帧重复步骤S332至S334中的处理。 
在步骤S335中确定被摄体位于特写像中的情况下，变焦镜头的镜头位置已经变为图27的变焦镜头的驱动范围中的镜头位置LP6至LP5之间，并且因此，大小比率确定单元554将用于指示停止变焦镜头的驱动的信息提供给镜头驱动控制单元556，并且处理进行到步骤S320。在步骤S320中，变焦镜头的驱动如上所述停止。 
因而，即使在对离用户非常近的被摄体成像的情况下，用户也可以通过简单地执行广角侧上的变焦操作来利用合适的特写像对被摄体成像。 
另一方面，在步骤S331中确定大小比率不大于用于获得特写像的理想大小比率的情况下，处理进行到步骤S336，大小比率确定单元554判定大小比率是否大于用于获得半身像的理想大小比率。具体而言，判定来自大小比率计算单元553的大小比率Fh/Hh是否大于用于获得半身像的理想大小比率Fbh/Hbh。 
在步骤S336中确定大小比率大于用于获得半身像的理想大小比率的情况下，变焦镜头的镜头位置位于图27的变焦镜头的驱动范围中的镜头位置LP6至LP4之间，并且因此，大小比率确定单元554将用于指示向广角侧驱动变焦镜头的信息提供给镜头驱动控制单元556，并且处理进行到步骤S337。 
步骤S337至S340中的处理以与步骤S332至S334中的上述处理相同的方式执行，并且因此，其描述将被省略。 
在步骤S340中，大小比率确定单元554判定被摄体是否位于半身像中，具体而言判定来自大小比率计算单元553的大小比率Fh/Hh是否与用于获得半身像的理想大小比率Fbh/Hbh相同或者基本相同。 
在步骤S340中确定被摄体并未位于半身像中的情况下，变焦镜头的镜头位置仍然位于图27的变焦镜头的驱动范围中的镜头位置LP6至LP4之间，并且因此，大小比率确定单元554将用于指示向广角侧驱动变焦镜头的信息提供给镜头驱动控制单元556，并且处理返回到步骤S337。之后，针对每帧重复步骤S337至S340中的处理。 
在步骤S340中确定被摄体位于半身像中的情况下，变焦镜头的镜头位置已经变为图27的变焦镜头的驱动范围中的镜头位置LP4至LP3之间，并且因此，大小比率确定单元554将用于指示停止变焦镜头的驱动的信息提供给镜头驱动控制单元556，并且处理进行到步骤S320。在步骤S320中，变焦镜头的驱动如上所述停止。 
因而，即使在被摄体被以特写像成像的情况下，用户也可以通过简单地执行远摄侧上的变焦操作来利用合适的半身像对被摄体成像。 
另一方面，在步骤S336中确定大小比率不大于用于获得半身像的理想大小比率的情况下，处理进行到步骤S341，大小比率确定单元554判定大小比率是否大于用于获得全身像的理想大小比率。具体而言，判定来自大小比率计算单元553的大小比率Fh/Hh是否大于用于获得全身像的理想大小比率Fah/Hah。 
在步骤S341中确定大小比率大于用于获得全身像的理想大小比率的情况下，变焦镜头的镜头位置位于图27的变焦镜头的驱动范围中的镜头位置LP4至LP2之间，并且因此，大小比率确定单元554将用于指示向广角侧驱动变焦镜头的信息提供给镜头驱动控制单元556，并且处理进行到步骤S342。 
步骤S342至S344中的处理以与步骤S332至S334和步骤S337至S339中的上述处理相同的方式执行，并且因此，其描述将被省略。 
在步骤S345中，大小比率确定单元554判定被摄体是否位于全身像中，具体而言判定来自大小比率计算单元553的大小比率Fh/Hh是否与用于获得全身像的理想大小比率Fah/Hah相同或者基本相同。 
在步骤S345中确定被摄体并未位于全身像中的情况下，变焦镜头的镜头位置仍然位于图27的变焦镜头的驱动范围中的镜头位置 LP4至LP2之间，并且因此，大小比率确定单元554将用于指示向广角侧驱动变焦镜头的信息提供给镜头驱动控制单元556，并且处理返回到步骤S342。之后，针对每帧重复步骤S342至S344中的处理。 
在步骤S345中确定被摄体位于全身像中的情况下，变焦镜头的镜头位置已经变为图27的变焦镜头的驱动范围中的镜头位置LP2至LP1之间，并且因此，大小比率确定单元554将用于指示停止变焦镜头的驱动的信息提供给镜头驱动控制单元556，并且处理进行到步骤S320。在步骤S320中，变焦镜头的驱动如上所述停止。 
因而，即使在被摄体被以半身像成像的情况下，用户也可以通过简单地执行广角侧上的变焦操作来利用合适的全身像对被摄体成像。 
另一方面，在步骤S341中确定大小比率不大于用于获得全身像的理想大小比率的情况下，即，在变焦镜头的镜头位置位于比图27的变焦镜头的驱动范围中的镜头位置LP1更靠近广角侧的情况下，不执行任何处理。在这种情况下，被摄体被以全身像或者比它更远(更远离)的像片成像，并且因此，即使在执行广角侧上的变焦操作的情况下，也不需要执行超过该程度的变焦。 
根据上述处理，在执行变焦操作时，根据变焦操作的内容，变焦镜头的驱动被控制，以使得被摄体区域和面部区域之间的大小比率接近预定的理想大小比率。因此，成像范围可以被调节使得被摄体根据变焦操作的内容变为合适的像片(例如，全身像、半身像、特写像等等)，无论被摄体(人)的像片如何。也就是说，成像范围中被摄体的大小可以被改变到期望大小，而无需执行细微的变焦操作。 
另外，在上述指定变焦处理中，已经利用了被摄体区域和面部区域的高度或宽度计算了大小比率，但是如图27中的图像a至c所示，在使用各个区域的高度时大小比率的值出现明显的改变，因此，在被摄体是人的情况下，各个区域的高度对理想大小比率的比较和确定是有利的。 
注意，在上述指定变焦处理中，成像范围已经根据用作被摄体的人和作为被摄体的一部分的面部的大小之间的比率被调节，但是本发 明可以应用于整个被摄体和其一部分可以被检测的被摄体。例如，提供了用于检测面部的面部检测器和用于检测面部的部分(例如眼睛、鼻子等等)的面部部分检测器，从而成像范围可以被调节以使得成像范围中面部的大小变为期望大小。 
另外，上述指定变焦处理可以在在图16和图17描述的自动变焦调节处理中执行用户的变焦操作时执行。 
[图像处理设备的另一配置示例] 
现在，将参考图28描述以下图像处理设备的配置示例，该图像处理设备在正在自动变焦调节处理中执行用户的变焦操作时执行指定变焦处理。 
注意，对于图28中的图像处理设备611，具有与提供给图22中的图像处理设备511相同功能的配置将用相同的名称和相同的标号表示，并且其描述将被适当地省略。 
具体而言，图28中的图像处理设备611与图22中的图像处理设备511的不同之处在于提供了控制单元631来替代控制单元532。 
[控制单元的功能配置示例] 
现在，将参考图29描述图28中控制单元631的功能配置示例。 
注意，对于图29所示的控制单元631，具有与提供给图15中的控制单元35相同功能的配置将用相同的名称和相同的标号表示，并且其描述将被适当地省略。 
具体而言，图29中的控制单元631与图15中的控制单元35的不同之处在于新提供了大小比率计算单元553、大小比率确定单元554和理想大小比率存储单元555，并且替代坐标信息获得单元311、操作确定单元313和镜头驱动控制单元316，提供了坐标信息获得单元651、操作确定单元652和镜头驱动控制单元653。 
另外，对于图29中的控制单元631，大小比率计算单元553、大小比率确定单元554和理想大小比率存储单元555与提供给图23中的控制单元532的那些单元相同，并且因此，其描述将被省略。 
在图29的控制单元631中，坐标信息获得单元651包括与图15 中的坐标信息获得单元311相同的功能，并且还包括与图23中的坐标信息获得单元552相同的功能。 
操作确定单元652包括与图15中的操作确定单元313相同的功能，并且还包括与图23中的操作确定单元551相同的功能。 
镜头驱动控制单元653包括与图15中的镜头驱动控制单元316相同的功能，并且还包括与图23中的镜头驱动控制单元556相同的功能。 
[自动变焦调节处理] 
接下来，将参考图30和图31中的流程图描述图29中的控制单元631的自动变焦调节处理。 
注意，图30和图31的流程图中的步骤S411至S415和S417至S430的处理基本上与图16和图17的流程图中的步骤S111至S115和S117至S130的处理相同，并且因此，其描述将被省略。 
具体而言，在步骤S416中，控制单元631执行指定变焦处理。 
[指定变焦处理] 
接下来，将参考图32和图33中的流程图描述图29中的控制单元631的指定变焦处理。 
在步骤S511中，在从操作确定单元652提供了指示用户已执行了变焦操作的意思的信息后，坐标信息获得单元651获得与预定帧有关的来自面部检测单元531的面部区域的坐标信息，并提供给大小比率计算单元553。也就是说，来自被摄体跟踪单元55的被摄体区域的坐标信息已在图30的流程图中的步骤S411中获得，并且因此，坐标信息获得单元651仅获得面部区域的坐标信息。 
注意，流程图中步骤S512和之后的处理与图25和图26的流程图中步骤S313和之后的处理基本上相同，并且因此，其描述将被省略。 
另外，指定变焦处理是跨多个帧执行的，直到大小比率变得基本上与理想大小比率相同为止。图30和图31中所示的自动变焦调节处理基本上是针对每帧执行的，但是在步骤S416中，指定变焦处理是跨多个帧执行的，并且处理返回到自动变焦调节处理。 
根据上述处理，在被摄体区域的大小大于目标大小的情况下，变焦镜头可以被向广角侧驱动以执行缩小，并且在被摄体区域的大小小于目标大小的情况下，变焦镜头可以被向远摄侧驱动以执行放大。因此，即使在相对被摄体的距离在成像时改变的情况下，成像范围中被摄体的大小也可以保持基本恒定，而无需执行细微的变焦操作。 
另外，在用户已执行了变焦操作的情况下，变焦镜头的驱动被控制以使得被摄体区域和面部区域之间的大小比率根据变焦操作的内容接近预定的理想大小比率。因此，成像范围可以被调节以使得被摄体根据变焦操作的内容变为合适的像片(例如全身像、半身像、特写像等等)，而无论用作被摄体的人的像片如何。也就是说，成像范围中被摄体的大小可以被改变到期望大小，而无需执行细微的变焦操作。 
在用户的变焦操作完成之后，已变为期望大小的被摄体区域的大小被更新为目标大小，并且因此，即使在相对被摄体的距离改变的情况下，成像范围中被摄体的大小也可以被以期望大小(像片)保持基本恒定。 
如上所述，被摄体可以被以期望成像范围以更简单的方式成像。 
注意，在以上描述中，已经向图像处理设备提供了用于检测并跟踪被摄体区域的被摄体跟踪单元55，但是可以提供另一被摄体检测单元，只要可以针对每帧检测被摄体即可。 
另外，在上述自动变焦调节处理中，通过控制变焦镜头的驱动已调节了所谓的光学变焦，但是通过利用图像处理放大图像也可以调节所谓的电子变焦。 
[控制单元的又一功能配置示例] 
现在，将参考图34描述被配置为调节电子变焦的图像处理设备的控制单元的功能配置示例。 
注意，对于图34中的控制单元631，具有与提供给图29中的控制单元631相同功能的配置将用相同的名称和相同的标号表示，并且其描述将被适当地省略。 
具体而言，图34中的控制单元631与图29中的控制单元631的 不同之处在于提供了倍率控制单元731来替代镜头驱动控制单元653。 
倍率控制单元731包括镜头驱动控制单元653和电子变焦控制单元751。镜头驱动控制单元653具有与提供给图29中的控制单元631的单元相同的功能，并且因此，其描述将被省略。 
电子变焦控制单元751基于来自操作确定单元313的表示判定结果的信息和来自比较单元315的表示比较结果的信息来控制分辨率转换单元54改变要利用图像数据显示在显示单元34上的输入图像(成像图像)的倍率。另外，电子变焦控制单元751基于来自大小比率确定单元554的表示比较结果的信息来控制分辨率转换单元54改变要利用图像数据显示在显示单元34上的输入图像的倍率。 
图34中的控制单元631可以具有与图29中的控制单元631相同的操作效果。注意，图34中的控制单元631的自动变焦调节处理是基本上与参考图30至图33的流程图所描述的图29中的控制单元631的处理相同的处理，并且因此，其描述将被省略。具体而言，即使在变焦镜头的镜头位置通过镜头驱动控制单元653的控制变为远摄端的情况下，图像也可以通过电子变焦控制单元751的控制被进一步在远摄侧上放大，并且因此，成像范围的调节宽度可以加宽。 
注意，迄今为止的描述假定应用了本发明的图像处理设备包括对具有运动的被摄体成像的成像设备(例如数字视频相机、数字静止相机等等)，但是本发明并不限于成像设备，而是可以应用于向诸如显示设备等的输出设备输出从预定信息处理设备输入的运动图像的图像处理设备。 
上述处理序列可以通过硬件执行，也可以通过软件执行。在通过软件执行处理序列的情况下，构成其软件的程序被从程序记录介质安装到嵌入在专用硬件中的计算机或者能够通过安装各种类型的程序来执行各种功能的设备(例如通用个人计算机)。 
图35是图示利用程序执行上述处理序列的计算机的硬件配置示例的框图。 
在计算机中，CPU(中央处理单元)901、ROM(只读存储器) 902和RAM(随机访问存储器)903通过总线904互连。 
总线904还与输入/输出接口905连接。输入/输出接口905与以下单元连接：由键盘、鼠标、麦克风等构成的输入单元906，由显示器、扬声器等构成的输出单元907，由硬盘、非易失性存储器等构成的存储单元908，由网络接口等构成的通信单元909，以及驱动诸如磁盘、光盘、磁光盘、半导体存储器等的可移除介质911的驱动器910。 
利用如上所述配置的计算机，上述处理序列通过以下方式执行：CPU 901经由输入/输出接口905和总线904将存储在存储单元908中的程序加载到RAM 903并且执行该程序。 
计算机(CPU 901)执行的程序通过记录在可移除介质911中或者经由有线或无线传输介质来提供，可移除介质911是封装介质，其例如由磁盘(包括柔性盘)、光盘(CD-ROM(致密盘-只读存储器)、DVD(数字多功能盘)等)、磁光盘或半导体存储器等构成，传输介质例如是局域网、因特网和数字卫星广播。 
该程序可以通过在驱动器910上安装可移除介质911来经由输入/输出接口905被安装在存储单元908中。另外，该程序可以经由有线或无线传输介质在通信单元909处接收，并被安装在存储单元908中。另外，该程序可以预先安装在ROM 902或存储单元908中。 
注意，计算机执行的程序可以是按照在本说明书中描述的顺序以时序处理的程序，或者可以是并行处理或者在必要的定时(例如在执行调用等时)处理的程序。 
另外，本发明的实施例并不限于上述实施例，而是可以在不脱离本发明的实质的情况下进行各种修改。 
标号列表 
11：图像处理设备 
34：显示单元 
35：控制单元 
55：被摄体跟踪单元 
71：被摄体图生成单元 
72：被摄体候选区域到矩形转换单元 
73：被摄体区域选择单元 
74：权重系数计算单元 
111：特征量图生成单元 
112：带状特征量图生成单元 
113：带状特征量图合成单元 
114：合成特征量图合成单元 
131：二值化处理单元 
132：标记化处理单元 
133：矩形区域候选计算单元 
134：区域信息计算单元 
151：区域信息比较单元 
152：被摄体区域确定单元 
200：输入图像 
201：被摄体图 
221、222：矩形区域 
231：被摄体框 
311：坐标信息获得单元 
312：目标大小设置单元 
313：操作确定单元 
314：位置检测单元 
315：比较单元 
316：镜头驱动控制单元 
511：图像处理设备 
531：面部检测单元 
532：控制单元 
551：操作确定单元 
552：坐标信息获得单元 
553：大小比率计算单元 
554：大小比率确定单元 
555：理想大小比率存储单元 
556：镜头驱动控制单元 
631：控制单元 
651：坐标信息获得单元 
652：操作确定单元 
653：镜头驱动控制单元 
731：倍率控制单元 
751：电子变焦控制单元 

Claims (10)

1.一种图像处理设备，包括：
成像装置，被配置为对被摄体成像；
计算装置，被配置为计算在由所述成像装置成像的成像图像中人物区域和面部区域之间的比率，所述人物区域是用作感兴趣的所述被摄体的人物的区域，所述面部区域是包括在所述人物区域中的所述人物的面部的区域；以及
倍率控制装置，被配置为根据用户的变焦操作控制所述成像图像的变焦倍率，以使得所述计算装置计算出的所述比率与预定值匹配或者基本匹配。
2.如权利要求1所述的图像处理设备，还包括：
存储装置，被配置为预先存储所述预定值；以及
判定装置，被配置为针对每帧判定所述计算装置计算出的所述比率与所述存储装置存储的所述预定值是否匹配或者基本匹配，
其中所述倍率控制装置控制所述变焦倍率，直到通过所述判定装置判定所述比率与所述预定值匹配或者基本匹配为止。
3.如权利要求1所述的图像处理设备，其中所述比率是作为矩形区域的所述人物区域和所述脸部区域的高度之间的比率。
4.如权利要求1所述的图像处理设备，其中所述倍率控制装置根据所述用户的变焦操作控制变焦镜头的驱动，以使得所述计算装置计算出的所述比率与所述预定值匹配或者基本匹配。
5.如权利要求1所述的图像处理设备，其中所述倍率控制装置根据所述用户的变焦操作控制所述成像图像的电子放大，以使得所述计算装置计算出的所述比率与所述预定值匹配或者基本匹配。
6.如权利要求1所述的图像处理设备，还包括：
比较装置，被配置为在所述成像图像中将所述人物区域的大小与预定目标大小相比较；
其中所述倍率控制装置在所述用户没有执行变焦操作的情况下控制所述成像图像的变焦倍率，以使得所述比较装置比较出的所述人物区域的大小和所述目标大小之间的差小于预定阈值。
7.如权利要求6所述的图像处理设备，其中所述倍率控制装置在控制所述成像图像的变焦倍率以使得所述人物区域的大小和所述目标大小之间的差小于所述预定阈值时，在所述用户执行变焦操作时根据所述变焦操作控制所述成像图像的变焦倍率；
并且其中还向所述图像处理设备提供了设置装置，其被配置为将所述用户已执行了变焦操作之后的所述人物区域的大小设置为所述目标大小。
8.如权利要求6所述的图像处理设备，还包括：
检测装置，被配置为检测所述成像图像中所述人物区域的位置，
其中所述倍率控制装置在所述检测装置检测出所述人物区域的位置在所述成像图像的外边缘区域中的情况下向广角侧控制所述成像图像的变焦倍率。
9.如权利要求8所述的图像处理设备，还包括：
呈现装置，被配置为在借助所述倍率控制装置的控制、所述成像图像的变焦倍率变为广角端的情况下，呈现指示所述被摄体在所述成像图像之外的意思的信息。
10.一种图像处理设备的图像处理方法，所述图像处理设备包括成像装置、计算装置和倍率控制装置，所述成像装置被配置为对被摄体成像，所述计算装置被配置为计算在由所述成像装置成像的成像图像中人物区域和面部区域之间的比率，所述人物区域是用作感兴趣的所述被摄体的人物的区域，所述面部区域是包括在所述人物区域中的所述人物的面部的区域，所述倍率控制装置被配置为根据用户的变焦操作控制所述成像图像的变焦倍率以使得所述计算装置计算出的所述比率与预定值匹配或者基本匹配，所述方法包括：
计算步骤，由所述计算装置计算在由所述成像装置成像的成像图像中人物区域和面部区域之间的比率，所述人物区域是用作感兴趣的所述被摄体的人物的区域，所述面部区域是包括在所述人物区域中的所述人物的面部的区域；以及
倍率控制步骤，由倍率所述倍率控制装置根据用户的变焦操作控制所述成像图像的变焦倍率，以使得由所述计算步骤中的处理计算出的所述比率与预定值匹配或者基本匹配。
CN201180002162.3A 2010-03-30 2011-03-15 图像处理设备和方法 Active CN102439966B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010079185A JP5565041B2 (ja) 2010-03-30 2010-03-30 画像処理装置および方法、並びにプログラム
JP2010-079185 2010-03-30
PCT/JP2011/056107 WO2011122335A1 (ja) 2010-03-30 2011-03-15 画像処理装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN102439966A CN102439966A (zh) 2012-05-02
CN102439966B true CN102439966B (zh) 2015-04-01

Family

ID=44712056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180002162.3A Active CN102439966B (zh) 2010-03-30 2011-03-15 图像处理设备和方法

Country Status (7)

Country Link
US (1) US9253388B2 (zh)
EP (2) EP3481053B1 (zh)
JP (1) JP5565041B2 (zh)
KR (1) KR101609018B1 (zh)
CN (1) CN102439966B (zh)
TW (1) TW201202828A (zh)
WO (1) WO2011122335A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5237721B2 (ja) * 2008-08-13 2013-07-17 ペンタックスリコーイメージング株式会社 撮像装置
JP5620142B2 (ja) * 2010-04-28 2014-11-05 オリンパスイメージング株式会社 撮像装置および撮像方法
US20130155305A1 (en) * 2011-12-19 2013-06-20 Sony Corporation Orientation of illustration in electronic display device according to image of actual object being illustrated
IL221863A (en) * 2012-09-10 2014-01-30 Elbit Systems Ltd Digital video photography system when analyzing and displaying
JP6084026B2 (ja) * 2012-12-17 2017-02-22 オリンパス株式会社 撮像装置、告知方法、告知プログラム、及び記録媒体
US9253410B2 (en) * 2013-04-25 2016-02-02 Canon Kabushiki Kaisha Object detection apparatus, control method therefor, image capturing apparatus, and storage medium
JP6335520B2 (ja) * 2013-07-24 2018-05-30 キヤノン株式会社 撮像装置、撮像装置の制御方法、および撮像装置の制御プログラム
JP6296801B2 (ja) * 2013-07-24 2018-03-20 キヤノン株式会社 撮像装置、撮像装置の制御方法、および撮像装置の制御プログラム
JP6429454B2 (ja) 2013-11-28 2018-11-28 キヤノン株式会社 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム
JP6370140B2 (ja) * 2014-07-16 2018-08-08 キヤノン株式会社 ズーム制御装置、撮像装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラムおよび記憶媒体
JP6277981B2 (ja) * 2015-03-13 2018-02-14 株式会社デンソー 情報コード画像表示システム、情報コード画像表示端末、情報コード画像表示プログラム
CN106296578B (zh) * 2015-05-29 2020-04-28 阿里巴巴集团控股有限公司 一种图像处理方法及装置
JP6574645B2 (ja) * 2015-08-28 2019-09-11 キヤノン株式会社 撮像装置を制御する制御装置、撮像装置の制御方法、及びプログラム
WO2017199926A1 (ja) * 2016-05-17 2017-11-23 カイロス株式会社 内視鏡装置
JP6437066B2 (ja) * 2017-09-08 2018-12-12 キヤノン株式会社 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム
CN108024056B (zh) * 2017-11-30 2019-10-29 Oppo广东移动通信有限公司 基于双摄像头的成像方法和装置
CN110874547B (zh) * 2018-08-30 2023-09-12 富士通株式会社 从视频中识别对象的方法和设备
CN109034136B (zh) * 2018-09-06 2021-07-20 湖北亿咖通科技有限公司 图像处理方法、装置、摄像设备及存储介质
WO2020107372A1 (zh) * 2018-11-30 2020-06-04 深圳市大疆创新科技有限公司 拍摄设备的控制方法、装置、设备及存储介质
JP7145440B2 (ja) * 2020-03-26 2022-10-03 パナソニックＩｐマネジメント株式会社 学習データ生成方法、学習データ生成装置、及び、プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2106127A2 (en) * 2008-03-24 2009-09-30 Sony Corporation Imaging apparatus, control method thereof, and program

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000292852A (ja) 1999-04-02 2000-10-20 Toshiba Corp 顔画像撮影装置
EP1085366B1 (en) 1999-09-14 2004-09-15 Kabushiki Kaisha Toshiba Face image photographing apparatus and face image photographing method
JP2009175744A (ja) 1999-11-26 2009-08-06 Toshiba Corp 顔画像撮影装置および顔画像撮影方法
US20040207743A1 (en) * 2003-04-15 2004-10-21 Nikon Corporation Digital camera system
JP4489608B2 (ja) * 2004-03-31 2010-06-23 富士フイルム株式会社 ディジタル・スチル・カメラ，画像再生装置および顔画像表示装置ならびにそれらの制御方法
KR20060035198A (ko) * 2004-10-21 2006-04-26 주식회사 팬택앤큐리텔 얼굴인식 기법을 이용한 카메라 자동 줌 시스템 및 이를탑재한 이동통신 단말기 및 얼굴인식 기법을 이용한카메라 자동 줌 방법
JP2007272685A (ja) 2006-03-31 2007-10-18 Fujifilm Corp 自動トリミング方法および装置ならびにプログラム
JP4655054B2 (ja) * 2007-02-26 2011-03-23 富士フイルム株式会社 撮像装置
JP4804398B2 (ja) 2007-03-30 2011-11-02 三洋電機株式会社 撮像装置及び撮影方法
JP5159189B2 (ja) * 2007-06-29 2013-03-06 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5309490B2 (ja) * 2007-07-26 2013-10-09 カシオ計算機株式会社 撮影装置、被写体追尾ズーミング方法及び被写体追尾ズーミングプログラム
CN101453568A (zh) * 2007-12-03 2009-06-10 佛山普立华科技有限公司 成像系统及其成像方法
JP5237721B2 (ja) 2008-08-13 2013-07-17 ペンタックスリコーイメージング株式会社 撮像装置
JP5054635B2 (ja) * 2008-08-21 2012-10-24 ペンタックスリコーイメージング株式会社 撮像装置
JP2010147715A (ja) * 2008-12-17 2010-07-01 Hoya Corp 撮像装置
JP5219847B2 (ja) * 2009-01-09 2013-06-26 キヤノン株式会社 画像処理装置及び画像処理方法
JP5397059B2 (ja) 2009-07-17 2014-01-22 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP2011160379A (ja) 2010-02-04 2011-08-18 Sony Corp 画像処理装置および方法、並びにプログラム
JP2011176748A (ja) 2010-02-25 2011-09-08 Sony Corp 画像処理装置および方法、並びにプログラム
JP5803058B2 (ja) 2010-03-30 2015-11-04 ソニー株式会社 画像処理装置および方法、並びにプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2106127A2 (en) * 2008-03-24 2009-09-30 Sony Corporation Imaging apparatus, control method thereof, and program

Also Published As

Publication number Publication date
TW201202828A (en) 2012-01-16
KR101609018B1 (ko) 2016-04-04
US9253388B2 (en) 2016-02-02
EP2424226B1 (en) 2019-02-20
EP3481053B1 (en) 2020-05-27
KR20130008441A (ko) 2013-01-22
US20120062769A1 (en) 2012-03-15
EP2424226A1 (en) 2012-02-29
JP5565041B2 (ja) 2014-08-06
WO2011122335A1 (ja) 2011-10-06
EP3481053A1 (en) 2019-05-08
JP2011209620A (ja) 2011-10-20
EP2424226A4 (en) 2013-04-17
CN102439966A (zh) 2012-05-02

Similar Documents

Publication Publication Date Title
CN102439966B (zh) 图像处理设备和方法
CN103081455B (zh) 从手持设备所捕获的多个图像进行肖像图像合成
JP4862930B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4678603B2 (ja) 撮像装置及び撮像方法
US9456135B2 (en) Image synthesizing apparatus, image synthesizing method, and image synthesizing program
JP4429241B2 (ja) 画像処理装置及び方法
JP2009267787A (ja) 構図判定装置、構図判定方法、プログラム
JP5577793B2 (ja) 画像処理装置および方法、並びにプログラム
WO2008041522A1 (fr) Dispositif de traitement d'image, programme de traitement d'image, procédé de production d'image et support d'enregistrement
JP2007081682A (ja) 画像処理装置、画像処理方法、及び、情報処理装置が実行可能なプログラム
JP4624947B2 (ja) 画像のトリミング方法および装置並びにプログラム
JP2010114752A (ja) 撮像装置及び撮像方法及びプログラム
US20130129221A1 (en) Image processing device, image processing method, and recording medium
JP5429564B2 (ja) 画像処理装置および方法、並びにプログラム
JP5803058B2 (ja) 画像処理装置および方法、並びにプログラム
JP6604908B2 (ja) 画像処理装置、その制御方法、および制御プログラム
CN101141565A (zh) 图像处理装置和图像处理方法、计算机程序及摄像装置
JP2011188035A (ja) 撮像装置及びパノラマ画像合成方法並びにそのプログラム
JP2008211506A (ja) 画像処理装置、撮像装置及びそのプログラム
JP2009089083A (ja) 年齢推定撮影装置及び年齢推定撮影方法
JP5287965B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2006039254A (ja) カメラ
US20220294991A1 (en) Focus adjustment device and focus adjustment method
JP2018107614A (ja) 動画再生装置、撮像装置、動画再生方法及びプログラム
JP5659856B2 (ja) 撮像装置、撮像方法、及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant