CN104956659B - 图像处理装置、图像处理方法和程序 - Google Patents

Abstract

[问题]为了自动地在捕捉图像中确定主要对象。[解决方案]这个图像处理装置确定在成像期间的成像装置的摄影操作，诸如聚焦、变焦、倾斜和平移。基于摄影操作的确定，设置主要对象确定开始定时。根据从确定开始定时起的图像数据，从所述图像数据中所包括的对象之中确定主要对象。

Description

图像处理装置、图像处理方法和程序

技术领域

本公开涉及一种用于执行在图像中确定主要对象的处理的图像处理装置、图像处理方法和程序。

背景技术

近来的数字静止照相机和数字视频照相机通常具有脸检测功能，并且具有根据脸位置和区域最佳地匹配照相机的各种参数(焦点、亮度等)的功能。

另一方面，专利文献1公开了这样一种技术：用户在捕捉图像中指定和选择作为将要被跟踪的目标对象的“主要对象”。

另外，如果使用例如上述专利文献2、3和4中公开的技术，则能够实现包括任意对象的整体的框架的对象跟踪。

另外，还存在控制光学系统等的功能(诸如，自动聚焦和自动曝光)，从而检测和追踪捕捉图像中的预期区域以优化该区域。

如上所述，跟踪由用户指定为主要对象的图像(例如，捕捉图像中的图像区域(诸如，脸))、聚焦于脸区域等的技术是已知的。

引用列表

专利文献

专利文献1：JP 2011-166305A

专利文献2：JP 2011-146826A

专利文献3：JP 2011-146827A

专利文献4：JP 2011-160379A

发明内容

技术问题

然而，在捕捉图像中，经受跟踪或聚焦的预期区域(即，“主要对象”)由拍摄者通过直接从使用目前的任何方法从各种检测器获得的“多个候选区域”选择一个候选区域来决定。

在握着照相机的状态下，例如，通过从投影在触摸面板上的屏幕上显示的贯通图像(在除操纵快门的时间之外的时间显示的对象的监视图像)上的多个脸选择任意脸的动作选择主要对象。替代地，存在于预定区域中的对象在由用户指定的时间(快门的半按压等)被设置为主要对象。

然而，当在实际使用例子中考虑用户接口时，存在这样的情况：“由拍摄者选择主要对象”的动作本身比较困难。

例如，当用户想要使用将焦点保持在正在来回移动的对象上的功能时，用户难以在对准对象的同时使用其握着照相机的手指选择对象。

例如，存在这样的情况：由于用户对对象的变化(移动)的反应的速度而难以指定。例如，存在这样的情况：难以在贯通图像的屏幕上精确地指定正在来回移动的对象。

另外，在用户在第一地点在其手中握着照相机并且朝着对象转动照相机以选择对象的情况下，用户难以在屏幕上执行使用其手指选择主要对象的动作。特别地，在跟踪对象(例如，用户改变成像方向以使照相机移动从而平移或倾斜)的情况下，几乎无法选择主要对象。

另外，存在这样的情况：用户难以在触摸面板所在的显示屏幕的分辨率下选择对象。

另外，还存在这样的情况：难以根据触摸面板所在的显示屏幕上的对象的尺寸和用户的手指的尺寸(厚度)适当地指定预期对象。

另外，还存在这样的情况：由于照相机系统的时间延迟(例如，实际风景和捕捉图像的贯通图像之间的时间延迟)，用户难以适当地指定对象。

另外，当将要在动态图像的成像和记录期间执行这种指定操纵时，可能存在这样的情况：由选择主要对象的动作引起的图像摇晃可被按原样记录，或者用户可能被迫在由暂时遮蔽等引起的离开屏幕或跟踪丢失(失败)时采取重新选择的动作。

如上所述，手持类型照相机具有这样的问题：在需要该功能的许多使用例子中，选择主要对象的动作本身比较困难，这对于拍摄者而言比较有压力。

因此，本公开旨在实现这样的技术：确定用户(诸如，拍摄者)想要的目标对象并且设置该对象作为主要对象而无需用户有意选择该对象的动作。

问题的解决方案

根据本公开，一种图像处理装置包括：摄影操作确定单元，被构造为确定在成像时的摄影操作并且基于该确定设置对于图像数据中的主要对象的确定开始定时；和主要对象确定单元，被构造为根据从确定开始定时起的图像数据确定图像数据中所包含的对象之中的主要对象。

根据本公开，一种图像处理方法包括：确定在成像时的摄影操作并且基于该确定设置对于图像数据中的主要对象的确定开始定时；以及根据从确定开始定时起的图像数据确定图像数据中所包含的对象之中的主要对象。

根据本公开的实施例的程序是使算术处理装置执行实现所述图像处理装置或所述图像处理方法的处理的程序。

根据本公开的实施例，执行在图像数据中自动地确定主要对象的主要对象确定处理。

例如，当用户握着成像装置以执行成像时，用户通常执行摄影操作，以使得在捕捉图像中捕捉视为主要对象的对象(也就是说，希望成像为静止图像的对象或希望连续地成像为运动图像的对象)。摄影操作可以是为了使得作为拍摄者的用户在捕捉图像中捕捉对象而执行的操作或操纵或者为了使得用户搜索预期构图或聚焦状态而执行的操作或操纵。具体地讲，摄影操作是例如平移、倾斜、变焦和手动聚焦。平移表示拍摄者握着成像装置并且沿基本上水平的方向移动成像装置或者将成像装置安装在三脚架、平台等上并且沿水平方向移动成像方向的操作或操纵。倾斜表示拍摄者握着成像装置并且沿基本上垂直的方向移动成像装置或者将成像装置安装在三脚架、平台等上并且沿垂直方向移动成像方向的操作或操纵。变焦表示拍摄者操纵变焦操作杆(广角键或远摄键)或执行手动操纵以移动变焦透镜和改变视角的操作或操纵。手动聚焦表示拍摄者移动聚焦透镜以改变聚焦位置的操作或操纵。

当用户执行这种摄影操作时，用户能够被视为为了某个目的而瞄准对象并且调整成像方向、视角、聚焦位置等。也就是说，视为主要对象的对象能够被估计为存在于捕捉图像(例如，贯通图像)中。

因此，在图像处理装置中，执行摄影操作确定并且基于该确定设置对于图像数据中的主要对象的确定开始定时。然后，根据从确定开始定时起的一个帧或多个帧的图像数据，在图像数据中所包含的对象之中确定主要对象。因此，能够执行高准确性的确定作为自动主要对象确定。

发明的有益效果

根据本公开，在捕捉图像中自动地确定主要对象，并且因此，用户(诸如，拍摄者)不必执行选择主要对象的动作。因此，能够实现当使用握在手中的安装有本公开的图像处理装置的成像设备执行成像时的包括可操作性的改进的产品附加价值的提高、用户的压力的减小和由自动主要对象确定引起的各种功能的进一步实现。另外，在合适的定时自动地执行主要对象确定，并且因此，能够提高确定准确性。

附图说明

图1是本公开的实施例的图像处理装置的结构例子的方框图。

图2是实施例的图像处理装置的主要对象确定处理的流程图。

图3是实施例的成像装置的结构的方框图。

图4是实施例的候选图像提取和主要对象确定的概述的解释示图。

图5是实施例的候选图像框和确定参考点之间的距离的解释示图。

图6是第一处理例子的摄影操作确定处理和主要对象确定处理的流程图。

图7是第一处理例子的摄影操作确定处理的流程图和解释示图。

图8是适用于实施例的每个处理例子的主要对象确定处理的流程图。

图9是第二处理例子的摄影操作确定处理的解释示图。

图10是第二处理例子的摄影操作确定处理的流程图。

图11是第三处理例子的摄影操作确定处理的流程图和解释示图。

图12是第四处理例子的摄影操作确定处理的解释示图。

图13是第四处理例子的摄影操作确定处理的流程图。

图14是第五处理例子的摄影操作确定处理的解释示图。

图15是第五处理例子的摄影操作确定处理的流程图。

图16是第五处理例子的中间变焦确定处理的流程图。

图17是第六处理例子的摄影操作确定处理的解释示图。

图18是第六处理例子的摄影操作确定处理的流程图。

图19是第六处理例子的变焦后确定处理的流程图。

图20是第七处理例子的摄影操作确定处理的解释示图。

图21是第七处理例子的摄影操作确定处理的流程图。

图22是第七处理例子的中间平移确定处理的流程图。

图23是第八处理例子的摄影操作确定处理的解释示图。

图24是第八处理例子的摄影操作确定处理的流程图。

图25是示出第八处理例子的平移后确定处理的流程图。

图26是实施例的另一成像装置的结构的方框图。

图27是第九处理例子的候选图像提取和聚焦度确定的概述的解释示图。

图28是第九处理例子的聚焦度确定的解释示图。

图29是第九处理例子的摄影操作确定处理的解释示图。

图30是第九处理例子的摄影操作确定处理的流程图。

图31是适用于实施例的第九处理例子的主要对象确定处理的流程图。

图32是第九处理例子的主要对象确定的解释示图。

图33是当实施例被应用于计算机装置时的方框图。

具体实施方式

以下，将按照下面的次序描述实施例。

<1.实施例的图像处理装置的结构>

<2.实施例的成像装置的结构>

<3.主要对象确定的机会和目的等>

<4.第一处理例子(平移操作确定)>

<5.第二处理例子(平移后确定)>

<6.第三处理例子(变焦操作确定)>

<7.第四处理例子(变焦后确定)>

<8.第五处理例子(平移后变焦操作确定)>

<9.第六处理例子(平移后变焦后确定)>

<10.第七处理例子(变焦后平移操作确定)>

<11.第八处理例子(变焦后平移后确定)>

<12.第九处理例子(聚焦确定)>

<13.应用于程序和计算机装置>

<14.修改例子>

<1.实施例的图像处理装置的结构>

图1表示根据实施例的图像处理装置的结构例子。

图像处理装置1包括主要对象确定单元2和摄影操作确定单元3.

摄影操作确定单元3确定在成像时的摄影操作并且基于该确定设置对于图像数据中的主要对象的确定开始定时。摄影操作确定单元3 输入关于在成像时的摄影操作的检测信息Id并且基于检测信息Id确定摄影操作。然后，根据确定结果，主要对象确定单元2被通知主要对象确定的开始的定时。

摄影操作可以是用户或拍摄者在捕捉图像中捕捉对象的操作或操纵或者搜索预期构图或聚焦状态的操作或操纵。具体地讲，摄影操作是例如平移、倾斜、变焦和手动聚焦。因此，检测信息Id是关于由拍摄者执行的操纵(诸如，变焦或手动聚焦)的检测信息或者检测成像装置的运动的传感器(诸如，角速度传感器(陀螺仪传感器)或加速度传感器)的检测信息。

另外，“在成像时的摄影操作”表示目前的摄影操作或从以前捕捉图像数据时起的摄影操作。例如，在成像时的摄影操作表示当图像处理装置1是将在以下描述的成像设备10中所包括的装置或者是连接到成像设备并且被实时地提供捕捉图像数据的装置时由拍摄者在目前执行的摄影操作。另外，在成像时的摄影操作表示当对以前捕捉的图像数据执行主要对象确定时来自以前的成像的摄影操作。

主要对象确定单元2基于由摄影操作确定单元3设置的确定开始定时对输入图像数据Dg执行主要对象确定处理。例如，主要对象确定单元2观察从主要对象的确定开始定时起的多个帧的图像数据中的对象的位置状态并且在符合特定位置条件的对象之中确定主要对象。例如，主要对象确定单元2观察从确定开始定时起的至少一个帧的图像数据中的对象的聚焦状态并且在符合特定聚焦条件的对象之中确定主要对象。主要对象确定单元2通过这种处理设置一个对象或多个对象作为主要对象。

然后，主要对象确定单元2输出主要对象信息Dm作为确定结果。

包括上述主要对象确定单元2和摄影操作确定单元3的图像处理装置1能够由作为算术处理装置的中央处理单元(CPU)或数字信号处理器(DSP)实现。

还能够考虑由CPU等实现主要对象确定单元2的功能并且由连接到CPU的图像处理DSP等实现摄影操作确定单元3的功能或实现为协作处理。

由图像处理装置1执行的主要对象确定的处理的流程被示出在图 2中。

在步骤F1中，摄影操作确定单元3确定由拍摄者执行的摄影操作。然后，当在步骤F2中检测到预定摄影操作情况时，摄影操作确定单元3在步骤F3中设置确定开始定时。例如，确定执行标记被设置为打开。

因此，主要对象确定单元2在步骤F4中执行主要对象确定处理并且确定符合预定条件的对象是主要对象。

在步骤F5中，主要对象确定单元2输出作为主要对象确定结果的主要对象信息Dm以将主要对象信息Dm发送给应用程序等以及从应用程序等接收主要对象信息Dm。

应用程序等根据指定主要对象图像的事实执行处理。例如，执行聚焦控制、跟踪处理或图像效果处理。

由摄影操作确定单元3执行的步骤F1至F3的处理被视为是不同的。特定例子在以下被描述为成像设备10的处理例子，其中确定下面的情况并且设置确定开始定时：

1.平移操作确定：确定平移操作开始，然后设置确定开始定时，以使得在平移操作期间执行主要对象确定处理；

2.平移后确定：确定平移操作被执行并且结束，然后设置确定开始定时，以使得在平移操作结束之后执行主要对象确定处理；

3.变焦操作确定：确定变焦操作开始，然后设置确定开始定时，以使得在变焦操作期间执行主要对象确定处理；

4.变焦后确定：确定变焦操作被执行并且结束，然后设置确定开始定时，以使得在变焦操作结束之后执行主要对象确定处理；

5.平移后变焦操作确定：确定平移操作被执行并且结束并且变焦操作随后开始，然后设置确定开始定时，以使得在变焦期间执行主要对象确定处理；

6.平移后变焦后确定：确定平移操作被执行并且结束并且变焦操作随后被执行并且结束，然后设置确定开始定时，以使得在变焦结束之后执行主要对象确定处理；

7.变焦后平移操作确定：确定变焦操作被执行并且结束并且平移操作开始，然后设置确定开始定时，以使得在平移期间执行主要对象确定处理；

8.变焦后平移后确定：确定变焦操作被执行并且结束并且平移操作随后被执行并且结束，然后设置确定开始定时，以使得在平移之后执行主要对象确定处理；和

9.手动聚焦后确定：确定手动聚焦操作被执行并且结束，然后设置确定开始定时，以使得在手动聚焦操作结束之后执行主要对象确定处理。

上述处理的细节将会被描述为成像设备10的第一至第九处理例子。

图1中的图像处理装置1能够通过摄影操作估计由拍摄者预期作为目标的对象并且如上述图2的例子中一样通过执行摄影操作确定和主要对象确定来自动地执行主要对象确定。因此，能够执行主要对象确定而不依赖于用户的手动操纵，并且因此，通过将图1中的图像处理装置1安装在根据主要对象设置执行操作的各种电子设备上来显著地提高用户的可操作性。

<2.成像装置的结构>

以下，将以包括上述图像处理装置的成像设备10作为例子详细地描述主要对象确定操作。

根据实施例的成像设备10的结构例子被示出在图3中。这个结构例子适合将要在以下描述的第一至第八处理例子。将在以下描述在第九处理例子的情况下的成像设备10的结构例子。

成像设备10被视为所谓的数字静止照相机或数字视频照相机并且是执行静止图像或运动图像的捕捉和记录的设备并且包括权利要求中描述的成像处理装置。

图3中示出的成像设备10具有光学系统11、成像器12、光学系统驱动单元13、传感器单元14、记录单元15、通信单元16、数字信号处理单元20、控制单元30、用户接口控制器(以下，“UI控制器”)32和用户接口33。

光学系统11具有透镜(诸如，盖透镜、变焦透镜和聚焦透镜)和节流机构。通过这个光学系统11，在成像器12中收集来自对象的光。

成像器12例如具有CCD(电荷耦合装置)类型或CMOS(互补金属氧化物半导体)类型图像传感器。

成像器12例如针对通过图像传感器中的光电转换获得的电信号执行CDS(相关双采样)处理、AGC(自动增益控制)处理等，并且还执行A-D(模数)转换处理。然后，成像器12将作为数字数据的成像信号输出到后一级的数字信号处理单元20。

光学系统驱动单元13在控制单元30的控制下驱动光学系统11 中的聚焦透镜以执行聚焦操作。因此，例如，执行自动聚焦操作。

对于聚焦透镜，也可根据用户的操纵通过手动聚焦实现透镜移动。用户能够通过操纵形成在透镜镜筒中的聚焦透镜传输机构来任意地设置聚焦位置。

光学系统驱动单元13在控制单元30的控制下驱动光学系统11 的节流机构以执行曝光调整。

光学系统驱动单元13在控制单元30的控制下驱动光学系统11 的变焦透镜以执行变焦操作。用户能够通过操纵将要在以下描述的操纵单元35的变焦操作杆来给出用于变焦操作的指令。因此，用户能够获得任何视角状态。

数字信号处理单元20例如通过DSP等而被构造为图像处理器。数字信号处理单元20对来自成像器12的数字信号(捕捉图像信号)执行各种类型的信号处理。

例如，数字信号处理单元20包括预处理单元21、同步单元22、 YC产生单元23、分辨率转换单元24、编码解码器单元25和候选检测单元27。

预处理单元21针对来自成像器12的捕捉图像信号执行将R、G 和B的黑色电平箝位于预定电平的箝位处理或者在R、G和B的颜色通道之中的校正处理。

同步单元22执行去马赛克处理，从而每个像素的图像数据具有所有的R、G和B的颜色分量。

YC产生单元23从R、G和B的图像数据产生(分离)亮度(Y)信号和颜色(C)信号。

分辨率转换单元24对已被执行各种类型的信号处理的图像数据执行分辨率转换处理。

编码解码器单元25例如针对已对其执行分辨率转换的图像数据执行用于记录或通信的编码处理。

候选检测单元27针对由例如YC产生单元23获得的捕捉图像信号(亮度信号和颜色信号)以帧为单位(或按照间断的帧)执行图像分析处理，然后提取候选图像。换句话说，对于在时间轴上连续地输入的图像数据执行脸图像检测、人体检测等，然后提取用作主要对象的候选的图像。

需要注意的是，能够在针对捕捉图像数据执行的图像分析中使用模式匹配等的技术执行脸检测、人体检测等，但只要替换在模式匹配中使用的词典，原则上还能够实现其它检测器。例如，可实现针对狗检测(某个品种)、猫检测等的主要对象的候选图像的提取。

另外，例如，还能够考虑使用基于帧差的移动体检测的技术检测移动体并且将移动体设置为候选图像，并且可使用称为显著区域提取 (Saliency)的提取关注区域的技术。考虑提取和选择候选图像的各种技术。

候选检测单元27检测例如脸图像，并且脸图像所在的区域被提取作为候选图像框。

关于提取的候选图像，候选图像框的位置信息(屏幕上的x和y 坐标值、对象距离的信息等)或尺寸信息(例如，候选图像框的宽度、高度和像素的数量等)被传送给控制单元30作为候选图像信息。需要注意的是，这里，由于候选图像信息是指示用作候选图像的图像区域的帧的信息，所以术语候选图像信息也被称为“候选图像框信息”。

另外，候选检测单元27可对图像执行平滑处理、异常值(outlier) 去除处理等以产生候选图像框信息。

在图3的例子中设置候选检测单元27被实现在数字信号处理单元20中的功能结构，但这是例子，并且控制单元30可执行候选检测单元27的处理。

控制单元30由具有CPU、ROM(只读存储器)、RAM(随机存取存储器)、闪存等的微型计算机(算术处理装置)构成。

通过执行存储在ROM、闪存等的程序，CPU全面地控制整个成像设备10。

当CPU执行各种数据处理时用作工作区域的RAM被用于暂时地存储数据、程序等。

ROM和闪存(非易失性存储器)被用于存储CPU控制每个单元所需的OS(操作系统)、内容文件(诸如，图像文件)、用于各种操作的应用程序、固件等。例如，用于执行将在本例子中稍后描述的主要对象确定处理的程序和另外的使用主要对象确定结果的应用程序等被存储在所述ROM和闪存中。

上述控制单元30控制与数字信号处理单元20中的各种信号处理的指令相关的需要的单元的操作、根据用户操纵的成像操作和记录操作、记录的图像文件的再现操作、照相机操作(诸如，变焦、聚焦和曝光调整)、用户界面操作等。

在本实施例的情况下，控制单元30具有主要对象确定单元30a 和摄影操作确定单元30b的功能并且执行将要在以下描述的摄影操作确定处理和主要对象确定处理。

在图3中的结构的情况下，摄影操作确定单元30b执行上述平移操作确定、平移后确定、变焦操作确定、变焦后确定、平移后变焦操作确定、平移后变焦后确定、变焦后平移操作确定和变焦后平移后确定中的任何一个。然后，设置主要对象确定处理的开始定时。具体地讲，确定执行标记(将要在以下描述的确定执行标记FDon)被打开。

主要对象确定单元30a执行根据基于摄影操作确定单元30b的确定结果的开始定时的设置在候选图像中确定主要对象的处理。

用户接口33向用户执行显示输出和音频输出，并且接收用户操纵的输入。由于这个原因，用户接口具有显示装置、操纵装置、扬声器装置、麦克风装置等。这里，示出显示单元34和操纵单元35。

显示单元34是为用户(拍摄者等)执行各种类型的显示的显示单元，并且例如使用形成在成像设备10的壳体上的显示装置(例如， LCD(液晶显示器)或有机EL(场致发光)显示器)形成显示单元34。另外，可按照所谓的取景器形式使用LCD或有机EL显示器形成显示单元。

这个显示单元34包括显示装置和允许显示装置执行显示的显示驱动器。显示驱动器允许基于控制单元30的指令在显示装置上执行各种类型的显示。例如，显示驱动器在显示装置的屏幕上再现和显示捕捉并且记录在记录介质中的静止图像或动态图像，或者基于在释放 (快门操纵)待机期间捕捉的每个帧的捕捉图像数据显示贯通图像(对象监视图像)作为动态图像。另外，显示驱动器允许各种操纵菜单、图标、消息等(也就是说，GUI(图形用户界面))被显示在屏幕上。在本实施例的情况下，例如，还执行帮助用户确定从贯通图像或再现图像上的主要对象确定获得的确定结果的显示。

操纵单元35具有接收用户操纵的输入功能，并且将与输入操纵对应的信号发送给控制单元30。

操纵单元35例如由布置在成像设备10的壳体上的各种操纵器、形成在显示单元34上的触摸面板等实现。

作为壳体上的操纵器，提供再现菜单开始按钮、决定按钮、箭头键、取消按钮、变焦操作杆、滑动键、快门按钮(释放按钮)等。

另外，通过使用触摸面板和显示单元34上显示的图标和菜单的触摸面板操纵，可实现各种操纵。

用户接口33的显示单元34的操作等由UI控制器32根据控制单元30的指令控制。另外，由UI控制器32将由操纵单元35执行的操纵的信息发送给控制单元30。

在本实施例的情况下，例如，变焦操作杆(广角键或远摄键)的操纵被用于摄影操作确定。控制单元30经UI控制器32检测变焦操作杆的操纵并且根据关于该操纵的信息控制光学系统驱动单元13以执行变焦透镜驱动。

记录单元15包括例如非易失性存储器，并且用作用于存储图像文件(内容文件)(诸如，静止图像数据或动态图像数据)、图像文件的属性信息、缩略图图像等的存储区域。

图像文件被以例如JPEG(联合图像专家组)、TIFF(标记图像文件格式)、GIF(图形交换格式)等的形式存储。

能够以各种方式考虑记录单元15的实际形式。例如，记录单元 15可以是嵌入在成像设备10中的闪存，或者可具有基于存储卡(例如，便携式闪存)的形式，所述存储卡可连接到成像设备10和对存储卡执行记录和再现访问的卡记录和再现单元并且可从成像设备10和卡记录和再现单元拆下。另外，记录单元可被实现为嵌入在成像设备 10中的HDD(硬盘驱动器)等的形式。

另外，在本例子中，用于执行将在稍后描述的摄影操作确定处理和主要对象确定处理的程序可被存储在记录单元15中。

通信单元16以有线或无线方式与外部装置执行数据通信或网络通信。

例如，通信单元与外部显示设备、记录设备、再现设备等执行捕捉图像数据(静止图像文件或动态图像文件)的通信。

另外，作为网络通信单元，通信单元可通过各种网络(例如，互联网、家庭网络或LAN(局域网))执行通信，或者与网络上的服务器、终端等执行各种类型的数据发送和接收。

传感器单元14全面地指示各种传感器。传感器单元14的各种传感器中的任何传感器将每个检测到的信息传送给控制单元30。控制单元30能够使用由传感器单元14检测的信息执行各种控制。

例如，检测成像设备10的所有运动(诸如，成像设备10的照相机摇晃或姿势或移动(平移移动、倾斜移动等))的陀螺仪传感器(角速度传感器)或加速度传感器被提供作为传感器单元14。例如，控制单元30能够基于由陀螺仪传感器检测的信号检测成像设备10的平移或倾斜。

光学系统11中的检测变焦透镜的位置的变焦透镜位置传感器和检测聚焦透镜的位置的聚焦透镜位置传感器被提供作为传感器单元 14。替代地，在一些情况下提供检测聚焦透镜的手动操纵(透镜镜筒环的操纵)的传感器。控制单元30能够基于由聚焦透镜位置传感器检测的信息或检测聚焦透镜的手动操纵的传感器的信息检测用户的手动聚焦操纵。

在一些情况下，检测机械光圈(节流机构)的打开量的传感器被提供作为传感器单元14。

通过曝光调整等检测外部照度的照度传感器或测量对象距离的测距传感器可被提供作为传感器单元14。

在成像设备10中，图1中描述的图像处理装置1的结构部分如下。

与图1中的图像处理装置1的主要对象确定单元2对应的结构通过软件而被作为主要对象确定单元30a安装在成像设备10的控制单元30上。与摄影操作确定单元3对应的结构通过软件而被作为摄影操作确定单元30b安装在控制单元30上。

控制单元30通过基于权利要求中描述的程序执行处理来控制作为权利要求中描述的图像处理方法的操作的执行。

<3.主要对象确定的机会和目的等>

在本实施例中，如将在稍后描述的第一至第九处理例子中所述，执行主要对象确定，并且将描述用于在成像设备10中执行主要对象确定的机会、目的等。

首先，将描述使用主要对象确定结果的例子。

当例如用户(拍摄者)对准快门定时(释放定时)时执行主要对象确定，但控制单元30能够在自动地确定主要对象之后执行下面的处理。

●跟踪处理

跟踪在每个捕捉帧中设置的主要对象。例如，为用户在贯通图像显示上指定主要对象，并且提供主要对象以用于由用户执行的调整视角(例如，用于在照相机被握在手中的状态下的对象的决定)。

需要注意的是，作为主要对象的呈现，考虑由显示单元34执行的贯通图像显示上的主要对象的框的突出显示。另外，可在紧接在该确定之后的给定时间段期间执行突出显示等，或者只要主要对象存在于贯通图像内，就可执行突出显示等。

●聚焦

对于主要对象控制自动聚焦。另外，根据跟踪处理，即使当主要对象来回移动时，也调整焦点，跟踪主要对象。

●曝光调整

基于主要对象的亮度(照度)执行自动曝光调整。

●方向性调整

当与捕捉(例如，动态图像捕捉)一起使用麦克风执行声音收集时，根据视场内的主要对象的方向执行方向性调整。

●变焦控制

针对主要对象控制自动变焦。例如，变焦透镜被自动地驱动，以使得主要对象总是以预定尺寸或更大尺寸投影在捕捉图像中。与跟踪处理一起，视角可被设置为根据到主要对象的距离的变化使用变焦而被调整。

●记录开始控制

主要对象确定可被设置为触发动态图像捕捉的开始。例如，根据主要对象的决定，开始动态图像捕捉和记录。

另外，主要对象也能够被用于针对捕捉图像信号执行的各种信号处理。

●图像效果处理

仅对每个捕捉帧中的主要对象的区域执行包括图像质量调整、噪声减少、皮肤颜色调整等的图像处理。

替代地，还考虑在除主要对象的区域之外的区域中增加图像效果，例如马赛克处理、喷雾处理、绘画处理等。

●图像编辑处理

对捕捉图像或记录的图像执行编辑处理，诸如成帧、修剪等。

例如，能够执行包括主要对象的帧内的部分区域的修剪、放大等的处理。

另外，能够执行捕捉图像数据的图像外围部分的切除等，以使得主要对象布置在图像的中心，并且能够执行构图调整。

这些仅是例子，并且除了这些例子之外还考虑为了使用设置的主要对象而在成像设备中包括的应用程序或自动调整功能的各种处理。

接下来，考虑执行摄影操作确定和主要对象确定处理的各种时间点。

例如，当成像设备10被视为打开以执行成像时(贯通图像被显示在显示单元34上的时间段)，可执行摄影操作确定和在基于摄影操作确定的定时的主要对象确定处理。

当确定主要对象并且执行跟踪处理时，可在跟踪失败的时间点再次执行摄影操作确定和主要对象确定处理。

摄影操作确定和主要对象确定处理可被构造为根据用户的操纵开始。另外，摄影操作确定和主要对象确定处理可被构造为例如当用户选择确定执行模式并且摄影操作确定和主要对象确定处理被正常地执行时或当跟踪失败时开始。另外，还能够考虑摄影操作确定和主要对象确定处理自动地开始而没有用户的操纵。

通过执行主要对象确定处理来实现下面的效果。

如前所述，当拍摄者在握着成像设备10的情况下对准对象时，自然难以执行指定主要对象的操纵。

特别地，当如平移和倾斜中一样沿固定方向连续地改变成像方向时，或者当未沿固定方向改变成像方向时，难以执行指定主要对象的操纵。

另外，许多次指定主要对象的动作是很麻烦的。

如果主要对象确定被设置为自动执行，则这种麻烦被克服，并且获得减小用户的压力的效果。

另外，由用户携带并且使用的成像设备10(诸如，由通常用户使用的数字静止照相机、移动电话中所包括的照相机等)具有小尺寸的显示单元34，因此，用户难以在屏幕上执行指定主要对象的准确操纵。通过如本实施例中所述执行自动确定来解决错误指定的问题。

另外，如果成像设备10被设置为自动地执行主要对象确定，则用户在他或她握着成像设备10以对准对象或改变成像方向以跟踪对象的情况下执行主要对象确定，并且因此，获得用户从该设备感受到的该设备的智能的感觉的增强和附加价值的提高的效果。

另外，由于用户能够在具有能够仅通过自然地使用该设备来对主要人物成像的感觉的情况下使用成像设备10，所以成像机会和与其关联的使用情况能够增加，并且因此，用户友好的照相机能够被提供给用户。

基于以上几点，作为手持类型的照相机，自动地执行主要对象确定的本实施例的成像设备10是特别优选的。

<4.第一处理例子(平移操作确定)>

摄影操作确定和主要对象确定操作将会被描述为根据实施例的成像设备10的第一处理例子。这是在平移操作期间执行主要对象确定的例子。也就是说，摄影操作确定单元30b确定用户沿基本上水平的方向移动成像设备10的平移操作。然后，主要对象确定单元30a在平移操作期间执行主要对象确定处理。

在图像数据中提取候选图像并且确定始终接近预定确定参考点的候选图像是主要对象的处理能够被用作主要对象确定处理的例子。

图4示意性地显示在候选检测单元27中执行的候选图像框提取操作和图3中示出的控制单元30的操作。

图4显示通过成像设备10的光学系统11和成像器12的操作输入到数字信号处理单元20的捕捉图像信号的每个帧FR1、FR2、 FR3、...。检测单元27针对如上所述顺序地输入的连续的帧中的每一个(或针对每个间断的帧)执行候选图像的检测。例如，当如该附图中所示在帧FR1中存在三个人时，提取这些人的脸图像部分中的每一个作为候选图像，然后输出候选图像框E1、E2和E3的候选图像框信息。例如，候选图像框E1的候选图像框信息包括例如候选图像框E1的图像内的位置信息(x和y位置信息和对象距离信息)和该帧的尺寸信息(该帧的宽度、高度和像素的数量)和属性信息等。

候选检测单元27还产生关于候选图像框E2和E3的这种候选图像框信息，然后将该信息传送给控制单元30(主要对象确定单元 30a)。

以相同方式，候选检测单元27提取后面的帧FR2、FR3、...的候选图像，产生图像的每个候选图像框的候选图像框信息，然后将该信息传送给控制单元30(主要对象确定单元30a)。

另一方面，控制单元30(摄影操作确定单元30b)基于检测信息Ic 检测摄影操作(例如，平移或变焦)并且根据摄影操作设置确定开始定时。具体地讲，确定执行标记Fdon被设置为“1”。因此，控制单元 30(主要对象确定单元30a)使用候选图像框信息执行主要对象确定处理。

每次控制单元获得每个帧的候选图像框信息时，控制单元30(主要对象确定单元30a)计算与确定参考点的距离作为每个候选图像框的位置状态。

图5A显示确定参考点SP的例子。这是这样的例子：图像的中心被设置为确定参考点SP。确定参考点SP的x和y坐标值被设置为(Cx，Cy)。

当在帧FR1的时间获得每个候选图像框E1、E2和E3的候选图像框信息时，例如，控制单元30计算从该附图中示出的候选图像框 E1、E2和E3的每个重心G到确定参考点SP的距离Diff1、Diff2和 Diff3。

需要注意的是，将确定参考点SP设置在屏幕的中心是例子。

确定参考点SP可被设置在例如位于中心的稍微左上侧的位置，如图5B中所示。这是因为，当例如考虑静止图像的构图时，将会考虑主要对象最好布置在不是中心的位置的许多情况。

此外，在图5B的情况下，计算每个候选图像框(例如，E4或E5) 和确定参考点SP之间的距离(例如，Diff4和Diff5)，如图6B中所示。

确定参考点SP可如图5A 和5B 中所示被设置在例如这种固定位置，或者可由用户通过显示屏幕上的触摸操纵等任意地指定。另外，用于确定参考点的几个候选点可在显示单元34的屏幕上被呈现给用户，以使得用户能够选择一个候选点。另外，考虑控制单元30根据图像的内容、图像分析结果等考虑到构图等确定最佳位置以用于自动设置。

换句话说，关于确定参考点SP考虑下面的条件；

●设置在预先决定的固定位置，诸如图像的中心的位置、偏离中心的位置等；

●由用户任意地指定；

●进行设置，从而几个候选点被呈现给用户以使得用户能够选择一个候选点；

●由根据图像的内容确定最佳位置的控制单元30以自动方式灵活地设置；等。

在每个帧的时间点获得作为候选图像框E(n)的位置状态的距离 Diff(n)。

控制单元30(主要对象确定单元30a)在平移操作期间监测作为候选图像框E(n)的位置状态的距离Diff(n)，确定平均地、累积地或连续地接近确定参考点SP的候选图像框，并且设置该候选图像框作为主要对象。主要对象确定单元30a根据由摄影操作确定单元30b执行的平移操作的检测执行这个处理。这个操作被示出在图6中。

首先，图6A显示由摄影操作确定单元30b执行的平移操作的检测的处理和确定执行标记Fdon的处理。摄影操作确定单元30b从正常状态(时间段tnor)起执行摄影操作。这里提及的正常状态表示用户正常地携带或握着照相机的状态。也就是说，假设正常状态是不执行平移、倾斜、变焦和手动聚焦的时间段。为了描述，正常状态被称为正常时间段tnor。

假设用户在某个时间点(平移时间段tpan)执行沿基本上水平的方向移动成像设备10的平移操作。在平移开始之后，摄影操作确定单元30b在平移确定时间段Tpon期间检测到平移操作并且平移执行标记Fpon被设置为“1”。在第一处理例子中，确定执行标记Fdon根据平移执行标记Fpon而被设置为“1”。

根据确定执行标记Fdon＝1的设置，主要对象确定单元30a开始主要对象确定处理。在这个定时开始的主要对象确定处理是为该确定执行的实际处理。主要对象确定处理的例程可预先开始。例如，在将要在以下描述的图8的处理例子中，例如，在设置确定执行标记 Fdon＝1之前，仅执行候选图像框信息的获得。当然，主要对象确定处理可根据确定执行标记Fdon＝1的设置(包括候选图像框信息的获得)而开始。

图6显示在假设候选图像框E1、E2和E3在某个时间段期间在平移操作期间连续地存在于帧(FR1、FR2、...)中的情况下的计算的距离Diff1、Diff2和Diff3的变化的状态。例如，假设这样的情况：拍摄者正在使用成像设备10在给定时间段期间捕捉三个对象。因为三个人中的每一个独立地移动，所以拍摄者移动成像设备10的对象距离，发生照相机摇晃等，并且每个计算的距离Diff1、Diff2和 Diff3在时间轴上改变。

在将要在以下描述的图8的处理例子中，基于接近确定参考点 SP的状态的累积时间执行主要对象确定。因此，距离阈值Thr-diff 被用于确定“接近还是未接近”。

图6C显示关于距离是否在距离Diff1、Diff2和Diff3的每个时间点位于距离阈值Thr-diff内的确定结果。当距离Diff(n)等于或小于距离阈值Thr-diff时，假设设置接近＝“1”。通过累加在每个时间点的确定结果“1”而获得的值超过时间阈值的对象被确定为主要对象。

从该确定的开始到该确定的结束的时间段根据特定处理例子而不同。在将要在以下描述的图8的处理例子中，等于或小于距离阈值 Thr-diff的确定结果“1”的累加值是指示候选图像框在该时间点之前稳定地接近确定参考点SP的状态的累积时间。当找到累积时间达到预定值(将要在以下描述的计数阈值Tht)的候选图像时，设置主要对象确定的结束的定时。

例如，在图6C的例子中，候选图像框E3被确定为连续地设置为“1(＝接近确定参考点SP)”。然而，当累加值达到某个预定值时，该确定结束并且候选图像框E3被确定为主要对象。

将描述特定处理例子。首先，将参照图7描述由控制单元30(摄影操作确定单元30b)执行的摄影操作确定处理。这个处理是检测到平移操作正被执行并且打开确定执行标记Fdon的处理。

图7B表示检测到平移操作正被执行的操作。当传感器单元14 中的陀螺仪传感器的输出(检测信号Sg)未显著移动时，该输出在参考水平Sc(例如，零水平)附近。当平移操作正被执行(例如，用户沿基本上水平的方向移动成像设备10)时，检测信号Sg连续地指示在某个正或负的水平的基本上恒定的值。因此，在以参考水平Sc为中心的正值和负值的范围中设置阈值范围Sth。

在正常时间段tnor期间，检测信号Sg在参考水平Sc附近。然而，在平移时间段tpan期间，连续地观察到检测信号Sg超过阈值范围Sth的水平。

因此，当检测信号Sg在等于或大于设置为平移确定时间段 Tpon的某个时间的时间期间连续地超过阈值范围Sth时，平移被确定为被执行并且平移执行标记Fpon被设置为“1”。因此，用于控制主要对象确定的开始的确定执行标记Fdon被设置为“1”。当设置了确定执行标记Fdon＝1时，执行主要对象确定处理。

平移确定时间段Tpon是为了使得检测信号Sg瞬时增加的状态不被错误地确定为平移操作而提供的时间段。也就是说，平移确定时间段Tpon是为了在检测信号Sg连续较高的状态下确定平移而提供的时间段。

如图7A中一样执行确定执行标记Fdon的处理。控制单元30(摄影操作确定单元30b)通过重复图7A的处理来检测平移操作。

在步骤F200中，控制单元30获取由传感器单元14的陀螺仪传感器检测的角速度信息作为检测信号Sg。

在步骤F201中，控制单元30确定是否Sg>Sc+Sth/2和 Sg＜Sc-Sth/2之一成立。也就是说，这个处理是使用图7B中示出的参考水平Sc和阈值范围Sth的值确定是否检测信号Sg改变为正值或负值并且超过阈值范围Sth的处理。

当检测信号Sg未超过阈值范围Sth时，该处理前进至步骤 F206，计数值PanOnCnt被设置为零，并且平移执行标记Fpon被设置为零。计数值PanOnCnt是用于确定是否超过平移确定时间段 Tpon的计数值。

然后，在步骤F207中，以平移执行标记Fpon的值替换确定执行标记Fdon。也就是说，在这种情况下，确定执行标记Fdon＝0。

当检测信号Sg超过阈值范围Sth时，控制单元30使该处理从步骤F201前进至步骤F202，并且计数值PanOnCnt增加。

然后，在步骤F203中，控制单元30将计数值PanOnCnt与平移确定时间段Tpon进行比较。当计数值PanOnCnt未达到平移确定时间段Tpon时，平移执行标记Fpon在步骤F205中被设置为零。然后，在步骤F207中，以平移执行标记Fpon的值替换确定执行标记Fdon。也就是说，即使在这种情况下，也设置确定执行标记 Fdon＝0。

当在步骤F203中计数值PanOnCnt被确定为达到平移确定时间段Tpon时，控制单元30在步骤F204中设置平移执行标记 Fpon＝1。也就是说，在平移确定时间段Tpon期间，确认检测信号 Sg连续地超过阈值范围Sth。基于这个确认，平移被确定为被执行。

然后，在步骤F207中，以平移执行标记Fpon的值替换确定执行标记Fdon。在这种情况下，设置确定执行标记Fdon＝1。也就是说，主要对象确定处理在平移操作期间开始。

在平移继续进行的同时，重复执行步骤F203→F204→F207的处理并且保持确定执行标记Fdon＝1的状态。

其后，当平移操作结束时，执行进行步骤F201→F206→F207的处理并且因此设置确定执行标记Fdon＝0。

图8显示由控制单元30(主要对象确定单元30a)执行的主要对象确定处理。

这个例子是这样的处理例子：关于主要对象确定，控制单元30 继续获得候选图像框信息，并且根据上述确定执行标记Fdon＝1的设置开始实际确定处理(步骤F105至F115)。

控制单元30例如在每个帧定时执行步骤F101至F104和 F116(在确定执行标记Fdon＝1的时间段期间，步骤F101至F116)的处理。

当控制单元30开始主要对象确定处理时，在步骤F100中设置变量TSF＝0并且计数值Cnt(n)＝0被首先设置为初始设置。

变量TSF是指示主要对象设置是否结束的标记。TSF＝“0”指示：未确定主要对象。

计数值Cnt(n)是将图6中描述的距离Diff和距离阈值Thr-diff 的比较确定结果的值相加的计数器的值。

需要注意的是，“n”指示自然数1、2、3...，并且计数值Cnt(n) 被设置为与每个检测到的候选图像框E(n)(比如，候选图像框E1、E2 和E3)对应的计数值。当检测到三个候选图像框E1、E2和E3时， Cnt1、Cnt2和Cnt3被用作计数值。为了流程图的描述起见，建议：关于计数值Cnt(n)的处理被理解为例如以Cnt1、Cnt2和Cnt3中的每一个为目标的处理。

另外，以相同方式，距离Diff(n)统一指示从确定参考点SP到三个候选图像框E1、E2和E3中的每一个的距离Diff1、Diff2和 Diff3，并且关于距离Diff(n)的处理被用于表示例如关于距离Diff1、 Diff2和Diff3中的每一个的处理。

这也适用于接近标记Flg(n)和偏移值OFS(n)。

另外，候选图像框E(n)指示候选图像框E1、E2、E3...中的每一个，但优选地在多个帧上针对每个对象区分候选图像框E(n)。在候选检测单元27提取脸的例子中，当人A、人B和人C是对象时，例如，在每个帧中共同地将人A的脸图像部分设置为候选图像框E1，将人B的脸图像部分设置为候选图像框E2，并且将人C的脸图像部分设置为候选图像框E3。如果仅人D被作为对象插入在某个中间帧中，则人D的脸图像部分被设置为候选图像框E4。因此，候选检测单元27最好不仅只检测“脸”，还确定实体(个体)。

在步骤F101中，控制单元30从候选检测单元27获得某个帧的候选图像框信息。例如，关于每个候选图像框E(n)，获取作为位置信息的包括图像数据的二维(x-y)坐标值的x值和y值的信息以及作为尺寸信息的候选图像框的宽度w和高度h。

需要注意的是，候选图像框信息还可包括对象距离(对象与由与二维(x-y)坐标平面正交的z轴方向的值指示的照相机位置的相对距离；z值)、像素的数量等。

在步骤F102中，控制单元30计算关于每个候选图像框E(n)的重心G的坐标。

例如，对于候选图像框信息，给出正方形候选图像框的左上顶点的坐标值作为候选图像框的x和y坐标值。x和y坐标值被设置为 (E(n)_x，E(n)_y)。另外，如图5A中所示，x和y坐标具有屏幕平面的左上部分作为原点O(其中x和y坐标值是(0，0))。

另外，候选图像框E(n)的宽度w被设置为E(n)_w，并且其高度h被设置为E(n)_h。

然后，如果候选图像框E(n)的重心G的坐标值被设置为 (E(n)_cx，E(n)_cy)，则如下获得重心G的坐标值。

E(n)_cX＝E(n)_cx+E(n)_w/2

E(n)_cy＝E(n)_cy+E(n)_h/2

在步骤F103中，控制单元30计算从每个候选图像框E(n)的重心G到确定参考点SP的距离Diff(n)。利用确定参考点SP的坐标值 (Cx，Cy)，如下获得该距离。

Diff(n)＝√{(E(n)_cx-Cx)²+(E(n)_cy-Cy)²}

在步骤F104中，控制单元30确认确定执行标记Fdon和变量 TSF。当设置了变量TSF＝0并且设置了确定执行标记Fdon＝1时，该处理前进至步骤F105。在其它情况下，不执行实际确定处理(F105至 F115)并且该处理前进至步骤F116。

例如，在在执行主要对象确定之后不需要主要对象确定处理的时间段期间或者当设置了操作模式时，设置变量TSF＝1并且不执行主要对象确定处理。

当通过用户的操纵、自动开始确定等根据需要执行图6的主要对象确定处理时，例如，可能不需要步骤F104的处理。

另外，在这种情况下，为了在平移操作期间执行主要对象确定，当设置确定执行标记Fdon＝0时，不执行主要对象确定处理。

当设置了变量TSF＝0并且设置了确定执行标记Fdon＝1时，控制单元30在步骤F105、F106和F107中确认每个候选图像框E(n)是否满足距离Diff(n)的预定条件。

也就是说，使用距离阈值Thr-diff确定与确定参考点SP的距离 Diff(n)是接近确定参考点SP还是不接近确定参考点SP。

因此，在步骤F105中，控制单元30将每个候选图像框E(n)的与确定参考点SP的距离Diff(n)与距离阈值Thr-diff进行比较。当满足Diff(n)＜Thr-diff时，在步骤F106中设置接近标记Flg(n)＝1(接近)。当不满足Diff(m)＜Thr-diff时，在步骤F107中设置接近标记Flg(n)＝0(不接近)。

接近标记Flg(n)对应于图6C中描述的“1”或“0”的确定结果。

随后，在步骤F108、F109和F110中，控制单元30根据接近标记Flg(n)是“1”还是“0”为计数处理设置偏移值OFS(n)。

例如，当设置了接近标记Flg(g)＝1时，控制单元30在步骤F109 中设置偏移值OFS(n)＝α。这里，α是用于使计数器增加的预定值。例如，设置α＝1。

当设置了接近标记Flg(g)＝0时，控制单元30在步骤F110中设置偏移值OFS(n)＝β。这里，β是用于保持计数值或减小计数值的预定值。当保持计数值时，设置β＝0。当减小计数器时，例如，设置β＝-1。

然后，在步骤F111中，控制单元30执行计数器的计数值Cnt(n) 的处理以确定是否始终观察到与确定参考点SP的接近状态。具体地讲，假设CNT(n)＝CNT(n)+OFS(n)。

当在前面的步骤F109中考虑α＝1并且设置了偏移值OFS(n) 时，增加计数值CNT(n)。

当在步骤F110中考虑β＝0(或β＝-1)并且设置了偏移值OFS(n) 时，保持(或减小)计数值CNT(n)。

当检测到接近状态时，增加计数值CNT(n)。因此，计数值 CNT(n)变为与检测到候选图像框E(n)的对象接近确定参考点SP的状态的时间段的长度对应的值。也就是说，计数值Cnt(n)变为指示候选图像框E(n)“接近”确定参考点SP的状态的频度的值。

接下来，在步骤F112中，控制单元30确认每个候选图像框E(n) 的计数值Cnt(n)是否达到计数阈值Tht。

当不满足Cnt(n)≥Tht(也就是说，没有候选图像框E(n)的计数值 Cnt(n)达到计数阈值Tht)时，在步骤F113中设置变量TSF＝0，在步骤F116中不确该确定的结束，并且该处理返回到步骤F101。在这种情况下，基于关于随后的帧输入的候选图像框信息以上述方式执行在步骤F101之后的处理。

在步骤F116中，当设置了变量TSF＝0时，主要对象的确定被确定为未完成并且该确定处理继续进行。当设置了变量TSF＝1时，假设主要对象确定完成。当在上述步骤F104中检测到变量TSF＝1时，该确定直接结束。

虽然详细描述被省略，但平行于这个例子的自动主要对象确定，例如用户可被允许通过在显示单元34的屏幕上触摸主要对象的操纵或根据屏幕上的对象的预定位置半按压快门按钮的操纵选择主要对象。当用户在图8的处理的执行期间执行这种指定操纵时，希望对用户的操纵给予优先权。因此，当通过这种手动操纵执行主要对象设置时，设置变量TSF＝1。在这种情况下，通过步骤F104和F116的确定，图8的处理可结束(中断结束)。

由于在某个时间长度上执行主要对象确定，所以如果在某个时间段(许多帧)期间未执行关于候选图像框信息的处理，则该处理从步骤 F116返回到步骤F101并且如上所述重复处理。

这里，例如，图6B中示出的某个候选图像框E3可以是不连续的，但假设该框以高频度在捕捉图像上在多个帧中存在于接近确定参考点SP的位置的情况。因此，随着时间过去，产生候选图像框E3 的计数值Cnt3在步骤F111中增加的许多机会，并且比计数值Cnt1 和Cnt2更快速地获得计数值Cnt3。

然后，计数值Cnt3在某个时间点第一次达到计数阈值Tht。

在这种情况下，控制单元30使处理从步骤F112前进至F114。

在步骤F114中，控制单元30确定计数值Cnt(n)达到计数阈值 Tht的候选图像框E(n)是主要对象并且设置主要对象。设置变量 TSF＝1。也就是说，在平移操作期间，始终接近确定参考点SP(例如，图像的中心)的候选图像的对象被设置为主要对象。

在步骤F115中，输出主要对象信息。例如，发送和接收使用主要对象信息的应用程序或控制程序。

在这种情况下，在步骤F116中，考虑该确定结束。也就是说，例如，候选图像框E1被设置为主要对象并且图8的主要对象确定处理完成。

在该处理例子中，该处理继续进行，直至变量TSF＝1。然而，当平移操作结束时，实际确定处理(步骤F105至F115)结束。

连续地执行图7A的摄影操作确定处理。当平移操作结束时，在步骤F206中设置平移执行标记Fpon＝0并且在步骤F207中考虑确定执行标记Fdon＝0。也就是说，当如图7B中一样正常时间段tnor在平移之后到来时，设置确定执行标记Fdon＝0。在这种情况下，这是因为图8的处理从步骤F104前进至步骤F116。

因此，当在平移操作结束之前未观察到计数值Cnt(n)达到计数阈值Tht的候选图像框E(n)时，可不执行主要对象确定。

虽然在图8中未示出，但当平移操作结束并且未执行确定执行标记Fdon＝0的确定时，计数值Cnt(n)可被重置为零。这是因为，计数值被构造为不留存到随后的平移时间段。另一方面，当候选图像框 E(n)的个体对应能够继续时，能够考虑保持计数值Cnt(n)并且计数值被构造为留存到随后的平移时间段。

根据上述第一处理例子，在平移操作期间接近确定参考点SP的对象被确定为主要对象。在许多情况下，用户在捕捉希望在捕捉图像内成像的对象的同时平移成像设备10。例如，用户能够追踪移动对象。因此，存在在平移期间接近确定参考点SP的对象是用户瞄准的对象的较高概率，并且可增加执行合适的确定作为主要对象确定的概率。通过这种处理为拍摄者自动地执行合适的主要对象确定，由此显著提高在成像时的可操作性。当通过主要对象确定自动地对主要对象执行聚焦控制或曝光控制时，例如，甚至不习惯成像操纵的用户也能够捕捉具有高质量的静止图像或运动图像。

能够考虑各种其它特定处理例子作为主要对象确定处理。

例如，当在图8的步骤F110中设置了β＝0时，计数值CNT(n) 对应于检测到累积地接近确定参考点SP的状态的次数的累加值。

当在图8的步骤F110中设置了β＝-1时，计数值CNT(n)能够被视为检测到平均地接近确定参考点SP的状态的值。

也就是说，在这种情况下，步骤F112的确定是在累积地或平均地接近确定参考点SP的状态下的确定。

另一方面，在等于或大于预定时间段的时间段期间连续地接近确定参考点SP的状态可被设置为条件。对于这种情况，当在步骤F108 中考虑接近标记Flg(n)＝1时，计数值CNT(n)增加，并且当在步骤 F108中考虑接近标记Flg(n)＝0时，计数值CNT(n)被重置为零。然后，当接近标记Flg(n)＝1的状态连续地达到预定时间时，计数值 Cnt(n)在步骤F112中达到计数阈值Tht并且候选图像框E(n)被确定为主要对象。

根据将连续地接近确定参考点SP的对象设置为主要对象，例如，能够防止暂时地位于中心的对象被确定为主要对象。因此，当仔细地执行主要对象确定时，这个确定是合适的。相反地，当希望在短时间内执行主要对象的确定或者希望尽可能容易地设置主要对象时，平均地或累积地接近确定参考点SP的对象被合适地确定为主要对象。

在上述累积确定、平均确定和连续确定的情况下，与计数阈值 Tht对应的特定确定值不同是合适的。

可在接近确定参考点SP的状态的计算中执行加权。例如，对于主要对象确定处理的执行时间段中的较晚的时间点，与确定参考点 SP的接近程度的值被更重地加权。

通常，当拍摄者对准对象并且执行摄影操作时，拍摄者最初未在预期位置(诸如，图像中心)捕捉希望成为主要人物的对象并且逐渐地调整照相机的方向。例如，拍摄者在平移的过程中逐渐地在图像的中心捕捉对象。考虑到这一点，随着时间过去，逐渐地在图像中心捕捉拍摄者最初视为“主要对象”的对象。

因此，通过随着时间过去在主要对象确定处理的执行期间对与确定参考点SP的接近程度的值进行加权，存在正在执行与拍摄者的想法一致的主要对象确定的较高概率。具体地讲，在步骤F109中代入到偏移值OFS(n)中的值α逐步地增加。通过如此操作，存在正在执行与拍摄者的想法一致的主要对象确定的较高概率。

在上述处理例子中，候选图像框的位置状态是与设置的确定参考点SP的位置关系，但可以是与确定参考区域的位置关系。

例如，设置在图像中心等的正方形或圆形区域并且这个区域被设置为确定参考区域。例如，每个候选图像框E(n)的与确定参考区域的位置关系被设置如下：

●是否中心在确定参考区域中；

●是否全部在确定参考区域中；

●是否至少一部分在确定参考区域中；或者

●是否到确定参考区域的外边缘的距离位于预定值内。

平均地、累积地或连续地满足这种位置关系的条件的候选图像框 E(n)可被确定为主要对象。

<5.第二处理例子(平移后确定)>

在平移操作之后执行主要对象确定的例子将会被描述为第二处理例子。对于随后的第二至第八处理例子执行与图8中描述的处理相同的主要对象确定处理，并且因此，将会省略其描述并且将会主要描述摄影操作确定处理。

在第二处理例子中，控制单元30(摄影操作确定单元30b)确定用户沿基本上水平的方向移动成像设备10的平移操作结束。在平移操作结束之后，主要对象确定单元30a执行主要对象确定处理。

图9显示平移后确定处理。

通过像第一处理例子中一样将来自陀螺仪传感器的检测信号Sg 与阈值范围Sth进行比较来设置在平移操作期间的确定(也就是说，平移执行标记Fpon)。

这里，对于平移执行标记Fpon，通过将当前值与前一个值进行比较(用前一个值减去当前值)来设置平移转变标记Fp_trans。平移执行标记Fpon是“1”或“0”。因此，当用在平移执行标记Fpon的前一个时间点的值减去当前值时，获得“0”、“+1”和“-1”之一。也就是说，在平移执行标记Fpon上升的时间点，利用0-1设置平移转变标记Fp_trans＝-1。在平移执行标记Fpon下降的时间点，利用1-0设置平移转变标记Fp_trans＝+1。在其它情况下，利用0-0或1-1设置平移转变标记Fp_trans＝0。

也就是说，平移转变标记Fp_trans用作平移执行标记Fpon的差分信息并且具体地讲是检测平移的开始或结束的信息。在这种情况下，平移转变标记Fp_trans＝+1用作指示平移结束时间点的信息。

在从设置平移转变标记Fp_trans＝+1的时间点起过去确定开始待机时间段TdonStart的时间点，确定执行标记Fdon被视为“1”。因此，当设置了确定执行标记Fdon＝1时，实际主要对象确定处理开始。

设置上限时间段TdonEnd，并且在从设置平移转变标记 Fp_trans＝+1的时间点起过去上限时间段TdonEnd的时间点，确定执行标记Fdon被视为“0”。因此，当设置了确定执行标记Fdon＝0 时，执行实际主要对象确定处理的时间段受到限制。

确定开始待机时间段TdonStart和上限时间段TdonEnd被视为例如固定值。

如图10中一样执行平移后确定处理。控制单元30(摄影操作确定单元30b)重复图10的处理并且设置确定执行标记Fdon。

在图10中，步骤F200至F206与图7A的步骤F200至F206相同。也就是说，根据陀螺仪传感器的检测信号Sg设置平移执行标记 Fpon。

在步骤F210中，设置平移转变标记Fp_trans。也就是说，设置平移转变标记Fp_trans＝(前一平移执行标记Fpon_1)-(平移执行标记 Fpon)。

前一平移执行标记Fpon_1是在前一次步骤F210的时间点的平移执行标记Fpon的值。因此，平移转变标记Fp_trans是图9中描述的“0”、“+1”和“-1”之一。

为了在随后的步骤F210中用作前一平移执行标记Fpon_1，当前平移执行标记Fpon的值被代入到前一平移执行标记Fpon_1中。

在步骤F211中，控制单元30确定是否满足平移转变标记 Fp_trans＝1或计数标记Fcntup＝1之一。计数标记Fcntup是在步骤 F212中被视为“1”并且在步骤F220中被视为“0”的标记并且被用于处理分支控制。

计数标记Fcntup仅在平移转变标记Fp_trans变为“1”并且随后达到上限时间段TdonEnd的时间段期间是“1”。因此，在平移转变标记Fp_trans变为“1”之前，计数标记Fcntup是“0”。

当设置了计数标记Fcntup＝0并且平移转变标记Fp_trans是“0”或“-1”时，控制单元30使该处理前进至步骤F214，将计数值 Fdoncnt重置为零，并且将计数标记Fcntup设置为“0”。计数值 Fdoncnt是用于控制确定执行标记Fdon是“1”的时间段的计数器的值。

然后，控制单元30在步骤F217中设置确定执行标记Fdon＝0。

如图9中所示，设置平移转变标记Fp_trans＝1的时间点是平移执行标记Fpon下降(也就是说，平移操作结束)的时间点。

在这种情况下，设置平移转变标记Fp_trans＝1，并且因此，控制单元30使该处理从步骤F211前进至步骤F212并且增加计数值 Fdoncnt。设置计数标记Fcntup＝1。

在步骤F213中，将计数值Fdoncnt与图9中示出的确定开始待机时间段TdonStart进行比较。

当最初设置平移转变标记Fp_trans＝1时，计数值Fdoncnt未超过确定开始待机时间段TdonStart。因此，该处理前进至步骤F215 并且考虑确定执行标记Fdon＝0。

在图10的处理中，在随后的时间点，平移转变标记Fp_trans返回到““0”。然而，由于计数标记Fcntup是“1”，所以控制单元30如前一次一样使该处理从步骤F211前进至步骤F212，增加计数值 Fdoncnt，并且继续设置计数标记Fcntup＝1。

也就是说，在设置平移转变标记Fp_trans＝1之后，设置计数标记Fcntup＝1，并且因此，该处理被视为继续前进至步骤F212。

当计数值Fdoncnt在某个时间点的步骤F213中超过确定开始待机时间段TdonStart时，控制单元30使该处理前进至步骤F216并且将计数值Fdoncnt与上限时间段TdonEnd进行比较。最初，由于计数值Fdoncnt未达到上限时间段TdonEnd，所以控制单元30使该处理前进至步骤F218并且设置确定执行标记Fdon＝1。

因此，在图8中示出的主要对象确定处理中，实际确定处理(步骤F105至F115)开始。

其后，由于计数标记Fcntup＝1在图10的处理中继续，所以在步骤F212中增加计数值Fdoncnt的同时重复步骤F213→F216的进展状态。在步骤F218中保持确定执行标记Fdon＝1，直至计数值 Fdoncnt达到上限时间段TdonEnd。

其后，在某个时间点的步骤F216中，计数值Fdoncnt超过上限时间段TdonEnd。在这种情况下，控制单元30使该处理前进至步骤 F219并且设置确定执行标记Fdon＝0。因此，即使当主要对象确定处理在图8的处理中未完成时，实际确定处理(步骤F105至F115)也在这个时间点结束。

在步骤F220中，假设计数标记Fcntup被设置为“0”。

在这种处理中产生图9中示出的确定执行标记Fdon，并且基于确定执行标记Fdon执行主要对象确定处理。

在步骤F219中考虑确定执行标记Fdon＝0之后，执行步骤F214 和F217的处理，并且确定执行标记Fdon＝0的状态继续，直至随后设置平移转变标记Fp_trans＝1。

在第二处理例子的情况下，在平移后时间段期间设置主要对象，但平移后时间段能够被估计为紧接在拍摄者通过平移捕捉目标对象之后的时间段。因此，存在目标对象位于图像数据中的较高概率。因此，通过在平移后时间段期间经图8的处理确定已在接近确定参考点 SP的状态下稳定的对象作为主要对象，实现以高准确性设置主要对象。通过自动主要对象确定实现用户的可操作性的提高。

根据图10的摄影操作确定处理，在设置平移转变标记Fp_trans＝1并且过去确定开始待机时间段TdonStart之后，确定执行标记Fdon被视为“1”。这意味着：在紧接在平移之后，捕捉图像显著摆动，并且因此，在这个时间段期间不执行主要对象确定。通过合适地设置确定开始待机时间段TdonStart，可进一步提高主要对象确定的准确性。

在一些情况下，能够考虑设置确定开始待机时间段 TdonStart＝0。因此，从设置平移转变标记Fp_trans＝1的时间点(也就是说，检测到平移的结束的时间点)起执行主要对象确定处理。例如，当拍摄者平移安装在三脚架或平台上的成像设备10并且紧接在平移之后图像的摇晃被视为较小时，可紧接在平移之后以这种方式立即执行主要对象确定。

根据图10的摄影操作确定处理，提供上限时间段TdonEnd以限制执行主要对象确定的时间段。在平移之后太长的时间段期间执行主要对象确定处理可导致与紧接在通过平移跟踪目标对象之后的操作情况的分离，并且存在根据用户的意图的主要对象不存在于根据用户的意图的图像中的较高概率。因此，通过在某种程度上限制在平移之后的时间段，存在通过平移跟踪的对象被确定为主要对象的较高概率。

当然，还能够考虑这样的处理例子：保持确定执行标记Fdon＝1 的状态而不提供上限，直至执行主要对象确定。

<6.第三处理例子(变焦操作确定)>

将描述第三处理例子。这个例子是在变焦操作期间执行主要对象确定的例子。也就是说，摄影操作确定单元30b确定用户执行成像设备10的变焦操作的情况。在变焦操作期间，主要对象确定单元30a 执行主要对象确定处理。

图11B显示检测执行变焦操作的操作。当用户操纵操纵单元35 的变焦操作杆时，能够检测到变焦操作。当用户操纵变焦操作杆时，控制单元30控制光学系统驱动单元13以移动变焦透镜。因此，控制单元30确定在连续地操纵变焦操作杆的时间段期间正在执行变焦操作。

当用户操纵变焦操作杆时，在成像设备10的操作中，正常时间段tnor前进至图11B的变焦时间段tzm。也就是说，变焦透镜开始移动。当检测到变焦操作杆的操纵的状态持续等于或大于设置为变焦确定时间段Tzon的时间的时间时，控制单元30(摄影操作确定单元30b)确定变焦被执行并且将变焦执行标记Fzon设置为“1”。因此，用于控制主要对象确定的开始的确定执行标记Fdon被设置为“1”。当设置了确定执行标记Fdon＝1时，执行主要对象确定处理。

变焦确定时间段Tzon是为了确定连续变焦操作被执行而提供的时间段。也就是说，变焦确定时间段Tzon是为了排除用户在短时间期间操纵变焦操作杆的情况而提供的时间段。

为了根据变焦操作设置确定执行标记Fdon，控制单元30(摄影操作确定单元30b)反复地执行图11A的处理。

控制单元30在步骤F300中获取变焦操作杆的操纵状态并且设置变量Szoom。例如，当变焦操作杆被操纵时，设置变量 Szoom＝1。当变焦操作杆未被操纵时，设置变量Szoom＝0。

在步骤F301中，参照变量Szoom确定变焦操作杆是否当前被推挤，也就是说，变焦操作是否被执行。

当设置了变量Szoom＝0并且变焦操作杆当前未被推挤时，控制单元30使该处理前进至步骤F306，将计数值ZoomOnCnt重置为零，并且将变焦执行标记Fzon设置为零。计数值ZoomOnCnt是用于确定是否已过去变焦确定时间段Tzon的计数值。

然后，在步骤F307中，变焦执行标记Fzon的值被代入到确定执行标记Fdon。也就是说，在这种情况下，设置确定执行标记 Fdon＝0。

当设置了变量Szoom＝1并且变焦操作杆当前被推挤时，控制单元30使该处理从步骤F301前进至步骤F302并且增加计数值 ZoomOnCnt。

然后，在步骤F303中，控制单元30将计数值ZoomOnCnt与变焦确定时间段Tzon进行比较。当计数值ZoomOnCnt未达到变焦确定时间段Tzon时，变焦执行标记Fzon在步骤F305中被设置为零。然后，在步骤F307中，变焦执行标记Fzon的值被代入到确定执行标记Fdon中。即使在这种情况下，也设置确定执行标记Fdon＝0。

当在步骤F303中确定计数值ZoomOnCnt达到变焦确定时间段 Tzon时，控制单元30在步骤F304中设置变焦执行标记Fzon＝1。也就是说，确认正在变焦确定时间段Tzon期间连续地执行变焦，并且因此确定变焦被连续地执行。

然后，在步骤F307中，变焦执行标记Fzon的值被代入到确定执行标记Fdon中。在这种情况下，设置确定执行标记Fdon＝1。

在这种处理中设置确定执行标记Fdon，并且基于确定执行标记 Fdon执行主要对象确定处理。

在变焦在其后还继续进行的同时，重复执行步骤 F303→F304→F307的处理并且保持确定执行标记Fdon＝1的状态。其后，当变焦操作结束时，执行进行步骤F301→F306→F307的处理并且因此设置确定执行标记Fdon＝0。

在图8的主要对象确定处理中，由于在确定执行标记Fdon＝1的时间段期间执行实际主要对象确定(参见图8的步骤F104)，所以利用设置为限制的变焦继续进行的时间段执行主要对象确定。

根据上述第三处理例子，在变焦操作期间接近确定参考点SP的对象被确定为主要对象。在许多情况下，用户在捕捉希望在捕捉图像内成像的对象的同时执行变焦操作。也就是说，在许多情况下，在变焦期间接近确定参考点SP的对象是用户瞄准的对象，并且因此可增加获得用户想要的主要对象确定结果的概率。通过自动主要对象确定实现用户的可操作性的提高。

<7.第四处理例子(变焦后确定)>

在变焦操作之后执行主要对象确定的例子将会被描述为第四处理例子。在这种情况下，控制单元30(摄影操作确定单元30b)确定用户结束成像设备10的变焦操作。然后，在变焦操作结束之后，主要对象确定单元30a执行主要对象确定处理。

图12显示变焦后确定操作。

如上述第三处理例子中一样，通过检测到用户连续地操纵变焦操作杆来设置在变焦操作期间的确定(也就是说，变焦执行标记Fzon)。

这里，对于变焦执行标记Fzon，通过将当前值与前一个值进行比较(用前一个值减去当前值)来设置变焦转变标记Fz_trans。变焦执行标记Fzon是“1”或“0”。因此，当用在变焦执行标记Fzon的前一个时间点的值减去当前值时，获得“0”、“+1”和“-1”之一。也就是说，在变焦执行标记Fzon上升的时间点，利用0-1设置变焦转变标记Fz_trans＝-1。在变焦执行标记Fzon下降的时间点，利用1-0设置变焦转变标记Fz_trans＝+1。在其它情况下，利用0-0或1-1设置变焦转变标记Fz trans＝0。

也就是说，变焦转变标记Fz_trans用作变焦执行标记Fzon的差分信息并且具体地讲是检测连续变焦操作的开始或结束的信息。在这种情况下，变焦转变标记Fz_trans＝+1用作指示变焦结束时间点的信息。

在从设置变焦转变标记Fz_trans＝+1的时间点过去确定开始待机时间段TdonStart的时间点，确定执行标记Fdon被视为“1”。因此，当设置了确定执行标记Fdon＝1时，实际主要对象确定处理开始。

设置上限时间段TdonEnd，并且在从设置变焦转变标记Fz_trans＝+1的时间点过去上限时间段TdonEnd的时间点，确定执行标记Fdon被视为“0”。因此，当设置了确定执行标记Fdon＝0时，执行实际主要对象确定处理的时间段受到限制。确定开始待机时间段TdonStart和上限时间段TdonEnd被视为例如固定值。

如图13中一样执行变焦后确定处理。控制单元30(摄影操作确定单元30b)重复图13的处理并且设置确定执行标记Fdon。

在图13中，步骤F300至F306与图11A的步骤F300至F306 相同。也就是说，这个处理是这样的处理：在超过变焦确定时间段 Tzon的时间段期间在检测到变焦操作杆的连续操纵时设置变焦执行标记Fzon＝1并且在该检测之前并且在不存在变焦操作杆的操纵时设置变焦执行标记Fzon＝0。

在步骤F310中，设置变焦转变标记Fz_trans。也就是说，设置“变焦转变标记Fz_trans＝(前一变焦执行标记Fzon_1)-(变焦执行标记 Fzon)”。

前一变焦执行标记Fzon_1是在前一次步骤F310的时间点的变焦执行标记Fzon的值。因此，变焦转变标记Fz_trans是图12中描述的“0”、“+1”和“-1”之一。

为了在随后的步骤F310中用作前一变焦执行标记Fzon_1，当前变焦执行标记Fzon的值被代入到前一变焦执行标记Fzon_1中。

在步骤F311中，控制单元30确定是否满足变焦转变标记 Fz_trans＝1或计数标记Fcntup＝1之一。计数标记Fcntup是在步骤 F312中被视为“1”并且在步骤F320中被视为“0”的标记并且被用于处理分支控制。

计数标记Fcntup仅在变焦转变标记Fz_trans变为“1”并且随后达到上限时间段TdonEnd的时间段期间是“1”。因此，在变焦转变标记Fz_trans变为“1”之前，计数标记Fcntup是“0”。

当设置了计数标记Fcntup＝0并且变焦转变标记Fz_trans是“0”或“-1”时，控制单元30使该处理前进至步骤F314，将计数值 Fdoncnt重置为零，并且将计数标记Fcntup设置为“0”。计数值 Fdoncnt是用于控制确定执行标记Fdon是“1”的时间段的计数器的值。

然后，控制单元30在步骤F317中设置确定执行标记Fdon＝0。

如图12中所示，当变焦操作结束并且变焦执行标记Fzon下降时，设置变焦转变标记Fz_trans＝1。

在这种情况下，设置变焦转变标记Fz_trans＝1，并且因此，控制单元30使该处理从步骤F311前进至步骤F312并且增加计数值 Fdoncnt。设置计数标记Fcntup＝1。

在步骤F313中，将计数值Fdoncnt与图12中示出的确定开始待机时间段TdonStart进行比较。

当最初设置变焦转变标记Fz_trans＝1时，计数值Fdoncnt未超过确定开始待机时间段TdonStart。因此，该处理前进至步骤F315 并且设置确定执行标记Fdon＝0。

在图13的处理中，在随后的时间点，变焦转变标记Fz_trans返回到“0”。然而，由于计数标记Fcntup是“1”，所以控制单元30如前一次一样使该处理从步骤F311前进至步骤F312，增加计数值 Fdoncnt，并且继续设置计数标记Fcntup＝1。

也就是说，在设置变焦转变标记Fz_trans＝1之后，设置计数标记Fcntup＝1，并且因此，该处理被视为继续前进至步骤F312。

当计数值Fdoncnt在某个时间点的步骤F313中超过确定开始待机时间段TdonStart时，控制单元30使该处理前进至步骤F316并且将计数值Fdoncnt与上限时间段TdonEnd进行比较。最初，由于计数值Fdoncnt未达到上限时间段TdonEnd，所以控制单元30使该处理前进至步骤F318并且设置确定执行标记Fdon＝1。

因此，在图8中示出的主要对象确定处理中，实际确定处理(步骤F105至F115)开始。

其后，由于计数标记Fcntup＝1在图13的处理中继续，所以在步骤F312中增加计数值Fdoncnt的同时重复步骤F313→F316的进展状态。在步骤F318中保持确定执行标记Fdon＝1，直至计数值Fdoncnt达到上限时间段TdonEnd。

其后，在某个时间点的步骤F316中，计数值Fdoncnt超过上限时间段TdonEnd。在这种情况下，控制单元30使该处理前进至步骤 F319并且设置确定执行标记Fdon＝0。因此，即使当主要对象确定处理在图8的处理中未完成时，实际确定处理(步骤F105至F115)也在这个时间点结束。

在步骤F320中，假设计数标记Fcntup被设置为“0”。

在这种处理中产生图12中示出的确定执行标记Fdon，并且基于确定执行标记Fdon执行主要对象确定处理。

在步骤F319中考虑确定执行标记Fdon＝0之后，执行步骤F314 和F317的处理，并且确定执行标记Fdon＝0的状态继续，直至随后设置变焦转变标记Fz_trans＝1。

在第三处理例子的情况下，在变焦后时间段期间设置主要对象，但变焦后时间段能够被估计为紧接在放大由拍摄者瞄准的目标对象并且设置视角之后的时间段。因此，存在目标对象位于图像数据中的较高概率。因此，通过在变焦后时间段期间经图8的处理确定已在接近确定参考点SP的状态下稳定的对象作为主要对象，实现以高准确性设置主要对象。通过自动主要对象确定实现用户的可操作性的提高。

根据图13的摄影操作确定处理，在设置变焦转变标记 Fz_trans＝1并且过去确定开始待机时间段TdonStart之后，确定执行标记Fdon被视为“1”。这意味着：考虑到紧接在用户的变焦操纵之后捕捉图像稍微摆动(由操纵导致的照相机摇晃)的事实，在这个时间段期间不执行主要对象确定。

通过合适地设置确定开始待机时间段TdonStart，可进一步提高主要对象确定的准确性。在上述第二处理例子中，即使在平移转变标记Fp_trans＝1之后也使用确定开始待机时间段TdonStart，但在变焦之后的捕捉图像的摆动被视为小于在平移之后的捕捉图像的摆动。因此，在第四处理例子的情况下的确定开始待机时间段TdonStart优选地被设置为比第二处理例子的确定开始待机时间段TdonStart短。

在一些情况下，能够考虑设置确定开始待机时间段 TdonStart＝0。因此，从设置变焦转变标记Fz_trans＝1的时间点(也就是说，检测到变焦的结束的时间点)起执行主要对象确定处理。这适合希望快速地执行主要对象的情况。

根据图13的摄影操作确定处理，提供上限时间段TdonEnd以限制执行主要对象确定的时间段。在变焦之后太长的时间段期间执行主要对象确定处理可导致与通过变焦调整关于目标对象的变焦视角时的操作情况的分离，并且主要对象存在于接近确定参考点SP的位置的准确性降低。因此，通过在某种程度上限制在变焦之后的时间段，可增加主要对象确定的准确性。

当然，还能够考虑这样的处理例子：保持确定执行标记Fdon＝1 的状态而不提供上限，直至执行主要对象确定。

<8.第五处理例子(平移后变焦操作确定)>

当在平移操作之后连续地执行变焦操作时在变焦操作期间执行主要对象确定的例子将会被描述为第五处理例子。

图14显示平移后变焦操作确定处理。

首先，为了确定平移操作的结束，使用第二处理例子中描述的构思。也就是说，如第一处理例子中一样，基于通过将来自陀螺仪传感器的检测信号Sg与阈值范围Sth进行比较而获得的比较结果设置平移执行标记Fpon。然后，对于平移执行标记Fpon，通过将当前值与前一个值进行比较(用前一个值减去当前值)来设置平移转变标记 Fp_trans。平移转变标记Fp_trans＝+1用作指示平移结束时间点的信息。

接下来，例如，确定是否在视为从平移结束时间点起的固定值的转变限制时间段Tpan_zoom内检测到变焦操作。当在转变限制时间段Tpan_zoom内未检测到变焦操作时，确定未执行从平移到变焦的连续操作并且确定执行标记Fdon不被设置为“1”。也就是说，不执行主要对象确定。

为了检测变焦操作，使用第三处理例子中描述的构思。也就是说，当检测到变焦操作杆的操纵的状态持续等于或大于设置为变焦确定时间段Tzon的时间的时间时，变焦被确定为被执行并且假设变焦执行标记Fzon被设置为“1”。因此，用于控制主要对象确定的开始的确定执行标记Fdon被设置为“1”。当设置了确定执行标记Fdon＝1 时，执行主要对象确定处理。

为了通过平移后变焦操作确定设置确定执行标记Fdon，控制单元30(摄影操作确定单元30b)反复地执行图15和16的处理。

由于图15的步骤F350至F357与图10的步骤F200至F206相同，所以重复的描述将会被省略。这些处理是设置平移转变标记Fp_trans以及检测设置平移转变标记Fp_trans＝+1的平移结束时间点的处理。

在步骤F358中，控制单元30确定是否满足平移转变标记 Fp_trans＝1和计数标记Fpe_cntup＝1之一。计数标记Fpe_cntup是在步骤F359中被视为“1”的标记并且被用于处理分支控制。具体地讲，计数标记Fpe_cntup是在平移结束时间点被视为“1”的标记，并且随后被配置，从而执行步骤F359和F362。

当设置了计数标记Fpe_cntup＝0并且平移转变标记Fp_trans是“0”或“-1”时，也就是说，在检测到平移的结束之前，控制单元30使该处理前进至步骤F358至步骤F360，将计数值PanEndCnt重置为零，并且将计数标记Fpe_cntup设置为“0”。计数值PanEndCnt是对图14中示出的转变限制时间段Tpan_zoom进行计数的计数器的值。

然后，控制单元30在步骤F361中设置确定执行标记Fdon＝0。

如图14中所示，在平移操作结束的时间点设置平移转变标记 Fp_trans＝1。在这种情况下，控制单元30使该处理从步骤F358前进至步骤F359并且增加计数值PanEndCnt。也就是说，转变限制时间段Tpan_zoom开始被计数。设置计数标记Fpe_cntup＝1。

然后，在步骤F362中，控制单元30执行中间变焦确定处理。中间变焦确定处理被示出在图16中。

在图15的处理中，在随后的时间点，平移转变标记Fp_trans返回到“0”。然而，由于计数标记Fpe_cntup被设置为“1”，所以控制单元30如前一次一样使该处理从步骤F358前进至步骤F359和F362。当在转变限制时间段Tpan_zoom内未检测到变焦操作或者变焦操作结束时，当计数标记Fpe_cntup被视为“0”时。然而，直至此时，反复地执行步骤F359(计数值PanEndCnt的增加)和F362(中间变焦确定处理)。

在图16的中间变焦确定处理(F362)中，基本上使用第三处理例子的构思。

控制单元30在图16的步骤F370中获取变焦操作杆的操纵状态并且设置变量Szoom。例如，当变焦操作杆被操纵时，设置变量 Szoom＝1。当变焦操作杆未被操纵时，设置变量Szoom＝0。在步骤 F371中，参照变量Szoom确定变焦操作杆是否当前被推挤。

紧接在平移结束之后，控制单元30在还未执行变焦的时间段期间使该处理从步骤F371前进至步骤F376并且确认计数值 PanEndCnt是否未达到转变限制时间段Tpan_zoom。

当紧接在平移之后计数值未达到转变限制时间段Tpan_zoom 时，该处理从步骤F376前进至步骤F377。然而，在这个时间点，由于设置了变焦执行标记Fzon＝0，所以该处理前进至步骤F378，计数值ZoomOnCnt被设置为零，并且变焦执行标记Fzon被设置为零。计数值ZoomOnCnt是用于确定是否已从用户对变焦操纵的检测起过去变焦确定时间段Tzon的计数值(用于确定连续变焦操纵)。

然后，在步骤F379中，变焦执行标记Fzon的值被代入到确定执行标记Fdon中。也就是说，在这种情况下，设置确定执行标记 Fdon＝0。

当在平移之后开始计数的计数值PanEndCnt达到转变限制时间段Tpan_zoom(也就是说，在转变限制时间段Tpan_zoom内未检测到用户的变焦操纵)时，该处理从步骤F376前进至图15的步骤 F360。在这种情况下，未检测到平移后变焦操作。确定执行标记 Fdon保持为“0”。

当设置了变量Szoom＝1并且变焦操作杆当前被推挤时，控制单元30使该处理从步骤F371前进至步骤F372并且增加计数值 ZoomOnCnt。然后，在步骤F373中，控制单元30将计数值 ZoomOnCnt与变焦确定时间段Tzon进行比较。当计数值 ZoomOnCnt未达到变焦确定时间段Tzon时，变焦执行标记Fzon在步骤F375中被设置为零。然后，在步骤F379中，变焦执行标记 Fzon的值被代入到确定执行标记Fdon中。即使在这种情况下，也设置确定执行标记Fdon＝0。

当变焦确定时间段Tzon未到来并且尽管存在在转变限制时间段Tpan_zom内瞬时检测到变焦操纵的事实但变焦操纵结束时，该处理在瞬时操纵结束之后前进至步骤F371→步骤F376。因此，当未执行变焦操纵并且转变限制时间段Tpan_zoom到来时，该处理前进至图 15的步骤F360并且未检测到平移后变焦操作(确定执行标记 Fdon＝0)。

当在步骤F373中确定计数值ZoomOnCnt达到变焦确定时间段 Tzon时，控制单元30在步骤F374中设置变焦执行标记Fzon＝1。也就是说，确认正在变焦确定时间段Tzon期间连续地执行变焦，并且因此确定变焦被连续地执行。然后，在步骤F379中，变焦执行标记 Fzon的值被代入到确定执行标记Fdon中。因此，设置确定执行标记Fdon＝1。因此，基于确定执行标记Fdon在图8的处理中执行主要对象确定。

在变焦在其后还继续进行的同时，重复执行步骤 F373→F374→F379的处理并且保持确定执行标记Fdon＝1的状态。

其后，当变焦操作结束时，执行执行步骤F371→F376的处理。在这种情况下，即使当计数值PanEndCnt等于或大于转变限制时间段Tpan_zoom或未达到转变限制时间段Tpan_zoom时，也设置变焦执行标记Fzon＝1。因此，该处理前进至步骤F376或F377至图15 的步骤F360和F361。因此，计数值PanEndCnt被重置为零，考虑计数标记Fpe_cntup＝0，并且还考虑确定执行标记Fdon＝0。也就是说，设置变焦继续进行的时间段作为限制，执行主要对象确定。

根据上述第五处理例子，在平移后变焦操作期间接近确定参考点 SP的对象被确定为主要对象。在许多情况下，当用户通过平移搜索目标对象并且捕捉目标对象时，用户执行变焦以调整视角。因此，在许多情况下，在平移后变焦期间接近确定参考点SP的对象是用户瞄准的对象，并且因此可增加获得用户想要的主要对象确定结果的概率。通过自动主要对象确定实现用户的可操作性的提高。

在上述处理例子中，由于提供从平移到变焦的转变限制时间段 Tpan_zoom，所以可准确地确定平移→变焦的连续操作。

<9.第六处理例子(平移后变焦后确定)>

当在平移操作之后连续地执行变焦操作时在变焦操作结束之后执行主要对象确定的例子将会被描述为第六处理例子。

图17显示平移后变焦后确定处理的操作。

首先，平移操作结束的确定(平移执行标记Fpon和平移转变标记 Fp_trans的处理)和从平移结束起的转变限制时间段Tpan_zoom内的变焦操作的确定(变焦执行标记Fzon的处理)与第五处理例子的对应处理相同。

为了检测平移后变焦操作的结束，使用第四处理例子中描述的构思。也就是说，对于变焦执行标记Fzon，通过将当前值与前一个值进行比较(用前一个值减去当前值)来设置变焦转变标记Fz_trans。变焦转变标记Fz_trans＝+1用作指示变焦结束时间点的信息。

在从设置变焦转变标记Fz_trans＝+1的时间点过去确定开始待机时间段TdonStart的时间点，确定执行标记Fdon被视为“1”。因此，当设置了确定执行标记Fdon＝1时，实际主要对象确定处理开始。设置上限时间段TdonEnd，并且在从设置变焦转变标记Fz_trans＝+1的时间点过去上限时间段TdonEnd的时间点，确定执行标记Fdon被视为““0”。因此，当考虑确定执行标记Fdon＝0时，执行实际主要对象确定处理的时间段受到限制。

如图18和19中一样执行平移后变焦后确定处理。控制单元 30(摄影操作确定单元30b)重复图18和19的处理并且设置确定执行标记Fdon。

图18的步骤F350至F361与图15的对应步骤相同，并且给予相同步骤编号。也就是说，控制单元30在步骤F350至F357中设置平移转变标记Fp并且检测平移结束时间点。在检测到平移的结束之前，继续执行步骤F358→F360→F361并且设置确定执行标记 Fdon＝0。

在图18中，在检测到平移的结束之后，继续执行步骤 F358→F359→F365，并且控制单元30在步骤F365中执行图19的变焦后确定处理。

在图19的变焦后确定处理(F365)中，基本上使用第四处理例子的构思。步骤F370至F376和F378与图16的相同步骤编号的处理相同。也就是说，步骤F370至F376和F378是检测在平移之后的转变限制时间段Tpan_zoom内执行连续变焦操作的处理。由于在步骤 F380之后执行在变焦的结束之后的处理，所以不存在与图16的步骤 F377对应的处理。

当在平移之后的转变限制时间段Tpan_zoom内未执行变焦时，该处理从步骤F376前进至步骤F379。在这个时间点，设置计数值 FdonCnt＝0。这是因为，从变焦结束时间点起在步骤F382中累加计数值FdonCnt。因此，在这个时间点，该处理从步骤F379前进至图 18的步骤F360。在这种情况下，未检测到平移后变焦操作。确定执行标记Fdon保持为“0”。

步骤F380至F388是与图13的步骤F310至F318相同的处理。因此，执行下面的处理。

在变焦开始之前并且在操作期间，控制单元30使该处理前进至步骤F381→F384→F387并且设置计数值Fdoncnt＝0和计数标记 Fcntup＝0和确定执行标记Fdon＝0。

在变焦结束时间点，设置变焦转变标记Fz_trans＝1，并且因此，控制单元30使该处理前进至步骤F381至步骤F382，增加计数值Fdoncnt，并且设置计数标记Fcntup＝1。其后，设置计数标记 Fcntup＝1，并且因此，控制单元30使该处理从步骤F381前进至步骤F382并且连续地增加计数值Fdoncnt。这里，在过去确定开始待机时间段TdonStart之前，该处理从步骤F383前进至步骤F385并且考虑确定执行标记Fdon＝0。

在变焦结束时间点之后，图19的处理前进至步骤F371→F376，并且在许多情况下，计数值PanEndCnt超过转变限制时间段 Tpan_zoom。然而，由于计数值Fdoncnt的增加已经开始，所以执行步骤F379→F378→F380→F381→F382的处理。

当计数值Fdoncnt在某个时间点的步骤F383中超过确定开始待机时间段TdonStart时，控制单元30使该处理前进至步骤F386并且将计数值Fdoncnt与上限时间段TdonEnd进行比较。然后，在上限时间段TdonEnd到来之前，控制单元30允许该处理前进至步骤 F388并且设置确定执行标记Fdon＝1。因此，在平移后变焦后中，在图8中示出的主要对象确定处理中执行实际确定处理(步骤F105至 F115)。

其后，当计数值Fdoncnt超过上限时间段TdonEnd时，控制单元30在步骤F389中设置计数标记Fcntup＝0。另外，该处理前进至图18的步骤F360和F361，考虑计数值PanEndCnt＝0和计数标记 Fpe_cntup＝0，并且还考虑确定执行标记Fdon＝0。也就是说，设置平移后变焦后中的上限时间段TdonEnd作为限制，执行主要对象确定。

根据上述第六处理例子，在平移后变焦后中接近确定参考点SP 的对象被确定为主要对象。在许多情况下，当用户通过平移搜索目标对象并且捕捉目标对象时，用户执行变焦以调整视角。因此，在许多情况下，在平移之后执行变焦之后，接近确定参考点SP的对象是用户瞄准的对象，并且因此可增加获得用户想要的主要对象确定结果的概率。通过自动主要对象确定实现用户的可操作性的提高。

在上述处理例子中，由于提供从平移到变焦的转变限制时间段 Tpan_zoom，所以可准确地确定平移→变焦的连续操作。

还能够考虑设置确定开始待机时间段TdonStart＝0。在这种情况下，从检测到平移后变焦结束的时间点起立即执行主要对象确定处理。

可不提供上限时间段TdonEnd，并且确定执行标记Fdon＝1的状态可保持，直至执行主要对象确定。

<10.第七处理例子(变焦后平移操作确定)>

当在变焦操作之后连续地执行平移操作时在平移操作期间执行主要对象确定的例子将会被描述为第七处理例子。

图20显示变焦后平移操作确定处理。

首先，在确定变焦操作结束时，使用第四处理例子中描述的构思。也就是说，通过确定用户是否继续执行变焦操作杆操纵来设置变焦执行标记Fzon。另外，对于变焦执行标记Fzon，通过将当前值与前一个值进行比较(用前一个值减去当前值)来设置变焦转变标记Fz_trans。变焦转变标记Fz_trans＝+1用作指示平移结束时间点的信息。

接下来，例如，确定是否在视为从变焦结束时间点起的固定值的转变限制时间段Tzoom_pan内检测到平移操作。当在转变限制时间段Tzoom_pan内未检测到平移操作时，确定未执行从变焦到平移的连续操作并且确定执行标记Fdon不被设置为“1”。也就是说，不执行主要对象确定。

为了检测平移操作，使用第一处理例子中描述的构思。也就是说，基于通过将来自陀螺仪传感器的检测信号Sg与阈值范围Sth进行比较而获得的比较结果设置平移执行标记Fpon。当检测信号Sg在等于或大于设置为平移确定时间段Tpon的某个时间的时间期间连续地超过阈值范围Sth时，平移被确定为被执行并且平移执行标记 Fpon被设置为“1”。因此，用于控制主要对象确定的开始的确定执行标记Fdon被设置为“1”。当设置了确定执行标记Fdon＝1时，执行主要对象确定处理。

为了通过变焦后平移操作确定设置确定执行标记Fdon，控制单元30(摄影操作确定单元30b)反复地执行图21和22的处理。

由于图21的步骤F400至F407与图13的步骤F300至F306和 F310相同，所以重复的描述将会被省略。这些处理是设置变焦转变标记Fz_trans以及检测设置变焦转变标记Fz_trans＝+1的变焦结束时间点的处理。

在步骤F408中，控制单元30确定是否满足变焦转变标记 Fz_trans＝1和计数标记Fze_cntup＝1之一。计数标记Fze_cntup是在步骤F409中被视为“1”的标记并且被用于处理分支控制。具体地讲，计数标记Fze_cntup是在变焦结束时间点被视为“1”的标记，并且随后被配置，从而执行步骤F409和F412。

当设置了计数标记Fze_cntup＝0并且变焦转变标记Fz_trans是“0”或“-1”时，也就是说，在检测到变焦的结束之前，控制单元30使该处理前进至步骤F408至步骤F410，将计数值ZoomEndCnt重置为零，并且将计数标记Fze_cntup设置为“0”。计数值ZoomEndCnt 是对图20中示出的转变限制时间段Tzoom_pan进行计数的计数器的值。

然后，控制单元30在步骤F411中设置确定执行标记Fdon＝0。

如图20中所示，在变焦操作结束的时间点设置变焦转变标记 Fz_trans＝1。在这种情况下，控制单元30使该处理从步骤F408前进至步骤F409并且增加计数值ZoomEndCnt。也就是说，转变限制时间段Tzoom_pan开始被计数。设置计数标记Fze_cntup＝1。

然后，在步骤F412中，控制单元30执行中间平移确定处理。中间平移确定处理被示出在图22中。

在图21的处理中，在随后的时间点，变焦转变标记Fz_trans返回到“0”。然而，由于计数标记Fze_cntup被设置为“1”，所以控制单元30如前一次一样使该处理从步骤F408前进至步骤F409和F412。当在转变限制时间段Tzoom_pan内未检测到平移操作或者平移操作结束时，当计数标记Fze_cntup被视为“0”时。然而，直至此时，反复地执行步骤F409(计数值ZoomEndCnt的增加)和F412(中间平移确定处理)。

在图22的中间变焦确定处理(F412)中，基本上使用第一处理例子的构思。

在图22的步骤F420中，控制单元30获取由传感器单元14的陀螺仪传感器检测的角速度信息作为检测信号Sg。在步骤F421中，控制单元30确定是否“Sg＞Sc+Sth/2”和“Sg＜Sc-Sth/2”之一成立。也就是说，这个处理是使用图7B中示出的参考水平Sc和阈值范围Sth的值确定是否检测信号Sg改变为正值或负值并且超过阈值范围Sth 的处理。

紧接在变焦结束之后，由于检测信号Sg不是超过阈值范围Sth 的值，所以控制单元30在还未执行平移的时间段期间使该处理从步骤F421前进至步骤F426并且确认计数值ZoomEndCnt是否未达到转变限制时间段Tzoom_pan。

当紧接在平移之后计数值未达到转变限制时间段Tzoom_pan 时，该处理从步骤F426前进至步骤F427。然而，在这个时间点，由于设置了平移执行标记Fpon＝0，所以该处理前进至步骤F428，计数值PanOnCnt被设置为零，并且平移执行标记Fpon被设置为零。计数值PanOnCnt是用于确定是否已从平移操作的检测起过去平移确定时间段Tpon的计数值。

然后，在步骤F429中，平移执行标记Fpon的值被代入到确定执行标记Fdon。也就是说，在这种情况下，设置确定执行标记 Fdon＝0。

当在变焦之后开始计数的计数值ZoomEndCnt达到转变限制时间段Tzoom_pan(也就是说，在转变限制时间段Tzoom_pan内未检测到平移操作)时，该处理从步骤F426前进至图21的步骤F410。在这种情况下，未检测到变焦后平移操作。确定执行标记Fdon保持为“0”。

当在变焦结束之后检测信号Sg变为超过阈值范围Sth的值时，控制单元30使该处理从步骤F421前进至步骤F422，并且增加计数值PanOnCnt。然后，在步骤F423中，控制单元30将计数值 PanOnCnt与平移确定时间段Tpon进行比较。当计数值PanOnCnt 未达到平移确定时间段Tpon时，平移执行标记Fpon在步骤F425 中被设置为零。然后，在步骤F429中，平移执行标记Fpon的值被代入到确定执行标记Fdon中。因此，设置确定执行标记Fdon＝0。

当平移确定时间段Tpon未到来并且尽管存在在转变限制时间段 Tzoom_pan内检测信号Sg瞬时超过阈值范围Sth的事实但平移的运动结束时，该处理在瞬时平移操作结束之后前进至步骤F421→步骤F426。因此，当未执行平移操作并且转变限制时间段Tzoom_pan到来时，该处理前进至图21的步骤F410并且未检测到变焦后平移操作(确定执行标记Fdon＝0)。

当在步骤F423中确定计数值PanOnCnt达到平移确定时间段 Tpon时，控制单元30在步骤F424中设置平移执行标记Fpon＝1。也就是说，在平移确定时间段Tpon期间连续地确认平移操作，并且因此确定平移操作被执行。然后，在步骤F429中，平移执行标记 Fpon的值被代入到确定执行标记Fdon中。在这种情况下，设置确定执行标记Fdon＝1。因此，基于确定执行标记Fdon在图8的处理中执行主要对象确定。

在平移在其后还继续进行的同时，重复执行步骤 F423→F424→F429的处理并且保持确定执行标记Fdon＝1的状态。

其后，当平移操作结束时，执行执行步骤F421→F426的处理。在这种情况下，即使当计数值ZoomEndCnt等于或大于转变限制时间段Tzoom_pan或未达到转变限制时间段Tzoom_pan时，也设置平移执行标记Fpon＝1。因此，该处理前进至步骤F426或F427至图21的步骤F410和F411。因此，计数值ZoomEndCnt被重置为零，考虑计数标记Fze_cntup＝0，并且还考虑确定执行标记Fdon＝0。也就是说，利用设置为限制的平移继续进行的时间段，执行主要对象确定。

根据上述第七处理例子，在变焦后平移操作期间接近确定参考点 SP的对象被确定为主要对象。在一些情况下，在通过变焦调整视角之后，用户执行通过平移搜索目标对象的操作。因此，在许多情况下，在变焦后平移操作期间接近确定参考点SP的对象是用户瞄准的对象，并且因此可增加获得用户想要的主要对象确定结果的概率。通过自动主要对象确定实现用户的可操作性的提高。

在上述处理例子中，由于提供从变焦到平移的转变限制时间段 Tzoom_pan，所以可准确地确定变焦→平移的连续操作。

<11.第八处理例子(变焦后平移后确定)>

当在变焦操作之后连续地执行平移操作时在平移操作结束之后执行主要对象确定的例子将会被描述为第八处理例子。

图23显示变焦后平移后确定处理的操作。

变焦操作结束的确定(变焦执行标记Fzon和变焦转变标记 Fz_trans的处理)和从变焦结束起的转变限制时间段Tpan_zoom内的平移操作的确定(平移执行标记Fpon的处理)与第七处理例子的对应确定相同。

为了检测变焦后平移操作的结束，使用第二处理例子中描述的构思。也就是说，对于平移执行标记Fpon，通过将当前值与前一个值进行比较(用前一个值减去当前值)来设置平移转变标记Fp_trans。平移转变标记Fp_trans＝+1用作指示平移结束时间点的信息。

在从设置平移转变标记Fp_trans＝+1的时间点过去确定开始待机时间段TdonStart的时间点，确定执行标记Fdon被视为“1”。因此，当设置了确定执行标记Fdon＝1时，实际主要对象确定处理开始。设置上限时间段TdonEnd，并且在从设置变焦转变标记 Fztrans＝+1的时间点过去上限时间段TdonEnd的时间点，确定执行标记Fdon被视为“0”。因此，当考虑确定执行标记Fdon＝0时，执行实际主要对象确定处理的时间段受到限制。

如图24和25中一样执行变焦后平移后确定处理。控制单元 30(摄影操作确定单元30b)重复图24和25的处理并且设置确定执行标记Fdon。

图24的步骤F400至F411与图21的对应步骤相同，并且给予相同步骤编号。也就是说，控制单元30在步骤F400至F407中设置变焦转变标记Fz_trans并且检测变焦结束时间点。在检测到变焦的结束之前，继续执行步骤F408→F410→F411并且设置确定执行标记Fdon＝0。

在图24中，在检测到变焦的结束之后，继续执行步骤 F408→F409→F415，并且控制单元30在步骤F415中执行图25的平移后确定处理。

在图25的平移后确定处理(F415)中，基本上使用第二处理例子的构思。步骤F420至F426和F428与图22的相同步骤编号的处理相同。也就是说，步骤F420至F426和F428是检测在变焦之后的转变限制时间段Tzoom_pan内执行连续操作的处理。由于在步骤F430 之后执行在平移的结束之后的处理，所以不存在与图22的步骤F427 对应的处理。

当在变焦之后的转变限制时间段Tzoom_pan内未执行平移时，该处理从步骤F426前进至步骤F429。在这个时间点，设置计数值 FdonCnt＝0。这是因为，从平移结束时间点起在步骤F432中累加计数值FdonCnt。因此，在这个时间点，该处理从步骤F429前进至图 24的步骤F410。在这种情况下，未检测到变焦后平移操作。确定执行标记Fdon保持为“0”。

步骤F430至F438是与图10的步骤F210至F218相同的处理。因此，执行下面的处理。

在平移开始之前并且在操作期间，控制单元30使该处理前进至步骤F431→F434→F437并且设置计数值Fdoncnt＝0和计数标记 Fcntup＝0和确定执行标记Fdon＝0。

在平移结束时间点，设置平移转变标记Fp_trans＝1，并且因此，控制单元30使该处理前进至步骤F431至步骤F432，增加计数值Fdoncnt，并且设置计数标记Fcntup＝1。其后，设置计数标记 Fcntup＝1，并且因此，控制单元30使该处理从步骤F431前进至步骤F432并且连续地增加计数值Fdoncnt。这里，在过去确定开始待机时间段TdonStart之前，该处理从步骤F433前进至步骤F435并且考虑确定执行标记Fdon＝0。

在平移结束时间点之后，图25的处理前进至步骤F421→F426，并且在许多情况下，计数值ZoomEndCnt超过转变限制时间段 Tzoom_pan。然而，由于计数值Fdoncnt的增加已经开始，所以执行步骤F429→F428→F430→F431→F432的处理。

当计数值Fdoncnt在某个时间点的步骤F433中超过确定开始待机时间段TdonStart时，控制单元30使该处理前进至步骤F436并且将计数值Fdoncnt与上限时间段TdonEnd进行比较。然后，在上限时间段TdonEnd到来之前，控制单元30允许该处理前进至步骤 F438并且设置确定执行标记Fdon＝1。因此，在变焦后平移后中，在图8中示出的主要对象确定处理中执行实际确定处理(步骤F105至 F115)。

其后，当计数值Fdoncnt超过上限时间段TdonEnd时，控制单元30在步骤F439中设置计数标记Fcntup＝0。另外，该处理前进至图24的步骤F410和F411，考虑计数值ZoomEndCnt＝0和计数标记 Fze_cntup＝0，并且还考虑确定执行标记Fdon＝0。也就是说，设置变焦后平移后中的上限时间段TdonEnd作为限制，执行主要对象确定。

根据上述第八处理例子，在变焦后平移后中接近确定参考点SP 的对象被确定为主要对象。在一些情况下，用户执行这样的操作：通过变焦调整视角并且通过平移搜索目标对象。因此，在许多情况下，在变焦后平移操作之后接近确定参考点SP的对象是用户瞄准的对象，并且因此可增加获得用户想要的主要对象确定结果的概率。通过自动主要对象确定实现用户的可操作性的提高。

在上述处理例子中，由于提供从变焦到平移的转变限制时间段 Tzoom_pan，所以可准确地确定变焦→平移的连续操作。

还能够考虑设置确定开始待机时间段TdonStart＝0。在这种情况下，从检测到变焦后平移结束的时间点立即执行主要对象确定处理。

可不提供上限时间段TdonEnd，并且可保持确定执行标记 Fdon＝1的状态，直至执行主要对象确定。

<12.第九处理例子(聚焦确定)>

摄影操作确定和主要对象确定将会被描述为第九处理例子。在这个例子中，控制单元30(摄影操作确定单元30b)根据对成像设备10 的手动聚焦操作的结束的检测设置确定开始定时。

控制单元30(主要对象确定单元30a)观察从确定开始定时起的至少一个帧的图像数据中的对象的聚焦状态，并且在符合特定聚焦条件的对象之中确定主要对象。

例如，符合所述特定聚焦条件的对象是位于在图像数据的划分区域中测量的聚焦度数据等于或大于预定值的划分区域处的对象。

另外，除了聚焦条件之外，还可在符合特定位置条件的对象之中确定主要对象。

在第九处理例子的情况下，成像设备10的结构被示出在图26 中。在图26中，相同标号被给予与图3的部分相同的部分，并且其描述将会被省略。

除了图3中的结构之外，图26中的成像设备10还包括聚焦度确定单元28。聚焦度确定单元28确定捕捉图像被划分成的每个划分区域(块)的聚焦度。

作为用于确定聚焦度的技术，例如，能够使用用于自动聚焦检测的已知技术。例如，通过检测亮度信号的边缘分量并且对边缘分量执行积分处理等，能够获得作为在聚焦状态下较高的数值的值(也就是说，与聚焦度相应的值)。

在图26的结构中，如图3中一样构造候选检测单元27以提取候选图像框。

候选检测单元27和聚焦度确定单元28的功能可通过软件而被安装在控制单元30上。

将参照图27和28描述由成像设备10在第九处理例子中执行的主要对象确定处理的概述。

图27显示通过成像设备10的光学系统11和成像器12的操作输入到数字信号处理单元20的捕捉图像信号的帧FR1、FR2、 FR3、...。

如第一处理例子中所述，候选检测单元27从这种顺序地输入的连续的帧(或间断的帧)执行候选图像(例如，候选图像框E1、E2和 E3)的检测。然后，候选图像框信息被发送给控制单元30(主要对象确定单元30a)以及从控制单元30(主要对象确定单元30a)接收候选图像框信息。例如，控制单元30在主要对象确定处理时计算从候选图像框E1、E2和E3的重心G到确定参考点SP的距离Diff1、Diff2 和Diff3。

并行于候选检测单元27的处理，聚焦度确定单元28计算顺序地输入的每个连续的帧(或间断的帧)中的每个块的聚焦度。

附图显示作为划分区域的块的例子。一条图像数据被划分为多个块，如虚线所指示。为了描述，块被称为块BK(BK1， BK2...BK(M))。

聚焦度确定单元28获得块BK1，BK2...BK(M)中的每个块的聚焦度作为例如数值信息。如附图中所示，例如，针对块BK1获得聚焦度“10”并且针对块BK2获得聚焦度“22”。在这个例子中，假设“100”是聚焦度的最大值。例如，当聚焦度等于或大于“80”时，确定聚焦状态。

例如，聚焦度确定单元28以这种方式获得每个帧的每个块BK 的聚焦度，然后将聚焦度发送给控制单元30以及从控制单元30接收聚焦度。

图28显示每个帧的每个块BK的聚焦度的变化。

这里，如图28A中一样，假设作为对象的人类图像H1、H2和 H3位于距离D1、D2和D3的位置，距离D1、D2和D3是与成像设备10的距离。在这种情况下，假设拍摄者执行手动聚焦操纵并且在近侧和远侧之间改变聚焦的位置。

当在近侧执行聚焦时，如图28B的上面附图中所示，人类图像 H1聚焦并且其它人类图像H2和H3离焦(如附图中的虚线所指示)。在此时的捕捉图像的帧中，如图28B的下面附图中所示，位于人类图像H1的块BK(该块BK是由对角线指示的块)的聚焦度变高。

当通过手动聚焦操纵在中间距离执行聚焦时，如图28C的上面附图中所示，人类图像H2聚焦并且人类图像H1和H3离焦。在此时的捕捉图像的帧中，如图28C的下面附图中所示，位于人类图像 H2的块BK(该块BK是由对角线指示的块)的聚焦度变高。

当另外在远侧执行聚焦时，如图28D的上面附图中所示，人类图像H3聚焦并且其它人类图像H1和H2离焦(如附图中的虚线所指示)。在此时的捕捉图像的帧中，如图28D的下面附图中所示，位于人类图像H3的块BK(该块BK是由对角线指示的块)的聚焦度变高。

例如，当假设摄者想要对人类图像H3成像时，如图28D中一样在远侧执行聚焦。换句话说，在执行手动聚焦操纵之后具有高聚焦度的对象能够被估计为由拍摄者瞄准的对象。

因此，在第九处理例子中，摄影操作确定单元30b首先检测手动聚焦操纵并且向主要对象确定单元30a通知手动聚焦的结束的定时。主要对象确定单元30a在这个定时的帧图像数据中的候选图像之中确定位于具有高聚焦度的块BK的候选图像作为主要对象。

将参照图29、30和31描述特定处理例子。

图29显示这样的情况：在图28的例子中从近侧到远侧执行手动聚焦。假设人类图像H1、H2和H3是候选图像框E1、E2和E3，并且例示候选图像框的各部分的聚焦度。

当聚焦透镜在手动聚焦时间段tmf期间从近侧向远侧移动时，具有高聚焦度的对象按照候选图像框E1→E2→E3的次序转变。

在手动聚焦确定时间段Tmfon上检测到连续手动聚焦操纵的时间点，手动聚焦执行标记Fmfon被视为“1”。

其后，假设聚焦操纵结束并且时间段转变为正常时间段tnor。在这种情况下，摄影操作确定单元30b产生在手动聚焦之后的定时作为聚焦结束标记Fmfend＝+1。因此，设置确定执行标记Fdon＝1。根据确定执行标记Fon＝1，主要对象确定单元30a执行主要对象确定。

图30显示由控制单元30(摄影操作确定单元30b)执行的手动聚焦后确定处理的例子。

在步骤F500中，例如，控制单元30获取来自检测聚焦透镜的手动操纵(透镜镜筒环的操纵)的传感器的信息或来自传感器单元14 中的聚焦透镜位置传感器的信息，基于用户的操纵获取手动聚焦操纵的状态，并且设置变量Smf。例如，当手动聚焦操纵被执行时，设置变量Smf＝1。当手动聚焦操纵未被执行时，设置变量Smf＝0。

在步骤F501中，参照变量Smf，控制单元30确定手动聚焦操纵是否当前被执行。

当在变量Smf＝0的情况下当前未执行手动聚焦操纵时，控制单元30使该处理前进至步骤F506，将计数值MfOnCnt设置为零，并且将手动聚焦执行标记Fmfon设置为零。计数值MfOnCnt是用于确定是否已过去手动聚焦确定时间段Tmfon的计数值。

随后，在步骤F507中，设置聚焦结束标记Fmfend。也就是说，设置“聚焦结束标记Fmfend＝(前一手动聚焦执行标记 Fmfon_1)-(手动聚焦执行标记Fmfon)”。前一手动聚焦执行标记 Fmfon_1是在前一次步骤F507的时间点的手动聚焦执行标记Fmfon 的值。因此，聚焦结束标记Fmfend是图29中示出的“0”、“+1”和“-1”之一。

为了在随后的步骤F507中用作前一手动聚焦执行标记 Fmfon_1，当前手动聚焦执行标记Fmfon的值被代入到前一手动聚焦执行标记Fmfon_1中。

在步骤F508中，聚焦结束标记Fmfend的值被代入到确定执行标记Fdon中。因此，在执行手动聚焦操纵之前的时间点，设置确定执行标记Fdon＝0。

当在变量Smf＝1的情况下当前执行手动聚焦操纵时，控制单元 30使该处理从步骤F501前进至步骤F502并且增加计数值 MfOnCnt。

然后，在步骤F503中，控制单元30将计数值MfOnCnt与手动聚焦确定时间段Tmfon进行比较。当计数值MfOnCnt未达到手动聚焦确定时间段Tmfon时，手动聚焦执行标记Fmfon在步骤F505中被设置为零。然后，聚焦结束标记Fmfend在步骤F507中被设置并且在步骤F508中被代入到确定执行标记Fdon中。设置确定执行标记Fdon＝0。

当计数值MfOnCnt在步骤F503中达到手动聚焦确定时间段Tmfon时，控制单元30在步骤F504中设置手动聚焦执行标记 Fmfon＝1。也就是说，在手动聚焦确定时间段Tmfon期间，确认手动聚焦操纵被连续地执行，并且因此手动聚焦操纵被确定为被执行。

然后，聚焦结束标记Fmfend在步骤F507中被设置并且在步骤 F508中被代入到确定执行标记Fdon。确定执行标记Fdon在考虑手动聚焦执行标记Fmfon＝1的时间点被设置为“-1”，并且随后在手动聚焦执行标记Fmfon＝1继续时被设置为“0”。

当手动聚焦操纵结束时，控制单元30使该处理前进至步骤F501 至F506，设置计数值MfOnCnt＝0，并且设置手动聚焦执行标记 Fmfon＝0。

在这种情况下，在步骤F507中考虑聚焦结束标记Fmfend＝1，并且在步骤F508中设置确定执行标记Fdon＝1。

因此，执行将要在以下描述的图31中的实际主要对象确定(步骤 F605至F610)。

其后，由于手动聚焦执行标记Fmfon＝0继续，所以在随后的时间点的步骤F507中考虑聚焦结束标记Fmfend＝0，并且在步骤F508 中设置确定执行标记Fdon＝0。

图31显示由控制单元30(主要对象确定单元30a)执行的主要对象确定处理。

这个例子与图8的例子的相同之处在于，控制单元30在主要对象确定中连续地从候选检测单元27获得候选图像框信息。在这个处理例子中，由聚焦度确定单元28使用关于聚焦度的信息执行的实际确定处理(步骤F605至F611)根据上述确定执行标记Fdon＝1的设置而开始。

例如，针对每个帧定时，控制单元30执行步骤F601至F604和 F612(在确定执行标记Fdon＝1的时间段期间，步骤F601至F612)的处理。

当控制单元30开始主要对象确定处理时，作为指示主要对象设置是否结束的标记的变量TSF＝0首先在步骤F600中被设置为初始设置。

在步骤F601、F602和F603中，如图8的步骤F101、F102和 F103中一样，获得关于某个帧的候选图像框信息，计算每个候选图像框E(n)的重心G的坐标，并且还计算从每个候选图像框E(n)的重心G到确定参考点SP的距离Diff(n)。

在步骤F604中，控制单元30确认确定执行标记Fdon和变量 TSF。当设置了变量TSF＝0并且设置了确定执行标记Fdon＝1时，该处理前进至步骤F605。在其它情况下，不执行实际确定处理(F605至 F611)，并且继续执行步骤F612→F601的处理。

当设置了变量TSF＝0并且设置了确定执行标记Fdon＝1时，控制单元30在步骤F605中在每个候选图像框E(n)中选择感兴趣的聚焦度确定块。

如上所述，聚焦度确定单元28计算每个块BK的聚焦度的值。用作获得聚焦度的每个块BK的区域不必与候选图像框E(n)的区域匹配。因此，选择每个候选图像框E(n)所对应的块BK和被用于获得每个候选图像框E(n)的聚焦度的块BK。

将参照图32继续进行描述。图32A显示块BK和候选图像框E1、E2和E3中的每个候选图像框之间的关系。

这里，在当前帧中，如图32B中一样，假设候选图像框E1存在于块BK8、BK9、BK15和BK 16上。同样地，如图32C中一样，假设候选图像框E2存在于块BK11、BK12、BK18和BK19上。如图32D中一样，假设候选图像框E3存在于块BK6、BK7、BK13和 BK14上。图32B、32C和32D将块BK的聚焦度的值显示为各个块 BK里面的数值。

在步骤F605中选择聚焦度确定块表示这样的处理：在图32B、 32C和32D中在候选图像框E1、E2和E3中选择由对角线指示的块 BK8、BK12和BK7。

将描述图32B中的候选图像框E1。首先，选择包含候选图像框 E1的块BK8、BK9、BK15和BK16。在这些块中，候选图像框E1 的区域占有比最大的块BK(在这个例子中，块BK8)被设置为聚焦度确定块。由于固定地从图像划分块BK，所以在控制单元30中知道块BK的范围。对于每个候选图像框E(n)，从候选检测单元27提供关于用作2维(x-y)坐标值的x和y值的信息以及关于候选图像框的宽度w和高度h的信息作为候选图像框信息。因此，控制单元30能够在每个候选图像框E(n)中确定具有最大区域占有比的块BK。

在步骤F606中，控制单元30参照选择的聚焦度确定块的聚焦度的值确定每个候选图像框E(n)是否聚焦。例如，当聚焦度的值等于或大于“80”时，候选图像框被确定为聚焦。

在步骤F607中，控制单元30确定在步骤F603中计算的从每个候选图像框E(n)的重心G到确定参考点SP的距离Diff(n)是否小于确定参考距离DiffMIN。也就是说，确定每个候选图像框E(n)是否接近例如屏幕中心点等和设置的确定参考点SP。

然后，控制单元30在步骤F608中确定满足在步骤F606中确定的聚焦条件和在步骤F607中确定的位置条件的候选图像框E(n)作为主要对象并且产生主要对象信息。然后，在步骤F609中设置变量 TSF＝1并且在步骤F610中输出主要对象信息。因此，主要对象信息被发送给使用主要对象信息的应用程序或控制程序以及从使用主要对象信息的应用程序或控制程序接收主要对象信息。

相反地，未满足在步骤F606中确定的聚焦条件和在步骤F607 中确定的位置条件的候选图像框E(n)不经受步骤F608的处理，也就是说，未被确定为主要对象。

作为结果，在图31的主要对象确定处理中，在手动聚焦操纵结束的时间点处于聚焦状态并且相对于确定参考点SP的距离Diff(n)小于确定参考距离DiffMIN的候选图像框E(n)被确定为主要对象。

例如，因为聚焦度确定块BK8的聚焦度是“90”，所以图32B中的候选图像框E1被确定为聚焦，但因为距离Diff(n)大于确定参考距离DiffMIN，所以图32B中的候选图像框E1未被确定为主要对象。

因为聚焦度确定块BK12的聚焦度是“95”，所以图32C中的候选图像框E2被确定为聚焦，并且因为距离Diff(n)小于确定参考距离 DiffMIN，所以图32C中的候选图像框E2被确定为主要对象。

图32D中的候选图像框E3被确定为未聚焦，因为聚焦度确定块 BK7的聚焦度是“30”，并且因此未被确定为主要对象。

手动聚焦操纵的结束的时间是拍摄者聚焦于目标对象的时间点，并且在许多情况下估计在屏幕中心附近捕捉该对象。因此，通过上述摄影操作确定处理和主要对象确定处理，可提高将由用户瞄准的对象确定为主要对象的准确性。当通过主要对象确定自动地对主要对象执行聚焦控制或曝光控制时，能够捕捉具有高质量的静止图像或运动图像。当然，即使在这种情况下，也为拍摄者自动地执行合适的主要对象确定，并且因此显著提高在成像时的操作性。

考虑下面的第九处理例子的各种修改例子。

首先，已在步骤F605中利用占有比选择候选图像框E(n)中的一个聚焦度确定块，但还能够使用其它选择方法。

例如，候选图像框E(n)的中心或位于其中心的块可被设置为聚焦度确定块。

根据候选图像框的提取条件，位于候选图像中的特定部分的块可被设置为聚焦度确定块。例如，当人体图像被提取作为候选图像时，设置位于脸图像的块。

在包含候选图像框E(n)的所述多个块BK中，具有聚焦度的最大值的块(或具有聚焦度的最小值的块)可被设置为聚焦度确定块。

在包含候选图像框E(n)的所述多个块BK中，可利用位置条件选择聚焦度确定块，诸如最接近确定参考点SP的块(或与确定参考点 SP相隔最远的块)。

候选图像框E(n)所在的所述多个块中的所有块可被设置为聚焦度确定块。在这种情况下，在步骤F606的聚焦确定中，可使用所述多个聚焦度确定块的聚焦度的值的平均值、其最大值或其最小值。

在这种情况下，由于不需要用于将一个块设置为聚焦度确定块的占有比的算术运算，所以能够降低算术运算负载。

已描述用于主要对象确定的聚焦条件和位置条件的AND条件，但可仅使用不包括位置条件的聚焦条件执行该确定。

也就是说，在步骤F606中被确定为聚焦的整个候选图像框E(n) 可被确定为主要对象。

替代地，当在步骤F606中所述多个候选图像框E(n)被确定为聚焦时，所述多个候选图像框E(n)之中具有最高聚焦度的一个候选图像框E(n)可被确定为主要对象。

可使用多个帧中的聚焦度的值执行聚焦条件的确定。例如，计算聚焦度确定块中的多个连续帧中的聚焦度的值的平均值、其最大值或其最小值。当平均值、最大值或最小值等于或大于“80”时，帧被确定为聚焦。

当除了位置条件之外执行该确定时，例如，在屏幕中心的区域可被设置为确定参考区域，并且包含该整个区域的候选图像框E(n)、包含该区域的中心的候选图像框E(n)、包含该区域的一半或更多部分的候选图像框E(n)等可被设置为位置条件，而非与确定参考点SP 的接近程度的条件。

可利用未位于图像上的边缘部分的候选图像框E(n)和特定块范围中的候选图像框E(n)设置位置条件。

在前面的处理例子中，候选图像框E(n)已被同时提取，但候选图像框E(n)可在确定聚焦的块之后被提取。例如，在聚焦的块BK 或附近的块的范围内执行候选检测，并且提取的候选图像被确定为主要对象。

可不对所有块BK1至BK执行聚焦度的计算和确定。然而，例如，可对一些块BK(诸如，仅对位于图像数据的中心部分附近的块 BK)执行聚焦度的计算和确定。例如，当拍摄者希望设置一个对象作为主要对象时，认为拍摄者尽可能调整成像方向以在图像的中心部分附近捕捉预期对象。因此，即使当聚焦度确定单元28仅对位于中心部分附近的块BK执行聚焦度确定时，也能够以高准确性设置主要对象，并且还能够减小聚焦度确定单元28或控制单元30的处理负载。

能够考虑执行块BK的划分的各种方式。

在前面的例子中，已描述块BK1至BK(M)，但能够考虑各种数量的划分(诸如，划分为4、6、8、9...30或40)。

当块的数量增加时，聚焦度计算、聚焦度确定块的选择等的处理负载增加。然而，即使当候选图像由于变焦状态、小的对象等而较小时，也能够以高准确性确定主要对象。相比之下，当块的数量减小时，处理负载减小。

将要被划分的所有的每个块BK不必具有相同尺寸或相同区域形状。还考虑：例如，图像的末端部分的一个块BK被设置为宽范围并且屏幕的中心部分被划分为细块BK。考虑到主要对象非常可能位于屏幕的中心的周围，将屏幕的中心划分为小的区域是合适的。

<13.应用于程序和计算机装置>

以上，已描述图像处理装置1和成像设备10的实施例，并且上述主要对象确定处理能够由硬件或由软件执行。

根据实施例的程序是使例如算术处理装置(诸如，中央处理单元 (CPU)或数字信号处理器(DSP))执行在上述实施例中描述的处理的程序。

也就是说，该程序是使算术处理装置执行确定在成像时的摄影操作并且基于该确定设置对于图像数据中的主要对象的确定开始定时的处理以及根据从确定开始定时起的图像数据确定图像数据中所包括的对象之中的主要对象的处理的程序。

具体地讲，根据实施例的程序可以是使算术处理装置执行图2中描述的处理或第一至第九处理例子的程序。

根据该程序，能够使用算术处理装置实现执行上述主要对象确定的装置。

这种程序能够被预先记录在作为嵌入在器具(诸如，计算机装置) 中的记录介质的HDD、具有CPU的微型计算机中的ROM等。

替代地，这种程序能够被暂时地或永久地存储(记录)在可移动记录介质中，诸如软盘、CD-ROM(压缩盘只读存储器)、MO(磁光) 盘、DVD(数字通用盘)、蓝光盘(注册商标)、磁盘、半导体存储器或内存卡。这种可移动记录介质能够被提供作为所谓的封装软件。

另外，除了从可移动记录介质安装到个人计算机等之外，能够通过网络(诸如，LAN(局域网)或互联网)从下载站点下载这种程序。

另外，这种程序适合将要被广泛地提供的实施例的图像处理装置。例如，该程序被下载到个人计算机、便携式信息处理设备、蜂窝电话、游戏装置、视频播放器、PDA(个人数字助手)等，以使得便携式信息处理装置等可用作根据本公开的实施例的图像处理装置。

例如，在如图33中所示的计算机装置中，能够在图1的图像处理装置1和成像设备10中执行与主要对象确定处理相同的处理

在图33中，计算机装置70的CPU 71根据存储在ROM 72中的程序或从存储单元78下载到RAM 73的程序执行各种处理。另外， RAM 73合适地存储当CPU 71执行各种处理时所需的数据等。

CPU 71、ROM 72和RAM 73通过总线74彼此连接。另外，输入和输出接口75也连接到总线74。

输入和输出接口75连接到输入单元76(包括键盘、鼠标等)、输出单元77(包括显示器(诸如，CRT(阴极射线管)、LCD或有机EL面板)和扬声器)、存储单元78(包括硬盘)和通信单元79(包括调制解调器等)。通信单元79通过网络(包括互联网)执行通信处理。

另外，驱动器80根据需要连接到输入和输出接口75，可移动介质81(诸如，磁盘、光盘、磁光盘或半导体存储器)被合适地安装在驱动器80上，并且从该驱动器读取的计算机程序根据需要被安装在存储单元78中。

当前述主要对象确定处理由软件执行时，从网络或记录介质安装构成该软件的程序。

例如如图33中所示的记录介质由记录有该程序的可移动介质81 构成，可移动介质81包括磁盘(包括软盘)、光盘(包括蓝光盘、CD- ROM和DVD)、磁光盘(包括MD(迷你盘))、半导体存储器等，所述磁盘、光盘、磁光盘、半导体存储器等被与设备主体分开地分发以将程序提供给用户。替代地，该记录介质还由记录有该程序的ROM 72、存储单元78中所包括的硬盘等构成，所述ROM 72、存储单元 78中所包括的硬盘等在被预先包括在设备主体中的状态下被提供给用户。

在计算机装置70中，当通过例如由通信单元79执行的接收操作或利用驱动器80(可移动介质81)或记录单元78执行的再现操作输入运动图像数据时，CPU 71被构造为基于该程序具有上述摄影操作确定单元3和主要对象确定单元2的功能，以使得CPU 71能够通过执行图2中描述的处理或第一至第九处理例子来自动地对输入图像数据执行主要对象确定。

在这种情况下，必须确定以前在成像时执行的摄影操作。CPU 71能够通过帧图像数据的分析来检测平移、变焦和聚焦(聚焦的位置的变化)。例如，能够从相互的帧之间的运动、尺寸和聚焦状态变化确定在输入数据中在成像时执行平移、变焦或手动聚焦的时间段。

替代地，当关于摄影操作的信息在成像时被添加为与每条帧图像数据对应的元数据时，CPU 71能够参照该元数据确定摄影操作。

<14.修改例子>

能够考虑上述实施例的各种修改例子。

在图像处理装置1、成像设备10和计算机装置70的例子中，当然能够在所有情况下确定倾斜操作。能够以基本上与上述平移操作确定相同的方式执行倾斜操作的确定(在倾斜操作期间的确定或在倾斜之后的确定)。由陀螺仪传感器等执行的角速度的检测可被执行以对应于倾斜方向。因此，作为摄影操作确定处理，例如，还能够确定倾斜操作、倾斜后、倾斜后变焦操作、倾斜后变焦后、变焦后倾斜操作、变焦后倾斜后、倾斜后平移操作、倾斜后平移后、平移后倾斜操作和平移后倾斜后。在这些情况下，能够执行主要对象确定。

还能够考虑组合第九处理例子中的手动聚焦后确定与平移、倾斜或变焦。

例如，能够确定变焦后手动聚焦并且能够使用聚焦条件在手动聚焦之后执行主要对象确定。

在平移操作期间或在变焦操作期间执行主要对象确定的例子(第一、第三、第五和第七处理例子)中，这个操作继续进行的时间段已被设置为主要对象确定时间段。然而，当主要对象确定未完成时，主要对象确定可被构造为即使在平移操作或变焦操作结束之后也继续进行。

利用距离Diff(n)确定的位置条件和聚焦条件已被用作图8和31 中的主要对象确定的条件，但能够考虑各种条件。

例如，候选图像的尺寸等于或大于预定像素的尺寸条件和对象距离(成像设备10和对象之间的相对距离)在预定范围内的距离条件可被单独地或组合地使用以执行主要对象确定。

可根据图像尺寸或对象距离的时间变化确定所述主要对象确定。

候选图像的属性可被用作主要对象确定条件的条件。例如，在对象图像上确定儿童、成年人、男人、女人、狗或猫的属性。例如，主要对象是儿童的事实被设置为主要对象的条件。可根据用户的成像目的选择属性条件。

位置条件、聚焦条件、尺寸条件、距离条件和属性条件不是主要对象确定的绝对条件，但可以是优先的条件。例如，当多个候选图像在某个条件下符合时，可根据优先的条件在候选图像之中确定主要对象。

另外，主要对象信息已被描述为也用于图像效果处理和图像编辑处理，然而，也优选地为此执行以再现图像为目标的主要对象确定处理。

当然在图1的图像处理装置、图20的信息处理装置等采用以再现图像为目标的主要对象确定处理。

另外，主要对象确定处理的结果可被添加到被成像并且其后记录为元数据的静止图像数据或动态图像数据。换句话说，代表主要对象的信息被添加到静止图像文件等。

当然在图1的图像处理装置、图20的信息处理装置等采用以再现图像为目标的主要对象确定处理。

另外，在实施例中已主要在假设捕捉静止图像的情况下描述确定主要对象的处理，然而，上述实施例的处理能够被用作在捕捉动态图像的待机以及动态图像的记录的捕捉和执行期间对多个捕捉的帧执行主要对象确定的处理。

另外，本技术也可如下构造。

(1)一种图像处理装置，包括：

摄影操作确定单元，被构造为确定在成像时的摄影操作并且基于该确定设置对于图像数据中的主要对象的确定开始定时；和

主要对象确定单元，被构造为根据从确定开始定时起的图像数据确定图像数据中所包含的对象之中的主要对象。

(2)如(1)所述的图像处理装置，其中所述主要对象确定单元观察从确定开始定时起的多个帧的图像数据中的对象位置状态并且在符合特定位置条件的对象之中确定主要对象。

(3)如(2)所述的图像处理装置，其中所述特定位置条件是在所述多个帧中能够平均地、累积地或连续地获得满足在图像上的预定位置状态的情况的条件。

(4)如(1)所述的图像处理装置，其中所述主要对象确定单元观察从确定开始定时起的图像数据中的对象的聚焦状态并且在符合特定聚焦条件的对象之中确定主要对象。

(5)如(4)所述的图像处理装置，其中所述符合特定聚焦条件的对象是位于在图像数据的划分区域中测量的聚焦度数据等于或大于预定值的划分区域处的对象。

(6)如(4)或(5)所述的图像处理装置，其中所述主要对象确定单元在符合所述特定聚焦条件并且还符合所述特定位置条件的对象之中确定主要对象。

(7)如(1)至(3)中任何一项所述的图像处理装置，其中所述摄影操作确定单元根据对成像设备的平移或倾斜操作的检测来设置确定开始定时。

(8)如(1)至(3)中任何一项所述的图像处理装置，其中所述摄影操作确定单元根据对成像设备的平移或倾斜操作的结束的检测来设置确定开始定时。

(9)如(1)至(3)中任何一项所述的图像处理装置，其中所述摄影操作确定单元根据对成像设备的变焦操作的检测来设置确定开始定时。

(10)如(1)至(3)中任何一项所述的图像处理装置，其中所述摄影操作确定单元根据对成像设备的变焦操作的结束的检测来设置确定开始定时。

(11)如(1)至(3)中任何一项所述的图像处理装置，其中所述摄影操作确定单元根据对从成像设备的平移操作到成像设备的变焦操作的转变的检测或者根据对变焦操作的结束的检测来设置确定开始定时。

(12)如(1)至(3)中任何一项所述的图像处理装置，其中所述摄影操作确定单元根据对从成像设备的变焦操作到成像设备的平移操作的转变的检测或者根据对平移操作的结束的检测来设置确定开始定时。

(13)如(1)、(4)、(5)或(6)所述的图像处理装置，其中所述摄影操作确定单元根据对成像设备的手动聚焦操作的结束的检测来设置确定开始定时。

标号列表

1 图像处理装置

2 主要对象确定单元

10 成像设备

11 光学系统

12 成像器

13 光学系统驱动单元

14 传感器单元

15 记录单元

16 通信单元

20 数字信号处理单元

21 预处理单元

22 同步单元

23YC 产生单元

24 分辨率转换单元

25 编码解码器单元

27 候选检测单元

28 聚焦度确定单元

30 控制单元

30a 主要对象确定单元

30b 摄影操作确定单元

32UI 控制器

33 用户接口

34 显示单元

35 操纵单元

70 计算机装置

71 CPU

Claims (14)

1.一种成像设备，包括：

摄影操作确定单元，被构造为确定在成像时的摄影操作，并且基于确定所述成像设备在用户正常地携带或保持所述成像设备并且不执行摄影操作的第一时间段中，还是所述成像设备在执行摄影操作的第二时间段中，设置对于图像数据中的主要对象的确定开始定时；和

主要对象确定单元，被构造为根据对从确定开始定时起的图像数据中的图像数据的图像分析，确定图像数据中所包含的多个对象之中的主要对象，

其中所述确定开始定时是当摄影操作确定单元确定所述成像设备从第一时间段改变到第二时间段时的定时。

2.如权利要求1所述的成像设备，其中所述主要对象确定单元观察从确定开始定时起的多个帧的图像数据中的对象位置状态并且在符合特定位置条件的对象之中确定主要对象。

3.如权利要求2所述的成像设备，其中所述特定位置条件是在所述多个帧中能够平均地、累积地或连续地获得满足在图像上的预定位置状态的情况的条件。

4.如权利要求1所述的成像设备，其中所述主要对象确定单元观察从确定开始定时起的图像数据中的对象的聚焦状态并且在符合特定聚焦条件的对象之中确定主要对象。

5.如权利要求4所述的成像设备，其中所述符合特定聚焦条件的对象是位于在图像数据的划分区域中测量的聚焦度数据等于或大于预定值的划分区域处的对象。

6.如权利要求4所述的成像设备，其中所述主要对象确定单元在符合所述特定聚焦条件并且还符合特定位置条件的对象之中确定主要对象。

7.如权利要求1所述的成像设备，其中所述摄影操作确定单元根据对成像设备的平移或倾斜操作的检测来设置确定开始定时。

8.如权利要求1所述的成像设备，其中所述摄影操作确定单元根据对成像设备的平移或倾斜操作的结束的检测来设置确定开始定时。

9.如权利要求1所述的成像设备，其中所述摄影操作确定单元根据对成像设备的变焦操作的检测来设置确定开始定时。

10.如权利要求1所述的成像设备，其中所述摄影操作确定单元根据对成像设备的变焦操作的结束的检测来设置确定开始定时。

11.如权利要求1所述的成像设备，其中所述摄影操作确定单元根据对从成像设备的平移操作到成像设备的变焦操作的转变的检测或者根据对变焦操作的结束的检测来设置确定开始定时。

12.如权利要求1所述的成像设备，其中所述摄影操作确定单元根据对从成像设备的变焦操作到成像设备的平移操作的转变的检测或者根据对平移操作的结束的检测来设置确定开始定时。

13.如权利要求1所述的成像设备，其中所述摄影操作确定单元根据对成像设备的手动聚焦操作的结束的检测来设置确定开始定时。

14.一种成像设备的图像处理方法，包括：

确定在成像时的摄影操作，并且基于确定所述成像设备在用户正常地携带或保持所述成像设备并且不执行摄影操作的第一时间段中，还是所述成像设备在执行摄影操作的第二时间段中，设置对于图像数据中的主要对象的确定开始定时；以及

根据对从确定开始定时起的图像数据中的图像数据的图像分析，确定图像数据中所包含的多个对象之中的主要对象，

其中所述确定开始定时是当摄影操作确定单元确定所述成像设备从第一时间段改变到第二时间段时的定时。