CN104145475A - 图像处理设备，图像处理方法和程序 - Google Patents

Abstract

本发明提供了：稳定成像状态推断单元，其进行推断状态是否为稳定成像状态的稳定成像状态推断处理；和主要被摄对象评估单元，其进行主要被摄对象评估处理。如果利用稳定成像状态推断处理，推断所述状态为稳定成像状态，则主要被摄对象评估单元输出主要被摄对象评估处理的结果。

Description

图像处理设备,图像处理方法和程序

技术领域

本公开涉及进行关于图像中的主要被摄对象的处理的图像处理设备，图像处理方法和程序。

引文列表

专利文献

PTL1：未经审查的日本专利申请公开No.2011-166305

PTL2：未经审查的日本专利申请公开No.2011-146826

PTL3：未经审查的日本专利申请公开No.2011-146827

PTL4：未经审查的日本专利申请公开No.2011-160379

背景技术

近年的数字静态照相机和数字摄像机通常具有脸部检测功能，并且具有最佳地调整诸如相机的焦点和亮度之类的参数，以便匹配脸部的位置或区域的功能。

同时，PTL1公开一种其中通过用户的指定，在拍摄图像中选择作为被摄对象跟踪目标的“主要被摄对象”的方法。

另外，例如，如果使用在PTL2、3和4中公开的技术，那么能够实现被摄对象跟踪，以便围住任何被摄对象的全身轮廓。

此外，还存在一种其中利用自动聚焦/自动曝光等检测/跟踪拍摄图像中的期望区域，并控制光学系统等，以致所述区域变得最适宜的功能。

如上所述，已知其中跟踪被用户指定为主要被摄对象的图像，比如诸如脸部之类的图像区域，或者聚焦脸部区域的技术。

发明内容

同时，在当前状态下，作为拍摄图像中的跟踪或聚焦目标的期望区域，即，“主要被摄对象”是由摄影者用任何方法，从获得自各种检测器的“多个候选区域”中选择一个候选者来确定的。

例如，利用其中通过利用触摸面板，从反映在显示成画面的预览图像(在非快门操作时间之时显示的被摄对象监视图像)中的多个脸部中，选择任意脸部的操作，选择主要被摄对象。另一方面，在用户指定的定时，例如快门半按下等时候，位于预定区域的被摄对象被选为主要被摄对象。

然而，在实际使用情况下，当考虑这种用户界面时，诸如“摄影者进行的主要被摄对象的选择”之类的操作本身通常困难。

例如，用户期望使用该功能，以便一直聚焦于来回移动的被摄对象，不过，用户难以一边拿着照相机，对准该被摄对象，一边选择该被摄对象。

例如，归因于用户对被摄对象的变化或移动的反应速度，上述指定是困难的。例如，在预览图像的画面上，不能很好地指定来回移动的被摄对象的情况就是如此。

另外，在用户把照相机拿在他/她的手中，并对着被摄对象地选择被摄对象的状况下，用户用手指选择主要被摄对象的动作本身就困难。

此外，归因于配置触摸面板的显示屏幕的分辨率，用户可能难以选择被摄对象。此外，归因于配置触摸面板的显示屏幕上的被摄对象大小，或者用户的手指的大小或粗细，可能不能适当地指定期望的被摄对象。

此外，归因于照相机系统上的时滞，例如，实际景象和拍摄图像的预览图像之间的时滞，用户可能难以适当地指定被摄对象。

另外，当在拍摄或记录运动图像的过程中，进行这种操作时，由选择主要被摄对象的动作引起的图像模糊被原样记录，或者在主要被摄对象离开屏幕，或主要被摄对象因临时遮蔽而消失时，即，在跟踪失败时，被迫进行重新选择的动作。

如上所述，在小型照相机中，选择主要被摄对象的动作本身在需要该动作的许多应用情况下都较为困难，从而会给摄影者压力。

于是，本公开的目的是实现一种即使诸如摄影者之类的用户不进行选择被摄对象的动作，也可在适当的时候，把用户期望的目标被摄对象确定为主要被摄对象的技术。

本公开的图像处理设备包括稳定成像状态估计部件，所述稳定成像状态估计部件进行估计是否出现稳定成像状态的稳定成像状态估计处理；和主要被摄对象判定部件，所述主要被摄对象判定部件进行主要被摄对象判定处理，当由于稳定成像状态估计处理，估计出现稳定成像状态时，还输出主要被摄对象判定处理的结果。

本公开的图像处理方法包括稳定成像状态估计步骤，所述稳定成像状态估计步骤进行估计是否出现稳定成像状态的稳定成像状态估计处理；进行主要被摄对象判定处理的主要被摄对象判定步骤；和当由于稳定成像状态估计处理，估计出现稳定成像状态时，输出主要被摄对象判定处理的结果的输出步骤。

本公开的程序使算术处理设备执行所述各个步骤。

按照本公开的技术，进行对于图像数据，自动判定主要被摄对象的主要被摄对象判定处理。作为主要被摄对象判定处理的预先步骤的处理，进行估计是否出现稳定成像状态的稳定成像状态估计处理。另外，在估计出现稳定成像状态的情况下，进行主要被摄对象判定处理，以便输出判定结果，或者输出当估计出现稳定成像状态时获得的主要被摄对象判定结果。稳定成像状态是由于被摄对象图像稳定，因此适合于进行主要被摄对象判定处理的状态。

按照本公开，当出现稳定成像状态时，输出拍摄图像中的主要被摄对象的判定结果。因而，不需要诸如摄影者之类的用户进行选择主要被摄对象的动作，并且主要被摄对象信息可在适当的时机被使用。

附图说明

图1是图解说明按照本公开的实施例的图像处理设备的结构例子的方框图。

图2是图解说明按照实施例的图像处理设备中的主要被摄对象判定处理的流程图。

图3是图解说明按照实施例的成像设备的方框图。

图4是图解说明按照实施例的详细主要被摄对象判定处理的流程图。

图5是图解说明按照实施例的候选图像边框和判定基准点的示图。

图6是图解说明按照实施例的候选图像边框和判定基准点之间的距离的示图。

图7是图解说明按照实施例的基于位置状态的稳定存在度的判定的示图。

图8是图解说明按照实施例的具体主要被摄对象判定处理的流程图。

图9是图解说明按照实施例的稳定成像状态估计处理的执行定时的示图。

图10是图解说明按照实施例的稳定成像状态估计处理的执行定时的示图。

图11是图解说明按照实施例的处理例子1的流程图。

图12是图解说明按照实施例的处理例子2的流程图。

图13是图解说明按照实施例的处理例子2中的操作的示图。

图14是图解说明按照实施例的处理例子3的流程图。

图15是图解说明按照实施例的处理例子3中的操作的示图。

图16是图解说明按照实施例的处理例子4的流程图。

图17是图解说明按照实施例的处理例子4中的操作的示图。

图18是图解说明按照实施例的处理例子5的流程图。

图19是图解说明按照实施例的处理例子5中的全局向量的示图。

图20是图解说明按照实施例的处理例子5中的操作的示图。

图21是图解说明按照实施例的预定时间的变更的示图。

图22是图解说明按照实施例的预定时间变更处理的流程图。

图23是图解说明按照实施例的图像处理设备中的另一种主要被摄对象判定处理的流程图。

图24是图解说明其中把本公开应用于按照实施例的计算机设备的情况的方框图。

具体实施方式

下面，按照以下顺序说明实施例。

<1.图像处理设备的结构>

<2.成像设备的结构>

<3.主要被摄对象判定处理>

<4.稳定成像状态估计处理>

[4-1:稳定成像状态估计处理的执行时机]

[4-2:处理例子1]

[4-3:处理例子2]

[4-4:处理例子3]

[4-5:处理例子4]

[4-6:处理例子5]

[4-7:估计处理中使用的预定时间变更处理]

<5.图像处理设备中的另一种处理例子>

<6.对程序和计算机设备的应用>

<7.变形例>

另外，下面将提及在说明中使用的用语“稳定成像状态”，“稳定存在度”和“成像视野”的含义。

“稳定存在度”是充当自动主要被摄对象判定的指标的值。换句话说，稳定存在度被认为是指示在视角空间中，某个被摄对象在位置方面处于预定状态的频度的值。例如，稳定存在度是时间精度高地判定被摄对象在图像中是否处于预定状态的指标值。当根据后面说明的实施例说明时，稳定存在度是指示候选图像处于作为视角空间中的位置状态的预定位置状态的累积时间、持续时间、平均存在度等的值，例如，认为具有作为“稳定存在度”计算的长累积时间或长持续时间的图像被估计为摄影者主要对准的主要被摄对象。

另外，上述“视角空间”指示出现拍摄图像的空间。视角空间指示作为拍摄图像中的屏幕平面的二维空间，或者包括摄影期间，被摄对象对于照相机位置的相对距离的三维空间。

“稳定成像状态”指示适合于进行主要被摄对象判定处理，或者利用主要被摄对象判定结果的状态或状况。尽管随各种预期情况中，成像设备和被摄对象之间的相对关系而不同，不过如果拍摄图像内容的变化较小，并且当在某种程度上使拍摄图像稳定时的时期持续，那么主要被摄对象判定处理是有意义的处理。

例如，在小型照相机的情况下，用户一边拿着照相机，一边寻找被摄对象的状况是稳定成像状态。例如，稳定成像状态是其中成像设备10被稳定地保持的状态，比如正在寻找被摄对象，以便拍摄被摄对象的静止图像的状况。

在本实施例中，作为自动主要被摄对象判定处理的启动条件，进行“稳定成像状态估计处理”，不过这是估计进行主要被摄对象稳定处理是否适当的处理。例如，在小型照相机的情况下，“稳定成像状态估计处理”是判定用户是否处于如下操作状态的处理：所述操作状态可被估计为一边拿着照相机，一边寻找被摄对象的状况。

“成像视野”指示拍摄图像中显示的范围中的被摄对象景象。成像视野变动指示在时间轴上，出现在拍摄图像数据中的拍摄图像的各种变动。例如，所述变动指示出现在图像数据中的各种变动，比如拍摄图像的视角的变动，被摄对象方位的变动，由抖动或照相机姿势等引起的被摄对象范围的变动，诸如辉度、颜色和对比度之类的图像质量变动，和聚焦状态的变动。其中成像视野变动在预定范围内的情况，即，可以判定成像视野稳定的情况可被估计为“稳定成像状态”。

<1.图像处理设备的结构>

图1图解说明按照实施例的图像处理设备的结构例子。

图像处理设备1包括主要被摄对象判定部件2和稳定成像状态估计部件3。

稳定成像状态估计部件3进行估计是否出现稳定成像状态的稳定成像状态估计处理。

主要被摄对象判定部件2进行主要被摄对象判定处理。

在归因于稳定成像状态估计部件3的稳定成像状态估计处理，估计出现稳定成像状态的情况下，主要被摄对象判定部件2输出主要被摄对象判定处理的结果。

例如，主要被摄对象判定部件2进行主要被摄对象判定处理，并在估计出现稳定成像状态的情况下，输出判定结果。

另一方面，主要被摄对象判定部件2可逐次进行主要被摄对象判定处理，并输出当估计出现稳定成像状态时，获得的最新的主要被摄对象判定结果。

稳定成像状态估计部件3通过利用输入的估计信息Inf，进行关于当前状态是否被估计为稳定成像状态的稳定成像状态估计处理。估计信息Inf可以是各种信息，例如，经过时间信息，用于检测成像设备的举动的传感器输出，成像设备的各种操作的控制值或指令值，用于检测成像光学系统的运动的传感器输出，图像分析信息等。

稳定成像状态估计部件3通过利用估计信息Inf，进行估计处理，并且在估计出现稳定成像状态的情况下，通知主要被摄对象判定部件2估计已出现稳定成像状态。

响应稳定成像状态的估计的通知，主要被摄对象判定部件2如以下例子中那样进行稳定成像状态估计处理。

例如，作为利用软件程序实现的算术处理功能，主要被摄对象判定部件2具有候选者检测功能和主要被摄对象判定处理功能。

主要被摄对象判定部件2首先利用候选者检测功能，进行候选者检测。

候选者检测是从多帧的输入图像数据Dg中，检测充当主要被摄对象的候选者的候选图像的处理。

换句话说，对时间轴上连续输入的各帧图像数据Dg，或者间歇的各帧进行脸部图像检测或人体图像检测，并从中提取充当主要被摄对象的候选者的图像。

另外，可利用对于拍摄图像数据的图像分析中的模式匹配方法，进行脸部检测、人体检测等，如果用于模式匹配的词典被替换，那么原则上可以实现任何其它检测器。例如，可为了狗眼睛检测，猫眼睛检测等，提取主要被摄对象的候选图像。

此外，例如，借助利用帧差分的运动体检测方法，可检测运动体，运动体可用作候选图像，这种情况下，可以使用称为saliency的关注区域提取方法。

此外，主要被摄对象判定部件2把指示由于候选者检测处理而提取的候选图像的信息，例如，候选图像的画面中的二维方向的位置信息(x和y坐标值)，被摄对象距离，图像大小等，设定为候选图像信息。

主要被摄对象判定部件2利用主要被摄对象判定处理功能，相继地进行以稳定存在度的计算为基础的主要被摄对象设定。

换句话说，主要被摄对象判定部件2关于利用由于候选者检测而获得的候选图像信息指示的候选图像，获得多帧内的图像数据中的稳定存在度，并在候选图像中，判定主要被摄对象。另外，输出主要被摄对象信息Dm。

首先，主要被摄对象判定部件2关于利用候选图像信息指示的候选图像，判定在视角空间中的位置状态。

“位置状态”总称地指示图像数据中的拍摄图像在视角空间中的绝对或相对位置的状况。

“位置状态”的具体例子包括

和视角空间中的某个判定基准点的相对距离

和视角空间中的某个判定基准区域的相对位置关系或相对距离

拍摄图像的二维平面中的候选图像的位置

成像期间，被摄对象和照相机位置的相对距离

被摄对象距离和判定基准点或判定基准区域之间的相对位置关系，等等。

之后，从各个确定帧中的候选图像的位置状态，获得各个候选图像在多帧内的图像数据中的稳定存在度。

另外，进行其中利用由于稳定存在度计算功能而获得的稳定存在度，从各个候选图像中判定主要被摄对象，以便把某个候选图像设定为主要被摄对象的处理。

如上所述，指示设定为主要被摄对象的图像的信息作为主要被摄对象信息Dm被输出，并被发送给其它应用软件、处理电路部分等。

另外，包括主要被摄对象判定部件2和稳定成像状态估计部件3的图像处理设备1可用作为算术处理装置的中央处理器(CPU)或数字信号处理器(DSP)实现。

图像处理设备1进行的处理的流程如图2A中所示。

在步骤F1000，稳定成像状态估计部件3进行稳定成像状态估计处理。如上所述，稳定成像状态估计部件3通过利用输入的估计信息Inf，判定当前状态是否被估计成稳定成像状态。

此时，如果在步骤F1000的稳定成像状态估计处理中，估计没有出现稳定成像状态，那么在步骤F1001，结束图像处理设备1的图2A的处理。然后，从步骤F1000重新开始该处理。

另一方面，如果在步骤F1000的稳定成像状态估计处理中，估计出现稳定成像状态，那么在步骤F1001，图像处理设备1把此判定为主要被摄对象判定处理的开始定时。另外，流程进入步骤F1002，主要被摄对象判定部件2进行主要被摄对象判定处理。

首先，在步骤F1002，开始上述候选图像检测。

例如，从成像设备部分(未图示)，或者接收从独立的成像设备传送的图像数据的接收部分等，输入图像数据Dg。另一方面，存在再现并输入利用成像设备获得，并保存在记录介质中的运动图像数据的情况。

在步骤F1002，主要被摄对象判定部件2以相继输入的图像数据Dg的各帧作为目标，进行图像分析、帧差分检测、关注区域检测等，以便开始检测预定候选图像的处理。

主要被摄对象判定部件2可以把所有的输入帧作为目标，进行候选图像提取，可以把间歇帧，比如每隔一帧或者每隔两帧作为目标，进行候选图像提取。换句话说，在进行主要被摄对象判定期间，主要被摄对象判定部件2至少可时序地对多帧进行候选图像提取处理。用作候选图像的图像随设定而变，例如可以是脸部图像、人体图像、狗图像、猫图像等。

另外，主要被摄对象判定部件2为每一帧，生成指示检测的候选图像的候选图像信息。

之后，在步骤F1003，主要被摄对象判定部件2进行主要被摄对象判定处理。

参见图2B，详细说明步骤F1003。

首先，在步骤F1，主要被摄对象判定部件2进行位置状态判定处理。该处理是判定先前生成的各个候选图像的位置状态的处理。

候选图像可能存在于一帧之后的一帧或多帧中，并且候选图像可能不存在于某帧中。在多个候选图像存在于一帧中的情况下，对每个候选图像，确定位置状态。

之后，在步骤F2，主要被摄对象判定部件2根据在位置状态判定处理中确定的候选图像在各帧中的位置状态，计算每个候选图像在多帧内的图像数据中的稳定存在度。例如，稳定存在度被计算为指示位置状态为接近图像中心的状态的频度的值等。

在步骤F3，主要被摄对象判定部件2通过利用各个候选图像的稳定存在度，从候选图像中判定主要被摄对象。例如，其作为指示位置状态是接近图像中心的状态的频度的值等的稳定存在度是最大值或者在最短时间内达到预定值的候选图像被判定为主要被摄对象。

在图2A的步骤F1003，主要被摄对象判定部件2进行如上所述的图2B的步骤F1-F3，从而把一个候选图像设定为主要被摄对象。

另外，在图2A的步骤F1004，主要被摄对象判定部件2把主要被摄对象信息Dm发送给应用程序等。

应用程序等进行与已指定设定为主要被摄对象的图像的事实对应的处理。例如，所述处理包括聚焦控制，跟踪处理，图像效果处理等。

如上所述，在利用图像处理设备1进行的主要被摄对象判定处理中，当由于稳定成像状态估计处理，估计出现稳定成像状态时，进行主要被摄对象判定处理。

因此，以稳定成像状态的估计的形式，判定适合于判定主要被摄对象的时机，从而能够在适当的时候，进行主要被摄对象判定处理。

例如，其中拥有照相机的摄影者意图摄影地拿着照相机的状态被估计为稳定成像状态。在这种情况下，适合于启动主要被摄对象判定处理。相反，尤其是在用户不拿着照相机的情况下，进行主要被摄对象判定处理是无用的。

在这个例子的图像处理设备1中，通过稳定成像状态估计处理，估计其中摄影者打算成像的状态，例如，其中摄影者试图寻找被摄对象的状况，并在基于该估计的适当时机，即，用户期望的时机，并且当不进行无用的处理时，进行主要被摄对象判定处理。

另外，在主要被摄对象判定处理中，从提取的候选图像中，获得被摄对象在多帧中的稳定存在度。换句话说，获得用于判定被摄对象是否时间频度高地位置稳定地存在于图像中的指标值。例如，精度高地被视为拿着照相机的摄影者所对准的目标的被摄对象具有较高的稳定存在度。即，使摄影者主要对准的被摄对象作为拍摄图像中的位置，被包含在图像中，以致成为被摄影者视为中心的点或区域，并且如果摄影者对准该被摄对象，那么该被摄对象自然长时间地包含在拍摄图像中。于是，位置稳定，并且时间频度高地存在于拍摄图像中的具有高稳定存在度的被摄对象可被估计为摄影者对准的主要被摄对象。

主要被摄对象是根据这样的稳定存在度判定的。因而，主要被摄对象是自动判定的，而不必诸如摄影者之类的用户有意地进行指定操作，从而极大地改善了进行与主要被摄对象的设定对应的操作的各种电子设备中的用户可操作性。

<2.成像设备的结构>

下面通过举例说明包括上述图像处理设备的成像设备10，说明稳定成像状态估计操作和主要被摄对象判定操作。

图3图解说明实施例的成像设备10的结构例子。成像设备10是所谓的数字静态照相机或数字摄像机，是拍摄和/或记录静止图像或运动图像的设备，并且包括在权利要求中所述的图像处理设备。

另外，在成像设备10的控制单元30中，利用软件实现与图像处理设备的上述主要被摄对象判定部件2和稳定成像状态估计部件3对应的构成元件。图3中，图解说明了主要被摄对象判定部件30a和稳定成像状态估计部件30b。控制单元30进行以在权利要求中所述的程序为基础的处理，以便进行作为在权利要求中所述的图像处理方法的操作。

如图3中图解所示，成像设备10包括光学系统11、成像器12、光学系统驱动单元13、传感器单元14、记录单元15、通信单元16、数字信号处理单元20、控制单元30、用户接口控制器(下面称为“UI控制器”)32、和用户接口33。

光学系统11包括诸如罩盖透镜、变焦透镜和聚焦透镜之类的透镜，和光圈机构。利用光学系统11，在成像器12收集光。

成像器12包括电荷耦合器件(CCD)型、互补金属氧化物半导体(CMOS)型等的成像器件。

成像器12对通过成像器件中的光电转换而获得的电信号，进行例如相关双采样(CDS)处理、自动增益控制(AGC)处理等，还进行模/数(A/D)转换处理。另外，作为数字数据的成像信号被输出给在下一级的数字信号处理单元20。

光学系统驱动单元13在控制单元30的控制下，驱动光学系统11的聚焦透镜，以致进行聚焦操作。另外，光学系统驱动单元13在控制单元30的控制下，驱动光学系统11的光圈机构，以致进行曝光调整。此外，光学系统驱动单元13在控制单元30的控制下，驱动光学系统11的变焦透镜，以便进行变焦操作。

通过利用例如DSP，以图像处理处理器的形式，形成数字信号处理单元20。数字信号处理单元20对来自成像器12的拍摄图像信号，进行各种信号处理。

例如，数字信号处理单元20包括预处理部分21、同步部分22、YC生成部分23、分辨率转换部分24、编解码器部分25、候选者检测部分26和运动向量检测部分27。

预处理部分21对来自成像器12的拍摄图像信号，进行把R、G和B的黑色电平固定到预定电平的箝位处理，R、G和B的颜色通道之间的校正处理等。同步部分22进行去马赛克处理，以致各个像素的图像数据具有R、G和B的所有颜色分量。YC生成部分23从R、G和B的图像数据，生成辉度(Y)信号和颜色(C)信号。分辨率转换部分24对经过各种图像处理的图像数据，进行分辨率转换处理。编解码器部分25对分辨率已被转换的图像数据，进行记录或通信用编码处理。

候选者检测部分26对应于图1中描述的主要被摄对象判定部件2的候选者检测功能。在图3的例子中，候选者检测部分26是由数字信号处理单元20执行的功能结构，不过这只是例子，候选者检测部分26的处理可由控制单元30的主要被摄对象判定部件30a进行。

以诸如用YC生成部分23获得的辉度信号或颜色信号之类的拍摄图像信号作为目标，候选者检测部分26以帧为单位进行图像分析处理，以便提取候选图像。例如，检测脸部图像，从而把脸部图像存在于的区域提取为候选图像边框。对于提取的候选图像，所述候选图像边框在屏幕上的位置信息，比如xy坐标值和被摄对象距离，或者候选图像边框的大小信息，比如宽度、高度和像素数，作为候选图像信息被发送给控制单元30的主要被摄对象判定部件30a。另外在这里，由于候选图像信息是指示充当候选图像的图像区域的边框的信息，因此候选图像信息也被称为“候选图像边框信息”。

另外，候选图像边框信息可包括候选图像的诸如脸部、人体、狗或猫之类的属性信息的种类、个体识别信息或者图像数据本身。

如上所述，候选者检测部分26可用模式匹配方法，提取充当候选目标的特定图像，可利用帧差分，用运动体检测方法，检测运动体，并把运动体设定为候选图像。提取和选择候选图像的方法并不局限于以上方法，可以多种多样。另外，候选者检测部分26可对图像进行诸如平滑处理或者外点消除处理之类的处理，以便生成候选图像边框信息。

运动向量检测部分27是在采用后面说明的处理例子5的情况下设置的功能结构。以利用YC生成部分23获得的拍摄图像信号作为目标，运动向量检测部分27以帧为单位，进行图像分析处理，以便从画面被分割成的多个相应区域的运动向量(局部向量)，获得整个图像的向量(全局向量)，细节将在处理例子5中说明。

运动向量检测部分27把全局向量发送给控制单元30的稳定成像状态估计部件30b，以便进行稳定成像状态估计处理。

此外，在图3的例子中，运动向量检测部分27是由数字信号处理单元20执行的功能结构，不过这只是例子，控制单元30的稳定成像状态估计部件30b可以进行运动向量检测部分27的处理。

控制单元30由包括CPU、只读存储器(ROM)、随机存取存储器(RAM)、闪存等的微计算机构成。

CPU执行保存在ROM、闪存等中的程序，以致总体控制成像设备10。

作为当CPU执行各种数据处理时的工作区，RAM用于临时保存数据、程序等。

ROM或非易失性存储器用于不仅保存供CPU控制各个构成元件，或者诸如图像文件之类的内容文件之用的操作系统(OS)，而且保存用于各种操作的应用程序或者固件。在这个例子中，例如，保存用于进行后面说明的主要被摄对象判定处理的程序，利用主要被摄对象判定结果的应用程序等。

于是，控制单元30对于数字信号处理单元20中的各种信号处理的指令，响应于用户操作的成像操作或记录操作，记录的图像文件的再现操作，诸如变焦、聚焦和曝光调整之类的照相机操作，用户接口操作等，控制各个必要构成元件的操作。

另外，在本实施例中，控制单元30起主要被摄对象判定部件30a的作用，进行后面说明的主要被摄对象判定处理。

主要被摄对象判定部件30a对从候选者检测部分26发送的候选图像信息，进行位置状态判定处理，稳定存在度计算处理，和基于稳定存在度的主要被摄对象设定处理。

此外，在本实施例中，控制单元30起稳定成像状态估计部件30b的作用，进行后面说明的稳定成像状态估计处理。

稳定成像状态估计部件30b根据经过的时间、各种传感器信息、控制指令值等，判定是否估计出现稳定成像状态。

用户接口33进行对于用户的显示输出或声音输出，并接收来自用户的操作输入。因此，用户接口包括显示装置、操作装置、扬声器装置、麦克风装置等。这里，图示了显示部分34和操作部分35。

显示部分34向用户进行各种显示，例如包括在成像设备10的壳体上形成的诸如液晶显示器(LCD)或有机电致发光(EL)显示器之类的显示装置。另外，可以所谓的取景器的形式，利用LCD、有机EL装置等构成显示部分。

显示部分34包括显示装置，和使显示装置进行显示的显示驱动器。显示驱动器根据来自控制单元30的指令，在显示装置上进行各种显示。例如，显示驱动器再现和显示拍摄并记录在记录介质上的静止图像或运动图像，或者在显示装置的屏幕上，显示当等待快门操作时拍摄的预览图像(被摄对象监视图像)。另外，诸如各种操作菜单、图标和消息之类的图形用户界面(GUI)被显示在屏幕上。在本实施例中，还在预览图像或再现图像上进行以致用户能够了解归因于主要被摄对象判定的判定结果的显示。

操作部分35具有接收用户的操作的输入功能，并把响应输入操作的信号发送给控制单元30。

操作部分35例如用设置在成像设备10的壳体上的各种操作装置，在显示部分34中形成的触摸面板等实现。作为壳体上的操作装置，设置有再现菜单开始按钮、确定按钮、十字键、取消按钮、变焦键、滑动键、快门按钮等。另外，可利用显示在触摸面板和显示部分34上的图标、菜单等，通过触摸面板操作，进行各种操作。

用户接口33的显示部分34等的操作，由UI控制器32响应来自控制单元30的指令进行控制。另外，UI控制器32把利用操作部分35的操作信息，传送给控制单元30。

记录单元15例如包括非易失性存储器，起保存诸如静止图像数据或运动图像数据之类的内容文件，图像文件的属性信息，缩略图图像等的存储区的作用。

图像文件是按诸如联合图像专家组(JPEG)、标签图像文件格式(TIFF)或图形交换格式(GIF)之类的格式保存的。

记录单元15的实际形态可以多种多样。例如，记录单元15可为内置于成像设备10中的闪存单元的形式，可以呈可附着于和脱离成像设备10的存储卡，例如，便携式闪存和对所述闪存进行记录/再现访问的卡记录/再现部分的形式。另外，记录单元可用内置于成像设备10中的硬盘驱动器(HDD)实现。

此外，在本例中，进行后面说明的稳定成像状态估计处理和主要被摄对象判定处理的程序可被保存在记录单元15中。

通信单元16有线或无线地与外部设备进行数据通信或网络通信。例如，与外部显示装置、记录装置、再现装置等进行拍摄图像数据(静止图像文件或运动图像文件)的通信。

另外，可通过利用例如诸如因特网、家庭网络和局域网(LAN)之类的各种网络作为网络通信单元，进行通信，从而往来于网络上的服务器和终端，传送和接收各种数据。

传感器单元14包括各种传感器。例如，设置检测照相机抖动的陀螺传感器，检测成像设备10的姿势的加速度传感器等。另外，可设置检测成像设备10的姿势或移动的角速度传感器，检测环境照度，以便进行曝光调整的照度传感器，和检测被摄对象距离的测距传感器。取决于加速度传感器或角速度传感器，可以检测成像设备10的摇移/俯仰。

另外，存在设置检测光学系统11的变焦透镜的位置的变焦透镜位置传感器，和检测光学系统11的聚焦透镜的位置的聚焦透镜位置传感器，作为传感器单元14的情况。

此外，存在设置检测作为光圈机构的机械光圈的孔径大小的传感器，作为传感器单元14的情况。传感器单元14的各个传感器把检测的信息传送给控制单元30。控制单元30可利用传感器单元14检测的信息，进行各种控制。

<3.主要被摄对象判定处理>

首先，在成像设备10中，说明由主要被摄对象判定部件30a进行的主要被摄对象判定处理。之后，说明判定主要被摄对象判定处理的条件的稳定状态成像估计处理。

主要被摄对象判定处理是获得在多帧的图像数据中的稳定存在度的处理，是在候选图像中判定主要被摄对象的处理。

下面参考图4，说明主要被摄对象判定处理的概况，参考图5-8，说明具体的处理例子。

图4是主要被摄对象判定处理的流程图。另外，图4还关于步骤F10-F15，图解说明与图2B的判定位置状态的步骤F1，计算稳定存在度的步骤F2和设定主要被摄对象的步骤F3对应的各个处理的对应关系。

在步骤F10，控制单元30从候选者检测部分26，获得某一帧的候选图像边框信息。

在步骤F11，控制单元30分别对于利用获得的候选图像边框信息指示的一个或多个候选图像边框，判定位置状态。

这种情况下，作为位置状态，判定候选图像相对于在视角空间中设定的判定基准点的距离。另一方面，作为位置状态，判定候选图像相对于在视角空间中设定的判定基准区域的位置关系。

在步骤F12，控制单元30对于每个候选图像边框，计算稳定存在度。这种情况下，控制单元30计算当位置状态满足预定条件时的累积时间信息，作为稳定存在度。另一方面，控制单元30计算位置状态保持满足预定条件的持续时间，作为稳定存在度。

另外，候选图像在视角空间中的位置信息，或者候选图像的大小信息可用于计算稳定存在度。

在步骤F13，控制单元30利用稳定存在度，判定主要被摄对象。

这里，在步骤F13中进行的判定是其中从开始主要被摄对象判定时起，在最短时间内达到预定值的候选图像被判定为主要被摄对象的处理。另一方面，所述判定是其中在当前进行主要被摄对象判定的时候，作为稳定存在度的值最大的候选图像被判定为主要被摄对象的处理。

另外，连同稳定存在度的值一起，在视角空间中的位置信息，或者大小信息可用于主要被摄对象判定。

当还不存在其稳定存在度的值达到预定值的候选图像时，或者当预定的主要被摄对象判定期还未过去，并且在该时期内，还不能选择稳定存在度的值最大的候选图像时，在步骤F3的处理中，还不能判定主要被摄对象。这种情况下，控制单元30从步骤F14返回F10，重复进行各个处理。换句话说，候选者检测部分26获得接下来要处理的帧的候选图像边框信息，并对其进行相同的处理。

当在某个时间，发现其稳定存在度的值达到预定值的候选图像时，或者当预定的主要被摄对象判定期已过去，并且在该时期内，能够选择稳定存在度的值最大的候选图像时，控制单元30从步骤F14进入步骤F15。另外，在步骤F13中判定的候选图像被设定为主要被摄对象。

另外，图4的主要被摄对象判定处理是其中在执行主要被摄对象判定期间，获得候选图像信息的时候，进行判定的处理方式。

作为其它方式，在某个时期内，获得候选图像信息。另外，可以考虑其中当所述时期过去时，通过利用获得的候选图像信息，进行主要被摄对象判定的处理方式。

下面，说明与图4的主要被摄对象判定处理对应的具体处理例子。

在下面的具体例子中，获得被设定为候选图像边框的位置状态的与判定基准点的距离。

另外，作为各个候选图像边框的稳定存在度，计算满足与判定基准点的距离在预定阈值之内的条件的累积时间信息。

此外，从开始主要被摄对象判定起，其稳定存在度最早达到预定值的候选图像被判定为主要被摄对象。

于是，首先参考图5、6和7，分别说明候选图像边框，与判定基准点的距离，和稳定存在度。

图5示意图解说明由候选者检测部分26进行的提取候选图像边框的操作。

图5图解说明由于成像设备10的光学系统11和成像器12的操作，输入数字信号处理单元20中的拍摄图像信号的各帧FR1、FR2、FR3、…。候选者检测部分26从相继输入的各个连续帧，或者各个间歇帧中，检测候选图像。

例如，如图所示，在帧FR1中存在3个人的情况下，每个脸部图像部分被提取为候选图像，候选图像边框E1、E2和E3的候选图像边框信息被输出和发送给主要被摄对象判定部件30a。候选图像边框信息是位置信息、大小信息、属性信息等。

候选者检测部分26按照相同的方式，对后续各帧FR2、FR3、…提取候选图像，生成各个候选图像边框的候选图像边框信息，并把候选图像边框信息发送给主要被摄对象判定部件30a。

当获得各帧的候选图像边框信息时，控制单元30计算与判定基准点的距离，作为各个候选图像边框的位置状态。

图6A图解说明判定基准点SP的例子。这是其中图像中心被用作判定基准点SP的例子。另外，判定基准点SP的xy坐标值被设定为(Cx,Cy)。

这里，计算从例示的各个候选图像边框E1、E2和E3的重心G到判定基准点SP的距离Diff1、Diff2和Diff3。

另外，不要求把判定基准点SP设定在图像中心。

例如，如图6B中所示，判定基准点SP可被设定在中心的稍微偏左上方的位置。这是因为在考虑静止图像的构图的情况下，如果主要被摄对象被置于不在中心的位置，那么这通常会产生合适的构图。

另外在这种情况下，用和图6A相同的方法，计算判定基准点SP与候选图像边框的重心G之间的距离。

判定基准点SP可被固定地设定在如图6A或6B中那样的位置，可利用用户在显示屏幕上的触摸操作任意指定。另外，可在显示部分34的屏幕上，向用户呈现判定基准点的几个候选点，以便由用户选择。此外，控制单元30可按照图像内容、图像分析结果等，考虑到构图等，判定最佳位置，从而可自动设定判定基准点。换句话说，可如下设定判定基准点SP。

判定基准点被设定在预先设定的固定位置，比如图像中心位置，或者偏离中心的位置。

判定基准点由用户任意指定。

通过向用户呈现几个候选点，并由用户选择一个候选点，设定判定基准点。

通过按照图像内容，判定最佳位置，由控制单元30自动、可变地设定判定基准点。

在各帧的时间点，获得作为候选图像边框E(n)的位置状态的距离Diff(n)。

图7图解说明在假定在某个时期内，候选图像边框E1、E2和E3保持存在于连续各帧上(FR1、FR2、…)中的情况下，计算的距离Diff1、Diff2和Diff3变化的状态。计算的各个距离Diff1、Diff2和Diff3在时间轴上变化。

在后面说明的图8的处理例子中，稳定存在度被设定成接近于判定基准点SP的状态的累积时间。因此，距离阈值Trs-diff被用于判定“接近/不接近”。

图7的下部图解说明在各个时间点，距离Diff1、Diff2和Diff3是否等于或小于距离阈值Trs-diff的判定结果。如果距离Diff(n)等于或小于距离阈值Trs-diff，那么这被认为接近＝1。通过累加在各个时间点的判定结果“1”，获得处理例子1中的稳定存在度。

从开始判定到结束判定的时期随具体的处理例子而不同。在后面说明的图8的处理例子中，等于或小于距离阈值Trs-diff的判定结果“1”的累加值是指示一直到该时间的稳定存在度的累积时间，不过，其累积时间达到预定值的候选图像的时间是终止所述判定的时机。

例如，在图7的例子中，候选图像边框E3被连续判定成为“1”，不过，在累加值达到某个预定值的时候，终止所述判定，候选图像边框E3被判定为主要被摄对象。

另外在这里，连续性无关紧要。例如，图7中的候选图像边框E2的距离Diff2随时间点而被判定为“1”和“0”，不过在只要就累积时间来说，为“1”的状况多，并且其累积时间比其它候选图像边框更早达到预定值的情况下，候选图像边框E2就可被判定为主要被摄对象。

不过，可以考虑其中在稳定存在度的条件中，使用连续性的例子。

参见图8，说明控制单元30中的主要被摄对象判定处理的具体例子。

首先在步骤F100，把变量TSF设定为0，把计数值Cnt(n)设定为0。

变量TSF是指示是否结束主要被摄对象设定的标记。TSF＝“0”指示主要被摄对象未被判定。另外，计数值Cnt(n)是通过相加与距离Diff的上述距离阈值Trs-diff的比较判定结果的值而获得的计数值。

另外，“n”表示自然数，计数值Cnt(n)被设定成与检测的候选图像边框E(n)对应的计数值。例如，在检测到3个候选图像边框E1、E2和E3的情况下，Cnt1、Cnt2和Cnt3被用作计数值。

此外，类似地，距离Diff(n)被假定总体指示3个候选图像边框E1、E2和E3和判定基准点SP的距离Diff1、Diff2和Diff3。

候选图像边框E(n)指示候选图像边框E1、E2、E3、…，不过这些候选图像边框最好取决于多帧内的被摄对象而相互区分开。例如，当说明其中候选者提取部分26提取脸部的例子时，在人物A、人物B和人物C是被摄对象的情况下，对各帧来说共同地，人物A、B和C的脸部图像部分充当候选图像边框E1、E2和E3。即使在中间某帧中，只有人物D是被摄对象，人物D的脸部图像部分也充当候选图像边框E4。于是，候选者提取部分26可以不仅检测“脸部”，而且还判别个体。

在步骤F101，控制单元30从候选者提取部分26获得某帧的候选图像边框信息。例如，对于各个候选图像边框E(n)，获得位置信息或大小信息。

在步骤F102，控制单元30对于各个候选图像边框E(n)，计算重心G的坐标。

例如，假定已知正方形候选图像边框的左上顶点的坐标值。这些xy坐标值被设定为(E(n)_x,E(n)_y)。另外，如图6中图解所示，xy坐标系把屏幕平面的左上点作为原点O。

此外，候选图像边框E(n)的宽度w被设定为E(n)_w，其高度h被设定为E(n)_h。

此外，当候选图像边框E(n)的重心G的坐标值被设定为(E(n)_cx,E(n)_cy)时，如下获得重心G的坐标值。

E(n)_cx＝E(n)_x+(E(n)_w)/2

E(n)_cy＝E(n)_y+(E(n)_h)/2

在步骤F103，控制单元30计算从各个候选图像边框E(n)的重心G到判定基准点SP的距离Diff(n)。如下获得判定基准点SP的坐标值(Cx,Cy)。

$\mathrm{Diff}\left(n\right)=\sqrt{\{{(E\left(n\right)\_\mathrm{cx}-\mathrm{Cx})}^2+{(E\left(n\right)\_\mathrm{cy}-\mathrm{Cy})}^2\}}$

在步骤F104，检查变量TSF。如果变量TSF为0，那么流程进入步骤F105。

另外，如后所述，在本实施例中，主要被摄对象判定处理是根据稳定成像状态估计处理进行的，从而可以省略步骤F104。

不过，尽管在图23中进行了说明，不过还存在其中始终进行主要被摄对象判定处理的处理例子。这种情况下，步骤F104中的处理被跳过。

在步骤F105、F106和F107，利用距离阈值Trs-diff，判定到判定基准点SP的距离Diff(n)是否接近于判定基准点SP。

比较各个候选图像边框E(n)到判定基准点SP的距离Diff(n)和距离阈值Trs-diff，如果距离Diff(n)<Trs-diff，那么在步骤F106，标记Flg(n)被设定为1。另外，如果Diff(n)≥Trs-diff，那么在步骤F107，标记Flg(n)被设定为0。

之后，在步骤F108和F109，计算各个候选图像边框E(n)的稳定存在度。首先，在步骤F108，检查标记Flg(n)是否为1，如果标记Flg(n)＝1，那么在步骤F109，递增计数值Cnt(n)。如果标记Flg(n)＝0，那么不改变计数值Cnt(n)。

计数值Cnt(n)是作为累加值的稳定存在度的值。换句话说，计数值是表示候选图像边框E(n)“接近于”判定基准点SP的状态的频度的值。

之后，在步骤F111、F112和F113，通过利用各个候选图像边框E(n)的稳定存在度，判定主要被摄对象。

在步骤F111，检查各个候选图像边框E(n)的计数值Cnt(n)是否达到计数阈值CTthr。

如果没有Cnt(n)大于或等于CTthr，即，各个候选图像边框E(n)的所有计数值Cnt(n)都未达到计数阈值CTthr，那么在步骤F113中，变量TSF为0的状态下，在步骤F114中不结束判定，流程返回步骤F101。这种情况下，根据对于下一帧输入的候选图像边框信息，如上所述进行步骤F101和后续各个步骤中的处理。

另外，在步骤F114，如果变量TSF＝0，那么主要被摄对象的判定还未完成，从而继续进行判定处理，如果变量TSF＝1，那么完成主要被摄对象判定。

当在上述步骤F104中，检测到变量TSF＝1时，在这种状态下终止所述判定。

尽管省略了详细说明，不过与本例的自动主要被摄对象判定并行，通过诸如用户进行在显示部分34的屏幕上，触摸主要被摄对象的操作，或者把被摄对象调整到屏幕上的预定位置，并半按下快门按钮之类的操作，可选择主要被摄对象。当在执行图8的处理期间，用户进行这种指定操作时，最好优先考虑用户的操作。于是，当利用人工操作设定主要被摄对象时，变量TSF被设定为1。这种情况下，可按照步骤F104和F114中的判定，终止图8的处理。

由于在一定的持续时间中，进行基于稳定存在度的主要被摄对象判定，因此除非处理了许多帧中的候选图像边框信息，否则如上所述在步骤F114中，不终止所述判定，从而流程返回步骤F101，以致重复进行处理。

这里，例如，如图7中图解所示，某个候选图像边框E3不是连续的，而是假定在多帧中，高频度地存在在拍摄图像上，该边框位于接近于判定基准点SP的位置的状况。从而，由于出现在步骤F109中，递增候选图像边框E3的计数值Cnt3的多次机会，因此计数值Cnt3比计数值Cnt1和Cnt2更快地进展，从而首先达到计数阈值CTthr。

这种情况下，控制单元30使处理从步骤F111进入步骤F112。

在步骤F112，控制单元30把其计数值Cnt(n)达到计数阈值CTthr的候选图像边框E(n)判定为主要被摄对象，并进行主要被摄对象设定。另外，变量TSF被设定为1。

这种情况下，在步骤F114，结束判定。换句话说，例如，候选图像边框E3被设定为主要被摄对象，从而完成图8的主要被摄对象判定处理。

另外，在该处理例子中，处理被反复进行，直到变量TSF变成1为止，不过实际上，最好设置预定的限制时间。换句话说，在即使从图8的处理开始时间起，过去了预定时间，也不能判定主要被摄对象的情况下，由于不存在主要被摄对象，因此终止该处理。

按照图8的上述处理例子，用户拿着成像设备10，以致使主要期望拍摄的被摄对象尽可能地接近诸如图像中心之类的判定基准点SP，从而该被摄对象自动作为主要被摄对象。

特别地，在本处理例子中，用接近于判定基准点SP的状态的累积时间，判定稳定存在度。就处于运动状况的被摄对象，或者快速移动的诸如动物之类的被摄对象来说，摄影者甚至难以持续少许时间，比如几秒，保持在图像中心拍摄期望成为主要被摄对象的被摄对象。另外，取决于摄影者的成像技能，由于剧烈的照相机抖动，非常期望拍摄的被摄对象不能被维持在图像中心。即使在这些情况下，通过利用累积时间，也能够相对快地判定主要被摄对象。

于是，即使对于从快速移动的被摄对象为目标的情况，或者相对缺乏经验的用户来说，这也是适当的。另外，由于主要被摄对象判定处理不一定要被进行一定的时间，而是在判定了主要被摄对象时，终止该处理，因此具有取决于被摄对象或者摄影者的经验，快速进行主要被摄对象判定的优点。

另外，主要被摄对象判定处理的具体处理例子可以多种多样。例如，作为各个候选图像边框的稳定存在度，可以计算当与判定基准点的距离在预定阈值之内的条件保持被满足时的持续时间的信息。如果根据所述持续时间，估计是否稳定地存在被摄对象，那么在以缓慢移动的被摄对象作为目标的情况下，可容易地在图像中心等处持续感知目标被摄对象，从而可精确地设定用户期望的主要被摄对象的可能性高。此外，由于取决于摄影者的技能，所期望成为主要被摄对象的被摄对象可被持续维持在接近于判定基准点SP的位置，因此摄影者期望的被摄对象可被精确地判定为主要被摄对象的可能性高。换句话说，取决于摄影技能的专家，或者被摄对象，能够进一步提高用户期望的被摄对象被判定为主要被摄对象的可能性。

此外，可向稳定存在度的计算赋予权重。例如，主要被摄对象判定处理的执行期过去越多，接近于判定基准点SP的被摄对象价值越高。

通常，在摄影者对准被摄对象，并拿着照相机的情况下，最初，期望成为主要被摄对象的被摄对象并未出现在诸如图像中心之类的期望位置，从而摄影者逐渐调整照相机的取向。考虑到该事实，最初，摄影者记住为“主要被摄对象”的被摄对象随着时间的过去，逐渐出现在图像中心。

于是，在执行主要被摄对象判定处理期间，随着时间的过去，高度重视更靠近判定基准点SP的被摄对象可增大判定与摄影者的意图相符的主要被摄对象的可能性。

另外，对于稳定存在度的计算，除了距离Diff(n)等于或小于距离阈值Trs-diff的条件之外，可以增加其它条件。

例如，可以增加被摄对象距离在预定范围内的条件，大小在预定范围内的条件，被摄对象是特定种类的图像的条件，等等。

此外，可以考虑其中设定特定的主要被摄对象判定期，并把在该时期内，其稳定存在度的值最大的候选图像判定为主要被摄对象的处理例子。

此外，在上述处理例子中，与设定的判定基准点的位置关系被用作候选图像边框的位置状态，不过，可以使用与判定基准区域的位置关系。例如，在图像中心等，设定正方形、圆形等的区域，并用作判定基准区域。例如，各个候选图像边框E(n)与判定基准区域的位置关系可包括：

重心是否包含在判定基准区域中；

整个候选图像边框E(n)是否包含在判定基准区域中；

候选图像边框E(n)的至少一部分是否包含在判定基准区域中；和

与判定基准区域的外缘的距离是否在预定范围内。

在所述位置关系的条件下，可以获得稳定存在度。

另外，作为各个候选图像边框的稳定存在度，可以计算位置状态，例如，与判定基准点的距离的平均值。平均距离是指示候选图像边框时间频度高地处于接近判定基准点的位置状态的指标。例如，“平均距离的值较小”的含义和在上面的处理例子中说明的“累积时间较长”的含义相同。此外，满足平均距离最短，并且在预定阈值之内的条件的候选图像边框可被判定为主要被摄对象。

在本实施例中，例如，按照和上述例子中相同的方式，判定主要被摄对象，并说明在成像设备10中进行主要被摄对象判定的目的等。

首先，说明利用主要被摄对象判定结果的例子。

例如当用户在快门定时对准时，进行主要被摄对象判定，不过，控制单元30可自动判定主要被摄对象，随后可进行以下处理。

跟踪处理

跟踪在各个拍摄帧中设定的主要被摄对象。例如，在显示预览图像的状态下，向用户明示主要被摄对象，从而供用户调整视角，例如，在用手拿着照相机的状态下判定被摄对象之用。

另外，为了提示主要被摄对象，可在预览图像被显示在显示部分34上的状态下，突出地显示主要被摄对象的边框。此外，突出显示等可紧接在进行判定之后的特定时期内进行，可在主要被摄对象存在于预览图像中的时候进行。

聚焦

对主要被摄对象进行自动聚焦控制。另外，连同跟踪处理一起，调整聚焦，以便即使主要被摄对象来回移动，也可跟踪主要被摄对象。

曝光调整

根据主要被摄对象的辉度，进行自动曝光调整。

指向性调整

在随同运动图像的拍摄一起，利用麦克风收集声音的情况下，根据视角空间中的主要被摄对象的定向，调整指向性。

另外，指向性调整可以用在对于拍摄图像信号的各种信号处理中。

图像效果处理

只在拍摄的各帧中的主要被摄对象的区域，进行诸如画质调整、降噪和肤色调整之类的图像处理。

另一方面，可在除主要被摄对象的区域外的各个区域，进行图像效果，例如，马赛克处理、模糊处理、填充处理等。

图像编辑处理

可对拍摄图像或记录图像，进行诸如修饰加框或剪切之类的编辑处理。

例如，可以进行诸如包括主要被摄对象的帧中的部分区域的剪切或放大之类的处理。

另外，可进行图像的周边部分的裁切等，以致在拍摄图像数据中，主要被摄对象被置于图像的中心，从而调整构图。

这些仅仅是例子，可以存在其中应用程序或成像设备的自动调整功能使用设定的主要被摄对象的其它各种处理。

通过进行主要被摄对象判定处理而获得的效果如下。当摄影者一边拿着成像设备10，一边对准被摄对象时，指定主要被摄对象的操作本身困难。如果自动进行主要被摄对象判定，那么可解决该问题，从而能够获得减轻用户的压力的效果。

另外，在用户携带和使用的成像设备10，比如用户通常使用的数字静态照相机或者内置于移动电话机中的摄像头中，显示部分34尺寸小，从而尽管用户在屏幕上进行指定主要被摄对象的操作，也难以精确地进行该操作。而像本实施例中那样，进行自动判定，从而可避免错误指定。

此外，由于可在自然地拿着成像设备，拍摄主要被摄对象的感觉下使用成像设备10，因此能够增加成像机会和对应的使用情况，从而还能够向用户提供易于使用的照相机。

根据上面的说明，自动进行主要被摄对象判定的本实施例的成像设备10非常适合于作为小型照相机。

<4.稳定成像状态估计处理>

这里，考虑何时进行上述主要被摄对象判定处理。

例如，在当成像设备10被接通电源，并在显示部分34上显示预览图像的期间，可以始终进行主要被摄对象判定处理，不过即使不计后果地进行主要被摄对象判定处理，该处理也未必有意义。

例如，当用户无意成像时，比如仅仅拿着处于接通电源状态的成像设备10时，进行主要被摄对象判定处理或者利用主要被摄对象判定处理的结果意义不大。

具体地，适宜的是当用户拿着成像设备10，并试图从现在开始进行成像时，进行主要被摄对象判定处理。

于是，在本实施例的成像设备中，稳定成像状态估计部件30b估计出现稳定成像状态，例如，用户拿着照相机的状态，并且当估计出现稳定成像状态时，主要被摄对象判定部件30a才进行上述主要被摄对象判定处理，以便输出作为主要被摄对象判定处理的判定结果的主要被摄对象信息。

如上所述，由于进行稳定成像状态估计处理，因此能够在有意义的时候进行主要被摄对象判定处理。

换句话说，由于通过主要被摄对象判定处理，进行稳定成像状态估计处理，因此例如在主要被摄对象判定结果并非无意义，比如成像设备10的摄影者打算摄影地拿着照相机的状态，例如寻找被摄对象的状况等的时候，才进行主要被摄对象判定处理。特别地，由于上述主要被摄对象判定处理具有相当大的处理量，而后面说明的稳定成像状态估计处理的处理负担较小，因此能够获得降低控制单元30的处理负担，或者减少电力消耗的效果。

换句话说，能够改善用户的便利性，降低控制单元30的处理负担，和改善自动主要被摄对象判定处理的适时性。

[4-1:稳定成像状态估计处理的执行时机]

如上所述，稳定成像状态估计处理是判定主要被摄对象判定处理的执行时机的处理。这里首先参考图9和10，说明稳定成像状态估计处理的执行时机。

图9图解说明作为成像设备10的模式的照相机模式MD1和再现模式MD2。

照相机模式MD1是通过进行成像，主要记录静止图像或运动图像的模式。再现模式MD2是主要在显示部分34上，再现和显示已拍摄并记录在例如记录单元15中的静止图像数据或运动图像数据的模式。

当使成像设备10接通电源时，以照相机模式MD1或再现模式MD2，启动成像设备。另外，用户可按照在对应时间，成像设备10的使用目的，任意地相互切换照相机模式MD1和再现模式MD2。

在图9的例子中，当开始照相机模式MD1时，开始稳定成像状态估计处理ST1(图2A的步骤F1000)。

稳定成像状态估计处理的具体例子将在后面说明，不过，如图2A中所示，如果通过稳定成像状态估计处理，估计出现稳定成像状态，那么进行主要被摄对象判定处理(F1001-F1004)，并利用作为判定结果的主要被摄对象信息。

首先，在进行主要被摄对象判定之后，进行利用作为判定结果的主要被摄对象信息的处理。图9中，该处理被例示成主要被摄对象信息利用处理ST2。

例如，进行如在利用主要被摄对象信息的上述例子中说明的处理。

之后，存在主要被摄对象信息不能被使用，或者不需要被使用的情况。

例如，在主要被摄对象存在于拍摄图像中的情况下，可以进行在利用主要被摄对象信息的上述例子中说明的跟踪处理、聚焦、曝光调整、指向性调整、图像效果处理、图像编辑处理等，不过在主要被摄对象脱离屏幕，从而不存在于拍摄图像中的情况下，不能进行这样的主要被摄对象信息利用处理。

另外，在用户进行变更主要被摄对象的操作，或者重新判定的操作，或者终止主要被摄对象信息利用处理的情况下，利用当前的主要被摄对象信息的主要被摄对象信息利用处理不是必要的。

在利用当前的主要被摄对象信息的主要被摄对象信息利用处理不必要，或者不能进行的情况下(ST3)，可再次进行稳定成像状态估计处理ST1。

另外，如用点划线所环绕那样，这种操作转变是在的照相机模式MD1下的操作转变。在模式从照相机模式MD1被切换成再现模式MD2的情况下，不进行稳定成像状态估计处理和主要被摄对象判定处理。

换句话说，图9的例子是其中稳定成像状态估计部件30b响应进入当主要被摄对象判定处理有效起作用时，预期的照相机模式MD1的状态，进行稳定成像状态估计处理的例子。

此外，该例子是其中即使在主要被摄对象判定处理的结果不能被使用，或者不需要被使用之后，在照相机模式MD1期间，稳定成像状态估计部件30b仍进行稳定成像状态估计处理的例子。

下面，图10A的例子是其中在照相机模式MD1下，允许用户选择用于判定主要被摄对象的模式的例子。

例如，通过菜单操作等，选择主要被摄对象判定模式MD11，作为照相机模式MD1的下级模式。图10B图解说明其中允许用户在显示部分34上，选择主要被摄对象判定模式的显示例子。

例如，当用户通过屏幕上的选择操作，进行启动主要被摄对象判定模式的操作时，控制单元30启动主要被摄对象判定模式MD11。

当主要被摄对象判定模式MD11被启动时，控制单元30开始稳定成像状态估计处理ST1。

随后，如图2A中所述，如果估计出现稳定成像状态，那么进行主要被摄对象判定处理，并使用作为判定结果的主要被摄对象信息。

首先，进行主要被摄对象判定，随后，进行主要被摄对象信息利用处理ST2，它是利用作为判定结果的主要被摄对象信息的处理。例如，进行在利用主要被摄对象信息的上述例子中说明的处理。之后，主要被摄对象信息不能被使用，或者不需要被使用。按照和上述例子一样的方式，在利用当前的主要被摄对象信息的主要被摄对象信息利用处理不必要，或者不能被进行的情况下，再次进行稳定成像状态估计处理ST1。

另外，这种操作转变是在主要被摄对象判定模式MD11被启动期间的操作转变，如用点划线所示。

在模式是照相机模式MD1但是主要被摄对象判定模式MD11被关闭，或者被切换成再现模式MD2的情况下，不进行稳定成像状态估计处理和主要被摄对象判定处理。

换句话说，图10的例子是其中响应进入当主要被摄对象判定处理有效起作用，尤其是用户也请求主要被摄对象判定时，预期的主要被摄对象判定模式MD11的状态，稳定成像状态估计部件30b进行稳定成像状态估计处理的例子。

此外，该例子是其中即使在主要被摄对象判定处理的结果不能被使用或者不要求被使用之后，只要主要被摄对象判定模式MD11被开启，稳定成像状态估计部件30b就进行稳定成像状态估计处理的例子。

例如，按照与图9和10的例子中相同的方式，在照相机模式MD1期间，或者在照相机模式MD1中的主要被摄对象判定模式MD11期间，进行稳定成像状态估计处理ST1。

另外，根据稳定成像状态估计处理ST1的估计结果，进行主要被摄对象判定处理。

[4-2:处理例子1]

下面，说明稳定成像状态估计处理的各个具体例子。

图11图解说明在稳定成像状态估计处理的处理例子1中，由稳定成像状态估计部件30b进行的处理。

当在图9中，启动照相机模式MD1时，或者当在图10中，启动主要被摄对象判定模式MD11时，进行图11的处理。另外，该事实对后面说明的处理例子2-5来说同样如此，但不再重复说明。

在步骤F201，控制单元30根据当前是否在进行稳定成像状态估计处理，使处理出现分支。

在开始稳定成像状态估计处理的时候，稳定成像状态估计处理还未被执行，从而控制单元30进行步骤F202中的处理。

首先，重置过去时间计数器CTt，以便开始计数。另外，指示是否已估计出现稳定成像状态的估计标记Fst被初始化成Fst＝0。

控制单元30重复进行图2A的处理，图2A的步骤F1001是判定估计标记Fst是否为1的步骤。在估计标记Fst＝0的时期内，作为图2A的处理，步骤F1000，即，图11的处理被反复进行。

在开始稳定成像状态估计处理之后，图11的处理从步骤F201进入步骤F203。

在步骤F203，控制单元30递增过去时间计数器CTt。

另外，在步骤F204，控制单元30比较过去时间计数器CTt的值和估计用预定时间thTM。

如果过去时间计数器CTt的值未超过预定时间thTM，那么原样结束该处理。换句话说，维持估计标记Fst＝0。

随着时间的过去，在步骤F204，在某个时间，判定CTt>thTM。这种情况下，控制单元30进入步骤F205，认为估计已出现稳定成像状态，从而设定估计标记Fst＝1。

在如上所述的估计标记Fst＝1的情况下，在图2A的步骤F1001，控制单元30开始主要被摄对象判定处理，从而进入步骤F1002-F1004。

在图11的上述稳定成像状态估计处理中，在从转变成主要被摄对象判定处理有效起作用的预定模式状态，即，图9中的照相机模式MD1或者图10中的主要被摄对象判定模式MD11的时间起，过去了预定时间thTM的情况下，估计出现稳定成像状态。

通常，用户进行接通电源或者开启照相机模式MD1的操作，随后采取拿着成像设备10以便摄影的姿势。另外，在开启主要被摄对象判定模式MD11之后，可采取摄影姿势。

于是，如果进行到这种模式的转变，那么在从其开始，过去预定时间的时候，可以估计用户拿着成像设备10准备摄影。于是，在处理例子1中，在稳定成像状态估计处理中，最简单地，进行预定时间thTM的系数处理。

如上所述，由于进行稳定成像状态估计处理，并根据其进行主要被摄对象判定处理，因此不要求用户知道主要被摄对象判定处理的启动，主要被摄对象判定处理在适当的时机被启动，而不施加操作负担。另外，用于稳定成像状态估计处理的控制单元30的处理负担非常小。

[4-3:处理例子2]

下面参考图12和13，说明处理例子2。处理例子2是根据成像视野变动的检测结果，进行稳定成像状态的估计的例子。这里，该例子是其中检测成像设备10的运动的传感器的输出专门用于检测成像视野变动的例子。

所述传感器例如是检测施加于成像设备10的抖动，比如当用户携带成像设备10时的照相机抖动的陀螺传感器，或者检测姿势的加速度传感器。

例如，图3的传感器单元14包括陀螺传感器或加速度传感器，控制单元30可检测来自传感器的输出。

图12A图解说明作为稳定成像状态估计处理的处理例子2，由稳定成像状态估计部件30b进行的处理。

在步骤F300，控制单元30根据当前是否在进行稳定成像状态估计处理，使处理出现分支。

在开始稳定成像状态估计处理的时候，稳定成像状态估计处理还未被执行，从而在步骤F307，控制单元30把用于测量稳定时间的计数器CTst(下面称为稳定时间测量计数器CTst)重置为CTst＝0。另外，指示是否已估计出现稳定成像状态的估计标记Fst被初始化成Fst＝0。

按照和前述处理例子1中相同的方式，在估计标记Fst＝0的时期内，作为图2A的处理，步骤F1000，即，图12A的处理被反复进行。

在开始稳定成像状态估计处理之后，图12A的处理从步骤F300进入步骤F301。

在步骤F301，控制单元30获得来自传感器单元14的传感器输入。例如，获得陀螺传感器或加速度传感器的检测值。

例如，如果在步骤F301，获得陀螺传感器的检测值，那么在步骤F302，控制单元30判定该检测值是否在预定水平范围内。尽管在图13中进行了说明，不过，预定水平范围是其中可以估计照相机抖动水平较小，从而成像设备10稳定的水平范围。

如果判定传感器的检测值在预定水平范围内，那么控制单元30进入步骤F303，递增稳定时间测量计数器CTst。

另一方面，如果判定传感器的检测值不在预定水平范围内，那么控制单元30进入步骤F304，递减稳定时间测量计数器CTst。

在步骤F305，控制单元30比较计数器CTst的计数值和估计用预定时间thTM。

如果过去时间计数器CTt的值未超过预定时间thTM，那么原样终止该处理。换句话说，维持估计标记Fst＝0。

如果在步骤F305，判定CTst>thTM，那么控制单元30进入步骤F306，认为估计已出现稳定成像状态，从而设定估计标记Fst＝1。

在如上所述的估计标记Fst＝1的情况下，在图2A的步骤F1001，控制单元30开始主要被摄对象判定处理，从而进入步骤F1002-F1004。

下面参考图13，说明基于该处理的操作例子。

图13A图解说明控制单元30利用陀螺传感器的检测输出的情况。纵轴表示陀螺传感器的检测值，横轴表示时间。用虚线表示的波形的每个点表示在步骤F301，在每个时间点输入控制单元30的检测值。

在步骤F302，用于所述判定的预定水平范围被假定为介于检测值的水平L1和L2之间的范围。

另外，还图解说明了估计标记Fst的值。

此外，假定在时间点t0，开始稳定成像状态估计处理。

例如，当归因于用户的照相机抖动而施加于成像设备10的抖动较大时，陀螺传感器的检测值具有较高的水平。

于是，如果检测值在预定水平范围内，那么可以估计其中照相机抖动等较小的状况，即，摄影者在一定程度上紧握成像设备10的状况。

该例子表示其中一直到时间点t1，抖动都相对较大的状况。例如，预期其中用户还未紧握成像设备10，例如，用户刚刚拿着成像设备，或者正在粗略地寻找被摄对象的状况。

在图12A的处理中，如果传感器的检测值在预定水平范围之内，那么稳定时间测量计数器CTst被递增，而如果检测值在预定水平范围之外，那么稳定时间测量计数器被递减。

因此，例如，如果在时间点t1之后，施加于成像设备10的抖动减小，那么在某个时间，稳定时间测量计数器CTst的值超过预定时间thTM的值。例如，假定在时间点t2，出现CTst>thTM。

如果在上述步骤F305，判定CTst>thTM，那么在步骤F306，估计标记Fst被设定为1。如图13A中所示，在时间点t2，估计标记Fst被设定为1。

如上所述，通过检测施加于成像设备10的抖动，检测成像视野变动。如果其中施加于成像设备10的抖动较小的时期在一定程度上持续，那么可以判定成像视野变动较小，从而成像视野稳定。这种情况下，估计出现稳定成像状态。

接下来，图13B图解说明控制单元30利用加速度传感器的检测输出的情况。纵轴表示角速度传感器的检测值，横轴表示时间。用虚线表示的波形的各个点指示在步骤F301，在各个时间点输入控制单元30的检测值。

在步骤F302，用于所述判定的预定水平范围被假定是介于检测值的水平L1和L2之间的范围。另外，还图解说明了估计标记Fst的值。此外，假定在时间点t0，开始稳定成像状态估计处理。

加速度传感器的检测值随成像设备10的姿势变化而变。成像设备10的运动越大，阻值的变动越大。例如，当用户刚刚拿着成像设备10，或者在握着成像设备10时，正在粗略地寻找被摄对象时，检测值变化极大。

于是，如果其中检测值在预定水平范围内的时期在一定程度上持续，那么可以估计其中摄影者在一定程度上缩小被摄对象定向，并且紧握成像设备10的状况。

该例子表示其中一直到时间点t1，都存在相对较多的运动的状况。

另一方面，如果用户在一定程度上缩小被摄对象定向，并且握着成像设备10，那么成像设备10的运动被减小，从而成像设备10的姿势被稳定。例如，从时间点t1开始，出现其中成像设备10的姿势稳定的状况。

在图12A的处理中，如果传感器的检测值在预定水平范围内，那么稳定时间测量计数器CTst被递增，而如果检测值在预定水平范围之外，那么稳定时间测量计数器被递减。

因此，例如，如果在时间点t1之后，使成像设备10的姿势保持稳定，那么在某个时间，稳定时间测量计数器CTst的值超过预定时间thTM的值。例如，假定在时间点t2，出现CTst>thTM。

如果在上述步骤F305，判定CTst>thTM，那么在步骤F306，估计标记Fst被设定为1。如图13B中那样，在时间点t2，估计标记Fst被设定为1。

如上所述，通过检测成像设备10的运动，检测成像视野变动。如果定义成像设备10的姿势的状态在一定程度上持续，那么可以判定成像视野变动很小，从而成像视野稳定。这种情况下，估计出现稳定成像状态。

特别地，通过判定成像设备10的抖动或姿势，可提高稳定成像状态的出现的估计精度。

另外，在图12A的处理例子2中，例如，可以使用陀螺传感器或加速度传感器的检测值，也可以使用这两个传感器。

例如，可以并行进行图12A的针对陀螺传感器的检测值的处理，图图12A的针对加速度传感器的检测值的处理，当在任意一个处理中，估计标记Fst被设定为1时，可以估计出现稳定成像状态(OR条件)。

另一方面，步骤F302中的检测值在预定水平范围内的判定可以是陀螺传感器的检测值和加速度传感器的检测值两者是否都在预定水平范围内的判定(AND条件)。

另外，可以单独或组合地使用诸如方位传感器和地磁传感器之类的其它传感器的检测值。总之，其中成像设备10的运动或姿势变动相当小的状况可被估计为稳定成像状态。在组合使用多个传感器的情况下，自然可采用上述OR条件或AND条件。

另外，可以存在稳定时间测量计数器CTst的其它处理。

如用图12A中的虚线所示，如果在步骤F302，判定检测值不在预定水平范围之内，那么可不递减稳定时间测量计数器CTst，流程可无变化地进入步骤F305。换句话说，这是其中计数值不被改变的例子。

因而，即使存在一定程度的抖动、运动等，通常，其中抖动较小，从而姿势稳定的状态也可容易地被估计为稳定成像状态。当预想照相机抖动较大的缺乏经验的用户等时，这可容易地开始主要被摄对象判定处理。

另外，步骤F304中的处理可用图12B中图解所示的步骤F304A替换。

换句话说，这是其中如果在步骤F302，判定检测值不在预定水平范围内，那么稳定时间测量计数器CTst的值被重置为0的例子。因而，其中保持无抖动或运动的状态持续预定时间thTM，从而最终被估计为稳定成像状态；于是，能够提高估计的精度。这是优选的，因为对习惯于摄影的用户来说，并不不顾一切地启动主要被摄对象判定处理。

相反，如图12A的步骤F304中的递减适合于通常以许多用户为目标的情况，因为即使存在瞬间抖动或姿势变动，稳定时间测量计数器CTst也不被重置，从而能够检测比较稳定的状态。

[4-4:处理例子3]

下面参考图14和15，说明处理例子3。处理例子3也是其中根据成像视野变动的检测结果，估计出现稳定成像状态的例子。这里，该例子是其中导致成像视野变动的照相机工作的检测结果特别用于稳定成像状态的估计的例子。

这里说明的导致成像视野变动的照相机工作是摇移、俯仰、变焦等，还包括基于这种自动操作或用户操作的操作。

如下检测照相机工作。

作为水平方向的成像视野的移动的摇移可以利用例如陀螺传感器，或者水平方向的加速度传感器检测。这些传感器可以设置在传感器单元14中。另外，在成像设备10被安装在云台上，并借助云台的摇移电动机运转，进行摇移的情况下，可以利用施加于其摇移机构的控制信号。此外，如果设置云台等的摇移位置检测传感器，那么可以利用该传感器的检测值。按照这种方式，控制单元30能够检测摇移的执行/不执行，或者摇移的移动量。

此外，数字信号处理单元20，例如，运动向量检测部分27或者控制单元30进行图像数据分析，以便检测摇移方向的运动，从而检测摇移的执行/不执行，或者摇移的移动量。

作为垂直方向的成像视野的移动的俯仰可以利用例如陀螺传感器，或者垂直方向的加速度传感器检测。这些传感器可以设置在传感器单元14中。另外，在成像设备10被安装在云台上，并借助云台的俯仰电动机运转，进行俯仰的情况下，可以利用施加于其俯仰机构的控制信号。此外，如果设置云台等的俯仰位置检测传感器，那么可以利用该传感器的检测值。按照这种方式，控制单元30能够检测俯仰的执行/不执行，或者俯仰的移动量。

此外，数字信号处理单元20，例如，运动向量检测部分27或者控制单元30进行图像数据分析，以便检测俯仰方向的拍摄图像的运动，从而检测俯仰的执行/不执行，或者俯仰的移动量。

就变焦来说，在利用用户的变焦操作或者自动控制，进行变焦的情况下，控制单元30本身可根据控制单元30发送给光学系统驱动单元13的变焦控制信号，检测变焦操作。

另外，如果在传感器单元14中设置变焦透镜位置传感器，那么控制单元30可根据该传感器的检测值，检测变焦透镜的运动，即，变焦操作。

按照这种方式，控制单元30能够检测变焦的执行/不执行，或者变焦的移动量。

另外，数字信号处理单元20或控制单元30可进行图像数据分析，以便检测被摄对象区域的变化，或者视角的变化，从而检测变焦操作。

图14A图解说明在稳定成像状态估计处理的处理例子3中，由稳定成像状态估计部件30b进行的处理。

在步骤F400，控制单元30根据当前是否在进行稳定成像状态估计处理，使处理出现分支。

在开始稳定成像状态估计处理时，稳定成像状态估计处理还未被执行，从而在步骤F407，控制单元30把稳定时间测量计数器CTst重置为0。另外，指示是否已估计出现稳定成像状态的估计标记Fst被初始化成Fst＝0。

按照和前面的处理例子1和2相同的方式，在估计标记Fst＝0的时期内，如图2A的处理一样，反复进行步骤F1000，即，图14A的处理。

在开始稳定成像状态估计处理之后，图14A的处理从步骤F400进入步骤F401。

在步骤F401，控制单元30获得来自传感器单元14的传感器输入，例如，陀螺传感器的检测值，控制单元发送给光学系统驱动单元13的变焦操作的指令值，等等。换句话说，检测摇移、俯仰和变焦的各个操作状态。

之后，在步骤F402，控制单元30判定归因于摇移或俯仰操作的运动的检测值是否在预定水平范围内，并判定是否进行了变焦操作。归因于摇移或俯仰操作的运动的检测值被包含在其中的预定水平范围是指示未进行摇移或俯仰，或者指示其中即使进行了摇移或者俯仰，也只进行了微小移动的情况的水平范围。

如果判定归因于摇移或俯仰操作的传感器的检测值在预定水平范围内，并且未进行变焦操作，那么控制单元30进入步骤F403，递增稳定时间测量计数器CTst。

另一方面，如果判定传感器的检测值不在预定水平范围内，从而进行了摇移或俯仰操作，或者进行了变焦操作，那么控制单元30进入步骤F404，递减稳定时间测量计数器CTst。

在步骤F405，控制单元30比较计数器CTst的计数值和估计用预定时间thTM。

如果过去时间计数器CTt的值未超过预定时间thTM，那么原样终止该处理。换句话说，维持估计标记Fst＝0。

另外，如果在步骤F405，判定CTst>thTM，那么控制单元30进入步骤F406，认为估计已出现稳定成像状态，从而设定估计标记Fst＝1。

在如上所述的估计标记Fst＝1的情况下，控制单元30在图2A的步骤F1001，开始主要被摄对象判定处理，从而进入步骤F1002-F1004。

下面参考图15，说明基于该处理的操作例子。

图15图解说明其中控制单元30利用陀螺传感器，检测摇移或俯仰操作，并根据变焦操作的指令值，检测变焦操作的情况。纵轴表示陀螺传感器的检测值和变焦指令值输出，横轴表示时间。对于陀螺传感器输出，用虚线表示的波形的各个点指示在步骤F401，在各个时间点输入控制单元30的检测值。在步骤F402，用于所述判定的预定水平范围被假定是在检测值的水平L1和L2之间的范围。

作为控制单元30输入光学系统驱动单元13，以便进行变焦操作的指令值，T-ON指示输出朝向远摄端的操作的指令值，W-ON指示输出朝向广角端的操作的指令值。控制单元30能够根据其输出的指令值，检查是否进行变焦操作。

另外，还图解说明了估计标记Fst的值。

此外，假定从时间点t0，开始稳定成像状态估计处理。

在进行摇移或俯仰的时候，陀螺传感器的检测值具有较高的水平。

于是，如果检测值在预定水平范围内，那么可判定未进行摇移或俯仰，或者进行了微小的摇移或俯仰的状况。

在这个例子中，发现一直到时间点t1，进行了摇移或俯仰，或者进行了变焦。于是，直到时间点t1，预计出现用户粗略地移动成像设备10，以便寻找被摄对象，或者寻找视角的状况。

当用户未进行摇移、俯仰或变焦操作时，可以认为出现用户把成像视野缩小到一定程度，并紧握成像设备10，以便等待快门时机的状况。

例如，从时间点t1，不进行较大的摇移、俯仰或变焦操作。

在图14A的处理中，由于在这些状况下，稳定时间测量计数器CTst被递增，如果这些状况持续，那么在某个时间，稳定时间测量计数器CTst的值超过预定时间thTM的值。例如，在时间点t2，出现CTst>thTM。

如果在上述步骤F405，判定CTst>thTM，那么在步骤F406，估计标记Fst被设定为1。如图15A中所示，在时间点t2，估计标记Fst被设定为1。

如上所述，如果其中未进行摇移、俯仰或变焦操作的时期在某种程度上持续，即，其中拍摄图像的成像视野变动较小的时期在某种程度上持续，那么可以判定成像视野稳定。这种情况下，估计出现稳定成像状态。

如果归因于摇移、俯仰或变焦操作的成像设备10的视野变动较小，那么可以高精度地估计摄影者粗略地判定被摄对象定向或视角，以便试图进行摄影。于是，根据稳定成像状态估计结果，在图2A的步骤F1001，开始主要被摄对象判定，从而在适当的时机，进行主要被摄对象判定处理。

另外，在图14A的处理例子3中，尽管在步骤F402，在摇移或俯仰操作和变焦操作的AND(“与”)条件下，流程进入步骤F403，从而稳定时间测量计数器CTst被递增，摇移或俯仰操作与变焦操作可以是检测目标，在关于作为检测目标的两种操作的OR(“或”)条件下，流程可进入步骤F403。

另外，可以存在稳定时间测量计数器CTst的其它处理。

如图14A中用虚线所示，如果判定步骤F402中的条件未被满足，那么可以不递减稳定时间测量计数器CTst，从而流程不改变计数值地进入步骤F405。

另外，步骤F404中的处理可用图14B中图解所示的步骤F404A替换。换句话说，这是其中如果判定步骤F402中的条件未被满足，那么把稳定时间测量计数器CTst的值重置为0的例子。

存在其中如在处理例子2中所述，递减、重置和不变化的任意例子非常适当的情况。

[4-5:处理例子4]

下面参考图16和17，说明处理例子4。处理例子4是其中根据成像视野变动的检测结果，进行稳定成像状态的估计的例子。这里，该例子是其中成像设备10的曝光操作和聚焦操作的检测结果特别用于稳定成像状态的估计的例子。

另外，这里说明的曝光操作和聚焦操作包括归因于控制单元30的控制的自动光圈或自动聚焦的情况，和基于用户的操作的曝光调整操作和聚焦操作。

控制单元30可如下进行曝光操作的检测。

通过作为光学系统11中的光圈机构的机械光圈的调整，成像器12的快门速度的调整，和利用成像器12获得的拍摄图像信号的增益的调整，进行曝光调整。控制单元30通过响应用户的操作，或者按照从拍摄图像数据检测的辉度级，自动进行一些或者所有的调整，实现曝光调整。于是，控制单元30能够根据对于光学系统驱动单元13、成像器12或者数字信号处理单元20的曝光控制指令值，检测控制单元是否进行曝光调整。另外，根据所述指令值，可判定其控制量。

另外，如果设置检测机械光圈的孔径大小的传感器，那么控制单元30可根据该传感器的检测值，检测利用机械光圈进行的曝光调整操作。

此外，在数字信号处理单元20或控制单元30进行图像数据的辉度值的分析，以便检测指示自动曝光调整的辉度值，或者检测较大的辉度变化的情况下，可以检测到进行了曝光调整。

通过移动光学系统11中的聚焦透镜，进行聚焦调整。控制单元30响应用户的操作，进行聚焦调整，或者通过自动聚焦控制，自动进行聚焦调整。于是，控制单元30可根据对于光学系统驱动单元13的控制信号，检测控制单元是否进行了聚焦调整和聚焦透镜移动量。

另外，如果在传感器单元14中设置聚焦透镜位置传感器，那么控制单元30可通过检测该传感器的检测值，检测聚焦调整操作的状况。

此外，数字信号处理单元20或控制单元30可进行图像数据的焦点分析，对比度分析等，以便发现聚焦透镜已被移动。

图16A图解说明作为稳定成像状态估计处理的处理例子4，由稳定成像状态估计部件30b进行的处理。

在步骤F500，控制单元30根据当前是否在进行稳定成像状态估计处理，使处理出现分支。

在开始稳定成像状态估计处理的时候，控制单元30使处理从步骤F500进入步骤F507，以便把稳定时间测量计数器CTst重置为0。另外，指示是否已估计出现稳定成像状态的估计标记Fst被初始化成Fst＝0。

按照和前述处理例子1、2和3中相同的方式，在估计标记Fst＝0的时期内，作为图2A的处理，反复进行步骤F1000，即，图16A的处理。

在开始稳定成像状态估计处理之后，图16A的处理从步骤F500进入步骤F501。

在步骤F501，控制单元30获得来自传感器单元14的传感器输入，例如，聚焦透镜位置传感器的检测值，控制单元发送给光学系统驱动单元13的聚焦透镜移动指令值，曝光调整的指令值等。换句话说，检测曝光调整操作或聚焦调整操作的各个操作状态。

之后，在步骤F502，控制单元30判定归因于曝光调整的曝光调整状态的变动是否在预定水平范围内，并判定归因于聚焦调整操作的聚焦变动是否在预定水平范围内。这种情况下的预定水平范围是指示其中未进行曝光调整或者聚焦调整，或者即使进行了曝光调整或者聚焦调整，曝光状态或聚焦状态也在微小的变动范围内的状况的水平范围。

如果判定曝光调整操作和聚焦调整操作的运动在预定水平范围内，从而未进行曝光调整操作和聚焦调整操作，或者只进行了曝光调整操作和聚焦调整操作的微小运动，那么控制单元30进入步骤F503，递增稳定时间测量计数器CTst。

另一方面，在传感器的检测值超过预定水平范围的情况下，判定进行了曝光调整操作或聚焦调整操作，从而控制单元30进入步骤F504，递减稳定时间测量计数器CTst。

在步骤F505，控制单元30比较计数器CTst的计数值和估计用预定时间thTM。

如果过去时间计数器CTt的值未超过预定时间thTM，那么原样终止该处理。换句话说，维持估计标记Fst＝0。

另外，如果在步骤F505，判定CTst>thTM，那么控制单元30进入步骤F506，认为估计出现了稳定成像状态，从而设定估计标记Fst＝1。

在如上所述的估计标记Fst＝1的情况下，控制单元30在图2A的步骤F1001，开始主要被摄对象判定处理，从而进入步骤F1002-F1004。

下面参考图17，说明基于该处理的操作例子。

图17图解说明控制单元30利用传感器或者根据指令值，检测的曝光调整操作和聚焦调整操作。关于曝光调整操作，机械光圈的位置用实线表示，位置变动用虚线表示。各个点指示在步骤F501，在各个时间点，由控制单元30检测的位置变动的值。

另外，关于聚焦调整操作，聚焦透镜位置差用虚线表示。各个点指示在步骤F501，在各个时间点，由控制单元30检测的透镜位置变动量的值。

步骤F502中，用于所述判定的预定水平范围是介于作为光圈位置差的检测值的水平L10和L11之间的范围，和介于作为聚焦透镜位置差的检测值的水平L20和L21之间的范围。所述范围指示分别不存在机械光圈的孔径状态和聚焦透镜位置的变动，或者即使存在变动，变动量也是微小量。

另外，还图解说明了估计标记Fst的值。

此外，假定在时间点t0，开始稳定成像状态估计处理。

在其中为了进行曝光调整而驱动光圈的时期内，机械光圈的位置差增大，但在其中不驱动光圈的时期内，机械光圈的位置差为0。

在其中为了进行聚焦调整而驱动透镜的时期内，聚焦透镜的位置差也增大，但在其中不驱动透镜的时期内，聚焦透镜的位置差为0。不过，为了进行自动聚焦控制，总是沿着前后方向稍微驱动聚焦透镜，从而观察到微小的位置变动，如图中图解所示。在这个例子中，发现一直到时间点t1，进行了曝光调整或聚焦调整。于是，直到时间点t1，用户手动进行了曝光调整或聚焦调整，或者通过自动控制，调整了曝光状态或聚焦状态。这种情况下，预期不存在用户等待对于被摄对象的快门时机的状况。

如果曝光调整或聚焦调整被稳定，那么拍摄图像也被稳定，从而用户可开始实际成像。例如，从时间点t1开始，不进行较大的曝光调整或聚焦调整。

在图16A的处理中，由于在这些状况下，稳定时间测量计数器CTst被递增，并且如果这些状况持续，那么在某个时间，稳定时间测量计数器CTst的值会超过预定时间thTM的值。例如，在时间点t2，出现CTst>thTM。

如果在上述步骤F505，判定CTst>thTM，那么在步骤F506，估计标记Fst被设定为1。如图17中图解所示，在时间点t2，估计标记Fst被设定为1。

如果如上所述，其中不进行较大的曝光调整或聚焦调整的时期在一定程度上持续，那么可以判定成像视野变动很小，从而成像视野稳定。这种情况下，估计出现稳定成像状态。

在成像设备10中，其中几乎不进行曝光调整或聚焦调整的状况可被估计成稳定成像状态，因为摄影者几乎为摄影作好了准备。于是，根据稳定成像状态估计结果，在图2A的步骤F1001，开始主要被摄对象判定，从而在适当的时机，进行主要被摄对象判定处理。

另外，在图16A的处理例子4中，尽管在步骤F502，在曝光调整操作和聚焦调整操作的AND条件下，流程进入步骤F503，从而稳定时间测量计数器CTst被递增，不过曝光调整操作或者聚焦调整操作可以是检测目标，在关于作为检测目标的曝光调整操作和聚焦调整操作的OR条件下，流程可进入步骤F403。

另外，曝光调整操作的检测可以针对机械光圈操作，快门速度变更操作，和对于拍摄图像信号的增益调整操作中的全部或一些操作。

另外，可以存在稳定时间测量计数器CTst的其它处理。

如图16A中用虚线所示，如果判定步骤F502中的条件未被满足，那么可以不递减稳定时间测量计数器CTst，从而流程不改变计数值地进入步骤F505。

另外，步骤F504中的处理可用图16B中图解所示的步骤F504A替换。换句话说，这是其中如果判定步骤F502中的条件未被满足，那么把稳定时间测量计数器CTst的值重置为0的例子。

存在其中如在处理例子2中所述，递减、重置和不变化的任意例子非常适当的情况。

[4-6:处理例子5]

下面参考图18、19和20，说明处理例子5。处理例子5是其中根据成像视野变动的检测结果，进行稳定成像状态的估计的例子。不过这里，该例子是其中进行拍摄图像的运动向量的分析，并且分析结果用于稳定成像状态的估计的例子。

首先参考图19，说明这里提及的运动向量。

图19A图解说明运动向量检测部分27以在时间轴上顺序获得的各帧的拍摄图像数据作为目标，检测运动向量。

如图19B中所示，运动向量检测部分27进行其中把一帧的画面分成多个区域，并在各个区域中，检测其中该帧发生转变的时期中，被摄对象图像的运动作为向量的处理。

如用虚线或实线所示，在各个区域中检测的向量被设定为局部向量。

这里，局部向量包括作为用于稳定成像状态的估计的向量，具有高可靠性和低可靠性的向量。

例如，作为主要被摄对象判定的目标的被摄对象，比如人、动物或运动体所存在于的区域具有高可靠性，因为其对比度较高。

另一方面，背景等上的被摄对象所存在于的区域具有较低的对比度，从而具有低可靠性。

在图19B中，具有高可靠性的区域的局部向量用实线表示，具有低可靠性的区域的局部向量用虚线表示。

在处理例子5中，画面的全局运动被用于稳定成像状态的估计。全局运动不是用局部向量表示的，而是用带斜线的箭头指示的全局向量表示的。通过计算具有高可靠性的局部向量的平均值，可以获得全局向量。

运动向量检测部分27进行根据顺序输入的帧图像数据，顺序计算全局向量，并把全局向量提供给控制单元30的操作。

图18A图解说明作为稳定成像状态估计处理的处理例子5，由稳定成像状态估计部件30b进行的处理。

在步骤F600，控制单元30根据当前是否在进行稳定成像状态估计处理，使处理出现分支。

在开始稳定成像状态估计处理的时候，控制单元30使处理从步骤F600进入步骤F607，以便把稳定时间测量计数器CTst重置为0。另外，指示是否已估计出现稳定成像状态的估计标记Fst被初始化成Fst＝0。

按照和前述处理例子1、2、3和4中相同的方式，在估计标记Fst＝0的时期内，作为图2A的处理，反复进行步骤F1000，即，图18A的处理。

在开始稳定成像状态估计处理之后，图18A的处理从步骤F600进入步骤F601。

在步骤F601，控制单元30从运动向量检测部分27获得全局向量的值。另外，这里获得向量的值，不过在本处理例子中，可以获得向量的运动量。

之后，在步骤F602，控制单元30判定获得的全局向量的运动量是否在预定水平范围内。这种情况下的预定水平范围是指示画面上的被摄对象的全局运动的量较小的状况的水平范围。

如果判定全局向量的运动量在预定水平范围内，从而在拍摄图像中不存在较大的运动，那么控制单元30进入步骤F603，递增稳定时间测量计数器CTst。

另一方面，如果判定全局向量的运动量是超过预定水平范围的量，从而在拍摄图像中不存在较大的运动，那么控制单元30进入步骤F604，递减稳定时间测量计数器CTst。

在步骤F605，控制单元30比较计数器CTst的计数值和估计用预定时间thTM。

如果过去时间计数器CTt的值未超过预定时间thTM，那么原样终止该处理。换句话说，维持估计标记Fst＝0。

另外，如果在步骤F605，判定CTst>thTM，那么控制单元30进入步骤F606，认为已估计出现稳定成像状态，从而设定估计标记Fst＝1。

在如上所述估计标记Fst＝1的情况下，控制单元30在图2A的步骤F1001中，启动主要被摄对象判定处理，然后进入步骤F1002-F1004。

下面参考图20，说明基于该处理的操作例子。

图20用虚线图示全局向量的标量值的位移。各个点指示在步骤F601，在各个时间点，由控制单元30检测的全局向量的运动量。

步骤F602中，用于所述判定的预定水平范围是介于运动量的水平L30和L31之间的范围。所述范围指示在拍摄图像上，不存在被摄对象的全局运动，或者即使存在全局运动，全局运动的量也是微小量。

另外，还图解说明了估计标记Fst的值。

此外，假定在时间点t0，开始稳定成像状态估计处理。

在这个例子中，一直到时间点t1，作为全局运动，检测到较大的运动。例如，可预期其中用户未紧握成像设备10的状况，其中用户粗略寻找被摄对象的状况，或者其中被摄对象极大地来回移动的状况。

另一方面，在时间点t1之后，运动量被减小到预定水平范围内。这被预期为其中用户紧握成像设备10，或者占据大部分画面的被摄对象对于成像设备10相对几乎静止的状况。

在图18A的处理中，在时间点t1之后的这些状况下，稳定时间测量计数器CTst被递增，从而在时间点t2，稳定时间测量计数器CTst的值超过预定时间thTM的值，如果在上述步骤F605中，判定稳定时间测量计数器CTst的值超过预定时间thTM的值，那么在步骤F606，估计标记Fst被设定为1。如图20中所示，在时间点t2，估计标记Fst被设定为1。

如果其中拍摄图像上的全局运动较小的时期在一定程度上持续，那么可以判定成像视野变动很小，从而成像视野稳定。这种情况下，估计出现稳定成像状态。

按照和上述例子中相同的方式，在处理例子5中，稳定成像状态估计部件30b把拍摄图像的运动的检测结果用于稳定成像状态的估计。特别地，作为关于拍摄图像数据的分析处理，进行全局向量检测，并根据运动的状况，进行其中成像视野稳定的稳定成像状态的估计。

另外，在图18A的处理例子5中，尽管在步骤F502中，判定全局向量的运动量是否在预定水平范围内，不过也可利用运动方向作为向量，进行所述判定。

此外，由于分析各个区域的局部向量，从而也可估计各个被摄对象和成像设备10之间的相对运动状况，从而可以利用局部向量。

另外，可存在稳定时间测量计数器CTst的其它处理。

如图18A中用虚线所示，如果判定步骤F602中的条件未被满足，那么可以不递减稳定时间测量计数器CTst，从而流程不改变计数值地进入步骤F605。

另外，步骤F604中的处理可用图18B中图解所示的步骤F604A替换。换句话说，这是其中如果判定步骤F602中的条件未被满足，那么把稳定时间测量计数器CTst的值重置为0的例子。

存在其中如在处理例子2中所述，递减、重置和不变化的任意例子非常适当的情况。

[4-7:估计处理中使用的预定时间变更处理]

在上述处理例子1-5中，预定时间thTM用于稳定成像状态的估计。在各个处理例子中，预定时间thTM可被设定成固定值，不过也可如下所述被改变。换句话说，根据稳定成像状态估计处理的执行时机，改变稳定成像状态估计处理中，用于稳定成像状态的估计的时间的有关条件。

图21图解说明一个例子。例如，设置3种时间thTM1、thTM2和thTM3，作为预定时间thTM。假定thTM1>thTM2>thTM3。

在图9和10中说明的时机，进行稳定成像状态估计处理，不过例如，在其中稳定成像状态估计处理在接通电源之后的预定时期内的情况下，使用较长的时间thTM1作为预定时间thTM。另外，在进行从再现模式MD2到照相机模式MD1的转变之后的预定时期内，进行稳定成像状态估计处理的情况下，也使用较长的时间thTM1作为预定时间thTM。

在这些情况下，很少发生其中在进行通电操作或模式操作之后，用户马上紧握照相机，并对准被摄对象的状况。于是，在提高估计精度的意义上，延长用于稳定成像状态的估计的预定时间thTM是适宜的。

在从接通电源或者转移到照相机模式MD1起，已过去预定时间之后的照相机模式MD1期间，并且当还未进行主要被摄对象判定时，利用标准时间thTM2作为预定时间thTM。

这是因为在某种程度上，用户为成像操作作好了准备。

不过，在进行一次主要被摄对象判定之后，再次进行稳定成像状态估计处理的时机，利用最短的时间thTM3作为预定时间thTM。例如，如在图9和10中所述，这是因为在主要被摄对象信息不能被使用之后，需要快速进行新的主要被摄对象判定处理。

另外，在其中某些时期持续，即，其中不进行主要被摄对象判定的时期持续的状况下，利用标准时间thTM2作为预定时间thTM。

上面的说明只是例子，例如，控制单元30按一定的时间间隔，通过中断处理等，进行如图22中的估计预定时间设定处理，以便根据稳定成像状态估计处理的执行时机，变更预定时间thTM。

在图22中，在步骤F4000，控制单元30判定时期是否在从接通电源起的Ta期内。如果时期在Ta期内，那么在步骤F4006，把最长的时间thTM1设定为预定时间thTM。

另外，如果时期不在从接通电源起的Ta期内，那么在步骤F4001，控制单元30判定时期是否在从转变到照相机模式MD1起的Tb期内。如果时期在Tb期内，那么在步骤F4006，把最长的时间thTM1设定为预定时间thTM。

如果时期不对应于步骤F4000和F4001中的判定，那么控制单元30根据在接通电源或转变到照相机模式MD1之后是否进行了初始主要被摄对象判定处理，在步骤F4002中使处理出现分支。如果还未进行初始主要被摄对象判定处理，那么在步骤F4004，把标准时间thTM2设定为预定时间thTM。

如果进行了初始主要被摄对象判定处理，那么在步骤F4003，控制单元30判定从前次主要被摄对象判定起，是否在Tc期内进行了主要被摄对象判定。如果未进行主要被摄对象判定，那么在步骤F4004，把标准时间thTM2设定为预定时间thTM。

另一方面，如果在步骤F4003，进行了主要被摄对象判定，那么在步骤F4005，最短时间thTM3被设定为预定时间thTM。

在稳定成像状态估计处理中，在其执行时间点，使用由于图22的上述处理而设定的预定时间thTM。

因而，如图21中例示，根据稳定成像状态估计处理的执行时机，使用适当的估计处理用预定时间thTM，从而实现适当的操作。

<5.图像处理设备中的另一种处理例子>

作为图2A的处理中的步骤F1000的具体例子，说明了上述处理例子1-5。

图2A的例子是其中在由于稳定成像状态估计处理，估计出现稳定成像状态的情况下，主要被摄对象判定部件30a进行主要被摄对象判定处理，并输出其结果的例子。

这里，对于在图3的成像设备10或图1的图像处理设备1中进行的稳定成像状态估计处理和主要被摄对象判定处理，不仅可以考虑图2A中图解所示的例子，而且可以考虑如图23中图解所示的例子。

在图23的例子中，在照相机模式期间，如图23A中所示，在任何时候都重复进行主要被摄对象判定处理。

换句话说，在照相机模式MD1期间，主要被摄对象判定部件30a在步骤F2000，开始候选图像的检测，并在步骤F2001，进行主要被摄对象判定处理。步骤F2001的详细处理和图2B的步骤F1-F3的处理相同。

如果在步骤F2001，进行了主要被摄对象判定，那么在此时，作为判定结果的主要被摄对象信息不被发送给应用程序等，而是在步骤F2002，被保持在内部存储器中。随后，再次进行步骤F2000、F2001和F2002中的处理。

同时，在如图9和10中说明的执行时机，如图23B中一样地执行稳定成像状态估计部件30b中的稳定成像状态估计处理。

首先，在步骤F3000，控制单元30进行稳定成像状态估计处理。例如，如上述处理例子1-5中那样，进行稳定成像状态估计处理。

如果在某个时间，估计出现稳定成像状态，那么控制单元30使处理从步骤F3001进入步骤F3002，获得主要被摄对象信息。作为如图23A中所示，在任何时候进行的主要被摄对象判定处理，这将从内部存储器读取此时保存的最新的主要被摄对象信息。

另外，在步骤F3003，控制单元30把获得的主要被摄对象信息发送给应用程序等。

换句话说，在图23的上述处理中，主要被摄对象判定部件30顺序进行主要被摄对象判定处理。另外，稳定成像状态估计部件30b在图9和10中说明的执行时机，进行稳定成像状态估计处理。该例子是其中在由于稳定成像状态估计处理，估计出现稳定成像状态的情况下，控制单元30输出主要被摄对象判定处理的最新结果的例子。

另外，通过该处理，主要被摄对象信息可在适当时机，被输出给应用程序等。

<6.对程序和计算机设备的应用>

如上所述，说明了图像处理设备1和成像设备10的实施例，上述主要被摄对象判定处理可用硬件，或者用软件进行。

实施例的程序是使诸如中央处理器(CPU)或数字信号处理器(DSP)之类的算术处理设备进行在以上实施例中说明的处理的程序。

换句话说，所述程序是使算术处理设备进行以下步骤的程序：稳定成像状态估计步骤，所述稳定成像状态估计步骤进行估计是否出现稳定成像状态的稳定成像状态估计处理，主要被摄对象判定步骤，所述主要被摄对象判定步骤进行主要被摄对象判定处理，和输出步骤，在由于稳定成像状态估计处理，估计出现稳定成像状态的情况下，所述输出步骤输出主要被摄对象判定处理的结果。

具体地，本实施例的程序可以是使算术处理设备进行图2或图23中图解所示的处理，关于主要被摄对象判定处理，在图4和8中说明的处理，此外关于稳定成像状态估计处理，在处理例子1-5中说明的处理的程序。

通过利用所述程序，可用所述算术处理设备实现进行上述稳定成像状态估计处理和主要被摄对象判定处理的设备。

程序可被预先记录在作为内置在诸如计算机设备之类设备中的记录介质的HDD，具有CPU的微计算机的ROM等中。

另一方面，程序可被临时或永久地保存在诸如软盘、光盘只读存储器(CD-ROM)、磁光(MO)盘、数字通用光盘(DVD)、蓝光光盘、磁盘、半导体存储器或存储卡之类的可拆卸记录介质上。可以所谓的套装软件的形式，提供所述可拆卸记录介质。

另外，所述程序不仅可从可拆卸记录介质安装到个人计算机，而且可通过诸如局域网(LAN)或因特网之类的网络，从下载侧下载。

此外，所述程序适合于广泛提供的实施例的图像处理设备。例如，通过把程序下载到个人计算机、便携式信息处理设备、游戏设备、视频设备、个人数字助手(PDA)等，所述便携式信息处理设备等可用作本公开的信息处理设备。

例如，使如图24中图解所示的计算机设备能够进行图1的图像处理设备或成像设备10中的稳定成像状态估计处理和主要被摄对象判定处理。

图24中，计算机设备70的CPU71按照保存在ROM72中的程序，或者从存储单元78载入RAM73中的程序，进行各种处理。RAM73酌情保存为CPU71进行各种处理所必需的数据等。

CPU71、ROM72和RAM73通过总线74互连。总线74还连接到输入和输出接口75。

输入和输出接口75连接到包括键盘、鼠标等的输入单元76，包括由阴极射线管(CRT)、LCD或有机EL面板构成的显示器，和扬声器的输出单元77，包括硬盘等的存储单元78，和包括调制解调器等的通信单元79。通信单元79通过包括因特网的网络，进行通信处理。

输入和输出接口75还酌情连接到驱动器80。诸如磁盘、光盘、磁光盘或半导体存储器之类的可拆卸介质81被酌情安装在驱动器中，从而从中读取的计算机程序被酌情安装在存储单元78中。

在用软件进行上述稳定成像状态估计处理和主要被摄对象判定处理的情况下，从网络或记录介质安装构成所述软件的程序。

例如，如图24中图解所示，所述记录介质包括为独立于设备本体，向用户交付程序而分配的诸如磁盘(包括软盘)、光盘(包括蓝光光盘(注册商标)、CD-ROM和DVD)、磁光盘(包括小型光盘(MD))或半导体存储器之类的可拆卸介质81。另一方面，所述记录介质包括预先并入设备本体中地向记录向用户交付的程序的ROM72，包括在存储单元78中的硬盘，等等。

在计算机设备70中，当通过通信单元79的接收操作，驱动器80、可拆卸介质81或记录单元78中的再现操作等，输入运动图像数据时，CPU71根据所述程序，执行上述稳定成像状态估计部件(3,30b)和主要被摄对象判定部件(2,30a)的功能。换句话说，进行如图2和23一样的处理，从而可在适当的时机，对输入的图像数据进行主要被摄对象判定。

<7.变形例>

上述实施例可具有各种变形例。

在稳定成像状态估计处理中，上述处理例子1-5之中的多个处理例子可以相互组合。

例如，组合处理例子1-5中的一些处理例子，在各个处理例子中的稳定成像状态的估计结果的OR条件或AND条件下，可估计出现稳定成像状态。

另外，在组合处理例子1-5的情况下，在各个处理例子中，可以改变用于稳定成像状态的估计的权重，或者可以设定判定的优先级。例如，在组合处理例子2和处理例子3的情况下，在各个处理例子中，使计数器CTst的递增值不同，或者预定时间thTM被设定成不同的值。

另外，在成像设备10的例子中，稳定成像状态估计处理是在照相机模式MD1或者主要被摄对象判定模式MD11下进行的，不过也可在再现模式MD2下进行。

例如，主要被摄对象信息用于图像效果处理或图像编辑处理，不过为此，以再现图像作为目标，进行主要被摄对象判定处理，从而在再现图像中，进行成像时的稳定成像状态估计之后，进行主要被摄对象判定处理也是有益的。

例如，其中再现图像的变化较小的状况可被估计为在成像时，具有稳定成像状态，此时可进行主要被摄对象判定处理，并且可进行图像编辑处理和图像效果处理，以便进行再现显示，编辑数据的创建，等等。

另外，针对这种再现图像的稳定成像状态估计处理和主要被摄对象判定处理自然可预期由图1的信息处理设备，图24的信息处理设备等进行。

另外，主要被摄对象判定处理的结果可作为元数据，添加到之后拍摄和记录的静止图像数据或运动图像数据中。换句话说，指示平静被摄对象的信息被添加到静止图像文件等中。

此外，在显示预览图像，并且也进行主要被摄对象判定处理的时候，可通过摄影者的操作，进行主要被摄对象指定操作。

另外，尽管在实施例中，在假定主要拍摄静止图像的情况下，说明了判定主要被摄对象的处理，不过即使在拍摄运动图像的待机期间，或者在执行运动图像的拍摄和记录期间，也可作为从多个拍摄帧中进行主要被摄对象判定的处理，应用实施例的上述处理。

此外，本技术也可具有以下结构。

(1)一种图像处理设备，包括稳定成像状态估计部件，所述稳定成像状态估计部件进行估计是否出现稳定成像状态的稳定成像状态估计处理；和主要被摄对象判定部件，所述主要被摄对象判定部件进行主要被摄对象判定处理，当由于稳定成像状态估计处理，估计出现稳定成像状态时，还输出主要被摄对象判定处理的结果。

(2)按照(1)所述的图像处理设备，其中在稳定成像状态估计处理中，稳定成像状态估计部件根据成像视野变动的检测结果，进行稳定成像状态的估计。

(3)按照(2)所述的图像处理设备，其中稳定成像状态估计部件利用检测生成拍摄图像的成像设备的运动的传感器的输出，检测成像视野变动。

(4)按照(2)或(3)所述的图像处理设备，其中稳定成像状态估计部件利用检测生成拍摄图像的成像设备的成像光学系统的运动的传感器的输出，检测成像视野变动。

(5)按照(2)-(4)任意之一所述的图像处理设备，其中稳定成像状态估计部件利用控制生成拍摄图像的成像设备的操作的指令值，检测成像视野变动。

(6)按照(2)-(5)任意之一所述的图像处理设备，其中稳定成像状态估计部件利用关于拍摄图像数据的分析处理的结果，检测成像视野变动。

(7)按照(6)所述的图像处理设备，其中作为关于拍摄图像数据的分析处理，稳定成像状态估计部件检测拍摄图像的运动。

(8)按照(1)-(7)任意之一所述的图像处理设备，其中在从转变到主要被摄对象判定处理有效地起作用的预定模式状态的时间起，过去预定时间的条件下，稳定成像状态估计部件估计出现稳定成像状态。

(9)按照(1)-(8)任意之一所述的图像处理设备，其中根据稳定成像状态估计处理的执行时机，稳定成像状态估计部件变更关于稳定成像状态估计处理中，用于稳定成像状态的估计的时间的条件。

(10)按照(1)-(9)任意之一所述的图像处理设备，其中当出现其中主要被摄对象判定处理有效地起作用的预定模式状态时，稳定成像状态估计部件进行稳定成像状态估计处理。

(11)按照(1)-(10)任意之一所述的图像处理设备，其中在主要被摄对象判定处理的结果不能被使用，或者不需要被使用之后，稳定成像状态估计部件进行稳定成像状态估计处理。

(12)按照(1)-(11)任意之一所述的图像处理设备，其中当由于稳定成像状态估计处理，估计出现稳定成像状态时，主要被摄对象判定部件进行主要被摄对象判定处理，并输出作为主要被摄对象判定处理的结果的主要被摄对象信息。

(13)按照(1)-(11)所述的图像处理设备，其中主要被摄对象判定部件顺序进行主要被摄对象判定处理，并且当由于稳定成像状态估计处理，估计出现稳定成像状态时，输出作为最新的主要被摄对象判定处理的结果的主要被摄对象信息。

附图标记列表

1图像处理设备，2主要被摄对象判定部件，3稳定成像状态估计部件，10成像设备，11光学系统，12成像器，13光学系统驱动单元，14传感器单元，15记录单元，16通信单元，20数字信号处理单元，21预处理部分，22同步部分，23YC生成部分，24分辨率转换部分，25编解码器部分，26候选者检测部分，27运动向量检测部分，30控制单元，30a主要被摄对象判定部件，30b稳定成像状态估计部件，32UI控制器，33用户接口，34显示部分，35操作部分，70计算机设备，71CPU

Claims (15)

1.一种图像处理设备，包括：

稳定成像状态估计部件，所述稳定成像状态估计部件进行估计是否出现稳定成像状态的稳定成像状态估计处理；和

主要被摄对象判定部件，所述主要被摄对象判定部件进行主要被摄对象判定处理，并且在由于稳定成像状态估计处理估计出现稳定成像状态时，还输出主要被摄对象判定处理的结果。

2.按照权利要求1所述的图像处理设备，

其中在稳定成像状态估计处理中，稳定成像状态估计部件基于成像视野变动的检测结果进行稳定成像状态的估计。

3.按照权利要求2所述的图像处理设备，

其中稳定成像状态估计部件利用检测生成拍摄图像的成像设备的运动的传感器的输出来检测所述成像视野变动。

4.按照权利要求2所述的图像处理设备，

其中稳定成像状态估计部件利用检测生成拍摄图像的成像设备的成像光学系统的运动的传感器的输出，检测所述成像视野变动。

5.按照权利要求2所述的图像处理设备，

其中稳定成像状态估计部件利用用于控制生成拍摄图像的成像设备的操作的指令值，检测所述成像视野变动。

6.按照权利要求2所述的图像处理设备，

其中稳定成像状态估计部件利用关于拍摄图像数据的分析处理的结果，检测所述成像视野变动。

7.按照权利要求6所述的图像处理设备，

其中作为针对拍摄图像数据的分析处理，稳定成像状态估计部件检测拍摄图像的运动。

8.按照权利要求1所述的图像处理设备，

其中在所述稳定成像状态估计处理中在从转变到主要被摄对象判定处理有效地起作用的预定模式状态的时间起过去了预定时间的条件下，稳定成像状态估计部件估计出现稳定成像状态。

9.按照权利要求1所述的图像处理设备，

其中根据稳定成像状态估计处理的执行时机，稳定成像状态估计部件变更关于在稳定成像状态估计处理中用于稳定成像状态的估计的时间的条件。

10.按照权利要求1所述的图像处理设备，

其中当出现主要被摄对象判定处理有效地起作用的预定模式状态时，稳定成像状态估计部件进行稳定成像状态估计处理。

11.按照权利要求1所述的图像处理设备，

其中在主要被摄对象判定处理的结果不能被使用或者不需要被使用之后，稳定成像状态估计部件进行稳定成像状态估计处理。

12.按照权利要求1所述的图像处理设备，

其中当由于稳定成像状态估计处理而估计出现稳定成像状态时，主要被摄对象判定部件进行主要被摄对象判定处理，并输出作为主要被摄对象判定处理的结果的主要被摄对象信息。

13.按照权利要求1所述的图像处理设备，

其中主要被摄对象判定部件顺序地进行主要被摄对象判定处理，并且当由于稳定成像状态估计处理而估计出现稳定成像状态时，输出作为最新的主要被摄对象判定处理的结果的主要被摄对象信息。

14.一种图像处理方法，包括：

稳定成像状态估计步骤，所述稳定成像状态估计步骤进行估计是否出现稳定成像状态的稳定成像状态估计处理；

主要被摄对象判定步骤，所述主要被摄对象判定步骤进行主要被摄对象判定处理；以及

输出步骤，当由于稳定成像状态估计处理而估计出现稳定成像状态时，所述输出步骤输出主要被摄对象判定处理的结果。

15.一种使算术处理设备进行以下步骤的程序：

稳定成像状态估计步骤，所述稳定成像状态估计步骤进行估计是否出现稳定成像状态的稳定成像状态估计处理；

进行主要被摄对象判定处理的主要被摄对象判定步骤；和

输出步骤，当由于稳定成像状态估计处理，估计出现稳定成像状态时，所述输出步骤输出主要被摄对象判定处理的结果。