CN118075597A - 控制设备、摄像设备和控制方法 - Google Patents

Abstract

本发明公开了一种控制设备、摄像设备和控制方法。控制设备包括：获取单元，用于获取与从拍摄图像中检测到的被摄体相关的信息；计算单元，用于基于目标位置和所述拍摄图像中的被摄体的位置来计算追踪量；控制单元，用于基于所述追踪量来控制被摄体追踪，以使所述拍摄图像中的被摄体的位置接近所述目标位置；以及设置单元，用于基于用于拍摄所述拍摄图像的摄像设备的保持状态、拍摄者对所述摄像设备进行的操作的检测结果、所述目标位置在所述拍摄图像中的位置、以及被摄体类型中的至少任一个来设置第一区域和第二区域，其中，与在所述第二区域中相比，在所述第一区域中，所述被摄体追踪的进行程度更低。

Description

控制设备、摄像设备和控制方法

技术领域

实施例的方面涉及使用图像模糊校正单元来稳定被摄体图像。

背景技术

已经存在使用包括图像模糊校正单元的摄像设备来使运动图像中的模糊稳定的功能。

通过根据检测单元所检测到的照相机抖动信号以抵消照相机抖动的方式驱动图像模糊校正单元或者利用图像处理改变要从摄像区域提取的区域的位置，来执行该功能。前者被称为光学照相机抖动校正，并且后者被称为电子照相机抖动校正。

另一方面，当上述包括图像模糊校正单元的摄像设备记录运动图像时，即使校正了照相机抖动，被摄体有时也会出现帧失调(out of a frame)。这是因为，即使校正了由摄像设备的运动引起的照相机抖动，也不能校正被摄体的运动。由于该原因，为了防止运动的被摄体出现帧失调，拍摄者在关注被摄体的运动的同时要执行成帧(framing)。

为了解决上述问题，日本特开2017-215350中讨论的图像模糊校正设备提出根据摄像状态来确定要执行被摄体追踪和照相机抖动校正中的哪一个。

通过采用上述配置，可根据被摄体的运动来移动图像模糊校正单元。因此，可以执行被摄体追踪和照相机抖动校正这两者。

发明内容

根据本实施例的一个方面，一种控制设备包括：一个或多于一个处理器；以及存储器，其耦合到所述一个或多于一个处理器，所述存储器存储有指令，所述指令在被所述一个或多于一个处理器执行时，使得所述一个或多于一个处理器用作：获取单元，用于获取与从拍摄图像中检测到的被摄体相关的信息；计算单元，用于基于目标位置和所述拍摄图像中的被摄体的位置来计算追踪量；控制单元，用于基于所述追踪量来控制被摄体追踪，以使所述拍摄图像中的被摄体的位置接近所述目标位置；以及设置单元，用于基于用于拍摄所述拍摄图像的摄像设备的保持状态、拍摄者对所述摄像设备进行的操作的检测结果、所述目标位置在所述拍摄图像中的位置、以及被摄体类型中的至少任一个来设置第一区域和第二区域，其中，与在所述第二区域中相比，在所述第一区域中，所述被摄体追踪的进行程度更低。

根据以下参照附图对示例性实施例的描述，本公开的其他特征将变得明显。

附图说明

图1是示出根据第一示例性实施例的摄像设备的配置示例的框图。

图2是示出根据第一示例性实施例的与图像模糊校正控制和被摄体追踪控制相关的机构的配置示例的框图。

图3A是示出根据第一示例性实施例的被摄体追踪的流程图。

图3B是示出根据第一示例性实施例的被摄体追踪区域设置的流程图。

图3C是示出根据第一示例性实施例的拍摄手法(camera work)判断定时的图。

图4A示出用于指示在拍摄者正在步行的同时的角速度信号输出的曲线图。

图4B示出用于指示在拍摄者正在步行的同时的角速度信号输出的曲线图。

图4C示出用于指示在拍摄者正在步行的同时的角速度信号输出的曲线图。

图5A和图5C是示出追踪区域和追踪量的示例的图。

图5B和图5D是示出追踪区域和追踪量的其他示例的图。

图6示出根据第二示例性实施例和第三示例性实施例的与追踪区域设置相关的表。

图7A是示出根据第三示例性实施例的追踪区域设置示例的图。

图7B是示出根据第三示例性实施例的其他追踪区域设置示例的图。

图8A是示出根据第四示例性实施例的追踪区域设置示例的图。

图8B是示出根据第四示例性实施例的其他追踪区域设置示例的图。

图9示出用于指示被摄体检测位置和追踪量的时间序列图。

具体实施方式

在下文中，将基于附图来详细描述本公开的示例性实施例。以下示例性实施例不旨在限制所附权利要求书中所阐述的公开内容。

在各个示例性实施例中描述了多个特征，但并非所有多个特征对本公开都是必要的，并且多个特征可任意组合。

此外，在附图中，相同或类似的配置分配有相同的附图标记，并将省略多余的描述。

日本特开2017-215350中讨论的图像模糊校正设备提出根据摄像状态来确定要执行被摄体追踪和照相机抖动校正中的哪一个。然而，结果显示，根据摄像情形，被摄体有时变得不能被适当地追踪。

鉴于前述内容，将在本示例性实施例中描述可适当进行被摄体追踪的控制设备和摄像设备。

在本示例性实施例中，将给出如下摄像设备的描述，该摄像设备使用抖动检测单元来判断摄像设备被拍摄者保持的摄像设备保持状态(拍摄手法判断)并基于判断结果来设置被摄体追踪区域。

首先，将参照图9描述在特定摄像情形下进行被摄体追踪的情况下拍摄到不自然的动画的情况。

图9示出用于指示在被摄体的停止和背景的停止这两者不好时所获得的被摄体检测位置和被摄体追踪量(下文中称为追踪量)的时间序列图。在图9中，纵轴指示角度，并且横轴指示时间。虚线指示被摄体检测位置L901，并且离轴越远的被摄体检测位置L901指示离目标位置越远的位置。另一方面，实线指示根据被摄体检测位置L901计算出的被摄体追踪量L902，并且离轴越远的被摄体追踪量L902指示越大的追踪量。也就是说，离轴越远的被摄体追踪量L902指示被摄体追踪控制所引起的摄像范围的越大的变化量。

如图9所示，在计算被摄体追踪量的处理中，通常生成延迟时间Td。

因为例如由于在被摄体检测单元的输出中生成的变化而需要进行滤波处理等，所以生成该延迟时间Td。以这种方式，如果在追踪量计算的处理期间生成延迟时间Td，则即使在被摄体检测位置与目标位置一致的定时处，被摄体追踪量也不会变为0。相反，在需要被摄体追踪的定时处，被摄体追踪量变为0。这有时会产生被摄体的停止和背景的停止这两者不好的动画。

特别是在拍摄者牢固地保持摄像设备的情形下，因为照相机抖动所引起的摄像范围的变化小，所以上述问题更加明显并且拍摄者和动画的观看者有时会感觉动画不自然。另外，如果拍摄者正在牢固地保持摄像设备，则拍摄者可以在场景中执行成帧，并且认为被摄体不太可能出现帧失调。因此，与动画中的被摄体追踪的效果相比，在这样的场景中，不自然很可能更加突出。因此，在本示例性实施例中，基于摄像设备的保持状态来设置作为要进行被摄体追踪的范围的追踪区域。在本说明书中，摄像范围是指要拍摄和记录的图像的范围。也就是说，在进行电子照相机抖动校正或裁剪摄像的情况下，摄像范围是指裁剪图像的范围。

图1是示出根据本示例性实施例的摄像设备的配置的框图。根据本示例性实施例的摄像设备是可更换镜头摄像设备，并且包括摄像设备主体(以下称为照相机主体)1以及可附接到照相机主体1和可从照相机主体1拆卸的镜头设备2。

镜头设备2包括摄像光学系统200。摄像光学系统200包括变焦透镜101、图像模糊校正透镜102、调焦透镜103和光阑104。

变焦透镜101通过在光轴方向上移动，以光学方式改变用于形成被摄体图像的摄像光学系统(摄像镜头)200的焦距并改变摄像场角。图像模糊校正透镜102通过在与光轴垂直的方向上移动，以光学方式对由于摄像设备的抖动引起的图像模糊进行校正。调焦透镜103通过在光轴方向上移动，以光学方式调整焦点位置。通过打开或关闭光阑104和快门105，可以调整光量。光阑104和快门105用于曝光控制。

光阑驱动单元120和快门驱动单元135分别驱动光阑104和快门105。变焦透镜驱动单元124驱动变焦透镜101并改变场角。变焦透镜控制单元127根据经由操作单元114发出的变焦操作指令来进行变焦透镜101的位置控制。可以通过操作设置在镜头设备2周围的变焦环来移动变焦透镜101。调焦透镜驱动单元121驱动调焦透镜103。使用电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器的图像传感器106接收已经通过摄像光学系统200的光，并且将该光从光信号转换成电信号。

模数(AD)转换器107对从图像传感器106读出的摄像信号进行噪声去除处理、增益调整处理和AD转换处理。

根据照相机控制单元115所发出的命令，定时生成器108控制图像传感器106的驱动定时和AD转换器107的输出定时。图像处理电路109对来自AD转换器107的输出进行像素插值处理或颜色转换处理，然后将处理后的图像数据发送到嵌入式存储器110。图像处理电路109包括用于对准多个顺次拍摄的图像的对准电路、用于进行柱面坐标转换以及透镜单元的失真校正的几何变换电路、以及用于进行裁切和合成处理的合成电路。另外，使用图像处理电路109中所包括的投影变换电路来进行电子照相机抖动校正。因为各个电路的操作是已知的，所以将省略其详细描述。

显示单元111将摄像信息与存储在嵌入式存储器110中的图像数据一起显示。

压缩/扩展处理单元112根据图像格式对存储在嵌入式存储器110中的数据进行压缩处理或扩展处理。

储存存储器113存储诸如参数等的各种类型的数据。

操作单元114是供用户进行各种摄像操作、菜单操作和模式切换操作的用户接口。

照相机控制单元115包括诸如中央处理单元(CPU)等的运算装置，并根据经由操作单元114进行的用户操作来执行嵌入式存储器110中所存储的各种控制程序。控制程序是用于进行例如变焦控制、图像模糊校正控制、自动曝光控制、自动调焦控制以及检测被摄体面部的处理的程序。

在可更换镜头照相机的情况下，使用照相机侧通信单元140和镜头侧通信单元128在照相机主体1和镜头设备2之间进行信息通信。

亮度信号检测单元137将在摄像准备状态(所谓的实时取景状态)下已经从图像传感器106读出并通过了AD转换器107的信号作为被摄体和场景的亮度进行检测。

曝光控制单元136基于亮度信号检测单元137所获得的亮度信息来计算曝光值(光圈值和快门速度)，并经由照相机侧通信单元140和镜头侧通信单元128向光阑驱动单元120和快门驱动单元135通知计算结果。同时，曝光控制单元136还进行将从图像传感器106读出的摄像信号放大的控制。由此进行自动曝光控制(AE控制)。

评价值计算单元138从亮度信号检测单元137所获得的亮度信息中提取特定频率成分，然后基于提取的特定频率成分来计算对比度评价值。

调焦透镜控制单元139经由照相机侧通信单元140和镜头侧通信单元128向调焦透镜驱动单元121发出命令，以在预定范围内以预定驱动量驱动调焦透镜103。同时，调焦透镜控制单元139获取各个调焦透镜位置处的作为评价值计算单元138的计算结果的评价值。调焦透镜控制单元139由此根据对比度评价值的变化曲线达到峰值的调焦透镜位置来计算对比度自动调焦(AF)方法中的聚焦位置，并将计算出的聚焦位置发送到调焦透镜驱动单元121。调焦透镜103由调焦透镜驱动单元121基于所接收到的聚焦位置来驱动，使得进行将光束聚焦到图像传感器106的表面上的自动调焦控制(AF控制)。

在该示例中，已描述了对比度AF方法，但AF方法不受具体限制，并且例如，AF方法可以是相位差AF方法。因为相位差AF方法的细节是已知的，所以将省略其描述。

镜头侧抖动检测单元125和照相机侧抖动检测单元134检测被添加到摄像设备的抖动和振动。在本示例性实施例中，各个抖动检测单元被布置在照相机侧和镜头侧。

镜头侧图像稳定控制单元126基于镜头侧抖动检测单元125或照相机侧抖动检测单元134或这两个抖动检测单元所检测到的(一个或多于一个)抖动检测信号，来计算用于使用图像模糊校正透镜102抑制抖动的图像模糊校正量。然后，镜头侧图像稳定控制单元126基于计算出的图像模糊校正量和已经由图像模糊校正透镜位置检测单元123检测到的图像模糊校正透镜102的位置，将图像模糊校正透镜102的驱动信号发送到图像模糊校正透镜驱动单元122，并且镜头侧图像稳定控制单元126由此控制待使用图像模糊校正透镜102执行的照相机抖动校正。

图像模糊校正透镜驱动单元122是包括音圈马达的致动器，并基于已经从镜头侧图像稳定控制单元126接收到的图像模糊校正透镜102的驱动信号，在与光轴垂直的方向上驱动图像模糊校正透镜102(使图像模糊校正透镜102移位)。下面将详细描述使用图像模糊校正透镜102的照相机抖动校正的控制方法。

照相机侧图像稳定控制单元133可经由照相机侧通信单元140和镜头侧通信单元128与镜头侧图像稳定控制单元126进行通信。照相机侧图像稳定控制单元133基于照相机侧抖动检测单元134或镜头侧抖动检测单元125或这两个抖动检测单元所检测到的(一个或多于一个)抖动检测信号，来计算用于使用图像传感器106抑制抖动的图像模糊校正量。然后，照相机侧图像稳定控制单元133基于计算出的图像模糊校正量和已经由图像传感器位置检测单元132检测到的图像传感器106的位置，将图像传感器106的驱动信号发送到图像传感器驱动单元130，并且照相机侧图像稳定控制单元133由此控制待使用图像传感器106执行的照相机抖动校正。

图像传感器驱动单元130是包括音圈马达或超声波马达的致动器，并基于已经从照相机侧图像稳定控制单元133接收到的图像传感器106的驱动信号，在与光轴垂直的方向上驱动图像传感器106(使图像传感器106移位)。下面将详细描述使用图像传感器106的照相机抖动校正的控制方法。

运动矢量检测单元131通过使用块匹配方法，针对通过将帧进行分割而获得的各个块来计算当前帧和先前帧的相关值。此后，运动矢量检测单元131搜索先前帧中具有最小计算结果的块作为基准块，并将其他块相对于基准块的偏移作为运动矢量进行检测。

被摄体检测单元141基于从图像传感器106输出的拍摄图像信号，通过检测拍摄图像中所包括的被摄体的图像区域来生成被摄体检测信息。被摄体检测信息包括与被摄体位置相关的信息。除被摄体的位置之外，被摄体检测信息可以包括诸如被摄体类型(例如，人/动物/运载工具)、部位(例如，瞳孔/面部/身体)和尺寸等的信息。

被摄体设置单元143设置拍摄图像中的特定被摄体。拍摄者通过经由操作单元114进行触摸或按钮操作，可以从多个被摄体中设置任意被摄体作为追踪目标被摄体。可以在无需拍摄者的操作的情况下通过使用照相机主体1的自动被摄体设置程序来确定追踪目标被摄体。在拍摄图像中所包括的被摄体的数量仅为一个的情况下，该被摄体被设置为追踪目标被摄体。

被摄体追踪计算单元142计算被摄体追踪量。下面将参照图2给出详细描述。

图2是示出根据本示例性实施例的与图像模糊校正控制和被摄体追踪控制相关的机构的配置示例的框图。在本示例性实施例中，照相机侧图像稳定控制单元133和镜头侧图像稳定控制单元126通过分别控制图像传感器106和图像模糊校正透镜102的位置来进行图像模糊校正控制。然后，被摄体追踪计算单元142通过控制图像处理电路109来进行被摄体追踪控制。

首先，将描述照相机侧图像稳定控制单元133的配置。如上所述，照相机侧图像稳定控制单元133可以通过驱动图像传感器106来进行使用图像传感器106的照相机抖动校正(图像模糊校正)。

如果照相机侧图像稳定控制单元133从照相机侧抖动检测单元134获取照相机侧抖动检测单元134所检测到的抖动角速度信号，则照相机侧图像稳定控制单元133通过使用照相机积分低通滤波器(LPF)单元1331进行积分处理来将抖动角速度信号转换为抖动角度信号。在该示例中，将积分低通滤波器(在下文中，将被称为积分LPF)用作照相机积分LPF单元1331。

抖动校正量计算单元1332考虑抖动角度的频带和照相机侧的可驱动范围，来计算用于消除抖动角度的校正量。具体地，抖动校正量计算单元1332通过将与变焦倍率和被摄体距离相关的增益加到抖动角度信号来计算抖动校正量。

校正比率计算单元1333计算照相机侧和镜头侧的抖动校正量之和为100％时的照相机侧所占的校正比率。在本示例性实施例中，校正比率计算单元1333基于图像传感器106和图像模糊校正透镜102各自的可移动范围来确定校正比率。除上述校正构件可移动范围之外，校正比率计算单元1333还可以考虑图像处理中的通过提取图像进行校正(电子照相机抖动校正)的可移动范围来确定校正比率。

校正比率积分单元1334通过将抖动校正量与校正比率计算单元1333所获得的计算结果相乘来计算基于校正比率的照相机侧图像模糊校正量。

位置控制单元1335是用于对图像传感器106的目标位置和图像传感器106的当前位置之间的偏差进行比例、积分和微分(PID)控制(比率控制、积分控制、微分控制)的控制单元，该图像传感器106的目标位置基于由校正比率积分单元1334计算出的照相机侧抖动校正量。位置控制单元1335将目标位置和当前位置之间的偏差转换成图像传感器驱动信号，并将图像传感器驱动信号输入到图像传感器驱动单元130。当前位置是图像传感器位置检测单元132的输出结果。由于PID控制是通用技术，因此将省略其详细描述。图像传感器驱动单元130根据图像传感器驱动信号来驱动图像传感器106。

接下来，将描述镜头侧图像稳定控制单元126。如上所述，镜头侧图像稳定控制单元126可以通过驱动图像模糊校正透镜102来进行使用图像模糊校正透镜102的照相机抖动校正(图像模糊校正)。如果镜头侧图像稳定控制单元126从镜头侧抖动检测单元125获取镜头侧抖动检测单元125所检测到的抖动角速度信号，则镜头侧图像稳定控制单元126通过使用镜头积分LPF单元1261进行积分处理来将抖动角速度信号转换成抖动角度信号。在该示例中，将积分LPF用作镜头积分LPF单元1261。

抖动校正量计算单元1262考虑抖动角度的频带和照相机侧的可驱动范围，来计算用于消除抖动角度的校正量。具体地，抖动校正量计算单元1332通过将与变焦倍率和被摄体距离相关的增益加到抖动角度信号来计算镜头侧的抖动校正量。

校正比率积分单元1263通过与照相机侧和镜头侧的抖动校正量之和为100％时的镜头侧所占的校正比率相乘，来获得基于校正比率的校正量。在本示例性实施例中，从由照相机侧的校正比率计算单元1333获得的计算结果中获得镜头侧所占的校正比率。经由照相机侧通信单元140和镜头侧通信单元128来通信照相机侧和镜头侧所占的校正比率。

位置控制单元1264是用于对图像模糊校正透镜102的目标位置和图像模糊校正透镜102的当前位置之间的偏差进行PID控制(比率控制、积分控制、微分控制)的控制单元，该图像模糊校正透镜102的目标位置基于由校正比率积分单元1263计算出的镜头侧抖动校正量。位置控制单元1264将目标位置和当前位置之间的偏差转换成图像模糊校正透镜驱动信号，并将图像模糊校正透镜驱动信号输入到图像模糊校正透镜驱动单元122。当前位置是图像模糊校正透镜位置检测单元123的输出结果。由于PID控制是通用技术，因此将省略其详细描述。图像模糊校正透镜驱动单元122根据图像模糊校正透镜驱动信号来驱动图像模糊校正透镜102。

通过以上述方式驱动图像模糊校正透镜102和图像传感器106，可减少由于照相机抖动引起的图像模糊。

在本示例性实施例中，被摄体追踪计算单元142可基于从被摄体检测单元141获取的被摄体检测信息，如电子照相机抖动校正那样改变图像提取位置。如上所述，被摄体设置单元143可以将拍摄图像中的任意被摄体设置为追踪目标被摄体(在下文中，有时将被称为主被摄体)。被摄体检测单元141获取诸如由被摄体设置单元143设置的主被摄体的位置信息、尺寸和被摄体类型等的信息。

判断单元1422基于照相机侧抖动检测单元134的输出信号来判断摄像设备保持状态。在本示例性实施例中，摄像设备保持状态指的是拍摄手法，诸如拍摄者在步行的同时正在拍摄图像的状态、拍摄者在进行平摇或俯仰的同时正在拍摄图像的状态、或者拍摄者在牢固地保持摄像设备的同时正在拍摄图像的状态(就绪状态)等。在下文中，拍摄者在步行的同时正在拍摄图像的状态有时将被称为步行状态。在下文中，拍摄者在进行平摇或俯仰的同时正在拍摄图像的状态有时将被称为平摇状态。下面将描述判断流程的细节。

追踪区域确定单元1421在摄像区域中确定被摄体不被追踪的区域(在下文中，有时将被称为死区)和被摄体待被追踪的区域(在下文中，有时将被称为追踪区域)。在本示例性实施例中，基于判断单元1422所获得的判断结果和下面将描述的被摄体目标位置设置单元1424所设置的目标位置来确定追踪区域。可替代地，可以通过设置死区而将剩余区域设置为追踪区域。相反，通过设置追踪区域，(当从目标位置看时在追踪区域内侧的)剩余区域可以被设置为死区。下面将描述追踪区域确定流程的细节。

被摄体目标位置设置单元1424设置被摄体设置单元143所设置的主被摄体的图像中的目标位置。在本示例性实施例中，假设被摄体目标位置可以根据照相机设置而改变。目标位置的示例包括摄像范围(记录图像)的中心、由用户指定的位置、以及预存的坐标位置。另外，在被摄体追踪功能被设置为开(ON)的定时的被摄体的位置可以被确定为目标位置。可以通过当实时取景图像或所记录的动画显示在触摸面板上时用户触摸触摸面板上的用户期望设置为目标位置的点来指定目标位置。不需要使被摄体目标位置可变，并且目标位置可以是固定的。在这种情况下，被摄体目标位置设置单元1424可以向追踪区域确定单元1421输出相同的目标位置，或者可以省略被摄体目标位置设置单元1424。在本示例性实施例中，在下文中，为了简单起见，将摄像范围的中心设置为被摄体目标位置。

追踪量计算单元1423根据由被摄体目标位置设置单元1424设置的被摄体目标位置、已经由被摄体检测单元141检测到的主被摄体在图像中的当前位置、以及由追踪区域确定单元1421确定的追踪区域来计算追踪量。

图像处理电路109使用由追踪量计算单元1423计算出的追踪量作为输入来进行图像处理。在本示例性实施例的情况下，图像处理电路109进行与电子照相机抖动校正类似的几何变换处理。以这种方式进行被摄体追踪处理，并且已经经过了被摄体追踪处理的图像被记录在储存存储器113上或者显示在显示单元111上。

图3A和图3B是示出被摄体追踪处理的流程图。图3A是示出整个被摄体追踪处理的流程图，并且图3B是示出判断摄像设备保持状态和设置被摄体追踪区域的处理的流程图。这些处理主要由被摄体追踪计算单元142进行。在下文中，将详细描述图3A和图3B所示的流程图。

将参照图3A描述整个被摄体追踪处理的流程。如果开始被摄体追踪处理，首先，在步骤S201中，根据本示例性实施例的摄像设备使用被摄体目标位置设置单元1424进行目标位置的设置。在该步骤中，将摄像范围的中心设置为目标位置。在目标位置不可改变的情况下，省略该步骤。

接下来，在步骤S202中，摄像设备进行死区和被摄体追踪区域的设置。在本示例性实施例中，如上所述，追踪区域确定单元1421基于摄像设备的保持状态以及在步骤S201中设置的目标位置来确定死区和追踪区域。将参照图3B描述处理的细节。

接下来，在步骤S203中，摄像设备进行追踪量的计算。在本示例性实施例中，追踪量计算单元1423基于由被摄体目标位置设置单元1424设置的被摄体目标位置和已经由被摄体检测单元141检测到的主被摄体在图像中的当前位置之间的差，来计算追踪量。此时，在主被摄体的当前位置在死区内的情况下，追踪量计算单元1423计算固定值作为追踪量，无论目标位置和主被摄体位置之间的差如何。例如，在追踪量为0并且主被摄体位置在死区内的情况下，追踪量计算单元1423计算出0作为追踪量。在追踪量是预定量并且主被摄体位置在死区内的情况下，追踪量计算单元1423维持当时设置的追踪量。

接下来，在步骤S204中，摄像设备进行追踪处理。在本示例性实施例中，将追踪量从追踪量计算单元1423输出到图像处理电路109，并且图像处理电路109基于该追踪量进行几何变换，使得记录图像中的主被摄体位置更接近目标位置。通过针对各个帧重复进行步骤S201至S204的一系列处理，可以进行被摄体追踪处理。不需要针对各个帧进行步骤S201中的目标位置设置处理以及步骤S202中的死区和追踪区域设置。例如，可以省略步骤S201中的目标位置设置处理，直到从拍摄者输入目标位置改变操作为止。可以以规则的时间间隔执行步骤S202中的死区和追踪区域设置。例如，在保持状态是拍摄者在步行的同时正在拍摄图像的步行状态并且拍摄者突然停止的情况下，可以认为在突然停止和拍摄者牢固地保持摄像设备的时刻之间存在时滞。因此，在一个实施例中，步骤S202中的死区和追踪区域设置可以每几帧仅进行一次。在第一次进行的步骤S202中的追踪区域设置处理结束之后，处理可以进行到步骤S203。可以与步骤S203中的追踪量计算和步骤S204中的追踪控制同时进行第二次和后续次的步骤S202中的追踪区域设置处理。只有在通过追踪区域设置处理改变追踪区域的尺寸或位置的情况下，才可以更新与将在步骤S203中的追踪量计算处理中使用的死区和追踪区域相关的信息。

将参照图3B描述判断摄像设备保持状态(拍摄手法)和设置被摄体追踪区域的处理。在本示例性实施例中，从照相机侧抖动检测单元134获取被添加到摄像设备的抖动，并且基于所获取的抖动来判断保持状态。这些处理主要由判断单元1422和追踪区域确定单元1421进行。

首先，在步骤S301中，判断单元1422从照相机侧抖动检测单元134获取检测结果，并进行针对检测结果的滤波处理的计算。

将参照图4A至图4C描述在步骤S301中进行的滤波处理。图4A示出当拍摄者处于步行状态时由照相机侧抖动检测单元134输出的角速度信号，并且图4B示出通过对图4A所示的角速度信号进行滤波(高通滤波器：HPF)处理而获得的信号。拍摄者是否正在步行(即拍摄者是否处于步行状态)可以通过对照步行状态下的频带检查图4B所示的信号来判断。例如，基于通过对步行状态下输出的角速度信号进行滤波处理而获得的信号，来预设阈值和预定次数。然后，对通过对角速度信号进行滤波处理而获得的信号超过阈值的次数进行计数，并且如果信号超过阈值的计数次数等于或大于预定次数，则可以判断为拍摄者处于步行状态。可替代地，在一个实施例中，可以仅设置阈值。在这种情况下，如果信号超过阈值，则可以判断为拍摄者处于步行状态，并且如果信号等于或小于阈值，则可以判断为拍摄者不处于步行状态。因此，在步骤S301中，进行滤波处理。

以固定周期(判断周期)进行判断。在判断周期长的情况下，拍摄者的运动的判断被延迟。另一方面，在判断周期短的情况下，可以几乎没有延迟地判断拍摄者的运动；然而，存在错误判断的风险。因此，要适当地设置判断周期。将上述预定次数设置为适合于该判断周期的次数。将参照图3C描述滤波器计算和判断的定时。图3C示出基于进行十次滤波计算和与阈值比较的结果而判断为拍摄者处于步行状态的情况。

可通过进行诸如频率分析等的计算代替滤波处理来判断拍摄者是否处于步行状态。图4C示出用于指示通过对图4A所示的角速度信号进行快速傅立叶变换(FFT)分析而获得的输出的曲线图。以这种方式，当拍摄者正在步行时，在步行状态期间生成的抖动的频率分量(在该示例中尤其是2Hz至6Hz周围)的峰值变大。因此，也可以通过将检测出的角速度信号的FFT分析结果中的步行状态下的频带的输出与任意阈值进行比较，来判断拍摄者是否处于步行状态。

在本示例性实施例中，已描述了使用照相机侧抖动检测单元134的输出的方法，但可使用镜头侧抖动检测单元125、运动矢量检测单元131或其他运动传感器的输出。

如果步骤S301中的处理结束，则处理进行到步骤S302中的处理。在步骤S302中，判断是否经过了步行判断时间。具体地，由于周期性地进行步行判断(即，拍摄者是否处于步行状态的判断)，所以判断是否已经经过判断周期。如果已经经过步行判断时间(步骤S302中的“是”)，则处理进行到步骤S303。如果尚未经过步行判断时间(步骤S302中的“否”)，则处理进行到步骤S307。

在步骤S303中，进行步行判断。如上所述，例如，通过检查在步骤S301中进行滤波处理的角速度信号(图4B)并对滤波处理后的角速度信号的值超过预定阈值的次数进行计数，来进行步行判断。如果滤波处理后的角速度信号的值在步行判断周期内超过预定阈值预定次数，则判断为拍摄者处于步行状态，并且如果计数次数等于或小于预定次数，则判断为拍摄者处于停止状态。如果步骤S303中的处理结束，则处理进行到步骤S304中的处理。

在步骤S304中，判断此次在步骤S303中获得的步行判断结果是否指示步行状态。在步骤S303中获得的步行判断结果指示步行状态的情况下(步骤S304中的“是”)，处理进行到步骤S305。在步骤S305中，将保持状态设置为“步行状态”。另一方面，在步骤S303中获得的步行判断结果指示停止状态的情况下(即，拍摄者不处于步行状态)(步骤S304中的“否”)，处理进行到步骤S311。

在步骤S311中，判断当前是否正在进行平摇。由于可以使用已知技术来进行是否进行平摇的判断(平摇判断)，因此将省略其详细描述。也可以使用照相机侧抖动检测单元134的输出或运动矢量来进行平摇判断。在拍摄者正在进行平摇的情况下(步骤S311中的“是”)，处理进行到步骤S312。在步骤S312中，将保持状态设置为“平摇状态”。另一方面，在步骤S311中判断为拍摄者当前没有正在进行平摇的情况下(步骤S311中的“否”)，处理进行到步骤S313。在步骤S313中，将保持状态设置为拍摄者正在牢固地保持摄像设备的状态(“就绪状态”)。

接下来，描述将返回到步骤S307。如上所述，在步骤S302中判断为尚未经过步行判断时间的情况下(步骤S302中的“否”)，处理进行到步骤S307。在步骤S307中，参考在步骤S314中存储的先前判断结果，判断保持状态是否指示步行状态。在步骤S314中存储的先前判断结果指示步行状态的情况下(步骤S307中的“是”)，该流程结束。在步骤S314中存储的先前判断结果不指示步行状态的情况下(步骤S307中的“否”)，处理进行到步骤S308。

在步骤S308中，判断当前是否正在进行平摇。步骤S308中的判断方法可以与步骤S311中的判断方法相同，或者可以与步骤S311中的判断方法不同。如上所述，因为平摇判断是已知技术，所以将省略其详细描述。在拍摄者正在进行平摇的情况下(步骤S308中的“是”)，处理进行到步骤S309。在步骤S309中，将保持状态设置为“平摇状态”。另一方面，在步骤S308中判断为拍摄者当前没有正在进行平摇的情况下(步骤S308中的“否”)，处理进行到步骤S310。在步骤S310中，将保持状态设置为“就绪状态”。

如果在步骤S305、S312、S313、S309或S310的处理中设置了保持状态，则处理进行到步骤S306的处理。

在步骤S306中，根据保持状态来设置追踪区域。在本示例性实施例中，与保持状态被判断为就绪状态(摄像设备被牢固地保持)的情况相比，在保持状态被判断为步行状态或平摇状态的情况下，通过缩窄死区来缩短追踪区域和目标位置之间的距离。将参照图5A和图5B描述该处理。

图5A示出在拍摄者在保持摄像设备的同时保持静止并且保持状态被判断为“就绪状态”的情况下设置的死区和追踪区域的示例。图5B示出在拍摄者在保持摄像设备的同时正在步行并且保持状态被判断为“步行状态”的情况下或者在拍摄者正在对摄像设备进行平摇或俯仰并且保持状态被判断为“平摇状态”的情况下设置的死区和追踪区域的示例。在图5A和图5B中，区域502和505是追踪区域，并且区域503和506是死区。在本示例性实施例中，因为可追踪区域的上限值不依赖于保持状态，所以在图5A和图5B中，区域502的长度Xa和区域505的长度Xb相等，并且区域502的长度Ya和区域505的长度Yb相等。长度Xa和Xb指示可追踪区域在横向上的上限值，并且长度Ya和Yb指示可追踪区域在纵向上的上限值。

在图5A和图5B中，区域501和504是超过可追踪区域的上限值的区域。在被摄体存在于这些区域中的情况下，拍摄图像中的被摄体位置不能与目标位置一致。在被摄体存在于区域501和504中的情况下，可以以使被摄体位置更接近目标位置的方式进行追踪，但是为了在被摄体进入被摄体追踪区域(区域502或505)时确实执行追踪，区域501和504可以被设置为死区。在本示例性实施例中，将假设区域501和504被设置为死区来给出描述。在可以将大范围设置为可用于追踪的范围的情况下，即，在通过几何变形进行追踪时存在许多剩余像素的情况下，周边部分的区域可被消除或缩窄。

图5C示出图5A所示的情况下的追踪量，并且图5D示出图5B所示的情况下的追踪量。

在本示例性实施例中，由于被摄体目标位置被设置在摄像范围的中心处，因此死区设置在摄像范围的中心部分以及超过可追踪区域的上限值的周边部分。设置在中心部分的死区(第一区域：区域503或506)是用于防止响应性地执行被摄体追踪的区域。

在主被摄体存在于该区域的情况下，如图5C和图5D所示，追踪量被设置为0。

追踪区域(第二区域：区域502或505)设置在该死区的外侧。在主被摄体存在于该区域中的情况下，随着目标位置和主被摄体位置之间的差变大，追踪量也变大。

如图5A所示，当拍摄者处于就绪状态时，将较宽的尺寸设置为以包括目标位置的方式布置的中心附近的作为死区的区域503的尺寸。利用该配置，可以避免响应性地对追踪目标被摄体的微小运动作出响应。为了响应该微小运动，可以避免消耗要用于追踪的可移动范围(在本示例性实施例的情况下为长度Xa和Ya所定义的宽度中的剩余像素)。另一方面，通过在远离目标位置的区域503的外侧的位置处设置作为追踪区域的区域502，可以对可能引起追踪目标被摄体出现帧失调的大运动执行被摄体追踪。

与此相对，当拍摄者正在步行或进行平摇时，如图5B所示，将较小的尺寸设置为以包括目标位置的方式布置的中心附近的作为死区的区域506的尺寸。利用该配置，将作为追踪区域的区域505设置为接近目标位置，并且从目标位置的周边起执行被摄体追踪。当拍摄者正在步行时，拍摄者不能集中精力成帧。在这种情况下，以前述方式控制从目标位置的附近起进行被摄体追踪，以便稳定地将被摄体图像带入摄像范围。尤其是当拍摄者正在进行平摇时，难以将被摄体稳定地保留在摄像范围内的相同位置处。这是因为，在摄像目标的运动速度和拍摄者的平摇速度之间容易生成差。在本示例性实施例中，与在拍摄者处于就绪状态的情况下相比，在拍摄者处于平摇状态的情况下，用更小的死区进行被摄体追踪，使得可以校正由于速度差而生成的被摄体位置的偏移。这使被摄体图像稳定。

在本示例性实施例中，就绪状态、步行状态和平摇状态已经被描述为保持状态，但是保持状态不限于这些。例如，本示例性实施对于使用万向节稳定器来保持摄像设备的情况也是有效的。因为万向节稳定器对添加到摄像设备的所有角速度分量进行校正，所以即使拍摄者试图通过与被摄体的运动同步地进行平摇或俯仰来执行成帧，也不会反映平摇或俯仰，并且成帧是困难的。为了解决该问题，与在没有检测到万向节稳定器的情况下相比，当检测到万向节稳定器的附接时，如图5B所示，设置更小的死区，以便使追踪区域更接近被摄体目标位置，使得即使在被摄体图像中存在运动也可以稳定地执行成帧。在这种情况下，因为添加到摄像设备的抖动(手抖动)基本上由万向节稳定器来校正，所以摄像设备可以使用整个照相机抖动校正机构以用于被摄体追踪。可以基于摄像设备中所包括的抖动检测单元(照相机侧抖动检测单元134)所获得的检测结果来判断万向节稳定器的附接(万向节模式判断)，或者可以由拍摄者经由操作单元114来设置万向节稳定器的附接。在基于抖动检测单元所获得的检测结果判断万向节稳定器的附接并且抖动信号具有比预定值小的值的状态持续预定时间或多于预定时间的情况下(在抖动几乎没有增加的状态持续的情况下)，可以判断为万向节稳定器附接到摄像设备。另外，还可以通过使用除抖动检测单元的角速度传感器之外的加速度传感器并监视这两个传感器的输出来判断万向节稳定器的附接状态。例如，当拍摄者在万向稳定器被附接到摄像设备的情况下步行的同时拍摄图像时，虽然角速度输出变小，但是生成预定量的加速度输出。利用该特征，可以检测万向节稳定器的附接状态。

如果在步骤S306中设置了追踪区域，则处理进行到步骤S314。在步骤S314中，以可以在下次要进行的步骤S307中的处理中参考保持状态的方式存储这次获得的判断结果，并且该流程结束。

如本示例性实施例那样，通过使用抖动检测单元来判断摄像设备保持状态，并基于判断结果来设置被摄体追踪区域的位置，可减少由于追踪量计算的处理期间的延迟时间引起的并且可能在拍摄者处于就绪状态时特别突出的动画中的不自然性。

此外，当拍摄者正在步行或进行平摇且被摄体位置容易偏离目标位置时，可有效进行被摄体追踪。因此，可以提供使得被摄体看起来自然的具有良好被摄体追踪性能的摄像设备。

在第二示例性实施例中，将给出检测拍摄者对摄像设备进行的操作并根据该操作来改变被摄体追踪区域的配置的描述。本示例性实施例与图6所示的表中的编号(1)相对应。

在下文中，将描述根据本示例性实施例的摄像设备。

因为根据本示例性实施例的摄像设备的配置与已经参照图1和图2描述的第一示例性实施例中的配置类似，所以将省略其详细描述，并且将描述与第一示例性实施例不同的点。同样在本示例性实施例中，为了简单起见，假设将摄像范围的中心设置为被摄体目标位置。

在本示例性实施例中，判断单元1422用作获取用于指示拍摄者经由操作单元114进行的拍摄者的操作的信号并判断操作的内容的操作检测单元。然后，追踪区域确定单元1421基于判断单元1422所获得的判断结果来确定被摄体追踪区域。

拍摄者经由操作单元114要进行的操作示例包括请求开始动画记录的操作(动画记录开始按钮的按下等)以及请求停止动画记录的操作(动画记录开始按钮的重新按下等)。在请求开始动画记录的操作被输入之前，如图5A所示，设置大尺寸的死区(第一区域)，并且追踪区域(第二区域)被设置在远离被摄体目标位置的位置处。如果判断单元1422判断为已经接收到请求开始动画记录的操作的输入，则判断结果被输入到追踪区域确定单元1421，并且如图5B所示，已经接收到判断结果的输入的追踪区域确定单元1421使追踪区域比图5A所示的追踪区域更接近被摄体目标位置。如果判断单元1422判断为已经接收到请求停止动画记录的操作的输入，则判断结果被输入到追踪区域确定单元1421，并且已经接收到判断结果的输入的追踪区域确定单元1421将死区和被摄体追踪区域的位置返回到图5A所示的状态。以这种方式，通过基于请求开始和停止动画记录的操作来设置被摄体追踪区域，可以节省可用于被摄体追踪的可移动范围的使用率，使得拍摄者可以在开始动画记录之前专注于成帧。也就是说，可以降低在动画记录之前可用于被摄体追踪的可移动范围用完的概率。

在本示例性实施例中，已经给出了基于请求开始和停止动画记录的操作来改变被摄体追踪区域的配置的描述，然而，可以基于除这些操作之外的操作来改变追踪区域。例如，在使用摄像设备进行实时广播或实时流式传播的情况下，如果接收到开始广播或流式传播的操作，则可以使死区小于在摄像设备处于待机状态的情况下设置的死区，并且可以使追踪区域更接近目标位置。在这种情况下，基于请求开始和停止广播或流式传播的操作来改变追踪区域。与在摄像设备被指定为处于待机状态的摄像设备的情况下相比，在使用多个摄像设备进行动画的实时广播或实时流式传播并且摄像设备被指定为用于拍摄要在流式传播时广播或分发的图像的摄像设备的情况下，可以设置更小的死区。在这种情况下，基于摄像设备的切换操作来设置追踪区域就足够了。

此外，可根据调焦设置是手动调焦还是自动调焦来改变追踪区域。当调焦设置是手动调焦时，因为图像可能由于被摄体的运动而失焦并且被摄体检测信息的精度可能相应下降，所以通过扩大死区来防止错误追踪。另一方面，在调焦设置是自动调焦设置的情况下，被摄体可以被聚焦，并且被摄体检测信息的精度高。因此，将死区设置为小于手动调焦设置中所设置的死区，可追踪范围被扩大。例如，在设置了用于进行裁切动画中的图像的处理的模式的情况下，可以减少死区的尺寸，并且可以使追踪区域接近目标位置。这是因为被摄体可能会由于裁切而出现帧失调。

追踪区域确定单元1421可以如第一示例性实施例那样基于保持状态来确定追踪区域，并进一步基于拍摄者所进行的操作来确定追踪区域。例如，与在保持状态是牢固地保持状态(就绪状态)的情况下或者在保持状态是步行状态或平摇状态并且摄像设备处于动画记录状态的情况下相比，在保持状态是步行状态或平摇状态并且摄像设备不处于动画记录状态的情况下，可以设置更大的死区。在保持状态是步行状态或平摇状态并且摄像设备不处于动画记录状态的情况下，可以设置大的死区。在保持状态是牢固地保持状态(就绪状态)的情况下，可以设置小的死区。在保持状态是步行状态或平摇状态并且摄像设备处于动画记录状态的情况下，可以将死区的尺寸设置为大的死区和小的死区之间的中间尺寸。

在第三示例性实施例中，将给出基于被摄体检测所获得的被摄体信息来设置追踪区域的配置的描述。本示例性实施例与图6所示的表中的编号(2)、(3)和(4)相对应。

在下文中，将描述根据本示例性实施例的摄像设备。

因为根据本示例性实施例的摄像设备的配置与已经参照图1和图2描述的第一示例性实施例中的配置类似，所以将省略其详细描述，并且将描述与第一示例性实施例不同的点。同样在本示例性实施例中，为了简单起见，假设将摄像范围的中心设置为被摄体目标位置。

在本示例性实施例中，追踪区域确定单元1421从被摄体检测单元141获取所检测到的主被摄体的被摄体信息，并基于该被摄体信息来确定追踪区域。被摄体信息的示例包括主被摄体的面部尺寸、主被摄体的移动速度和主被摄体的被摄体类型(例如，用于指示主被摄体是人还是除人之外的对象的信息)。

将描述基于主被摄体的尺寸来确定追踪区域的示例。图7A和图7B是示出主被摄体的尺寸和追踪区域的图像图。区域702和705是追踪区域(第二区域)，并且区域703和706是死区(第一区域)。区域701和704是超过可追踪区域的上限值的区域，并且是与第一示例性实施例类似的死区。图7A示出主被摄体的尺寸小于预定尺寸的情况，并且图7B示出主被摄体的尺寸等于或大于预定尺寸的情况。

如图7A所示，在待追踪被摄体的区域尺寸小的情况下，因为主被摄体的运动在图像(记录期间的记录图像或实时取景期间的显示图像)中表现得小，所以认为主被摄体不太可能出现帧失调并且拍摄者可以容易地执行成帧。因此，主要执行由拍摄者进行的成帧，并且在无需追踪主被摄体的细微运动的情况下，当主被摄体将要出现帧失调时执行被摄体追踪。因此，在与目标位置相对应的图像的中心周围设置作为死区的大尺寸区域703，并且在远离目标位置的位置处布置作为追踪区域的区域702。

另一方面，如图7B所示，在待追踪被摄体的区域尺寸大的情况下，因为主被摄体的运动在图像中表现得大，所以认为即使拍摄者正在执行成帧、主被摄体也极有可能出现帧失调。因此，通过使与目标位置相对应的图像的中心周围的作为死区的区域706小于区域703并且将作为追踪区域的区域705布置为比区域702更接近目标位置，来对可能引起主被摄体出现帧失调的主被摄体的运动响应性地执行被摄体追踪。

可以从主被摄体的位置信息的变化量计算移动速度，并可基于该移动速度来确定追踪区域。容易预测的是，如果被摄体的移动速度大，则被摄体很可能出现帧失调。因此，当主被摄体的移动速度小于预定速度时，如图7A所示，在与目标位置相对应的图像的中心周围设置大的死区，并且当主被摄体的移动速度等于或大于预定速度时，设置小的死区。

将描述基于主被摄体类型来确定追踪区域的情况。例如，基于用于指示主被摄体是人、动物还是其他对象的信息来确定追踪区域。特别是，由于假设动物以很快的速度移动并做出意想不到的动作，所以拍摄者难以快速响应并跟上动物的动作，并且主被摄体很可能出现帧失调。因此，如图7B所示，在与目标位置相对应的图像的中心周围设置小的死区，并且对追踪目标的运动响应性地执行被摄体追踪。在运载工具是可识别的情况下，因为运载工具通常以很快的速度移动，所以认为拍摄者可能不会快速响应和跟上运载工具的运动，并且运载工具很可能出现帧失调。因此，类似地设置小的死区。基于被摄体类型的追踪区域确定方法不限于此。例如，假设因为运载工具行驶在预定路线上所以拍摄者可以相当容易地对运载工具执行成帧，则可以如图7A所示设置大的死区。另外，在可以判断出运载工具的类型(火车、汽车、飞行器等)的情况下，可以针对诸如火车或飞行器等的路线为预定的运载工具设置大的死区，并且可以针对诸如汽车和摩托车等的路线可能不确定的运载工具设置比火车和飞行器的死区更小的死区。可替代地，结合个人认证功能，可以基于追踪目标是儿童还是成人来确定追踪区域。例如，假设儿童与成人相比做出意想不到的动作，与在追踪目标被摄体是成人的情况下相比，在追踪目标被摄体是儿童的情况下，可以设置更小的死区。可替代地，在一个实施例中，可以仅获取用于指示被摄体是人还是除人之外的对象的信息作为被摄体类型，并且与在主被摄体是除人之外的对象的情况下相比，在主被摄体是人的情况下，可以设置更大的死区，并且可以在更远的位置处设置追踪区域。

如上所述，通过根据从被摄体检测单元141获取的被摄体信息来确定追踪区域，可降低主被摄体出现帧失调的概率并提供被摄体图像稳定的运动图像。

在本示例性实施例中，已经给出了基于被摄体尺寸、被摄体速度和被摄体类型来改变追踪区域的配置的描述；然而，可以基于其他类型的被摄体信息来确定追踪区域。

在第四示例性实施例中，将给出根据目标位置来确定追踪区域的配置的描述。本示例性实施例与图6所示的表中的编号(5)相对应。

在下文中，将描述根据本示例性实施例的摄像设备。

因为根据本示例性实施例的摄像设备的配置与已经参照图1和图2描述的第一示例性实施例中的配置类似，所以将省略其详细描述，并且将描述与第一示例性实施例不同的点。在本示例性实施例中，将由拍摄者指定的任意坐标设置为目标位置，并且基于该目标位置来进行被摄体追踪控制。拍摄者经由操作单元114预先设置任意坐标。被摄体追踪计算单元142将由拍摄者指定的坐标发送到被摄体目标位置设置单元1424，并且被摄体目标位置设置单元1424将该坐标设置为目标位置。

追踪区域确定单元1421基于由被摄体目标位置设置单元1424设置的目标位置来确定追踪区域。将参照图8A和图8B描述该处理。

图8A和图8B是示出目标位置和追踪区域之间的关系的示例的图。区域802和805是追踪区域(第二区域)，并且区域803和区域806是死区(第一区域)。

区域801和804是超过可追踪区域的上限值的区域。图8A示出在目标位置被设置在图像的中心处的情况下确定的追踪区域。与此相对，图8B示出在目标位置被设置在远离图像的中心的位置处的情况下确定的追踪区域。

在本示例性实施例中，随着主被摄体的目标位置变得越远离图像的中心(即，随着目标位置处的图像高度变得越高)，死区变得越小，并且从目标位置到追踪区域的距离变得越短。这是因为，当被摄体以预定速度移动时，与在存在于图像的中心处的被摄体移动的情况下相比，在存在于图像角落处的被摄体移动的情况下，成帧的难度更高。与其他情况相比，在被摄体存在于图像角落处并且很可能出现帧失调的情况下，以对被摄体的运动的更高的响应性来进行被摄体追踪，使得辅助拍摄者进行成帧。利用该配置，可以降低追踪目标被摄体出现帧失调的概率，并且提供追踪目标被摄体图像稳定的运动图像。代替随着主被摄体的目标位置变得越远离图像的中心而缩窄死区，可以采用如下配置：在主被摄体的目标位置和图像的中心之间的距离超过阈值的情况下缩窄死区。可以设置多个阈值。在一个实施例中，死区的尺寸随着目标位置处的图像高度变大而简单地减小，但是尺寸的减小可以是连续的或不连续的。

以这种方式，在第一示例性实施例、第三示例性实施例和第四示例性实施例中，与在假设成帧难度不高的摄像条件下相比，在假设成帧难度高的摄像条件下，死区(第一区域)变小并且追踪区域(第二区域)被设置为更接近目标位置。追踪区域接近目标位置的状态是指追踪区域和目标位置之间的距离短的状态。

迄今为止，已经描述了本公开的示例性实施例，尽管本公开不限于这些示例性实施例，并且可以在不脱离本公开的主旨的情况下进行各种修改和改变。

(变形例)

在第一示例性实施例至第四示例性实施例中，描述了可更换镜头摄像设备；然而，各个示例性实施例还可以应用于镜头集成摄像设备，并且还可以应用于诸如智能电话等的具有除摄像功能之外的各种功能的设备。

在第一示例性实施例至第四示例性实施例中，已经给出了如下配置的描述：镜头设备2和照相机主体1各自包括光学照相机抖动校正机构并且照相机主体1还包括电子照相机抖动校正机构。然而，配置不限于此。包括镜头侧光学照相机抖动校正机构、照相机侧光学照相机抖动校正机构以及照相机侧电子照相机抖动校正机构中的任何一个或多于一个校正机构就足够了。在包括两个校正机构的情况下，校正机构的组合不受具体限制。

例如，在镜头设备2和照相机主体1都不包括光学照相机抖动校正机构且照相机抖动校正和被摄体追踪由电子照相机抖动校正机构进行的情况下，可基于通过将抖动校正量计算单元1332和追踪量计算单元1423的输出相加而获得的值来移动摄像范围。此时，目标频率可以在作为抖动校正量计算单元1332的输出的照相机抖动校正量以及作为追踪量计算单元1423的输出的被摄体追踪量之间变化。例如，可以将所检测到的抖动量中的基于具有预定频率或更高频率的抖动信号计算出的抖动校正量以及与目标位置的差中的基于具有比预定频率小的频率的信号计算出的追踪量相加，并且可以基于获得的结果来控制电子照相机抖动校正机构。

用于移动被摄体追踪所用的摄像范围的照相机抖动校正机构不限于电子照相机抖动校正机构，并且摄像范围可通过镜头侧或照相机侧光学照相机抖动校正机构来移动，或可通过多个照相机抖动校正机构来移动。

在第一示例性实施例至第四示例性实施例中，已经描述了进行照相机抖动校正和被摄体追踪的配置，但是可以采用在无需进行照相机抖动校正的情况下进行被摄体追踪的配置。

在第一示例性实施例至第四示例性实施例中，摄像设备进行一系列被摄体追踪处理，该一系列被摄体追踪处理包括被摄体追踪区域的设置、追踪量的计算、以及通过向照相机抖动校正机构(图像处理电路109)输出追踪量而执行的被摄体追踪控制，但本公开不限于此。例如，可以由用于从外部控制摄像设备的摄像设备的控制设备进行一系列被摄体追踪控制处理，或者可以由摄像设备和控制设备或者多个控制设备以分担的方式进行被摄体追踪处理。控制设备可以是云，并且可以从云控制摄像设备。在控制设备进行一系列被摄体追踪控制处理的情况下，控制设备可以从摄像设备获取拍摄图像，并进行被摄体检测以获取被摄体信息，或者摄像设备可以通过获取由摄像设备进行的被摄体检测的结果来获取被摄体信息。

在第一示例性实施例至第四示例性实施例中，假设实时进行被摄体追踪，但可通过对已经被拍摄并被主要记录的动画进行图像处理(裁剪位置变化等)来执行被摄体追踪。

在第一示例性实施例至第四示例性实施例中，对运动图像拍摄进行了描述，但可以针对实时取景图像或静止图像的连续摄像获得类似的效果。在实时取景图像的情况下，要被显示为实时取景图像的图像的范围可以被视为上述示例性实施例中所描述的摄像范围。

在第一示例性实施例至第四示例性实施例中，追踪区域确定单元1421设置死区(第一区域)和追踪区域(第二区域)。可替代地，可以将被摄体追踪的进行程度低的区域设置为第一区域来代替死区。被摄体追踪的进行程度指示了当目标位置和被摄体的当前位置之间的差被假设为1时使被摄体的位置接近目标位置的程度。在死区中，该程度是0。如果在第一区域中被摄体追踪的进行程度低于在第二区域中被摄体追踪的进行程度，则可以获得与上述示例性实施例的效果类似的效果。

其他实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然已经参照示例性实施例描述了本公开，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求书的范围符合最广泛的解释，以涵盖所有这样的修改和等同的结构和功能。

Claims (20)

1.一种控制设备，包括：

一个或多于一个处理器；以及

存储器，其耦合到所述一个或多于一个处理器，所述存储器存储有指令，所述指令在被所述一个或多于一个处理器执行时，使得所述一个或多于一个处理器用作：

获取单元，其被配置为获取与从拍摄图像中检测到的被摄体相关的信息；

计算单元，其被配置为基于目标位置和所述拍摄图像中的被摄体的位置来计算追踪量；

控制单元，其被配置为基于所述追踪量来控制被摄体追踪，以使所述拍摄图像中的被摄体的位置接近所述目标位置；以及

设置单元，其被配置为基于用于拍摄所述拍摄图像的摄像设备的保持状态、拍摄者对所述摄像设备进行的操作的检测结果、所述目标位置在所述拍摄图像中的位置、以及被摄体类型中的至少任一个来设置第一区域和第二区域，

其中，与在所述第二区域中相比，在所述第一区域中，所述被摄体追踪的进行程度更低。

2.根据权利要求1所述的控制设备，其中，如果所述第一区域的尺寸改变，则所述第二区域的位置改变。

3.根据权利要求1所述的控制设备，其中，所述设置单元基于所述摄像设备的保持状态来设置所述第一区域和所述第二区域。

4.根据权利要求3所述的控制设备，

其中，一个或多于一个处理器还用作：

判断单元，其被配置为基于被配置为检测被添加到所述摄像设备的运动的检测单元所获得的检测结果来判断拍摄者的拍摄手法，以及

其中，所述保持状态是所述拍摄手法的判断结果。

5.根据权利要求1所述的控制设备，

其中，所述保持状态是基于被配置为检测被添加到所述摄像设备的运动的检测单元所获得的检测结果来判断的，以及

其中，与在所述检测单元所检测到的抖动的大小等于或小于阈值的情况相比，在所述大小超过所述阈值的情况下，所述设置单元使所述第一区域的尺寸更小。

6.根据权利要求5所述的控制设备，

其中，与在所述检测单元所检测到的抖动的大小超过所述阈值的次数大于预定次数的情况相比，在所述大小超过所述阈值的次数等于或小于所述预定次数的情况下，所述设置单元将所述第二区域设置在更远离所述目标位置的位置处。

7.根据权利要求5所述的控制设备，

其中，与在所述检测单元所检测到的抖动的大小超过所述阈值的次数大于预定次数的情况相比，在所述大小超过所述阈值的次数等于或小于所述预定次数的情况下，所述设置单元将所述第一区域设置为具有更大的尺寸。

8.根据权利要求3所述的控制设备，

其中，所述保持状态是用于指示万向节是否附接到所述摄像设备的判断结果，以及

其中，与在所述判断结果指示所述万向节未附接到所述摄像设备的情况相比，在所述判断结果指示所述万向节附接到所述摄像设备的情况下，所述设置单元将所述第二区域设置在更接近所述目标位置的位置处。

9.根据权利要求3所述的控制设备，

其中，所述保持状态是用于指示万向节是否附接到所述摄像设备的判断结果，以及

其中，与在所述判断结果指示所述万向节未附接到所述摄像设备的情况相比，在所述判断结果指示所述万向节附接到所述摄像设备的情况下，所述设置单元将所述第一区域设置为具有更小的尺寸。

10.根据权利要求1所述的控制设备，其中，所述设置单元基于拍摄者对所述摄像设备进行的操作的检测结果来设置所述第一区域和所述第二区域。

11.根据权利要求10所述的控制设备，

其中，操作检测单元检测由拍摄者对所述摄像设备所进行的开始动画记录的操作和结束动画记录的操作，以及

其中，与在动画没有正被记录的情况相比，在动画记录期间，所述设置单元将所述第二区域设置在更接近所述目标位置的位置处。

12.根据权利要求1所述的控制设备，其中，所述设置单元基于所述目标位置和所述拍摄图像的中心之间的距离来设置所述第一区域和所述第二区域。

13.根据权利要求12所述的控制设备，其中，与在所述距离是第一值的情况相比，在所述距离是比所述第一值更大的第二值的情况下，所述设置单元将所述第二区域设置在更接近所述目标位置的位置处。

14.根据权利要求1所述的控制设备，其中，所述设置单元基于被摄体类型来设置所述第一区域和所述第二区域。

15.根据权利要求14所述的控制设备，其中，与在所述被摄体类型是除人之外的对象的情况相比，在所述被摄体类型是人的情况下，所述设置单元将所述第二区域设置在更远离所述目标位置的位置处。

16.根据权利要求1至15中任一项所述的控制设备，其中，所述第一区域是所述被摄体追踪的死区。

17.根据权利要求1至15中任一项所述的控制设备，其中，所述第一区域被设置为比所述第二区域更接近所述目标位置。

18.根据权利要求17所述的控制设备，其中，所述第一区域设置在所述第二区域的内侧。

19.一种摄像设备，包括：

根据权利要求1至18中任一项所述的控制设备，

传感器，其被配置为拍摄所述拍摄图像；以及

追踪单元，其被配置为根据所述控制单元所执行的控制来进行被摄体追踪，以使所述拍摄图像中的被摄体的位置接近所述目标位置。

20.一种控制方法，包括：

获取与从拍摄图像中检测到的被摄体相关的信息；

基于目标位置和所述拍摄图像中的被摄体的位置来计算追踪量；

基于所述追踪量来控制被摄体追踪，以使所述拍摄图像中的被摄体的位置接近所述目标位置；以及

基于用于拍摄所述拍摄图像的摄像设备的保持状态、拍摄者对所述摄像设备进行的操作的检测结果、所述目标位置在所述拍摄图像中的位置、以及被摄体类型中的至少任一个来设置第一区域和第二区域，

其中，与在所述第二区域中相比，在所述第一区域中，所述被摄体追踪的进行程度更低。