CN109714525A - 摄像装置、系统、摄像装置的控制方法和存储介质 - Google Patents

Abstract

本发明提供一种摄像装置、系统、摄像装置的控制方法和存储介质。根据本实施例的第一摄像单元获取广角图像。根据本实施例的第二摄像单元拍摄第一摄像单元的拍摄范围的一部分，并且包括能够改变拍摄方向的驱动机构。控制单元基于第二摄像单元拍摄的详细图像中所包括的信息和第二摄像单元的状态至少之一来控制获取广角图像的频率。

Description

摄像装置、系统、摄像装置的控制方法和存储介质

技术领域

本发明涉及一种用于监视照相机等的技术。

背景技术

近年来，已经提出了一种具有不同类型的多个照相机并且通过使这些照相机彼此协作来实现新功能的摄像装置。例如，日本特开2007-116666公开了如下的摄像装置，该摄像装置具备具有相对宽视角的广角照相机和具有相对窄视角的远摄照相机(telephotocamera)，并且实现了通过使用广角照相机来检测移动物体并通过使用远摄照相机来追踪检测到的移动物体的功能。

在通过使用日本特开2007-116666中公开的摄像装置来追踪移动物体的情况下，例如，在诸如振动等的干扰施加到远摄照相机的情况下或者在移动物体的速度急剧变化的情况下，远摄照相机很可能会看不到移动物体。因此，日本特开2007-116666公开了一种在远摄照相机看不到移动物体的情况下通过使用广角照相机来再次检测移动物体的方法。

然而，在广角照相机的图像的更新频率与远摄照相机相比更低(更新的时间间隔更长)的情况下，例如，广角照相机再次检测到错过的移动物体的定时相对于从远摄照相机看不到移动物体的定时发生延迟。结果，在再次检测到错过的被摄体之前不能进行追踪操作，因此追踪精度降低。

发明内容

根据本发明的摄像装置，包括：第一摄像单元，用于获取广角图像；第二摄像单元，用于拍摄所述第一摄像单元的拍摄范围的一部分，并且包括能够改变拍摄方向的驱动机构；以及控制单元，用于基于所述第二摄像单元拍摄的图像中所包括的信息和所述第二摄像单元的状态至少之一来控制获取所述广角图像的频率。

根据本发明的一种系统，包括：所述摄像装置；以及经由网络连接到所述摄像装置的客户端装置。

根据本发明的摄像装置的控制方法，所述控制方法包括：第一获取步骤，用于通过第一摄像单元获取广角图像；第二获取步骤，用于拍摄所述第一摄像单元的拍摄范围的一部分，并通过包括能够改变拍摄方向的驱动机构的第二摄像单元来获取图像；以及控制步骤，用于基于所述第二摄像单元拍摄的图像中所包括的信息和所述第二摄像单元的状态至少之一来控制获取所述广角图像的频率。

根据本发明的非暂时性存储介质，其包括使具有以下单元的摄像装置中所包括的计算机用作所述摄像装置的控制单元的程序：第一摄像单元，用于拍摄广角图像，以及第二摄像单元，用于拍摄所述第一摄像单元的拍摄范围的一部分，并且包括能够改变拍摄方向的驱动机构。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1A和图1B是示出第一实施例的摄像装置的示意性外观和内部结构示例的图。

图2是第一实施例的摄像装置的功能框图。

图3是示出第一实施例的摄像装置的追踪操作的流程图。

图4是示出用于获取追踪操作的中断概率的对应表的图。

图5A和图5B是示出固态摄像器件的减少模式和相加模式的图。

图6A和图6B是宽视角图像生成的时序图。

图7A和图7B是示出广角图像的中心与驱动机构的中心的位置关系的图。

图8是示出第二实施例的摄像装置的一般结构的图。

图9是示出实施例的摄像装置的硬件结构示例的图。

图10是示出实施例的客户端装置的硬件结构示例的图。

图11是示出比较例的摄像装置的追踪操作的流程图。

具体实施方式

现在将根据附图来详细描述本发明的优选实施例。

第一实施例的一般结构

图1A、图1B和图2是示出根据本实施例的摄像装置的一般结构的图。注意，在以下各附图中，与图1A、图1B和图2的各组件相同的功能或相对应的部分用相同的附图标记来标记，并且将省略其重复描述。

图1A和图1B是示出本实施例的摄像装置的一般结构示例的图。图1A是当沿倾斜方向观看时摄像装置100的立体图，以及图1B是当从上侧(从+Z轴方向)观看时摄像装置100的结构图。此外，图2是示出本实施例的摄像装置的内部结构的功能框图。

摄像装置100具有第一摄像单元110和第二摄像单元120，其中第一摄像单元110用于获取拍摄具有宽视角的拍摄范围的摄像信号(称为广角图像101)，以及第二摄像单元120用于获取拍摄第一摄像单元110的拍摄范围的一部分的摄像信号(称为详细图像102)。此外，摄像装置100具有用于控制第一摄像单元110和第二摄像单元120的操作的控制单元130以及将广角图像101和详细图像102传送到外部的传送单元140等。

传送单元140经由有线或无线网络连接到外部客户端装置，并且适于能够通过使用开关选择广角图像101或详细图像102来将广角图像101和详细图像102顺次传送到同一网络。外部客户端装置经由网络将用于控制摄像装置100的命令发送到摄像装置100。摄像装置100通过传送单元140接收命令，并将对该命令的响应发送到客户端装置。客户端装置是诸如个人计算机(PC)等的外部装置，并且网络包括有线LAN或无线LAN等。摄像装置100可以被配置为经由网络从外部供电。

第一摄像单元：多眼广角照相机

第一摄像单元110具有被布置成使得拍摄范围彼此部分重叠的多个摄像单元111a、111b、111c和111d。摄像装置100将由摄像单元111a至111d获取到的图像在合成处理单元114中进行合成以生成广角图像101。合成处理单元114在对由多个相邻摄像单元(诸如摄像单元111a和摄像单元111b等)获取到的图像的重叠部分进行移位的同时计算相关系数，并通过应用所谓的模式匹配技术来计算多个图像之间的偏移。然后，合成处理单元114根据偏移来调整多个图像的位置，合成位置调整后的多个图像以将这些图像彼此连接，由此生成广角图像101。

多个摄像单元111a至111d分别具有成像光学系统112a至112d和固态摄像器件113a至113d，并且通过经由成像光学系统分别在固态摄像器件上形成被摄体图像来获取图像。各个固态摄像器件113a至113d的驱动操作和从各个固态摄像器件113a至113d的信号读出操作由控制单元130控制。

第二摄像单元：单眼远摄照相机

第二摄像单元120包括单个摄像单元121，并且具有成像光学系统122、固态摄像器件123、可以改变拍摄方向的驱动机构124以及可以改变拍摄视角并调整焦点位置的变焦和调焦机构125。此外，摄像装置100具有用于从拍摄图像检测特定被摄体并获取与其有关的运动信息的信号处理单元126。信号处理单元126从第二摄像单元120获取到的详细图像102检测特定被摄体并获取与其有关的运动信息。注意，信号处理单元126还能够从广角图像101检测被摄体并获取运动信息。在第二摄像单元120中，以与第一摄像单元110相同的方式，固态摄像器件123的驱动操作和从固态摄像器件123的信号读出操作由控制单元130控制。

驱动机构124具有马达和齿轮，并且被配置成使得用于驱动马达的电力由控制单元130控制，由此摄像单元121可以围绕特定的转动轴转动。注意，驱动机构124可以被配置成使得多个马达设置成具有多个转动轴。变焦和调焦机构125同样具有马达和齿轮，并且通过在光轴方向上移动成像光学系统122的一些透镜来改变变焦比。此外，变焦和调焦机构125同样具有马达和齿轮，并且通过在光轴方向上移动成像光学系统122的一些透镜来改变拍摄视角和焦点位置。

信号处理单元126通过检测从第二摄像单元120顺次发送的详细图像102的多个帧的帧间的差来检测被摄体的运动矢量。然后，在摄像装置100中，通过使用由信号处理单元126检测到的特定被摄体的运动矢量控制第二摄像单元120的拍摄方向来进行特定被摄体的追踪。通过使用控制单元130控制驱动机构124来控制第二摄像单元120的拍摄方向。注意，信号处理单元126还能够通过检测来自合成处理单元114的广角图像101的多个帧的帧间的差来检测被摄体的运动矢量。注意，这里将作为追踪对象的被摄体是期望监视的被摄体，其通常可以是人或车辆等。

图像的更新频率的差异

如上所述，第一摄像单元110通过合成处理单元114对由多个摄像单元111a至111d获取到的图像进行合成来生成广角图像101。另一方面，第二摄像单元120在不进行合成处理的情况下获取由单个摄像单元121拍摄的图像作为详细图像102。因此，在从固态摄像器件113a至113d读出的信号的频率与从固态摄像器件123读出的信号的频率相同的情况下，由于合成处理需要的时间，因此广角图像101的更新频率低于详细图像102的更新频率。因此，在广角图像101的更新频率与详细图像102的更新频率相比更低(更新的时间间隔更长)时，在第二摄像单元120看不到移动的追踪对象的情况下，第一摄像单元110再次检测到追踪对象的定时可能延迟，从而导致追踪精度降低。

因此，如稍后所述，本实施例的摄像装置100可以通过控制由第一摄像单元110获取到的广角图像101的更新频率来抑制移动物体的追踪精度的降低。在详细描述本实施例的摄像装置100中的追踪操作之前，现在将描述日本特开2007-116666中公开的摄像装置(下文中称为比较例的摄像装置)中的追踪操作，以与本实施例的摄像装置100有关的追踪操作进行比较。图3是本实施例的摄像装置100的追踪操作的流程图，以及图11是日本特开2007-116666公开的比较例中的摄像装置的追踪操作的流程图。

比较例的摄像装置的流程图

首先，参考图11的流程图，将描述比较例的摄像装置的追踪操作。比较例的摄像装置被配置为通过使用广角照相机来获取广角图像，并且通过使用具有比广角照相机窄的视角的远摄照相机来获取详细图像。此外，比较例的摄像装置被配置为使用由广角照相机拍摄的广角图像来检测移动物体，并且还使用由远摄照相机拍摄的详细图像来追踪特定被摄体。

在比较例的摄像装置中，在图11的步骤S1001中，从广角图像中选择要作为追踪对象的被摄体。通过移动物体检测来自动设置要作为追踪对象的被摄体。接着，在步骤S1002中，比较例的摄像装置控制远摄照相机的拍摄方向，以使得能够通过使用远摄照相机拍摄要作为追踪对象的被摄体。具体地，基于广角照相机和远摄照相机的位置关系来选择从广角图像中选择的追踪对象的被摄体的方向，并且控制驱动机构使得远摄照相机的拍摄方向指向追踪对象的被摄体的方向。

随后，在步骤S1003中，比较例的摄像装置从详细图像获取与要作为追踪对象的被摄体有关的运动信息，顺次改变远摄照相机的拍摄方向以跟随被摄体的运动，由此持续对追踪对象的被摄体进行追踪。在下文中，这种追踪操作被称为自动追踪操作。在摄像装置中，在步骤S1003中的自动追踪操作期间诸如振动等的干扰施加到远摄照相机或者追踪对象的被摄体的运动急剧变化的情况下，追踪对象的被摄体可能移出远摄照相机的拍摄视角。结果，例如，在自动追踪操作被中断的情况下，比较例的摄像装置在步骤S1004中判断为自动追踪操作被中断，将处理转移回步骤S1001，并且使用广角照相机拍摄的广角图像来再次检测追踪对象的被摄体。比较例的摄像装置继续这种流程操作，直到用户输入用于停止自动追踪操作的指示为止。

比较例的摄像装置中的问题

如上所述，在使用远摄照相机的自动追踪操作被中断的情况下，比较例的摄像装置从由广角照相机获取到的广角图像中再次检测追踪对象的被摄体，以维持摄像装置整体的追踪精度。然而，使用该方案可能由于广角图像和详细图像的特定更新频率而使追踪精度降低。例如，在广角图像的更新频率与详细图像的更新频率相比更低(更新的时间间隔更长)的情况下，不一定能够获取到自动追踪操作中断时的广角图像。因此，在看不到追踪对象的被摄体之后并且在再次发现该被摄体之前可能发生一定的延迟时间。此外，在该延迟时间期间追踪对象的被摄体的运动急剧改变的情况下，将难以再次发现追踪对象的被摄体。这是因为在该延迟时间期间追踪对象的被摄体的位置的这种急剧变化使得难以检测到追踪对象的被摄体位于广角图像中的哪个位置。

与本实施例的摄像装置的比较

与此相对，本实施例的摄像装置100适于根据使用第二摄像单元120的自动追踪操作的中断概率来控制由第一摄像单元110获取到的广角图像101的更新频率。具体地，本实施例的摄像装置100基于第二摄像单元120获取到的详细图像102中包括的信息和第二摄像单元120的状态至少之一来计算自动追踪操作的中断概率。然后，与自动追踪操作的中断概率小于预定阈值的情况相比，在自动追踪操作的中断概率大于或等于预定阈值的情况下，摄像装置100将广角图像101的更新频率控制得更高(即，更新的时间间隔更短)。

这样的配置使得本实施例的摄像装置100能够缩短在自动追踪操作被中断并且看不到追踪对象的情况下再次检测到追踪对象所需的时间，结果，这有利于再次开始对追踪对象的追踪。也就是说，与比较例的摄像装置相比，本实施例的摄像装置100可以提高作为摄像装置整体的追踪精度。

本实施例的摄像装置的流程图

参考图3的流程图，下面将详细描述本实施例的摄像装置100中的追踪操作。注意，图3的流程图的处理可以由包括例如CPU的控制单元130执行根据本实施例的控制程序来实现。根据本实施例的控制程序可以预先准备在非易失性存储器(未示出)等中，或者可以经由网络或存储介质展开到存储器等。

在图3的步骤S101中，本实施例的摄像装置100从由第一摄像单元110获取并由合成处理单元114合成的广角图像101中选择(确定)作为追踪对象的被摄体。同样在本实施例中，以与上述相同的方式，通过移动物体检测来自动设置要作为追踪对象的被摄体。接着，在步骤S102中，控制单元130控制第二摄像单元120的拍摄方向和聚焦，使得可以由第二摄像单元120拍摄到追踪对象的被摄体。具体地，控制单元130基于第一摄像单元110和第二摄像单元120之间的位置关系来计算从广角图像101确定的追踪对象的被摄体的方向。然后，控制单元130控制驱动机构124，使得第二摄像单元120的拍摄方向指向追踪对象的被摄体的方向。此外，控制单元130控制变焦和调焦机构125，使得第二摄像单元120可以拍摄到聚焦在追踪对象的被摄体上的图像。

接着，在步骤S103中，控制单元130获取通过信号处理单元126从详细图像102计算的追踪对象的被摄体的运动信息，控制第二拍摄单元120的拍摄方向和聚焦，由此进行自动追踪操作。此外，此时，控制单元130基于由第二摄像单元120获取到的详细图像102中包括的信息和第二摄像单元120的状态至少之一来计算自动追踪操作的中断概率。

自动追踪操作的中断概率的获取处理

将通过使用图4来描述获取自动追踪操作的中断概率的示例。图4是示出第二摄像单元120的状态或由第二摄像单元120获取到的详细图像中包括的信息与自动追踪操作的中断概率之间的关系的表。如图4所示，第二摄像单元120的状态意味着例如视角，并且可以是广角状态(视角宽)或远摄状态(视角窄)。此外，由第二摄像单元120获取到的详细图像中包括的信息是表示例如详细图像中的追踪对象的被摄体的大小或运动速度的信息，并且可以是被摄体小或大的情况，或者被摄体的运动慢或快的情况。

这里认为在第二摄像单元120的拍摄视角越窄(越接近远摄侧)的情况下，追踪对象的被摄体移出第二摄像单元120的拍摄视角的概率越高。此外，认为在详细图像内追踪对象的被摄体的大小越大或者追踪对象的被摄体的运动速度越快的情况下，追踪对象的被摄体移出第二摄像单元120的拍摄视角的概率越高。然后，认为在追踪对象的被摄体移出第二摄像单元120的拍摄视角的概率越高的情况下，自动追踪操作的中断概率将是越高的值。如图4所示，本实施例的控制单元130基于第二摄像单元120的拍摄视角、详细图像内的追踪对象的被摄体的大小以及详细图像内的追踪对象的被摄体的速度的各个值与自动追踪操作的中断概率的对应表来计算自动追踪操作的中断概率。

在图3的步骤S103中，控制单元130通过使用如图4所示的对应表来获取自动追踪操作的中断概率，并基于概率值来控制广角图像101的更新频率。具体地，与自动追踪操作的中断概率小于预定阈值的情况相比，在自动追踪操作的中断概率大于或等于预定阈值的情况下，控制单元130将广角图像101的更新频率控制得更高(更新的时间间隔更短)。注意，预定阈值可以被设置为从0到1的任何值，并且可以由用户选择和设置。注意，在预定阈值被设置为1的情况下，控制单元130与自动追踪操作的中断的概率无关地不进行用于改变与广角图像有关的更新频率的控制。另一方面，在预定阈值被设置为0的情况下，控制单元130与自动追踪操作的中断概率无关地增加广角图像的更新频率。

通过减少/相加来改变更新频率的控制方法

作为用于改变广角图像101的更新频率的控制方案，例如，可以使用改变从固态摄像器件113a至113d读出信号的模式的方法。将通过使用图5A和图5B来描述其具体示例。图5A和图5B是示出在固态摄像器件的像素布置是所谓的RGB拜尔布置的情况下与R、G(Gr，Gb)和B的各个颜色相对应的像素的布置的图。尽管在图5A和图5B示出固态摄像器件在垂直方向上具有八个像素并且在水平方向上具有八个像素的示例以简化说明，但是实际像素数不限于该示例。

图5A的示例表示按垂直和水平的每两个像素读出像素信号的减少模式(reduction mode)。在减少模式中，仅读出在图5A中水平排列的两个像素和垂直排列的两个像素中以相同图案设置的R、G(Gr，Gb)和B四个像素的像素信号。结果，与读出所有像素的所有信号的全像素读出模式相比，在减少模式下读出的像素信号的数量减少到四分之一。图5B的示例表示通过将垂直排列的两个像素和水平排列的两个像素相加并平均来读出像素信号的相加模式(addition mode)。在相加模式中，将图5B中的R、G(Gr，Gb)和B的像素中以相同颜色且相同图案设置的四个像素的像素信号相加并平均来读出像素信号，由此输出单个像素信号。因此，同样在相加模式中，以与减少模式相同的方式，要读出的像素信号的数量相比全像素读出模式减少到四分之一。因此，与使用全像素模式相比，在使用减少模式或相加模式来读出来自固态摄像装置的信号的情况下，可以使广角图像101的更新频率更高(可以使更新的时间间隔更短)。注意，可以通过使用针对固态摄像器件113a至113d所设置的水平扫描电路或垂直扫描电路来选择要读出的像素，以实现减少模式或相加模式中的信号读出。

时序图

图6A和图6B是示出来自固态摄像器件113a至113d的信号读出的定时和合成处理单元114中的合成处理所需的持续时间的时序图。图6A示出在全像素读出模式中进行读出的情况，以及图6B示出通过减少模式或相加模式来减少要读出的信号的数量的情况。

在全像素读出模式的情况下，由于分别在固态摄像器件113a至113d中读出所有像素的信号，因此固态摄像器件113a至113d各自针对每一帧的信号读出时间是图6A的时间段T101a。此外，由于在合成处理单元114中进行使用从固态摄像器件113a至113d读出的所有像素的信号的合成处理，因此合成处理所需的时间是图6A的时间段T102a。因此，在全像素读出模式中，作为用于像素读出的时间段T101a和用于合成处理的时间段T102a之和的时间段T103a是更新所需的时间。

与此相对，在使用减少模式或相加模式的情况下，如上所述，要读出的像素信号的数量减少到四分之一。因此，在使用减少模式或相加模式的情况下，固态摄像器件113a至113d各自针对每一帧的信号读出时间是图6B的时间段T101b。也就是说，在使用减少模式或相加模式的情况下，由于要读出的像素信号的数量减少，因此如图6B所示，针对每一帧的信号读出时间段T101b比如图6A所示的全像素读出模式中的信号读出时间段T101a短。此外，在使用减少模式或相加模式的情况下，合成处理单元114的合成处理所需的时间是图6B的时间段T102b。也就是说，在使用减少模式或相加模式的情况下，如图6B所示，合成处理所需的时间段T102b也比全像素读出模式中的合成处理时间段T101a短。在使用减少模式或相加模式的情况下，由于摄像单元111a至111d获取到的图像的分辨率降低并且像素数量减少，因此减少了合成处理期间模板匹配的计算负荷，从而缩短了合成处理所需的时间。

此外，在使用减少模式或相加模式的情况下的更新所需的时间是作为用于像素读出的时间段T101b和用于合成处理的时间段T102b之和的时间段T103b。也就是说，在使用减少模式或相加模式的情况下，读出广角图像的一帧所需的时间段T103b比使用全像素读出模式的情况下的时间段T103a短。由此，在本实施例中，在使用减少模式或相加模式的情况下，可以提高广角图像的更新频率。如上所述，在自动追踪操作的中断概率大于或等于预定阈值的情况下，本实施例的摄像装置100通过对固态摄像器件113a至113d以减少模式或相加模式进行信号读出来增加广角图像的更新频率(缩短更新时间段)。

减少模式和相加模式之间的差异

在本实施例中，可以使用上述减少模式和相加模式中的任意模式。在减少模式中，由于实质的像素开口率小于相加模式，因此提高了图像的分辨率。因此，在图像的分辨率更重要的情况下，优选使用减少模式。另一方面，在使用相加模式的情况下，由于平均效应，相比减少模式改善了S/N比。因此，在S/N比更重要的情况下，优选使用相加模式。注意，在使用减少模式或相加模式来减小信号读出时间段T101的情况下，缩短了固态摄像器件中的各像素的最大电荷累积时间。因此，在被摄体的照度低的情况下，特别优选使用相加模式来改善S/N比。

本实施例的有益效果

现在，回到图3的流程图。在图3的步骤S103的自动追踪操作期间，可能存在由于向摄像装置100施加诸如振动等的干扰或者追踪对象的被摄体的运动急剧变化而使得追踪对象的被摄体移出第二摄像单元120的拍摄视角并且中断自动追踪操作的情况。因此，在步骤S104中，控制单元130判断自动追踪操作是否被中断，并且如果自动追踪没有被中断，则将处理转移回步骤S103以继续自动追踪。另一方面，如果在步骤S104中判断为自动追踪操作被中断，则控制单元130将处理转移回步骤S101，以使用广角图像101来检测追踪对象的被摄体。控制单元130继续图3所示的流程图的处理，直到用户输入用于停止自动追踪操作的指示为止。

在本实施例的摄像装置100中，如上所述，在步骤S103中，与自动追踪操作的中断概率小于预定阈值的情况相比，在自动追踪操作的中断概率大于或等于预定阈值的情况下，广角图像101的更新频率更高。因此，即使在步骤S104中自动追踪操作被中断的情况下，也可以缩短再次发现追踪对象的被摄体之前的延迟时间。结果，根据本实施例的摄像装置100，更容易再次发现追踪对象的被摄体，并且可以提高作为摄像装置整体的追踪精度。

选择追踪对象的被摄体的方法的示例

在本实施例中，在图3的步骤S101中进行的对追踪对象的被摄体的选择可以通过上述移动物体检测来自动进行，或者可以由用户手动进行。在自动设置追踪对象的被摄体的情况下，如上所述，摄像装置100可以通过比较广角图像101的多个帧来进行用于检测移动物体的移动物体检测处理。另一方面，在用户手动选择追踪对象的被摄体的情况下，用户例如从外部客户端装置的画面上显示的广角图像中选择追踪对象的被摄体。然后，将用户选择的结果经由网络从外部客户端装置发送到摄像装置100。这种情况下的摄像装置100将用户手动选择的被摄体设置为追踪对象。

通过驱动机构控制第二摄像单元的方向的示例

在本实施例中，在图3的步骤S102中基于第一摄像单元110和第二摄像单元120的位置关系来控制第二摄像单元120的拍摄方向的情况下，期望广角图像101的中心115与驱动机构124的转动中心127一致。下面将通过使用图7A和图7B来描述广角图像101的中心115和驱动机构124的转动中心的位置关系。如这里使用的广角图像101的中心115是指多个摄像单元111a至111d的成像光学系统112a至112d的光轴彼此交叉的点。

如图7A所示，在广角图像101的中心115与驱动机构124的中心127不一致的情况下，第二摄像单元120要指向的方向根据从驱动机构124的中心127到被摄体(103a，103b)的距离而变化。另一方面，如图7B所示，在广角图像101的中心115与驱动机构124的中心127一致的情况下，与从驱动机构124的中心127到被摄体(103a，103b)的距离无关地，第二摄像单元120要指向的方向是恒定的。结果，在广角图像101的中心115与驱动机构124的中心127一致的情况下，在图3的步骤S102中更容易控制第二摄像单元120的方向。

注意，广角图像101的中心115和驱动机构124的中心127不必彼此精确一致，并且可以容忍由于安装误差引起的轻微偏移。此外，广角图像101的中心115和驱动机构124的中心127可以在与广角图像101的拍摄角度窄的方向(图7A和图7B中的Z轴侧)垂直的平面内(在图7A和图7B的XY平面内)彼此一致。

合成处理中控制更新频率的示例

虽然通过如图5A和图5B那样改变固态摄像器件113a至113d的信号读出模式来控制广角图像101的更新频率作为图3的步骤S103中的示例，但是可以使用其它方法作为更新频率的控制方法。例如，可以通过控制合成处理单元114中的合成处理的负荷来控制合成处理所需的时间段T102。例如，在合成处理单元114中，在根据从固态摄像器件113a至113d读出的像素信号来生成广角图像的情况下，进行下采样然后进行模板匹配。通过利用这种方式的下采样来降低图像的分辨率，可以减少合成处理的模板匹配的计算负荷。也就是说，减少合成处理的负荷使得更新频率更高。

压缩处理中更新频率的控制

虽然在上述实施例中已经示出了由于合成处理所需的时间因而更新频率降低、从而导致再次检测到追踪对象的被摄体的延迟的示例，但是考虑例如在合成处理性能高的情况下，合成处理对再次检测到追踪对象的被摄体的延迟的影响显著降低。因此，在由于除合成处理之外的其它因素而使广角图像的更新频率降低的情况下，期望通过使用除上述示例之外的其它方法来控制广角图像的更新频率。

例如，可以根据传送单元140中的传送处理来降低更新频率。通常，由于在拍摄宽视角时需要更高分辨率的图像，因此优选使广角图像101的分辨率高于详细图像102的分辨率。以这种方式，在广角图像101的分辨率高于详细图像102的分辨率的情况下，可能由于传送单元140所进行的传送处理而使更新频率降低。由于分辨率越高，则需要用于传送单个图像的数据量越多。因此，在由于传送单元140所进行的传送处理的延迟而使图像的更新频率降低的情况下，在传送之前对广角图像101进行压缩处理。也就是说，通过对广角图像101进行压缩处理以减少传送的数据量，可以减少传送单元140所进行的传送处理中的延迟并且抑制图像的更新频率的降低。注意，广角图像101的压缩处理可以由合成处理单元114或传送单元140进行。

图像的更新频率的程度控制的示例

虽然在上述实施例中已经示出了根据自动追踪操作的中断概率大于或等于预定阈值、或者小于预定阈值来确定是否控制广角图像的更新频率的示例，但是可以根据自动追踪操作的中断概率来逐步地控制广角图像的更新频率。具体地，可以进行控制，使得自动追踪操作中断的概率越高(通过自动追踪操作成功继续追踪的概率越低)，广角图像的更新频率越高(更新时间间隔越短)。在这种情况下对更新频率的控制可以使用根据自动追踪操作的中断概率值来逐步地减少从固态摄像器件读出的像素信号的数量、逐步地降低下采样中的分辨率、或者在压缩处理中逐步地减小数据大小等的方案。

其它优点的描述

如上所述，在应用减少模式或相加模式、在合成处理之前进行下采样、或者在传送之前进行压缩处理的情况下，可以减小广角图像101的数据大小。在以这种方式减小广角图像101的数据大小的情况下，减少网络通信的负荷可以降低功耗，并且还可以减少客户端装置侧的存储容量的使用。

此外，在进行减少模式或相加模式的应用、合成处理之前的下采样、或者传送之前的压缩处理等的情况下，广角图像101的分辨率可能降低。然而，即使在广角图像101的分辨率降低的情况下，广角图像101的更新频率的提高也使得可以提高作为摄像装置整体的追踪精度。其原因将在下面描述。

通常，考虑到图像分辨率的降低将导致看不到画面内的被摄体的小的向内运动的概率更高。另一方面，考虑到即使图像的分辨率降低，这也将使得看不到画面内的被摄体的大的向内运动的概率降低。追踪对象的被摄体移出第二摄像单元120的拍摄视角并且自动追踪操作被中断的情况意味着追踪对象的被摄体在广角图像101内广泛移动的情况。因此，即使广角图像101的分辨率降低，这也使得看不到在广角图像101内广泛移动的被摄体的概率降低。另一方面，在追踪对象的被摄体在广角图像101内稍微移动的情况下，可以继续自动追踪操作。因此，即使在广角图像101的分辨率降低的情况下，广角图像101的更新频率的提高也使得能够提高作为摄像装置整体的追踪精度。

第一摄像单元的数量的示例

虽然图1B示出第一摄像单元110包括四个摄像单元110a至110d的示例，但是第一摄像单元110不一定需要包括四个摄像单元。例如，第一摄像单元可以包括单个摄像单元，或者可以包括两个、三个或五个或更多个摄像单元。此外，第一摄像单元110的拍摄范围可以不是图1B所示的范围，而例如可以是360度的整个圆周。第一摄像单元110的拍摄范围越宽，这使得成功地再次检测到追踪对象的被摄体的概率更高，这是更优选的。

在第一摄像单元包括单个摄像单元的情况下，例如，由于不再需要由多个摄像单元拍摄的图像的合成处理，因此可以减少处理的负荷和处理所需的时间。然而，即使第一摄像单元包括单个摄像单元，优选地，也使由第一摄像单元拍摄的广角图像101的分辨率高于由第二摄像单元拍摄的详细图像102的分辨率。这是因为，在拍摄更宽的视角的情况下，需要更高分辨率的图像。注意，在第一摄像单元包括能够拍摄广角图像的单个摄像单元的情况下，可能增加成像光学系统或固态摄像器件的尺寸，或者可能增加其制造成本。因此，就摄像装置的尺寸或制造成本而言，优选地，第一摄像单元包括多个摄像单元。此外，在第一摄像单元包括单个摄像单元的情况下，不需要合成处理，并且不会发生广角图像101的更新频率的降低。在这种情况下，为了增加广角图像101的更新频率，可以将减少模式或相加模式应用于固态摄像器件，或者可以在传送之前进行压缩处理。

第二摄像单元的其它结构示例

虽然图2示出第二摄像单元120具有变焦和调焦机构125的示例，但是可以不设置变焦机构。然而，在设置有变焦机构的情况下，可以获取到具有以下拍摄视角的详细图像102，该拍摄视角使得与到追踪对象的被摄体的距离或该被摄体的大小无关地更容易地检测到追踪对象的被摄体的运动。这有利地使得自动追踪操作的中断概率降低。此外，在设置有变焦机构的情况下，更优选地，提供根据追踪对象的被摄体的大小来自动调整拍摄视角的功能。

在第二摄像单元120没有变焦机构的情况下，在图3的步骤S103中，不使用与图4的第二摄像单元120的拍摄视角有关的信息，而使用与追踪对象的被摄体的大小和速度有关的一个或多个信息来计算自动追踪操作的中断概率。然后，在自动追踪操作的中断概率高的情况下，广角图像的更新频率增加。

传送单元的其它示例

虽然图2示出使用单个传送单元140并且通过开关选择广角图像101或详细图像102由此将广角图像101或详细图像102顺次传送到同一网络的情况，但是不一定需要采用这种配置。然而，由于可以容易地识别广角图像101和详细图像102之间的对应关系，因此，优选经由同一网络来传送图像。

追踪功能的其它示例

尽管图2示出第二摄像单元120具有信号处理单元126并且信号处理单元126检测被摄体的运动矢量的示例，但是客户端装置侧可以具有检测运动矢量的功能。在这种情况下，可以通过将详细图像102传送到客户端装置并使用与客户端装置侧检测到的运动矢量有关的信息控制驱动机构124，来控制第二摄像单元120的拍摄方向等。

网络的存在与否

图2示出摄像装置100具有传送单元140、将图像传送到客户端装置侧、并且使用来自客户端装置侧的指示进行操作的示例。与此相对，例如，摄像装置100可以具有用于存储图像数据的存储装置、用于显示图像的查看器、以及用于接受用户指示的接口单元。此外，摄像装置100可以具有存储装置、查看器和接口单元中的任何一个或两个或全部。

第二实施例

图8是示出第二实施例的摄像装置200的一般结构的图，其是当从上侧(+Z轴侧)观看时摄像装置200的布置图。注意，第二实施例的摄像装置200内的功能块与上述的图2的功能块相同。第二实施例的摄像装置200与第一实施例的摄像装置100的不同之处在于，根据摄像单元的拍摄方向相对于追踪对象的被摄体的方向的角度来控制图像的更新频率。第二实施例的摄像装置200的第一摄像单元210以与图1B所示的摄像装置100的第一摄像单元110相同的方式包括多个摄像单元211a至211d。此外，同样地，第二实施例的摄像装置200合成由多个摄像单元211a至211d获取到的图像以生成广角图像。然后，第二实施例的摄像装置200根据各摄像单元211a至211d的拍摄方向相对于追踪对象的被摄体的方向的角度来改变自各摄像单元211a至211d的信号读出频率。为了改变自多个摄像单元211a至211d的信号读出频率，可以通过如上所述使用减少模式或相加模式从固态摄像器件读出像素信号。

图8示出作为追踪对象的被摄体203的方向与多个摄像单元211a至211d的位置关系。如图8所示，摄像单元211a、211b、211c和211d以拍摄方向相对于追踪对象的被摄体203的方向的角度的升序排列。如这里使用的被摄体203的方向意味着将广角图像的中心215连接到被摄体203的质心的线216的方向。

相对于追踪对象的被摄体的方向的角度小的情况

同样，在第二实施例中，以与上述相同的方式，自动追踪操作被中断的情况意味着追踪对象的被摄体由于对第二摄像装置200施加诸如振动等的干扰或追踪对象的被摄体的运动的急剧变化而移出第二摄像单元120的拍摄视角的情况。因此，即使在追踪对象的被摄体203移出第二摄像单元120的拍摄视角并且看不到被摄体203的情况下，被摄体203也很可能位于接近紧接着看不到被摄体203之前的被摄体的方向的角度范围内，并且不太可能位于远离该方向的角度处。

因此，对于位于相对于追踪对象的被摄体203的方向的角度小的位置处的摄像单元211a或211b，第二实施例的控制单元130减少要读出的像素信号的数量以减少在看不到追踪对象的被摄体之后并且在再次发现该被摄体之前的延迟时间。另一方面，对于位于相对于追踪对象的被摄体203的方向的角度大的位置处的摄像单元211c或211d，第二实施例的控制单元130在不减少像素信号的数量的情况下读出像素信号，以获取高分辨率的图像。

由此，在第二实施例中，可以避免在自动追踪操作中成功地再次检测到错过的追踪对象的被摄体203的概率的降低，并且在具有相对于追踪对象的被摄体203的方向的更大角度的方向上获得具有分辨率有所提高的广角图像。结果，根据第二实施例，可以提高被摄体在与追踪对象的被摄体的方向不同的方向上的可见性，同时提高作为摄像装置整体的追踪精度。

相对于追踪对象的被摄体的方向的角度较大的摄像单元的控制的示例

另一方面，在第二实施例中，可以减少通过位于相对于追踪对象的被摄体203的方向的角度大的位置处的摄像单元211c或211d所要读出的像素信号的数量，并且可以从位于该角度小的位置处的摄像单元211a或211b以不减少像素信号的数量的方式读出像素信号。以这种方式，在不减少通过位于相对于追踪对象的被摄体203的方向的角度小的位置处的摄像单元211a或211b所要读出的像素信号的数量的情况下，可以进一步提高成功地再次发现追踪对象的被摄体的概率。其原因将在下面描述。

如上所述，图像分辨率越低，则看不到画面内的被摄体的小的向内运动的概率越高。换句话说，对于追踪对象的被摄体的较大的运动，即使在图像的分辨率降低的情况下，成功地再次发现追踪对象的概率也较高。因此，在被摄体移动到位于相对于追踪对象的被摄体203的方向的角度小的位置处的摄像单元211a或211b的拍摄视角内的情况下，由于被摄体的运动量小，因此在不降低分辨率的情况下的读出允许成功地再次检测到被摄体的概率较高。另一方面，在被摄体移动到位于相对于追踪对象的被摄体203的方向的角度大的位置处的摄像单元211c或211d的拍摄视角内的情况下，由于被摄体的运动量大，因此减小要读出的像素信号的数量，由此提高了广角图像的更新频率。如上所述，在第二实施例中，通过根据相对于追踪对象的被摄体的方向的角度来控制要由摄像单元读出的信号的数量，可以进一步提高作为摄像装置整体的追踪精度。

注意，可以针对第一摄像单元210的各摄像单元211a至211d控制要读出的信号的数量。通过减少相对于追踪对象的被摄体的方向具有较小角度的摄像单元要读出的信号的数量，可以提高不同被摄体在与追踪对象的被摄体的方向不同的方向上的可见性，同时提高作为摄像装置整体的追踪精度。另一方面，通过减少相对于追踪对象的被摄体的方向具有较大角度的摄像单元要读出的信号的数量，可以进一步提高成功地再次检测到追踪对象的被摄体的概率。

硬件结构示例

图9是示出本实施例的摄像装置300的硬件结构的示例的图，该摄像装置300包括根据本实施例的上述第一摄像单元110和第二摄像单元120在图9所示的摄像装置300中，CPU 301执行根据本实施例的控制程序以控制硬件结构的各单元。图9所示的摄像装置300具有第一摄像单元110、第二摄像单元120、光学系统和拍摄系统控制单元320、图像处理单元304、压缩编码单元305、通信单元306、CPU 301、ROM 302、RAM 303、照相机平台控制单元311以及照相机平台310。

ROM 302存储根据本实施例的控制程序和摄像装置300的启动或操作所需的各种参数，并且在需要时这些程序和参数被读出。RAM 303用作工作RAM，并在程序的展开或处理期间进行图像数据的临时存储。CPU 301执行展开到RAM 303的控制程序以控制本实施例的摄像装置300的各单元，并且还进行各种操作等。在本实施例的情况下，CPU 301中的控制和操作包括上述的信号读出的控制、追踪操作的控制、追踪操作的中断概率的获取、减少模式和相加模式的控制、拍摄方向和摄像单元的控制、更新频率的控制和传送的控制等。

第一摄像单元110是具有上述的图2所示的多个摄像单元111a至111d的多眼广角照相机。第二摄像单元120是图2所示的单眼远摄照相机。光学系统和拍摄系统控制单元320是用于驱动和控制第一摄像单元110或第二摄像单元120的集成电路(IC)等。光学系统和拍摄系统控制单元320在CPU 301的控制下，如上所述那样进行第一摄像单元110的上述减少或相加、更新控制等，或者第二摄像单元120的变焦和调焦机构125的驱动控制等。此外，光学系统和拍摄系统控制单元320控制第一摄像单元110中设置的调焦机构的驱动。将由第一摄像单元110的多眼广角照相机获取到的各图像数据发送到图像处理单元304。同样地，将由第二摄像单元120的单眼远摄照相机获取到的图像数据发送到图像处理单元304。

照相机平台310是上述的具有图2的驱动机构124的照相机平台。照相机平台控制单元311是向照相机平台310的驱动机构124提供驱动电力等的驱动器IC。照相机平台控制单元311在CPU 301的控制下将驱动电力提供给照相机平台310的驱动机构124，以控制第二摄像单元120的拍摄方向。

例如，图像处理单元304和压缩编码单元305由数字信号处理器(DSP)等构成。图像处理单元304进行诸如显影处理或白平衡调整等的各种图像处理。此外，图像处理单元304对由第一摄像单元110的多眼广角照相机获取到的各图像数据进行上述合成处理，或者使用从第二摄像单元120的单眼远摄照相机获取到的图像数据进行上述运动矢量检测等。由图像处理单元304进行了图像处理的图像数据在由压缩编码单元305进行了通过预定压缩方式的压缩编码之后，被发送到通信单元306。图像处理单元304和压缩编码单元305在CPU301的控制下进行图像处理和压缩编码处理。

通信单元306对应于上述的图2的传送单元140，并且是诸如有线LAN或无线LAN等的通信模块。通信单元306经由网络将由压缩编码单元305压缩编码后的图像数据发送到客户端装置，并且还经由网络接收从客户端装置发送的命令，并将命令发送到CPU 301。

图10是示出作为根据本实施例的客户端装置400的示例的个人计算机(PC)的一般硬件结构示例的图。本实施例的客户端装置400具有CPU 406、ROM 407、RAM 408、操作单元402、大容量存储单元403、显示单元404和通信单元405。

操作单元402例如是鼠标、键盘或触摸屏等，并且接受来自用户的操作输入。显示单元404是诸如液晶面板或有机EL面板等的显示装置，并且显示图像或用户界面图像等。大容量存储单元是硬盘驱动器(HDD)或固态驱动器(SDD)等，并存储图像数据和程序等。通信单元405是诸如有线LAN或无线LAN等的通信模块，其中通信单元405经由网络连接到本实施例的摄像装置300，并且接收从摄像装置300发送的图像数据或将命令等发送到摄像装置300。

ROM 407存储用于在客户端装置400中进行根据本实施例的摄像装置300的控制或图像显示等的程序，并且从ROM 407读出程序并将程序展开到RAM 408。RAM 408用作工作RAM，并在程序的展开或处理期间进行各种数据的临时存储。CPU 406执行展开到RAM 408的程序，并对本实施例的客户端装置400进行各种控制或处理。例如，CPU 406进行根据本实施例的各种控制和处理，诸如在接收到从用户经由操作单元402输入的自动追踪操作的指示时生成用于自动追踪操作的命令并将该命令从通信单元405发送到摄像装置300等的控制。此外，在从摄像装置300发送压缩编码图像数据的情况下，CPU 406对该图像数据进行展开和解码，并将展开和解码后的图像数据发送到显示单元404以进行显示。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将进行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并进行程序的方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (20)

1.一种摄像装置，包括：

第一摄像单元，用于获取广角图像；

第二摄像单元，用于拍摄所述第一摄像单元的拍摄范围的一部分，并且包括能够改变拍摄方向的驱动机构；以及

控制单元，用于基于所述第二摄像单元拍摄的图像中所包括的信息和所述第二摄像单元的状态至少之一来控制获取所述广角图像的频率。

2.根据权利要求1所述的摄像装置，其中，

所述控制单元基于所述第二摄像单元拍摄的图像中所包括的信息和所述第二摄像单元的状态至少之一来计算所述第二摄像单元对被摄体的追踪操作的中断概率，并且

与追踪操作的中断概率小于预定阈值的情况相比，在追踪操作的中断概率大于或等于所述预定阈值的情况下，所述控制单元将获取所述广角图像的频率控制为更高。

3.根据权利要求2所述的摄像装置，其中，所述被摄体的追踪操作的中断概率越高，所述控制单元将用于获取所述广角图像的频率控制为越高。

4.根据权利要求2或3所述的摄像装置，

其中，所述第二摄像单元包括能够改变拍摄视角的变焦机构，以及

其中，所述控制单元获取所述第二摄像单元的所述拍摄视角作为所述第二摄像单元的状态，并且所述拍摄视角越窄，所述控制单元将所述被摄体的追踪操作的中断概率控制为越高。

5.根据权利要求2或3所述的摄像装置，还包括检测单元，所述检测单元用于从所述第二摄像单元拍摄的图像中检测要作为追踪对象的被摄体的运动，

其中，所述控制单元获取所述被摄体的运动作为所述第二摄像单元拍摄的图像中所包括的所述信息，并且所述被摄体的运动越快，所述控制单元将所述被摄体的追踪操作的中断概率控制为越高。

6.根据权利要求2或3所述的摄像装置，其中，

所述控制单元根据所述第二摄像单元拍摄的图像计算要作为追踪对象的被摄体的大小作为所述第二摄像单元拍摄的图像中所包括的所述信息，并且

所述被摄体的大小越大，所述控制单元将所述被摄体的追踪操作的中断概率控制为越高。

7.根据权利要求1至3中任一项所述的摄像装置，

其中，所述第一摄像单元包括摄像器件，以及

其中，所述控制单元通过控制从所述第一摄像单元的所述摄像器件要读出的像素信号的数量来控制获取所述广角图像的频率。

8.根据权利要求7所述的摄像装置，其中，所述控制单元通过减少来自所述第一摄像单元的所述摄像器件的像素信号以进行读出，来控制获取所述广角图像的频率。

9.根据权利要求7所述的摄像装置，其中，所述控制单元通过对来自所述第一摄像单元的所述摄像器件的多个像素信号进行相加和平均以进行读出，来控制获取所述广角图像的频率。

10.根据权利要求1至3中任一项所述的摄像装置，其中，所述广角图像的分辨率高于所述第二摄像单元拍摄的图像的分辨率。

11.根据权利要求10所述的摄像装置，其中，所述控制单元通过对所述广角图像进行压缩处理来控制获取所述广角图像的频率。

12.根据权利要求1至3中任一项所述的摄像装置，其中，所述第一摄像单元具有多个摄像部以及合成处理单元，其中所述合成处理单元用于对所述多个摄像部所获取到的图像进行合成以生成所述广角图像。

13.根据权利要求12所述的摄像装置，其中，所述控制单元通过在所述合成处理单元进行合成处理之前对所述第一摄像单元的所述多个摄像部所获取到的图像进行下采样来控制获取所述广角图像的频率。

14.根据权利要求12所述的摄像装置，其中，所述广角图像的中心和所述驱动机构的转动中心在与所述广角图像的拍摄视角为窄的方向垂直的平面内彼此一致。

15.根据权利要求12所述的摄像装置，其中，所述控制单元针对所述第一摄像单元的所述多个摄像部中的相对于追踪对象的被摄体的角度较小的拍摄方向上的摄像部减少要读出的像素信号的数量。

16.根据权利要求12所述的摄像装置，其中，所述控制单元针对所述第一摄像单元的所述多个摄像部中的相对于追踪对象的被摄体的角度较大的拍摄方向上的摄像部减少要读出的像素信号的数量。

17.根据权利要求1至3中任一项所述的摄像装置，还包括传送单元，所述传送单元进行所述广角图像与所述第二摄像单元拍摄的图像之间的切换，并且向网络顺次传送所述广角图像和所述第二摄像单元拍摄的图像。

18.一种系统，包括：

根据权利要求1至3中任一项所述的摄像装置；以及

经由网络连接到所述摄像装置的客户端装置。

19.一种摄像装置的控制方法，所述控制方法包括：

第一获取步骤，用于通过第一摄像单元获取广角图像；

第二获取步骤，用于拍摄所述第一摄像单元的拍摄范围的一部分，并通过包括能够改变拍摄方向的驱动机构的第二摄像单元来获取图像；以及

控制步骤，用于基于所述第二摄像单元拍摄的图像中所包括的信息和所述第二摄像单元的状态至少之一来控制获取所述广角图像的频率。

20.一种非暂时性存储介质，其包括使具有以下单元的摄像装置中所包括的计算机用作根据权利要求1至3中任一项所述的摄像装置的控制单元的程序：

第一摄像单元，用于拍摄广角图像，以及

第二摄像单元，用于拍摄所述第一摄像单元的拍摄范围的一部分，并且包括能够改变拍摄方向的驱动机构。