CN102158646A - 成像控制设备、成像设备、成像控制方法及程序 - Google Patents

Abstract

本发明涉及成像控制设备、成像设备、成像控制方法及程序。成像控制设备包括：控制单元，控制对对象进行成像的成像单元的全景图像捕获；以及设定单元，作为对全景图像捕获的控制，在成像单元处于稳定旋转状态时和成像单元处于不同于稳定旋转状态的非稳定旋转状态时之间改变全景图像捕获的控制设定，所述稳定状态中成像单元沿大体水平的方向稳定地旋转。

Description

成像控制设备、成像设备、成像控制方法及程序

技术领域

本发明涉及成像控制设备、可以捕获全景图像的成像设备、用于成像设备的成像控制方法以及程序。

背景技术

在相关技术中，公开了所谓的全景图像捕获，由此用户(摄影师)在沿大体上水平旋转的方向移动摄像机的同时对图像进行摄影时获得大角度场景的静止图像。例如，日本未经审查专利申请公开No.11-88754、日本未经审查专利申请公开No.11-88811和日本未经审查专利申请公开No.2005-333396公开了关于全景图像捕获的技术。

当以全景图像捕获模式通过数字静态摄像机执行成像时，用户沿基本上水平的转动方向移动摄像机。此时，数字静态摄像机获得许多件静态图像数据并且在目标场景的连接处将静态图像合成以产生全景图像作为水平长的静态图像。

通过全景图像捕获，在通常图像捕获中不能获得的广角场景可以作为一个静态图像被获得。

发明内容

然而，当执行全景图像捕获时，用户要尽全力沿成像方向水平地转动移动摄像机而不造成上方和下方模糊。这是因为多个(多帧)静态图像数据在静态图像被捕获的每个角位置适当地合成。

然而，当人员手持摄像机拍摄全景图像时，很难在竖直方向不造成完全模糊的同时执行全景图像捕获。

因此，施加各种限制以实现静态图像数据的高质量的合成。

例如，将全景图像捕获的角范围设定为360度是不合适的。这是因为用户很难水平地转动摄像机达360度(摄像机沿对象方向的运动)而不造成上方和下方模糊，从0度处的捕获图像帧到360度处的捕获图像帧的结合彼此不匹配，并且通过结合的合成结果获得的图像由此会变得粗糙或紊乱。

因此，用于成像的角范围例如被限制到180度或270度。

摄像机在成像方向上的移动速度被限制在限制范围内。这是因为当用户太慢地转动摄像机时，手模糊变差并由此帧图像不能被合成。当移动速度太快时，由于移动速度和快门速度(一帧的曝光时间)之间的关系，捕获图像中出现模糊。

因此，采取措施以解决这样的问题，例如通过设定速度范围使得当移动速度不在设定的速度范围内时成像操作中出现错误。

例如，由于在全景图像捕获中需要合成在水平转动运动中的每个位置处捕获的帧图像数据，角范围或角速度受到限制以适当地执行合成过程。

然而，更多不同种类的全景图像捕获由于该限制而受限。例如，当执行夜景的全景图像捕获时，需要慢慢地转动移动摄像机(对象方向)。然而，当摄像机被慢慢地移动时，由于例如对速度范围的限制可能出现错误而不能执行全景图像捕获。

希望提供一种技术，能根据情况改变用于全景图像捕获的控制设定，并且在维持全景图像的质量的同时执行不同种类的全景图像捕获。

根据本发明的实施例，提供了一种成像控制设备，包括：控制单元，控制成像单元的全景图像捕获，所述成像单元对对象进行成像；以及设定单元，随着对全景图像捕获的控制，在所述成像单元处于稳定旋转状态时和所述成像单元处于不同于所述稳定旋转状态的非稳定旋转状态时之间，改变全景图像捕获的控制设定，在所述稳定旋转状态下所述成像单元沿大体水平的方向稳定地旋转。

例如，作为所述控制设定中的一项，所述设定单元设定执行全景图像捕获的角范围，在所述非稳定旋转状态下，所述角范围被限制在预定角范围内，并且在所述稳定旋转状态下，允许所述角范围比所述非稳定旋转状态的所述预定角范围更宽，或允许所述角范围不限限制。

作为所述控制设定中的一项，所述设定单元设定全景图像捕获中的许可速度范围，在所述非稳定旋转状态下，所述许可速度范围被限制在预定速度范围内，并且在所述稳定旋转状态下，允许所述许可速度范围比所述非稳定旋转状态的所述预定速度范围更宽，或取消对速度范围的限制。

作为所述控制设定中的一项，所述设定单元设定全景图像捕获中的缩放，在所述非稳定旋转状态下，缩放被禁止或被限制在预定缩放范围内，并且在所述稳定旋转状态下，允许缩放，或允许比所述非稳定旋转状态的所述预定缩放范围更宽的缩放范围。

作为所述控制设定中的一项，所述设定单元设定全景图像捕获中的分辨率，在所述非稳定旋转状态下，分辨率被限制为预定值，并且在所述稳定旋转状态下，允许比所述非稳定旋转状态的分辨率更高的分辨率，或取消对分辨率的限制。

成像控制设备还包括：稳定旋转状态检测单元，检测所述成像单元是否处于所述稳定旋转状态，所述稳定旋转状态下所述成像单元沿大体水平的方向稳定地旋转。

所述稳定旋转状态检测单元检测所述成像单元是否安装在可旋转支架上，所述可旋转支架上保持所述成像单元从而可以沿大体水平的方向旋转，并且当所述成像单元安装在所述可旋转支架上时检测所述稳定旋转状态。

所述稳定旋转状态检测单元与其上安装了所述成像单元的所述可旋转支架通信，并且当检测到预定类型的可旋转支架时检测所述稳定旋转状态。

所述稳定旋转状态检测单元基于所述成像控制设备的主体沿大体水平方向移动时的所述成像控制设备的主体沿大体竖直方向的移动量检测所述成像控制设备的主体是否处于所述稳定旋转状态。

成像控制设备还包括：记录单元，其在记录介质中记录通过所述成像单元的成像获得的图像数据。

作为对全景图像捕获的控制，所述控制单元允许所述成像单元通过成像获得多个图像数据，并且利用所述多个图像数据产生全景图像数据。

根据本发明的另一方面，提供了一种成像设备，包括：成像单元，对对象进行成像；以及控制单元，作为对全景图像捕获的控制，在所述成像设备的主体处于稳定旋转状态时和所述成像设备的主体处于不同于所述稳定旋转状态的非稳定旋转状态时之间，改变全景图像捕获的控制设定，在所述稳定旋转状态下所述成像设备的主体沿大体水平的方向稳定地旋转。

根据本发明的另一方面，提供了一种成像控制方法，包括以下步骤：检测成像单元是否处于稳定旋转状态，在所述稳定旋转状态下所述成像单元沿大体水平的方向稳定地旋转；在所述成像单元处于稳定旋转状态时和所述成像单元处于不同于所述稳定旋转状态的非稳定旋转状态时之间，改变全景图像捕获的控制设定；以及作为基于所述控制设定对全景图像捕获的控制，通过成像获得多个图像数据，并且利用所述多个图像数据产生全景图像数据。

根据本发明的另一方面，提供了一种用于成像控制设备的控制处理的程序。该程序使算法处理单元执行以上步骤。

根据本发明的实施例，首先确定成像设备的主体是否处于稳定旋转状态。所述稳定旋转状态指当对象沿大体水平方向可转动地运动时其中几乎没有沿大体竖直方向的模糊的状态。例如，稳定旋转状态指的是成像设备安装在可转动的支架(例如预定的横摇/纵摇云台)上从而被转动的状态。另一方面，用户用手保持成像设备的状态是非稳定旋转状态。

在稳定旋转状态下，对象方向的运动时间沿竖直方向的模糊可以被考虑在内。即，将竖直方向的模糊考虑在内，可以施加各种限制作为控制设定。

根据这个观点，控制设定(例如参数或处理算法)根据成像设备是否处于稳定旋转状态而改变。例如，在稳定旋转状态下，如角范围或移动速度的范围被限制或可以取消对其的限制。

根据本发明的实施例，在非稳定旋转状态(如用手执行全景图像捕获的状态)和稳定旋转状态中的控制设定是不同的。具体地，在稳定旋转状态下，如角范围或移动速度的范围被限制或可以取消对其的限制。因此，可以获得在得到高质量全景图像的同时执行各种全景图像捕获的优势。

附图说明

图1A和1B分别是示出根据本发明的实施例的数字静态摄像机的前视图和后视图。

图2是示出根据实施例的其上安装数字静态摄像机的横摇/纵摇云台的立体图。

图3是示出根据实施例的安装有数字静态摄像机的横摇/纵摇云台的前视图。

图4是示出根据实施例当数字静态摄像机安装在横摇/纵摇云台上时沿横摇方向移动的视图。

图5A和图5B是示出根据实施例当数字静态摄像机安装在横摇/纵摇云台上时沿纵摇方向移动的视图。

图6是示出根据实施例的横摇/纵摇云台的后视图。

图7是示出根据实施例的数字静态摄像机的示例内部结构的框图。

图8是示出根据实施例的横摇/纵摇云台的示例内部结构的框图。

图9是示出根据实施例的控制功能结构的视图。

图10是示出根据实施例的自动静态图像捕获模式过程的流程图。

图11是示出根据实施例的全景图像捕获的视图。

图12是示出根据实施例的全景图像捕获模式过程的流程图。

图13A至图13C是示出根据实施例的多全景图像捕获的视图。

图14A和图14B是示出根据实施例的摄取的多全景图像的示例的视图。

具体实施方式

以下，将以如下顺序描述本发明的实施例。在实施例中，包括数字静态摄像机和可以安装数字摄像机安装的横摇/纵摇云台的成像系统将作为示例被描述。单个数字静态摄像机势必能捕获图像，但是成像过程也可以由结合横摇/纵摇云台的成像系统来执行。

1.成像系统的结构

1.1一般结构

1.2数字静态摄像机

1.3横摇/纵摇云台

2.示例性功能结构

3.自动静态图像捕获模式过程

4.全景图像捕获模式过程

5.不同的改变示例

6.程序

在说明书中，描述中使用的“图像帧”、“图像角”、“图像视野”和“合成”如下限定。

“图像帧”指的是与所视的一个图像平面对应的区域范围，例如正像图像被插入，并且大体上具有竖直长方形的外部线形或水平长方形的外部线形。

“图像角”，也被称为缩放角，通过由角表示范围获得，该范围落在根据成像设备的光学系统的缩放透镜的位置所确定的图像帧内。一般地，图像角根据成像光学系统的焦距和图像平面(图像传感器或胶卷)之间的尺寸来确定。然而，可以响应于焦距而变化的要素被称为图像角。

“图像视野”指成像光学系统的视野。即，成像视野是落在成像设备的周围场景中的成像目标的图像帧内的范围。成像视野由沿横摇(水平)方向的摇摆角和沿纵摇(竖直)方向的角度(仰角和俯角)以及图像角所确定。

“构图”也被称为取景，是在包括对象的尺寸设定落在例如由成像视野确定的图像帧内之后的配置状态。

1.成像系统的结构

1.1一般结构

根据实施例的成像系统包括数字静态摄像机1和其上可拆地安装数字静态摄像机1的横摇/纵摇云台10。

在横摇/纵摇云台10中，电动地改变数字静态摄像机1的横摇/纵摇方向的指向。然后，执行自动构图调节和通过自动构图调节所获得的捕获图像的自动记录。

例如，使用人脸检测技术以人为对象执行搜索。具体地，在通过横摇/纵摇云台10例如沿横摇方向使数字静态摄像机1转动的同时检测图像帧内所看见的对象(人脸)。

当由于对对象的搜索结果而检测到对象在图像帧内时，判定检测对象时图像帧内的对象的检测形式(例如，对象的数量、位置或尺寸)被认为最佳的构图(最佳构图判定)。即，计算被认为最佳的横摇、纵摇和缩放的角度。

当通过最佳构图判定计算被认为最佳的横摇、纵摇和缩放的角度时，横摇、纵摇和缩放角度被调节为目标角(构图调节)。

完成构图调节后，被捕获的图像自动地被记录。

根据自动构图调节(自动的捕获图像记录)的自动成像过程，利用被认为最佳的构图而不需要由用户执行成像操作，捕获的图像可以自动地被记录。

在图1A和1B中，示出了数字静态摄像机1的外观示例。图1A和1B分别是示出数字静态摄像机1的前视图和后视图。

如图1A所示，数字静态摄像机1包括在主体2的前表面上的透镜单元21a。作为捕获图像的光学系统，透镜单元21a形成在主体2的外侧。

释放按钮31a安装在主体2的上表面上。在图像捕获模式中，由透镜单元21a捕获的图像(捕获图像)生成为图像信号。在图像捕获模式中，每帧的捕获图像数据可以通过以下描述的图像传感器以预定的帧频获得。

当操作释放按钮31a(释放操作/快门操作)时，此时的捕获图像(帧图像)作为静止图像的图像数据被记录在记录介质中。即，执行对静止图像的捕获，一般称为摄影。

如图1B所示，数字静态摄像机1在后表面上包括显示屏单元33a。

在图像捕获模式中，由透镜单元21a捕获的图像作为从头至尾的图像(through image)显示在显示屏单元33a上。从头至尾的图像是基于由图像传感器获得的每帧图像的运动图像并且是那时作为对象被显示的图像。

在再现模式，记录在记录介质中的图像数据被再现和显示。

被操作的图像响应于用户对数字静态摄像机1执行的操作作为GUI(图形用户界面)被显示。

通过将触摸面板与显示屏单元33a结合，当用户通过将手指放在显示屏单元33a上来触摸显示屏单元33a时，可以执行必要的操作。

数字静态摄像机1包括例如各种键和转盘的操作器31b以及释放按钮31a。

可例举用于缩放操作、模式选择、菜单操作、菜单上指针操作、再现操作等的操作键、操作转盘等。

图2是示出横摇/纵摇云台10的外观的立体图。在图3至图5B中，示出了数字静态摄像机1适当地放置在横摇/纵摇云台10上的状态。图3是前视图，图4是平面图，图5A和5B是侧视图(具体地，图5B是示出倾纵摇机构的移动范围的侧视图)。

如图2、3、4、5A和5B所示，在横摇/纵摇云台10的结构中主体11结合在大的接地基部15上并且摄像机底座单元12安装在主体11上。

当数字静态摄像机1安装在横摇/纵摇云台10上时，数字静态摄像机1的底面放置在摄像机底座单元12的上表面上。

如图2所示，突出部分13和连接器14形成在摄像机底座单元12的上表面上。尽管未示出，与突出部分13配合的孔部形成在数字静态摄像机1的主体2的下表面上。当数字静态摄像机1大致放置在摄像机底座单元12上时，孔部和突出部分13彼此配合。在配合状态下，认为数字静态摄像机1在通常的横摇/纵摇云台10的横摇和纵摇过程中不从横摇/纵摇云台10偏离。

还在数字静态摄像机1的底面上预定的位置处形成连接器。当数字静态摄像机1大致安装在摄像机底座单元12上时，如上所述，数字静态摄像机1的连接器连接到横摇/纵摇云台10的连接器14，从而至少两者可以彼此通信。

例如，连接器14和突出部分13实际上配置为使得其位置相对于摄像机底座单元12在给定的范围内移动。此外，例如同时使用适合于数字静态摄像机1的底面的形状的适配器等时，另一种数字静态摄像机配置为安装在摄像机底座单元12上以与横摇/纵摇云台10通信。

接下来，将描述数字静态摄像机1通过横摇/纵摇云台10沿横摇和纵摇方向的基本运动。

首先，以下是沿横摇方向的基本运动。

即，接地基底15的底面在横摇/纵摇云台10放置在桌、地板等的表面上的状态下接地。在该状态下，如图4所示，主体11配置为围绕作为旋转中心的转轴11a顺时针或逆时针转动。即，当主体11转动时，成像视野可以沿安装在横摇/纵摇云台10上的数字静态摄像机1的水平方向(左右方向)变化(所谓的横摇拍摄)。

在该情况下，横摇/纵摇云台10的横摇机构配置为顺时针或逆时针转动360°或以上而没有限制。

对于横摇/纵摇云台10的横摇机构设置沿横摇方向的参照位置。

这里，如图4所示，横摇参照位置设定为0°(360°)并且主体11沿横摇方向的转动位置，即横摇位置(横摇角)设定为在从0°到360°的范围内。

横摇/纵摇云台10沿纵摇方向的基本运动如下。

即，如图5A和5B所示，沿纵摇方向的运动通过围绕用作旋转中心的转轴12a以沿仰角和俯角两个方向的角度摇摆摄像机底座单元12来实现。

如图5A所示，摄像机底座单元12位于纵摇参照位置Y0(0°)处。在该状态下，与透镜单元21a(光学系统)的成像光轴相同的成像方向F1平行于将接地基底15放置于其上的接地表面GR。

如图5B所示，摄像机底座单元12可以沿仰角方向在纵摇参照位置Y0(0°)到预定最大转角+f °的范围内围绕用作转动中心的转轴12a运动。摄像机底座单元12还可以沿俯角方向在纵摇参照位置Y0(0°)到预定最大转角-g°的范围内围绕用作转动中心的转轴12a运动。

因此，通过在从最大转角+f°到最大转角-g°范围内参照纵摇参照位置Y0(0°)移动摄像机底座单元12，成像视野可以沿安装在横摇/纵摇云台10(摄像机底座单元12)上的数字静态摄像机1的纵摇方向(上下方向)变化。即，可以实现纵摇过程。

图6是示出横摇/纵摇云台10的后视图。

如图6所示，横摇/纵摇云台10具有与电线可拆卸地连接的电源端子t-Vin和与主体11的后表面上的视频线可拆卸地连接的视频端子t-Video。

横摇/纵摇云台10配置为通过将电力输入经由电源端子t-Vin提供到安装在上述摄像机底座单元12上的数字静态摄像机1来对数字静态摄像机1充电。

即，该示例的横摇/纵摇云台10作为对数字静态摄像机1充电的鞍座(坞)。

在该示例中，当例如基于捕获图像的图像信号从数字静态摄像机1传输时，横摇/纵摇云台10配置为经由视频端子t-Video将图像信号输出到外侧。

如图4和6所示，菜单按钮60a安装在横摇/纵摇云台10的主体11的后表面上。例如通过操作菜单按钮60a，菜单通过横摇/纵摇云台10和数字静态摄像机1之间的通信被显示在数字静态摄像机1的显示屏单元33a上。当菜单被显示时，用户可以进行必要的操作。

1.2数字静态摄像机

图7是示出数字静态摄像机1的示例内部结构的框图。

光学系统单元21包括光圈和具有预定数量的成像透镜(包括缩放透镜和聚集透镜)的透镜组。光学系统单元21将入射光作为成像光在成像传感器22的光接收表面上形成图像。

光学系统单元21可以包括驱动机构以驱动缩放透镜、聚焦透镜、光圈等。驱动机构的过程由所谓的摄像机控制来控制，由例如控制单元27执行的例如缩放(图像角)控制、自动聚焦调节控制和自动曝光控制。

成像传感器22执行所谓的光电转换以将从光学系统单元21获得的成像光转换为电信号。因此，成像传感器22在光电转换元件的光接收表面上接收来自光学系统单元21的成像光，并继而在预定时机将响应于所接收的光的强度而积累的信号电荷输出。因此，与成像光对应的电信号(成像信号)被输出。

用作成像传感器22的光电转换元件(成像元件)不受具体限制。然而在该情况下，CMOS(互补金属氧化物半导体)传感器、CCD(电荷耦合装置)等可以被使用。当CMOS传感器被使用时，还包括与以下描述的A/D转换器23对应的模拟-数字转换器的结构可以用作为与成像传感器22对应的装置(部件)。

当从成像传感器22输出的成像信号被输入到A/D转换器23时，成像信号被转换为数字信号并被输入到信号处理单元24。

信号处理单元24例如由DSP(数字信号处理器)构成并且根据程序对从A/D转换器23输出的数字成像信号执行预定的信号处理。

信号处理单元24以与一个静止图像(帧图像)对应的单位获得从A/D转换器23输出的数字成像信号。信号处理单元24通过对获得的静止图像单元的成像信号执行预定的信号处理产生捕获图像数据(捕获静止图像数据)，该捕获图像数据是与一个静止图像对应的图像信号数据。

在一些情况下，信号处理单元24使用以该方式获得的捕获图像数据执行图像分析过程，用于执行以下描述的对象检测过程或构图过程。

在全景图像捕获模式中，信号处理单元24还执行对全景图像捕获中获得的许多帧图像进行合成并产生全景图像捕获数据的过程。

当信号处理单元24所产生的捕获图像数据被记录在用作记录介质的存储卡40中时，例如对应于一个静止图像的捕获图像数据从信号处理单元24输出到编码/解码单元25。

编码/解码单元25根据预定的静止图像压缩编码方案对从信号处理单元24输出的静止图像单元的捕获图像数据执行压缩编码，并且例如通过在控制单元27的控制下增加页头码等转换为根据预定的格式压缩的图像数据的格式。然后，以此方式产生的图像数据被传递到介质控制器26。

介质控制器26在控制单元27的控制下在存储卡40中写入并记录被传递的图像数据。在该情况下，存储卡40例如是具有与预定标准相符的卡片形式外观的记录介质，并且其中具有例如闪存的非易失性半导体存储元件。

记录图像数据的记录介质可以是除存储卡以外的另一种类或形式的记录介质。例如，可以使用不同的记录介质，例如光盘、硬盘、以不可拆的方式安装的如闪存芯片的半导体存储芯片，以及全息存储器。

利用从信号处理单元24获得的捕获图像数据通过将图像显示在显示单元33上，数字静态摄像机1可以显示当前正被捕获的所谓的从头到尾的图像。

例如，信号处理单元24通过引入A/D转换器23所输出的成像信号产生与一个静止图像对应的捕获图像数据，如上所述，并且继而通过重复地产生捕获图像数据产生与移动的图像中的帧图像对应的捕获图像数据。然后，随后产生的捕获图像数据在控制单元27的控制下被传递到显示驱动器32。

显示驱动器32基于从信号处理单元24输入的捕获图像数据产生驱动显示单元33的信号，如上所述，并且将驱动信号输出到显示单元33。因此，基于静止图像单元的捕获图像数据的图像继而显示在显示单元33上。

从用户看来，捕获的图像如移动的图像被显示那样被显示在显示单元33上。即从头到尾的图像被显示。

数字静止摄像机1将存储卡40中记录的图像数据再现，并将该图像显示在显示单元33上。

因此，控制单元27指定图像数据并命令介质控制器26从存储卡40读取数据。响应于该命令，介质控制器26能访问指定的图像数据记录在存储卡40上的地址，并且将读取的图像数据传送到编码/解码单元25。

编码/解码单元25例如在控制单元27的控制下开始对作为从介质控制器26传送的捕获图像数据的压缩静止图像数据的实质数据进行提取，并且对压缩的静止图像数据执行用于压缩解码的解码过程，以获得与一个静止图像对应的捕获图像数据。捕获图像数据被传递到显示驱动器32。因此，记录在存储卡40中的捕获图像数据的图像被再现并显示在显示单元33上。

不仅从头到尾的图像或图像数据的再现图像，还有用户界面图像(操作图像)可以显示在显示单元33上。

在该情况下，根据处理状态，例如产生控制单元27中需要的用作用户界面图像的显示图像数据，并且显示图像数据被输出到显示驱动器32。因此，用户界面图像被显示在显示单元33上。

用户界面图像可以独立于例如特定菜单屏幕的监视器图像或捕获图像数据的再现图像而被显示在显示单元33的显示屏幕上。因此，用户界面图像可以以叠加或合成方式显示在监视器图像或捕获图像数据的再现图像上。

控制单元27包括CPU(中央处理单元)，并从而与ROM 28、RAM29等一起形成微型计算机。

ROM 28存储由CPU(例如用作控制单元27)执行的程序以及与数字静态摄像机1的过程相关的各种设定信息。

RAM 29是用于CPU的主存储单元。

在该情况下，闪存30用作用于存储根据用户的操作、处理历史等而被改变(再写)所需要的各种设定信息等的非易失存储区域。

当例如包括闪存的非易失存储器被用在ROM 28中时，ROM 28的部分存储区域可以代替闪存30使用。

在该实施例中，控制单元27执行各种用于自动成像的成像准备过程。

首先，在改变成像视野(或允许信号处理单元24执行处理)和从数字静态摄像机1搜寻周围对象的同时，控制单元27执行作为对象检测过程的对来自信号处理单元24获得的每帧图像的对象进行检测的过程。

作为构图过程，控制单元27执行根据预定的算法判定对于对象检测过程中检测到的对象形式最佳的构图的最佳构图判定以及将通过最佳构图判定认为最佳的构图设定目标构图的构图调节。在成像准备过程之后，控制单元27执行控制过程以自动地记录捕获图像。

控制单元27执行全景图像捕获过程，即给出指令以执行捕获作为全景图像的许多帧图像，或执行合成过程，或在全景图像捕获模式下执行例如参数设定的过程。当数字静态摄像机1安装在横摇/纵摇云台10上时，控制单元27还控制横摇/纵摇云台10以沿大体上水平方向转动地移动横摇/纵摇云台10用于全景图像捕获。

以下将描述该控制过程。

操作单元31共同地指配置有数字静态摄像机1和操作信息信号输出单元(响应于操作器中执行的操作产生操作信息信号并将操作信息信号输出到控制单元27)各种操作器。

操作器的示例包括图1A和1B中所示的释放按钮31a和各种操作器31b(例如电源按键、模式按键、缩放操作按键和操作转盘)。

当显示单元33形成为触摸面板，接触传感器单元可以是操作单元31的具体示例。

此外，从远程控制器接收指令信号的接收单元是操作单元31的示例。

控制单元27响应于从操作单元31输入的操作信息信号执行预定的过程。因此，根据用户的操作实现数字静态摄像机1的过程。

横摇/纵摇云台对应通信单元34是根据横摇/纵摇云台10和数字静态摄像机1之间预定的通信方案执行通信的单元。

例如，当数字静态摄像机1安装在横摇/纵摇云台10上时，横摇/纵摇云台对应通信单元34具有物理层构造，在该物理层构造中，可以从横摇/纵摇云台10的通信单元接收通信信号或将通信信号传递到横摇/纵摇云台10的通信单元，并具有其中实现与物理层的预定上层对应的通信过程的构造。在该物理层构造中，包括与图主体2中的结构对应地连接到连接器14的连接器单元。

交换通信信号的端子和传递充电电力的端子两者都安装在每个连接器中以能在横摇/纵摇云台10侧充电。尽管未示出，可拆卸地安装电池的电池安装单元安装在数字静态摄像机1中。因此，基于从横摇/纵摇云台10传递的电力，安装在电池安装单元中的电池被充电。

移动检测单元35是检测数字静态摄像机1的主体的移动状态的传感器单元。例如，安装加速度传感器、角速度传感器或陀螺仪传感器。

在全景图像捕获中，数字静态摄像机1的移动速度可以被限制。数字静态摄像机1的移动速度由运动检测单元35检测并被提供到控制单元27。因此，控制单元27可以判定移动速度是否在限制范围内。全景图像捕获中的角度范围可以由移动速度和时间来计算。

1.3横摇/纵摇云台

图8是示出横摇/纵摇云台10的内部结构的框图。

如参照图6所述，电源端子t-Vin和视频端子t-Video安装在横摇/纵摇云台10中。

经由电源端子t-Vin的电力输入作为对于横摇/纵摇云台10的每个单元所必需的过程电力经由电源电路61被提供。对电源电路61产生用于数字静态摄像机1的充电电力，并且充电电力经由通信单元52(连接器)被提供到数字静态摄像机1。

从数字静态摄像机1传递的视频信号经由通信单元52→控制单元51被提供到视频端子t-Video。

这里，横摇/纵摇云台10的每个单元的过程电力经由电源端子t-Vin提供。然而，实际上，电池的安装单元安装在横摇/纵摇云台10中使得每个单元的过程电力可以从安装在安装单元上的电池提供。

检测线缆是否与电源端子t-Vin和视频端子t-Video连接的连接检测单元59安装在横摇/纵摇云台10中。作为对是否连接线缆进行检测的检测机构的具体结构，示例出其中开关响应于线缆的连接/未连接而接通/断开的结构等。然而，连接检测单元59的具体结构不受具体限制，只要连接检测单元59配置为使得用于识别线缆的连接/未连接的检测信号被输出。

基于连接检测单元59的检测信号(用于电源端子t-Vin的检测信号和用于视频端子t-Video的检测信号)被提供到控制单元51。

横摇/纵摇云台10包括横摇和纵摇机构，如上所述。作为与横摇和纵摇机构对应的单元，图8示出了横摇机构单元53、横摇电动机54、纵摇机构单元56、纵摇电动机57。

横摇机构单元53包括允许安装在横摇/纵摇云台10上的数字静态摄像机1沿图4所示的横摇(水平/左右)方向移动的机构。机构的移动可以通过横摇电动机54沿向前和向后方向的转动来实现。

类似地，横摇机构单元56包括允许安装在横摇/纵摇云台10上的数字静态摄像机1沿图5A和图5B所示的纵摇(竖直/上下)方向移动的机构。机构的移动可以通过纵摇电动机57沿向前和向后方向的转动来实现。

控制单元51通过与CPU、ROM、RAM等组合形成的微型计算机来实现，并控制横摇机构单元53和纵摇机构单元56的运动。

例如，当控制单元51控制横摇机构单元53的移动时，控制单元51将用于指示移动方向和移动速度的信号输出到横摇驱动单元55。横摇驱动单元55产生与输入信号对应的电动机驱动信号并将电动机驱动信号输出到横摇电动机54。当电动机是步进电动机时，电动机驱动信号例如是与PWM控制对应的脉冲信号。

横摇电动机54例如响应于电动机驱动信号沿需要的旋转方向并以需要的转速转动。结果，横摇机构单元53也被驱动以沿与需要的旋转对应的移动方向以与需要的转速对应的移动速度移动。

类似地，当控制单元51控制纵摇机构单元56的移动时，控制单元51将用于指示纵摇机构单元56中需要的移动方向和移动速度的信号输出到纵摇驱动单元58。纵摇驱动单元58产生与输入信号对应的电动机驱动信号并将电动机驱动信号输出到纵摇电动机57。纵摇电动机57响应于电动机驱动信号例如沿需要的旋转方向并以需要的转速转动。由此，纵摇机构单元56也被驱动以沿与需要的旋转方向对应的移动方向并以与需要的转速对应的运动速度移动。

这里，横摇机构单元53包括旋转编码器(旋转检测器)53a。旋转编码器53a响应于横摇机构单元53的旋转运动将表示转角量的检测信号输出到控制单元51。类似地，纵摇机构单元56包括旋转编码器56a。旋转编码器56a也响应于纵摇机构单元56的旋转运动将表示转角量的信号输出到控制单元51。

因此，控制单元51可以获得(监控)被实时驱动的横摇机构单元53和纵摇机构单元56的关于转角量的信息。

通信单元52是根据预定的通信方案与安装在横摇/纵摇云台10上的数字静态摄像机1的横摇/纵摇云台对应通信单元34通信的单元。

类似横摇/纵摇云台对应通信单元34，通信单元52具有物理层构造，其中有线或无线的通信信号可以传递到横摇/纵摇云台10的另一侧通信单元或从横摇/纵摇云台10的另一侧通信单元接收有线或无线的通信信号，并且具有其中执行与物理层的预定上层对应的通信过程的构造。在物理层构造中，与图2的构造对应地包括摄像机底座单元12的连接器14。

具体地，操作单元60共同地指作为图4或图6中所示的菜单按钮60a的操作器以及响应于操作器中执行的操作产生操作信息信号并且将操作信息信号输出到控制单元51的操作信息信号输出单元。控制单元51响应于从操作单元60输入的操作信息信号执行预定的过程。

当为横摇/纵摇云台10准备远程控制器时，从远程控制器接收命令信号的接收单元也是操作单元60的示例。

2.示例性功能构造

图9是示出由用于根据本实施例的数字静态摄像机1和横摇/纵摇云台10的硬件和软件(程序)实现的示例功能结构的框图。

该示例功能构造是实施成像控制设备的构造，该成像控制设备控制该示例成像系统的成像过程。功能构造主要描述数字静态摄像机1的控制单元27、横摇/纵摇云台10的控制单元51等的硬件结构以及与被各单元激活的软件模块相关联地实现的控制过程功能。

在图9中，自动全景图像捕获和自动静态图像捕获所需要的控制功能的框图被示出，以下将具体描述。

如图9所示，数字静态摄像机1(控制单元27)包括成像记录控制单元81、成像准备处理单元82、成像视野可变控制单元83、全景图像捕获控制单元84、通信处理单元85和安装确定单元86。

例如，横摇/纵摇云台10(控制单元51)包括通信处理单元71和横摇/纵摇控制单元72。

首先，数字静态摄像机1的成像记录控制单元81是将通过成像得到的图像作为图像信号的数据(捕获图像数据)并控制捕获图像数据在记录介质中的存储的单元。成像记录控制单元81还控制记录的静态图像数据等的再现和显示过程或成像时从头到尾的图像的显示过程等。

即，成像记录控制单元81控制图7中的光学系统单元21、成像传感器22、A/D转换器23、信号处理单元24、编码/解码单元25、介质控制器26、显示驱动器32等。即，成像记录控制单元81是控制数字静态摄像机1的基本过程的功能单元，例如为光学系统单元21的透镜驱动控制以及成像传感器22的成像过程、成像信号过程、记录再现过程等给出指令并执行静态图像捕获。

成像准备处理单元82是这样的功能单元，其在自动静态图像捕获(在以下描述的自动静态图像捕获模式下成像)时执行成像准备过程而不用用户的释放操作。

成像准备过程的一个示例是对象检测过程。对象检测过程在执行横摇/纵摇云台10的横摇/纵摇过程并在成像视野内输入对象(例如，人脸)的同时确定信号处理单元24获得的每帧图像。因此，成像准备处理单元82例如执行以下过程：对需要的横摇/纵摇云台10的横摇/纵摇过程进行判定的过程或通过帧图像数据的图像分析检测人、人脸等的过程。

成像准备过程的一个示例是构图过程。构图过程是判定成像视野内对象图像的构图过程是否是最佳的(构图判定)并且调节构图(构图调节)的过程。为调节构图，成像准备处理单元82例如执行以下过程：判定需要的横摇/纵摇云台10的横摇/纵摇过程或判定在光学系统单元21中驱动缩放透镜。

为对象检测过程或构图过程执行图像分析的处理功能可以不由控制单元27执行，而由用作为信号处理单元24的DSP(数字信号处理器)执行。因此，用作为成像准备处理单元82的功能单元可以分配给控制单元27和用作为信号处理单元24的DSP中的一者或两者的程序或命令实现。

成像视野可变控制单元83是控制实际改变成像视野的过程的功能单元。成像视野通过横摇/纵摇云台10的横摇/纵摇或光学系统单元21的缩放过程来改变。因此，成像视野可变控制单元83是执行横摇/纵摇控制和缩放控制的功能单元。

当摄影师用数字静态摄像机1手动地拍摄图像的照片时，成像视野变量控制单元83例如响应于摄影师的缩放操作控制缩放透镜的驱动。

当在横摇/纵摇云台10上的安装状态中执行自动静态图像捕获或执行全景图像捕获时，成像视野可变控制单元83响应于用于成像准备处理单元82的判定或指令或来自全景图像捕获控制单元84的指令执行缩放驱动控制、横摇驱动控制和纵摇驱动控制。

在横摇驱动控制和纵摇控制中，横摇/纵摇控制信号经由通信处理单元85传递到横摇/纵摇云台10。

例如，当执行构图调节等时，成像视野可变控制单元83响应于横摇/纵摇移动量将横摇/纵摇控制信号输出以将用于成像准备处理单元82所确定的横摇/纵摇移动量的指令给到横摇/纵摇云台10。

成像视野可变控制单元83还响应于由成像准备处理单元82确定的缩放倍率驱动和控制光学系统单元21的缩放过程。

当在横摇/纵摇云台10上的安装状态下执行全景图像捕获时，实现全景图像捕获中沿大体水平方向的旋转运动。因此，成像视野可变控制单元83也传递横摇/纵摇控制信号以主要将用于横摇过程的指令经由通信处理单元85给到横摇/纵摇云台10。

通信处理单元85是根据预定的通信协议与横摇/纵摇云台10的通信处理单元71通信的单元。

由成像视野可变控制单元83产生的横摇/纵摇控制信号通过通信处理单元64的通信传递到横摇/纵摇云台10的通信处理单元71。

安装确定单元86判定数字静态摄像机1是否安装在横摇/纵摇云台10上。

例如，经由通信处理单元85用横摇/纵摇云台10的通信处理单元71(控制单元51)执行用于识别预定设备的通信。当横摇/纵摇云台10通过该通信可以被认为预定设备时，安装确定单元86判定数字静态摄像机1安装在横摇/纵摇云台10上。

在该示例中，通过将横摇/纵摇云台10定位为保持数字静态摄像机1的主体以可沿大体水平的方向转动的预定类型的可转支架，确定在横摇/纵摇云台10上的安装状态。该判定是检测数字静态摄像机1是否在稳定旋转状态中的一种方法。

与本发明的权利要求的关系如下。

在该实施例中，图7中的光学系统单元21、成像传感器22、A/D转换器23和信号处理单元24对应于本发明的权利要求的成像单元。

编码/解码单元25和介质控制器26对应于本发明的权利要求中的记录单元。

图9中的安装确定单元86(控制单元27)对应于本发明的权利要求中的稳定旋转状态检测单元。

图9中的全景图像捕获控制单元84(控制单元27)对应于本发明的权利要求中的控制单元。

接下来，图9的功能结构中横摇/纵摇云台10的通信处理单元71是与数字静态摄像机1的通信处理单元85通信的单元。

当收到横摇/纵摇控制信号时，横摇/纵摇控制信号被输出到横摇/纵摇控制单元72。

横摇/纵摇控制单元72完成以下功能：执行在例如图8所示的横摇/纵摇云台10的控制单元51执行的控制中与横摇/纵摇控制相关的过程。

横摇/纵摇控制单元72响应于输入的横摇/纵摇控制信号控制图8所示的横摇驱动单元55和纵摇驱动单元58。因此，例如使用用于全景图像捕获或对象检测过程的横摇或纵摇，或用于获得构图过程的最佳水平视角和最佳垂直视角的横摇或纵摇。

在图9中，示出了控制功能单元的框图，但是可以不由每个独立的程序模块或硬件来实现。实际中，根据以下描述的实施例的处理过程可以实施为控制功能单元的综合过程。

3.自动静态图像捕获模式过程

以下，将描述当数字静态摄像机1安装在横摇/纵摇云台10上时执行的自动静态图像捕获模式过程。

图10是示出根据本实施例在没有用户的释放操作的状态下自动静态图像捕获模式过程的流程图。

在执行自动静态图像捕获的自动静态图像捕获模式中，通过由目标检测(搜索)、最佳构图判定和构图调节的每个过程，该示例的成像系统(作为成像准备)执行将构图(其被确定为被认为对于对象检测过程所检测的对象的形式最佳)设定为目标构图的自动构图调节。此外，在预定的条件下自动地执行释放过程。因此，不用摄影师的操作执行适当的静态图像捕获。

当在自动静态图像捕获模式中开始成像过程时，在图10的步骤F1中开始获得捕获图像数据。

即，成像记录控制单元81开始获取由成像传感器22和信号处理单元24捕获和处理的每帧捕获图像数据。

在步骤F2中，执行对象检测过程。在步骤F3中，执行构图过程。

对象检测过程和构图过程(最佳构图判定和构图调节)由成像准备处理单元82的功能(具体地，控制单元27与/或信号处理单元24的过程)执行。

在步骤F1中开始获取捕获图像数据后，信号处理单元24随后获得与一个静态图像对应的帧图像数据作为由成像传感器22捕获的捕获图像数据。

作为对象检测过程，成像准备处理单元82从每帧图像数据检测与人脸对应的图像部分。

对象检测过程可以在所有帧的每个上执行或可以在预定数目帧的间隔处执行。

在该示例的对象检测过程中，例如通过利用所谓的人脸检测技术，与图像的人脸部分的区域对应的人脸帧被设定在从图像检测的每个对象中。此外，关于图像帧内对象数、每个对象的尺寸或每个图像帧内的对象的位置的信息由关于人脸帧的数目、尺寸或位置的信息获得。

许多人脸检测技术被提出。在该实施例中，人脸检测技术不受具体限制。考虑检测精度、设计难度等可以使用适合的人脸检测技术。

在步骤F2的对象检测过程中，存在于数字静态摄像机1附近的对象首先被搜索。

具体地，在对对象搜索中，在数字静态摄像机1的控制单元27(成像准备处理单元82和成像视野可变控制单元83)执行横摇/纵摇云台10的横摇/纵摇控制或光学系统单元21的缩放控制以改变成像视野的同时，对象检测过程通过例如信号处理单元24(或控制单元27)的图像分析执行。

执行对对象的搜索，直到在作为捕获图像数据的帧图像中检测到对象。然后，对对象的搜索在对象(人脸)存在在帧图像中时结束，即，那时的成像视野被检测。

对象检测过程结束后，控制单元27(成像准备处理单元82)在步骤F3中执行构图处理。

在构图处理中，首先确定那时的构图是否是最佳的。在该情况下，基于对象检测结果(在该情况下，确定图像帧中的对象的数目、对象的尺寸、对象的位置等)确定图像结构，并且然后基于图像结构判定中判定的图像结构的信息根据预定的运算法则确定被认为最佳的构图。

在该情况下，构图可以根据横摇、纵摇和缩放的每个成像视野被判定。因此，在判定构图是否是最佳的过程中，响应于对象检测结果(图像帧内对象的形式)用于获得最佳的成像视野的关于横摇、纵摇和缩放的控制变量的信息被获得作为判定结果。

当构图不是最佳时，横摇/纵摇控制和缩放控制被执行为构图调节以实现最佳的构图状态。

具体地，控制单元27(成像准备处理单元82和成像视野可变控制单元83)指示横摇/纵摇云台10的控制单元51以获得关于由用于构图调节控制的最佳构图判定所获得的横摇/纵摇的每个控制变量的修改信息。

然后，横摇/纵摇云台10的控制单元51响应于用于控制变量的指令获得横摇机构单元53和纵摇机构单元56的移动量并将控制信号提供到横摇驱动单元55和纵摇驱动单元58以实现获得的移动量的横摇驱动和纵摇驱动。

此外，控制单元27(成像准备处理单元82和成像视野可变控制单元83)指示光学系统单元21以获得关于由最佳的构图判定所获得的用于缩放的图像角的信息，并允许光学系统单元21执行缩放过程以获得指示的图像角。

当由构图过程判定构图不是最佳的并且横摇/纵摇控制和缩放控制作为构图调节被执行时，过程从步骤F2的对象检测过程继续。这是因为对象由于横摇、纵摇、缩放过程或人的移动可能从成像视野偏离。

当获得最佳的构图时，控制单元27(成像记录控制单元81)在步骤F4中确定释放时机。

在一些情况下步骤F4的释放时机判定过程中释放时机可能没有准备好。然而在该情况下，过程从步骤F1的对象检测过程继续。这是因为对象可能由于人的运动等从成像视野偏离或构图可能失败。

当在释放时机判定过程中认为释放条件满足时，捕获图像数据随步骤F5的释放过程被自动地记录。具体地，控制单元27(成像记录控制单元81)控制编码/解码单元25和介质控制器26以在存储卡40中记录那时获得的捕获图像数据(帧数据)。

这里，步骤F4的释放时机判定过程判定是否满足预定的静态图像捕获的条件以获得适宜的静态图像。可以考虑各种示例。

例如，考虑对于时间的释放时机判定。例如，从构图过程准备好的时间过去的预定时间(例如2或3秒)可以被设为静态图像捕获的条件。在该情况下，控制单元27(成像记录控制单元81)在步骤F4中测量预定的时间。在预定的时间后，控制单元27在步骤F5中执行释放过程。

当从捕获图像确定具体的对象状态时，可以判定满足静态图像捕获的条件满足。

控制单元27(成像记录控制单元81)步骤F4中监控由捕获图像的分析所检测的具体的对象状态存在或不存在。

作为具体的对象状态，可以考虑例如构图过程中确定的对象的笑脸的具体表情，或者例如朝向成像系统挥手、举起手、拍手、做和平手势或朝向成像系统眨眼的行为的具体姿态。或者，可以考虑作为对象的用户注视成像系统的行为等。

在步骤F4中，控制单元27通过对捕获图像的图像分析过程确定用户的具体状态。当具体图像状态被检测时，认为已经到达释放时机从而在步骤F5中执行释放过程。

在数字静态摄像机1包括声音输入单元的情况下，当输入具体声音时可以确定满足静态图像捕获条件。

例如，用户所发出的具体的词、击掌声、口哨声等可以被认为是具体的声音，该具体的声音是静态图像捕获的条件。在步骤F4中，控制单元27(成像记录控制单元81)检测具体声音的输入。

当具体声音被确认为来自声音输入单元的输入声音信号的分析结果时，认为是释放时机从而在步骤F5中执行释放过程。

如图10所示，在自动静态图像捕获模式中的图像静态捕获基于控制单元27的控制过程来实现。

4.全景图像捕获模式过程

接下来，将描述全景图像捕获模式过程。

当数字静态摄像机1安装在横摇/纵摇云台10上时，根据该实施例的数字静态摄像机1可以在自动静态图像捕获模式中捕获图像。然而，当单独的数字静态摄像机1未安装在横摇/纵摇云台10上时以及当数字静态摄像机1安装在横摇/纵摇云台10上时的两种情况下，图像可以在全景图像捕获模式中被捕获。

首先，图11示出了全景图像捕获的总体视图。

例如，在作为中心位置的数字静态摄像机1的位置处捕获的360度周围场景在图11的部分(a)中示出。全景图像捕获是在宽度范围作为一个图像获得周围场景的过程。

数字静态摄像机1的过程如下。

例如，当用户用手保持数字静态摄像机1以执行全景图像捕获时，用户在预定的成像过程的操作状态(例如，按压释放按钮31a)下沿数字静态摄像机1的对象方向(成像视野)水平地移动数字静态摄像机1。例如，数字静态摄像机1围绕用户可转动地移动，例如从左到右，以捕获进入数字静态摄像机1的图像帧的场景。

在水平运动的过程中，数字静态摄像机1获得在每个预定的帧间隔处捕获的帧图像数据，作为图11的部分(b)所示的帧F1，F2，F3，...，和Fn。

使用帧图像数据F1至Fn的必要区域执行合成过程。这里，省去对合成过程的详细描述，但是捕获作为多个帧图像数据的图像从而彼此连接。然后，产生如图11的部分(c)所示的全景图像数据并在存储卡40里记录为一张全景图像数据。

图12示出了控制单元27在全景图像捕获模式下执行成像过程的过程。

当通过用户的预定操作设定全景图像捕获模式时，控制单元27开始图12的过程。

在步骤F101中，控制单元27(安装确定单元86)判定数字静态摄像机1是否安装在横摇/纵摇云台10上。例如，如上所述，安装确定单元86尝试从通信处理单元85至横摇/纵摇云台10的用于设备识别的通信。当可以建立与横摇/纵摇云台10的通信并且确定通信目的是该示例的横摇/纵摇云台10时，安装确定单元86确定数字静态摄像机1目前在稳定旋转状态下。

另一方面，当不可能与横摇/纵摇云台10通信时，安装确定单元86确定用户保持数字静态摄像机1以尝试全景图像捕获。

当安装确定单元86确定数字静态摄像机1在稳定转动状态下时，控制单元27允许过程前进到步骤F110。另一方面，当用户用手保持数字静态摄像机1以执行全景图像捕获时，过程前进到步骤F103。

首先，将描述确定为数字静态摄像机由手保持的情况。

在该情况下，控制单元27(全景图像捕获控制单元84)在步骤F103中设定手持成像参数。

给出一个示例。

例如，执行角限制设定使得其中执行全景图像捕获的角范围被限制在预定的角范围内。例如，该参数被设定为使得0°至270°的角范围被设定为成像角范围。

设定该参数的原因是，由于当数字静态摄像机由手保持并从而带来产生高质量全景图像数据的困难时竖直间隙大多数出现在0度帧图像数据和360度帧图像数据的接合中，360度的范围的成像没有被执行。此外，在通过用户进行的水平移动的过程中，角度可能变得太宽并且竖直间隙可能增大。

速度限制的设定被执行使得全景图像捕获中允许的速度范围被限制在预定的速度范围内。例如，参数被设定为使得从20°/秒到100°/秒的范围被设定为允许的速度范围。

设定该参数的原因是当用户可转动地水平地移动数字静态摄像机1时，移动速度太快或太慢时间隙增大，从而难于执行合成过程并且可能不产生高质量全景图像数据。

设定缩放限制被执行使得缩放过程被限制在全景图像捕获中。例如，该设定被执行使得缩放被阻止并被固定到预定的缩放角。或者，该设定被执行使得缩放被限制到增大到翻倍。

当缩放倍数被增加时，成像视野与之相应地缩小。因此，当用户移动数字静态摄像机时，在竖直方向发生模糊或在图像上显著地出现间隙。因此，当以高缩放倍数执行全景图像捕获时，难于执行合成过程并且不能产生高质量全景图像数据。

设定分辨率限制被执行使得分辨率被限制在预定值内。例如，像素的数量可以被限制。例如，该设定被执行使得分辨率被限制到5000×1000像素。

还考虑如用户用手移动数字静态摄像机1时发生模糊的不稳定性来执行设定。

控制单元27(全景图像捕获控制单元84)例如在步骤F103中执行这些设定的全部或一些。当然，可以考虑其它的设定。

然后，等待成像的开始发生在步骤F104中。例如，开始被推迟，直到用户压下释放按钮31a。

当用户压下释放按钮31a时，过程前进到步骤F105并且控制单元27(全景图像捕获控制单元84)执行全景图像捕获。

即，全景图像捕获控制单元84允许信号处理单元24以预定的帧间隔读取帧图像数据F1、F2等，例如图11所示，并且同时利用帧图像数据F1、F2等执行合成过程。

控制单元27(全景图像捕获控制单元84)根据上述参数监控错误发生情况或成像的结束。

当缩放限制被设定时，控制单元27(全景图像捕获控制单元84和成像视野可变控制单元83)控制缩放操作的取消过程和预定的固定缩放倍数。

控制单元27(全景图像捕获控制单元84)将用于设定的分辨率的指令给到信号处理单元24。

步骤F105的全景图像捕获被执行，直到在步骤F106中判定出现错误或在步骤F108中判定成像已经结束。

成像在步骤F108中结束的情况如下。

例如，当用户在作为操作方法的全景图像捕获的过程中压下释放按钮31a时，全景图像捕获在用户释放释放按钮31a的时机结束。即，控制单元27(全景图像捕获控制单元84)在步骤F105的全景图像捕获的过程中监视来自操作单元31的操作。因此，当用户释放释放按钮31a时，判定成像已经结束。

例如，作为全景图像捕获的操作，成像在用户最初压下释放按钮31a时开始，并且然后成像在用户再次压下释放按钮31a时已经结束。在该情况下，当释放按钮31a被按压两次时判定成像已经结束。

当上述的角限制被设定时，控制单元27(全景图像捕获控制单元84)在步骤F105的处理期间从来自运动检测单元35的移动速度的信息以及从成像开始的时间来计算全景图像捕获的当前的角位置。例如，通过将全景图像捕获的开始点的位置设定为0度确定当前的角位置。当角被设定为限制到270度时，如上所述，在角位置超过270度时控制成像的结束。即，在该情况下，即使用户继续按下释放按钮31a，全景图像捕获强制结束。

控制单元27(全景图像捕获控制单元84)例如以上述方式确定成像的结束。当成像结束时，过程从步骤F108前进至步骤F114。在步骤F114，控制单元27(全景图像捕获控制单元84)控制信号处理单元24使得合成过程完成。控制单元27控制编码/解码单元25和介质控制器26以在存储卡40中记录由合成过程形成的全景图像数据。当用户用手移动移动数字静态摄像机时全景图像捕获模式的过程结束。

在步骤F105的全景图像捕获期间可能发生错误。例如，基于用户的移动速度可能不落在设定的速度范围内。控制单元27(全景图像捕获控制单元84)在步骤F105中监视来自移动检测单元35的速度信息，并且判定检测的移动速度是否落在设定的速度范围内。当移动速度不落在速度范围内时，在此时产生错误。在该情况下，过程从步骤F106前进到步骤F107用于执行错误过程。例如，控制被执行使得错误信息被显示在显示屏单元33a上或出现错误警告声。信号处理单元24中的捕获图像数据的合成过程被中断。

当这样的错误发生时，例如过程可以随后返回到步骤F104或全景图像捕获模式可能结束。

另一方面，当数字静态摄像机1安装在横摇/纵摇云台10上并且在步骤F102中确定数字静止摄像机1在稳定转动状态下时，控制单元27允许过程前进到步骤F110。

在该情况下，控制单元27(全景图像捕获控制单元84)在步骤F110中设定用于横摇/纵摇云台的成像的参数。给出一个示例。

例如，设定被执行使得对角范围的限制(在该角范围中执行全景图像捕获)被取消。即，参数被设定为使得从0°至360°的范围被设定为成像角范围。

设定参数的原因是当数字静态摄像机1安装在横摇/纵摇云台10上时，数字静态摄像机1可以精确地水平转动360度而在转动时间期间没有竖直方向的模糊，这不像用户用手保持数字静态摄像机的情况。即，当图像被合成时没有模糊带来的负面影响，并且即使当角范围不受限制时也可以产生高质量全景图像数据。

根据设备，可以不取消对角范围的限制并且角范围(例如，从0°至300°的范围)可以被设为大于用户用手保持数字静态摄像机的情况下的角范围。

设定被执行使得全景图像捕获中允许的速度范围内的预定速度范围比用户用手保持数字静态摄像机的情况宽。例如，该参数被设定为使得从1°/秒至150°/秒的范围被设定为允许的速度范围。

设定该参数的原因是当数字静态摄像机1安装在横摇/纵摇云台10上时，当数字静态摄像机1水平地转动时发生的模糊可以不被考虑在内。

在参数的设定中，可以确定速度的上限。然而，由于速度的上限由横摇/纵摇云台10的转速确定，可以设定取消对速度的限制。

设定被执行使得在全景图像捕获中对缩放过程的限制被取消。或者，设定被执行使得缩放的上限，例如5倍，比用户用手保持数字静态摄像机的情况下要大。

这是因为即使当缩放倍数增大时，转动时间期间的模糊大部分消失，并从而没有对产生高质量全景图像数据的负面影响。

在参数设定中，可以确定缩放倍数的上限。然而，由于缩放倍数的上限由数字静态摄像机1的性能确定，可以设定将对缩放的限制取消。

设定分辨率被执行使得分辨率为高。例如，像素的数目可以设定为高。例如，设定被执行使得分辨率高达15000×3000像素。

不像用户用手保持数字静态摄像机的情况那样，当数字静态摄像机1转动时几乎没有模糊。

在参数设定中，分辨率的上限可以被确定。然而，由于分辨率的上限由数字静态摄像机1的成像传感器22的性能确定，可以设定将对分辨率的限制取消。

控制单元27(全景图像捕获控制单元84)例如在步骤F110中执行这些设定的全部或一些。当然，可以考虑其它设定。

然后，在步骤F111中出现等待成像的开始。例如，开始被推迟，直到用户压下释放按钮31a。或者，执行设定后，成像的开始可以被自动地确定而不用等用户的操作作为成像的开始。

当确定成像的开始时，过程前进到步骤F112并且控制单元27(全景图像捕获控制单元84)执行全景图像捕获。

即，全景图像捕获控制单元84允许信号处理单元24以预定的帧间隔读取帧图像数据F1、F2等，例如图11所示，并同时使用帧图像数据F1、F2等执行合成过程。

控制单元27(全景图像捕获控制单元84和成像视野可变控制单元83)控制横摇/纵摇云台10以执行水平旋转运动。即，例如，执行360°的横摇。

控制单元27(全景图像捕获控制单元84和成像视野可变控制单元83)根据设定的移动速度执行控制。例如，当用户在全景图像捕获模式下给出10°/秒的指令作为横摇速度，被指示的横摇速度落在参数设定范围内并从而以相应的速度作为有效速度将用于横摇的指示给到横摇/纵摇云台10。

控制单元27(全景图像捕获控制单元84和成像视野可变控制单元83)响应于对信号处理单元24的设定给出用于缩放倍数或分辨率的指示。例如，当用户选择15000×3000像素的分辨率或5倍的缩放倍数被设定时，在有效状态下执行全景图像捕获。

步骤F112的全景图像捕获被执行，直到在步骤F113中判定成像已经结束。例如，成像在完成360°的横摇时结束。

或者，例如当用户在全景图像捕获模式中给出330°的指令作为横摇角范围，指示因为横摇角范围落在参数设定范围内的事实而是有效的。此外，成像在完成330°的横摇时结束。

当成像结束时，过程从步骤F113前进到步骤F114。在步骤F114中，控制单元27(全景图像捕获控制单元84)控制信号处理单元24以完成合成过程。控制单元27控制编码/解码单元25和介质控制器26以在存储卡40上记录合成过程形成的全景图像数据。当数字静态摄像机1安装在横摇/纵摇云台10上时全景图像捕获模式过程结束。

在该实施例中，在全景图像捕获模式下，当用户用手移动数字静态摄像机时或当数字静态摄像机安装在横摇/纵摇云台10上时的控制设定是不同的。

因此，在获得高质量的全景图像的同时，各种全景图像捕获是可以的。

即，当数字静态摄像机1安装在横摇/纵摇云台10上时，当用户用手移动数字静态摄像机时竖直方向不发生模糊。因此，即使当没有施加对成像角范围的限制、对速度的限制、对缩放的限制、对分辨率的限制等，高质量的成像可以被执行。当数字静态摄像机1安装在横摇/纵摇云台10上时，这些限制可以被取消或扩大以执行各种全景图像捕获。

例如，通过可以进行360°的全景图像捕获，可以将整个周围环境获得作为非常高质量的静态图像。

例如，当捕获夜景时，由于曝光时间而适于慢旋转。然而，通过取消对速度的限制，可以获得更质量的全景图像。

5.各种改变示例

在上述的实施例中，当数字静态摄像机由手保持或安装在横摇/纵摇云台10上时，角范围、移动速度、缩放倍数和分辨率的设定被示例为全景图像捕获模式中控制设定的修改示例。然而，可以考虑控制设定的其它各种示例。将例举控制设定。

·仅当安装在横摇/纵摇云台10上时可进行多全景的设定

当数字静态摄像机1安装在横摇/纵摇云台10上时，不需要将模糊考虑在内，如上所述。因此，全景图像的质量被保持并且可以实现更多不同种类的全景图像捕获。

作为其中之一，可以考虑一种捕获多全景图像以获得更大的图像的方法。

多全景图像指的是在水平和竖直两个方向上都宽的图像，并且通过例如改变纵摇方向进行两次-横摇两次成像而获得。

图13A中示出安装在横摇/纵摇云台10上的数字静态摄像机1。首先，在实线箭头所示的第一横摇期间横摇/纵摇云台10使数字静态摄像机1进行横摇的同时，数字静态摄像机1获取许多帧的捕获图像数据。

然后，在虚线箭头所示的第二横摇期间横摇/纵摇云台10使数字静态摄像机1进行横摇的同时，数字静态摄像机1获取许多帧的捕获图像数据。

在该情况下，在第一横摇或第二横摇的过程中成像视野的纵摇位置被改变。例如，如图13B所示，纵摇方向偏移到在第一横摇和第二横摇时纵摇方向部分重叠的角度。

数字静态摄像机1合成来自第一横摇和第二横摇的捕获图像以产生全景图像数据。

通过执行多全景图像捕获，例如可以获得图14A和14B所示的全景图像。

例如，在图14A所示的360度周围对象场景中以数字静态摄像机1的缩放倍数沿竖直方向落在成像视野的尺寸内的范围被认为Y1。

在该情况下，通过捕获第一横摇中落在实线所示的范围内的场景和第二横摇中落在虚线所示的范围内的场景，并且执行合成过程，可以产生包括图14B所示的沿竖直方向的Y2范围内的场景的全景图像数据。

这里，通过执行横摇两次捕获全景图像，但是当然可以通过执行横摇三次或更多次捕获全景图像。因此，可以获得包括沿延伸的竖直方向更宽的对象场景的全景图像数据。

除了每次横摇时的水平横摇以外，可以利用纵摇过程执行螺旋转动。

例如，在连续地执行向上纵摇达预定量的同时，横摇例如执行两次。如图13C所示，可以获取螺旋的周围场景，使得沿竖直方向包括更宽的场景。当然，横摇可以执行三次或更多次。

对于上述的多全景图像捕获，除非执行完全稳定的横摇和纵摇，否则不能获得高质量全景图像数据。实际中，当用户保持数字静态摄像机以通过多次横摇执行全景图像捕获时，场景中可能出现间隙或各角位置处沿竖直方向的尺寸可能彼此不匹配。因此，很难获得令人满意的合成图像。

因此，当数字静态摄像机1安装在横摇/纵摇云台10上时，控制单元27(全景图像捕获控制单元84)可以通过允许多全景图像捕获改变控制设定。另一方面当数字静态摄像机由手保持时，控制单元27可以通过防止多全景图像捕获改变控制设定。

·仅当安装在横摇/纵摇云台10上时根据情况进行控制横摇速度的设定

当数字静态摄像机1安装在横摇/纵摇云台10上时，例如数字静态摄像机由横摇/纵摇云台10以预定的横摇速度转动。最适当的横摇速度根据情况而不同。

例如，当周围较暗时优选慢横摇。当周围较亮时在一定程度上优选快横摇。

这里，数字静态摄像机1包括检测周围光线量的传感器，从而横摇速度根据周围光线量被控制。即，控制单元27指示横摇/纵摇云台10的横摇或横摇速度两者。

在控制设定中，对横摇速度的设定仅在数字静态摄像机1安装在横摇/纵摇云台10上时有效。

当数字静态摄像机由手保持时，由于用户的移动很难控制横摇速度。然而，在该情况下，控制可以被执行使得用户被引导。

例如，当通过对外部光线量的检测认为周围较暗时，可以在显示屏单元33a上显示“请比平常更慢地移动”的信息。

可以根据周围的光线量以及那时的缩放倍数或分辨率来执行横摇/纵摇云台10中的横摇速度控制。例如，当缩放倍数高或设定的分辨率高时，横摇速度被控制为视觉上呈现较慢。

例如，如上所述，当数字静态摄像机1安装在横摇/纵摇云台10上以处于稳定旋转状态下和当数字静态摄像机1由手保持而处于非稳定旋转状态下时，可以考虑各种不同的控制设定。

作为改变设定示例，当数字静态摄像机由手保持时全景图像捕获被禁止，而当数字静态摄像机1安装在横摇/纵摇云台10上时全景图像捕获被允许。

在该实施例中，数字静态摄像机1控制横摇/纵摇云台10的过程。然而，横摇/纵摇云台10可以控制全景图像捕获中的横摇过程。即，当在步骤F112中开始成像时，数字静态摄像机1的控制单元仅指示横摇/纵摇云台10的控制单元51开始横摇。因此，控制单元51在全景图像捕获中适当地控制一个转动或多个转动的横摇和纵摇。

在该实施例中，如上所述，当安装在横摇/纵摇云台10上时，数字静态摄像机处于稳定旋转状态。然而，其它状态可以被认为是稳定旋转状态。

例如，数字静态摄像机安装在三角架上以在三角架上水平地转动的状态或数字静态摄像机被放置在可稳定转动的台(例如转动支架)上从而沿竖直方向几乎没有模糊的状态，可以被认为稳定旋转状态。

即使在该情况下，图12的从步骤F110到步骤F113的过程可以在稳定旋转状态下执行。

即，稳定旋转状态不限制到具体的设备安装在横摇/纵摇云台10上的状态。

然而，将数字静态摄像机安装在横摇/纵摇云台10上可以被确认。然而，除非具体的设备可以执行通信，否则步骤F101的通过通信的确认过程，即稳定旋转状态或非稳定旋转状态，不会被确认。

因此，考虑以下的判定方法。

例如，可提供机械开关或光学传感器以检测数字静态摄像机1是否在沿大体上水平的方向可转动地保持数字静态摄像机1的转动支架(例如三角架)上处于安装状态。控制单元27根据检测结果执行步骤F101和F102的判定。

此外，当陀螺仪传感器被设置为移动检测单元35时，由于要对是否几乎没有竖直方向的移动进行检测，控制单元27可以执行步骤F101和F102的判定。例如，当数字静态摄像机1安装在转台上时，由陀螺仪传感器检测的移动主要是沿水平方向的移动。即，几乎没检测到沿大体上竖直方向的移动。

在该情况下，在全景图像捕获模式中，可以判定数字静态摄像机处于稳定旋转状态。

在该实施例中，控制单元27(安装确定单元86)判定数字静态摄像机是否处于稳定旋转状态。然而，控制单元27可以不执行该判定。即，控制单元27可以从外部接收表示数字静态摄像机是否处于稳定旋转状态的信息。

例如，当横摇/纵摇云台10上的安装状态被检测为稳定旋转状态时，横摇/纵摇云台10的控制单元51通知数字静态摄像机1的控制单元27数字静态摄像机处于稳定旋转状态。因此，控制单元27识别稳定旋转状态。鉴于此，数字静态摄像机1在图9所示的功能结构中可以不包括安装确定单元86。

成像设备(数字静态摄像机1)可以不包括如存储卡40的记录介质的记录功能。例如，成像数据可以不被记录在内部记录介质中，而可以被输出到外部装置以被显示和记录。

在该情况下，可以提供将成像数据传递到外部装置的传递单元取代介质控制器26。即，成像设备是当捕获全景图像时输出全景图像数据的设备。

6.程序

根据该实施例的程序使例如CPU的算法处理单元(控制单元27等)执行根据上述实施例的图12的全景图像捕获模式过程。

即，程序使算法处理单元执行检测数字静态摄像机1的主体是否处于稳定旋转状态的步骤，其中数字静态摄像机1可沿大体上水平的方向稳定地转动。

程序还使算法处理单元执行以下步骤，在检测到数字静态摄像机1处于稳定旋转状态时和检测到数字静态摄像机1不处于稳定旋转状态时之间改变全景图像捕获的控制设定。

程序还使算法处理单元执行以下步骤，作为基于控制设定对全景图像捕获的控制通过成像获得多个图像数据，并且使用多个图像数据产生全景图像数据。

根据该实施例的程序可以预先记录在HDD(作为植入个人计算机的记录介质)或是例如数字静态摄像机1或横摇/纵摇云台10的设备中，或包括CPU的微型计算机的ROM等中。

或者，程序可以永久地或者可临时地存储(记录)在可移动记录介质中，例如软盘、CD-ROM(致密盘只读存储器)、MO(磁光盘)盘、DVD(数字多功能盘)、蓝光盘、磁盘、半导体存储器或存储卡。可移动记录介质可以被提供为所谓的封装软件。

根据本发明的实施例的程序可以从可移动记录介质安装到个人计算机等，并且还可以经由如LAN(区域网)或因特网的网络从下载地址下载。

通过根据本发明的实施例的程序，实现上述实施例的成像装置或成像系统被实施并且可以以适当的方式被广泛提供。

本申请包含了与2010年1月26日向日本专利局递交的日本在先专利申请JP2010-014227中公开的主题相关的主题，该专利申请的全部通过引用而结合于此。

本领域技术人员应理解，只要在权利要求或与其等同的范围内，可以按照设计要求等其它因素进行各种改变、组合、子组合和替代。

Claims (14)

1.一种成像控制设备，包括：

控制单元，控制成像单元的全景图像捕获，所述成像单元对对象进行成像；以及

设定单元，作为对全景图像捕获的控制，在所述成像单元处于稳定旋转状态时和所述成像单元处于不同于所述稳定旋转状态的非稳定旋转状态时之间，改变全景图像捕获的控制设定，在所述稳定旋转状态下所述成像单元沿大体水平的方向稳定地旋转。

2.根据权利要求1所述的成像控制设备，其中，作为所述控制设定中的一项，所述设定单元设定执行全景图像捕获的角范围，

在所述非稳定旋转状态下，所述角范围被限制在预定角范围内，并且

在所述稳定旋转状态下，允许所述角范围比所述非稳定旋转状态的所述预定角范围更宽，或允许所述角范围不受限制。

3.根据权利要求1所述的成像控制设备，其中，作为所述控制设定中的一项，所述设定单元设定全景图像捕获中的许可速度范围，

在所述非稳定旋转状态下，所述许可速度范围被限制在预定速度范围内，并且

在所述稳定旋转状态下，允许所述许可速度范围比所述非稳定旋转状态的所述预定速度范围更宽，或取消对速度范围的限制。

4.根据权利要求1所述的成像控制设备，其中，作为所述控制设定中的一项，所述设定单元设定全景图像捕获中的缩放，

在所述非稳定旋转状态下，缩放被禁止或被限制在预定缩放范围内，并且

在所述稳定旋转状态下，允许缩放，或允许比所述非稳定旋转状态的所述预定缩放范围更宽的缩放范围。

5.根据权利要求1所述的成像控制设备，其中，作为所述控制设定中的一项，所述设定单元设定全景图像捕获中的分辨率，

在所述非稳定旋转状态下，分辨率被限制为预定值，并且

在所述稳定旋转状态下，允许比所述非稳定旋转状态的分辨率更高的分辨率，或取消对分辨率的限制。

6.根据权利要求1所述的成像控制设备，还包括：

稳定旋转状态检测单元，其检测所述成像单元是否处于所述稳定旋转状态，在所述稳定旋转状态下所述成像单元沿大体水平的方向稳定地旋转。

7.根据权利要求6所述的成像控制设备，其中

所述稳定旋转状态检测单元检测所述成像单元是否安装在可旋转支架上，所述可旋转支架保持所述成像单元以使其可沿大体水平的方向旋转，并且当所述成像单元安装在所述可旋转支架上时检测为所述稳定旋转状态。

8.根据权利要求6所述的成像控制设备，其中

所述稳定旋转状态检测单元与其上安装了所述成像单元的所述可旋转支架通信，并且当检测到预定类型的可旋转支架时检测为所述稳定旋转状态。

9.根据权利要求6所述的成像控制设备，其中

所述稳定旋转状态检测单元基于所述成像控制设备的主体沿大体水平方向移动时的所述成像控制设备的主体沿大体竖直方向的移动量检测所述成像控制设备的主体是否处于所述稳定旋转状态。

10.根据权利要求1所述的成像控制设备，还包括：

记录单元，其在记录介质中记录通过所述成像单元的成像获得的图像数据。

11.根据权利要求1所述的成像控制设备，其中

作为对全景图像捕获的控制，所述控制单元允许所述成像单元通过成像获得多个图像数据，并且利用所述多个图像数据产生全景图像数据。

12.一种成像设备，包括：

成像单元，对对象进行成像；以及

控制单元，作为对全景图像捕获的控制，在所述成像设备的主体处于稳定旋转状态时和所述成像设备的主体处于不同于所述稳定旋转状态的非稳定旋转状态时之间，改变全景图像捕获的控制设定，在所述稳定旋转状态下所述成像设备的主体沿大体水平的方向稳定地旋转。

13.一种成像控制方法，包括以下步骤：

检测成像单元是否处于稳定旋转状态，在所述稳定旋转状态下所述成像单元沿大体水平的方向稳定地旋转；

在所述成像单元处于稳定旋转状态时和所述成像单元处于不同于所述稳定旋转状态的非稳定旋转状态时之间，改变全景图像捕获的控制设定；以及

作为基于所述控制设定对全景图像捕获的控制，通过成像获得多个图像数据，并且利用所述多个图像数据产生全景图像数据。

14.一种程序，使成像控制设备的算法处理单元执行以下步骤：

检测成像控制设备的主体是否处于稳定旋转状态，在所述稳定旋转状态下所述成像控制设备的主体沿大体水平的方向稳定地旋转；

在所述成像控制设备的主体处于稳定旋转状态时和所述成像控制设备的主体处于不同于所述稳定旋转状态的非稳定旋转状态时之间，改变全景图像捕获的控制设定；以及

作为基于所述控制设定对全景图像捕获的控制，通过成像获得多个图像数据，并且利用所述多个图像数据产生全景图像数据。

Images