CN102111545B - 图像处理设备、图像处理方法以及程序 - Google Patents

Abstract

本发明提供了图像处理设备、图像处理方法以及程序。一种图像处理设备，包括：切断位置决定单元，其决定沿着径向方向切断环状图像以保持环状图像中的对象的连续性的切断位置，环状图像由全方位图像拍摄设备产生；以及图像转换单元，其通过在由切断位置决定单元决定的切断位置处对环状图像进行切断并且将经切断的环状图像展开，而将环状图像转换为长矩形全景图像。

Description

图像处理设备、图像处理方法以及程序

技术领域

本发明涉及图像处理设备、图像处理方法以及程序。

背景技术

曾提出了这样一种全方位图像拍摄设备，其能够使用具有旋转对称形状的反射表面的全方位图像拍摄光学系统来拍摄全方位(360°)对象(见日本未审查专利申请公报No.59-192220以及日本未审查专利申请公报No.2000-131738)。全方位图像拍摄设备对于入射到全方位图像拍摄光学系统上的反射表面上的全方位对象图像进行汇聚并且允许图像拍摄元件拍摄对象图像。

全范围图像拍摄设备产生通过由图像拍摄设备拍摄全方位对象而获得的环状图像(件日本未审查专利申请公报No.2003-304532)。通过拍摄对象而获得环状图像，使得通过全方位图像拍摄光学系统的光学特性而将对象的形状扭曲为环形形状。因此，为了在对象的扭曲得到校正的状态下观察图像，如日本未审查专利申请公报No.2003-304532中公开的，必须通过在某个位置处沿着径向方向切断并展开环状图像，来将环形形状转换为长方形的全景图。

发明内容

然而，当在将环状图像转换为全景图像时在不合适的位置处切断环状图像时，在环状图像中显示出的对象的连续性受到破坏。例如，当拍摄环状图像时，处于面对摄影师的方向上的图像拍摄目标对象倾向于被拍摄在环状图像的上部分，而摄影师的脸等倾向于被拍摄到环状图像的下部分。当在将环状图像转换为全景图像时对环状图像的上部分或下部分进行切断时，图像拍摄目标对象或摄影师在全景图上可能是被分割的，由此破坏了对象的连续性。

期望提供一种能够在将由全方位图像拍摄设备产生的环状图像展开为全景图时，不破坏对象的连续性的技术。

根据本发明的实施例，提供了一种图像处理设备，包括：切断位置决定单元，其决定沿着径向方向切断环状图像以保持环状图像中的对象的连续性的切断位置，环状图像由全方位图像拍摄设备产生；以及图像转换单元，其通过在由切断位置决定单元决定的切断位置处对环状图像进行切断并且将经切断的环状图像展开，而将环状图像转换为长矩形全景图像。

切断位置决定单元可以决定切断位置在环状图像的左侧还是右侧上。

切断位置决定单元可以基于在全方位图像拍摄设备产生环状图像时表明全景图像拍摄设备的状态的图像拍摄状态信息来决定切断位置。

图像拍摄状态信息可以包括表明在全方位图像拍摄设备产生环状图像时的全方位图像拍摄设备的图像拍摄方向与全方位图像拍摄设备的显示单元之间的相对位置关系。

根据本发明的另一个实施例，存在一种图像处理方法，包括以下步骤：决定沿着径向方向切断环状图像以保持环状图像中的对象的连续性的切断位置，环状图像由全方位图像拍摄设备产生；以及通过在所决定的切断位置处对环状图像进行切断并将经切断的环状图像展开，而将环状图像转换为长矩形全景图像。

根据本发明的另一个实施例，存在一种程序，其使得计算机执行以下步骤：决定沿着径向方向切断环状图像以保持环状图像中的对象的连续性的切断位置，环状图像由全方位图像拍摄设备产生；以及通过在所决定的切断位置处对环状图像进行切断并将经切断的环状图像展开，而将环状图像转换为长矩形全景图像。

通过这种构造，决定沿着径向方向切断环状图像以保持在由全方位图像拍摄设备产生的环状图像中的对象的连续性的切断位置。此外，通过在所决定切断位置处对环状图像进行切断并且将经切断的环状图像展开，而将环状图像转换为长矩形全景图像。因此，在将环状图像转换为全景图像时，可以保持环状图像中的对象的连续性。

根据本发明的实施例，在将由全方位图像拍摄设备产生的环状图像展开为全景图像时不破坏对象的连续性。

附图说明

图1是是示出了根据本发明的第一实施例的图像拍摄设备的外部构造的立体图。

图2是示出了根据第一实施例的图像拍摄设备的外部构造的立体图。

图3是示出了根据第一实施例的图像拍摄设备的外部构造的立体图。

图4是示出了根据第一实施例的转接器和图像拍摄设备的外部构造的立体图。

图5是示出了安装有根据第一实施例的转接器的图像拍摄设备的后视图。

图6是示出了根据第一实施例的两次反射型全方位图像拍摄光学系统的截面图。

图7是示出了根据第一实施例的图像拍摄设备的构造的示意图。

图8是示出了根据第一实施例的比较示例的环状图像和全景图像的说明图。

图9是示出了根据第一实施例的环状图像和全景图像的说明图。

图10是示出了根据第一实施例的图像处理方法的流程图。

图11A和图11B是示出了根据第一实施例的通常图像拍摄时的反转显示功能的说明图。

图12A和图12B是示出了在执行根据第一实施例的全景图像拍摄操作时的反转显示功能的说明图。

图13A和图13B是示出了根据第一实施例的图像拍摄设备的图像拍摄单元的旋转状态的立体图。

图14A到图14C是示出了根据本发明的另一个实施例的图像拍摄设备的立体图。

图15是示出了根据本发明的另一个实施例的图像拍摄设备的立体图。

具体实施方式

下文中，将要参照附图详细描述本发明的优选实施例。在说明书和附图中，将相同的附图标记给予具有基本相同功能构造的组成元件，并且将会省略重复的描述。

将要按照以下顺序进行描述。

1.第一实施例

1.1图像拍摄设备的外部构造。

1.2全景图像拍摄光学系统的构造

1.3图像拍摄设备的构造

1.4旋转移动检测单元和安装检测单元的构造

1.5图像转换处理

1.6图像处理方法

2.第二实施例

2.1图像转换处理的概述

2.2根据图像拍摄方向与显示单元的位置关系来决定切断位置的示例1

2.3根据图像拍摄方向与显示单元的位置关系来决定切断位置的示例2

2.4根据图像拍摄方向与手柄的位置关系来决定切断位置的示例

3总结

1.第一实施例

下文中，将要描述根据本发明的第一实施例的图像处理设备和图像处理方法。将要在下文中描述诸如数字摄像机的图像拍摄设备，作为图像处理设备的实现示例。根据本发明的实施例的图像处理设备不限于此，并且可以应用到诸如个人计算机的任何电子设备。

1.1图像拍摄设备的外部构造。

首先，将要参照图1到图5描述根据本发明的第一实施例的图像拍摄设备10。图1到图5是示出了根据该实施例的图像拍摄设备10的外部构造的立体图和后视图。

如图1到图3所示，根据本实施例的图像拍摄设备10被例如构造为能够拍摄静止图像和/或视频的数字摄像机(例如，数字静止图像摄像机或数字视频摄像机)。图像拍摄设备10拍摄对象并将通过图像拍摄而获得的静止图像或视频作为数字图像数据记录在记录介质中。图像拍摄设备10被构造为具有竖直方向较长形状的紧凑型设备，以使其便于使用者携带图像拍摄设备并拍摄图像。

根据本实施例的图像拍摄设备10包括占据图像拍摄设备的主要部分的主体100，以及可旋转地安装到主体100的上端的图像拍摄单元110。主体100在其中具有图像拍摄设备10的控制单元、记录单元、以及电源单元。显示所拍摄的图像的显示单元130以及使用者用来操作图像拍摄设备10的操作单元160设置在主体100的后表面102上。例如，操作单元160包括用于上、下、左和右指示或决定操作的操作键161、预览按钮162、菜单按钮163、用于拍摄和记录静止图像(照片)的释放按钮164、用于视频拍摄和记录的开始以及结束的记录按钮165、以及用于在长焦端和广角端之间调整变焦位置的变焦开关166。

图像拍摄单元110具有拍摄对象的功能，并且在图像拍摄单元110的壳体中具有图像拍摄光学系统111以及图像拍摄元件112(见图7)，其中，图像拍摄光学系统111具有诸如透镜和光圈的光学组件。图像拍摄单元110被设置为可以通过旋转机构(未示出)而相对于主体100旋转。图像拍摄单元110的旋转轴线116平行于显示单元130的显示屏并且垂直于主体100的竖直方向。通过将图像拍摄单元110围绕旋转轴线116旋转，图像拍摄单元110的方向可以确定为图像拍摄设备10的前表面101的方向以及后表面102的方向。图像拍摄单元110的旋转状态由旋转角θ表示。旋转角θ指的是图像拍摄单元110的图像拍摄光学系统111的光轴103与垂直于显示单元130的显示屏的方向(主体100的厚度方向)之间所形成的角度。根据本实施例的图像拍摄设备10的前表面101是与安装有显示单元130的表面相反的表面。图像拍摄设备10的后表面102是安装有显示单元130的表面。图像拍摄单元110的旋转方向不局限于所示出的示例，而可以任意地修改。旋转轴线的数目不限于所示出的一个轴线，而可以使用诸如两个轴线或三个轴线的多个旋转轴线。

图1示出了图像拍摄单元110的旋转角θ等于0°的状态。在通过旋转图像拍摄单元110而将图像拍摄单元110的图像拍摄光学系统111的光轴103的方向确定为图像拍摄设备10的前表面101的方向(下文中，称作前表面方向)时，如图1所示，可以沿着作为图像拍摄方向的前表面方向，拍摄在图像拍摄设备10的前表面方向中的对象。此时，使用者可以在观察显示在主体100的后表面102上的显示单元130上的所拍摄的图像(直通图像(through-image))的同时，调整观察角以拍摄图像。

图2示出了0°＜θ＜180°的状态。如图2所示，通过相对于主体100旋转图像拍摄单元110，图像拍摄单元110的图像拍摄方向可以改变到任何方向(前表面方向、上方向、后表面方向等)，而不需要改变主体100的方向。

图3示出了θ＝180°的状态。如图3所示，通过将图像拍摄单元110的图像拍摄光学系统111的光轴103的方向确定为图像拍摄设备10的后表面102的方向(其为朝向使用者的方向并在下文中被称作后表面方向)、将图像拍摄方向定位到后表面方向，使用者可以拍摄他自己的照片(自拍功能)。在自拍时，使用者可以在观察显示在主体100的后表面102上的显示单元130上的自己的脸部的同时，通过调整观察角度而在期望的时机拍摄照片。

在根据本实施例的图像拍摄设备10中，图像拍摄单元110可相对于主体100旋转，并且因此可以自由地改变图像拍摄方向。虽然未示出，但是当图像拍摄单元110朝向主体100的中心旋转以使得θ等于-90°时，图像拍摄设备10的电源自动地关闭。另一方面，当θ大于-90°时，图像拍摄设备10的电源自动地打开。

之后，将要参照图4和图5描述可拆卸地安装到根据本实施例的图像拍摄设备10上的转接器20。

在根据本实施例的图像拍摄设备10中，如图4和图5所示，可以将可移除的转接器20作为全方位图像拍摄附件而安装到图像拍摄单元110上。转接器20包括拍摄全方位对象的全方位图像拍摄光学系统21(见图6和图7)、覆盖全方位图像拍摄光学系统21的圆柱形盖22、以及将转接器20安装到图像拍摄设备10上的装配部分23。装配部分23具有的形状使其能够装配到设置在图像拍摄单元110的壳体的前表面上的固定部分117中。通过将从装配部分23的两端向内凸出的两个锁止爪24(见图7)装配到形成在图像拍摄单元110的固定部分117的两个侧表面中的凹陷部分115中，可以将转接器20安装并固定到图像拍摄单元110。

如图4和图5所示，通过将包括全方位图像拍摄光学系统21的转接器20安装到图像拍摄单元110上，可以使用不包括全方位图像拍摄光学系统的普通图像拍摄装置10来实现全方位图像拍摄操作。全方位图像拍摄操作是对在图像拍摄设备10的全方向(0°到360°)上的对象进行拍摄的操作。在将转接器20安装到图像拍摄单元110上时，由转接器20的全方位图像拍摄光学系统21收集的全方位对象图像入射到图像拍摄单元110的图像拍摄光学系统111上并且形成在图像拍摄元件112上。

在安装了转接器20时，转接器20的全方位图像拍摄光学系统21和图像拍摄单元110的图像拍摄光学系统111被用于图像拍摄装置10，来拍摄全方位(全方向)对象的图像。如图5所示，通过使用全方位图像拍摄光学系统21来拍摄全方位对象图像，可以由图像拍摄设备10通过拍摄全方位对象而获得环状图像30，并因此将环状图像30在显示单元130上显示为直通图像。

在图4和图5的示例中，在图像拍摄单元110面向正上方(θ＝90°)的状态下安装转接器20。在这种情况下，通过握着图像拍摄设备10以使得主体100的显示单元130几乎与竖直方向平行，使用者可以拍摄使用者周围水平面内360°存在的全方位对象。在安装了转接器20的状态下，图像拍摄单元110可以相对于主体100旋转到任何旋转角θ(见图1到图3)。例如，安装有转接器20的图像拍摄单元110可以旋转到图3中示出的旋转角(θ＝180°)，并且可以在显示单元130面向上方的状态下将图像拍摄设备10放在桌子上。例如，通过图像拍摄设备10，可以以全方位的方式适当地拍摄多个人围着坐下并且举行会议的情景。

另一方面，在转接器20没有安装到图像拍摄单元110上时(见图1到图3)，图像拍摄设备10仅使用作为光学系统而内置的通常的图像拍摄光学系统111来执行一般的图像拍摄操作。一般的图像拍摄操作是仅使用通常的图像拍摄光学系统111来拍摄处于从图像拍摄设备10所能看到的一个特定方向(方向确定为朝向图像拍摄光学系统111的光轴103的图像拍摄方向)上的对象的操作。在通常图像拍摄操作中，单一方向对象的图像穿过一般包括在图像拍摄设备10中的通常的图像拍摄光学系统111而入射并形成在图像拍摄元件112上。

根据本实施例的转接器20被构造为可拆卸地安装到图像拍摄设备10的图像拍摄单元110上。因此，仅通过将转接器20安装到图像拍摄单元110上，使用者就可以简单地使用一般的图像拍摄设备10来实现全方位图像拍摄操作。

1.2全景图像拍摄光学系统的构造

之后，将要参照图6描述根据本实施例的转接器20的全方位图像拍摄光学系统21的示例性构造。图6是示出了根据本实施例的两次反射型全方位图像拍摄光学系统21的截面图。

如图6所示，全方位图像拍摄光学系统21(全方位图像拍摄镜头)包括具有形状对于中轴线211旋转对称的凸面反射镜以及凹面反射镜。中轴线211与图像拍摄单元110的图像拍摄光学系统111的光轴103共线地形成。全方位图像拍摄光学系统21包括具有环形形状并形成在其下部中的第一反射表面212、具有圆锥形形状并朝向第一反射表面212的第二反射表面213、形成在第一反射表面213的外圆周中的环形光进入部分214，以及形成在第一反射表面212的内圆周中的光离开部分215。第一反射表面212由镜面抛光的环形凹面反射镜形成，而第二反射表面213由镜面抛光的凸面反射镜形成。光进入部分214和光离开部分215由透明玻璃板制成并允许光通过。在两次反射型全方位图像拍摄光学系统21中，全方位图像拍摄光学系统21的光学特性被设计为使得与全方位图像拍摄光学系统21处于任意距离处的对象的全部焦点218位于第一反射表面212与第二反射表面213之间。

在具有以上构造的全方位图像拍摄光学系统21中，入射光216从光进入部分214入射、由第一反射表面212反射、由第二反射表面213反射并且之后从光离开部分215离开。从光离开部分215离开的光入射到图像拍摄单元110的图像拍摄光学系统111上，并且投射到图像拍摄元件112上。具有以上构造的全方位图像拍摄光学系统21可以在围绕中轴线211360°的范围内显示对象图像。因此，全方位图像拍摄光学系统21可以收集全方位图像拍摄光学系统周围全方位(360°)的对象图像，并将对象图像引导到图像拍摄光学系统111。

在图6中，举例说明了两次反射型全方位图像拍摄光学系统21，但是可以使用一次反射型全方位图像拍摄光学系统。一次反射型全方位图像拍摄光学系统(未示出)仅包括一个反射表面，以对来自全方位对象的光进行反射。因此，反射表面构造为具有形状相对于中轴线旋转对称凸面反射镜，并且被设置为使得从反射表面反射的光朝向图像拍摄设备10的图像拍摄光学系统102前进。

1.3图像拍摄设备的构造

之后，将要参照图7详细描述根据本实施例的图像拍摄设备10的构造。图7是示出了根据本实施例的图像拍摄设备10的硬件构造的示意图。

如图7所示，根据本实施例的图像拍摄设备10主要包括图像拍摄单元110、DSP(数字信号处理器)120、显示单元130以及操作单元160。DSP 120具有信号处理单元122、记录再现单元140、控制单元150、切断位置决定单元190以及图像转换单元192的功能。

图像拍摄单元110具有对对象进行拍摄并且输出所拍摄的图像的功能。图像拍摄单元110包括图像拍摄光学系统111、图像拍摄元件112、时序发生器113以及光学组件驱动单元114。

图像拍摄光学系统111是设计为拍摄单一方向对象的通常的光学系统。图像拍摄光学系统111包括诸如聚焦透镜和变焦透镜的各种透镜、移除不需要的波长的光学滤波器、以及诸如光圈的光学组件。从对象入射的光学图像(对象图像)经由图像拍摄光学系统111的各种光学组件形成在图像拍摄元件112的曝光表面上。图像拍摄元件112(图像传感器)由诸如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)的固态成像元件所形成。图像拍摄元件112对于从图像拍摄光学系统111引导来的光学图像进行光电转换，并输出表明所拍摄的图像的电信号(模拟图像信号)。

对图像拍摄光学系统111的光学组件进行驱动的光学组件驱动单元114机械地连接到图像拍摄光学系统111。例如，包括变焦电机114a和聚焦电机114b的光学组件驱动单元114移动变焦透镜和聚焦透镜并调整光圈。光学组件驱动单元114根据如下所述的控制单元150的指令来驱动图像拍摄光学系统111的光学组件。TG(时序发生器)113根据控制单元150的指令来产生图像拍摄元件112所必需的操作脉冲。例如，TG 113产生各种脉冲，诸如用于垂直传输的二次相位(quadratic-phase)脉冲和场移位脉冲，以及用于水平传输的双相位(bi-phase)脉冲以及快门脉冲，并将各种脉冲提供给图像拍摄元件112。通过允许TG 113驱动图像拍摄元件112，拍摄了对象图像。通过允许TG 113来调整图像拍摄元件112的快门速度，控制了所拍摄图像的曝光量或曝光时间(电子快门功能)。

DSP(数字信号处理器)120是处理所拍摄的图像或者控制图像拍摄设备10的操作的运算处理单元。DSP 120包括信号处理单元122。从图像拍摄元件112输出的图像信号被输入到DSP 120的信号处理单元122。信号处理单元122对从图像拍摄元件112输出的、所拍摄的图像的图像信号执行预定的信号处理，并且将受到预定信号处理的图像信号输出到显示单元130或记录再现单元140。例如，信号处理单元122包括模拟信号处理单元、A/D转换单元以及数字信号处理单元(以上单元都没有示出)。

模拟信号处理单元是对图像信号执行预处理的所谓的模拟前端。例如，模拟信号处理单元对从图像拍摄元件112输出的图像信号执行CDS(相关双取样)处理、通过可编程增益放大器(PGA)执行增益处理等。A/D转换单元将从模拟信号处理单元输入的模拟图像信号转换为数字图像信号，并且将数字图像信号输出到数字信号处理单元。数字信号处理单元对输出数字图像信号执行例如噪声移除、白平衡调整、颜色校正、边缘增强或伽马校正的数字信号处理，并且将经处理的数字图像信号输出到显示单元130和记录再现单元140。这里，已经描述了由信号处理单元122执行的模拟信号处理和数字信号处理，但是本发明不限于此。例如，图像拍摄元件112也可以输出数字图像信号并且信号处理单元122可以仅执行数字信号处理。

例如，显示单元130包括液晶显示器(LCD)或有机EL显示器。显示单元130在控制单元150的控制之下显示各种类型的输入图像数据。例如，显示单元130显示在图像拍摄期间拍摄并从信号处理单元122实时输出的所拍摄的图像(直通图像)。之后，当在显示单元130上观察正在拍摄的图像的同时，使用者可以对图像拍摄设备10进行操作。在通过记录再现单元140再现记录在存储卡167中的所拍摄的图像时，显示单元130显示从记录再现单元140输入的再现图像。因此，使用者可以确认记录在存储卡167中的所拍摄的图像的细节。

记录再现单元140将作为所拍摄的图像的数据或者所拍摄的图像的元数据的各种类型的数据记录在记录介质(诸如存储卡167)中，并且对记录在记录介质中的数据进行再现。在图7的示例中，可拆卸地安装到图像拍摄设备10上的存储卡167被示出为记录介质。然而，诸如半导体存储器、光盘或硬盘的盘状记录介质可以被用作记录介质。例如，光盘可以是蓝光光盘、DVD(数字多用途盘)或CD(紧凑型盘)。记录介质可以被包括在图像拍摄设备10中，或者可以是可拆卸地安装到图像拍摄设备10的可移除介质。

控制单元150被构造为算术处理单元(诸如安装到DSP 120中的半导体控制器)，并且整体控制图像拍摄设备10的操作。控制单元150例如使用DRAM(动态随机存储器)152或闪存ROM(只读存储器)154来执行控制功能。

闪存ROM 154存储执行控制单元150的各种控制处理的程序。控制单元150根据程序进行操作并且在使用DRAM 152的同时执行每种控制必要的运算控制处理。程序可以预先存储在包括在图像拍摄设备10内的存储器单元(例如，闪存ROM 154)中。程序可以存储在被提供给图像拍摄设备10的可移除记录介质(诸如盘状记录介质或存储卡)中，或者可以被经由网络(诸如LAN或互联网)下载到图像拍摄设备10。

下文中，将要描述控制单元150的具体控制示例。控制单元150控制图像拍摄单元110的TG 113或光学组件驱动单元114，来控制图像拍摄单元110的图像拍摄操作。例如，控制单元150通过调整图像拍摄光学系统111的光圈、通过设置图像拍摄元件112的电子快门速度、或者通过设置信号处理单元122的AGC的增益等，来执行自动曝光控制(AE功能)。控制单元150通过移动图像拍摄光学系统111的聚焦透镜，来执行自动聚焦控制，以自动地调整图像拍摄光学系统111对于具体对象的焦点。控制单元150通过移动图像拍摄光学系统111的变焦透镜来调整所拍摄的图像的视角(AF功能)。控制单元150通过记录再现单元140来控制在所拍摄的图像的数据上执行的记录和再现处理。控制单元150控制在显示单元130上的各种类型的显示数据的显示。

操作单元160具有对图像拍摄设备10进行操作的用户界面的功能。例如，操作单元160包括安装到图像拍摄设备10的外部部分上的各种类型的操作按钮、触摸板和遥控器。操作单元160响应于用户的操作而将指令信号输出到控制单元150。例如，操作单元160包括图1到图5中示出的操作键161、预览按钮162、菜单按钮163、释放按钮164、记录按钮165以及变焦开关166。

之后，将要描述具有上述构造的图像拍摄设备10的操作。控制单元150通过执行记录在闪存ROM 154中的程序来控制图像拍摄设备10的单元。之后如下所述地执行图像拍摄设备10的各种类型的操作。

(1)自动聚焦(AF)控制

在对象图像经由拍摄光学系统111入射到图像拍摄元件112上时，图像拍摄元件112拍摄在图像拍摄范围内的对象图像。即，图像拍摄元件112对于通过图像拍摄光学系统111而形成在图像拍摄表面上的光学图像进行光电转换，并且输出表明所拍摄的图像的模拟图像信号。在拍摄图像时，控制单元150通过对在AF检测范围内的图像信号进行处理来计算焦点位置，并且向光学组件驱动单元114给出指令，其中图像拍摄光学系统111的焦点在该焦点位置处聚焦到所拍摄的图像的预定AF检测范围内的特定对象上。基于控制单元150的指令，光学组件驱动单元114通过驱动聚焦电机114b并移动聚焦透镜自动地将图像拍摄光学系统111的焦点聚焦到特定对象上。

(2)自动曝光(AE)控制

在拍摄图像时，控制单元150在图像拍摄过程中基于在所拍摄的图像的预定AE检测范围内的图像信号的信号水平来计算适合于所拍摄的图像的曝光量，并且向光学组件驱动单元114或TG 113给出指令。基于控制单元150的指令，光学组件驱动单元114通过调整拍摄光学系统111的光圈打开的程度来调整入射到图像拍摄元件112上的对象图像的曝光量。基于控制单元150的指令，TG 113将时序信号提供给图像拍摄元件112，并且因此通过时序信号来控制图像拍摄元件112的快门速度。因此，自动地控制了所拍摄的图像的曝光，以获得所拍摄的图像的适当的亮度。

(3)图像信号处理

在控制单元150的控制下，信号处理单元122对从图像拍摄元件112输出的模拟图像信号执行模拟信号处理(放大等)，并且之后执行A/D转换，以将模拟图像信号转换为数字图像信号。在控制单元150的控制下，信号处理单元122对数字图像信号执行数字信号处理，诸如，噪声移除、白平衡调整、颜色校正、边缘增强或者伽马校正。

(4)所拍摄的图像的显示处理

在信号处理单元122将经处理的图像信号输出到显示单元130之后，显示单元130在控制单元150的控制下显示由图像信号所表示的图像拍摄过程中所拍摄的图像(直通图像)。在显示直通图像(动态图像)时，使用者可以观察图像拍摄方向、观察角、对象的拍摄状态等，并且可以以期望的快门时机来记录期望对象的所拍摄的图像。显示单元130也在控制单元150的控制下显示通过对记录在记录介质中的图像数据进行再现而获得的图像。

(5)记录处理

在控制单元150的控制下，记录再现单元140对在所拍摄的图像执行压缩记录处理。例如，当在动态图像拍摄模式中按下记录按钮165时，记录再现单元140根据预定压缩编码方法(诸如JPEG(联合图像专家组))对表明所拍摄的图像(动态图像)的图像信号进行压缩。记录再现单元140将经压缩的图像信号以动态图像数据的形式记录在记录介质中。当在静态图像拍摄模式中按压释放按钮164时，记录再现单元140响应于来自释放按钮164的释放信号，根据预定压缩编码方法对表明所拍摄的图像(静态图像)的图像信号进行压缩，并且将经压缩的图像信号作为静态图像数据记录在记录介质中。

(6)再现处理

在控制单元150的控制下，记录再现单元140对记录在记录介质(诸如存储卡167)中的图像进行再现。当在再现模式中从操作单元160输出再现指令时，记录再现单元140对记录在记录介质中的经压缩的图像进行解压缩，并且输出所获得的再现图像信号，以将再现图像信号显示在显示单元130上。

(7)各种设置处理

图像拍摄设备10基于由各种传感器检测到的外界环境或者使用者对操作单元160的操作，来设置图像拍摄设备10的各种功能或者图像拍摄设备10的操作。图像拍摄设备10的示例性功能包括变焦功能、AF功能、AE功能、闪光灯功能、自拍定时功能、连拍图像拍摄功能、调整所拍摄图像的图像质量或图像尺寸、快门速度、白平衡等的功能、图像拍摄辅助功能、以及显示功能。

1.4旋转移动检测单元和安装检测单元的构造

之后，将要参照图7描述根据本实施例的图像拍摄单元110的旋转状态的旋转检测单元170。

如图7所示，图像拍摄设备10的大部分单元(诸如DSP 120、显示单元130、操作单元160以及电源单元(未示出))都安装在图像拍摄设备10的主体100的壳体中。另一方面，图像拍摄单元110被设置在主体100中，以可以围绕旋转轴116旋转(见图1到图3)。

根据本实施例的图像拍摄设备10包括检测旋转状态(诸如图像拍摄单元110相对于主体100的旋转角θ)的旋转检测单元170。例如，旋转检测单元170包括设置在主体100中的旋转状态检测霍尔传感器172以及设置在图像拍摄单元110中的磁体174。

旋转状态检测霍尔传感器172存在于主体100的上端部中，并且被设置在与图像拍摄单元110相邻的位置处。霍尔传感器172检测由设置在图像拍摄单元110中的磁体174产生的磁场的磁通量密度。另一方面，磁体174被设置在从图像拍摄单元110的旋转轴116偏离的位置处。

通过这种构造，当图像拍摄单元110绕旋转轴线116旋转时，霍尔传感器172与磁体174之间的相对位置改变，并且因此由霍尔传感器172检测的磁体174的磁场的大小或方向也改变。因此，通过由霍尔传感器172检测磁体174的磁场的大小或方向，可以检测图像拍摄单元110相对于主体100的旋转状态(例如，图像拍摄单元110的旋转角θ、相对位置等)。霍尔传感器172将表明所检测到的磁场的大小或强度的信号输出到控制单元150，并且控制单元150基于磁场的大小或方向来判断图像拍摄单元110的旋转状态。响应于所检测的图像拍摄单元110的旋转状态，控制单元150控制对显示单元130上的所拍摄的图像的上、下、右和左进行判断和显示的反转显示功能。将要在下文中对其进行详细描述。

之后，将要参照图7描述安装检测单元180，该单元检测转接20是否安装到根据本实施例的图像拍摄单元110上(下文中，也被称作“转接器20安装或没有安装到图像拍摄单元110上”)。

在本实施例中，如上所述，执行全方位图像拍摄操作的转接器20可拆卸地安装到图像拍摄设备10的图像拍摄单元110上(见图4)。如图7所示，通过将转接器20的装配部分23沿着图像拍摄方向安装到设置图像拍摄单元110的前表面上的固定部分117中，将转接器20可拆卸地安装到图像拍摄单元110上。此时，通过将从转接器20的装配部分23的两端向内突出的两个锁止爪24安装到形成在图像拍摄单元110的壳体的两个侧表面上的凹陷部分115中，可以将转接器20简单地固定到图像拍摄单元110的前表面上。

根据本实施例的图像拍摄设备10包括检测转接器20是否安装到图像拍摄单元110上的安装检测单元180。例如，如图7所示，安装检测单元180包括设置在图像拍摄设备10的图像检测单元110中的安装检测霍尔传感器182，以及设置在转接器20中的磁体184。磁体184被埋在转接器20的装配部分23的一侧。安装检测霍尔传感器182存在于图像拍摄单元110的前表面(沿着图像拍摄方向的前侧)上，并且设置在与转接器20的磁体184相邻的位置处。霍尔传感器182检测由设置在转接器20中的磁体184产生的磁场的磁通量密度。

当转接器20以上述构造安装到图像拍摄单元110上时(见图4)，磁体184设置在霍尔传感器182附近。因此，霍尔传感器182检测到密度比由磁体184产生的预定磁通量密度相等或更大的磁场。另一方面，在没有安装转接器20时(见图4)，霍尔传感器182没有检测到密度比由转接器20的磁体184产生的预定磁通量密度相等或更大的磁场。因此，通过使用由霍尔传感器182检测的磁场的强度，可以检测转接器20是否安装到图像拍摄单元110上。霍尔传感器172将表明所检测的磁场的大小的信号输出到控制单元150，并且控制单元150基于磁场的大小来判断转接器20是否安装到图像拍摄单元110上(安装或没有安装转接器20)。控制单元150根据安装或者没有安装转接器20来改变图像拍摄设备10的各种类型的操作设置。

在根据本实施例的图像拍摄设备10中，旋转检测单元170检测图像拍摄单元110相对于图像拍摄设备10的主体100相对旋转位置的状态，并且安装检测单元180检测转接器20安装或没有安装在图像拍摄单元110上。以此方式，控制单元150可以基于图像拍摄单元110的旋转状态或安装或没有安装转接器20来控制图像拍摄设备10的旋转设置。图像拍摄设备10的操作设置的示例包括图像拍摄单元110的图像拍摄操作的设置(例如，与图像拍摄操作相关的图像拍摄参数的设置)、显示单元130的显示操作的设置、以及操作单元160的用户操作的控制设置。

基于安装或没有安装转接器20，控制单元150基于全方位图像拍摄光学系统21的光学特性来改变图像拍摄设备10的各种类型的操作设置。以此方式，当转接器20安装到图像拍摄设备10的图像拍摄单元110上以执行全方位图像拍摄操作时，可以将图像拍摄操作10的操作设置自动地改变为适合于全方位图像拍摄光学系统21的光学特性的设置。因此，在不需要用户在图像拍摄设备10上执行特定设置操作的状态下，通过简单地将转接器20安装到图像拍摄设备10上，自动地将图像拍摄设备10控制到适合于全方位图像拍摄设置的最优操作设置。

1.5图像转换处理

之后，将要参照图7到图9描述通过根据本实施例的图像拍摄设备10将环状图像30转换为全景图像40的图像转换操作。图8是示出了根据本实施例的比较示例的环状图像30和全景图像40的说明图。图9是示出了根据本实施例的环状图像30和全景图像40的说明图。

如图7所示，当DSP 120按照存储在闪存ROM 151中的程序操作时，图像拍摄设备10的DSP 120具有切断位置判断单元190和图像转换单元192的功能。在本实施例中，切断位置决定单元190和图像转换单元192由软件实现，但是可以通过专用硬件实现。

首先，将要描述图像转换处理的概述。通过将转接器20安装到图像拍摄设备10以执行全方位图像拍摄操作，如图5所示，产生了通过拍摄图像拍摄设备10的全方位图像而获得的环状图像30。在环状图像30中，全方位图像示出为同心的内圆和外圆之间的环状形状。对象的形状由于全方位图像拍摄光学系统21的光学特性而被扭曲为环状形状。即，对象被扭曲，以使得环状图像30的外边缘在周向上比环状图像30的内圆更多地延伸。为了矫正对象的扭曲并观察所拍摄的图像，有必要执行将环状图像30转换为长矩形的全景图像40的图像转换处理。

在图像转换处理中，如图8和图9所示，通过在预定切断位置将环状图像30沿其径向切断并将经切断的环状图像展开，而将环状图像30转换为长矩形全景图像40。这里，切断位置指的是切断线的位置，环状图像30在径向方向上沿着该切断线被切断。例如，通过基于穿过环状图像30的中心点31的竖直线32的切断线旋转角来表示切断位置。即，为了将环状图像30展开为全景图像40，沿着穿过环状图像30的中心点的切断线33或34在径向方向上切断环状图像30。由穿过环状图像30的中心点31的切断线33或34与竖直线32形成的角指出切断位置。在图8的示例中，沿着切断线33竖直地切断环状图像30的下部分，并且因此切断位置由表示。另一方面，在图9的示例中，沿着切断线34水平地切断环状图像30的左部分，并且因此切断位置由表示。

然而，在环状图像30被切断并且被展开为全景图像40时，可能在不适当的位置切断环状图像30。在这种情况下，在所转换的全景图像40中可能破坏在环状图像30中示出的对象的连续性。例如，如图8和图9所示，在利用图像拍摄设备10执行图像拍摄时，因为对象35存在于操作图像拍摄设备10的摄影师36面向前方的方向(下文中，被称作面对方向)中，所以被拍摄的对象35被拍摄到环状图像30的上部分中。另一方面，因为摄影师36存在于与从图像拍摄设备10观察的面对方向相反的方向上，所以摄影师36自己倾向于被拍摄到环状图像30的下部分中。

当在将环状图像30转换为全景图像40时沿着切断线33切断环状图像30的下部分时(当切断位置时)，如图8所示，其中示出了摄影师36自己的部分被切断。因此，摄影师的右半部分36a和摄影师的左半部分36b被分割到全景图像40左侧和右侧。在沿着切断线切断环状图像30的上部分时(切断位置的状态)，虽然未示出，但是所拍摄的对象35被切断。因此，关于全景图像40将被拍摄的对象35分割到左侧和右侧。

以此方式，当在或的切断位置处切断环状图像30的上部分或下部分时，全景图像40中对主要对象(例如，被拍摄的对象35或摄影师36自己)进行分割，并因此破坏了对象的连续性。

然而，根据本实施例的切断位置决定单元190决定环状图像30的切断位置，以保持环状图像30中的对象的连续性。通过在由切断位置决定单元190所决定的切断位置处切断环状图像并且将所切断的环状图像30展开为长矩形图像，图像转换单元192将环状图像30转换为全景图像40。因此，即使在通过展开环状图像30而获得的全景图像40中，也可以保持主对象的连续性。

例如，在将图8和图9中示出的环状图像30转换为全景图像40时，保持环状图像30中的对象的连续性的切断位置是在环状图像30的左侧或右侧如图9所示。在切断位置处，切断线34位于穿过环状图像30的中心点31的水平线上。没有沿着切断线34切断在环状图像30的上部分和下部分中的主要对象(例如，被拍摄的对象35和摄影师36自己)。例如，在将切断位置确定为在环状图像30的左部分上时，如图9所示，在全景图像40中没有对拍摄的对象35和摄影师36自己进行分割，并且因此可以保持对象的连续性。

迄今为止已经描述了其中环状图像30被沿着在环状图像30的切断位置或的位置的切断线34水平地切断的示例，但是本发明不限于此。例如，表明切断位置的角度可以是从90°或270°偏离角α(其中，0°＜α＜90°)的角度。即，环状图像30的切断位置也可以是满足 或之后，可以在不破坏对象的连续性的状态下切断环状图像30，并且可以将其展开为全景图像40。这里，角度α是满足0°＜α＜90°的预定角。例如，角度α是10°、30°、45°或60°等。

可选择地，在由图像拍摄设备10产生环状图像30时，可以根据图像拍摄设备10的图像拍摄状态或图像拍摄环境来改变角度α。因此，因为可以根据图像拍摄设备10的图像拍摄状态或图像拍摄环境来适当地调整切断位置，所以可以适当地保持通过对环状图像30进行转换而获得的全景图像40上的对象的连续性。

1.6图像处理方法

之后，将要参照图10描述由根据本实施例的图像拍摄设备10执行的图像处理方法。图10是示出了根据本实施例的图像处理方法的流程图。

如图10所示，图像拍摄设备10首先在转接器20安装到图像拍摄单元110上的状态下执行全方位图像拍摄操作(S100)。在全方位图像拍摄操作中，图像拍摄设备10的全方位对象被拍摄并且产生环状图像30。随后，图像拍摄设备10的记录再现单元140根据预定压缩编码方法来对于环状图像30进行压缩和编码，并且将环状图像30记录在诸如存储卡167的记录介质中(S102)。

随后，在使用者对操作单元160进行操作并且输入指令来对图像拍摄设备10中的环状图像30进行转换时，图像拍摄设备10执行如以下S104到S110中描述的将环状图像30转换为全景图像40的图像转换处理。图像拍摄设备10可以响应于预定事件来自动地执行图像转换处理。

图像拍摄设备10的记录再现单元140首先对存储在诸如存储卡167的记录介质中的环状图像30的数据进行再现(S104)。例如，图像拍摄设备10从诸如存储卡167的记录介质读取环状图像30的数据，并且之后根据预定压缩编码方法来解压缩和解码数据。

随后，图像拍摄设备10的切断位置决定单元190决定在S104中再现的环状图像30的切断位置(S106)。此时，切断位置决定单元190决定环状图像30的切断位置，以即使在将环状图像30转换为全景图像40时，仍保持环状图像30中的主要对象的连续性。例如，如图9所示，将环状图像30的切断位置确定为在环状图像30的左侧或右侧(或)。因此，在环状图像30的上部分中的被拍摄的对象35的图像或者在环状图像30的下部分中的摄影师36自己的图像不被分割。

通过在步骤S106中确定的切断位置处对环状图像30进行切断并且将经切断的环状图像30展开为长矩形图像，图像拍摄设备10的图像转换单元192将环状图像30转换为全景图像40(S108)。图9中示出的全景图像40是通过转换处理产生的。

随后，图像拍摄设备10的记录再现单元140按照预定压缩解码方法对步骤S110中产生的全景图像40进行压缩和编码，并且将全景图像记录在诸如存储卡167的记录介质中(S110)。

按照根据第一实施例的图像处理方法，在适当的位置对通过全方位图像拍摄操作而获得的环状图像30进行切断。因此，即使在通过对环状图像30进行转换而获得的全景图像40上，也不分割诸如被拍摄的对象35或摄影师36自己的主对象，并且因此可以保持主对象的连续性。

2.第二实施例

之后，将要描述根据本发明的第二实施例的图像拍摄设备和图像处理方法。在第二实施例中，确定环状图像30的切断位置的方法与根据第一实施例的方法不同。其他功能构造与根据第一实施例的功能构造基本相同，并且将要省略其详细描述。

2.1图像转换处理的概述

为了将环状图像30转换为全景图像40，如上所述，有必要在切断位置对环状图像30进行切断并将经切断的环状图像展开为全景图像。然而，根据图像拍摄设备10的图像拍摄状态，在对对象进行拍摄并产生环状图像30时，在环状图像30中存在对象定位的倾向。图像拍摄设备10的图像拍摄状态的示例包括图像拍摄设备10的图像拍摄方向(图像拍摄光学系统111的光轴103的方向)与显示单元130或手柄之间的相对位置关系，以及图像拍摄设备10的位置。手柄是用于在执行全方位图像拍摄操作时用户用来握持图像拍摄设备10的手带等。

在第二实施例中，当图像拍摄设备10产生环状图像30时，切断位置决定单元190根据图像拍摄设备10的图像拍摄状态来决定环状图像30的切断位置。此外，图像转换单元192在根据图像拍摄状态的切断位置处对环状图像30进行切断，并且展开经切断的环状图像30。以此方式，因为可以考虑到根据图像拍摄状态的对象布置的倾向而在用户期望的切断位置(在该位置处不存在主要对象)处切断环状图像30，而不会由于转换为全景图像40而破坏对象的连续性。

下文中，将要详细描述在图像拍摄设备10产生环状图像30时，根据图像拍摄设备10的图像拍摄状态决定环状图像30的切断位置的处理。

当图像拍摄设备10将由全方位图像拍摄操作所产生的环状图像30记录在记录介质中(存储卡167等)时，图像拍摄设备10将图像拍摄状态信息记录为环状图像30的、与环状图像30相关的附加信息。

图像拍摄状态信息指的是当图像拍摄设备10产生环状图像30时表明图像拍摄设备10的状态的信息。图像拍摄状态信息的示例包括表明在图像拍摄时在图像拍摄设备10的图像拍摄方向与显示单元130或手柄之间的位置关系的信息，以及表明图像拍摄设备10的位置的关系。例如，图像拍摄单元110相对于主体100的旋转角θ可以被用作表明图像拍摄方向与显示单元130或手柄之间的位置关系的信息。位置传感器(加速度传感器、陀螺仪传感器等)可以被安装到图像拍摄设备10中，以通过由位置传感器来检测图像拍摄设备10的位置(例如，滚转角α、俯仰角β或偏航角γ)来获得表明在拍摄时图像拍摄设备10的位置的信息。

随后，在将环状图像30转换为全景图像40时，图像拍摄设备10从记录介质读取环状图像30和增加到环状图像30中的图像拍摄状态，并对环状图像30和图像拍摄状态信息进行再现。随后，基于图像拍摄状态信息，图像拍摄设备10的切断位置决定单元190将可能保持对象的连续性的位置决定为环状图像30的切断位置。之后，图像转换单元192通过在预定切断位置处对环状图像30进行切断并将经切断的环状图像30展开，而将环状图像30转换为全景图像40。下文中，将要详细描述当图像拍摄设备10产生环状图像30时，根据图像拍摄设备10的图像拍摄状态而确定环状图像30的切断位置的具体示例。

2.2根据图像拍摄方向与显示单元130的位置关系来决定切断位置的示例1

将要参照图11A到图13B首先描述根据在通过图1到图5中示出的图像拍摄设备10来执行全方位图像拍摄操作时的图像拍摄方向与显示单元130的位置关系来决定切断位置(例如，图像拍摄单元110的旋转状态)的示例。

在图1到图5中示出的图像拍摄设备10中，如上所述，图像拍摄单元110可以相对于主体100旋转，并且图像拍摄单元110的方向(图像拍摄方向)和显示单元130的显示屏的方向可以变化。在具有这种可旋转机构的图像拍摄设备10中，通过将图像拍摄单元110和显示单元130的方向确定为处于相同方向，如图3所示，使用者(摄影师)可以在观察显示在显示单元130上的使用者的直通图像的同时拍摄他自己的照片(自拍)。具有自拍功能的图像拍摄设备10具有在使用者拍摄他自己的照片时使得在显示单元130上的所拍摄的图像的上、下、左、右部分反转并显示的反转显示功能。反转显示功能使得在使用者拍摄他自己的照片时所拍摄的图像能够反转地显示，并且因此可以在对于使用者的自然方向上显示图像。

将要参照图11A和图11B描述在普通图像拍摄时的反转显示功能。当图像拍摄单元110的方向确定为在图像拍摄设备10的前方向上时(旋转角θ＝0°)，如图11A所示，对在图像拍摄设备10的前表面上的对象富士山进行拍摄，并且将所拍摄的富士山的图像132显示在显示单元130上。在这种情况下，因为图像拍摄单元110的旋转角θ小于基准角θ₀(例如θ₀＝120°)，所以控制单元150取消了反转显示功能。因此，所拍摄的图像132在上下方向或左右方向上都没有反转地显示。

另一方面，当图像拍摄单元110被旋转并且方向确定为在图像拍摄设备的后方向上时(旋转角θ＝180°)，如图11B所示，对在图像拍摄设备10的后方向上的使用者的面部进行拍摄，并且因此将所拍摄的使用者的图像134显示在显示单元130上。在这种情况下，因为图像拍摄单元110的旋转角θ等于或大于基准角θ₀(例如，θ₀＝120°)，所以控制单元150激活反转显示功能。因此，反转显示功能使得所拍摄的图像134能够在上下方向上和左右方向上都反转地显示。在图11B中，也显示了没有反转地显示的所拍摄的图像136来作为参考。因此，通过在显示单元130上在上下方向上和左右方向上反转地显示所拍摄的图像134，在使用者以180°附近的旋转角θ来拍摄他自己的照片时，使用者的面部像是示出在镜子上那样显示在显示单元130上，并且因此使用者可以容易地调整观察角度。

反转显示功能是沿着上下方向和左右方向使得所拍摄的图像反转的功能，但是本发明不限于这个示例。例如，反转显示功能可以是仅在上下方向上使得所拍摄的图像反转的功能。可选择地，当图像拍摄单元110的旋转方向是主体100的水平方向时，反转显示功能可以是仅在左右方向上使得图像反转的功能。

之后，如图12A、图12B、图13A和图13B所示，将要描述将转接器20安装到图像拍摄单元110上，以在具有图像拍摄单元110的旋转机构和反转显示功能的图像拍摄设备10中执行全方位图像拍摄操作的情况。即使在执行全方位图像拍摄操作时，反转显示功能也使得能够根据图像拍摄单元110的图像拍摄方向与显示单元130之间的相对位置关系(例如，图像拍摄单元110的旋转角度θ)来反转地显示环状图像30。

例如，如图12A和图13A所示，假设以下状态：摄影师保持图像拍摄设备10以使得主体100的显示单元130几乎平行于竖直方向(即，摄影师竖直地保持图像拍摄设备)时、在安装有转接器20的图像拍摄单元110的旋转角θ为90°时来执行全方位图像拍摄的状态(第一图像拍摄状态)。此时，图像拍摄设备10的图像拍摄方向(图像拍摄光学系统111的光轴103的方向)被确定为竖直地向上，并且垂直于显示单元130的方向。因为要被拍摄的对象35在第一图像拍摄状态下存在于摄影师的面对方向上，所以被拍摄的对象35被显示在通过全方位图像拍摄操作而获得的环状图像30的上部分中，并且摄影师36自己被显示在环状图像30的下部分中。

假设摄影师将图像拍摄状态从第一图像拍摄状态改变到图12B和图13B中示出的第二图像拍摄状态，以在相同的情景上执行全方位图像拍摄操作。在第二图像拍摄状态下，如图12B和图13B所示，使用者使得图像拍摄设备10水平地向下倾斜并保持，以使得显示单元130基本与水平方向平行，并且图像拍摄单元110朝向摄影师旋转，以使得旋转角θ改变为180°。此时，显示单元130的方向被确定为竖直地向上，并且平行于图像拍摄设备10的图像拍摄方向。在第二图像拍摄状态下，将通过由反转显示功能使得环状图像30在上、下、左、右方向上反转而获得的环状图像39显示在显示单元130上。摄影师36被显示在环状图像39的上部分中，并且被拍摄的对象35被显示在环状图像的下部分中。

当在反转地显示环状图像30时环状图像30的切断位置通常固定在恒定的位置(例如，环状图像30的左侧被沿着的切断线37切断)时，通过对图12A中示出的环状图像30进行转换而获得的全景图像40和通过对图12B中示出的环状图像39进行转换而获得的全景图像40可能变得彼此不同。因此，因为即使以相同方向拍摄相同的情景也会产生不同的全景图像40，所以摄影师可能觉得不舒服。

然而，在本实施例中，在图12B中示出的反转显示的环状图像39的切断位置被改变到与图12A中示出的环状图像30的切断位置相对称的位置并且之后沿着切断线38对环状图像39的右侧进行切断。因此，通过在使用者期望的相同切断位置处对通过拍摄相同的情景而产生的两个环状图像(图12A中示出的环状图像30和图12B中示出的反转显示的环状图像39)进行切断，可以获得相同的全景图像40。

为了确定切断位置，图像拍摄设备10将在产生两个环状图像30和39时的图像拍摄单元110的各自的旋转角θ存储为图像拍摄状态信息。切断位置决定单元190根据图像拍摄单元110的旋转角θ来决定切断位置(角)。例如，当图像拍摄单元110的旋转角θ小于120°并且环状图像没有被反转显示时，如图12A和图13A所示，切断位置决定单元190将环状图像30的切断位置决定为在环状图像30的左侧上的切断线37另一方面，当图像拍摄单元110的旋转角θ等于或大于120°并且反转显示环状图像时，如图12B和图13B所示，切断位置决定单190将环状图像39的切断位置决定为在环状图像39的右侧上的切断线38图像转换单元192在预定切断位置(或90°)处切断环状图像30或39，并且将经切断的环状图像展开为全景图像40。

在本实施例中，根据在产生环状图像30时的图像拍摄方向与显示单元130的方向之间的相对位置关系(例如，图像拍摄单元110的旋转角θ)来决定环状图像30和39的切断位置因此，因为都在适合于相对位置关系的切断位置处将环状图像30和39切断和展开，所以可以产生不会使得使用者觉得不愉快的全景图像40，而不破坏对象的连续性。

2.3根据图像拍摄方向与显示单元130的位置关系来决定切断位置的示例2

之后，将要参照图14A到图14C描述基于在通过根据本发明的另一个实施例的图像拍摄设备11执行全方位图像拍摄操作时的图像拍摄方向与显示单元130之间的位置关系(例如，显示单元130的旋转状态)来确定切断位置的示例。图14A到图14C是示出了根据本发明的另一个实施例的图像拍摄设备11的立体图。

图14A到图14C中示出的图像拍摄设备11与根据第一实施例的图像拍摄设备10的区别在于代替图像拍摄单元110设置了使得显示单元130旋转的旋转机构。其他功能构造与第一实施例基本相同，并且将要省略其详细描述。

如图14A到图14C所示，图像拍摄设备11包括使得显示单元130相对于主体100旋转的旋转机构。通过由旋转机构使得显示单元130旋转，可以将显示单元130的显示屏的方向确定为任何期望的方向，诸如，图像拍摄设备11的前表面101(在图像拍摄方向上)、后表面102(在摄影师那一侧)、上表面104或下表面105。在正常图像拍摄操作中，通过使得显示单元130的显示屏朝向图像拍摄设备11的后表面102(在摄影师那一侧)，摄影师可以在观察显示在显示单元130上的所拍摄的图像的同时，对于位置朝向图像拍摄设备11的前表面101(在摄影师的面向方向上)的对象拍摄照片。在自拍操作中，通过使得显示单元130的显示屏的方向确定为朝向图像拍摄设备11的前表面101，使用者可以在观察显示在显示单元130上的所拍摄的他自己的图像的同时，给他自己拍照。

图像拍摄设备11也具有参照图11A和图11B描述的反转显示功能。因此，在自拍操作中，反转显示功能使得显示在显示单元130上的所拍摄的图像被以上、下、左和右方向反转的方式显示。根据第一实施例的旋转检测单元170(见图7)检测图像拍摄单元110相对于主体100的旋转状态。然而，图14A到图14C中示出的图像拍摄设备11的旋转检测单元170检测显示单元130相对于主体100的旋转状态(旋转角ψ)。以此方式，控制单元150基于显示单元130的旋转状态来反转地显示所拍摄的图像(环状图像30)。

之后，将要描述在图14A到14C中示出的图像拍摄设备11的全方位图像拍摄操作。图像拍摄设备11的图像拍摄单元110不旋转并且是固定的(见图14A)，但是可移除的转接器20可以像第一实施例那样安装到图像拍摄单元110上(见图14B和图14C)。在转接器20安装到图像拍摄单元110上时，图像拍摄设备11可以使用转接器20的全方位图像拍摄光学系统21来执行全方位图像拍摄操作。在执行全方位图像拍摄操作时，如果14A到14C所示，通过设置图像拍摄设备10以使得图像拍摄光学系统111的光轴103的方向(图像拍摄方向)的方向确定为向上，可以拍摄包括转接器20的水平面内的全方位(360°)对象。

即使在通过图像拍摄设备11执行全方位图像拍摄操作时，仍通过反转显示功能响应于显示单元130的旋转角而将环状图像30反转地显示在显示单元130上。例如，当显示单元130的显示屏的方向确定为与图像拍摄方向相反(附图中的向下方向)时(ψ＝0°)，如图14B所示，控制单元150不在显示单元130上反转地显示环状图像30。另一方面，当显示单元130的显示屏的方向确定为图像拍摄方向(附图中的向上方向)时(ψ＝180°)，如图14C所示，控制单元150在显示单元130上反转地显示环状图像30。

与图13A和图13B中示出的图像拍摄设备10相似，图14A到图14C中示出的图像拍摄设备11将在全方位图像拍摄操作中获得的显示单元130的旋转角ψ作为图像拍摄状态信息而进行存储。切断位置决定单元190响应于显示单元130的旋转角ψ而决定环状图像30的切断位置(角度)。例如，当显示单元130的旋转角ψ为0°并且环状图像没有反转显示时，如图14B所示，切断位置决定单元190将环状图像30的切断位置决定为在环状图像的左侧上的切断线(未示出)。另一方面，当显示单元130的旋转角ψ为180°并且环状图像反转显示时，如图14C所示，切断位置决定单元190将环状图像30的切断位置决定为在环状图像的右侧上的切断线38(未示出)。之后，图像转换单元192在所决定的切断位置(或90°)处对环状图像30进行切断，并且将经切断的环状图像30展开为全景图像40。

在图14A到图14C的示例中示出的图像拍摄设备11中，根据在产生环状图像30时的图像拍摄方向与显示单元130的方向之间的相对位置关系(例如，显示单元130的旋转角ψ)来决定环状图像30的切断位置因此，因为可以在适合于相对位置关系的切断位置出切断并展开环状图像30，所以可以产生使用者不觉得不舒服的全景图像40，而不需要破坏对象的连续性。

2.4根据图像拍摄方向与手柄的位置关系来决定切断位置的示例

之后，将要参照图15描述一种示例，其中，根据在由根据本发明的另一个实施例的图像拍摄设备12执行全方位图像拍摄操作时的图像拍摄方向与图像拍摄设备12的手柄之间的位置关系，来决定切断位置。图15是示出了根据本发明的另一个实施例的图像拍摄设备12的立体图。

如图15所示，图像拍摄设备12被构造为例如包括大致圆柱形壳体106的视频摄像机。在使用图像拍摄设备12来执行一般图像拍摄操作时，摄影师通过将右手从下侧穿过安装在壳体106的一侧上的手带107而握持图像拍摄设备12。手带107对应于图像拍摄设备12的手柄。之后，摄影师在图像拍摄设备12的图像拍摄方向(图像拍摄光学系统111的光轴103的方向)上拍摄期望的对象的一般照片。

在转接器20被安装到图像拍摄设备12上以执行全方位图像拍摄操作时，摄影师通过将右手从上侧穿过手带107来握持图像拍摄设备12，以使图像拍摄方向确定为向上，并且使得显示单元130旋转，以将显示单元130的方向确定为朝向他自己。之后，摄影师可以使用手带107来稳定地握持图像拍摄设备12，并且也可以在观察显示单元130上的环状图像39的同时执行全方位图像拍摄操作。

在该图像拍摄状态下，因为摄影师位于面向图像拍摄设备12的上表面108的位置处，所以摄影师的面对方向变为图像拍摄设备12的底表面方向(显示单元130的后表面的方向)。因此，在显示在显示单元130的环状图像39中，摄影师36自己位于环状图像39的上部分中并且在摄影师的面向方向上拍摄的对象35位于环状图像39的下部分中。

以此方式，根据图像拍摄设备12的图像拍摄方向与手柄(手带107)之间的相对位置关系，可以确定在环状图像39中的对象的配置。因此，在根据相对位置关系来决定环状图像39的切断位置时，可以将环状图像39展开为全景图像40，而不需要切断环状图像39中的主要对象。

基于表明图像拍摄方向与手柄之间的相对位置关系的信息，图像拍摄设备12的切断位置决定单元190将环状图像39中的主要对象不被切断的位置决定为环状图像的切断位置。例如，切断位置决定单元190决定环状图像39的切断位置，以使得环状图像39的左侧被沿着切断线37切断或者环状图像39的右侧被沿着切断线38切断(或90°)。图像转换单元192在预定切断位置处(或90°)切断环状图像39，并且使得经切断的环状图像39展开为全景图像40。因此，因为可以在适合于相对位置关系的切断位置处将环状图像39切断并展开，可以产生全景图像40，而不破坏对象的连续性。

3总结

迄今为止已经描述了根据本发明的优选实施例的图像拍摄设备10、11和12及其图像处理方法。根据本实施例，在将全方位图像拍摄操作中产生的环状图像30或39转换为全景图像40时，将环状图像30或39的切断位置决定为在环状图像30的左侧或右侧上，以保持对象的连续性。因此，可以将环状图像30或39展开为全景图像40，而不需要破坏环状图像30或39中的主图像的连续性。

根据第二实施例，在产生环状图像30或39时，基于增加到环状图像30或39中的图像拍摄状态信息，将环状图像30或39的切断位置决定为适合于图像拍摄状态的位置。例如，基于在执行全方位图像拍摄操作时的图像拍摄设备10、11或12的图像拍摄方向与显示器130或手柄之间的相对位置关系来决定环状图像30或39的切断位置。因此，考虑到对象的定位根据图像拍摄状态的倾向，可以将环状图像30或39的切断位置确定为适当的位置。因此，在将环状图像30或39展开为全景图像40时，可以更可靠地保持对象的连续性。

迄今为止已经参考附图描述了本发明的优选实施例，但是本发明不限于此。对于本领域技术人员很明显地，可以在权利要求的范围中描述的技术精神内进行各种修改和替换，并且应该理解这些修改和替换当然属于本发明的技术范围。

在上述实施例中，例如，已经举例说明了两次反射型全方位图像拍摄光学系统21和一次反射型全方位图像拍摄光学系统25，但是根据本发明的实施例的全方位图像拍摄光学系统不限于此。例如，可以使用将来自对象的光反射三次或更多次的全方位图像拍摄光学系统21。全方位图像拍摄光学系统的反射表面、透过表面等的形状不限于所示出的示例，并且可以在设计中任意地调整。

在根据上述实施例的图像拍摄设备10、11和12中，包括全方位图像拍摄光学系统21的转接器20被可拆卸地安装，但是本发明不限于此。全方位图像拍摄设备可以是其中具有全方位图像拍摄光学系统的图像拍摄设备，只要全方位图像拍摄光学系统能够执行全方位图像拍摄操作以产生环状图像。即，根据本发明的实施例的产生环状图像的图像拍摄设备可以是专用于全方位图像拍摄操作的图像拍摄设备。图像拍摄设备不限于零售的数字照相机，但是可以是监视摄像机或用于商业目的的内窥镜的图像拍摄设备。

在上述实施例中，迄今为止已经描述了其中根据本发明实施例的图像处理设备应用到图像拍摄设备10、11或12并且在全方位图像拍摄操作中产生环状图像30的图像拍摄设备自身将环状图像30转换为全景图像40的示例。然而，根据本发明的实施例的图像处理设备不限于此。例如，图像处理设备可以应用到具有图像处理功能的任何电子设备，诸如个人计算机、移动电话、便携式视频/语音播放器、电视接收器、视频记录/再现设备、游戏主机、数字照片相框设备或者车载导航设备。

当图像处理设备不是全方位图像拍摄设备时，可以经由诸如存储卡167的记录介质或诸如互联网或局域网的通信网络将由全方位图像拍摄设备产生的环状图像的数据提供给图像处理设备。全方位图像拍摄设备可以将图像拍摄状态信息增加到所产生的环状图像的数据中，并且图像处理设备可以基于被增加到环状图像的数据中的图像拍摄状态信息来决定环状图像的切断位置。

本申请含有涉及2009年12月28日递交给日本专利局的日本优先专利申请JP 2009-298946中公开的主题，并且通过引用将其结合在这里。

本领域的技术人员可以理解，可以根据设计需要和其他因素来进行各种修改、结合、子结合和替换，只要它们在权利要求的精神或其等价范围内。

Claims (3)

1.一种图像处理设备，包括：

切断位置决定单元，其决定沿着径向方向切断环状图像以保持所述环状图像中的对象的连续性的切断位置，所述环状图像由具有反转显示功能的全方位图像拍摄设备产生，所述反转显示功能使得使用者对自己进行拍摄所得的图像能够反转地显示；以及

图像转换单元，其通过在由所述切断位置决定单元决定的所述切断位置处对所述环状图像进行切断并且将经切断的环状图像展开，而将所述环状图像转换为长矩形全景图像，

其中，所述切断位置决定单元基于图像拍摄状态信息来决定所述切断位置，所述图像拍摄状态信息包括所述全方位图像拍摄设备的图像拍摄单元的旋转角度，所述旋转角度表明在所述全方位图像拍摄设备产生所述环状图像时，所述图像拍摄单元与所述全方位图像拍摄设备的显示单元之间的相对位置关系。

2.根据权利要求1所述的图像处理设备，其中，所述切断位置决定单元决定所述切断位置在所述环状图像的左侧还是右侧上。

3.一种图像处理方法，包括以下步骤：

决定沿着径向方向切断环状图像以保持所述环状图像中的对象的连续性的切断位置，所述环状图像由具有反转显示功能的全方位图像拍摄设备产生，所述反转显示功能使得使用者对自己进行拍摄所得的图像能够反转地显示；以及

通过在所决定的切断位置处对所述环状图像进行切断并将经切断的环状图像展开，而将所述环状图像转换为长矩形全景图像，

其中，所述切断位置是由图像处理设备的切断位置决定单元基于图像拍摄状态信息来决定的，所述图像拍摄状态信息包括所述全方位图像拍摄设备的图像拍摄单元的旋转角度，所述旋转角度表明在所述全方位图像拍摄设备产生所述环状图像，所述图像拍摄单元与所述全方位图像拍摄设备的显示单元之间的相对位置关系。