CN103650475B - 图像转换装置、摄像机、图像转换方法以及记录有程序的记录介质 - Google Patents

Abstract

本发明提供图像转换装置、摄像机、图像转换方法以及程序，其保持能够将图像连结成筒状或者能够同时观察宽范围(最大到360度)的全景图像的特征不变，同时能够将全景图像部分地放大或缩小。该图像转换装置采用的结构包括：图像输入单元，输入全景图像；以及图像伸缩单元，改变全景图像中的所希望的区域的放大率，以在全景图像的连续的区域放大率连续地变化，从而使该全景图像伸缩，图像伸缩单元使图像伸缩，以在全景图像的长度方向上，伸缩后的图像的长度收敛于原来的全景图像内。

Description

图像转换装置、摄像机、图像转换方法以及记录有程序的记录 介质

技术领域

本发明涉及进行全景图像的图像转换的图像转换装置、摄像机、图像转换方法以及记录有程序的记录介质。

背景技术

以往有如下的数码照相机，即通过使拍摄方向在东西南北方向上旋转360°的同时连续地进行拍摄，并且将这些拍摄图像合成，由此生成绕周围一圈的图像连接而成的全景图像的数码照相机。另外，还已知有如下的技术：利用多个镜头拍摄周围360°范围，或者，使用超广角镜头从上方拍摄周围360°范围，从而生成绕周围一圈的图像连接而成的全景图像。

另外，作为与本发明相关的现有技术，在专利文献1、2中，公开了通过指定全景图像中的任意部位，从而除了全景图像以外还将指定部位的放大图像显示输出的装置。另外，在专利文献3中，公开了如下的技术：将一边使镜头的方向在水平方向和上下方向摆动一边拍摄而得到的多个拍摄图像在水平方向和上下方向上进行衔接，从而生成全景图像。在专利文献4中，公开了如下的装置：将在多个拍摄地点拍摄到的全景图像作为气球显示，在地图图像的鸟瞰显示上进行显示输出，并且，能够进行该鸟瞰显示的拉近放大和推远缩小操作。另外，在专利文献5中，公开了对于使用广角镜头进行拍摄而得到的横宽的图像，部分地使放大率变化来扩展图像的技术。

现有技术文献

专利文献

专利文献1：日本特开2003-092750号公报

专利文献2：日本特开2005-148265号公报

专利文献3：日本特开2007-159047号公报

专利文献4：日本特开2007-110675号公报

专利文献5：日本专利第4279613号公报

发明内容

本发明要解决的问题

即使是包含绕周围一圈的图像的全景图像，有时拍摄者或观赏者也会产生想要将关注部分放大显示的要求。另外，360°的全景图像具有能够将带状的图像连结成筒状而生成连续的图像的特征，鉴赏者有时即使对于平面的全景图像也在头脑中将图像连结并想像成筒状图象。因此，即使在将关注部分放大的情况下，一般也会产生想要保持能够将图像连结成筒状这样的特征的要求。

另外，在监视宽范围(360°)的情况下会产生如下的要求，即想要观看整体的同时部分地进行放大来观察。

以往，不存在满足这种要求的全景图像的放大功能。

本发明的目的在于，提供图像转换装置、摄像机、图像转换方法以及记录有程序的记录介质，其保持能够将全景图像连结成筒状、或者能够同时观察宽范围(最大到360°)这样的全景图像的特征不变，同时能够将全景图像部分地放大或缩小。

解决问题的方案

本发明的图像转换装置采用的结构具备：图像输入单元，输入全景图像；以及图像伸缩单元，改变所述全景图像中的所希望的区域的放大率，以在所述全景图像的连续的区域放大率连续地变化，从而使该全景图像伸缩，所述图像伸缩单元使图像伸缩，以在所述全景图像的长度方向上，伸缩后的图像的长度收敛于原来的全景图像内。

本发明的摄像机采用的结构具备：拍摄单元，具有对被摄体进行成像的镜头、以及将由该镜头成像而得到的光学图像转换为电信号的摄像元件，并获得全景图像；上述图像转换装置，从所述拍摄单元输入所述全景图像并进行使其伸缩的处理；以及显示单元，输入由所述图像转换装置伸缩后的所述全景图像的显示数据，并进行图像显示。

本发明的图像转换方法包括以下步骤：图像输入步骤，输入全景图像；以及图像伸缩步骤，改变所述全景图像中的所希望的区域的放大率，以在所述全景图像的连续的区域放大率连续地变化，从而使该全景图像伸缩，在所述图像伸缩步骤中使图像伸缩，以在所述全景图像的长度方向上，伸缩后的图像的长度收敛于原来的全景图像内。

发明的效果

根据本发明，能够通过图像伸缩单元将全景图像部分地放大或缩小。进而，图像伸缩单元使图像伸缩，以在全景图像的眺望方向连续的范围内不使放大率不连续，因此，可以保持全景图像的特征，即能够将图像连结成筒状、或者能够同时观察宽范围(最大到360°)。

附图说明

图1是表示本发明实施方式的摄像机的结构的框图。

图2是用于说明标准投影处理的准备阶段的、三维映射空间的图。

图3是表示在图2的筒状面所投影的全景图像的图。

图4是用于说明标准投影处理的第一例的三维映射空间的图。

图5是表示图4的标准投影处理后的全景图像的图。

图6是用于说明标准投影处理的第二例的三维映射空间的图。

图7是表示图6的标准投影处理后的全景图像的图。

图8是用于说明标准投影处理的第三例的三维映射空间的图。

图9是表示图8的标准投影处理后的全景图像的图。

图10是用于说明标准投影处理的第四例的三维映射空间的图。

图11是表示图10的标准投影处理后的全景图像的图。

图12是用于说明标准投影处理的第五例的三维映射空间的图。

图13是表示图11的标准投影处理后的全景图像的图。

图14是用于说明全景图像的变焦投影处理的三维映射空间的图。

图15是表示变焦投影处理中使用的第一筒状面(原图像面)和第二筒状面(投影面)的相对距离的图。

图16中，图16A是表示变焦投影处理前的全景图像的图，图16B是表示变焦投影处理后的全景图像的图。

图17是根据变焦投影处理后的全景图像生成显示数据的第一加工步骤～第三加工步骤的说明图。

图18是表示全景图像的第一～第三显示例的图像图。

图19是用于说明变焦投影处理的第一变形例的三维映射空间的图。

图20是表示图19的变焦投影处理后的全景图像的图。

图21是用于说明变焦投影处理的第二变形例的三维映射空间的图。

图22是表示图21的变焦投影处理后的全景图像的图。

图23是用于说明变焦投影处理的第三变形例的三维映射空间的图。

图24中，图24A表示图23的变焦投影处理前的全景图像的图，图24B是表示图23的变焦投影处理后的全景图像的图。

图25是表示变焦投影用的第一筒状面和第二筒状面的相对配置的变化例(a-1)～(a-6)，和与各相对配置对应的变焦投影后的全景图像(b-1)～(b-6)的图。

图26是用于说明指定放大方向的方法的第一例～第三例的图。

图27是表示在全景图像中附加了表明各眺望方向的放大率的标尺显示的显示例的图像图。

图28是表示使全景图像为多层结构的第一～第三显示例的示意图。

图29是表示为了用于被摄体跟踪功能而按时间序列获得的多个全景图像的图。

图30是表示并用了被摄体跟踪功能的变焦投影处理后的按时间序列的多个全景图像的图。

图31是表示并用了被摄体跟踪功能的情况下的按时间序列的多个全景图像的显示例的图像图。

图32是用于说明使全景图像伸缩的处理的变形例的图，图32A表示伸缩处理前的全景图像的图，图32B是表示各眺望方向的放大率的曲线图。

图33是用于说明全景图像的纵向的伸缩处理的示意图。

图34是表示纵向伸缩处理后的全景图像的图。

图35中，图35A是表示横向伸缩处理前的全景图像的图，图35B是表示各眺望方向的放大率的曲线图。

图36是用于说明全景图像的横向伸缩处理的示意图。

图37是表示纵横向伸缩处理后的全景图像的图。

具体实施方式

以下，基于附图说明本发明的实施方式。

图1是表示本发明实施方式的摄像机的结构的框图。

如图1所示，本实施方式的摄像机包括：通过拍摄而得到全景图像的拍摄单元11；对全景图像进行后述的标准投影处理的标准投影单元12；作为图像伸缩单元的变焦投影单元13；通过操作按钮从外部接受操作输入的输入接受单元14；基于操作输入进行变焦投影处理的各种设定的变焦投影设定单元15；生成显示数据并输出图像数据的图像输出单元16；以及从图像输出单元16输入显示数据并进行显示输出的显示器17等。

拍摄单元11例如也可以采取如下结构：对通过使用了鱼眼镜头或反射镜的全周围摄像机而得到的全周围图像进行全景展开，从而获得作为原图像的全景图像。或者，拍摄单元11构成为，具有朝向多个方向的多个镜头以及将通过这些多个镜头而成像的光学图像转换为电信号的摄像元件，使用这些多个镜头可拍摄全周围360°的范围。并且，该拍摄单元11将使用多个镜头而拍摄到的多个图像数据连结，来生成360°全周围的图像连成的全景图像的图像数据。拍摄单元11将这样的全景图像的图像数据输出到标准投影单元12。此外，作为拍摄单元11，也可以采用如下结构：搭载方位传感器或陀螺传感器，使用户一边朝向全周围360°的各方向进行旋转一边进行连续拍摄，将通过该连续拍摄而得到的多个图像数据连结，从而获得如上所述的全景图像。此外，作为拍摄单元11，也可以采用用于获得360°的全景图像的各种公知的结构。

变焦投影设定单元15基于通过输入接受单元14输入的来自用户的操作指令，进行全景图像的各眺望方向中要放大的方向和放大率的设定。而且，变焦投影设定单元15将表示该要放大的方向和放大率的数据提供给变焦投影单元13。

变焦投影设定单元15例如通过如下的处理，使用户进行要放大的眺望方向的输入。即，首先，变焦投影设定单元15使显示器17将变焦投影前的全景图像和用于指示放大方向的指针图像重叠进行显示输出。然后，变焦投影设定单元15基于通过输入接受单元14的操作输入而移动指针图像，且基于通过输入接受单元14的确定放大方向的操作输入，将在该操作输入的时间点指针图像所指示的眺望方向确定为要放大的方向。另外，对于放大率的输入，例如，使用户通过输入接受单元14从1倍、2倍、5倍等多种放大率中选择并进行确定。或者，对于放大率的输入，也可以使用户从连续的放大率中选择并进行确定。

标准投影单元12从拍摄单元11输入全景图像的图像数据(图像输入单元)后，进行标准投影处理，即，根据来自变焦投影设定单元15的输入内容而改变该全景图像的视点高度和视野朝向。然后，标准投影单元12将处理后的全景图像的图像数据输出到变焦投影单元13。对于该标准投影处理，将在后面进行详述。

变焦投影单元13进行变焦投影处理，即，保持全景图像的全周围的各方向(以下，称为眺望方向)的图像能够连续地连结这样的全景图像的特征的同时，根据来自变焦投影设定单元15的输入内容对一部分范围进行放大或缩小。而且，变焦投影单元13将处理后的全景图像的图像数据输出到图像输出单元16。对于该投影处理，将在后面进行详述。

图像输出单元16从变焦投影单元13输入连成圆筒状的全景图像的图像数据，并且，进行在任意位置将该全景图像截断而配置成平面状的图像处理，从而生成显示数据。而且，图像输出单元16将该显示数据输出到显示器17，并使其显示输出。

[标准投影处理]

图2表示用于说明由标准投影单元12执行的标准投影处理的准备阶段的三维映射空间的图，图3表示表现了在图2的筒状面所投影的全景图像的图。

标准投影处理是用于对通过拍摄单元11得到的全景图像，大致不改变放大率，而改变视点高度和全景图像的水平面的倾斜的处理。在此，所谓水平面，不是与重力方向垂直的面，而是表示在以矢量表示全景图像的绕周围一圈的各眺望方向时，由该矢量的轨迹表示的平面。

标准投影单元12在开始标准投影处理时，如图2所示那样，在虚拟的三维映射空间构建投影源的筒状面40(圆柱40A的侧面)。而且，标准投影单元12连续地将从拍摄单元11提供的全景图像70映射到该筒状面40。映射全景图像70以在筒状面40的面上全景图像70的全周围图像相连。

这里，全景图像70的中央的水平线L1被映射为筒状面40的中心点O的高度。在标准投影处理中，例如由用户将改变后的视点高度即视点VP指定为中心轴45的任意的高度。全景图像70的带状部分VPa为与视点VP的高度对应的图像部分。另外，在标准投影处理中，例如由用户指定想要关注的(想要设为显示的中央的)点、即在全景图像70上的任意部位的一个或多个点P1～P4，并进行转换以使该关注点成为图像的中央(其结果，改变了水平面的倾斜)。

图4表示用于说明标准投影处理的第一例的三维映射空间的图，图5表示表现了图4的标准投影处理后的全景图像的图。该第一例的标准投影处理是只指定了全景图像70上的一个点P1的情况下的处理。

在这种情况下，如图4所示，标准投影单元12在虚拟的三维映射空间中，以与投影源的筒状面40相同的直径(圆柱40A的直径)，构建投影目的地的筒状面50a(圆柱50Aa的侧面)，以使中心点O相互重叠，并且线段O-P1与中心轴55a垂直。这时，在指定了视点的情况下，将中心O的位置设为视点VP的位置。

构建这样的筒状面50a后，标准投影单元12进行将全景图像70从投影源的筒状面40投影到投影目的地的筒状面50a的处理。以中心点O为投影视点，将筒状面40的各像素投影到筒状面50a，从而进行该投影处理。或者，也可以将中心轴55a作为投影中心进行投影，以使各像素不沿纵向扩展。

如图5所示，通过这样的标准投影处理，生成了在原来的全景图像70上指定的点P1与中央的水平线L2重叠的全景图像80a。而且，生成了如下的全景图像80a，该全景图像80a的水平面如视线在点P1的方向和其相反的方向上相互相反地升降那样地倾斜。

此外，投影后的全景图像80a成为全周围的各眺望方向之中任意的方向的上端或下端的图像发生欠缺的图像，但是，通过在全部眺望方向上，修剪图像的上端部和下端部，能够生成带状的全景图像80a并传送到变焦投影单元13。

图6表示用于说明标准投影处理的第二例的三维映射空间的图，图7表示表现了图6的标准投影处理后的全景图像的图。该第二例的标准投影处理是指定了全景图像70上的两个点P1、P2的情况下的处理。

在这种情况下，标准投影单元12在虚拟的三维映射空间中，以与投影源的筒状面40相同的直径，构建投影目的地的筒状面50b(圆柱50Ab的侧面)，以使中心点O相互重叠，并且三角形O-P1-P2与圆柱50Ab的底面平行。而且，如上所述，标准投影单元12将全景图像70从筒状面40投影到筒状面50b。在未指定视点VP的情况下，标准投影单元12将中心点O设为视点VP的位置。

如图7所示，通过这样的标准投影处理，生成了在原来的全景图像70上指定的点P1、P2与中央的水平线L2b重叠的全景图像80b。另外，因为点P1、P2的方向成为图像80b的中央，所以视线在它们的相反方向上相互相反地升降，从而生成水平面倾斜的全景图像80b。

图8表示用于说明标准投影处理的第三例的三维映射空间的图，图9表示表现了图8的标准投影处理后的全景图像的图。该第三例的标准投影处理是指定了全景图像70上的两个点P1、P2和视点VP的情况下的处理。

在这种情况下，标准投影单元12在虚拟的三维映射空间中，以与投影源的筒状面40相同的直径，构建投影目的地的筒状面50c(圆柱50Ac的侧面)，以使三角形P1-P2-VP与圆柱50Ac的底面平行，并且视点VP成为新的中心点。而且，如上所述，标准投影单元12将全景图像70从筒状面40投影到筒状面50c。

如图9所示，通过这样的标准投影处理，在原来的全景图像70上指定的点P1、P2与中央的水平线L2c重叠，作为从视点VP看到的图像而生成以水平线L2c为中央的图像即全景图像80c。

图10表示用于说明标准投影处理的第四例的三维映射空间的图，图11表示表现了图10的标准投影处理后的全景图像的图。该第四例的标准投影处理是指定了全景图像70上的三个点P1、P2、P3的情况下的处理。

在这种情况下，标准投影单元12在虚拟的三维映射空间中，以与投影源的筒状面40相同的直径，构建投影目的地的筒状面50d(圆柱50Ad的侧面)，以使三角形P1-P2-P3与圆柱50Ad的底面平行并且新的中心点与三角形P1-P2-P3重叠。而且，如上所述，标准投影单元12将全景图像70从筒状面40投影到筒状面50d。

如图11所示，通过这样的标准投影处理，生成了在原来的全景图像70上指定的点P1、P2、P3与中央的水平线L2d重叠的全景图像80d。

图12表示用于说明标准投影处理的第五例的三维映射空间的图，图13表示表现了图12的标准投影处理后的全景图像的图。该第五例的标准投影处理是指定了全景图像70上的多于三个的点P1～P4的情况下的处理。

在这种情况下，标准投影单元12在虚拟的三维映射空间中，以与投影源的筒状面40相同的直径，构建投影目的地的筒状面50e(圆柱50Ae的侧面)，以使总体上与所指定的各点P1～P4之间的距离短的特定的平面(包含水平线L2e的面)与圆柱50Ae的底面平行，并且新的中心点与上述特定的平面重叠。例如，可以利用最小平方法求得上述的特定的平面，以使该平面与各指定点P1～P4之间的距离的平方和最小。而且，如上所述，标准投影单元12将全景图像70从筒状面40投影到筒状面50e。

如图13所示，通过这样的标准投影处理，生成了在原来的全景图像70上指定的各点P1～P4总体上与中央的水平线L2e靠近的全景图像80e。

而且，如上所述，将通过标准投影处理所生成的全景图像80a～80e发送到变焦投影单元13，进行下面进行说明的变焦投影处理。

[变焦投影处理]

图14表示用于说明全景图像的变焦投影处理的三维映射空间的图。图15是表现在变焦投影处理中所使用的第一筒状面和第二筒状面的相对距离的图。在第一筒状面上，映射有从标准投影单元输出的进行了视点高度和倾斜等的位置调整的图像，第二筒状面为投影面。图16A表示表现了从标准投影单元得到的变焦投影处理前的全景图像的图，图16B表示表现了变焦投影处理后的全景图像的图。

如下所述那样，由变焦投影单元13执行变焦投影处理。即，变焦投影单元13首先如图14所示那样，在三维映射空间中，构建第一筒状面20(圆柱20A的侧面)和第二筒状面30(圆柱30A的侧面)。构建这些第一筒状面20和第二筒状面30以使其中心轴(圆柱20A、30A之中心轴)相互平行，并且第二筒状面30的纵向长度比第一筒状面20长。而且，将这些第一筒状面20和第二筒状面30配置成，在纵向上，在第二筒状面30的上端和下端之间包含第一筒状面20的全部。另外，将这些第一筒状面20和第二筒状面30配置成，在水平方向(沿圆柱20A、30A的上表面或下表面的方向)上，第一筒状面20之中心轴25从第二筒状面30之中心位移，且包含于第二筒状面30的圆筒内。

三维映射空间是在存储器上构建的虚拟的三维空间。基于从变焦投影设定单元15提供的放大方向和放大率的数据，确定第一筒状面20和第二筒状面30的位移方向和位移量。

如上所述，构建第一筒状面20和第二筒状面30后，接下来，变焦投影单元13将从标准投影单元12提供的全景图像80(参照图16A)映射到第一筒状面20。在此映射全景图像80，以在第一筒状面20的面上全景图像80的360°全周围的图像相连。

接着，变焦投影单元13以第一筒状面20的中心点O(圆柱20A的中心轴25之中心点O)为投影视点，进行将第一筒状面20的面上的各像素投影映射到第二筒状面30的处理。例如，变焦投影单元13将图14的与直线a重叠的一列像素22放大投影到与直线b重叠的一列像素32上。另外，变焦投影单元13将图14的与直线d重叠的一列像素21缩小投影到与直线c重叠的一列像素31上。变焦投影单元13也同样地将其他范围的像素连续地进行投影。最后，变焦投影单元13得到投影到第二筒状面30的图像作为被伸缩的全景图像90(参照图16B)。

如图16B所示，通过这样的变焦投影处理，得到如下的全景图像90，即，包含360°全周围的各眺望方向的图像，并且一部分的方向的图像被放大，其相反方向的图像被缩小，且，以在连续的范围内不使放大率非连续的方式被伸缩的全景图像90。图16B中，示出了全景图像90的左端和右端被截断的图，但是，在投影到第二筒状面30的阶段，全景图像90的左端和右端为相连的状态。因此，该截断的部分的一方和另一方的放大率相同。

根据第一筒状面20和第二筒状面30之间的位移方向和位移量，确定全景图像90的各部分的放大率。例如，如图14和图15所示，与直线a、b重叠的部分的图像的放大率为“距离Ob/距离Oa”，与直线c、d重叠的部分的图像的放大率为“距离Oc/距离Od”。变焦投影单元13构成为，根据从变焦投影设定单元15输入的放大方向和放大率的数据，改变第一筒状面20和第二筒状面30之间的位移方向和位移量，从而生成以所指定的放大方向和放大率被伸缩的全景图像90。变焦投影单元13向使表示所指定的放大方向的点与中心点O之间的距离最远的方向，使第一筒状面20和第二筒状面30位移。并且，变焦投影单元13根据所指定的放大率确定第一筒状面20和第二筒状面30之间的位移量。

此外，可以对变焦投影的方法进行各种改变。例如，也可以构成为，以不同的半径构建第一筒状面20和第二筒状面30，且，将它们进行配置以使中心轴重叠，并且，使投影视点从中心位移来进行变焦投影处理。通过这样的变焦投影处理，能够按绕周围一圈的各眺望方向，以连续的放大率使全景图像伸缩。

[显示数据生成处理]

图17A～图17C表示根据变焦投影处理后的全景图像生成显示数据的第一加工步骤～第三加工步骤的说明图。

由图像输出单元16使用变焦投影处理后的全景图像90的数据执行显示数据生成处理。在显示数据生成处理中，图像输出单元16首先如图17A所示那样，进行在长度方向上将全景图像90等分成多个的截断处理。例如，图像输出单元16在图中的单点划线处将全景图像90截断，而二等分成图像片断A～C和片断B。接下来，如图17B所示，图像输出单元16进行将上述的片断A～C与显示器17的显示框17A对应而例如配置成多层(例如两层)的处理。继而，图像输出单元16对在显示框17A的上下超出框外的部分，以及配置在上层的片断B和配置在下层的片断A、C发生重叠的部分进行修剪，从而生成如图17C所示那样将全景图像90为两层结构而收敛于显示框17A内的图像的显示数据。在此，全景图像90的截断部位92的一方和另一方的放大率相同，能够直接将图像连续地接合。另一截断部位93也相同。此外，在修剪超出显示框17A之外的部分时，即使在全景图像90的长度方向的一部分的范围被修剪的情况下，如果是可以忽视的程度的微小范围，则能够保持在头脑中能够将全景图像连结成筒状这样的作用。

图18是表示全景图像的第一～第三显示例的图像图。如上所述，通过将由图像输出单元16生成的显示数据输出到显示器17，从而将图18A～图18C那样的显示图像输出到显示器17。图18A是将变焦投影的倍率设为1倍(无变焦)时的显示图像的一例，图18B是以对象物95的方向为中心将倍率设为2倍时的显示图像的一例，图18C是以对象物95的方向为中心将倍率设为5倍时的显示图像的一例。通过由输入接受单元14切换放大方向或放大率的选择，从而图18A～图18C的显示图像被切换。

此外，图17A所示的全景图像的、映射到变焦投影单元13的投影面(第二筒状面30)上的数据的端部实际上彼此相连。在将其截取时，不需要将360°的全部作为全景图像数据使用，也可以构成为，使用大致360°的区域。

[变焦投影处理的变形例]

图19表示用于说明变焦投影处理的第一变形例的三维映射空间的图，图20表示该变焦投影处理后的全景图像的图。

在第一变形例的变焦投影处理中，也与上述的变焦投影处理的筒状面同样地，构建变焦投影前的全景图像被映射的第一筒状面20和该全景图像被变焦投影的第二筒状面30(参照图14)。在第一变形例中，如图19所示，将投影视点O1设定为第一筒状面20的上端的高度来进行投影处理。

如图20所示，通过这样的变焦投影处理，能够使变焦投影处理后的全景图像90a为，在360°全部眺望方向，上端为直线状，放大部分向下方鼓起，缩小部分向上方缩进的形状。即使在这样的变焦投影处理中，也能够得到在连续的范围内放大率不会非连续的全景图像90a。

图21表示用于说明变焦投影处理的第二变形例的三维映射空间的图，图22表示该变焦投影处理后的全景图像的图。

在第二变形例的变焦投影处理中，也与图14的筒状面同样地，构建变焦投影前的全景图像被映射的第一筒状面20和该全景图像被变焦投影的第二筒状面30。在第二变形例中，如图21所示，将投影视点O2设定为第一筒状面20的下端的高度来进行投影处理。

如图22所示，通过这样的变焦投影处理，能够使变焦投影处理后的全景图像90b为，在360°全部眺望方向，下端为直线状，放大部分向上方鼓起，缩小部分向下方缩进的形状。在这样的变焦投影处理中，也能够得到在连续的范围内放大率不会非连续的全景图像90b。

图23表示用于说明变焦投影处理的第三变形例的三维映射空间的图，图24A和图24B分别表示该变焦投影处理前后的全景图像的图。

在第三变形例的变焦投影处理中，变焦投影单元13如下面那样构建第一筒状面20a和第二筒状面30a。即，变焦投影单元13使变焦投影前的全景图像被映射的第一筒状面20a在纵向上长，使全景图像被变焦投影的第二筒状面30a在纵向上短。另外，虽不特别地制限，但变焦投影单元13构建第一筒状面20a和第二筒状面30a以使其直径相同(圆柱20Aa、30Aa的直径相同)。进而，变焦投影单元13将两者配置为，在纵向上第二筒状面30a位于第一筒状面20a的上端和下端之间，在水平方向上第一筒状面20a之中心轴25位于第二筒状面30a的内侧。

这样进行构建后，变焦投影单元13将360°全周围的图像相连而成的全景图像80h以填满第一筒状面20a的全周的方式进行映射。如图24A所示，作为该全景图像80h，适用了在纵向上宽度长(像素数多)的图像。接着，变焦投影单元13以第一筒状面20a之中心点O为投影视点，将第一筒状面20a的全景图像80h投影到第二筒状面30a。在此，由于投影前的全景图像80h在纵向上宽度长，所以剪掉该全景图像80h的上侧或下侧的一部分范围后投影到第一筒状面20a的全域。因此，如图24B所示，投影后的全景图像90h中，纵向的宽度为固定长度，放大了的部分为以画面拉近放大的方式视野被缩窄的图像，缩小的部分为如画面推远缩小那样看到较宽范围的图像。通过进行这样的映射，能够使投影后的全景图像90h与变焦的大小无关地成为相同宽度(上下方向)，由此，能够改变显示后的印象。

图25表示表现了第一筒状面20a和第二筒状面30a的相对配置与变焦投影后的全景图像90h之间的关系的图。本图(a-1)～(a-6)是表示上述相对配置的第一例～第六例的俯视图，(b-1)～(b-6)是与第一例～第六例的相对配置对应的全景图像的图。

在第三变形例的变焦投影处理中，如图25(a-1)～(a-6)所示，通过对将第二筒状面30从第一筒状面20a之中心位移的方向进行各种变化，如图25(b-1)～(b-6)所示，可以放大或缩小全景图像的各方向。

图26A～图26C表示用于说明指定放大方向的方法的第一例～第三例的俯视图。在第三变形例的变焦投影处理中，通过经由输入接受单元14输入放大方向和放大率，也可以进行与这些输入相应的变焦投影处理。例如，图26A所示的例是，通过输入接受单元14输入了映射于第一筒状面20a的全景图像80h的任意的点P1和放大率(以图26的箭头的长度表示)的例。在这种情况下，如同图所示，向所指定的点P1存在的方向，以与放大率相应的量使第二筒状面30a位移，从而进行变焦投影处理。由此，可以得到点P1的方向被放大了的全景图像90h。

图26B所示的例是，通过输入接受单元14输入了映射于第一筒状面20a的全景图像80h的任意的两个点P1、P2和各方向的放大率的例。在这种情况下，如该图所示，根据将基于两个方向的输入的两个矢量v1、v2合成的方向和长度，使第二筒状面30a位移，从而进行变焦投影处理。由此，可以得到所指定的两个方向分别被放大了的全景图像90h。定义上述的矢量v1、v2，以使其表示与所指定的点P1、P2的方向以及所指定的各放大率相应的长度。

图26C所示的例是，与图26B的情况同样地，通过输入接受单元14输入了全景图像80h的任意的两个点P1、P2和各方向的放大率的情况下的另外的例。在该例中，不将第二筒状面30a的横截面的形状限制为圆形，而第二筒状面30a仅在被指定的放大方向上从中心点O向远方鼓起。但是，限制了第二筒状面30a的全周的长度以使其不发生变化。通过这样构成第二筒状面30a来进行变焦投影处理，能够得到所指定的多个放大方向分别被局部放大的全景图像90h。在此表示了限制第二筒状面30a的全周的长度以使其不发生变化的例，但是，在全周的长度发生变化的情况下，将全景画面的水平方向的长度归一化为n倍(n＝2，3，4··)，另一方面，在显示时，将全景图像按1/n的长度进行划分而排列地输出在画面上即可(参照图28)。

[全景图像显示的变形例]

图27表示在全景图像中附加了表现各眺望方向的放大率的标尺显示的显示例。

在全景图像90h的多个方向被局部放大的情况下，优选的是，如图27所示，附加标尺显示(放大率显示图像)98进行显示输出，该标尺显示表现全景图像90h的各眺望方向的放大率。通过该标尺显示98能够使阅览者直观地理解哪个部分被放大哪个部分被缩小。

该标尺显示98通过刻度显示来表现各眺望方向的放大率，使刻度之间隔与其部位的放大率成比例。预先对变焦投影前的全景图像附加等间隔的刻度图像，并将全景图像与该刻度图像一起进行变焦投影，由此能够制成该标尺显示98。此外，标尺显示也可以构成为，例如利用颜色的渐变(越接近红色放大率越高，越接近蓝色放大率越低等)或利用颜色的浓淡来表示放大率。

图28A～图28C表示表现了全景图像的第一～第三显示例的示意图。如在前面参照图17说明的那样，全景图像成为横长的图像。因此，图像输出单元16以使横向的长度大致均等的方式将全景图像以纵向的刻线截断成多个，并将它们排列成多层而进行显示。在图28A～图28C中，360°全周围的图像相连而成的全景图像被划分成两个图像框101、102，或者三个以上的图像框111～113，并显示成多层。在各层的图像框101、102、111～113的左端和右端，图像与利用图中的虚线箭头对应起来的其他图像框101、102、111～113的左端或右端连续。通过这样的多层显示，能够有效地使用显示器17的显示框17A。

另外，通过将全景图像的截断位置向横向一点一点地错位来进行连续显示，图像输出单元16也能够如图28A～图28C所示那样，使多层结构的全景图像的显示在横向环绕移动(称为滚动)。图28A的例是使两层的图像框101、102在相同的滚动方向环绕移动的显示例。图28B的例是通过使第二层的图像框102左右翻转或者上下左右翻转，从而在第一层和第二层使滚动方向反转而使其环绕移动的显示例。通过包含这样左右翻转的图像框102，实现各图像框101、102的左端和右端的图像的连续对方相互接近的配置。因此，鉴赏者容易想像到将全景图像连结而成的筒状图像。图28C的例是通过使第二层图像框112左右翻转或上下左右翻转，从而在第一层和第二层之间以及在第二层和第三层之间使滚动方向反转而使其环绕移动的显示例。即使是这样的三层结构的显示，也能够同様地进行使其环绕移动的显示。

在该变形例中，图像输出单元16构成为，对从变焦投影单元13提供的全景图像，如上所述那样进行截断图像的处理，并将截断后的图像框101、102、111～113配置成多层而生成显示数据。由此，能够进行图28那样的全景图像的显示输出。

[被摄体跟踪功能和全景图像的伸缩功能的协同动作例]

在图29～图31中表示用于说明使被摄体跟踪功能和全景图像的伸缩功能协同动作的动作例的图。图29A、图29B是表示为了用于该被摄体跟踪功能而周期性地(时刻t1、t2)获得的多个全景图像120a、120b的图。图30A、图30B是表示并用了上述被摄体跟踪功能的变焦投影处理后的多个全景图像121a、121b的图。图31A、图31B是表示并用上述被摄体跟踪功能的情况下的多个全景图像的显示例122a、122b的图像图。

被摄体跟踪功能是，通过将拍摄到拍摄图像中的特定的对象物(例如人等)指定为跟踪对象物，从而在其他拍摄图像中检索所指定的跟踪对象物并检测其位置的功能。使运算处理装置对跟踪对象物的颜色和形状进行模式识别，并使运算处理装置进行检索对象的拍摄图像的各部分与跟踪对象物的模式之间的比较，能够实现跟踪对象物的检索。而且，输出被判别为一致的部分的图像位置，作为跟踪对象物的位置。

在本实施方式中，对变焦投影单元13附加了上述的被摄体跟踪功能的结构，进而，通过输入接受单元14，能够将包含于一个拍摄图像的任意的对象物指定为跟踪对象物。上述的被摄体跟踪功能未必一定附加在变焦投影单元13中，也能够通过接受从拍摄单元11输出的摄像图像，并将图像中的跟踪对象物的位置输入到输入接受单元14的方法来实现。

在将通过拍摄单元11周期性地得到的多个全景图像120a、120b输入后，变焦投影单元13进行所指定的跟踪对象物(本实施方式中为人物像G)的检索，并检测其位置。而且，检测出位置后，变焦投影单元13使全景图像120a、120b环绕移动，以使该位置大致为中央。然后，变焦投影单元13进行变焦投影的处理将中央放大，并如图30A、图30B那样生成全景图像121a、121b。而且，变焦投影单元13将这些图像数据输出到图像输出单元16。

图像输出单元16将全景图像121a、121b进行划分而生成两层结构的显示数据，并输出到显示器17。由此得到如图31A、图31B那样跟踪对象的人物像G在上段中央被放大的两层结构的全景图像的显示例122a、122b。

通过对连续拍摄到的多个全景图像连续地进行这样的被摄体跟踪处理和全景图像的放大处理，能够进行如下的图像显示，即，移动中的跟踪对象物被显示在大致固定的位置，背景随着跟踪对象物的移动而移动。

[全景图像的伸缩处理的变形例]

在上述的实施方式中，提出了通过变焦投影处理，使全景图像伸缩以在360°全周围不使放大率非连续的例。但是，使全景图像这样伸缩的方法不限于变焦投影处理。例如，也能够通过下面的利用运算处理装置的图像转换处理来实现。

图32～图37表示用于说明全景图像的伸缩处理的变形例的图。图32A是表示伸缩处理前的全景图像的图，图32B是表示各眺望方向的放大率的曲线图，图33是用于说明该变形例中的纵向伸缩处理的示意图，图34是表示该纵向伸缩处理后的全景图像的图。

在该变形例中，首先，如图32A、图32B所示那样，对于通过拍摄单元11得到的全景图像130，指定每个眺望方向的放大率。设定放大率以在眺望方向连续的范围内不使其非连续。全景图像130的左端和右端表示相同的眺望方向，所以，将左端的放大率和右端的放大率被设定为相同值。例如预先在变焦投影设定单元15中作为函数数据或者表数据存储这样的对每个眺望方向的放大率的数据，并变焦投影设定单元15基于用户的放大方向和放大率的指定适当地进行选择。

进行上述那样的放大率的指定后，运算处理装置如图33所示那样，对全景图像130的像素列131a～131c的每列，进行以所指定的放大率在纵向进行拉伸或者缩合而构成新的像素的图像转换处理。在通过该拉伸或缩合的处理，纵向的像素数超过规定数的情况下，运算处理装置对超过的部分进行修剪，在不到规定数的情况下，例如附加规定颜色的像素来进行补充。

通过这样的纵向的伸缩处理，得到如图34所示那样使原来的全景图像130以指定的放大率沿纵向伸缩的全景图像132。

图35A是表示横向伸缩处理前的全景图像的图，图35B是表示各眺望方向的放大率的曲线图，图36是用于说明横向伸缩处理的示意图，图37是表示纵横向伸缩处理后的全景图像的图。

如上所述那样进行纵向伸缩处理后，继而运算处理装置执行使该全景图像132在横向伸缩的图像转换处理。在该横向伸缩处理中，也如图35B所示那样，使用在纵向伸缩处理中所使用的每个眺望方向的放大率。

在横向伸缩处理中，如图36所示那样，运算处理装置对全景图像132的全部像素列133a～133a、133b～133b，进行根据所指定的放大率将像素列133a～133a在横向进行缩合而构成新的像素列134a～134a的图像转换处理，以及根据所指定的放大率将像素列133b～133b扩展而构成新的像素列134b～134b的图像转换处理。此外，在此，按纵向、横向的顺序进行了放大缩小，但也可以在纵向和横向同时进行放大缩小。

如图37所示，通过这样的横向伸缩处理，能够基于只在纵向伸缩了的全景图像132，获得以所指定的放大率也在横向伸缩了的全景图像135。即使在这样的伸缩处理中，也能够得到在眺望方向连续的范围内以连续的放大率纵横伸缩后的全景图像135。另外，全景图像135被截断后的左端和右端的伸缩率也相同。

如上所述，根据上述的实施方式的摄像机以及其图像转换装置(变焦投影单元13、输入接受单元14、变焦投影设定单元15、图像输出单元16)，能够对于包含绕周围一圈的各眺望方向的拍摄图像的全景图像，按每个眺望方向改变放大率，使全景图像的整体连续地伸缩。并且，在眺望方向连续的范围内，不使放大率非连续。因此，利用该使全景图像伸缩的功能，能够将全景图像中想要关注的部位放大显示。另外，鉴赏者能够容易地将伸缩后的全景图像在头脑中连结成筒状并想像全周围的景观。

另外，根据上述实施方式的摄像机以及其图像转换结构，通过将全景图像从筒状面投影到另外的筒状面的变焦投影单元13的处理，能够容易地生成自然平滑地伸缩的全景图像。

此外，在上述实施方式中，示出了包括拍摄单元11和显示器17的摄像机的结构，但是，也可以将变焦投影单元13、输入接受单元14、变焦投影设定单元15以及图像输出单元16作为图像转换装置分开设置。

另外，在上述实施方式中，在利用标准投影单元使得想要观看的区域位于画面的中心附近的基础上，使用变焦投影单元对想要观看的区域进行放大处理，但是，也可以不进行标准投影单元的处理，而只是通过变焦投影单元的处理对想要观看的区域进行放大处理。

另外，在上述实施方式中，使用标准投影单元、变焦投影单元分两阶段进行了投影，但是，也可以使用将标准投影单元和变焦投影单元的两者一次能够实现的投影面。具体而言，例如，根据视线的高度使图14中的圆柱20A上下移动，并根据水平方向的倾斜，使圆柱20A倾斜，由此一次实现位置调整和变焦这两者。

另外，以输入图像为360度的全景图像的情况进行了实施方式的说明，但是，输入并进行变焦处理的图像不需要限于360度。例如，即使是270度的广角图像、180度的广角图像、120度的广角图像、以及其他角度的广角图像，也能够直接应用。

在此表示作为输入应用了270度的广角图像的情况的例。只要将所输入的270度的处理前的广角图像置换为图14的第一筒状面20的全景图像，之后，实施对于全景图像实施的完全相同的处理即可。在进行标准投影处理的情况下，将处理前的广角图像映射在图2的筒状面40上即可。这样能够保持(显示)输入图像的全部水平方向的范围即270度的范围不变，而且对需要的部分进行放大变焦。

但是，由于输入图像的范围为270度，所以从0度到270度是连续的图像，但是从270度到0度的部分不连续。这是输入图像自身的特性，不是由于处理的特性而产生的。

这样，根据本发明，能够保持(显示)广角的输入图像的水平方向的全部的范围不变，而且对需要的部分进行放大变焦，能够在把握整体的同时将部分进行放大显示。由此，能够同时进行图像的整体把握和详细确认，可得到极大的方便性。

另外，对于上述实施方式所示的、标准投影单元12、变焦投影单元13、变焦投影设定单元15、图像输出单元16的各结构，可以由硬件构成，也可以作为通过计算机执行程序而实现的软件来构成。也可以将程序记录于计算机可读取的记录介质。记录介质也可以是闪速存储器等非易失性的记录介质。

于2011年6月29日提交的日本专利申请特愿2011-144116号包含的说明书，附图以及摘要的公开内容，全部引用于本申请。

工业可利用性

本发明能够适宜地适用于静像照相机以及视频摄像机等图像的输入装置和图像处理装置。

标号说明

11 拍摄单元

13 变焦投影单元

14 输入接受单元

15 变焦投影设定单元

16 图像输出单元

17 显示器

20，20a 第一筒状面

30，30a 第二筒状面

70，80，80h，90，90a，90b，90h、130、132、135 全景图像

98 标尺显示(放大率显示图像)

Claims (8)

1.图像转换装置，具备：

图像输入单元，输入全景图像；以及

图像伸缩单元，改变所述全景图像中的所希望的区域的放大率，以在所述全景图像的连续的区域放大率连续地变化，从而使该全景图像伸缩，

所述图像伸缩单元使图像伸缩，以在所述全景图像的长度方向上，伸缩后的图像的长度收敛于原来的全景图像内。

2.如权利要求1所述的图像转换装置，

所述图像伸缩单元以使所述全景图像中的与所述长度方向正交的纵向的线段不成为曲线的方式使图像伸缩。

3.如权利要求2所述的图像转换装置，

所述图像伸缩单元进行如下处理，从而将所述全景图像放大或缩小，该处理为：在将所述全景图像在三维映射空间内映射到第一筒状面后将该映射后的全景图像投影到与所述第一筒状面重叠的第二筒状面的处理。

4.如权利要求2所述的图像转换装置，还具备：

显示数据生成单元，生成显示数据，该显示数据用于将由所述图像伸缩单元伸缩后的所述全景图像进行显示输出，

所述显示数据生成单元生成附加了放大率显示图像的图像的所述显示数据，该放大率显示图像表示所述全景图像的每个眺望方向的放大率。

5.如权利要求3所述的图像转换装置，还具备：

信息输入单元，输入表示所述全景图像的要伸缩的眺望方向的信息，

所述图像伸缩单元基于由所述信息输入单元输入的所述信息，改变所述第一筒状面或所述第二筒状面的形状或相对配置。

6.如权利要求1至5中任意一项所述的图像转换装置，还具备：

对象跟踪单元，对所述全景图像中的对象进行跟踪，

所述图像伸缩单元使所述全景图像伸缩，以使所述全景图像中的对象跟踪单元的跟踪对象的位置的放大率大于1。

7.摄像机，具备：

拍摄单元，具有对被摄体进行成像的镜头、以及将由该镜头成像而得到的光学图像转换为电信号的摄像元件，并获得全景图像；

权利要求1所述的图像转换装置，从所述拍摄单元输入所述全景图像并进行使其伸缩的处理；以及

显示单元，输入由所述图像转换装置伸缩后的所述全景图像的显示数据，并进行图像显示。

8.图像转换方法，包括：

图像输入步骤，输入全景图像；以及

图像伸缩步骤，改变所述全景图像中的所希望的区域的放大率，以在所述全景图像的连续的区域放大率连续地变化，从而使该全景图像伸缩，

在所述图像伸缩步骤中使图像伸缩，以在所述全景图像的长度方向上，伸缩后的图像的长度收敛于原来的全景图像内。