CN104365083B - 图像处理装置、图像处理方法以及程序 - Google Patents

Abstract

一种图像处理设备配有联系单元，其中，当确定位移成像方向的同时使用通过成像操作获得的多组帧图像数据生成的一组全景图像数据是全环绕全景图像时，该联系单元将全景图像数据与指示全景图像数据是全环绕全景图像的信息相联系。

Description

图像处理装置、图像处理方法以及程序

技术领域

本公开涉及图像处理装置、图像处理方法以及实现这些的程序，尤其涉及适合显示全景图像数据的图像处理。

引用列表

专利文献

专利文献1：JP2010-161520A

背景技术

如专利文献1所示，从多个图像中生成一个全景图像的图像处理是众所周知。

例如，用户在水平扫掠照相机的同时获取大量捕获图像(帧图像数据)，并且通过组合这些图像，可以获取所谓的全景图像。

注意，“扫掠”被认为是在成像的时候，由于成像装置的转动，沿着成像方向移动，以便为全景图像生成获取多种帧图像数据的操作。例如，在成像方向沿着水平移动的情况下，扫掠方向将指向水平方向。

发明内容

技术问题

在为全景图像进行再现和显示的情况下，进行所谓的单视图显示或进行滚动显示是常见的。

单视图显示通过将所有全景图像数据压缩成一个静止图像来显示。在这种情况下，虽然可以观看整个全景图像，但由于压缩，难以成为多姿多彩的图像。

滚动显示通过依次切出全景图像数据的一部分，一边滚动一边显示。通过滚动显示，对于每个部分可以较大地在屏幕上观看全景图像。

但是，例如，滚动显示通过简单地依次切出投影在柱面等上的全景图像数据来显示，未必精确反映从用户的视角观看的场景，比方说，像，例如，水平线或建筑物那样的直线部分明显弯曲了。

另一方面，存在通过将投影在柱面等上的全景图像通过重新投影在平面屏幕上设置成显示图像，获得强烈的沉浸感和现场感的技术。这样的再现和显示的技术在本描述中被称为“投影显示”。

例如，QuickTime VR—一种虚拟环境导航的基于图像方式(苹果电脑公司)等是众所周知的。

虽然可以认为当使用这样的投影显示时，可以提高观看全景图像的显示的用户的满意度，但简单地进行投影显示来取代滚动显示在如下方面是困难的。

虽然全景图像的视角在进行投影显示的制作中可能是必要的，但用户通常很少精确知道在数字照相机的全景模式下投影的全景图像的视角。例如，在全景图像中，存在像具有360°视角的全环绕图像、从具有近似120°的视角的图像到具有近似180°的视角的图像的各种类型图像。此外，除了360°视角之外，这种从全景图像数据中获取视角的计算由于像对准误差、扫掠半径或畸变像差那样的影响而变得不精确，不能获得精确的视角。

这样，视角不能只通过全景图像数据来获知，以及不能进行投影显示的制作。例如，为了保证投影显示的视角是已知的，用户可能有必要在全景成像的时候粗略估计视角，并在制作的时候人工输入视角。这对于普通用户来说将成为困难的操作。进一步，当输入视角显著不同于实际视角时，将导致出现在投影显示图像中的畸变。

据此，从实际用户的观点来看或从显示质量的观点来看，投影显示未必总是最佳显示系统。

本公开的目的是实现一种图像处理，以便能够人工和精确地进行全景图像的显示，尤其，高质量投影显示，例如，通过从专家级使用或商业使用直到一般消费者的设备广泛地假设。

问题的解决方案

按照本公开的图像处理装置包括联系部分，其被配置成在位移成像方向的同时使用通过成像操作获得的多个帧图像数据生成的全景图像数据被确定为全环绕全景图像的情况下，将全景图像数据与显示全景图像数据是全环绕全景图像的信息相联系。

按照本公开的图像处理方法包括进行这样的处理，即在位移成像方向的同时使用通过成像操作获得的多个帧图像数据生成的全景图像数据被确定为全环绕全景图像的情况下，将全景图像数据与显示全景图像数据是全环绕全景图像的信息相联系。

按照本公开的程序使计算处理装置进行该图像处理方法的处理。

在这样的本公开中，将像再现和显示时那样，确定是否是全环绕全景图像的信息加入从多个帧图像数据中组合和生成的全景图像数据中。也就是说，在至少一些全景图像数据被确定为全环绕全景图像的情况下，将显示是全环绕全景图像的信息与这个全景图像数据相联系。这样，例如，当进行随后再现和显示时，可以按照是否是全环绕全景图像选择显示处理系统。

这里，存在可以将全环绕全景图像确定为具有360°(或近似360°)的视角的情况。也就是说，存在当进行投影和显示时，可以将视角固定的情况。

本发明的有利效果

按照本公开，在全景图像数据是全环绕全景图像的情况下，与显示这种情况的信息相联系。因此，具有当进行再现和显示时，可以按照是否是全环绕全景图像选择显示处理系统。例如，在全环绕全景图像的情况下，可以将视角设置成360°来进行适当投影显示等。

附图说明

图1是在本公开的一个实施例中进行的全景成像的说明图；

图2是在一个实施例中的进行的全景图像组合的说明图；

图3是一个实施例的全景图像的说明图；

图4是一个实施例的组合投影处理和显示投影处理的说明图；

图5是一个实施例的滚动显示和投影显示的说明图；

图6是一个实施例的360°全景图像的投影显示的说明图；

图7是一个实施例的单视图显示和列表显示的说明图；

图8是一个实施例的图像处理装置的框图；

图9是一个实施例的图像处理装置安装设备的配置例子的框图；

图10是一个实施例的图像处理装置安装设备的配置例子的框图；

图11是一个实施例的第一配置例子的说明图；

图12是一个实施例的第一配置例子中的处理的流程图；

图13是一个实施例的第二配置例子的说明图；

图14是一个实施例的第二配置例子中的处理的流程图；

图15是一个实施例的第三配置例子的说明图；

图16是一个实施例的第三配置例子中的处理的流程图；

图17是一个实施例的第四配置例子的说明图；

图18是一个实施例的第四配置例子中的处理的流程图；

图19是一个实施例的第五配置例子的成像装置的框图；

图20是一个实施例的安装在成像装置中的全景组合部分和联系部分的功能配置的框图；

图21是在视角不是360°的情况下和未对其进行对准的全景图像的说明图；

图22是一个实施例的对其进行对准的全景图像的说明图；

图23是一个实施例的全景图像的对准的说明图；

图24是一个实施例的在全景成像时的处理的流程图；

图25是一个实施例的显示模式转变的说明图；

图26是一个实施例的安装在存储装置中的显示图像生成部分的功能配置的框图；

图27是一个实施例的显示处理的流程图；以及

图28是一个实施例的计算机装置的框图。

具体实施方式

在下文中，将按如下次序描述实施例。

注意，在实施例中至少含有联系部分11的设备将成为权利要求书中的图像处理装置。

<1.全景组合和再现显示的概况>

<2.图像处理装置配置例子>

<3.第一配置例子(元数据)>

<4.第二配置例子(专用程序)>

<5.第三配置例子(文件链接信息)>

<6.第四配置例子(专用格式)>

<7.第五配置例子(成像装置的应用例子)>

(7-1:成像装置的配置)

(7-2:全景组合和联系处理)

(7-3:全景图像显示)

<8.第六配置例子(计算机装置和程序的应用例子>

<9.修改例>

<1.全景组合和再现显示的概况>

首先，将描述全景组合的概况。

后面将描述的一个实施例的成像装置50、或近年的一般成像装置(数字照相机)可以通过对进行成像的拍摄者在围绕某个转轴转动成像装置50的同时获得的多个静止图像(帧图像数据)进行组合处理生成全景图像。

具体地，一个实施例的成像装置50可以生成具有360°的视角的全环绕全景图像。

图1A示出了在全景成像的时候存储装置50的移动。由于在全景成像的时候当组合背景和前景的视差时会出现连接区的不自然，所以希望将成像时的旋转中心设置成不会出现视差、称为节点(Nodal Point)、透镜特有的点的旋转中心。将在全景成像的时候成像装置50的转动称为“扫掠”。

图1B是对通过成像装置50的扫掠获得的多个静止图像进行适当对准时的示意图。在这个图形中，按成像的时序示出了通过成像获得的每个静止图像。也就是说，将从时间0直到时间(n-1)捕获的帧图像数据设置成帧图像数据FM#0，FM#1，......，FM#(n-1)。

在从n个静止图像中生成全景图像的情况下，对像所例示那样连续捕获的一系列n个帧图像数据FM#0到FM#(n-1)进行组合处理。

如图1B所示，由于可能有必要让每个捕获帧图像数据具有与相邻帧图像数据的重叠部分，所以有必要适当设置成像装置50的每个帧图像数据的成像时间间隔、和拍摄者进行扫掠的速度的上限值。

此外，由于这样对准的帧图像数据具有许多重叠部分，所以可能有必要对每个帧图像数据确定用于最终全景图像的区域。换句话说，这等同于在全景组合处理中确定图像的连接区(接缝：接缝)。

在图2A和图2B中，示出了接缝SM的例子。

在接缝中，可以像图2A所示那样沿着扫掠方向设置成垂直直线，或像图2B所示那样设置成非直线(曲线等)。

在图2A和图2B中，接缝SM0被显示成帧图像数据FM#0和FM#1之间的连接区，接缝SM1被显示成帧图像数据FM#1和FM#2之间的连接区，......，以及接缝SM(n-2)被显示成帧图像数据FM#(n-2)和FM#(n-1)之间的连接区。

注意，通过在组合的时候将这些接缝SM0到SM(n-2)设置成相邻图像之间的连接区，在每个帧图像数据中成为阴影部分的部分将变成未用于最终全景图像的图像区域。

进一步，当进行全景组合时，设置降低接缝附近的图像的不自然的目标，以及将存在也对接缝附近的图像区域进行混合处理的情况。此外，还将存在在宽范围内通过混合处理连接每个帧图像数据的共同部分的情况，或还将存在从共同部分中为每个像素选择对全景图像有贡献的像素的情况下，以及在这些情况下，虽然清楚地存在连接区，但对于本公开来说，这些宽范围连接部分将具有与接缝相同的外观。

进一步，如图1B所示，作为对准每个帧图像数据的结果，不仅在一般扫掠方向，而且在与扫掠方向垂直的方向识别出某种移动。由于拍摄者在扫掠的时候使照相机抖动，所以将存在由此引起的间隙。

通过确定每个帧图像数据的接缝，通过这些边界区域上的连接或混合处理进行连接，以及最终考虑到照相机抖动量地在与扫掠方向垂直的方向修剪掉不必要部分，可以像图3所示那样，将扫掠方向设置成长边方向地获得具有宽视角的全景图像。

在图3中，垂直线示出了接缝，并示意性地示出了通过在接缝SM0到 SM(n-2)上分别连接n个帧图像数据FM#0到FM#(n-1)生成全景图像的状态。

下面将描述用户为了使用成像装置50获取这样的全景图像而进行的全景成像的特定操作例子。

首先，将成像装置50设置成全景成像模式，并另外设置最大图像视角。例如，能够将120°、180°、360°等设置成最大图像视角，在选择360°的情况下，可以进行为所有照片存储周围的整个场景的所谓全环绕成像。注意，像“360°全景成像模式”那样的表达用在在全景成像模式下将最大图像视角设置成360°的情况下，像“180°全景成像模式”那样的表达用在将最大图像视角设置成180°的情况下。

接着，通过让拍摄者按下成像装置50的快门按钮开始全景成像，并进行扫掠操作。此后，在满足全景成像的结束条件的情况下，完成全景成像。例如，结束条件如下：

*达到事先设置的最大图像视角的情况；

*用户停止扫掠操作的情况；

*用户再次按下快门按钮的情况；

*用户从快门按钮上移走手指的情况(规定在全景成像期间连续按住快门按钮)；以及

*发生某种错误的情况。

在完成成像之后，自动开始全景组合处理，在经过了某个时间之后完成全景图像的组合，并将这个全景图像数据保存在记录设备中。此后，通常使列表与静止图像的相同，并且可以显示该列表。

下面将描述像这种情况那样的所生成全景图像数据以及这种情况的显示模式。

图4A是全景组合时的投影处理的示意图。虽然全景组合时的处理系统是多种多样的，但往往进行，例如，投影在柱面、球面、立方体等上的处理。这在本描述中被称为“组合投影处理”，并与后面将描述的、为了投影显示而进行的“显示投影处理”区分开。

在这个图4A中，示出了在全景成像的时候一边扫掠一边捕获的大量帧图像数据FM。可以认为，帧图像数据FM，即，与正常拍摄相同的捕获图像将三维场景投影在平面(例如，照相机的成像器平面)上。当从这样的大量帧图像数据FM中生成像图3的那个那样的全景图像数据时，例如，像组合投影处理那样，设置将每个帧图像数据FM投影在柱面FR上的状态。在这个图形中，沿着柱面FR示意性地示出了投影帧图像数据FMpd。

通过连接对其进行这样的组合投影处理的帧图像数据FMpd生成像图4B 的那个那样的全景图像数据PD。全景图像数据PD可以是如从投影中心CT 看过去再次在柱面FR上进行了投影的图像数据。

在本实施例中，对于这样的全景图像数据PD，单视图显示、列表显示、滚动显示和投影显示能够作为显示模式来执行。这些显示模式例示在图5、图6和图7中。

图5示意性地示出了滚动显示和投影显示的概念。

滚动显示切出作为按原样投影在像上述那样的柱面等上的图像的全景图像数据PD的一部分，并通过向上，向下，向左和向右滚动自动显示或依照人工操作显示。

另一方面，投影显示不同于滚动显示，它是对投影在柱面、球面、立方体等的全景图像数据PD再次进行到虚拟平面屏幕VS的投影(显示投影处理) 的图像。

也就是说，在这种情况下，进行像显示投影处理那样将在全景图像生成的时候投影在投影面上的全景图像数据投影在平面上的处理。此外，将投影在平面上的图像设置成显示图像数据。

这样，可以再现成像时的图像，消除如从滚动显示中看到的由柱面投影或球面投影引起的投影畸变，以及实现沉浸感和现场感得到改善的显示。

例如，图6示意性地示出了在360°全景成像模式下获得的全景图像数据 PD的投影显示。全景图像数据PD是投影在投影中心CT的周围的360°柱面上的图像数据。这种全景图像数据PD被投影在与每个角度相对应的虚拟平面屏幕VS0......VS45......等上。例如，平面屏幕VS0被显示成中心在从投影中心CT出发的0°方向上的平面屏幕，平面屏幕VS45被显示成中心在从投影中心CT出发的45°方向上的平面屏幕。在该图形中，另外例示了135°方向、180°方向、225°方向和315°方向的每个平面屏幕VS135，VS180，VS225和VS315。

在投影显示中，显示投影在设置成从投影中心CT出发这样的观看方向的平面屏幕VS上的图像。通过自动地或依照人工操作适当设置从投影中心 CT到平面屏幕VS的矢量或距离，可以改变观看方向或放大/缩小。

例如，如果依次显示平面屏幕VS0的投影图像、平面屏幕VS1(1°方向)、平面屏幕VS2(2°方向)、......、平面屏幕VS45、......、平面屏幕VS135、......、平面屏幕VS315、......、和平面屏幕VS0的投影图像，则可以显示成从投影中心CT全环绕地观看周围。

进一步，通过离开投影中心CT地移动平面屏幕VS或使其接近投影中心 CT，将放大/缩小显示的图像。

但是，除了在360°全景成像模式下捕获的全环绕全景图像之外，不能精确获得全景图像数据的视角。此外，不能严格定义进行显示投影处理时的三维模型。于是，非360°全景图像数据不适合投影显示。

接着，图7A示出了单视图显示的例子，以及图7B示出了列表显示的例子。

由于单视图显示生成简单地包括所有全景图像数据PD的显示图像数据，并显示它，所以是普通显示操作。例如，通过让全景图像变成水平长图像，以及将其与显示屏的不同纵横比结合，像显示在图7A中那样屏幕的一些部分(在本例的情况下，上部区域和下部区域)往往变成不显示的区域。

如图7B所示，列表显示显示能够再现和显示在列表中的图像数据。例如，通过让用户在列表显示中进行图像规定，可以选择进行上述滚动显示或投影处理的全景图像数据PD。

注意，例如，虽然图7B的列表显示的图像不是压缩整个水平长全景图像的图像，但在在列表显示中表示全景图像数据PD的情况下，可以切出和压缩全景图像的一部分，并且可以像所例示那样进行显示。不用说，例如，通过压缩整个水平长全景图像，还存在像多并排那样的列表显示模式。

<2.图像处理装置配置例子>

下面将描述一个实施例的图像处理装置的配置例子。

图8A示出了含有包括生成全景图像数据的联系部分11的信息处理装置 1、和全景组合部分10的配置例子。联系部分11和全景组合部分10可以包括在同一设备内的单个主体中，或可以每一个包括在不同设备主体中。

进一步，图8B示出了含有包括显示全景图像数据的显示图像生成部分20的图像处理装置2、和显示部分21的配置例子。显示图像生成部分20和显示部分可以包括在同一设备内的单个主体中，或可以每一个包括在不同设备主体中。

在图8A的配置中，全景组合部分10从输入图像群FMS中生成全景图像数据PD。输入图像群FMS是通过让拍摄者在全景成像模式下一边扫掠一边进行成像操作获得的一系列帧图像数据FM。全景组合部分10通过将多个帧图像数据FM用作输入图像群FMS，生成像上面在图1到3中所述那样的全景图像数据PD。

然后，全景组合部分10将所生成全景图像数据PD供应给联系部分11。注意，全景组合部分10的详细处理例子将在一个实施例的第五配置例子的描述中陈述。

进一步，全景组合部分10在全景图像数据PD的生成处理中还将各种类型的全景处理信息Ip供应给联系部分11。

全景处理信息Ip是在全景组合处理的各种处理中生成的各种类型信息的统称。

例如，示出像360°全景成像模式或180°全景成像模式那样的模式类型的信息(在下文中，全景模式类型信息)可以被认为是全景处理信息Ip的内容。

进一步，示出全景图像数据PD是否具有360°视角的确定结果的信息(在下文中，360°视角确定信息)可以被认为是全景处理信息Ip的内容。例如，这是确定是否是精确360°视角的结果的信息。注意，可以是确定具有大约360°视角的结果。

进一步，示出全景图像数据PD是否具有360°视角、和进行两端对准的信息(在下文中，两端对准信息)可以被认为是全景处理信息Ip的内容。虽然两端对准将在一个实施例的第五配置例子的描述中陈述。但可以简单地认为，这是进行调整，以便在全景图像的0°和360°位置上，也就是说，在全景图像的两端上沿着垂直方向和水平方向没有图像间隙的处理。

进一步，组合投影处理的投影表面的信息(在下文中，组合投影表面信息)可以被认为是全景处理信息Ip的内容。例如，这是示出柱面、球面、多边形表面、平面等的信息。

进一步，示出全景图像数据PD的水平视角和垂直视角的信息(在下文中，水平和垂直视角信息)可以被认为是全景处理信息Ip的内容。

在所生成全景图像数据PD被确定为全环绕全景图像的情况下，联系部分11进行将这个全景图像数据PD与示出这个全景图像数据PD是全环绕全景图像的信息相联系的处理(联系处理)。作为联系处理的特定处理例子将在一个实施例的第一配置例子到第四配置例子中描述。

此外，联系部分11输出全景图像数据以便加以记录或发送。为了在描述中加以区分，将把联系部分11输出、要加以记录或发送的全景图像数据特别称为“全景图像文件PDr”。

这个全景图像文件PDr是记录到记录介质中或发送给另一个设备的全景图像数据。尤其，在全景图像数据PD具有近似360°视角(或精确360°视角) 的情况下，将存在与示出这是全环绕全景图像的信息相联系的状态一个或多个数据文件。

接着，在图8B的配置中，显示图像生成部分20获取全景图像文件PDr。

例如，将通过从上述联系部分11输出记录到记录介质中的全景图像文件 PDr通过从记录介质中读取供应给显示图像生成部分20。可替代地，将通过从联系部分11输出发送和输出的全景图像文件PDr通过接收供应给显示图像生成部分20。

例如，显示图像生成部分20为上述单视图显示、列表显示、滚动显示或投影显示生成显示图像数据PDdsp。尤其，在选为显示目标的全景图像文件 PDr的全景图像被确定为全环绕全景图像的情况下，通过进行显示投影处理生成用于投影显示的显示图像数据PDdsp。

此外，显示图像生成部分20将显示图像数据PDdsp供应给显示部分21。显示图像生成部分20的特定处理例子将在一个实施例的第一配置例子到第四配置例子中描述。

显示部分21含有像液晶面板、有机电致发光(EL)面板、等离子显示面板或阴极射线管(CRT)那样的显示面板、和这个显示面板的显示驱动部分，并进行各种类型的显示。通过拥有从显示图像生成部分20a供应的显示图像数据PDdsp，在这个显示部分21中执行基于这种显示图像数据PDdsp的显示操作。例如，进行与全景图像有关的单视图显示、列表显示、滚动显示或投影显示。

在本例的情况下，在选为显示目标的全景图像文件PDr的全景图像被确定为全环绕全景图像的情况下，显示图像生成部分20通过进行显示投影处理生成显示图像数据PDdsp，并将其供应给显示部分21。例如，依次供应投影在图6的虚拟平面屏幕VS上的图像，以及在这种情况下，由显示部分21进行投影显示。

像上述那样，各种类型的配置例子可以被认为是含有包括联系部分11的图像处理设备1、和包括显示图像生成部分20的图像处理装置2的电子设备。各种类型的装置配置例子将作为电子设备例示在图9和图10中。

图9A是图像处理装置1和图像处理装置2构成包括成像功能的装置 DVC1的例子。

这个例子的装置DVC1含有成像部分12、全景组合部分10、联系部分 11、记录和再现部分13、显示图像生成部分20、和显示部分21。

例如，成像部分12通过全景图像数据的成像操作，获取生成全景图像的一系列多个帧图像数据FM。将这多个帧图像数据FM供应给全景组合部分 10作为输入图像群FMS。全景组合部分10从输入图像群FMS中生成全景图像数据PD，并输出全景图像数据PD和全景处理信息Ip。联系部分11进行上述联系处理，并输出全景图像文件PDr。在记录和再现部分13中将全景图像文件PDr记录到记录介质中。

将在记录和再现部分13中从记录介质中读取的全景图像文件PDr供应给显示图像生成部分20，并生成显示图像数据PDdsp。将这个显示图像数据 PDdsp供应给显示部分21，并进行像投影显示那样的显示。

这样，例如，可以假设装置DVC1是包括全景成像功能、记录和再现功能、和显示功能的数字照相机、摄像机、移动电话单元、计算机装置等。

图9B是图像处理装置1和图像处理装置2构成包括从外部输入图像数据的图像数据输入功能的装置DVC2的例子。

这个例子的装置DVC2含有输入部分14、全景组合部分10、联系部分 11、记录和再现部分13、显示图像生成部分20、和显示部分21。也就是说，与上述图9A相比，存在包括输入部分14来取代成像部分12的情况。

例如，输入部分14输入通过在外部成像装置中进行全景图像数据的成像操作获得、生成全景图像的一系列多个帧图像数据FM。将这多个帧图像数据 FM供应给全景组合部分10作为输入图像群FMS。此后的每个部分的操作都与图9A的那些相同。

这样，装置DVC2是通过使用在外部成像装置中获得的帧图像数据FM 进行全景图像生成，或进行全景图像的显示的设备。例如，可以假设是通过与像数字照相机那样的成像装置有线或无线连接使用的图像编辑设备、记录和再现装置、电视接收设备、移动电话单元、计算机装置等。

图9C的装置DVC3是图像处理装置1和图像处理装置2构成没有显示部分21的设备的例子。

这个例子的装置DVC3含有输入部分14(或成像部分12)、全景组合部分10、联系部分11、记录和再现部分13、和显示图像生成部分20。这种情况的显示部分21变成与装置DVC3连接的外部设备。虽然每个部分的操作与图9A和9B的那些相同，但显示图像生成部分210将生成的显示图像数据PDdsp发送给外部显示部分21，使像投影显示那样的显示得以进行。

这样，图像处理装置1和图像处理装置2能够作为没有显示功能的设备来执行。

图10A是成为图像处理装置1的装置DVC4、和成为图像处理装置2的装置DVC5的例子。

装置DVC4含有成像部分12(或输入部分14)、全景组合部分10、联系部分11、和记录部分13R。

记录部分13R将来自联系部分11的全景图像文件PDr记录到便携式记录介质90中。可以将存储卡、光盘、磁盘等假设为便携式记录介质90。

装置DVC5含有再现部分13P、显示图像生成部分20、和显示部分21。

再现部分13P从便携式记录介质90中再现全景图像文件PDr，并将其供应给显示图像生成部分20。显示图像生成部分20根据全景图像文件PDr生成显示图像数据PDdsp，并通过供应给显示部分21使全景图像的显示得以进行。

在这样的例子中，通过便携式记录介质90输送全景图像文件PDr的配置可以被认为是成为图像处理装置1的装置DVC4和成为图像处理装置2的装置DVC5是不同主体的配置。注意，也可以考虑在装置DVC5中不包括显示部分21、使用外部显示部分21的例子。

图10B是成为图像处理装置1的装置DVC6、和成为图像处理装置2的装置DVC7的例子。

装置DVC6含有成像部分12(或输入部分14)、全景组合部分10、联系部分11、和通信部分15。

通信部分15将来自联系部分11的全景图像文件PDr发送到外部。

装置DVC7含有通信部分16、显示图像生成部分20、和显示部分21。

通信部分16接收从装置DVC6发送的全景图像文件PDr，并将其供应给显示图像生成部分20。显示图像生成部分20根据全景图像文件PDr生成显示图像数据PDdsp，并通过供应给显示部分21使全景图像的显示得以进行。

在这样的例子中，通过通信输送全景图像文件PDr的配置可以被认为是成为图像处理装置1的装置DVC4和成为图像处理装置2的装置DVC5是不同主体的配置。

关于通信部分15和16之间的通信，也可以考虑有线通信或无线通信。进一步，假设该通信是像通过设备之间的电缆连接的通信、通过通用串行总线(USB)等的通信、通过局域网(LAN)的通信、或使用像互联网那样的公共网络的通信那样的所谓通信模式。另外，通信部分15可以进行在互联网上将全景图像文件PDr上载到服务器等的通信，或通信部分16可以进行从服务器下载全景图像文件PDr的通信。进一步，通信部分15和16可以进行采用云计算的通信。

注意，也可以考虑在装置DVC7中不包括显示部分21、使用外部显示部分21的例子。

至此，虽然已经示出了设备配置例子，但可以针对各种类型另外考虑实现图像处理装置1和2的设备配置。

例如，在采用云计算系统的情况下，也可以考虑将联系部分11和显示图像生成部分20安排在网络上而不是在用户使用设备中。

进一步，上述全景图像文件PDr是对其进行将全景图像数据PD与显示这个全景图像数据PD是全环绕全景图像的信息相联系的处理的数据。虽然可以考虑构建将显示是全环绕全景图像的信息(例如，后面将描述的元数据或专用程序)与全景图像数据PD合并的文件作为这个全景图像文件PDr，但也可以作为不同文件地包括另外全景图像数据PD和显示是全环绕全景图像的信息，以及还存在通过某种信息将这些相联系的模式。

<3.第一配置例子(元数据)>

在下文中，将描述作为显示在图8中的联系部分11和显示图像生成部分 20的特定配置例子。第一配置例子是联系部分11使用元数据进行联系的例子。

图11A示出了图像处理装置1中的全景组合部分10和联系部分11。在这个第一配置例子中，联系部分11含有元数据生成部分11a和数据综合部分 11b。

全景组合部分10生成全景图像数据PD并输出全景处理信息Ip。

将全景处理信息Ip供应给元数据生成部分11a。元数据生成部分11a生成反映全景处理信息Ip的元数据MT。作为上述全景处理信息Ip的内容，存在全景模式类型信息、360°视角确定信息、两端对准信息、组合投影表面信息、水平和垂直视角信息等。

在生成的全景图像数据PD被确定为全环绕全景图像的情况下，这些信息当中的全景模式类型信息、360°视角确定信息或两端对准信息可以成为显示这个全景图像数据PD是全环绕全景图像的信息。

数据综合部分11b通过将全景组合部分10生成的全景图像数据PD与元数据生成部分11a生成的元数据MT综合生成全景图像文件PDr。例如，全景图像文件PDr成为像图11B那样的结构。也就是说，这是包括首标、全景图像数据PD、和元数据MT的数据文件结构。

在例示在图9和图10中的装置DVC1到DVC3、DVC4和DVC6的每一种中，将这样的全景图像文件PDr记录到记录介质中或加以发送和输出。

图11C示出了图像处理装置2中的显示图像生成部分20。在这个第一配置例子中，显示图像生成部分20含有数据分离部分20a、元数据解释部分20b、和图像生成处理部分20c。

将从记录介质中再现或接收的全景图像文件PDr输入数据分离部分20a 中。数据分离部分20a从这个全景图像文件PDr中分离元数据MT和全景图像数据PD。

元数据MT经元数据解释部分20b解释，供应给图像生成处理部分20c 作为全景处理信息Ip(全景模式类型信息、360°视角确定信息、两端对准信息、组合投影表面信息、水平和垂直视角信息)。

图像生成处理部分20c根据全景图像数据PD生成并输出显示图像数据PDdsp。此时，依照全景处理信息Ip的内容确定是否为投影显示进行显示图像数据PDdsp生成。也就是说，在显示目标的全景图像数据PD被确定为全环绕全景图像的情况下，进行有关投影显示的处理，而在不是全环绕全景图像的情况下，进行，例如，有关滚动显示或单视图显示的处理。

然后，将生成的显示图像数据PDdsp供应给未例示的显示部分、或含有显示部分的设备，并进行显示。

在例示在图9和图10中的装置DVC1到DVC3、DVC5和DVC7的每一种中，将这种显示图像数据PDdsp供应给显示部分21并进行全景图像显示。

在图12中示出了上述图像处理装置1和图像处理装置2的处理例子。

图12A示出了作为图像处理装置1的全景组合部分10和联系部分11的处理。

在步骤F1中，全景组合部分10获取输入图像群FMS。

在步骤F2中，通过让全景组合部分10进行全景组合处理生成全景图像数据PD。全景组合部分10将在这种全景组合处理过程中获得的全景处理信息Ip供应给联系部分11(元数据生成部分11a)。

在步骤F3中，联系部分11(元数据生成部分11a)根据全景处理信息Ip 生成元数据MT。

在步骤F4中，联系部分11(数据综合部分11b)将全景图像数据PD与元数据MT综合并生成，例如，像图11B的那个那样的全景图像文件PDr。

在步骤F5中，由未例示的记录和再现部分将全景图像文件PDr记录到记录介质中，并通过未例示的通信部分发送和输出到外部设备、网络等。

在图12B中，示出了图像处理装置2的显示图像生成部分20的处理。

在步骤F51中，显示图像生成部分20(数据分离部分20a)获取通过未例示的记录介质再现或通过未例示的通信部分接收的全景图像文件PDr。

在步骤F52中，显示图像生成部分20(数据分离部分20a、元数据解释部分20b)从全景图像文件PDr中分离全景图像数据PD和元数据MT，提供元数据MT，并通过解释这个元数据MT获取全景处理信息Ip。

在步骤F53中，显示图像生成部分20(图像生成处理部分20c)通过此时的显示目标的全景图像数据PD是否是具有360°视角的全环绕全景图像将处理分支。

可以针对各种类型考虑全景图像数据PD是否是全环绕全景图像的确定。

通过参照全景处理信息Ip中的360°视角确定信息，可以确定全景图像数据PD是否具有精确360°视角。于是，可以在具有精确360°视角的情况下确定是全环绕全景图像。

进一步，通过参照全景处理信息Ip中的两端对准信息，可以确定全景图像数据PD是否具有360°视角，以及是否进行两端对准处理。于是，通过作为条件，具有360°视角和进行两端对准处理的设置，可以确定是全环绕全景图像。

进一步，通过参照全景处理信息Ip中的全景模式类型信息，可以确定是否以360°全景成像模式捕获全景图像数据PD，也就是说，是否具有近似360°视角。于是，如果以360°全景成像模式捕获，则可以确定是全环绕全景图像。

注意，可能没有必要认为以360°全景成像模式捕获的全景图像数据PD 具有精确360°视角。这是因为，在360°全景成像模式下，虽然从在成像的时候通过360°扫掠获得的帧图像数据FM中生成全景图像数据PD，但该扫掠由执行进行，未必成为精确360°视角。存在用户在到达360°之前停止扫掠的情况。因此，在360°全景成像模式下捕获的全景图像数据PD变成估计具有近似360°视角的图像。

在步骤F53中，使用上述确定技术的任何一种，在确定是全环绕全景图像的情况下，显示图像生成部分20(图像生成处理部分20c)转到步骤F54，通过进行显示投影处理生成显示图像数据PDdsp，并在步骤F55中，进行输出这个显示图像数据PDdsp的处理。这些步骤F54和F55的处理一直继续到在步骤F56中，通过用户操作或自动处理变成显示结束。这样，在显示部分中，作为投影显示，进行，例如，使得全环绕观看的显示或任意方向的显示。

这里，在进行投影显示的显示投影处理中，全景图像的视角的信息可能是有必要的。在本例的情况下，成为步骤F54的处理目标的全景图像数据PD 像上述那样被确定为全环绕全景图像，于是，图像生成处理部分20c可以通过将全景图像数据PD设置成360°的视角进行显示投影处理。这样，可以进行存在少数图像畸变的高质量投影显示。

进一步，在显示投影处理中，将在全景组合的时候进行到投影表面(柱面、球面、多边形表面等)的投影的全景图像数据PD重新投影在虚拟平面屏幕VS上。于是，全景图像数据PD的投影表面的信息可能是有必要的。在本例中，通过参照全景处理信息Ip中的组合投影表面信息，图像生成处理部分20c可以精确地进行到平面屏幕VS的重新投影处理。

进一步，在投影显示中，通过改变虚拟平面屏幕VS的水平和垂直视角，可以与滚动显示相同地进行沿着水平和垂直方向观看周围的显示。例如，通过沿着水平方向具有360°视角，可以在沿着水平方向进行无限制滚动的同时，沿着垂直方向加以限制。在这种情况下，通过参照全景处理信息Ip中的水平和垂直视角信息，图像生成处理部分20c可以限制垂直方向的能够滚动范围。

注意，水平和垂直视角信息可以是简单地用于限制显示范围，而不是为了显示用在到平面屏幕VS的投影处理本身中的信息。因此，可以示出视角的精确大值。在生成全景图像数据PD的时候，可能不必进行获取高度精确水平和垂直视角的困难计算。

在步骤F53中，在确定不是全环绕全景图像的情况下，在步骤F57中，显示图像生成部分20(图像生成处理部分20c)进行另一个系统的显示图像数据生成处理。例如，像滚动显示或单视图显示那样生成全景图像数据PDdsp。然后，在步骤F58中，进行输出全景图像数据PDdsp的处理。这些步骤F57和F58的处理一直继续到在步骤F59中确定显示结束。这样，在显示部分中，进行除了投影显示之外的滚动显示或单视图显示。

在不是全环绕全景图像的情况下，如果不精确知道视角，则不能高质量地进行显示。于是，进行滚动显示或单视图显示。

在像上述那样的第一配置例子中，在信息处理装置1中，联系部分11通过将包括示出是全环绕全景图像的信息的元数据MT与全景图像数据PD相联系生成全景图像文件PDr。

示出全景图像生成时帧图像数据的投影表面的类型的组合投影表面信息、全景图像数据PD的360°视角确定信息、两端对准信息、全景模式信息和水平和垂直视角信息才包括在元数据MT中。

另一方面，在图像处理装置2中，显示图像生成部分20在全景图像数据 PD被确定为全环绕全景图像的时候，通过进行显示投影处理生成显示图像数据，并使投影显示得以进行。全环绕全景图像的确定使用相联系成元数据MT 的信息。

通过这样的配置，可以对可以进行精确投影显示的全环绕全景图像自动进行投影显示，以及可以为用户提供具有沉浸感的显示。另一方面，通过在不能精确指定非全环绕全景图像的视角的时候，通过另一种显示系统进行显示，可以进行显示操作的切换，以便不进行低质量投影显示。

进一步，全景模式类型信息、360°视角确定信息、两端对准信息等作为元数据MT包括进来，通过让这些信息与全景图像数据PD相联系，可以容易地和精确地进行是否是全环绕全景图像的确定。也就是说，使显示系统的选择变得既容易又精确。

进一步，通过让组合投影表面信息包括在元数据MT中，可以精确地进行显示投影处理。

<4.第二配置例子(专用程序)>

下面将描述一个实施例的第二配置例子。在第二配置例子中，图像处理装置1的联系部分11将用于显示全环绕全景图像的显示处理程序(专用程序) 与全景图像数据PD相联系，作为示出是全环绕全景图像的信息。

进一步，图像处理装置2的显示图像生成部分20通过让显示处理程序与全景图像数据PD相联系确定是全环绕全景图像，并根据这个显示处理程序，通过进行显示投影处理生成显示图像数据。

图13A示出了图像处理装置1中的全景组合部分10和联系部分11。在这个第二配置例子中，联系部分11含有显示处理程序生成部分11d和数据综合部分11e。

全景组合部分10生成全景图像数据PD并输出全景处理信息Ip。

将全景处理信息Ip供应给显示处理程序生成部分11d。显示处理程序生成部分11d使显示处理程序PG根据全景处理信息Ip生成。通过全景处理信息Ip中的全景模式类型信息、360°视角确定信息和两端对准信息的任何一种确定全景图像数据PD是否是全环绕全景图像，在全环绕全景图像的情况下，显示处理程序生成部分11d使显示处理程序PG得以生成。

例如，由于描述在Flash(Adobe)、QuickTime VR(Apple)或HTML5 中，所以作为显示处理程序PG，可以由多种多样显示设备进行再现和显示。

数据综合部分11e通过将全景组合部分10生成的全景图像数据PD与显示处理程序生成部分11d生成的显示处理程序PG综合生成全景图像文件 PDr。例如，全景图像文件PDr变成像图13B那样的结构。也就是说，这是包括首标、全景图像数据PD和显示处理程序PG的数据文件结构。

在例示在图9和图10中的装置DVC1到DVC3、DVC4和DVC6的每一种中，将这样的全景图像文件PDr记录到记录介质中或加以发送和输出。注意，如例示成全景图像文件PDr，虽然全景图像数据PD可以被设置成普通全景保存形式，以及可以与显示处理程序PG相加，但也可以将它设置成将全景图像数据PD嵌入显示处理程序本身中的形式。

图13C示出了图像处理装置2中的显示图像生成部分20。在这个第二配置例子中，显示图像生成部分20含有数据分离部分20f、和图像生成处理部分20c。

将从记录介质中再现或接收的全景图像文件PDr输入数据分离部分20f 中。数据分离部分20f从这个全景图像文件PDr中分离全景图像数据PD和显示处理程序PG，并将它们供应给图像生成处理部分20c。

注意，在全景图像数据PD不是全环绕全景图像的情况下，显示处理程序PG不包括在全景图像文件PDr中，因此，数据分离部分20f只将全景图像数据PD供应给图像生成处理部分20c。

图像生成处理部分20c根据全景图像数据PD生成并输出显示图像数据 PDdsp。此时，如果存在显示处理程序PG，则通过根据显示处理程序PG进行处理，为投影显示进行显示图像数据PDdsp生成。在全景图像数据PD不是全环绕全景图像，以及未提取显示处理程序PG的的情况下，进行另一种显示，例如，滚动显示或单视图显示的处理。

然后，将生成的显示图像数据PDdsp供应给未例示的显示部分、或含有显示部分的设备，并进行显示。

在例示在图9和图10中的装置DVC1到DVC3、DVC5和DVC7的每一种中，将这种显示图像数据PDdsp供应给显示部分21并进行全景图像显示。

在图14中示出了上述图像处理装置1和图像处理装置2的处理例子。

图14A示出了作为图像处理装置1的全景组合部分10和联系部分1的处理。

在步骤F11中，全景组合部分10获取输入图像群FMS。

在步骤F12中，通过让全景组合部分10进行全景组合处理生成全景图像数据PD。全景组合部分10将在这种全景组合处理过程中获得的全景处理信息Ip供应给联系部分11(显示处理程序生成部分11d)。

在步骤F13中，联系部分11(显示处理程序生成部分11d)确认全景处理信息Ip，并进行生成全景图像数据PD是否是全环绕全景图像的确定。

与在第一配置例子中所陈述的类似，是否是全环绕全景图像的确定可以通过参照全景处理信息Ip中的360°视角确定信息的系统、参照两端对准信息的系统、参照全景模式类型信息的系统等来考虑。

在是全环绕全景图像的情况下，从步骤F14转到步骤F15，联系部分11 (显示处理程序生成部分11d)使显示处理程序PG得以生成。

在步骤F16中，在生成显示处理程序PG的情况下，联系部分11(显示处理程序生成部分11d)综合全景图像数据PD和显示处理程序PG，并生成像，例如，图13B的那种那样的全景图像文件PDr。在未生成显示处理程序 PG的情况下，也就是说，在不是全环绕全景图像的情况下，生成包括全景图像数据PD的全景图像文件PDr。

在步骤F17中，由未例示的记录和再现部分将全景图像文件PDr记录到记录介质中，并通过未例示的通信部分发送和输出到外部设备、网络等。

在图14B中，示出了图像处理装置2的显示图像生成部分20的处理。

在步骤F60中，显示图像生成部分20(数据分离部分20f)获取在未例示的记录介质中再现或在未例示的通信部分中接收的全景图像文件PDr。

在步骤F61中，显示图像生成部分20(数据分离部分20f)进行全景图像文件PDr的分离处理，并确认是否包括显示处理程序PG。

在步骤F62中，显示图像生成部分20依照显示处理程序PG的存在与否将处理分支。

在存在显示处理程序PG的情况下，在步骤F63中，获取显示处理程序 PG，并将其设置成用作图像生成处理部分20c生成显示图像的程序的状态。

然后，显示图像生成部分20(图像生成处理部分20c)转到步骤F64，通过依照显示处理程序PG进行显示投影处理生成显示图像数据PDdsp，并在步骤F65中，进行输出这个显示图像数据PDdsp的处理。这些步骤F64和F65 的处理一直继续到在步骤F66中，通过用户操作或自动处理变成显示结束。这样，在显示部分中，作为投影显示，进行，例如，使得全环绕观看的显示或任意方向的显示等。

注意，像用于另外滚动限制的水平和垂直视角信息那样，在显示处理程序PG中可以描述全景图像数据PD具有360°视角的全景图像数据PD的投影表面的信息。

在在步骤F62中确定不存在显示处理程序PG的情况下，显示图像生成部分20(图像生成处理部分20c)在步骤F67中根据现有显示处理程序进行显示图像数据生成处理。例如，当图像生成处理部分20c中显示处理程序被存储成滚动显示或单视图显示时，使用这些程序像滚动显示或单视图显示那样生成显示图像数据PDdsp。然后，在步骤F68中，进行输出显示图像数据 PDdsp的处理。步骤F67和F68的处理一直继续到在步骤F69中确定显示结束。这样，在显示部分中，进行除了投影显示之外的滚动显示或单视图显示。也就是说，在不是全环绕全景图像的情况下，进行滚动显示或单视图显示。

在像上述那样的第二配置例子中，在信息处理装置1中，联系部分11通过将进行与全环绕全景图像相对应的投影显示的显示处理程序PG与全景图像数据PD相联系生成全景图像文件PDr。

另一方面，在图像处理装置2中，如果存在显示处理程序PG，则显示图像生成部分20通过根据这个显示处理程序PG进行显示投影处理，为投影显示生成显示图像数据PDdsp。

通过这样的配置，可以对可以进行适当投影显示的全环绕全景图像自动进行投影显示，以及可以为用户提供具有沉浸感的显示。另一方面，通过在不能精确指定非全环绕全景图像的视角的时候，通过另一种显示系统进行显示，可以进行显示操作的切换，以便不进行低质量投影显示。

<5.第三配置例子(文件链接信息)>

下面将描述一个实施例的第三配置例子。在第三配置例子中，图像处理装置1的联系部分11进行将包括示出是全环绕全景图像的信息的与包括全景图像数据PD的数据文件相联系的处理。

进一步，图像处理装置2的显示图像生成部分20从包括全景图像数据 PD的数据文件中确认相联系的数据文件，并通过获取信息确定是否是全环绕全景图像。然后，在是全环绕全景图像的情况下，通过进行显示投影处理生成显示图像数据。

图15A示出了图像处理装置1中的全景组合部分10和联系部分11。在这个第三配置例子中，联系部分11含有元数据生成部分11a和联系信息加入部分11c。

全景组合部分10生成全景图像数据PD，并输出全景处理信息Ip。将全景处理信息Ip(全景模式类型信息、360°视角确定信息、两端对准信息、组合投影信息、水平和垂直视角信息等)供应给元数据生成部分11a。

元数据生成部分11a生成反映全景处理信息Ip的元数据MT。

如图15B所示，联系信息加入部分11c生成包括全景图像数据PD的全景图像文件PDr1，并生成包括元数据MT的数据文件PDr2。在这种情况下，将文件链接信息LK1和LK2分别加入全景图像文件PDr1和数据文件PDr2 中，并使它们相互联系。文件链接信息LK1是指定数据文件PDr2的信息，文件链接信息LK2是指定全景图像文件PDr1的信息。注意，可以将指定其它的文件链接信息只加入全景图像文件PDr1和数据文件PDr2之一中。

在例示在图9和图10中的装置DVC1到DVC3、DVC4和DVC6的每一种中，将这样的全景图像文件PDr和数据文件PDr2记录到记录介质中或加以发送和输出。记录每种文件的记录介质可以是不同记录介质。进一步，可以将每种文件发送给不同设备、网络服务器等。

图15C示出了图像处理装置2中的显示图像生成部分20。在这个第三配置例子中，显示图像生成部分20含有联系信息提取部分20d、相应数据获取部分20e、元数据解释部分20b、和图像生成处理部分20c。

将从记录介质中再现或接收的全景图像文件PDr输入联系信息提取部分 20d中。联系信息提取部分20d从这个全景图像文件PDr中提取文件链接信息LK1并将其供应给相应数据获取部分20e，以及将全景图像数据PD供应给图像生成处理部分20c。

相应数据获取部分20e使用文件链接信息LK1进行访问ACLK，并获取相关数据文件PDr2。例如，通过访问规定记录介质读取数据文件PDr2。可替代地，通过访问规定外部设备、网络服务器等接收数据文件PDr2。然后，如果相应数据获取部分20e获得数据文件PDr2，则提取元数据MT，并将其供应给元数据解释部分20b。也就是说，获取与此时的显示目标的的全景图像数据PD相联系的元数据MT。

元数据MT经元数据解释部分20b解释，供应给图像生成处理部分20c 作为全景处理信息Ip(全景模式类型信息、360°视角确定信息、两端对准信息、组合投影表面信息、水平和垂直视角信息)。

图像生成处理部分20c根据全景图像数据PD生成并输出显示图像数据 PDdsp。此时，依照全景处理信息Ip的内容确定是否为投影显示进行显示图像数据PDdsp生成。也就是说，在显示目标的全景图像数据PD被确定为全环绕全景图像的情况下，进行有关投影显示的处理，而在不是全环绕全景图像的情况下，进行另一种显示，例如，滚动显示或单视图显示的处理。

然后，将生成的显示图像数据PDdsp供应给未例示的显示部分、或含有显示部分的设备，并进行显示。

在例示在图9和图10中的装置DVC1到DVC3、DVC5和DVC7的每一种中，将这种显示图像数据PDdsp供应给显示部分21并进行全景图像显示。

在图16中示出了上述图像处理装置1和图像处理装置2的处理例子。

图16A示出了作为图像处理装置1的全景组合部分10和联系部分11的处理。

在步骤F21中，全景组合部分10获取输入图像群FMS。

在步骤F22中，通过让全景组合部分10进行全景组合处理生成全景图像数据PD。全景组合部分10将在这种全景组合处理过程中获得的全景处理信息Ip供应给联系部分11(元数据生成部分11a)。

在步骤F23中，联系部分11(元数据生成部分11a)根据全景处理信息 Ip生成元数据MT。

在步骤F24中，联系部分11(联系信息加入部分11c)生成包括全景图像数据PD和文件链接信息LK1的全景图像文件PDr1，或生成包括元数据 MT和文件链接信息LK2的数据文件PDr2。

在步骤F25中，由未例示的记录再现部分将全景图像文件PDr1和数据文件PDr2记录到记录介质中，并通过未例示的通信部分发送和输出到外部设备、网络等。

图16B示出了图像处理装置2的显示图像生成部分20的处理。

在步骤F71中，显示图像生成部分20(联系信息提取部分20d)获取通过未例示的记录介质再现或通过未例示的通信部分接收的全景图像文件 PDr1。

在步骤F72中，显示图像生成部分20(联系信息提取部分10d、相应数据获取部分20e、元数据解释部分20b)使用从全景图像文件PDr1中提取的链接信息LK1进行访问，并获取数据文件PDr2。然后，从数据文件PDr2中提取元数据MT，并通过对此加以解释获取全景处理信息Ip。

在步骤F73中，显示图像生成部分20(图像生成处理部分20c)通过此时的显示目标的全景图像数据PD是否是具有360°视角的全环绕全景图像将处理分支。

如第一配置例子所述，可以通过全景处理信息Ip中的全景模式类型信息、360°视角确定信息和两端对准信息的任何一种确定全景图像数据PD是否是全环绕全景图像。

在步骤F73中，在确定是全环绕全景图像的情况下，显示图像生成部分 20(图像生成处理部分20c)转到步骤F74，通过进行显示投影处理生成显示图像数据PDdsp，并在步骤F75中，进行输出这个显示图像数据PDdsp的处理。这些步骤F74和F75的处理一直继续到在步骤F76中，通过用户操作或自动处理变成显示结束。这样，在显示部分中，作为投影显示，进行，例如，使得全环绕观看的显示或任意方向的显示。

注意，在这种情况下，由于全景图像数据PD是全环绕全景图像，所以可以将用在显示投影处理中的视角设置成360°。

进一步，通过参照全景处理信息Ip中的组合投影表面信息，图像生成处理部分20c可以精确地进行到平面屏幕VS的重新投影处理。

在在步骤F73中确定不是全环绕全景图像的情况下，显示图像生成部分 20(图像生成处理部分20c)在步骤F77中进行另一种系统的显示图像数据生成处理。例如，像滚动显示或单视图显示那样生成全景图像数据PDdsp。然后，在步骤F78中，进行输出全景图像数据PDdsp的处理。这些步骤F77 和F78的处理一直继续到在步骤F79中确定显示结束。这样，在显示部分中，进行除了投影显示之外的滚动显示或单视图显示。也就是说，在全景图像数据PD不是全环绕全景图像，以及不精确知道视角的情况下，进行滚动显示或单视图显示。

在像上述那样的第三配置例子中，在信息处理装置1中，联系部分11生成包括元数据MT(包括示出是全环绕全景图像的信息)的数据文件PDr2、和包括全景图像数据PD的全景图像文件PDr1，并通过文件链接信息LK1和LK2联系这些文件。

另一方面，图像处理装置2中的显示图像生成部分20使用文件链接信息获取与全景图像数据PD相联系的元数据MT，并从元数据MT中确定全景图像数据PD是否是全环绕全景图像。然后，在全景图像数据PD被确定为全环绕全景图像的时候，通过进行显示投影处理生成显示图像数据，并进行投影显示。

通过这样的配置，可以对可以进行适当投影显示的全环绕全景图像自动进行投影显示，以及可以为用户提供具有沉浸感的显示。另一方面，通过在不能精确指定非全环绕全景图像的视角的时候，通过另一种显示系统进行显示，可以进行显示操作的切换，以便不进行低质量投影显示。

注意，在图15和16中，通过使用元数据MT的例子来描述，但也可以使用在第二配置例子中陈述的显示处理程序PG来考虑。

例如，让不是元数据MT的显示处理程序PG包括在显示在图15B中的数据文件PDr2中。这是如果显示处理程序PG包括在相关数据文件PDr2中，则显示图像生成部分20使用这个显示处理程序PG为投影显示进行显示图像数据PDdsp的生成处理的例子。

示出是全环绕全景图像的信息作为与上述全景图像数据PD不同的文件包括进来，以及可以针对各种类型考虑使这些相联系的模式。作为相关技术 1，例如，唯一素材标识符(UMID)作为引用视频编辑数据中的视频素材的信息是众所周知的(例如，参照JP 2004-312233A)。例如，图15B的数据文件PDr2可以通过像UMID那样的模式，将元数据MT与不同文件的全景图像文件PDr1中的全景图像数据PD相联系。

<6.第四配置例子(专用格式)>

下面将描述一个实施例的第四配置例子。在第四配置例子中，图像处理装置1的联系部分11将全景图像数据本身设置成特定格式的数据，作为示出是全环绕全景图像的信息。

进一步，图像处理装置2的显示图像生成部分20通过将全景图像数据设置成特定格式的数据确证是全环绕全景图像，并通过进行显示投影处理生成显示图像数据。

图17A示出了图像处理装置1中的全景组合部分10和联系部分11。在这个第四配置例子中，联系部分11含有格式处理部分11f。

全景组合部分10生成全景图像数据PD，并输出全景处理信息Ip。

格式处理部分11f通过全景处理信息Ip中的全景模式类型信息、360°视角确定信息和两端对准信息的任何一种确定全景图像数据PD是否是全环绕全景图像。然后，在全环绕全景图像的情况下，生成包括专用格式的全景图像数据PD的全景图像文件PDr。在不是全环绕全景图像的情况下，生成包括一般普通格式的全景图像数据PD的全景图像文件PD。

注意，例如，普通格式的全景图像数据PD是像联合图像专家组(JPEG) 格式等那样通常使用的图像数据形式。另一方面，将专用格式设置成全环绕全景图像独有的新数据格式。

图17B示出了图像处理装置2中的显示图像生成部分20。在这个第四配置例子中，显示图像生成部分20含有格式确定部分20g、和图像生成处理部分20c。

将从记录介质中再现或接收的全景图像文件PDr输入格式确定部分20g 中。格式确定部分20g确定包括在全景图像文件PDr中的全景图像数据PD 是专用格式还是一般格式。然后，将提取的全景图像数据PD和格式确定信息FM供应给图像生成处理部分20c。

图像生成处理部分20c根据全景图像数据PD生成并输出显示图像数据 PDdsp。此时，依照格式确定信息确定是否是全环绕全景图像，如果是全环绕全景图像，则进行用于投影显示的显示图像数据PDdsp的生成。在全景图像数据PD不是全环绕全景图像的情况下，进行另一种显示，例如，滚动显示或单视图显示的处理。

然后，将生成的显示图像数据PDdsp供应给未例示的显示部分、或含有显示部分的设备，并进行显示。

在图18中示出了上述图像处理装置1和图像处理装置2的处理例子。

图18A示出了作为图像处理装置1的全景组合部分10和联系部分11的处理。

在步骤F41中，全景组合部分10获取输入图像群FMS。

在步骤F42中，通过让全景组合部分10进行全景组合处理生成全景图像数据PD。全景组合部分10将在这种全景组合处理过程中获得的全景处理信息Ip以及全景图像数据PD供应给联系部分11(格式处理部分11f)。

在步骤F43中，联系部分11(格式处理部分11f)确认全景处理信息Ip，并进行生成的全景图像数据PD是否是全环绕全景图像的确定。与在第一配置例子中所陈述的类似，是否是全环绕全景图像的确定可以通过参照全景处理信息Ip中的360°视角确定信息的系统、参照两端对准信息的系统、参照全景模式类型信息的系统等来考虑。

在是全环绕全景图像的情况下，从步骤F44转到步骤F45，联系部分11 (格式处理部分11f)通过将全景图像数据PD转换成专用模式生成全景图像文件PDr。

在不是全环绕全景图像的情况下，从步骤F44转到步骤F46，联系部分 11(格式处理部分11f)生成包括普通格式的全景图像数据PD的全景图像文件PDr。

在步骤F47中，由未例示的记录和再现部分将全景图像文件PDr记录到记录介质中，并通过未例示的通信部分发送和输出到外部设备、网络等。

图18B示出了图像处理装置2的显示图像生成部分20的处理。

在步骤F81中，显示图像生成部分20(格式确定部分20g)获取通过未例示的记录介质再现或通过未例示的通信部分接收的全景图像文件PDr。

在步骤F82中，显示图像生成部分20(格式确定部分20g)确定包括在全景图像文件PDr中的全景图像数据PD的格式。

然后，在步骤F83中，显示图像生成部分20依照格式确定结果将处理分支。

在确定是专用格式的情况下，显示图像生成部分20(图像生成处理部分 20c)转到步骤F84，通过进行显示投影生成显示图像数据PDdsp，并在步骤 S85中，输出这个显示图像数据PDdsp。这些步骤F84和F85的处理一直继续到在步骤F86中，通过用户操作或自动处理变成显示结束。这样，在显示部分中，作为投影显示，进行，例如，使得全环绕观看的显示或任意方向的显示。

注意，可以将显示投影处理中的投影计算使用的全景图像数据PD的视角设置成360°。

进一步，全景图像数据PD的投影表面的信息、用于滚动限制的水平和垂直视角信息等在专用格式的数字形式下可以通过嵌入来加以考虑。

在步骤F83中，在确定不是专用格式的情况下，显示图像生成部分20(图像生成处理部分20c)在步骤F87中像另一种系统，例如，滚动显示或单视图显示那样生成显示图像数据PDdsp。然后，在步骤F88中，进行输出显示图像数据PDdsp的处理。这些步骤F87和F88的处理一直继续到在步骤F89 中确定显示结束。在这种情况下，在显示部分中，进行除了投影显示之外的滚动显示或单视图显示。

在像上述那样的第四配置例子中，在信息处理装置1中，联系部分11在全环绕全景图像的情况下使用专用格式。

另一方面，在图像处理装置2中，通过如果是专用格式则确定全景图像数据PD是全环绕全景图像，显示图像生成部分20通过进行显示投影处理为投影显示生成显示图像数据PDdsp。

通过这样的配置，对可以进行适当投影显示的全环绕全景图像自动进行投影显示，以及可以为用户提供具有沉浸感的显示。另一方面，通过在不能精确指定非全环绕全景图像的视角的时候，通过另一种显示方法进行显示，可以进行显示操作的切换，以便不进行低质量投影显示。

<7.第五配置例子(成像装置的应用例子)>

(7-1:成像装置的配置)

接着，作为一个实施例的第一配置例子，将通过包括本公开的图像处理装置1和2的设备描述成像装置50作为一个特例。

图19示出了成像装置50的配置例子。

成像装置50包括透镜单元100、成像元件101、图像处理部分102、控制部分103、显示部分104、存储器部分105、记录设备106、操作部分107、传感器部分108、和通信部分109。

透镜单元100收集拍摄对象的光学图像。透镜单元100具有依照来自控制部分103的指令，调整焦距、拍摄对象距离、光圈等，以便获取适当图像的功能。进一步，还具有光学抑制图像的模糊的照相机抖动校正功能。

成像元件101光学转换透镜单元100收集的光学图像，并将它转换成电信号。具体地说，通过电荷耦合器件(CCD)图像传感器、互补金属氧化物半导体(CMOS)图像传感器等来实现。

图像处理部分102由采样来自成像元件101的电信号的采样电路、将模拟信号转换成数字信号的A/D转换电路、将规定图像处理应用于数字信号的图像处理电路等构成。这里，这个图像处理部分102被显示成进行通过利用成像元件101成像获取帧图像数据的处理，以及进行组合全景图像的处理。

这个图像处理部分102不仅包括专用硬件电路，而且包括中央处理单元 (CPU)或数字信号处理器(DSP)，可以进行适合灵活图像处理的软件处理。

控制部分103由CPU和控制程序构成，对成像装置50的每个部分进行控制。控制程序本身实际上存储在存储器部分105中，由CPU执行。

公开在上述配置例子的每一个中的全景组合部分10和联系部分11的处理，以及另外显示图像生成部分20的处理都由控制部分103和图像处理部分 102执行。因此，本公开的图像处理装置1和2通过控制部分103和图像处理部分102实现。

显示部分104由使图像处理部分102处理过和存储在存储器部分105中的图像数据变成模拟的D/A转换电路、以适合后一级的显示设备的形式的视频信号编码成为模拟的图像信号的视频编码器、和显示与输入视频信号相对应的图像的显示设备构成。

显示设备通过，例如，液晶显示器(LCD)、有机电致发光(EL)面板等实现，以及也具有像取景器那样的功能。

存储器部分105由像动态随机访问存储器(DRAM)那样的半导体存储器构成，临时记录图像处理部分102处理过的图像数据、控制部分103中的控制程序和各种类型数据等。

记录设备106由记录介质，譬如，像闪速存储器(Flash Memory)那样的半导体存储器、磁盘、光盘或磁光盘、和用于这些记录介质的记录和再现电路/机构构成。

在成像装置50成像的时候，图像处理部分102以联合图像专家组(JPEG) 形式进行编码，并将存储在存储器部分105中的JPEG图像数据记录到记录介质中。

在再现的时候，将保存在记录介质中的JPEG图像数据读取到存储器部分105中，由图像处理部分102进行解码处理。可以让显示部分104显示解码的图像数据，或通过通信部分109发送和输出到外部设备。

操作部分107包括输入设备，譬如，像快门按钮、向上、向下、向左和向右箭头键、确定键和取消键那样的硬件键、操作盘、触摸面板和变焦杆，检测拍摄者(用户)的操作，以及将其发送给控制部分103。控制部分103 依照用户的输入操作确定成像装置50的操作，并进行控制以便每个部分进行必要操作。

传感器部分108由陀螺仪传感器、加速度传感器、地磁传感器、全球定位系统(GPS)传感器等构成，进行各种类型信息的检测。除了作为所捕获图像数据的元数据加入之外，这种信息也用于各种类型的图像处理和控制处理。

通信部分109进行与外部设备的通信或网络通信。具体地说，对于通信部分109，可以考虑各种类型的例子，譬如，USB通信部分、LAN通信部分、像互联网那样的公共网络通信部分、或与特定设备的专用通信部分。进一步，传输线的形式可以是通过电波或红外线的无线传输线，或通过电缆连接的电线传输线。可以假设信号模式是数字电信号通信、模拟电信号通信、光通信等。

图像处理部分102、控制部分103、显示部分104、存储器部分105、记录设备106、操作部分107、传感器部分108和通信部分109经由总线110相互连接，交换图像数据、控制信号等。

(7-2:全景组合和联系处理)

接着，将详细描述本实施例的成像装置50的全景组合和联系处理。

作为功能配置，图20示出了在图像处理部分102和控制部分103中为全景组合和联系处理进行的处理，以及示出了这些功能配置部分进行的处理。

注意，这里，将把使用在上述第一配置例子中陈述的元数据的例子描述成联系处理。

如图20中的虚线所示，全景组合部分10和联系部分11作为功能配置包括进来。也就是说，图像处理装置1通过至少通过图像处理部分102、控制部分103等具有作为联系部分11包括的功能，在成像装置50内形成。

进一步，将描述由作为全景组合部分10的功能执行的处理功能。作为全景组合部分10执行的处理(算法流)由每个方框示出。也就是说，在全景组合部分10中，进行预处理200、图像对齐处理201、运动拍摄对象检测处理 202、检测/识别处理203、360°成像确定处理204、360°优化处理205、组合投影处理206、接缝确定处理207和缝合处理208。

下面将描述每种处理。

如图1所示，成为预处理200的目标的输入图像群FMS是在拍摄者通过成像装置50进行全景成像的时候依次获取的帧图像数据FM#0，FM#1， FM#2，......。

在全景组合部分10中，首先，对通过拍摄者的全景成像操作捕获的图像 (每个帧图像数据)进行全景组合的预处理200。注意，这里，对帧图像数据FM进行与普通成像的时候相同的图像处理。

输入图像受基于透镜单元100的特性的畸变影响。尤其，透镜的畸变像差负面地影响图像对齐处理201，并且将降低对准的精度。另外，由于还在组合全景图像的接缝附近生成假像，所以在这种预处理200中进行畸变像差的校正。通过畸变像差的校正，将产生使运动拍摄对象检测处理202和检测/ 识别处理203的精度提高的效果。

接着，在全景组合部分10中，对已经进行了预处理200的帧图像数据进行图像对齐处理201、运动拍摄对象检测处理202、检测/识别处理203。

在全景组合的时候可能有必要将多个帧图像数据转换成简单坐标系中的坐标，这个简单坐标系被称为全景坐标系。

图像对齐处理201是输入两个相继帧图像数据，并在全景坐标系中进行对准的处理。虽然对两个帧图像数据进行图像对齐处理201获得的信息是两种图像坐标之间的相对关系，但通过选择多个图像坐标系当中的一个(例如，初始帧图像数据的坐标系)，并将它固定成全景坐标系，可以将所有帧图像数据的坐标系转换成全景坐标系。

将在图像对齐处理201中进行的特定处理大致划分成如下两种。

1.在图像内检测局部运动；以及

2.从上述所获局部运动信息中获取整个图像全局运动。

在上述的处理1中，一般说来，使用：

*块匹配；以及

*像Harris、Hessian、SIFT、SURF或FAST那样的特征点提取和特征点匹配等，以及

获取图像的特征点的局部矢量。

在上述的处理2中，将像如下那样的健壮性估计技术：

*最小二乘法；

*M-估计器；

*最小均方(LMedS)法；以及

*随机样本一致性(RANSAC)

用于在上述处理1中获得的局部矢量群，以及获取陈述2种坐标系之间的关系的最佳仿射变换矩阵或投影变换矩阵(单应性)。在本公开中，将这种信息称为图像对齐信息。

进一步，在全景复合处理中，借助于组合多个帧图像数据的特征划分在成像场景中存在运动拍摄对象的运动拍摄对象的部分将引起像变模糊那样对图像的破坏或图像质量的降低。于是，优选的是，一旦检测到运动拍摄对象，通过避免运动拍摄对象来确定全景的接缝。

运动拍摄对象检测处理202是输入2个或更多个相继帧图像数据，并进行运动拍摄对象的检测的处理。在特定处理的例子在阈值上或高于阈值，其中通过经由图像对齐处理201获得的图像对齐信息实际进行对准的2个帧图像数据的像素值存在差异的情况下，将这些像素确定为运动拍摄对象。

可替代地，可以使用在图像对齐处理201的健壮性估计的时候确定为异常值(outliers)的特征点信息进行确定。

在检测/识别处理203中，检测所捕获帧图像数据内像人脸或人体或动物那样的位置信息。即使人或动物有很大可能是未运动的拍摄对象，但在这个拍摄对象上确定全景的接缝的情况下，与其它对象相比在视觉上往往出现不相容的感觉，因此，优选的是通过避免这些对象来确定接缝。也就是说，将在这种检测/识别处理203中获取的信息用于补充运动拍摄对象检测处理202 的信息。

在后面将描述的接缝确定处理207中，根据在运动拍摄对象检测处理202 和检测/识别处理203中获取的信息确定接缝(连接区)。

360°成像确定处理204和360°优化处理205进行专用于360°全环绕成像的处理。

这里，为了理解这些处理，将描述在360°成像的时候存在的各种问题。

图21A、图21B和图22是在每种情况下全景图像的例子。注意，在这些图形中，为了确认全景图像的左端和右端的连续性，将全景图像的左端区域的一部分显示成复制(图像RCP)在全景图像的每个右端(边界线BD的右侧)上。排除图像RCP的图像部分，即，由输出全景图像的范围RP示出的部分是最终一幅全景图像。

在是360°全环绕全景的情况下，希望在这个边界线BD的两侧自然地连接没有间隙的具有连续性的图像。

在组合多个静止图像的全景图像中，难以精确知道一般全景视角。通常，成像装置的透镜的焦距(f：像素转换值)、全景图像的扫掠方向的像素数(l)、和全景视角(θ)存在如下关系：

l＝fθ。

但是，由于实际上存在像如下那样的影响：

*扫掠时旋转的半径；

*畸变像差的校正误差；以及

*对齐处理的误差，所以可能与实际场景的视角存在明显差异。

在对齐处理只限于平行移动，以及像省略投影处理那样对算法进行简化的情况下，对于成像装置的处理性能来说，这些误差将变得更加显著。

图21A是从上面方程中确定适当360°全景图像数和进行复合处理的全景图像的例子。针对误差通过显著超过360°地组合，在全景图像的左端和右端 (边界线BD部分)上不存在连续性。

这样，虽然难以精确确定一般全景视角，但在是360°全环绕图像的情况下，可以通过考虑实现全景的左端和右端的连续性的约束条件确定视角。

将涉及图23。图23是通过360°全景成像获得的图像群(帧图像数据FM#0 到FM#(n-1))的示意图。

具体地说，在假设扫掠方向从左到右，以及将用在全景左侧上的第一帧图像数据FM#0设置成0°位置的时候，对于处在360°之前的位置上、完全与此相同的图像的帧图像数据FM#0A、和用在全景图像的右端上的最终帧图像数据FM#(n-1)，建立如下条件：

*FM#0A和FM#(n-1)存在重叠区；以及

*FM#(n-1)是与FM#0A相比左侧更接近FM#0A的图像。

通过检索作为满足这些条件的最终图像的帧图像数据FM#(n-1)，可以固定360°位置。

在这个例子的成像装置50中，通过360°成像确定处理204进行这种处理。

在360°成像确定处理204中，在可以确定满足上述两个条件的最终帧图像数据FM#(n-1)的情况下，确定组合处理内的全景图像数据是通过360°成像的全环绕全景图像。另一方面，在不能确定满足上述两个条件的最终帧图像数据FM#(n-1)的情况下，确定组合处理内的全景图像数据不是全环绕全景图像。

这种确定结果变成作为上述全景处理信息Ip之一的360°视角确定信息。在360°成像确定处理204中，进行将360°视角确定信息输出到联系部分11 的处理。

注意，这种360°成像确定处理204可以在以360°全景成像模式进行全景成像的情况下进行。在除了360°全景成像模式之外的其它情况(例如，180°全景成像模式等)下，可能不必进行这种360°成像确定处理204。注意，在这种情况下，可以设置成示出非全环绕全景图像的信息作为360°视角确定信息。

进一步，在这种360°成像确定处理204的处理中，可以通过生成水平和垂直视角信息和全景模式类型信息输出到联系部分11。

图21B是组合在360°成像确定处理204中确定的最终图像，即，直到符合上述两个条件的帧图像数据FM#(n-1)的结果的例子。

由于在360°成像确定处理204中确定了360°位置，所以变成作为全景图像的360°图像。但是，这个例子与图21A的例子类似，在全景的左端和右端上不存在连续性。虽然在这个例子中水平方向的位置是合适的，但垂直方向的位置漂移了。

由于这样在相邻图像之间进行每个图像的对准，所以存在在对齐处理中累积的误差地生成图像。

也就是说，在图23中，存在针对对齐处理的累积误差，为显示成帧图像数据FM#0A的位置计算作为360°之前的第一图像的位置(显示成帧图像数据FM#0B的位置)以便成为具有连续性的全环绕全景图像的现象。

为了解决这种现象，在如下360°优化处理205中，在在360°成像确定处理204中确定是360°全环绕成像的情况下，通过使用从图像对齐处理201中输入的图像对齐信息、和通过360°成像确定处理204确定的最终图像信息优化图像对齐信息，并像360°全环绕全景那样适当校正图像对齐信息。

这种处理是前述两端对准的处理。也就是说，调整图像对齐信息，以便在作为全景图像的0°和360°位置的全景图像的两端上，在垂直方向和水平方向都没有图像间隙。

当在图23中描述时，所有帧图像数据FM#0到FM#(n-1)的位置都得到优化和校正，使得帧图像数据FM#0A的位置与帧图像数据FM#0B的位置一致。

具体地说，存在简单地使累积误差分散到所有图像对齐信息中的技术、只要可以使用最小二乘法得出原始对齐信息，就无伤害地进行优化的技术等。

例如，简单分散的技术是陈述如下的技术。在帧图像数据FM#0A的位置和帧图像数据FM#0B的位置上，像显示在图23中那样存在水平方向的误差ΔX和垂直方向的误差ΔY。让构成全景图像的帧图像数据FM#0到FM#(n-1) 的x坐标位置和y坐标位置各自分别漂移ΔX/n和ΔY/n。这样，每个帧图像数据FM一点点一点点地吸收掉误差，作为与第一帧图像数据FM#0相同的图像的虚拟帧图像数据FM#0A的位置与显示成帧图像数据FM#0B的位置一致。

虽然帧图像数据FM#0到FM#(n-1)的每一个相对于原始坐标漂移了一点，但整个图像质量几乎没有任何变差。

图22是使用通过让两端对准像上面在360°优化处理250中所述那样进行校正的图像对齐信息进行全景组合的结果的例子。通过360°成像确定处理204 和360°优化处理205，可以确认图像像输出全景图像的范围RP那样，在全景的两端上没有垂直和水平间隙地自然连接的。

通过像上述那样的360°优化处理205，是否进行两端对准的信息成为作为全景处理信息Ip之一的两端对准信息。

在360°优化处理205中，还进行将两端对准信息输出到联系部分11的处理。

接着，在组合投影处理206中，根据通过图像对齐处理201获得的图像对齐信息(或在360°优化处理205中校正的图像对齐信息)，对所有帧图像数据在单个平面或像柱面或球面那样的单个曲面上进行投影处理。进一步，同时，针对运动拍摄对象信息和/或检测确认信息，在相同平面或曲面上进行投影处理。投影表面可以在成像的时候从视角等中自动选择，或可以依照用户操作设置。

通过考虑像素处理的优化，可以作为缝合处理208之前的处理，或作为缝合处理208的一部分地进行帧图像数据的组合投影处理206。进一步，例如，可以在图像对齐处理201之前，简单地作为预处理200的一部分来进行。进一步，通过另外的简化，可以不进行这种处理地作为柱面投影处理的近似来管理。

注意，在这种组合投影处理206中投影表面的信息的类型成为作为全景处理信息Ip之一的组合投影表面信息。

在组合投影处理206中，还进行将组合投影表面信息输出到联系部分11 的处理。

接缝确定处理207是将来自组合投影处理206的图像数据、来自图像对齐处理201的图像对齐信息、来自运动拍摄对象检测处理202的运动拍摄对象信息和来自检测/识别处理203的检测/识别信息设置成输入的处理，并确定作为全景图像来说有点欠缺的适当接缝SM(描述在图2和3中的接缝SM0 到SM(n-2))。

在接缝确定处理207中，首先，从输入信息中为相邻帧图像数据之间的重叠区定义成本函数。例如，对于重叠区的每个像素，可以将总值设置成将每个适当重叠区与来自运动拍摄对象检测处理202的运动拍摄对象信息和来自检测/识别处理203的检测/识别信息相联系的函数值。

在这种情况下，由于具有成本函数值随此刻存在的像运动拍摄对象那样的对象的数量增加而增加的含义，所以可以接合成本函数值低的点的集合，以便将全景图像中的欠缺抑制到最低程度。

在存在用于全景图像组合的n个图像(帧图像数据)的情况下，这些重叠区的数量将变成n-1，将成本函数定义成n-1个。因此，为了为整个全景图像选择最佳接缝，获取使这n-1个成本函数最小的组合。这一般被称为组合优化问题，如下方程是众所周知的：

*获取精确解的方法：

-分支定界法；

-记忆法；

-动态规划技术(Dynamic Programming)；以及

-图形切割法；以及

*获取近似解的方法：

-局部搜索法(爬山法)；

-退火法(模拟退火)；

-禁忌搜索法；以及

-通用算法(Generic algorithm)。

所有接缝SM1到SM(n-2)都可以通过上述方法的任何一种获得。

在缝合处理208中，使用像上述那样确定的所有接缝SM1到SM(n-2)、和每个帧图像数据FM#0到FM#(n-1)组合最终全景图像。

对接缝周围的区域进行降低连接区的不自然的混合处理，对除了这些之外的其它区域只进行简单像素的复制，即，全景坐标系的重新采样，并连接整个图像。

通过考虑到照相机抖动量地最终扫掠和修剪掉垂直方向的不必要部分，可以像具有设置成长边方向的扫掠方向的那种那样，获得具有宽视角的全景图像(全景图像数据PD)。

上述处理成为全景组合部分10的处理。

在本实施例的情况下，另外对全景组合部分10生成的全景图像数据PD 进行联系部分11的处理。

在图20的功能配置例子中，在本例的成像装置50中，图11A的前功能配置适合用作第一配置例子。联系部分11进行元数据生成处理301和数据综合处理302。

将各种类型的全景处理信息Ip从全景组合部分10供应给联系部分11。也就是说，将在360°成像确定处理204中获得的360°视角确定信息、在360°优化处理205中获得的两端对准信息、和在组合投影处理206中获得的组合投影表面信息供应给联系部分11。

注意，另外还可以供应全景模式类型信息和水平和垂直视角信息。

联系部分11像元数据生成处理301那样生成反映全景处理信息Ip的元数据MT。

注意，由于在后面至少要描述的显示图像生成部分20的处理中进行是否是全环绕全景图像的确定，以及从用于进行显示投影处理的观点来看，可能不必让元数据MT包括所有360°视角确定信息、两端对准信息、组合投影表面信息、全景模式类型信息和水平和垂直视角信息。

虽然在第一配置例子到第四配置例子中已经描述过，但显示图像生成部分20对是否是全环绕全景图像的确定可以参照360°视角确定信息、两端对准信息和全景模式类型信息。但是，组合投影表面信息可能是适当进行显示投影处理所必不可少的。

于是：

*360°视角确定信息和组合投影表面信息；

*两端对准信息和组合投影表面信息；以及

*全景模式类型信息和组合投影表面信息

的至少一种可以作为全景处理信息Ip包括进来，由全景组合部分10生成，以及由元数据生成部分11a使其成为元数据。

在数据综合处理302中，联系部分11通过将全景组合部分10生成的全景图像数据PD与元数据生成部分301生成的元数据MT综合生成全景图像文件PDr。

例如，全景图像文件PDr变成像公开在图11B中的那种那样含有图像数据和元数据的结构。更具体地说，可以考虑将像可交换图像文件格式(EXIF) 那样的元数据嵌入图像数据中的例子。注意，可以设置成全景图像数据PD 和元数据MT无关的文件。

在本例的成像装置50中，在图像处理部分102和控制部分103中像上述全景组合部分10和联系部分11那样进行处理，作为这种处理的结果，将全景图像文件PDr记录到记录设备106中。

注意，可以在外部从通信部分109发送全景图像文件PDr。

在图24中示出了包含上述全景组合部分10和联系部分11的处理、从全景处理直到记录的一系列处理的例子。

步骤F100的图像捕获以全景成像模式捕获一个静止图像，并且在成像装置1内将一次获取处理表示成一个帧图像数据。也就是说，成像元件部分101 获得的成像信号是在控制部分103的控制下，经过图像处理部分102处理的成像信号，并且变成一个帧图像数据。

图像处理部分102可以按原样将这个帧图像数据供应给全景组合处理 (图20的全景组合部分10的处理)，或可以由图像处理部分102在一次性从存储器部分105中获得之后作为一个帧图像数据供应给全景组合处理。

由通过图像处理部分102和控制部分103实现的图20的全景组合部分 10依照基于步骤F100的帧图像数据的输入进行从步骤F101向前的处理。

在步骤F101中，全景组合部分10进行预处理200。

在步骤F102中，全景组合部分10进行图像对齐处理201。

在步骤F103中，全景组合部分10进行运动拍摄对象检测处理202。

在步骤F104中，全景组合部分10进行检测/识别处理203。

注意，将在这些处理的每一种中获得的图像的像素信息、图像对齐信息、运动拍摄对象信息、检测/确认信息等暂时存储在存储器部分105中作为与各自处理目标的帧图像数据相对应的信息。

对每个帧图像数据重复上述处理，直到在步骤F105中，成像结束。

如果对所有获得帧图像数据FM都完成了上述处理，则在步骤F106中，全景组合部分10进行360°成像确定处理204。

在步骤F107中，全景组合部分10进行360°优化处理205。

然后，在步骤F108中，全景组合部分10通过使用在360°优化处理205 中调整的图像对齐信息等进行组合投影处理。

在步骤F109中，全景组合部分10通过接缝确定处理207确定接缝SM0 到SM(n-2)。

在步骤F110中，全景组合部分10进行缝合处理208。也就是说，通过接缝SM0到SM(n-2)的每一个连接每个帧图像数据。在连接时也进行混合处理。此后，生成像显示在图4B中那样的一个全景图像数据PD。

接着，联系部分11进行元数据生成处理301。也就是说，生成反映从全景组合部分10供应的全景处理信息Ip的元数据MT。

然后，在步骤F112中，联系部分11通过进行数据综合处理302生成全景图像文件PDr。

控制部分103进行使在像全景组合部分10和联系部分11那样的处理中生成的全景图像文件PDr记录到记录设备106中的控制。

在上述处理中，记录包括全景图像数据PD和元数据MT的全景图像文件PDr，此后可以再现和显示等。

(7-3:全景图像显示)

接着，将描述在在成像装置50中选择和显示像上述那样的所记录全景图像文件PDr的情况下的操作。

首先，将在图25中描述成像装置50的显示部分104进行的显示操作模式。

在成像装置50中，能够进行单视图显示、列表显示、滚动显示和投影显示的上述四种显示模式的显示操作。图25示出了四种显示模式的转变。

为了简化描述，只将多个全景图像文件PDr记录到记录设备106中。

首先，当用户使用操作部分107的键等指定再现和显示时，控制部分103 将成像装置50设置成再现和显示状态。此时，从初始状态转变成单视图显示模式。这里，例如，全景图像数据PDr最新图像像，例如，图7A的那种那样显示出来。在这种单视图显示模式下，例如，可以通过让用户按下操作部分107的向右箭头键和向左箭头键切换到全景图像文件PDr的其它图像。

进一步，在单视图显示中，当按下向下箭头键时，状态转变成像图7B的那种那样的列表显示，并进行图像的列表显示。

通过让用户使用向上、向下、向左和向右箭头键，在这个列表显示屏上选择作为目标的图像，状态再次转变成单视图显示，并显示全景图像文件PDr 的所选图像。

在，例如，在单视图显示中按下确定键的情况下，进行放大显示。注意，放大显示将是滚动显示或投影显示。

控制部分103参照全景图像文件PDr的所显示图像的元数据，在全景图像文件PDr全环绕全景图像的情况下，使状态转变成投影显示模式，并进行投影显示。在这种情况下，依照记录成元数据的组合时的投影表面信息，进行投影处理，并开始投影显示。

在这种投影显示模式下，可以让用户使用向上、向下、向左和向右箭头键指定观看方向的变化，或使用变焦杆指定放大或缩小。进一步，在这种情况下，通过拥有为观看方向记录在元数据中的水平和垂直视角信息和变焦值，像全景图像那样通过水平视角或垂直视角进行限制，因此不涉及图像之外。

在在固定时间内没有键操作的情况下，可以通过菜单设置进行自动观看改变。

在这种投影显示模式下，当用户按下取消键时，转变到单视图显示状态，并再次显示单视图显示。

在滚动显示模式下，在沿着全景的长边方向自动开始滚动的同时，可以让用户也使用向上、向下、向左和向右箭头键指定沿着任意方向的滚动，或使用变焦杆指定放大或缩小。

在滚动显示模式下，当用户按下取消键时，转变到单视图显示状态，并再次显示单视图显示。

在具有像上述那样的模式转变的本实施例的成像装置50中，如果是全环绕全景图像，则进行投影显示，并且进行像如果不是全环绕全景图像则进行滚动显示那样，显示操作的自动切换。

如果是全环绕全景图像，则自动为用户提供高质量投影显示。另一方面，在不是全环绕全景图像的情况下，当进行投影显示时，可能出现图像畸变等，不能保证高质量的显示。于是，以滚动显示进行全景图像的显示。也就是说，依照全景图像选择适当显示模式。

在图26和图27中描述了进行这样显示的配置和处理。

图26示出了为显示图像数据PDdsp的生成处理在包括在控制部分103 中的显示图像生成部分20中进行的处理。

注意，将基于使用在上述第一配置例子中陈述的元数据的例子的例子设置成显示图像生成部分20的处理。

由控制部分103中的软件执行的显示图像生成部分20像所例示那样进行数据分离处理401、元数据解释处理402和图像生成处理403。

作为数据分离处理401，显示图像生成部分20为从记录设备106读取显示目标的全景图像文件PDr分离元数据MT和全景图像数据PD。

分离的元数据MT经元数据解释部分402解释，供应给图像生成处理403 作为全景处理信息Ip(全景模式类型信息、360°视角确定信息、两端对准信息、组合投影表面信息、水平和垂直视角信息)。

在图像生成处理403中，依照显示模式信息Md生成显示图像数据PDdsp，并将其输出到显示部分104。

作为图像生成处理403，进行显示系统选择处理403a、单视图显示处理403b、列表显示处理403c、滚动显示处理403d和投影显示处理403e。

在显示系统选择处理403a中，进行根据与基于用户操作等的上述显示模式转变相对应的显示模式信息Md，选择要进行什么显示的处理。进一步，当在单视图显示模式的状态的时候移动到滚动显示模式或投影显示模式时，通过参照在元数据解释处理402中解释的全景处理信息Ip选择滚动显示模式和投影显示模式。

在单视图显示处理403b中，作为单视图显示，为供应的全景图像数据 PD生成显示图像数据PDdsp。

在列表显示处理403c中，例如，从从记录设备106中读取的每个全景图像文件PDr的缩略图等中生成列表图像，并作为列表显示，进行将此设置到显示图像数据PDdsp中的处理。

在滚动显示处理403d中，作为滚动显示，为供应的全景图像数据PD生成显示图像数据PDdsp。

在投影显示处理403e中，对供应的全景图像数据PD进行显示投影处理，并作为投影显示，生成显示图像数据PDdsp。

将在这些处理的任何一种中生成的显示图像数据PDdsp供应给显示部件 104，并进行屏幕显示。

图27示出了与图25的显示模式转变相对应的控制部分103(显示图像生成部分20)的处理例子。

当依照用户操作等表明再现和显示时，在步骤F201中，显示图像生成部分20进行单视图显示模式的处理。例如，显示图像生成部分20从记录设备 106中读取最新全景图像文件PDr，通过单视图显示处理403b生成显示图像数据PDdsp，并将其供应给显示部分104。

在单视图显示模式的时段中，显示图像生成部分20在步骤F202、F203 和F206中监视模式转变或显示结束的触发(显示系统选择处理403a)。

如果显示图像生成部分20检测到结束触发，则从步骤F202开始结束再现和显示操作。

当选择列表显示模式的操作时，显示图像生成部分20从步骤F203转到步骤F204，并进行列表显示处理403c。例如，通过从记录设备106中读取每个全景图像文件PDr的缩略图生成列表图像，并将其供应给显示部分104作为显示图像数据PDdsp。

在步骤F205中，显示图像生成部分20监视列表显示结束的触发(显示系统选择处理403a)。在列表显示结束的情况下，通过返回到步骤F201进行单视图显示处理403b。例如，作为单视图显示，为在列表中选择的全景图像生成显示图像数据PDdsp，并将其供应给显示部分104。

当在单视图显示状态下指定放大显示(滚动显示或投影显示)时，显示图像生成部分20从步骤F206转到步骤F207，并首先确认全景处理信息Ip。也就是说，确定当前在单视图显示中的图像是否是全环绕全景图像。在这种情况下，显示图像生成部分20可以通过全景处理信息Ip中的全景模式类型信息、360°视角确定信息和两端对齐信息的任何一种确定全景图像数据PD是否是全环绕全景图像。

在是全环绕全景图像的情况下，显示图像生成部分20从步骤F208转到步骤F211，通过进行投影显示处理403e生成显示图像数据PDdsp，并将其供应给显示部分104。

在步骤F212中，显示图像生成部分20监视投影显示模式的结束，如果完成了，则返回到步骤F201的单视图显示处理403b。

在不是全环绕全景图像的情况下，显示图像生成部分20从步骤F208转到步骤F209，通过进行滚动显示处理403d生成显示图像数据PDdsp，并将其供应给显示部分104。

在步骤F212中，显示图像生成部分20监视滚动显示模式的结束，如果完成了，则返回到步骤F201的单视图显示处理403b。

通过上述处理在显示在图25中的模式转变下进行各种类型的显示。

也就是说，在成像装置50中，在作为显示目标的全景图像数据PD被确定为全环绕全景图像的情况下，控制部分103(显示图像生成部分20)通过进行显示投影处理生成显示图像数据PDdsp，并使投影显示得以进行。

在确定不是全环绕全景图像的情况下，不进行显示投影处理，在在组合的时候只从投影表面中依次切出全景图像数据PD的滚动显示处理中生成显示图像数据PDdsp，并进行滚动显示。

注意，作为这种处理的修改例，在确定不是全环绕全景图像的情况下，作为不进行显示投影处理的显示处理，可以进行单视图显示处理。例如，这时即使在单视图显示处理中作出放大显示的指定，除了针对全环绕全景图像之外，也不进行放大显示的例子。

进一步，在作为这个实施例的第五配置例子的成像装置50中，虽然设置了与上述第一配置例子一致地安装图像处理装置1和2的例子，但自然可以采用与上述第二到第四配置例子一致地包括图像处理装置1和2的例子。

<8.第六配置例子(计算机装置和程序的应用例子)>

作为第六配置例子，下面将描述计算机装置和程序的应用例子。像上述图像处理装置1和2那样的处理可以通过硬件进行，或可以通过软件进行。

实施例的程序是，例如，使像中央处理单元(CPU)或数字信号处理器 (DSP)那样的计算处理装置进行显示在上述实施例中的处理的程序。

也就是说，实现图像处理装置1的程序是使计算处理装置进行在位移成像方向的同时使用通过成像操作获得的多个帧图像数据生成的全景图像数据被确定为全环绕全景图像的情况下，将全景图像数据与示出是全环绕全景图像的信息相联系的处理的程序。

具体地说，这个程序可以是使计算处理装置进行显示在图12A、图14A、图16A、图18A或图24中的处理的程序。

进一步，实现图像处理装置2的程序是使计算处理装置进行在作为显示目标的全景图像数据被确定为全环绕全景图像的情况下，通过进行显示投影处理生成显示图像数据的处理的程序。

具体地说，这个程序可以是使计算处理装置进行显示在图12B、图14B、图16B、图18B或图27中的处理的程序。

通过这些程序，可以使用计算处理装置实现上述图像处理装置1和2。

像这些那样的程序可以事先记录到作为内置在像计算机装置那样的设备中的记录介质、含有CPU等的微型计算机内的HDD、ROM中。

进一步，除了从可移除记录介质安装在个人计算机等中之外，这样的程序可以经由像局域网(LAN)或互联网那样的网络从下载站点下载。

进一步，如果像这些那样的程序可用，则它们适合大范围地规定一个实施例的图像处理装置1和2。例如，通过将程序下载到个人计算机、便携式信息处理装置、移动电话单元、游戏设备、个人数字助理(PDA)等，可以将这种便携式信息处理装置等设置成图像处理装置1和2。例如，在像显示在图28中那样的计算机装置中，可以进行与图像处理装置1和2的那些相同的处理。

在图28中，计算机装置70的CPU 71依照存储在ROM 72中的程序或从存储部分78下载到ROM 72的程序进行各种类型的处理。进一步，在CPU 71进行各种类型的处理的时候，也将必要数据等任意地存储在RAM 73中。

CPU 71、ROM 72和RAM 73经由总线74相互连接。进一步，输入/输出接口75也与这条总线74连接。

由键盘、鼠标等构成的输入部分76、由由阴极射线管(CRT)、LCD、有机EL面板等构成的显示器、和扬声器等构成的输出部分77、由硬盘等构成的存储部分78、和由调制解调器等构成的通风部分79与输入/输出接口75连接。通信部分79经由包括互联网的网络进行通信处理。

进一步，如有必要，将驱动器80与输入/输出接口75连接，任意地包括像磁盘、光盘、磁光盘或半导体存储器那样的可移除介质81，以及如有必要，将从这些当中读取的计算机程序安装在存储部分78中。

在通过软件进行上述图像处理装置1和2的处理的情况下，从网络或记录介质安装构成这种软件的程序。

例如，如图28所示，这种记录介质由与装置主体分离、为了将程序输送给用户而分发的可移除介质81构成。例如，可移除介质81由记录程序的磁盘(包括柔性盘)、光盘(包括蓝光盘、CD-ROM或DVD)、磁光盘(包括小型盘(MD))和半导体存储器构成。

可替代地，记录介质由在事先内置在装置主体中的状态下输送给用户、记录程序的ROM 72、包括在存储部分78中的硬盘等构成。

像这种那样的计算机装置70当通过经由通信部分79的接收操作、经由驱动器80(可移除介质81)或记录部分78的再现操作等，为全景图像生成输入n个帧的帧图像数据FM#0到FM#(n-1)时，根据CPU 71执行的程序实现图像处理装置1的功能，并且像上述联系部分11那样进行处理。

这样，从n个输入帧的帧图像数据FM#0到FM#(n-1)中生成一个全景图像数据。

进一步，对于全景图像的显示，根据CPU 71执行的程序实现图像处理装置2的功能，并且像上述显示图像生成部分20那样进行处理。

<9.修改例>

虽然至此已经描述了一个实施例，但对于本公开的图像处理装置，可以考虑各种类型的修改例。

可以以组合方式采用第一配置例子到第四配置例子。

例如，可以考虑通过组合第一配置例子和第二配置例子，作为联系处理利用元数据加入专用程序，以及通过组合第一配置例子和第四配置例子，作为联系处理利用元数据进行构建专用格式的处理等。

虽然将包括联系部分11和显示图像生成部分20的功能的例子设置成第一配置例子的成像装置50，但也可以考虑，例如，只包括联系部分11和显示图像生成部分20之一的功能的例子。

虽然在实施例中对于不是全环绕全景图像的全景图像数据PD，没有投影显示的目标，但也可以通过特定操作进行投影显示。但是，在这种情况下，由于不能建立精确三维模型，所以存在在投影显示图像中出现像畸变那样的负面影响的可能性，因此存在将此作为特殊模式的想法。

除了内置在上述成像装置50或计算机装置70中之外，本公开的图像处理装置也可用于内置在具有成像功能的移动电话单元、游戏机或录像机、或没有成像功能但具有输入帧图像数据的功能的移动电话单元、游戏设备、视频设备或信息处理装置中。

本技术还可以按如下配置。

(1)

一种图像处理装置，包括：

联系部分，其被配置成在位移成像方向的同时使用通过成像操作获得的多个帧图像数据生成的全景图像数据被确定为全环绕全景图像的情况下，将全景图像数据与显示全景图像数据是全环绕全景图像的信息相联系。

(2)

按照(1)所述的图像处理装置，

其中在全景图像数据具有360°视角的情况下，将全景图像数据确定为全环绕全景图像。

(3)

按照(1)所述的图像处理装置，

其中在全景图像数据具有360°视角，以及进行两个图像端的对准处理的情况下，将全景图像数据确定为全环绕全景图像。

(4)

按照(1)所述的图像处理装置，

其中在通过360°全景成像模式操作获得全景图像数据的情况下，将全景图像数据确定为全环绕全景图像，在该360°全景成像模式操作中，在将成像方向位移近似360°的同时使用通过成像操作获得的多个帧图像数据生成全景图像数据。

(5)

按照(1)到(4)的任何一项所述的图像处理装置，

其中该联系部分将作为示出全景图像数据是全环绕全景图像的信息的元数据与全景图像数据相联系。

(6)

按照(1)到(4)的任何一项所述的图像处理装置，

其中该联系部分将作为示出全景图像数据是全环绕全景图像的信息、用于显示全环绕全景图像的显示处理程序与全景图像数据相联系。

(7)

按照(1)到(4)的任何一项所述的图像处理装置，

其中该联系部分将作为示出全景图像数据是全环绕全景图像的信息的全景图像数据本身设置成特定格式的数据。

(8)

按照(1)到(4)的任何一项所述的图像处理装置，

其中该联系部分将包括全景图像数据的数据文件与包括示出全景图像数据是全环绕全景图像的信息的数据文件相联系。

(9)

按照(5)所述的图像处理装置，

其中将示出在全景图像生成的时候帧图像数据的投影表面的类型的信息包括在元数据中。

(10)

按照(9)所述的图像处理装置，

其中示出投影表面的类型的信息是将单个平面、柱面、球面或立方体显示成弯曲或平坦投影表面的类型的信息。

(11)

按照(5)、(9)和(10)的任何一项所述的图像处理装置，

其中将全景图像数据的360°视角确定结果的信息包括在元数据中。

(12)

按照(5)、(9)、(10)和(11)的任何一项所述的图像处理装置，

其中将示出全景图像数据的两个图像端的对准处理的结果的信息包括在元数据中。

(13)

按照(5)、(9)、(10)、(11)和(12)的任何一项所述的图像处理装置，

其中将示出是否通过360°成像模式操作获得全景图像数据的信息包括在元数据中，在该360°全景成像模式操作中，在将成像方向位移近似360°的同时使用通过成像操作获得的多个帧图像数据生成全景图像数据。

(14)

按照(5)、(9)、(10)、(11)、(12)和(13)的任何一项所述的图像处理装置，

其中将全景图像数据的水平视角和垂直视角的信息包括在元数据中。

(15)

按照(1)到(14)的任何一项所述的图像处理装置，进一步包括：

全景组合部分，其被配置成通过组合在位移成像方向的同时通过成像操作获得的多个帧图像数据生成全景图像数据。

Claims (18)

1.一种图像处理装置，包含：

联系部分，其被配置成在位移成像方向的同时使用通过成像操作获得的多个帧图像数据生成的全景图像数据被确定为全环绕全景图像的情况下，将全景图像数据与显示全景图像数据是全环绕全景图像的信息相联系，

显示图像生成部分，其被配置为通过使用所述信息来确定全景图像数据是否是全环绕全景图像，当全景图像数据被确定为全环绕全景图像时，通过针对所述全景图像数据进行显示投影处理生成显示图像数据，并使得投影显示得以进行，当所述全景图像数据被确定为不是所述全环绕全景图像时，使不同于所述显示投影处理的另一显示处理得以进行。

2.按照权利要求1所述的图像处理装置，

其中在全景图像数据具有360°视角的情况下，将全景图像数据确定为全环绕全景图像。

3.按照权利要求1所述的图像处理装置，

其中在全景图像数据具有360°视角，以及进行两个图像端的对准处理的情况下，将全景图像数据确定为全环绕全景图像。

4.按照权利要求1所述的图像处理装置，

其中在通过360°全景成像模式操作获得全景图像数据的情况下，将全景图像数据确定为全环绕全景图像，在该360°全景成像模式操作中，在将成像方向位移近似360°的同时使用通过成像操作获得的多个帧图像数据生成全景图像数据。

5.按照权利要求1所述的图像处理装置，

其中该联系部分将作为示出全景图像数据是全环绕全景图像的信息的元数据与全景图像数据相联系。

6.按照权利要求1所述的图像处理装置，

其中该联系部分将作为示出全景图像数据是全环绕全景图像的信息的、用于显示全环绕全景图像的显示处理程序与全景图像数据相联系。

7.按照权利要求1所述的图像处理装置，

其中该联系部分将作为示出全景图像数据是全环绕全景图像的信息的全景图像数据本身设置成特定格式的数据。

8.按照权利要求1所述的图像处理装置，

其中该联系部分将包括全景图像数据的数据文件与包括示出全景图像数据是全环绕全景图像的信息的数据文件相联系。

9.按照权利要求5所述的图像处理装置，

其中将在全景图像生成的时候示出帧图像数据的投影表面的类型的信息包括在元数据中。

10.按照权利要求9所述的图像处理装置，

其中示出投影表面的类型的信息是将单个平面、柱面、球面或立方体显示成弯曲或平坦投影表面的类型的信息。

11.按照权利要求5所述的图像处理装置，

其中将全景图像数据的360°视角确定结果的信息包括在元数据中。

12.按照权利要求5所述的图像处理装置，

其中将示出全景图像数据的两个图像端的对准处理的结果的信息包括在元数据中。

13.按照权利要求5所述的图像处理装置，

其中将示出是否通过360°成像模式操作获得全景图像数据的信息包括在元数据中，在该360°全景成像模式操作中，在将成像方向位移近似360°的同时使用通过成像操作获得的多个帧图像数据生成全景图像数据。

14.按照权利要求5所述的图像处理装置，

其中将全景图像数据的水平视角和垂直视角的信息包括在元数据中。

15.按照权利要求1所述的图像处理装置，进一步包含：

全景组合部分，其被配置成通过组合在位移成像方向的同时通过成像操作获得的多个帧图像数据生成全景图像数据。

16.一种图像处理方法，包含：

在位移成像方向的同时使用通过成像操作获得的多个帧图像数据生成的全景图像数据被确定为全环绕全景图像的情况下，进行将全景图像数据与显示全景图像数据是全环绕全景图像的信息相联系的处理，

通过使用所述信息来确定全景图像数据是否是全环绕全景图像，在所述全景图像数据为确定为所述全环绕全景图像的情况下，通过针对所述全景图像数据进行显示投影处理生成显示图像数据，并使得投影显示得以进行，在所述全景图像数据被确定为不是所述全环绕全景图像的情况下，使不同于所述显示投影处理的另一显示处理得以进行。

17.一种图像处理装置，包括处理器、存储器、及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现以下步骤：

在位移成像方向的同时使用通过成像操作获得的多个帧图像数据生成的全景图像数据被确定为全环绕全景图像的情况下，将全景图像数据与显示全景图像数据是全环绕全景图像的信息相联系的处理；

通过使用所述信息来确定全景图像数据是否是全环绕全景图像，在所述全景图像数据为确定为所述全环绕全景图像的情况下，通过针对所述全景图像数据进行显示投影处理生成显示图像数据，并使得投影显示得以进行的处理，在所述全景图像数据被确定为不是所述全环绕全景图像的情况下，使不同于所述显示投影处理的另一显示处理得以进行。

18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现以下步骤：

在位移成像方向的同时使用通过成像操作获得的多个帧图像数据生成的全景图像数据被确定为全环绕全景图像的情况下，将全景图像数据与显示全景图像数据是全环绕全景图像的信息相联系的处理；

通过使用所述信息来确定全景图像数据是否是全环绕全景图像，在所述全景图像数据为确定为所述全环绕全景图像的情况下，通过针对所述全景图像数据进行显示投影处理生成显示图像数据，并使得投影显示得以进行的处理，在所述全景图像数据被确定为不是所述全环绕全景图像的情况下，使不同于所述显示投影处理的另一显示处理得以进行。