CN104321803A - 图像处理装置、图像处理方法和程序 - Google Patents

Abstract

当确定要显示的全景图像数据集合是全周全景图像时，图像处理设备通过执行用于显示的投影处理而生成显示图像数据。换句话说，替代简单地剪切并显示全景图像，本发明能够通过将在全景合成期间投影到曲面的全景图像数据集合投影到与投影中心轴相交的平面从而创建显示图像，显示现实感的图像。

Description

图像处理装置、图像处理方法和程序

技术领域

本公开涉及图像处理装置、图像处理方法和用于实现这些的程序，并且具体涉及适于全景图像数据的显示的图像处理。

背景技术

引用列表

专利文献1：JP 2010-161520A

如专利文献1中所示，已知从多个图像生成一个全景(panorama)图像的图像处理。

例如，用户在水平扫描相机的同时获得多个捕获的图像(帧图像数据)，并且通过组合它们，可以获得所谓的全景图像。

注意，“扫描(sweep)”指由于为了获得用于全景图像生成的多个帧图像而在成像时对成像装置的旋转运动导致的成像方向运动的操作。例如，在水平方向上移动成像方向的情况下，扫描方向将指向水平方向。

发明内容

技术问题

在为全景图像执行再现和显示的情况下，通常，执行所谓的单视图显示或执行滚动显示。

通过将所有全景图像数据压缩为一个静态图像来显示单视图显示。在此情况下，虽然可以观看整个全景图像，但是由于压缩，将难以成为有魅力的图像。

通过顺序剪切全景图像数据的部分而在滚动的同时显示滚动显示。通过滚动显示，可以在对每个部分更大的屏幕上观看全景图像。

然而，例如，通过简单地顺序剪切投影到圆柱面等上的全景图像数据来显示滚动显示，并且将不一定准确反映从用户视点的场景，如直线部分显著弯曲，例如水平面或建筑物。

另一方面，存在再现技术，其中通过将投影到圆柱面等上的全景图像再投影到平面屏幕，将其设置为显示图像而获得高沉浸感和临场感。这样的再现和显示技术将在说明书中称为“投影显示”。

例如，QuickTime VR。对于虚拟环境导航的基于图像的方法(苹果公司)等是众所周知的。

虽然可以认为当使用这样的投影显示时观看全景图像的显示的用户的满足度可以提高，但是在替代滚动显示简单执行投影显示的以下点存在困难。

虽然为了执行投影显示在创作中可能需要全景图像的视角，但是用户通常很少确切地知道在数字照相机的全景模式下投影的全景图像的视角。例如，在全景图像中存在各种类型的图像，如具有360°视角的全周(fullcircumference)图像，具有大约120°视角的图像或具有大约180°视角的图像。此外，除了360°视角，由于诸如对准误差、扫描半径或失真像差的影响，用于从全景图像数据获得视角的这种计算将变得不精确，并且将不能获得精确的视角。

这样，仅通过全景图像数据将不能得知视角，并且将不能执行投影显示的创作。例如，为了确保投影显示的视角是已知的，用户可能需要大致估计全景成像时的视角，并且在创作时手动输入视角。这将是对于普通用户困难的操作。此外，当输入视角与实际视角显著不同时，将导致在投影显示图像中出现失真。

由此，从实际使用角度或从显示质量的角度，投影显示将不一定总是最佳的显示系统。

本公开旨在实现一种图像处理以便能够例如通过广泛地假设从专业使用或商用到对于一般消费者的设备，手动并精确地执行全景图像的显示，尤其是高质量的投影显示。

解决问题的技术方案

根据本公开的一种图像处理装置，包括：显示图像生成部分，配置为在要成为显示目标的全景图像数据被判断为全周全景图像的情况下，通过执行显示投影处理来生成显示图像数据。

根据本公开的一种图像处理方法，包括：在要成为显示目标的全景图像数据被判断为全周全景图像的情况下，通过执行显示投影处理来生成显示图像数据。

根据本公开的一种程序使得计算处理装置执行图像处理方法的处理。

在这样的本公开中，在被判断为全周全景图像的情况下，当执行全景图像数据的再现和显示时，可以执行进行显示投影处理的显示处理(投影显示)。

将存在全周全景图像可以被判断为具有360°(或近似360°)的视角的情况。即，当执行投影显示时可以确定视角。因此，可以执行用于作为360°的视角的投影显示的处理，而不对用户施加负担，并且可以获得用于高质量投影显示的显示图像数据。

注意，例如，在显示目标的全景图像数据不是全周全景图像的情况下，可以考虑通过另一显示系统执行显示或不执行显示的选择。

发明的有利效果

根据本公开，在全景图像数据是全周全景图像的情况下，通过执行显示投影处理生成显示图像数据。因此，可以执行用于投影显示为具有360°视角的全景图像的处理，而不对用户施加诸如视角输入的操作负担。结果，变得可以具有无失真的高质量投影显示。

附图说明

图1是在本公开实施例中执行的全景成像的说明图。

图2是在实施例中执行的全景图像组合的说明图。

图3是实施例的全景图像的说明图。

图4是实施例的组合投影处理和显示投影处理的说明图。

图5是实施例的滚动显示和投影显示的说明图。

图6是实施例的360°全景图像的投影显示的说明图。

图7是实施例的单视图显示和列表显示的说明图。

图8是实施例的图像处理装置的框图。

图9是实施例的图像处理装置安装设备的配置示例的框图。

图10是实施例的图像处理装置安装设备的配置示例的框图。

图11是实施例的第一配置示例的说明图。

图12是实施例的第一配置示例中的处理的流程图。

图13是实施例的第二配置示例的说明图。

图14是实施例的第二配置示例中的处理的流程图。

图15是实施例的第三配置示例的说明图。

图16是实施例的第三配置示例中的处理的流程图。

图17是实施例的第四配置示例的说明图。

图18是实施例的第四配置示例中的处理的流程图。

图19是实施例的第五配置示例的成像装置的框图。

图20是实施例的成像装置中安装的全景组合部分和关联部分的功能配置的框图。

图21是在视角不是360°并且不执行对准的情况下的全景图像的说明图。

图22是实施例的执行对准的全景图像的说明图。

图23是实施例的全景图像的对准的说明图。

图24是实施例的全景成像时的处理的流程图。

图25是实施例的显示模式转变的说明图。

图26是实施例的成像装置中安装的显示图像生成部分的功能配置的框图。

图27是实施例的显示处理的流程图。

图28是实施例的计算机装置的框图。

具体实施方式

以下，将以下面的顺序描述实施例。

注意，实施例中具有显示图像生成部分20的设备将成为权利要求中的图像处理装置。

<1.全景组合和再现显示的概要>

<2.图像处理装置配置示例>

<3.第一配置示例(元数据)>

<4.第二配置示例(专用程序)>

<5.第三配置示例(文件链接信息)>

<6.第四配置示例(专用格式)>

<7.第五配置示例(对于成像装置的应用示例)>

(7-1：成像装置的配置)

(7-2：全景组合和关联处理)

(7-3：全景图像显示)

<8.第六配置示例(对于计算机装置和程序的应用示例)>

<9.修改示例>

<1.全景组合和再现显示的概要>

首先，将描述全景组合的概要。

下面将描述的实施例的成像装置50或近年的通常的成像装置(数字照相机)可以通过对于通过拍摄者获得的多个静态图像(帧图像数据)执行组合处理而生成全景图像，所述拍摄者在绕某个旋转轴可旋转地移动成像装置50的同时执行成像。

具体地，可以通过实施例的成像装置50生成具有360°视角的全周全景图像。

图1A示出在全景成像时成像装置50的运动。因为在全景成像时当组合背景和前景的视差时将出现结合的不自然，所以期望成像时旋转中心设置为透镜特征点的旋转中心，在此视差所谓的结点(Nodal Point)不出现。全景成像时成像装置50的旋转运动将称为“扫描”。

图1B是当对通过成像装置50的扫描获得的多个静态图像执行适当对准时的示意图。在此图中，以成像的时间顺序示出通过成像获得的每个静态图像。即，将从时间0直到时间(n-1)捕获的帧图像数据设置为帧图像数据FM#0，FM#1…FM#(n-1)。

在从n个静态图像生成全景图像的情况下，对于如所示的连续捕获的一系列n个帧图像数据FM#0到FM#(n-1)执行组合处理。

如此图1B所示，因为每个捕获的帧图像数据可能需要与相邻帧图像数据有重叠部分，所以需要适当的设置成像装置50的每个帧图像数据的成像时间间隔、以及拍摄者执行扫描的速度的上限值。

此外，因为以此方式对准的帧图像数据组将具有许多重叠部分，所以可能需要对每个帧图像数据确定要用于最终全景图像的区域。换言之，这与确定全景组合处理中的图像的结合(junction)(接缝：seam)相同。

在图2A和图2B中，示出了接缝SM的示例。

在接缝中，可以设置扫描方向中垂直的线，如图2A所示，或不垂直的线(曲线等)，如图2B所示。

在此图2A和图2B中，接缝SM0示出为帧图像数据FM#0和FM#1之间的结点，接缝SM1示出为帧图像数据FM#1和FM#2之间的结点，…，并且接缝SM(n-2)示出为帧图像数据FM#(n-2)和FM#(n-1)之间的结点。

注意，通过使这些接缝SM0到SM(n-2)设置为组合时的相邻图像之间的结点，已经在每个帧图像数据中成为阴影部分的各部分将成为不用于最终的全景图像的图像区域。

此外，当执行全景组合时，为降低接缝附近的图像的不自然度设置目标，并且将存在对于接缝附近的图像区域也执行混合处理的情况。此外，还将存在通过大范围的混合处理连接每个帧图像数据的共同部分的情况，或将存在对来自共同部分的每个像素选择归于全景图像的像素的情况，并且在这些情况下，虽然结点将清晰存在，但是这些大范围的连接部分将与本公开的接缝具有相同外观。

此外，如图1B所示，作为每个帧图像数据的对准的结果，不仅在通常的扫描方向上，而且在与扫描方向垂直的方向上，识别一些运动。将存在由于拍摄者在扫描时的相机抖动而由此出现的间隙。

通过确定每个帧图像数据的接缝，在这些边界区域通过连接或混合处理执行连接，并且最终通过考虑相机抖动量在与扫描方向垂直的方向上微调不需要的部分，可以获得具有广视角的全景图像，其扫描方向设置为长侧方向，如图3所示。

在图3中，竖线示出接缝，并且示意性示出通过分别在接缝SM0到SM(n-2)连接n个帧图像数据FM#0到FM#(n-1)而生成全景图像的状态。

将描述用户为通过使用成像装置50而获得这样的全景图像所执行的全景成像的具体操作示例。

首先，成像装置50设置为全景成像模式，并且额外设置最大成像视角。例如，120°、180°、360°等能够设置为最大图像视角，并且在选择360°的情况下，可以执行所谓的全周成像，其存储所有照片的周围的整个场景。注意，在全景成像模式下将最大图像视角设置为360°的情况下使用诸如“360°全景成像模式”的表述，并且在最大图像视角设置为180°的情况下使用诸如“180°全景成像模式”的表述。

接下来，通过使拍摄者按压成像装置50的快门按钮开始全景成像，并且执行扫描操作。此后，在满足全景成像的结束条件的情况下，将完成全景成像。例如，结束条件如下。

*达到预先设置的最大图像视角的情况。

*用户停止扫描操作的情况。

*用户再次按压快门按钮的情况。

*用户从快门按钮移除手指的情况(对于全景成像期间继续按压快门按钮的规格)

*某些错误出现的情况。

在完成成像之后，自动开始全景组合处理，在已经经过一定时间之后完成全景图像的组合，并且在记录设备中保持此全景图像数据。此后，通常制作与静态图像的列表相同的列表，并且可以显示列表。

将描述如此生成的全景图像数据及其显示模式。

图4A是全景组合时的投影处理的示意图。虽然全景组合时的处理系统是多样化的，但是经常执行例如投影到圆柱面、球面、立方体等上的处理。这将在说明书中称为“组合投影处理”，并且与稍后将描述的为投影显示执行的“显示投影处理”相区分。

在此图4A中，示出在全景成像时扫描的同时捕获的大量帧图像数据FM。可以认为，帧图像数据FM(即，与通常拍摄的图像相同的捕获的图像)将三维场景投影到平面上(例如，相机的成像器平面)。当从这样的大量帧图像数据FM生成诸如图3的全景图像数据的全景图像数据时，例如，作为组合投影处理，设置将每个帧图像数据FM投影到圆柱面FR上的状态。在此图中，沿圆柱面FR示意性示出投影的帧图像数据FMpd。

通过连接已经执行这样的组合投影处理的帧图像数据FMpd生成如图4B所示的全景图像数据PD。全景图像数据PD可以是已经针对如从投影中心CT所示的圆柱面FR执行投影的图像数据。

在本实施例中，单视图显示、列表显示、滚动显示和投影显示能够执行为用于这样的全景图像数据PD的显示模式。显示模式在图5、图6和图7中示出。

图5示意性示出滚动显示和投影显示的概念。

滚动显示按原样剪切作为投影到诸如上述的圆柱面等的图像的全景图像数据PD的部分，并且通过自动或根据手动操作向上、向下、向左和向右滚动而显示。

另一方面，投影显示与滚动显示不同，并且显示对于投影到圆柱面、球面、立方体等上的全景图像数据PD再次执行投影(显示投影处理)到虚拟平面屏幕VS的图像。

即，在此情况下，执行将在全景图像生成时投影到投影面上的全景图像数据投影到平面上的处理，作为显示投影处理。此外，将投影到平面上的图像设置为显示图像数据。

这样，可以再现成像时的图像，消除由于如从滚动显示可见的圆柱投影或球面投影导致的投影失真，并且实现具有改善的沉浸感和临场感的显示。

例如，图6示意性示出在360°全景成像模式下获得的全景图像数据PD的投影显示。全景图像数据PD是投影到投影中心CT的周围的360°圆柱面FR上的图像数据。此全景图像数据PD投影到与每个角度对应的虚拟平面屏幕VSO…VS45…。例如，平面屏幕VSO示出为从投影中心CT以0°方向为中心的平面屏幕，并且平面屏幕VS45示出为从投影中心CT以45°方向为中心的平面屏幕。在图中，另外图示了135°方向、180°方向、225°方向和315°方向的平面屏幕VS135、VS180、VS225和VS315的每个。

在投影显示中，显示了投影到设置为从投影中心CT到这样的观看方向的平面屏幕VS上的图像。通过自动或根据手动操作适当设置从投影中心CT到平面屏幕VS的矢量或距离，观看方向的改变或放大/缩小是可能的。

例如如果顺序显示平面屏幕VSO的投影图像、平面屏幕VS1(1°方向)、平面屏幕VS2(2°方向)…平面屏幕VS45…平面屏幕VS135…平面屏幕VS315…和平面屏幕VS0的投影图像，则变得可以显示以便看到从投影中心CT起的全周环境。

此外，通过将平面屏幕VS的位置移动远离投影中心CT或使其靠近投影中心CT，将放大/缩小显示图像。

然而，除了在360°全景成像模式下捕获的全周全景图像，将不能准确获得全景图像数据的视角。此外，将不能严格定义执行显示投影处理时的三维模型。因此，除了360°全景图像数据以外的数据将不适于投影显示。

接下来，图7A示出单视图显示的示例，并且图7B示出列表显示的示例。

因为单视图显示生成简单包括所有全景图像数据PD的显示图像数据，并且显示它，所以其是普通的显示操作。例如，通过使得全景图像变为水平方向上长的图像，并且将其与显示屏幕的不同宽高比组合，如图7A所示的屏幕上的部分(在此示例的情况下，上面区域和下面区域)将经常成为不显示的区域。

如图7B所示，列表显示显示能够在列表中再现和显示的图像数据。例如，通过使用户在列表显示中执行图像选择，可以选择对其执行上述滚动显示或投影处理的全景图像数据PD。

注意，例如，虽然图7B的列表显示的图像不是其中压缩整个水平方向上长的全景图像的图像，但是在列表显示中表现全景图像数据PD的情况下，可以剪切并压缩全景图像的部分，并且可以执行如所示的显示。当然，例如，还存在通过压缩整个水平方向上长的全景图像而多个并排的列表显示模式。

<2.图像处理装置配置示例>

将描述实施例的图像处理装置的配置示例。

图8A示出具有图像处理装置1的配置示例，其包括用于生成全景图像数据的关联部分11和全景组合部分10。关联部分11和全景组合部分10可以包括在同一设备内的一体中，或可以各自包括在不同设备体中。

此外，图8B示出具有图像处理装置2的配置示例，其包括用于显示全景图像数据的显示图像生成部分20和显示部分21。显示图像生成部分20和显示部分21可以包括在同一设备内的一体中，或可以各自包括在不同设备体中。

在图8A的配置中，全景组合部分10从输入图像组FMS生成全景图像数据PD。输入图像组FMS是通过使得拍摄者在全景成像模式下扫描的同时执行成像操作而获得的一系列帧图像数据FM。全景组合部分10通过使用多个帧图像数据FM作为输入图像组FMS，生成如上面在图1到图3中描述的全景图像数据PD。

然后，全景组合部分10将所生成的全景图像数据PD提供到关联部分11。注意，在实施例的第五配置示例的描述中将陈述全景组合部分10的具体处理示例。

此外，在全景图像数据PD的生成处理中，全景组合部分10还将各种类型的全景处理信息Ip提供到关联部分11。

全景处理信息Ip是在全景组合处理的处理中生成的各种类型的信息的统称。

例如，示出诸如360°全景成像模式或180°全景成像模式的模式类型的信息(以下，全景模式类型信息)可以被认为是全景处理信息Ip的内容。

此外，示出是否全景图像数据PD具有360°视角的判断结果的信息(以下，360°视角判断信息)可以被认为是全景处理信息Ip的内容。例如，其是判断是否恰好是360°视角的结果的信息。注意，可以是判断具有大致接近360°视角的结果。

此外，示出全景图像数据PD是否具有360°视角并且执行两端对准的信息(以下，两端对准信息)可以被认为是全景处理信息Ip的内容。虽然在实施例的第五配置示例的描述中将陈述两端对准，但是可以简单地认为其是执行调整使得在全景图像的0°和360°位置(即，在全景图像的两端)在垂直方向和水平方向没有图像间隙的处理。

此外，组合投影处理的投影面的信息(以下，组合投影面信息)可以被认为是全景处理信息Ip的内容。例如，其是示出圆柱面、球面、多边形面、平面等的信息。

此外，示出全景图像数据PD的水平视角和垂直视角的信息(以下，水平和垂直视角信息)可以被认为是全景处理信息的内容。

在判断所生成的全景图像数据PD为全周全景图像的情况下，关联部分11执行将此全景图像数据PD与示出此全景图像数据PD是全周全景图像的信息相关联的处理(关联处理)。作为关联处理的具体处理示例将在实施例的第一配置示例到第四配置示例中描述。

此外，关联部分11输出用于记录或发送的全景图像数据。为了在说明书中区分，由关联部分11所输出的用于记录或发送的全景图像数据将具体称为“全景图像文件PDr”。

此全景图像文件PDr是记录到记录介质或发送到另一设备的全景图像数据。具体地，在全景图像数据PD具有接近360°视角(或恰好360°视角)的情况下，将会有关联了示出其是全周全景图像的信息的状态的一个或多个数据文件。

继续，在图8B的配置中，显示图像生成部分20捕获全景图像文件PDr。

例如，通过从上述关联部分11输出而记录到记录介质的全景图像文件PDr通过被从记录介质读取而提供到显示图像生成部分20。替代地，通过从关联部分11输出而发送和输出的全景图像文件PDr通过被接收而提供到显示图像生成部分20。

例如，显示图像生成部分20生成用于上述单视图显示、列表显示、滚动显示或投影显示的显示图像数据PDdsp。具体地，在选择为显示目标的全景图像文件PDr的全景图像被判断为全周全景图像的情况下，通过执行显示投影处理而生成用于投影显示的显示图像数据PDdsp。

此外，显示图像生成部分20将显示图像数据PDdsp提供到显示部分21。将在实施例的第一配置示例到第四配置示例中描述显示图像生成部分20的具体处理示例。

显示部分21具有诸如液晶面板、有机电致发光(EL)面板、等离子显示面板或阴极射线管(CRT)的显示面板以及用于此显示面板的显示驱动部分，并执行各种类型的显示。通过使得从显示图像生成部分20a提供显示图像数据PDdsp，在此显示部分21中执行基于此显示图像数据PDdsp的显示操作。例如，执行与全景图像相关的单视图显示、列表显示、滚动显示或投影显示。

在本示例的情况下，在选择为显示目标的全景图像文件PDr的全景图像被判断为全周全景图像的情况下，通过显示图像生成部分20执行显示投影处理来生成显示图像数据PDdsp，并将其提供至显示部分21。例如，顺序提供投影到图6的虚拟平面屏幕VS上的图像，并且，在此情况下，通过显示部分21执行投影显示。

如上所述，各种类型的配置示例可以被认为是具有包括关联部分11的图像处理装置1以及包括显示图像生成部分20的图像处理装置2的电子设备。各种类型的装置配置示例将在图9和图10中图示为电子设备。

图9A是图像处理装置1和图像处理装置2构成于包括成像功能的装置DVC1中的示例。

此示例的装置DVC1具有成像部分12、全景组合部分10、关联部分11、记录和再现部分13、显示图像生成部分20和显示部分21。

例如，成像部分12通过全景图像数据的成像操作获得用于生成全景图像的一系列多个帧图像数据FM。此多个帧图像数据FM作为输入图像组FMS提供到全景组合部分10。全景组合部分10从输入图像组FMS生成全景图像数据PD，并且输出全景图像数据PD和全景处理信息Ip。关联部分11执行上述关联处理，并且输出全景图像文件PDr。全景图像文件PDr记录到记录和再现部分13中的记录介质中。

从记录和再现部分13中的记录介质读取的全景图像文件PDr提供到显示图像生成部分20，并且生成显示图像数据PDdsp。此显示图像数据PDdsp提供到显示部分21，并且执行诸如投影显示的显示。

这样，例如，可以假设装置DVC1为数字照相机、摄像机、移动电话单元、计算机装置等，其包括全景成像功能、记录和再现功能和显示功能。

图9B是图像处理装置1和图像处理装置2构成于从外部包括图像数据输入功能的装置DVC2中的示例。

此示例的装置DVC2具有输入部分14、全景组合部分10、关联部分11、记录和再现部分13、显示图像生成部分20和显示部分21。即，当与上述图9A对比时，存在替代成像部分12包括输入部分14的情况。

例如，输入部分14输入通过外部成像装置中的全景图像数据的成像操作获得的一系列多个帧图像数据FM，用于生成全景图像。此多个帧图像数据FM作为输入图像组FMS提供到全景组合部分10。此后每个部分的操作与图9A的那些相同。

这样，装置DVC2是通过使用外部成像装置中获得的帧图像数据FM执行全景图像生成或执行全景图像的显示的设备。例如，可以假设其是图像编辑设备、记录和再现装置、电视接收设备、移动电话单元、计算机装置等，其通过有线或无线连接到诸如数字照相机的成像装置而使用。

图9C的装置DVC3是图像处理装置1和图像处理装置2构成为没有显示部分21的设备的示例。

此示例的装置DVC3具有输入部分14(或成像部分12)、全景组合部分10、关联部分11、记录和再现部分13和显示图像生成部分20。此情况的显示部分21成为连接到装置DVC3的外部设备。虽然每个部分的操作与图9A和图9B所示那些相同，但是显示图像生成部分20将所生成的显示图像数据PDdsp发送到外部显示部分21，并且使得执行诸如投影显示的显示。

这样，图像处理装置1和图像处理装置2能够执行为没有显示功能的设备。

图10A是成为图像处理装置1的装置DVC4以及成为图像处理装置2的DVC5的示例。

装置DVC4具有成像部分12(或输入部分14)、全景组合部分10、关联部分11和记录部分13R。

记录部分13R将全景图像文件PDr从关联部分11记录到便携式记录介质90。可以假设存储卡、光盘、磁盘等作为便携式记录介质90。

装置DVC5具有再现部分13P、显示图像生成部分20和显示部分21。

再现部分13P再现来自便携式记录介质90的全景图像文件PDr，并将其提供到显示图像生成部分20。显示图像生成部分20基于全景图像文件PDr生成显示图像数据PDdsp，并通过将其提供到显示部分21使得执行全景图像的显示。

在此示例中，通过便携式记录介质90捕获全景图像文件PDr的配置可以被认为是成为图像处理装置1的装置DVC4和成为图像处理装置2的装置DVC5为不同体的配置。注意，还可以考虑使用外部显示部分21、并且在装置DVC5中不包括显示部分21的示例。

图10B是成为图像处理装置1的装置DVC6和成为图像处理装置2的装置DVC7的示例。

装置DVC6具有成像部分12(或输入部分14)、全景组合部分10、关联部分11和通信部分15。

通信部分15将全景图像文件PDr从关联部分11发送到外部。

装置DVC7具有通信部分16、显示图像生成部分20和显示部分21。

通信部分16接收从装置DVC6发送的全景图像文件PDr，并将其提供到显示图像生成部分20。显示图像生成部分20基于全景图像文件PDr生成显示图像数据PDdsp，并通过将其提供到显示部分21而使得执行全景图像的显示。

在此示例中，通过通信传递全景图像文件PDr的配置也可以被认为是成为图像处理装置1的DVC6和成为图像处理装置2的DVC7是不同体的配置。

通信部分15和16之间的通信也可以被认为是有线通信或无线通信。此外，将假设通信是所谓的通信模式，如通过设备之间的电缆连接的通信、通过通用串行总线(USB)等的通信、通过局域网(LAN)的通信或使用诸如因特网的公共网的通信。此外，通信部分15可以执行将全景图像文件PDr上传到因特网上的服务器等的通信，或通信部分16可执行从服务器下载全景图像文件PDr的通信。此外，通信部分15和16可执行采用云计算的通信。

注意，还可以考虑使用外部显示部分21、并且在装置DVC7中不包括显示部分21的示例。

至此，虽然已经示出设备配置示例，但是可以额外考虑实现图像处理装置1和2的各种类型的设备配置。

例如，在采用云计算系统的情况下，关联部分11和显示图像生成部分20也可以被认为布置在网络上，而不在用户使用的设备中。

此外，上述全景图像文件PDr是对其执行将全景图像数据PD与示出此全景图像数据PD是全周全景图像的信息关联的处理的数据。虽然可以认为制作了将示出其是全周全景图像的信息(例如，下面将描述的元数据或专用程序)与全景图像数据PD合并作为全景图像文件PDr的文件，但是也可以包括另外的全景图像数据PD和示出其是全周全景图像的信息作为不同文件，并且还将会有通过一些信息将它们关联的模式。

<3.第一配置示例(元数据)>

以下，将描述作为图8所示的关联部分11和显示图像生成部分20的具体配置示例。第一配置示例是关联部分11使用元数据执行关联处理的示例。

图11A示出图像处理装置1中的全景组合部分10和关联部分11。在此第一配置示例中，关联部分11具有元数据生成部分11a和数据集成部分11b。

全景组合部分10生成全景图像数据PD并输出全景处理信息Ip。

全景处理信息Ip提供到元数据生成部分11a。元数据生成部分11a生成反映全景处理信息Ip的元数据MT。存在全景模式类型信息、360°视角判断信息、两端对准信息、组合投影面信息、水平和垂直视角信息等，作为上述全景处理信息Ip的内容。

在所生成的全景图像数据PD被判断为全周全景图像的情况下，这些当中的全景模式类型信息、360°视角判断信息或两端对准信息可以成为示出此全景图像数据PD是全周全景图像的信息。

数据集成部分11b通过将全景组合部分10所生成的全景图像数据PD与元数据生成部分11a所生成的元数据MT集成，生成全景图像文件PDr。例如，全景图像文件PDr成为诸如图11B所示的结构。即，其是包括头部、全景图像数据PD和元数据MT的数据文件结构。

在图9和图10所示的装置DVC1到DVC3、DVC4和DVC6的每个中，将这样的全景图像文件PDr记录到记录介质或发送并输出。

图11C示出图像处理装置2中的显示图像生成部分20。在此第一配置示例中，显示图像生成部分20具有数据分离部分20a、元数据解释部分20b和图像生成处理部分20c。

从记录介质再现或接收的全景图像文件PDr输入到数据分离部分20a。数据分离部分20a从此全景图像文件PDr分离元数据MT和全景图像数据PD。

元数据MT由元数据解释部分20b解释并作为全景处理信息Ip(全景模式类型信息、360°视角判断信息、两端对准信息、组合投影面信息以及水平和垂直视角信息)提供到图像生成处理部分20c。

图像生成处理部分20c基于全景图像数据PD生成和输出显示图像数据PDdsp。此时，根据全景处理信息Ip的内容确定是否执行显示图像数据PDdsp生成用于投影显示。即，在显示目标的全景图像数据PD被判断为全周全景图像的情况下，执行用于投影显示的处理，并且在其不是全周全景图像的情况下，例如执行用于滚动显示或单视图显示的处理。

然后，所生成的显示图像数据PDdsp提供到未图示的显示部分或具有显示部分的设备，并执行显示。

在图9和图10所示的装置DVC1到DVC3、DVC5和DVC7的每个中，此显示图像数据PDdsp提供到显示部分21并执行全景图像显示。

图12中示出上述图像处理装置1和图像处理装置2的处理示例。

图12A示出作为图像处理装置1的全景组合部分10和关联部分11的处理。

在步骤F1，全景组合部分10捕获输入图像组FMS。

在步骤F2，通过使全景组合部分10执行全景组合处理生成全景图像数据PD。全景组合部分10将在此全景组合处理过程中获得的全景处理信息Ip提供到关联部分11(元数据生成部分11a)。

在步骤F3，关联部分11(元数据生成部分11a)基于全景处理信息Ip生成元数据MT。

在步骤F4，关联部分11(数据集成部分11b)将全景图像数据PD与元数据MT集成，并且生成例如如图11B所示的全景图像文件PDr。

在步骤F5，通过未图示的记录和再现部分将全景图像文件PDr记录到记录介质，或通过未图示的通信部分发送并输出到外部设备、网络等。

在图12B中，示出了图像处理装置2的显示图像生成部分20的处理。

在步骤F51，显示图像生成部分20(数据分离部分20a)捕获由未图示的记录介质再现的或由未图示的通信部分接收的全景图像文件PDr。

在步骤F52，显示图像生成部分20(数据分离部分20a，元数据解释部分20b)从全景图像文件PDr分离全景图像数据PD和元数据MT，提取元数据MT，并通过解释它而获得全景处理信息Ip。

在步骤F53，显示图像生成部分20(图像生成处理部分20c)通过判断此时的显示目标的全景图像数据PD是否是具有360°视角的全周全景图像而使处理分支。

可以对于各种类型考虑全景图像数据PD是否是全周全景图像的判断。

通过参考全景处理信息Ip中的360°视角判断信息，可以判断全景图像数据PD是否具有恰好360°视角。因此，在其具有恰好360°视角的情况下，可以判断为全周全景图像。

此外，通过参考全景处理信息Ip中的两端对准信息，可以判断全景图像数据PD是否具有360°视角，并执行两端对准处理。因此，在通过将具有360°视角并执行两端对准设置为条件，可以判断为全周全景图像。

此外，通过参考全景处理信息Ip中的全景模式类型信息，可以判断全景图像数据PD是否在360°全景成像模式下捕获，即，其是否具有大约360°视角。因此，如果判断其在360°全景成像模式下捕获，则可以判断为全周全景图像。

注意，不一定认为360°全景成像模式下捕获的全景图像数据PD就恰好具有360°视角。这是因为，在360°全景成像模式下，虽然从通过在成像时的360°扫描获得的帧图像数据FM生成全景图像数据PD，但是用户执行扫描，并且将不一定是恰好360°视角。将存在用户在达到360°之前停止扫描的情况。因此，360°全景成像模式下捕获的全景图像数据PD成为估计具有大约360°视角的图像。

在步骤F53，使用上述判断技术的任一个，并且在判断为全周全景图像的情况下，显示图像生成部分20(图像生成处理部分20c)进行到步骤F54，通过执行显示投影处理生成显示图像数据PDdsp，并且在步骤F55，执行输出此显示图像数据PDdsp的处理。这些步骤F54和F55的处理继续，直到在步骤F56通过用户操作或自动处理到达显示结束。这样，在显示部分中，例如执行查看全周的显示或任意方向的显示作为投影显示。

这里，在用于执行投影显示的显示投影处理中，可能需要全景图像的视角的信息。在本示例的情况下，成为步骤F54的处理目标的全景图像数据PD被判断为如上所述的全周全景图像，因此，图像生成处理部分20c可通过将全景图像数据PD设置为360°的视角而执行显示投影处理。这样，可以执行存在很少图像失真的高质量投影显示。

此外，在显示投影处理中，在全景组合时对其执行投影到投影面(圆柱面、球面、多边形面等)的全景图像数据PD被再投影到虚拟平面屏幕VS。因此，可能变得需要全景图像数据PD的投影面的信息。在本示例中，通过参考全景处理信息Ip中的组合投影面信息，图像生成处理部分20c可以精确执行到平面屏幕VS的再投影处理。

此外，在投影显示中，通过改变虚拟平面屏幕VS的水平和垂直视角，可以执行与滚动显示一样查看水平和垂直方向上的环境的显示。例如，通过在水平方向上具有360°视角，可以在水平方向上执行不受限的滚动，其将限制于垂直方向。在此方向，通过参考全景处理信息Ip中的水平和垂直视角信息，图像生成处理部分20c可以限制垂直方向的滚动能力范围。

注意，水平和垂直视角信息可以是简单用于限制显示范围的信息，而不用于自身到用于显示的平面屏幕VS的投影处理。因此，可以示出视角的精确的并且高的值。在生成全景图像数据PD时，可能不需要为获得高度精确的水平和垂直视角来执行困难的计算。

在步骤F53，在判断不是全周全景图像的情况下，在步骤F57，显示图像生成部分20(图像生成处理部分20c)执行另一系统的显示图像数据生成处理。例如，生成显示图像数据PDdsp作为滚动显示或单视图显示。然后，在步骤F58，执行输出显示图像数据PDdsp的处理。这些步骤F57和F58的处理继续，直到在步骤F59判断到达显示结束。这样，在显示部分中，执行投影显示以外的滚动显示或单视图显示。

在其不是全周全景图像的情况下，将不能在不确切知道视角的情况下以高质量执行投影显示。因此，执行滚动显示或单视图显示。

在如上所述的第一配置示例中，在图像处理装置1中，关联部分11通过将包括示出其是全周全景图像的信息的元数据MT与全景图像数据PD关联而生成全景图像文件PDr。

示出全景图像生成时的帧图像数据的投影面的类型的组合投影面信息、全景图像数据PD的360°视角判断信息、两端对准信息、全景模式信息和水平和垂直视角信息包括在元数据MT中。

另一方面，在图像处理装置2中，显示图像生成部分20通过在全景图像数据PD被判断为全周全景图像时执行显示投影处理而生成显示图像数据，并且使得执行投影显示。全周全景图像的判断使用被关联为元数据MT的信息。

通过这样的配置，可以对于可执行精确投影显示的全周全景图像自动执行投影显示，并可对用户提供具有沉浸感的显示。另一方面，在不能精确指定不是全周全景图像的视角时，通过另一显示系统执行显示，可以执行显示操作的切换，从而不执行低质量投影显示。

此外，全景模式类型信息、360°视角判断信息或两端对准信息等被包括作为元数据MT，并且通过使其与全景图像数据PD关联，可以容易并精确执行其是否是全周全景图像的判断。即，显示系统的选择变得容易和精确。

此外，通过使得组合投影面信息包括在元数据MT中，可以精确执行显示投影处理。

<4.第二配置示例(专用程序)>

将描述实施例的第二配置示例。在第二配置示例中，图像处理装置1的关联部分11将用于全周全景图像的显示的显示处理程序(专用程序)与全景图像数据PD集成，作为示出其是全周全景图像的信息。

此外，图像处理装置2的显示图像生成部分20通过使显示处理程序与全景图像数据PD关联而判断其是全周全景图像，并且通过基于此显示处理程序执行显示投影处理而生成显示图像数据。

图13A示出图像处理装置1中的全景组合部分10和关联部分11。在此第二配置示例中，关联部分11具有显示处理程序生成部分11d和数据集成部分11e。

全景组合部分10生成全景图像数据PD并输出全景处理信息Ip。

全景处理信息Ip提供到显示处理程序生成部分11d。显示处理程序生成部分11d使得基于全景处理信息Ip生成显示处理程序PG。通过全景处理信息Ip中的全景模式类型信息、360°视角判断信息和两端对准信息的任一判断全景图像数据PD是否是全周全景图像，在全周全景图像的情况下，显示处理程序生成部分11d使得生成显示处理程序PG。

例如，因为其以Flash(Adobe)、QuickTimeVR(Apple)或HTML5描述为显示处理程序PG，所以可以由范围广泛的显示设备进行再现和显示。

数据集成部分11e通过将由全景组合部分10生成的全景图像数据PD与由显示处理程序生成部分11d生成的显示处理程序PG集成而生成全景图像文件PDr。例如，全景图像文件PDr成为如图13B所示的结构。即，其是包括头部、全景图像文件PDr和显示处理程序PG的数据文件结构。

在图9和图10所示的装置DVC1到DVC3、DVC4和DVC6的每个中，这样的全景图像文件PDr记录到记录介质或发送并输出。注意，虽然图示为全景图像文件PDr，全景图像数据PD可以设置为通常的全景保持形式，并且可以添加显示处理程序PG，其可以设置为将全景图像数据PD嵌入到显示处理系统自身中的形式。

图13C示出图像处理装置2中的显示图像生成部分20。在此第二配置示例中，显示图像生成部分20具有数据分离部分20f和图像生成处理部分20c。

从记录介质再现或接收的全景图像文件PDr输入到数据分离部分20f。数据分离部分20f从此全景图像文件PDr分离全景图像数据PD和显示处理程序PG，并将其提供到图像生成处理部分20c。

注意，在全景图像数据PD不是全周全景图像的情况下，显示处理程序PG不包括在全景图像文件PDr中，因此，数据分离部分20f仅将全景图像数据PD提供到图像生成处理部分20c。

图像生成处理部分20c基于全景图像数据PD生成并输出显示图像数据PDdsp。此时，如果存在显示处理程序PG，则通过基于显示处理程序PG执行处理而执行用于投影显示的显示图像数据PDdsp生成。在全景图像数据PD不是全周全景图像并且不执行显示处理程序PG的情况下，执行用于例如滚动显示或单视图显示的另一显示的处理。

然后，将所生成的显示图像数据PDdsp提供到未图示的显示部分或具有显示部分的设备，并执行显示。

在图9和图10所示的装置DVC1到DVC3、DVC5和DVC7的每个中，将此显示图像数据PDdsp提供到显示部分21并执行全景图像显示。

图14中示出上述图像处理装置1和图像处理装置2的处理示例。

图14A示出作为图像处理装置1的全景组合部分10和关联部分11的处理。

在步骤F11，全景组合部分10捕获输入图像组FMS。

在步骤F12，通过使全景组合部分10执行全景组合处理生成全景图像数据PD。全景组合部分10将在此全景组合处理过程中获得的全景处理信息Ip提供到关联部分11(显示处理程序生成部分11d)。

在步骤F13，关联部分11(显示处理程序生成部分11d)确认全景处理信息Ip，并且执行所生成的全景图像数据PD是否是全周全景图像的判断。

与第一配置示例中所述类似，可通过参考全景处理信息Ip中的360°视角判断信息的系统、参考两端对准信息的系统、参考全景模式类型信息的系统等来考虑是否是全周全景图像的判断。

在其是全周全景图像的情况下，从步骤F14进行到F15，并且关联部分11(显示处理程序生成部分11d)使得生成显示处理程序PG。

在步骤F16，在生成显示处理程序PG的情况下，关联部分11(数据集成部分11b)将全景图像数据PD与显示处理程序PG集成，并生成例如如图13B的全景图像文件PDr。在没有生成显示处理程序PG的情况下，即，在其不是全周全景图像的情况下，生成包括全景图像数据PD的全景图像文件PDr。

在步骤F17，通过未图示的记录和再现部分将全景图像文件PDr记录到记录介质，或通过未图示的通信部分发送并输出到外部设备、网络等。

在图14B中，示出了图像处理装置2的显示图像生成部分20的处理。

在步骤F60，显示图像生成部分20(数据分离部分20f)捕获在未图示的记录再现部分中再现的或在未图示的通信部分中接收的全景图像文件PDr。

在步骤F61，显示图像生成部分20(数据分离部分20f)执行全景图像文件PDr的分离处理，并且确认是否包括显示处理程序PG。

在步骤F62，显示图像生成部分20根据是否存在显示处理程序PG，使处理分支。

在存在显示处理程序PG的情况下，在步骤F63，捕获显示处理程序PG，并将其设置为用作用于通过图像生成处理部分20c的显示图像生成的程序的状态。

然后，显示图像生成部分20(图像生成处理部分20c)进行到步骤F64，通过根据显示处理程序PG执行显示投影处理而生成显示图像数据PDdsp，并且在步骤F65，执行输出此显示图像数据PDdsp的处理。这些步骤F64和F65的处理继续，直到在步骤F66通过用户操作或自动处理到达显示结束。这样，在显示部分中，例如，执行查看全周的显示、任意方向的显示等，作为投影显示。

注意，在显示处理程序PG中可以描述全景图像数据PD的投影面的信息，其中全景图像数据PD具有360°视角，如用于额外滚动限制的水平和垂直视角信息。

在步骤F62判断不存在显示处理程序PG的情况下，显示图像生成部分20(图像生成处理部分20c)在步骤F67基于现有显示处理程序执行显示图像数据生成处理。例如，当在图像生成处理部分20c中存储显示处理程序作为滚动显示或单视图显示时，使用它们生成显示图像数据PDdsp作为滚动显示或单视图显示。然后，在步骤F68，执行输出显示图像数据PDdsp的处理。步骤F67和F68的处理继续，直到在步骤F69判断到达显示结束。这样，在显示部分中，执行投影显示以外的滚动显示或单视图显示。即，在其不是全周全景图像的情况下执行滚动显示或单视图显示。

在如上所述的第二配置示例中，在图像处理装置1中，关联部分11通过将用于执行与全周全景图像对应的投影显示的显示处理程序PG与全景图像数据PD关联而生成全景图像文件PDr。

另一方面，在图像处理装置2中，如果存在显示处理程序PG，则显示图像生成部分20通过基于此显示处理程序PG执行显示投影处理，生成用于投影显示的显示图像数据PDdsp。

通过这样的配置，对于可以执行适当投影显示的全周全景图像自动执行投影显示，并且可以为用户提供具有沉浸感的显示。另一方面，通过另一显示系统执行显示，在不能精确指定不是全周全景图像的视角时，可以执行显示操作的切换，从而不执行低质量投影显示。

<5.第三配置示例(文件链接信息)>

将描述实施例的第三配置示例。在第三配置示例中，图像处理装置1的关联部分11执行将包括示出其是全周全景图像的信息的数据文件与包括全景图像数据PD的数据文件相关联的处理。

此外，图像处理装置2的显示图像生成部分20从包括全景图像数据PD的数据文件确认所关联的数据文件，并通过获取信息判断其是否是全周全景图像。然后，在其是全周全景图像的情况下，通过执行显示投影处理生成显示图像数据。

图15A示出图像处理装置1中的全景组合部分10和关联部分11。在此第三配置示例中，关联部分11具有元数据生成部分11a和关联信息添加部分11c。

全景组合部分10生成全景图像数据PD并输出全景处理信息Ip。全景处理信息Ip(全景模式类型信息、360°视角判断信息、两端对准信息、组合投影信息、以及水平和垂直视角信息等)提供给元数据生成部分11a。

元数据生成部分11a生成反映全景处理信息Ip的元数据MT。

如图15B所示，关联信息添加部分11c生成包括全景图像数据PD的全景图像文件PDr1并生成包括元数据MT的数据文件PDr2。在此情况下，将文件链接信息LK1和LK2分别添加到全景图像文件PDr1和数据文件PDr2并手动关联。文件链接信息LK1是指定数据文件PDr2的信息，并且文件链接信息LK2是指定全景图像文件PDr1的信息。注意，指定其他的文件链接信息可以仅添加到全景图像文件PDr1和数据文件PDr2的一个。

在图9和图10所示的装置DVC1到DVC3、DVC4和DVC6的每个中，将这样的全景图像文件PDr1和数据文件PDr2记录到记录介质或发送并输出。记录了每个文件的记录介质可以是不同的记录介质。此外，每个文件可以发送到不同的设备、网络服务器等。

图15C示出图像处理装置2中的显示图像生成部分20。在此第三配置示例中，显示图像生成部分20具有关联信息提取部分20d、响应数据获取部分20e、元数据解释部分20b和图像生成处理部分20c。

从记录介质再现或接收的全景图像文件PDr1输入到关联信息提取部分20d。关联信息提取部分20d从此全景图像文件PDr1提取文件链接信息LK1，并将其提供到响应数据获取部分20e，并将全景图像数据PD提供到图像生成处理部分20c。

响应数据获取部分20e通过使用文件链接信息LK1执行访问ACLK，并获取关联的数据文件PDr2。例如，通过访问预定记录介质读取数据文件PDr2。替代地，通过访问预定外部设备、网络服务器等接收数据文件PDr2。然后，如果响应数据获取部分20e获取数据文件PDr2，则提取元数据MT，并提供到元数据解释部分20b。即，获得与此时的显示目标的全景图像数据PD相关联的元数据MT。

通过元数据解释部分20b解释元数据MT，并将其作为全景处理信息Ip(全景模式类型信息、360°视角判断信息、两端对准信息、组合投影面信息、水平和垂直视角信息)提供到图像生成处理部分20c。

图像生成处理部分20c基于全景图像数据PD生成并输出显示图像数据PDdsp。此时，根据全景处理信息Ip的内容判断是否执行用于投影显示的显示图像数据PDdsp生成。即，在判断显示目标的全景图像数据PD是全周全景图像的情况下，执行用于投影显示的处理，并且在其不是全周全景图像的情况下，执行用于另一显示(例如，滚动显示或单视图显示)的处理。

然后，所生成的显示图像数据PDdsp提供到未图示的显示部分或具有显示部分的设备，并执行显示。

在图9和图10中所示的装置DVC1到DVC3、DVC5和DVC7的每个中，此显示图像数据PDdsp提供到显示部分21并执行全景图像显示。

图16中示出上述图像处理装置1和图像处理装置2的处理示例。

图16A示出作为图像处理装置1的全景组合部分10和关联部分11的处理。

在步骤F21，全景组合部分10捕获输入图像组FMS。

在步骤F22，通过使全景组合部分10执行全景组合处理生成全景图像数据PD。全景组合部分10将在此全景组合处理中获得的全景处理信息Ip提供到关联部分11(元数据生成部分11a)。

在步骤F23，关联部分11(元数据生成部分11a)基于全景处理信息Ip生成元数据MT。

在步骤F24，关联部分11(关联信息添加部分11c)生成包括全景图像数据PD和文件链接信息LK1的全景图像文件PDr1，或生成包括元数据MT和文件链接信息LK2的数据文件PDr2。

在步骤F25，全景图像文件PDr1和数据文件PDr2通过未图示的记录再现部分记录到记录介质，或通过未示出的通信部分发送并输出到外部设备、网络等。

图16B示出图像处理装置2的显示图像生成部分20的处理。

在步骤F71，显示图像生成部分20(关联信息提取部分20d)捕获通过未图示的记录介质捕获的或通过未图示的通信部分接收的全景图像文件PDr1。

在步骤F72，显示图像生成部分20(关联信息提取部分20d，响应数据获取部分20e，元数据解释部分20b)通过使用从全景图像文件PDr1提取的文件链接信息LK1执行访问，并获取数据文件PDr2。然后，从数据文件PDr2提取元数据MT，并通过解释它而获得全景处理信息Ip。

在步骤F73，显示图像生成部分20(图像生成处理部分20c)通过此时的显示目标的全景图像数据PD是否是具有360°视角的全周全景图像而使处理分支。

如第一配置示例中所述，全景图像数据PD是否是全周全景图像的判断可通过全景处理信息Ip中的全景模式类型信息、360°视角判断信息和两端对准信息的任一个。

在步骤F73，在判断其是全周全景图像的情况下，显示图像生成部分20(图像生成处理部分20c)进行到步骤F74，通过执行显示投影处理而生成显示图像数据PDdsp，并且在步骤F75，执行输出此显示图像数据PDdsp的处理。这些步骤F74和F75的处理继续，直到在步骤F76通过用户操作或自动处理到达显示结束。这样，在显示部分中，例如执行查看全周的显示、任意方向的显示等作为投影显示。

注意，在此情况下，因为全景图像数据PD是全周全景图像，所以显示投影处理中使用的视角可以设置为360°。

此外，通过参考全景处理信息Ip中的组合投影面信息，图像生成处理部分20c可以精确执行到平面屏幕VS的再投影处理。

在步骤F73判断其不是全周全景图像的情况下，显示图像生成部分20(图像生成处理部分20c)在步骤F77执行另一系统的显示图像数据生成处理。例如，生成显示图像数据PDdsp作为滚动显示或单视图显示。然后，在步骤F78，执行输出显示图像数据PDdsp的处理。这些步骤F77和F78的处理继续，直到在步骤F79判断其到达显示结束。这样，在显示部分中，执行滚动显示或单视图显示而不是投影显示。即，在全景图像数据PD不是全周全景图像并且不确切知道视角的情况下，执行滚动显示或单视图显示。

在如上所述的第三配置示例中，在图像处理装置1中，关联部分11生成包括示出其是全周全景图像的信息的元数据MT的数据文件PDr2、以及包括全景图像数据PD的全景图像文件PDr1，并通过文件链接信息LK1和LK2关联它们。

另一方面，图像处理装置2中的显示图像生成部分20通过使用文件链接信息获取与全景图像数据PD关联的元数据MT，并从元数据MT判断全景图像数据PD是否是全周全景图像。然后，在判断全景图像数据PD是全周全景图像时，通过执行显示投影处理生成显示图像数据，并执行投影显示。

通过这样的配置，可以对于可执行适当投影显示的全周全景图像自动执行投影显示，并可对用户提供具有沉浸感的显示。另一方面，通过另一显示系统执行显示，在不能精确指定不是全周全景图像的视角时，可以执行显示操作的切换，从而不执行低质量投影显示。

注意，在图15和图16中，通过使用元数据MT的示例进行描述，还可以考虑通过使用第二配置示例中所述的显示处理程序PG。

例如，将不是元数据MT的显示处理程序PG包括在图15B所示的数据文件PDr2中。其是这样的示例：如果显示处理程序PG包括在相关联的数据文件PDr2中，则显示图像生成部分20通过使用此显示处理程序PG执行显示图像数据PDdsp的生成处理用于投影显示。

示出其是全周全景图像的信息被包括作为与上述全景图像数据PD不同的文件，并且可以对于各种类型考虑将它们关联的模式。作为相关技术1，例如，作为参考视频编辑数据中的视频材料的信息，已知唯一材料标识符(UMID)(例如，参见JP 2004-312233A)。例如，图15B的数据文件PDr2可以通过诸如UMID的模式，将元数据MT与作为不同文件的全景图像文件PDr1中的全景图像数据PD相关联。

<6.第四配置示例(专用格式)>

将描述实施例的第四配置示例。在第四实施例中，图像处理装置1的关联部分11将全景图像数据自身设置为特定格式的数据，作为示出其是全周全景图像的信息。

此外，图像处理装置2的显示图像生成部分20通过将全景图像数据设置为特定格式的数据判断其是全周全景图像，并通过执行显示投影处理而生成显示图像数据。

图17A示出图像处理装置1中的全景组合部分10和关联部分11。在此第四配置示例中，关联部分11具有格式处理部分11f。

全景组合部分10生成全景图像数据PD并输出全景处理信息Ip。

格式处理部分11f通过全景处理信息Ip中的全景模式类型信息、360°视角判断信息和两端对准信息的任一个，判断全景图像数据PD是否是全周全景图像。然后，在全周全景图像的情况下，生成包括专用格式的全景图像数据PD的全景图像文件PDr。在其不是全周全景图像的情况下，生成包括通用通常格式的全景图像数据PD的全景图像文件PDr。

注意，例如，通常格式的全景图像数据PD是经常使用的图像数据形式，诸如联合图像专家组(JPEG)格式等。另一方面，将专用格式设置为专用于全周全景图像的新数据格式。

图17B示出图像处理装置2中的显示图像生成部分20。在此第四配置示例中，显示图像生成部分20具有格式判断部分20g和图像生成处理部分20c。

从记录介质再现或接收的全景图像文件PDr输入到格式判断部分20g。格式判断部分20g判断全景图像文件PDr中包括的全景图像数据PD是专用格式还是通用格式。然后，将所提取的全景图像数据PD和格式判断信息FM提供到图像生成处理部分20c。

图像生成处理部分20c基于全景图像数据PD生成并输出显示图像数据PDdsp。此时，通过格式判断信息FM判断其是否是全周全景图像，并且如果其是全周全景图像，则执行用于投影显示的显示图像数据PDdsp的生成。在全景图像数据PD不是全周全景图像的情况下，执行用于另一显示(例如，滚动显示或单视图显示)的处理。

然后，将所生成的显示图像数据PDdsp提供到未图示的显示部分或具有显示部分的设备，并且执行显示。

图18中示出上述图像处理装置1和图像处理装置2的处理示例。

图18A示出作为图像处理装置1的全景组合部分10和关联部分11的处理。

在步骤F41，全景组合部分10捕获输入图像组FMS。

在步骤F42，通过使全景组合部分10执行全景组合处理生成全景图像数据PD。全景组合部分10将在全景组合处理过程中获得的全景处理信息Ip与全景图像数据PD提供到关联部分11(格式处理部分11f)。

在步骤F43，关联部分11(格式处理部分11f)确认全景处理信息Ip，并执行所生成的全景图像数据PD是否是全周全景图像的判断。与第一配置示例中所述类似，可通过参考全景处理信息Ip中的360°视角判断信息的系统、参考两端对准信息的系统、参考全景模式类型信息的系统等考虑其是否是全周全景图像的判断。

在其是全周全景图像的情况下，从步骤F44进行到F45，并且关联部分11(格式处理部分11f)通过将全景图像数据PD转换为专用格式而生成全景图像文件PDr。

在其不是全周全景图像的情况下，从步骤F44进行到F46，并且关联部分11(格式处理部分11f)生成包括通常格式的全景图像数据PD的全景图像文件PDr。

在步骤F47，通过未图示的记录和再现部分将全景图像文件PDr记录到记录介质，或通过未图示的通信部分发送并输出到外部设备、网络等。

图18B示出图像处理装置2的显示图像生成部分20的处理。

在步骤F81，显示图像生成部分20(格式判断部分20g)捕获通过未图示的记录再现部分再现的或通过未图示的通信部分接收的全景图像文件PDr。

在步骤F82，显示图像生成部分20(格式判断部分20g)判断全景图像文件PDr中包括的全景图像数据PD的格式。

然后，在步骤F83，显示图像生成部分20根据格式判断结果使处理分支。

在其判断为专用格式的情况下，显示图像生成部分20(图像生成处理部分20c)进行到步骤F84，通过执行显示投影生成显示图像数据PDdsp，并且在步骤F85输出此显示图像数据PDdsp。这些步骤F84和F85的处理继续，直到在步骤F86通过用户操作或自动处理到达显示结束。这样，在显示部分中，例如执行查看全周的显示、任意方向的显示等作为投影显示。

注意，在显示投影处理中的投影计算所使用的全景图像数据PD的视角可设置为360°。

此外，可以考虑将全景图像数据PD的投影面的信息、以及用于滚动限制的水平和垂直视角信息等嵌入专用格式的数据形式内。

在步骤F83，在判断其不是专用格式的情况下，显示图像生成部分20(图像生成处理部分20c)在步骤F87生成作为另一系统的显示图像数据PDdsp，例如滚动显示或单视图显示。然后，在步骤F88，执行输出显示图像数据PDdsp的处理。步骤F87和F88的处理继续，直到在步骤F89判断到达显示结束。在此情况下，在显示部分中，执行投影显示以外的滚动显示或单视图显示。

在如上所述的第四配置示例中，在图像处理装置1中，关联部分11在全周全景图像的情况下制成专用格式。

另一方面，在图像处理装置2中，通过在全景图像数据PD是专用格式时判断其是全周全景图像，显示图像生成部分20通过执行显示投影处理，生成显示图像数据PDdsp用于投影显示。

通过这样的配置，可以对于可执行适当投影显示的全周全景图像自动执行投影显示，并可对用户提供具有沉浸感的显示。另一方面，通过另一显示方法执行显示，在不能精确指定不是全周全景图像的视角时，可以执行显示操作的切换，从而不执行低质量投影显示。

<7.第五配置示例(对于成像装置的应用示例)>

(7-1.成像装置的配置)

接下来，作为实施例的第五配置示例，将描述成像装置50作为包括本公开的图像处理装置1和2的设备的具体示例。

图19示出成像装置50的配置示例。

成像装置50包括透镜单元100、成像元件101、图像处理部分102、控制部分103、显示部分104、存储器部分105、记录设备106、操作部分107、传感器部分108和通信部分109。

透镜单元100收集拍摄对象的光学图像。透镜单元100具有根据来自控制部分103的指令调整焦距、拍摄对象距离、光圈等的功能，以便获得适当图像。此外，其还具有用于光学抑制图像的模糊的相机抖动校正功能。

成像元件101将通过透镜单元100收集的光学图像光学转换，并转换为电信号。具体地，其通过电荷耦合器件(CCD)图像传感器、互补金属氧化物半导体(CMOS)图像传感器等实现。

图像处理部分102从自成像元件101采样电信号的采样电路、将模拟信号转换为数字信号的A/D转换电路、对数字信号施加预定图像处理的图像处理电路等构成。这里，将此图像处理部分102示出为执行通过用成像元件101成像而获取帧图像数据的处理并执行组合全景图像的处理。

此图像处理部分102不仅包括专用硬件电路，还包括中央处理单元(CPU)或数字信号处理器(DSP)，并且可执行软件处理以容纳灵活的图像处理。

控制部分103从CPU和控制程序构成，并执行成像装置50的每个部分的控制。控制部分自身实际存储在存储器部分105中，并由CPU执行。

上述配置示例的每个中公开的全景组合部分10和关联部分11的处理以及另外的显示图像生成部分20的处理由控制部分103和图像处理部分102执行。因此，本公开的图像处理装置1和2由控制部分103和图像处理部分102实现。

显示部分104从以下部分构成：D/A转换电路，使得通过图像处理部分102处理并存储在存储器部分105中的图像数据为模拟的；视频编码器，将使得模拟的图像信号编码为适于稍后阶段的显示设备的形式的视频信号；以及显示设备，显示对应于输入视频信号的图像。

例如通过液晶显示器(LCD)、有机电致发光(EL)面板等实现显示设备，并且其还具有作为取景器的功能。

存储器部分105从诸如动态随机存取存储器(DRAM)的半导体存储器构成，并且临时记录图像处理部分102处理的图像数据、控制部分103中的各种类型的数据和控制程序等。

记录设备106由诸如半导体存储器(如闪存(Flash Memory))、磁盘、光盘或磁光盘的记录介质、以及用于这些记录介质的记录和再现电路/机制构成。

在通过成像装置50成像时，通过图像处理部分102以联合图像专家组(JPEG)形式执行编码，并且将存储在存储器部分105中的JPEG图像数据记录到记录介质。

在再现时，保持在记录介质中的JPEG图像数据读取到存储器部分105，并且通过图像处理部分102执行解码处理。解码的图像数据可以由显示部分104显示，或通过通信部分109发送并输出到外部设备。

操作部分107包括诸如硬件按键的输入设备，如快门按钮、上、下、左和右箭头键、确定键和取消键、操作拨盘、触摸面板和缩放杆，检测拍摄者(用户)的输入操作并将其发送到控制部分103。控制部分103根据用户的输入操作确定成像装置50的操作，并执行控制使得每个部分执行必须的操作。

传感器部分108通过陀螺仪传感器、加速度传感器、地磁传感器、全球定位系统(GPS)传感器等构成，并执行各种类型的信息的检测。除了添加为用于所捕获的图像数据的元数据，此信息还用于各种类型的图像处理和控制处理。

通信部分109执行与外部设备的通信或网络通信。具体地，对于通信部分109可考虑各种类型的示例，如USB通信部分、LAN通信部分、诸如因特网的公共网络通信部分、或与特定设备的专用通信部分。此外，传输线的形式可以是通过电波或红外线的无线传输线，或通过电缆连接的电缆传输线。信号模式可以假设为数字电信号通信、模拟电信号通信、光通信等。

图像处理部分102、控制部分103、显示部分104、存储器部分105、记录设备106、操作部分107、传感器部分108和通信部分109经由总线110互相连接，并且交换图像数据、控制信号等。

(7-2.全景组合和关联处理)

接下来，将详细描述本实施例的成像装置50的全景组合处理和关联处理。

图20示出作为功能配置的在用于全景组合处理和关联处理的图像处理部分102和控制部分103中执行的处理，并示出通过这些功能配置部分执行的处理。

注意，这里，使用上述第一配置示例中所述的元数据的示例将描述为关联处理。

如图20中的虚线所示，全景组合部分10和关联部分11被包括为功能配置。即，图像处理装置1通过具有由至少图像处理部分102、控制部分103等包括作为关联部分11的功能而形成于成像装置50内部。

此外，将描述通过作为全景组合部分10的功能执行的处理功能。在图20中，通过每个块示出执行为全景组合部分10的处理(算法流)。即，在全景组合部分10中，执行预处理200、图像登记处理201、移动拍摄体检测处理202、检测/识别处理203、360°成像判断处理204、360°优化处理205、组合投影处理206、接缝确定处理207和缝合(stitch)处理208。

将描述每个处理。

如图1所示，成为预处理200的目标的输入图像组FMS是当拍摄者通过成像装置50执行全景成像时顺序获得的帧图像数据FM#0、FM#1、FM#2…。

在全景组合部分10中，首先，对于通过拍摄者的全景成像操作捕获的图像(每个帧图像数据)执行用于全景组合的预处理200。注意，这里，对于帧图像数据FM执行与通常成像时相同的图像处理。

通过基于透镜单元100的特性的像差影响输入图像。具体地，透镜的失真像差将不利地影响图像登记处理201，并且将降低对准的精度。此外，因为在所组合的全景图像的接缝附近也生成伪信号，所以在此预处理200中执行失真像差的校正。通过失真像差的校正，将有改进移动拍摄体检测处理202和检测/识别处理203的精度的效果。

接下来，在全景组合部分10中，对于已经执行预处理200的帧图像数据执行图像登记处理201、移动拍摄体检测处理202和检测/识别处理203。

在全景组合时，可能需要将多个帧图像数据转换为简单坐标系统中的坐标，并且此简单坐标系统将称为全景坐标系统。

图像登记处理201是输入两个接连的帧图像数据的处理，并执行全景坐标系统中的对准。虽然对于两个帧图像数据通过图像登记处理201获得的信息是两个图像坐标之间的相对关系，但是通过选择多个图像坐标系统之一(例如，初始帧图像数据的坐标系统)并将其固定到全景坐标系统，所有帧图像数据的坐标系统可以转换为全景坐标系统

图像登记处理201中执行的特定处理将大致分为如下两种。

1.检测图像内的局部移动。

2.从上述获得的局部移动信息获得完整的图像全局移动。

在上述处理1中，通常使用：

*块匹配

*特征点提取和特征点匹配，诸如Harris、Hessian、SIFT、SURF或FAST等，并且获得图像的特征点的局部矢量。

在上述处理2中，使用如下健壮估计技术作为上述处理1中获得的局部矢量组，并获得表示2个坐标系统之间的关系的最佳仿射变换矩阵或投影变换矩阵(单应性)：

*最小二乘法

*M估计器

*最小平方中值(LMedS)法

*随机采样一致(RANSAC)。

在本公开中，此信息将称为图像登记信息。

此外，在全景合成处理中，成像场景中存在移动拍摄体的移动拍摄体的一部分将根据多个帧图像数据组合的特性而划分，并将导致诸如变模糊或图像质量的下降的图像的损坏。因此，优选地，在检测到移动拍摄体时通过避免移动拍摄体而确定全景的接缝。

移动拍摄体检测处理202是输入2个或更多接连的帧图像数据并执行移动拍摄体的检测的处理。在特定处理的示例是在实际执行对准的2个帧图像数据的像素值存在差别处于阈值或以上的情况下，通过图像登记处理201获得的图像登记信息，这些像素将被判断为移动拍摄体。

替代地，可通过使用在图像登记处理201的健壮估计时被判断为轮廓(outliers)的特征点信息来执行判断。

在检测/识别处理203中，检测捕获的帧图像数据内的诸如人脸或身体或动物的位置信息。即使很可能动物或人是不移动的拍摄体，在关于此拍摄体确定全景的接缝的情况下，与其他对象相比视觉上也经常出现不兼容的感觉，因此优选地通过避免这些对象来确定接缝。即，在此检测/识别处理203中获得的信息用于补充移动拍摄体检测处理202的信息。

基于在移动拍摄体检测处理202和检测/识别处理203中获得的信息，在稍后将描述的接缝确定处理207中确定接缝(结点)。

360°成像判断处理204和360°优化处理205执行专用于360°全周成像的处理。

这里，为了理解这些处理，将描述360°成像时的各种问题。

图21A、图21B和图22是每个情况下的全景图像的示例。注意，在这些图中，为了确认全景图像的左端和右端的连续性，将全景图像的左端区域的一部分示出为复制(图像RCP)到全景图像的右端的每个上(边界线BD的右侧)。排除图像RCP的图像部分(即，通过输出全景图像的范围RP示出的部分)是最终的一个全景图像。

在其是360°全周全景的情况下，期望在此边界线BD的两侧自然连接具有连续性的无间隙的图像。

在组合多个静态图像的全景图像中，难以确切知道通常的全景视角。通常，成像装置的透镜的焦距(f：像素转换值)、全景图像的扫描方向的像素数(l)和全景视角(θ)具有以下关系。

l＝fθ

然而，因为有诸如以下的实际影响，与实际场景的视角可能有显著差别：

*当扫描时的回旋半径

*失真像差的校正误差

*登记处理的误差。

在登记处理仅限于平行移动并且对算法执行简化(诸如省略投影处理)的情况下，对于成像装置的处理性能，这些误差将变得更加突出。

图21A是从上面的等式确定适当的360°全景图像号并执行合成处理的全景图像的示例。通过对于误差显著超过360°而组合，并且全景图像的左端和右端(边界线BD部分)没有连续性。

这样，虽然难以确切确定通常的全景视角，但是，在其是360°全周图像的情况下，可以通过考虑获得全景的左端和右端的连续性的约束条件而确定视角。

将参照图23。图23是通过360°全景成像而获得的图像组(帧图像数据FM#0到FM#(n-1))的示意图。

具体地，当假设扫描方向是从左到右、并且在全景左侧使用的第一帧图像数据FM#0设置为0°位置时，对于完全与此相同的位于360°之前的位置的图像的帧图像数据FM#0A、以及在全景图像的右端使用的最终帧图像数据FM#(n-1)，建立下面的条件。

*FM#0A和FM#(n-1)具有重叠区域。

*FM#(n-1)是比FM#0A在左侧更靠近FM#0A的图像。

通过检索帧图像数据FM#(n-1)作为满足上面条件的最终图像，可以固定360°位置。

在此示例的成像装置50中，通过360°成像判断处理204执行此处理。

在360°成像判断处理204中，在可以确定满足上述两个条件的最终帧图像数据FM#(n-1)的情况下，判断组合处理内的全景图像数据是通过360°成像的全周全景图像。另一方面，在不能确定满足上述两个条件的最终帧图像数据FM#(n-1)的情况下，判断组合处理内的全景图像数据不是全周全景图像。

此判断结果成为作为上述全景处理信息Ip之一的360°视角判断信息。在360°成像判断处理204中，执行将360°视角判断信息输出到关联部分11的处理。

注意，在360°全景成像模式下执行全景成像的情况下可以执行此360°成像判断处理204。在360°全景成像模式以外的情况下(例如，180°全景成像模式等)，可能不需要执行此360°成像判断处理204。注意，在此情况下，作为360°视角判断信息，可以设置为示出其是非全周全景图像的信息。

此外，在此360°成像判断处理204的处理中，可以通过生成水平和垂直视角信息和全景模式类型信息来输出到关联部分11。

图21B是组合360°成像判断处理204中确定的最终图像(即，直到符合上述两个条件的帧图像数据FM#(n-1))的结果的示例。

因为在360°成像判断处理204中确定360°位置，所以其将成为作为全景图像的360°图像。然而，此示例将没有与图21A的示例类似的全景的左端和右端的连续性。虽然在此示例中水平方向的位置是适当的，但是垂直方向的位置将偏移。

因为其执行相邻图像之间的每个图像的对准，所以其将通过具有在登记处理中累积的误差而生成。

即，在图23中，对于登记处理的累积误差，存在对于示出为帧图像数据FM#0A的位置计算为了成为具有连续性的全周全景而成为在360°之前的第一图像的位置(示出为帧图像数据FM#0B)的现象。

为了处理此现象，在下面的360°优化处理205中，在360°成像判断处理204中判断为360°全周成像的情况下，通过使用从图像登记处理201输入的图像登记信息和通过360°成像判断处理204确定的最终的图像信息优化图像登记信息，并且适当地校正为360°全周全景。

此处理是两端对准之前所述的处理。即，调整图像登记信息，使得在作为全景图像的0°和360°位置的全景图像的两端，在水平方向和垂直方向没有图像间隙。

当在图23中所描述时，所有帧图像数据FM#0到FM#(n-1)的位置变得优化和校正，从而帧图像数据FM#0A的位置匹配帧图像数据FM#0B的位置。

具体地，存在简单地将所累积的误差分布到所有图像登记信息的技术、执行优化而无损、只要可以使用最小二乘法等而生成原始登记信息的技术。

例如，简单分布的技术如下所述。如图23所示，在帧图像数据FM#0A的位置和帧图像数据FM#0B的位置存在水平方向的误差ΔX和垂直方向的误差ΔY。构成全景图像的n帧图像数据FM#0到FM#(n-1)的x坐标位置和y坐标位置各自分别位移ΔX/n和ΔY/n。这样，在每个帧图像数据FM中将一点点吸收误差，并且作为与第一帧图像数据FM#0相同的图像的虚拟帧图像数据FM#0A的位置将匹配示出为帧图像数据FM#0B的位置。

虽然帧图像数据FM#0到FM#(n-1)的每个将比初始坐标有稍微偏移，但是整个图像质量将几乎没有任何劣化。

图22是通过使用通过使在360°优化处理205中执行的如上所述的两端对准而校正的图像登记信息来执行全景组合的结果的示例。通过360°成像判断处理204和360°优化处理205，可以确认将自然连接图像作为输出全景图像的范围RP，在全景两端将没有垂直和水平间隙。

通过如上所述的360°优化处理205，是否执行两端对准的信息成为作为全景处理信息Ip之一的两端对准信息。

在360°优化处理205中，还执行将两端对准信息输出到关联部分11的处理。

接下来，在组合投影处理206中，基于图像登记处理201所获得的图像登记信息(或360°优化处理205中校正的图像登记信息)，对于所有帧图像数据，对诸如圆柱面或球面的单个平面或单个曲面执行投影处理。此外，同时，对于移动拍摄体信息和检测/确认信息，对同一平面或曲面执行投影处理。可以从成像时的视角等自动选择投影面，或可以根据用户操作设置投影面。

通过考虑像素处理的优化，可以执行帧图像数据的组合投影处理206作为缝合处理208之前的处理或作为缝合处理208的一部分。此外，例如，可以简单地执行为图像登记处理201之前的预处理200的一部分。此外，通过额外简化，可以处理为圆柱投影处理的近似而不执行此处理。

注意，在此组合投影处理206中投影面的信息的类型称为作为全景处理信息Ip之一的组合投影面信息。

在组合投影处理206中，还执行将组合投影面信息输出到关联部分11的处理。

接缝确定处理207是将来自组合投影处理206的图像数据、来自图像登记处理201的图像登记信息、来自移动拍摄体检测处理202的移动拍摄体信息、和来自检测/识别处理203的检测/确认信息设置为输入、并确定作为全景图像具有很少失误的适当接缝SM(图2和图3所述的接缝SM0到SM(n-2))的处理。

在接缝确定处理207中，首先，对于来自输入信息的相邻帧图像数据之间的重叠区域定义代价函数。例如，可对函数值设置总值，其对于重叠区域的每个像素，关联与来自移动拍摄体检测处理202的移动拍摄体信息和来自检测/识别处理203的检测/确认信息适当重叠的每一个。

在此情况下，因为其具有随着此时存在的诸如移动拍摄体的对象的增加而增加的代价函数值的含义，所以可以缝接具有低代价函数值的点的集合，以便将全景图像中的失误抑制到最小值。

在存在n个图像(帧图像数据)用于全景图像组合的情况下，这些重叠区域的数将成为n-1，并且代价函数将定义为n-1。因此，为了将最佳接缝选择为整个全景图像，获得最小化这些n-1个代价函数的组合。这通常称为组合优化问题，并且以下的解决方案是已知的。

*用于获得确切解决方案的方法

-分支和边界方法

-制表法(memoization)

-动态编程技术(动态编程)

-图剪切

*获得近似解决方案的方法

-局部搜索法(登山法)

-退火(annealing)法(模拟退火)

-禁忌搜索

-一般算法(一般算法)

可通过上述方法的任一获得所有接缝SM1到SM(n-2)。

在缝合处理208中，通过使用如上所述确定的所有接缝SM1到SM(n-2)和帧图像数据FM#0到FM#(n-1)的每个，组合最终的全景图像。

对于接缝周围的区域执行用于降低结点的不自然度的混合处理，对于除此以外的区域仅执行采样像素的复制，即，对于全景坐标系统的再采样，并且连接整个图像。

通过考虑相机抖动量和微调垂直方向的不需要的部分的最终扫描，可以获得具有宽视角的全景图像(全景图像数据PD)，如具有设置为长侧方向的扫描的全景图像。

上面是全景组合部分10的处理。

在本实施例的情况下，对于全景组合部分10生成的全景图像数据PD另外执行关联部分11的处理。

在此示例的成像装置50中的图20的功能配置示例中，采用图11A的之前的功能配置作为第一配置示例。关联部分11执行元数据生成处理301和数据集成处理302。

各种类型的全景处理信息Ip从全景组合部分10提供到关联部分11。即，在360°成像判断处理204中获得的360°视角确定信息、在360°优化处理205中获得的两端对准信息和在组合投影处理206中获得的组合投影面信息提供到关联部分11。

注意，还可以另外提供全景模式类型信息和水平和垂直视角信息。

作为元数据生成处理301，关联部分11生成反映全景处理信息Ip的元数据MT。

注意，因为在稍后将描述的显示图像生成部分20的处理中执行其是否是全周全景图像的判断，并且从用于执行显示投影处理的角度，元数据MT可能不需要包括360°视角确定信息、两端对准信息、组合投影面信息、全景模式类型信息和水平和垂直视角信息的全部。

虽然已经在第一配置示例到第四配置示例中描述，通过显示图像生成部分20对于其是否是全周全景图像的判断可以参考360°视角确定信息、两端对准信息和全景模式类型信息的任一个。然而，可能需要组合投影面信息用于适当执行显示投影处理。

因此，以下至少之一可以包括为全景组合部分10所生成的全景处理信息Ip，并通过元数据生成部分11a进入元数据中：

*360°视角信息和组合投影面信息

*两端对准信息和组合投影面信息

*全景模式类型信息和组合投影面信息

在数据集成处理302中，关联部分11通过将全景组合部分10所生成的全景图像数据PD与元数据生成处理301所生成的元数据MT集成，而生成全景图像文件PDr。

例如，全景图像文件PDr成为具有如图11B所公开的图像数据和元数据的结构。更具体地，可以考虑将诸如可交换图像文件格式(EXIF)的元数据嵌入图像数据中的示例。注意，可以设置为全景图像数据PD和元数据MT相独立的文件。

在本示例的成像装置50中，作为图像处理部分102和控制部分103中的上述全景组合部分10和关联部分11执行处理，并且其结果是将全景图像文件PDr记录到记录设备106。

注意，全景图像文件PDr可以从通信部分109外部发送。

图24中示出了包括上述全景组合部分10和关联部分11的处理的从全景成像直到记录的一系列处理的示例。

步骤F100的图像捕获在全景成像模式下捕获一个静态图像，并且意味着作为成像装置1内的一个帧图像数据的捕获处理。即，通过成像元件部分101获得的成像信号是通过控制部分103的控制由图像处理部分102所处理的成像信号，并且成为一个帧图像数据。

此帧图像数据可以由图像处理部分102原样提供到全景组合处理(图20的全景组合部分10的处理)，或可以在嵌入存储器部分105中一次之后作为一个帧图像数据由图像处理部分102提供到全景组合处理。

根据基于F100的帧图像数据的输入，通过由图像处理部分102和控制部分103实现的图20的全景组合部分10执行从步骤F101起的处理。

在步骤F101，全景组合部分10执行预处理200。

在步骤F102，全景组合部分10执行图像登记处理201。

在步骤F103，全景组合部分10执行移动拍摄体检测处理202。

在步骤F104，全景组合部分10执行检测/识别处理203。

注意，在存储器部分105中临时存储这些处理的每个中获得的图像的像素信息、图像登记信息、移动拍摄体信息、检测/确认信息等，作为对应于各个处理目标的帧图像数据的信息。

直到在步骤F105的成像结束，对每个帧图像数据执行上述处理。

如果对于所有捕获的帧图像数据FM结束上述处理，则在步骤F106，全景组合部分10执行360°成像判断处理204。

在步骤F107，全景组合部分10执行360°优化处理205。

然后，在步骤F108，全景组合部分10通过使用在360°优化处理205中调整的图像登记信息等，执行组合投影处理206。

在步骤F109，全景组合部分10通过执行接缝确定处理207，确定接缝SM0到SM(n-2)。

在步骤F110，全景组合部分10执行缝合处理208。即，通过接缝SM0到SM(n-2)的每个连接每个帧图像数据。当连接时还执行混合处理。以下，生成图3A中所示的一个全景图像数据PD。

接下来，关联部分11执行元数据生成处理301。即，生成反映从全景组合部分10提供的全景处理信息Ip的元数据MT。

然后，在步骤F112，关联部分11通过执行数据集成处理302生成全景图像文件PDr。

控制部分103执行控制，使得在如全景组合部分10和关联部分11的处理中生成的全景图像文件PDr记录到记录设备106。

在上述处理中，记录包括全景图像数据PD和元数据MT的全景图像文件PDr，并且此后的再现和显示等变得可能。

(7-3：全景图像显示)

接下来，将描述在成像装置50中选择和显示如上所述的全景图像文件PDr的情况下的操作。

首先，图25中将描述成像装置50的显示部分104所执行的显示操作模式。

在成像装置50中，能够执行上述四种显示模式(单视图显示、列表显示、滚动显示和投影显示)的显示操作。图25示出四种显示模式的状态转换。

为了简化描述，仅多个全景图像文件PDr将记录到记录设备106。

首先，当用户通过使用操作部分107的按键等指定再现和显示时，控制部分103将成像装置50设置为再现和显示状态。此时，其从初始状态转换为单视图显示模式。这里，例如，如图7所示显示全景图像文件PDr的最近图像。在此单视图显示模式中，例如，可以通过使得用户按压操作部分107的右箭头键和左箭头键切换全景图像文件PDr的其他图像。

此外，在单视图显示中，当按压上箭头键时，执行到如图7B所示的列表显示的状态转换和图像的列表显示。

通过使用户使用此列表显示屏幕上的上、下、左和右箭头键并按压确定键而选择要成为目标的图像，状态转换再次到单视图显示，并且显示全景图像文件PDr的所选择的图像。

在按压确定键的情况下，例如，在单视图显示中，执行放大显示。注意，这里，放大显示将是滚动显示或投影显示。

控制部分103参考全景图像文件PDr的显示图像的元数据，并且在全景图像文件PDr是全周全景图像的情况下，其转换至投影显示模式的状态，并执行投影显示。在此情况下，根据在组合时记录为元数据的投影面信息执行投影处理，并开始投影显示。

在此投影显示模式下，用户可以通过使用上、下、左和右箭头键指定查看方向的改变或通过使用缩放杆来放大缩小。此外，在此情况下，通过使水平和垂直视角信息记录在用于查看方向和缩放值的元数据中，通过作为全景图像的水平视角或垂直视角执行限制，因此将不参考图像之外的那些。

在固定时间没有按键操作的情况下，可以通过菜单设置执行自动查看改变。

在此投影显示模式下，当用户按压取消键时，转换到单视图显示模式，并再次执行单视图显示。

在单视图显示下按压确定键并且全景图像文件PDr的显示图像不是全周全景图像的情况下，转换到滚动显示模式，并执行滚动显示。

在滚动显示模式下，当在全景的长侧方向自动开始滚动时，用户还可以通过使用上、下、左和右箭头键指定在任意方向滚动，或通过使用缩放杆放大或缩小。

在滚动显示模式下，当用户按压取消键时转换到单视图显示状态，并再次执行单视图显示。

在具有如上所述的显示模式转换的本实施例的成像装置50中，如果其是全周全景图像，则执行投影显示，并且如果其不是全周全景图像，则执行正执行的如滚动显示的显示操作的自动切换。

如果其是全周全景图像，则为用户自动提供高质量投影显示。另一方面，在其不是全周全景图像的情况下，当执行投影显示时可能出现图像失真等，并且不能确保高质量显示。因此，在滚动显示下执行全景图像的显示。即，根据全景图像选择适当显示模式。

图26和图27中将描述用于执行这样的显示的配置和处理。

图26示出用于显示图像数据PDdsp的生成处理的控制部分103中包括的显示图像生成部分20执行的处理。

注意，基于使用上述第一配置示例中所述的元数据的示例的示例将设置为显示图像生成部分20的处理。

如所示，控制部分103中通过软件执行的显示图像生成部分20执行数据分离处理401、元数据解释处理402和图像生成处理403。

作为数据分离处理401，显示图像生成部分20对于从记录设备106读取的显示目标的全景图像文件PDr分离元数据MT和全景图像数据PD。

所分离的元数据MT由元数据解释处理402解释，并作为全景处理信息Ip(全景模式类型信息、360°视角确定信息、两端对准信息、组合投影面信息、水平和垂直视角信息)提供到图像生成处理403。

在图像生成处理403中，根据显示模式信息Md生成显示图像数据PDdsp并输出到显示部分104。

作为图像生成处理403，执行显示系统选择处理403a、单视图显示处理403b、列表显示处理403c、滚动显示处理403d和投影显示处理403e。

在显示系统选择处理403a中，执行基于与基于用户操作等的上述显示模式转换对应的显示模式信息Md选择执行哪种显示的处理。此外，当在单视图显示模式的状态移动到滚动显示模式或投影显示模式时，通过参考元数据解释处理402中解释的全景处理信息Ip，选择滚动显示模式和投影显示模式。

在单视图显示处理403b中，生成显示图像数据PDdsp作为用于所提供的全景图像数据PD的单视图显示。

在单视图显示处理403b中，例如，从自记录设备106读取的每个全景图像文件PDr的缩略图像等生成列表图像，并执行将其设置为显示图像数据PDdsp的处理作为列表显示。

在滚动显示处理403d中，生成显示图像数据PDdsp作为用于所提供的全景图像数据PD的滚动显示。

在投影显示处理403e中，对所提供的全景图像数据PD执行显示投影处理，并生成显示图像数据PDdsp作为投影显示。

在这些处理的任何中生成的显示图像数据PDdsp提供到显示部分104并执行屏幕显示。

图27示出对应于图25的显示模式转换的控制部分103(显示图像生成部分20)的处理示例。

当根据用户操作等进行再现和显示时，在步骤F201，显示图像生成部分20执行单视图显示模式的处理。例如，显示图像生成部分20从记录设备106读取最近的全景图像文件PDr，通过执行单视图显示处理403b生成显示图像数据PDdsp，并将其提供至显示部分104。

在单视图显示模式期间，在步骤F202、F203和F206显示图像生成部分20监控模式转换的触发或显示结束(显示系统选择处理403a)。

如果显示图像生成部分20检测到结束触发，则再现和显示操作从步骤F202结束。

当检测到列表显示模式的操作时，显示图像生成部分20从步骤F203进行到F204，并且执行列表显示处理403c。例如，通过从记录设备106读取每个全景图像文件PDr的缩略图像生成列表图像，并将其作为显示图像数据PDdsp提供到显示部分104。

在步骤F205，显示图像生成部分20监控列表显示结束的触发(显示系统选择处理403a)。在列表显示结束的情况下，通过返回步骤F201执行单视图显示处理403b。例如，对于列表中选择的全景图像生成显示图像数据PDdsp作为单视图显示，并将其提供到显示部分104。

当在单视图显示状态下指定放大显示(滚动显示或投影显示)时，显示图像生成部分20从步骤F206进行到F207，并且首先确认全景处理信息Ip。即，判断单视图显示中存在的图像是否是全周全景图像。在此情况下，显示图像生成部分20可以通过全景处理信息Ip中的全景模式类型信息、360°视角确定信息和两端对准信息的任何判断全景图像数据PD是否是全周全景图像。

在其是全周全景图像的情况下，显示图像生成部分20从步骤F208进行到F211，通过执行投影显示处理403e生成显示图像数据PDdsp，并将其提供到显示部分104。

在步骤F212，显示图像生成部分20监控投影显示模式的结束，如果其结束，则返回步骤F201的单视图显示处理403b。

在其不是全周全景图像的情况下，显示图像生成部分20从步骤F208进行到F209，通过执行滚动显示处理403d生成显示图像数据PDdsp，并将其提供到显示部分104。

在步骤F212，显示图像生成部分20监控投影显示模式的结束，并且如果结束，则返回步骤F201的单视图显示处理403b。

通过上述处理在图25所示的模式转换中执行各种类型的显示。

即，在成像装置50中，在要成为显示目标的全景图像数据PD被判断为全周全景图像的情况下，控制部分103(显示图像生成部分20)通过执行显示投影处理生成显示图像数据PDdsp，并使得执行投影显示。

在判断其不是全周全景图像的情况下，在从组合时的投影面仅顺序剪切全景图像数据PD的滚动显示处理中生成显示图像数据PDdsp，而不执行显示投影处理，并且执行滚动显示。

注意，作为此处理的修改示例，在判断其不是全周全景图像的情况下，可以执行单视图显示处理，作为不执行显示投影处理的显示处理。例如，其是即使在单视图显示处理中进行放大显示的规格也不对全周全景图像以外的执行放大显示的示例。

此外，在作为此实施例的第五配置示例的成像装置50中，虽然已经设置其中与上述第一配置示例一致地安装图像处理装置1和2的示例，但是可以自然地假设与上述第二到第四配置示例一致地包括图像处理装置1和2的示例。

<8.第六配置示例(对于计算机装置和程序的应用示例)>

将描述对于计算机装置和程序的应用示例作为第六配置示例。如上描述为图像处理装置1和2的处理可以通过硬件执行或可通过软件执行。

实施例的程序是例如使得诸如中央处理单元(CPU)或数字信号处理器(DSP)的计算处理装置执行上述实施例中所示的处理的程序。

即，实现图像处理装置1的程序是在通过使用由在成像方向上位移的成像操作获得的多个帧图像数据生成的全景图像数据被判断为全周全景图像的情况下、使得计算处理装置执行处理的程序，所述处理将全景图像数据与示出其是全周全景图像的信息相关联。

具体地，此程序可以是使得计算处理装置执行图12A、图14A、图16A、图18A或图24A所示的处理的程序。

此外，实现图像处理装置2的程序是在要成为显示目标的全景图像数据被判断为全周全景图像的情况下、使得计算处理装置执行处理的程序，所述处理通过执行显示投影处理而生成显示图像数据。

具体地，此程序可以是使得计算处理装置执行图12B、图14B、图16B、图18B或图27所示的处理的程序。

通过这些程序，上述图像处理装置1和2可通过使用计算处理装置实现。

诸如这些的程序可以预先记录到具有CPU等的微计算机内的HDD、ROM中，作为嵌入诸如计算机装置的设备内的记录介质。

替代地，它们可以临时或永久存储(记录)在可移除记录介质中，诸如软盘、紧凑盘只读存储器(CD-ROM)、磁光(RO)盘、数字多功能盘(DVD)、蓝光盘(蓝光(注册商标)盘)、磁盘、半导体存储器或存储卡。这样的可移除记录介质可以提供为所谓的封装软件。

此外，除了从可移除记录介质安装到个人计算机等中外，可以经由诸如局域网(LAN)或因特网的网络从下载网站下载这样的程序。

此外，如果诸如这些的程序，它们将适于大范围提供实施例的图像处理装置1和2。例如，通过下载程序到个人计算机、便携式信息处理装置、移动电话单元、游戏设备、视频设备、个人数字助理(PDA)等，此便携式信息处理装置等可以设置为图像处理装置1和2。例如，在如图28所示的计算机装置中，可以执行与实施例的图像处理装置1和2相同的处理。

在图28中，计算机装置70的CPU 71根据ROM 72中存储的程序或从存储部分78加载到RAM 73的程序执行各种类型的处理。此外，在CPU 71执行各种类型的处理时，需要的数据等还任意存储在RAM 73中。

CPU 71、ROM 72和RAM 73经由总线74互相连接。此外，输入/输出接口75也连接到此总线74。

通过键盘、鼠标等构成的输入部分76、通过由阴极射线管(CRT)、LCD、有机EL面板等构成的显示器、以及扬声器等所构成的输出部分77、由硬盘等构成的存储部分78以及由调制解调器等构成的通信部分79连接到输入/输出接口75。通信部分79经由包括因特网的网络执行通信处理。

此外，驱动器80在需要时连接到输入/输出接口75，任意包括诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质81，并且从这些读取的计算机程序在需要时安装到存储部分78中。

在通过软件执行上述图像处理装置1和2的处理的情况下，从网络或记录介质安装构成此软件的程序。

例如，如图28所示，此记录介质由与装置主体分开的可移除介质81构成，其被分布用于传递程序到用户。例如，可移除盘81由记录程序的磁盘(包括软盘)、光盘(包括蓝光盘、CD-ROM或DVD)、磁光盘(包括迷你盘(MD))或半导体存储器构成。

替代地，记录介质由记录程序的ROM 72、存储部分78中包括的硬盘等构成，所述记录介质记录程序并且以预先嵌入装置主体中的状态传递给用户。

当通过通信部分79的接收操作、通过驱动器80(可移除介质81)或记录部分78等的再现操作输入用于全景图像生成的n帧的帧图像数据FM#0到FM#(n-1)时，诸如此的计算机装置70基于CPU 71的程序，实现图像处理装置1的功能，并执行如上所述的关联部分11的处理。

这样，从n个输入帧的帧图像数据FM#0到FM#(n-1)生成一个全景图像数据。

此外，图像处理装置2的功能基于通过CPU 71的程序、对于全景图像的显示而实现，并且执行作为上述显示图像生成部分20的处理。

<9.修改示例>

虽然到目前为止已经描述了实施例，但是对于本公开的图像处理装置可以考虑各种类型的修改示例。

可以以组合方式采用第一配置示例到第四配置示例。

例如，可以考虑通过将第一配置示例和第二配置示例组合将专用程序与元数据添加作为关联处理，通过将第一配置示例和第四配置示例等组合，执行生成具有元数据的专用格式的处理作为关联处理。

虽然将包括关联部分11和显示图像生成部分20的功能的示例设置为第五配置示例的成像装置50，但是还可以考虑例如仅包括关联部分11和显示图像生成部分20之一的功能的示例。

虽然不存在用于全景图像数据PD的投影显示的目标(其不是实施例中的全周全景图像)，但可以通过特定操作执行投影显示。然而，在此情况下，因为不能建立精确三维模型，所以可能有诸如在投影显示图像中出现失真的负面影响，因此有允许其作为特殊模式的构思。

除了内置入上述成像装置50或计算机装置70外，本公开的图像处理装置还用于置入具有成像功能的移动电话单元、游戏机或视频机器，或没有成像功能但有输入帧图像数据的功能的移动电话单元、游戏机、视频设备或信息处理装置。

此外，本技术可以如下配置。

(1)、一种图像处理装置，包括：

显示图像生成部分，配置为在要成为显示目标的全景图像数据被判断为全周全景图像的情况下，通过执行显示投影处理来生成显示图像数据。

(2)、如(1)所述的图像处理装置，

其中，在全景图像数据具有360°视角的情况下，所述显示图像生成部分判断全景图像数据是全周全景图像。

(3)、如(1)或(2)所述的图像处理装置，

其中，在全景图像数据具有360°视角并且执行图像两端的对准处理的情况下，所述显示图像生成部分判断全景图像数据是全周全景图像。

(4)、如(1)所述的图像处理装置，

其中，在通过360°全景成像模式操作获得全景图像数据的情况下，所述显示图像生成部分判断全景图像数据是全周全景图像，在所述360°全景成像模式操作中，通过使用在成像方向上位移近似360°的同时的成像操作而获得的多个帧图像数据来生成全景图像数据。

(5)、如(1)到(4)的任一所述的图像处理装置，

其中，在要成为显示目标的全景图像数据被判断为不是全周全景图像的情况下，所述显示图像生成部分在不执行显示投影处理的另一处理中生成显示图像数据。

(6)、如(5)所述的图像处理装置，

其中，所述另一处理是通过在组合时从投影面顺序剪切全景图像数据而生成用于滚动显示的显示图像数据的处理。

(7)、如(5)或(6)所述的图像处理装置，

其中，所述另一处理是生成包括所有全景图像数据的显示图像数据的处理。

(8)、如(1)到(7)的任一所述的图像处理装置，

其中，所述显示图像生成部分基于与全景图像数据关联的元数据，判断全景图像数据是否是全周全景图像。

(9)、如(1)到(7)的任一所述的图像处理装置，

其中，所述显示图像生成部分通过使显示处理程序与全景图像数据相关联，判断全景图像数据是全周全景图像，并且基于所述显示处理程序通过执行显示投影处理生成显示图像数据。

(10)、如(1)到(7)的任一所述的图像处理装置，

其中，所述显示图像生成部分通过使全景图像数据设置为特定格式的数据，判断全景图像数据是全周全景图像，并且通过执行显示投影处理生成显示图像数据。

(11)、如(1)到(10)的任一所述的图像处理装置，

其中，所述显示图像生成部分在用于显示目标的全景图像数据的全景图像生成时获取示出图像数据的投影面的类型的信息，并且根据投影面的类型执行显示投影处理。

(12)、如(1)到(11)的任一所述的图像处理装置，

其中，所述显示投影处理是将在全景图像生成时投影到投影面的全景图像数据投影到平面上的处理。

(13)、如(1)到(12)的任一所述的图像处理装置，

其中，所述显示图像生成部分顺序输出已经在显示投影处理中顺序剪切全景图像数据的一部分的显示图像数据。

Claims (15)

1.一种图像处理装置，包括：

显示图像生成部分，配置为在要成为显示目标的全景图像数据被判断为全周全景图像的情况下，通过执行显示投影处理来生成显示图像数据。

2.如权利要求1所述的图像处理装置，

其中，在全景图像数据具有360°视角的情况下，所述显示图像生成部分判断全景图像数据是全周全景图像。

3.如权利要求1所述的图像处理装置，

其中，在全景图像数据具有360°视角并且执行图像两端的对准处理的情况下，所述显示图像生成部分判断全景图像数据是全周全景图像。

4.如权利要求1所述的图像处理装置，

其中，在通过360°全景成像模式操作获得全景图像数据的情况下，所述显示图像生成部分判断全景图像数据是全周全景图像，在所述360°全景成像模式操作中，通过使用在成像方向上位移近似360°的同时的成像操作而获得的多个帧图像数据来生成全景图像数据。

5.如权利要求1所述的图像处理装置，

其中，在要成为显示目标的全景图像数据被判断为不是全周全景图像的情况下，所述显示图像生成部分在不执行显示投影处理的另一处理中生成显示图像数据。

6.如权利要求5所述的图像处理装置，

其中，所述另一处理是通过在组合时从投影面顺序剪切全景图像数据而生成用于滚动显示的显示图像数据的处理。

7.如权利要求5所述的图像处理装置，

其中，所述另一处理是生成包括所有全景图像数据的显示图像数据的处理。

8.如权利要求1所述的图像处理装置，

其中，所述显示图像生成部分基于与全景图像数据关联的元数据，判断全景图像数据是否是全周全景图像。

9.如权利要求1所述的图像处理装置，

其中，所述显示图像生成部分通过使显示处理程序与全景图像数据相关联，判断全景图像数据是全周全景图像，并且基于所述显示处理程序通过执行显示投影处理生成显示图像数据。

10.如权利要求1所述的图像处理装置，

其中，所述显示图像生成部分通过使全景图像数据设置为特定格式的数据，判断全景图像数据是全周全景图像，并且通过执行显示投影处理生成显示图像数据。

11.如权利要求1所述的图像处理装置，

其中，所述显示图像生成部分在用于显示目标的全景图像数据的全景图像生成时获取示出图像数据的投影面的类型的信息，并且根据投影面的类型执行显示投影处理。

12.如权利要求1所述的图像处理装置，

其中，所述显示投影处理是将在全景图像生成时投影到投影面的全景图像数据投影到平面上的处理。

13.如权利要求1所述的图像处理装置，

其中，所述显示图像生成部分顺序输出已经在显示投影处理中顺序剪切全景图像数据的一部分的显示图像数据。

14.一种图像处理方法，包括：

在要成为显示目标的全景图像数据被判断为全周全景图像的情况下，通过执行显示投影处理来生成显示图像数据。

15.一种用于使得计算处理装置执行以下处理的程序：

在要成为显示目标的全景图像数据被判断为全周全景图像的情况下，通过执行显示投影处理来生成显示图像数据。