CN108780581B - 信息处理装置、信息处理方案以及程序 - Google Patents

Abstract

根据本发明，当显示诸如整个球面图像的360度连续视野图像的部分区域作为输出区域时，例如，在没有不舒服感的情况下以自然的可见性平滑地实现从某一输出区域到另一区域的迁移。为此，在作为具有至少一个方向上的360度连续视野的整个图像的部分区域的每个输出区域中指定过渡源输出区域和过渡目的地输出区域。自动确定从指定的过渡源输出区域到指定的过渡目的地输出区域的视野过渡路径。

Description

信息处理装置、信息处理方案以及程序

技术领域

本技术涉及信息处理装置、信息处理方法以及程序，并且具体地，涉及在关于具有360度的连续视野的图像将部分区域显示为输出目标区域时使用的技术。

背景技术

在作为由图像拾取装置捕获的静止图像或运动图像的图像内容、由计算机图形产生的图像内容等中，已知具有360度的连续视野的图像。图像内容的示例包括所谓的天球图像、半天球图像、360度的全景图像等。

在显示装置上显示具有360度的连续视野的这种图像的情况下，整个图像的一部分被裁出为输出目标区域并被显示。

在专利文献1中，描述了在观看具有宽视野角的图像(例如，天球图像等)时裁出并显示整个图像的一部分以便跟踪特定被摄体。

引文列表

专利文献

专利文献1：JP-A-2014-220724

发明内容

技术问题

然而，在天球图像等中，当在显示输出目标区域的一部分时显示图像过渡到另一输出目标区域时，需要执行观众期望的过渡。这是因为在当观众观看从天球图像等裁出的图像的一部分时在显示器上不必要地改变输出目标区域的情况下，观众可能感觉到图像是不自然的图像或者对被摄体的行为具有不舒服感的图像。

因此，本技术的目的是提供一种舒适且对于观众容易可见的图像，并且即使在过渡输出目标区域时也不是不自然的。

问题的解决方案

根据本技术的信息处理装置包括：指定单元，其指定过渡源输出目标区域和过渡目的地输出目标区域作为输出目标区域，所述输出目标区域为整个图像的部分区域，所述整个图像是包括至少一个方向上的360度的连续视野的图像；以及视野过渡路径确定单元，其自动确定从过渡源输出目标区域到过渡目的地输出目标区域的视野过渡路径。

在模仿观众的视点移动的输出目标区域(从整个图像中裁出的区域，并且被设置为显示目标)的过渡中，在360度的整个连续图像中假设过渡源和过渡目的地的情况下，可以不同地考虑从过渡源输出目标区域到过渡目的地输出目标区域的视野过渡路径作为连续图像，因此，自动确定视野过渡路径。

注意，整个图像是至少包括360度的连续部分的图像，诸如天球图像、半天球图像和360度的全景图像。换句话说，整个图像是具有360度的视野的图像。

在根据上述本技术的信息处理装置中，认为视野过渡路径确定单元确定从过渡源输出目标区域朝向过渡目的地输出目标区域向一个方向前进的候选路径以及向与所述一个方向相反的方向前进的候选路径中的一个作为视野过渡路径。

在输出目标区域的过渡中，在假设360度的整个连续图像中的过渡源和过渡目的地的情况下，假设从过渡源过渡到过渡目的地的多个路径作为连续图像。具体地，考虑到在360度的整个连续图像中的过渡源和过渡目的地之间的位置关系，认为从过渡源到过渡目的地的过渡(视点移动)是在与整个图像的360度圆周上的一个方向相反的方向上。多个路径中的一个被设置为自动选择。因此，例如，在向一个方向前进的候选路径和向与所述一个方向相反的方向前进的候选路径中，自动确定视觉上期望的路径作为视野过渡路径。

在根据上述本技术的信息处理装置中，认为视野过渡路径确定单元使用针对多个候选路径中的每一个的指示从过渡源输出目标区域到过渡目的地输出目标区域的移动距离的移动距离信息，以便确定视野过渡路径。

例如，选择具有较短移动距离的候选路径作为视野过渡路径。

在根据上述本技术的信息处理装置中，认为整个图像是运动图像，以及视野过渡路径确定单元使用指示在运动图像的前进中存在于过渡源输出目标区域中的被摄体在整个图像中的运动方向的运动方向信息，以便确定视野过渡路径。

即，在过渡源输出目标区域中，在除了作为被摄体的人物之外的可移动体在运动图像上沿某一方向移动的情况下，移动方向是用于确定视野过渡路径的一个因素。

在根据上述本技术的信息处理装置中，认为整个图像是运动图像，以及视野过渡路径确定单元使用指示在运动图像的前进中存在于过渡目的地输出目标区域中的被摄体在整个图像中的运动方向的运动方向信息，以便确定视野过渡路径。

即，在过渡目的地输出目标区域中，在除了作为被摄体的人物之外的可移动体在运动图像上沿某一方向移动的情况下，移动方向是用于确定视野过渡路径的一个因素。

在根据上述本技术的信息处理装置中，认为整个图像是运动图像，以及视野过渡路径确定单元使用指示在运动图像的前进中存在于过渡目的地输出目标区域中的被摄体或者存在于过渡源输出目标区域中的被摄体在整个图像中的移动速度的移动速度信息，以便确定视野过渡路径。

即，在过渡源和过渡目的地中的每一个的图像中的一个或两个(除了作为被摄体的人物之外的可移动体)在运动图像中移动的情况下，移动速度是用于确定视野过渡路径的一个因素。

在根据上述本技术的信息处理装置中，认为整个图像是运动图像，以及视野过渡路径确定单元使用指示在经过所需过渡时间之后的帧中存在于过渡目的地输出目标区域中的被摄体的位置的被摄体位置信息，以便确定视野过渡路径。

在从过渡源到过渡目的地的连续过渡(视点移动)中，需要过渡时间。在过渡目的地的被摄体具有运动的情况下，假设被摄体在所需过渡时间之后在整个图像中的位置不同于在过渡开始时间点处的帧中的位置。因此，当经过了所需的过渡时间时，考虑过渡目的地的被摄体位置来确定视野过渡路径。

在根据上述本技术的信息处理装置中，认为整个图像是运动图像，以及指定单元基于用户关于在列表中表示多个被摄体区域的过渡设置图像的选择性指令指定过渡源输出目标区域和过渡目的地输出目标区域，其中每个被摄体区域是包括在运动图像中的部分区域，并且指示多个被摄体中的每个被摄体在运动图像中的存在位置。

每个被摄体在每个时间点处在整个图像中的位置相对于作为图像的观看者的用户显示在列表中，因此，例如，可以在过渡设置图像上选择被摄体作为列表。因此，根据运动图像的前进来执行输出目标区域的移动，即，视点移动，因此，能够在执行视点移动的同时呈现用户想要观看的被摄体。

在根据上述本技术的信息处理装置中，认为指定单元基于指定显示候选图像的用户操作指定过渡目的地输出目标区域或过渡源输出目标区域，所述用户操作是关于如下显示执行的，所述显示基于包括整个图像中将为输出目标区域的部分区域的图像和表示存在于作为整个图像的静止图像或运动图像中的显示候选图像的存在呈现图像的显示数据。

在所显示的图像上呈现另一显示候选的被摄体的存在作为存在呈现图像。然后，用户通过关于存在呈现图像的操作等来执行选择某一显示候选图像的操作，因此，实现了对包括显示候选图像的区域执行视点移动的图像显示。

在根据上述本技术的信息处理装置中，认为存在呈现图像是显示候选图像的缩略图图像；以及显示数据包括当前输出目标区域的图像和显示候选图像的缩略图图像。

即，通过将现有显示候选图像例如叠加在当前输出目标区域的一部分上作为具有均匀大小的缩略图图像的方法来执行存在呈现。

在根据上述本技术的信息处理装置中，认为存在呈现图像被提供在与由存在呈现图像指示的显示候选图像关于部分区域的图像的位置关系对应的位置处。

例如，显示候选图像的相对于当前输出目标区域存在于画面上部的存在呈现图像呈现在当前画面的上部。显示候选图像的相对于当前输出目标区域存在于画面右部的存在呈现图像呈现在当前画面的右部。

在根据上述本技术的信息处理装置中，认为显示数据包括与存在于指定时间轴位置的显示候选图像对应的存在呈现图像，所述指定时间轴位置对应于在要作为输出目标区域的部分区域的图像中指定的时间轴位置。

在运动图像内容的情况下，每个显示候选图像的存在状态甚至在时间轴方向上也变化。因此，能够在时间轴上确认显示候选图像的存在。

在根据上述本技术的信息处理装置中，认为显示数据包括存在呈现图像，所述存在呈现图像指示显示候选图像与要作为输出目标区域的部分区域的图像之间的位置关系。

例如，指示每个显示候选图像相对于当前输出目标区域的相对位置的图像被设置为存在呈现图像。

根据本技术的信息处理方法包括：指定步骤，在作为整个图像的部分区域的输出目标区域中指定过渡源输出目标区域和过渡目的地输出目标区域，所述整个图像为包括至少一个方向上的360度的连续视野的图像；以及视野过渡路径确定步骤，自动确定从过渡源输出目标区域到过渡目的地输出目标区域的视野过渡路径。

因此，信息处理装置自动确定视野过渡路径。

根据本技术的程序是使信息处理装置执行上述指定步骤；以及上述视野过渡路径确定步骤的程序。因此，实现了能够自动确定视野过渡路径的信息处理装置。

发明的有益效果

根据本技术，能够在模仿从过渡源输出目标区域向过渡目的地输出目标区域过渡时的视点移动的显示上向观看者提供视觉上平滑的过渡。

注意，这里描述的效果不必受限制，并且可以是本公开中描述的任何效果。

附图说明

图1是要在本技术的实施例中显示的图像的视野的说明图。

图2是本实施例的输出目标区域的过渡的说明图。

图3是本施例的信息处理装置和外围装置的框图。

图4是本实施例的信息处理装置的硬件配置的框图。

图5是本实施例的信息处理装置的功能配置的框图。

图6是使用本实施例的移动距离信息的视野过渡路径确定的说明图。

图7是本实施例的过渡期间的输出目标区域的说明图。

图8是在本实施例的球面上进行插值的视线方向的说明图。

图9是使用本实施例的过渡源的移动方向信息的视野过渡路径确定的说明图。

图10是使用本实施例的过渡目的地的移动方向信息的视野过渡路径确定的说明图。

图11是使用本实施例的过渡目的地的被摄体位置信息的视野过渡路径确定的说明图。

图12是本实施例的输出目标区域的过渡的一个方面的说明图。

图13是本实施例的路径确定处理I和II的流程图。

图14是本实施例的路径确定处理III和IV的流程图。

图15是本实施例的路径确定处理V的流程图。

图16是本实施例的过渡设置图像的说明图。

图17是基于本实施例的过渡设置图像的视野过渡路径确定的说明图。

图18是基于本实施例的过渡设置图像的视野过渡路径确定的说明图。

图19是使用本实施例的过渡设置图像的处理的流程图。

图20是本实施例的三个或更多个点的插值的说明图。

图21是使用本实施例的存在呈现图像的指定输入的说明图。

图22是使用本实施例的存在呈现图像的指定输入的说明图。

图23是使用本实施例的存在呈现图像的指定输入的说明图。

图24是包括显示实施例的存在呈现图像的处理的流程图。

具体实施方式

在下文中，将按以下顺序描述实施例。

<1.实施例的处理目标的图像>

<2.信息处理装置的配置>

<3.输出目标区域的过渡处理>

<4.使用过渡设置图像的处理>

<5.使用存在呈现图像的处理>

<6.结论和修改示例>

<1.实施例的处理目标的图像>

首先，将描述作为本实施例的信息处理装置的处理目标的图像。作为处理目标的图像是在至少一个方向上具有360度的连续视野的图像。换句话说，作为处理目标的图像是具有360度的视野的图像。一个方向是线性方向。还包括作为球面上的方向的直线(在忽略在三维球面上生成的曲线的情况下的直线)。

图1A的半天球图像、图1B的天球图像、图1C的360度的全景图像等被例示为这种图像的具体示例。

在图1A中，P0是视线的参考位置。P0可以被视为捕获图像时图像拾取装置的位置，或者可以被视为显示图像时观看者的位置。

在位置P0中，例如，在通过将图像拾取装置的广角镜头(诸如鱼眼镜头)朝向直接上侧进行捕获的情况下，如图1A所示，能够获得具有由点划线所示的光轴L1和垂直点彼此相交的半天球面范围的静止图像或运动图像。即，静止图像或运动图像是在水平方向上具有360度的视野角，在垂直方向上具有180度的视野角的半球体图像。

此外，在图1B的位置P0中，例如，在通过将图像拾取装置的广角镜头朝向直接上侧和直接下侧设置来执行捕获的情况下，能够获得如下图像，该图像具有由点划线示出的指向直接上侧的光轴L1侧上的半天球面范围，并且类似地，由点划线示出的指向直接下侧的光轴L2侧上的半天球面范围。然后，在合成通过上表面上的广角镜头捕获的图像和通过下表面上的广角镜头捕获的图像的情况下，生成其中捕获一个天球面范围的静止图像。此外，在捕获运动图像的情况下，在通过上表面上的广角镜头捕获的图像和通过下表面上的广角镜头捕获的图像中，合成同时捕获的帧，因此，生成其中捕获天球面范围的运动图像。

这种静止图像或运动图像是在水平方向上具有360度的视野角和在垂直方向上具有360度的视野角的天球图像。

图1C是所谓的360度的全景图像。图像拾取装置在图像拾取装置周围捕获360度的范围，因此，能够获得静止图像或运动图像作为360度的全景图像。即，静止图像或运动图像是在水平方向上具有360度的视野角的图像。

注意，这里，例示了水平方向上的视野角的示例，但是还假设在垂直方向上具有360度的视野角的360度的全景图像。

在该实施例中，通过使用这种在至少一个方向上具有360度的视野的连续图像作为处理目标来执行对显示输出等的控制。

在下文中，将通过使用图1B的天球图像作为示例来描述实施例，但是可以通过应用半球体图像或360度的全景图像作为处理目标来执行要描述的处理。

当在显示装置上显示天球体图像时，该实施例的信息处理装置能够裁出输出目标区域，该输出目标区域是要显示的天球图像的整个图像(即，在包括水平方向和垂直方向的两个方向上具有360度的视野角的整个天球图像)的部分区域。

图2A示出了在天球图像中裁出用于显示的区域的方面。作为天球图像的整个图像HP可以被认为是球体的整个内周表面的图像。即，整个图像HP是能够从位置P0看到的整个图像。

裁出整个图像HP的一部分的区域，并将其设置为输出目标区域90。由实线所示的输出目标区域90是观察者沿视线方向E1上在位置P0中观看的图像。例如，通过使用区域的某一视线方向上的一部分作为输出目标区域90，在显示装置上显示图像。

注意，这里，已经描述了裁出用于显示裁出的区域的示例，但是该区域不限于显示，并且假设区域的一部分被裁出，并且被编辑或记录，以便准备编辑的内容。在这种情况下，可以应用下面描述的该实施例的处理，特别是与过渡路径的确定相关的处理。

输出目标区域90可以任意改变。例如，输出目标区域90可以是在如虚线所示的视线方向E2上可见的区域的图像。

因此，在整个图像HP中，输出目标区域90可以选择为任意区域。因此，在静止图像的情况下，可以根据用户操作改变输出目标区域90，或者可以通过信息处理装置自动改变输出目标区域90。

此外，在运动图像的情况下，可以根据用户操作或自动控制来选择输出目标区域90，或者可以根据运动图像的前进来改变输出目标区域90。

即使未示出，也可以根据用户操作或自动控制来设置或改变输出目标区域90的大小、宽高比等。

此外，例如，假设输出目标区域90被设置为包括整个图像HP中的人物、动物、指定目标等作为被摄体的区域。

例如，当人物A和人物B被包括作为整个图像HP中的被摄体时，执行处理，其中最初，包括人物A的区域被裁出作为输出目标区域90，并且显示在显示装置上，并且在此之后，输出目标区域90变为包括人物B的区域，并且裁出包括人物B的区域并将其显示在显示装置上。

当过渡这种输出目标区域90时，该实施例的信息处理装置执行视野过渡路径确定处理。

图2B示出了被摄体100和101。在输出目标区域90从包括被摄体100的区域过渡到包括被摄体101的区域的情况下，存在许多不自然地突然切换显示画面的情况。因此，要显示的区域从包括被摄体100的区域逐渐变为包括被摄体101的区域。

在天球图像的情况下，在这种过渡时将直线(在这种情况下，如上所述，忽略作为球面的曲线)视为视野过渡路径的情况下，假设路径PT1和PT2。

该实施例的信息处理装置在多个路径(候选路径)中执行视野过渡路径确定，使得可以实现对于观看者舒适的过渡。例如，选择路径PT1和PT2中的一个作为视野过渡路径。

<2.信息处理装置的配置>

本实施例的信息处理装置嵌入在诸如图像拾取装置、图像显示装置、图像编辑装置和显示控制装置的装置中，或者由计算机装置等实现。

图3示出了该实施例的信息处理装置1，以及作为外围配置的图像拾取装置2、存储装置3、通信装置4、操作装置5和显示装置6。

存在信息处理装置1连同图示为每个外围单元的装置的图像拾取装置2、存储装置3、通信装置4、操作装置5和显示装置6的全部或一部分一起被配置为集成装置的情况。例如，存在信息处理装置1被集成为相机、监视器显示装置、电视装置、图像编辑装置、计算机装置、终端装置等的情况。

此外，存在信息处理装置1是与所示的外围装置分离的装置，并且通过有线或无线通信路径执行关于每个外围装置的通信的情况。

图3所示的图像拾取装置2作为静止图像或运动图像执行图像捕获，并输出通过捕获获得的图像数据。

例如，图像拾取装置2通过设置有镜头(诸如盖板镜头、变焦镜头和聚焦镜头、或光圈机构)的光学系统将来自被摄体的光会聚在诸如互补金属氧化物半导体(CMOS)型捕获元件或电荷耦合器件(CCD)型捕获元件的捕获元件上。

假设图像拾取装置2在光学系统中包括广角镜头，以便捕获具有360度的连续视野的图像。例如，假设图像拾取装置2包括鱼眼镜头和360度镜头。此外，图像拾取装置2可以包括全向捕获光学系统或整个圆周捕获光学系统，或者可以通过附接包括可拆卸全向捕获光学系统或整个圆周捕获光学系统的适配器来配置。认为环境反射镜或全景环形镜头(PAL)用作全方向捕获光学系统或整个圆周捕获光学系统。

然后，在图像拾取装置2中，例如相对于通过这种光学系统光会聚在捕获元件上的被摄体光，使通过捕获元件的光电转换获得的电信号经过相关的双采样(CDS)处理、自动增益控制(AGC)处理等，并且进一步经过模仿/数字(A/D)转换处理。然后，使作为数字数据的捕获信号经过将R、G和B的黑电平钳位到预定电平的钳位处理，R、G和B的颜色信道之间的校正处理、以及从R、G和B的图像数据生成(分离)亮度(Y)信号和颜色(C)信号的处理。此外，使经过这种各种信号处理的图像数据经过定义转换处理，或者例如编码处理，以用于记录或通信。

然后，图像拾取装置2将通过编码处理生成的图像数据或编码之前的图像数据(所谓的RAW图像数据)输出到信息处理装置1。

存储装置3根据来自信息处理装置1的请求将图像数据存储在存储介质中，或者将从存储介质读出的图像数据提供给信息处理装置1。

存储装置3例如通过使用非易失性存储器作为存储介质来存储诸如静止图像数据或运动图像数据的图像文件、图像文件的属性信息、缩略图图像等。

例如，图像文件以联合图像专家组(JPEG)、标记图像文件格式(TIFF)、图形交换格式(GIF)、运动图像专家组(MPEG)-2、MPEG-4、音频视频交织(AVI)、高级视频编解码器高清(AVCHD：注册商标)等的格式存储。

此外，存在存储装置3将RAW图像数据记录为静止图像数据或运动图像数据的情况。

不同地考虑存储装置3的实际配置。例如，存储装置3可以是使用闪存作为存储介质的存储装置，或者可以配置有相对于包括信息处理装置1的装置可拆卸的存储卡(例如，可移动式闪存)，以及关于存储卡执行记录/再现访问的卡记录/再现单元。此外，存储装置3被实现为硬盘驱动器(HDD)等。显然，存储装置3可以是对应于各种存储介质(诸如光盘、磁光盘、全息图存储介质、磁带、光带和体积记录介质)的记录/再现单元。

通信装置4根据来自信息处理装置1的请求，相对于外部装置(未示出)执行有线或无线通信。例如，通信装置4发送或接收图像数据或控制数据。因此，信息处理装置1能够将图像数据或控制数据发送到外部装置(未示出)，或者执行获取从外部装置提供的图像数据的处理。

例如，认为通信装置4根据无线通信标准等(诸如无线保真(WIFI)或蓝牙)的通信方法执行通信。

此外，例如，通信装置4可以通过诸如因特网、家庭网络和局域网(LAN)的各种网络作为网络通信单元执行通信，并且可以关于网络上的服务器、终端等发送和接收各种数据项。

操作装置5具有输入用户操作的输入功能，并且根据输入操作将信号发送到信息处理装置1。

操作装置5例如被实现为设置在装置的壳体上的各种操作器、触摸板、形成在显示单元34中的触摸板等。

此外，可以使用在触摸板和显示装置6上显示的图标、菜单等根据触摸板操作来执行各种操作。

或者，可以通过触摸板检测用户的轻击操作。

此外，可以根据周边图像识别来识别用户的所谓的手势操作，或者可以通过具有声音输入功能来识别声音操作。

显示装置6关于用户执行各种显示。显示装置6例如包括诸如液晶显示器(LCD)或有机电致发光(EL)显示器的显示单元，以及其显示驱动装置。

此外，显示装置6接收从例如由信息处理装置1从天球图像中裁出的输出目标区域90提供的图像数据，并显示运动图像或静止图像。此外，显示装置6基于信息处理装置1的指令在画面上执行作为各种操作菜单、图标和消息(即图形用户界面(GUI))的显示。

信息处理装置1包括中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)等。

在信息处理装置1是与诸如图像拾取装置2、存储装置3、通信装置4、操作装置5和显示装置6的外围单元中的每个的全部或一部分集成的装置的情况下，信息处理装置1用作控制单元，并且基于程序根据动作状态、用户操作等关于外围单元中的每个执行动作控制。

在信息处理装置1是与外围单元中的每个分离的装置的情况下，信息处理装置1关于外围单元中的每个的装置执行图像数据或控制数据的通信。

在该实施例中，信息处理装置1至少执行关于具有360度的视野的图像(诸如天球图像)确定输出目标区域90的视野过渡路径的处理。

信息处理装置1通过使用由图像拾取装置2捕获的图像数据、由存储装置3从存储介质读出的图像数据或通过从外部装置发送来通过通信装置4接收的数据图像作为目标来执行输出目标区域90的视野过渡路径确定处理。

此外，信息处理装置1能够沿着在视野过渡路径确定处理中确定的视野过渡路径，关于在显示装置6上显示的图像执行对执行输出目标区域90的过渡的显示控制。

此外，信息处理装置1能够允许在视野过渡路径确定处理中确定的视野过渡路径的信息对应于图像数据，并且允许存储装置3将信息存储在存储介质中。

此外，信息处理装置1能够将在视野过渡路径确定处理中确定的视野过渡路径的信息添加到图像数据(例如，将信息添加为元数据)，以及通过通信装置4将信息发送到外部装置。

图4中示出了信息处理装置1的硬件配置示例。这里，示出了作为计算机装置的示例。

信息处理装置1的CPU 51根据存储在ROM 52中的程序或从存储单元59加载在RAM53上的程序执行各种处理。此外，CPU 51执行各种处理所需的数据等也适当地存储在RAM53中。

CPU 51、ROM 52和RAM 53通过总线54彼此连接。此外，输入/输出接口55也连接到总线54。

由液晶面板、有机EL面板等形成的显示器56，由键盘、鼠标等形成的输入单元57，扬声器58，由HDD等构成的存储单元59，通信单元60连接到输入/输出接口55。

在图3的显示装置6是与信息处理装置1集成的装置的情况下，显示器56指示显示装置6。在显示装置6是与信息处理装置1分离的装置的情况下，显示器56是作为计算机装置的显示器，并且关于操作者执行用于用户界面的各种信息显示。

在图3的操作装置5是与信息处理装置1集成的装置的情况下，输入单元57指示操作装置5。在操作装置5是与信息处理装置分离的装置的情况下，输入单元57指示计算机装置中由操作者使用的输入装置。

通信单元60执行通过包括因特网的网络的通信处理，或者关于图3的外围单元中的每个的装置的通信。

此外，根据需要，驱动器61连接到输入/输出接口55，存储卡62安装在输入/输出接口55上，并且根据需要从存储卡62读出计算机程序安装在存储单元59中，或者在CPU 51中处理的数据存储在输入/输出接口55中。显然，驱动器61可以是关于诸如磁盘、光盘和磁光盘的可移除存储介质的记录/再现驱动器。

在这种计算机装置的情况下，作为本实施例的信息处理装置的处理(即，视野过渡路径确定处理等)由CPU 51激活的软件实现。配置软件的程序从网络下载，并从可移除存储介质读出，因此，安装在图4的计算机装置中。或者，程序可以预先存储在作为存储单元59的HDD等中。

然后，在CPU 51中激活程序，因此，能够执行下面描述的各种处理。

注意，本实施例的信息处理装置1不限于包括如图4所示的单个计算机装置的配置，而是可以通过系统化多个计算机装置来配置。多个计算机装置可以通过LAN等系统化，或者可以通过VPN等使用因特网设置在远程位置。多个信息处理装置可以包括可由云计算服务使用的信息处理装置，诸如计算机装置。

图5A和图5B示出了本实施例的信息处理装置1的功能配置示例，其由一个或多个计算机装置等形成。

注意，图5A和图5B中所示的每个功能是通过CPU 51根据程序在信息处理装置1中执行处理来实现的功能。这里，下面描述的每个配置的全部或一部分的处理可以通过硬件实现。

此外，在通过软件实现每个功能的情况下，不必通过独立程序实现每个功能。多个功能的处理可以由一个程序执行，或者一个功能可以通过多个程序模块的协作来实现。

此外，各个功能可以分散在多个计算机装置中。此外，可以通过多个计算机装置实现功能中的一个。每个功能可以通过由单独的外壳配置的多个计算机装置实现。

如图5A所示，信息处理装置1包括图像数据获取单元10、对象检测单元11、路径生成单元12、裁出框生成单元13、显示数据生成单元14、输入信息获取单元15、显示控制单元16、存储控制单元17和通信控制单元18。

图像数据获取单元10获取图像数据(运动图像数据或静止图像数据)作为具有至少一个方向上360度的连续视野的图像。即，例如，获取从图像拾取装置2、存储装置3或通信装置4提供的诸如天球图像的图像数据。

例如，假设图像数据获取单元10是接收从图像拾取装置2发送的图像数据的接收装置、接口装置和输入缓冲装置，接收在存储装置3中再现的图像数据的接收装置、接口装置和输入缓冲装置，或输入由通信装置4接收的图像数据的接口装置或输入缓冲装置。

对象检测单元11关于由图像数据获取单元10获取的图像数据执行图像分析，并检测作为被摄体的特定对象。例如，在图像数据中检测人、动物、其他可移动体、人脸检测、特定构造产品或对象等。

执行这种对象检测以便将裁出区域设置为输出目标区域90。这是因为，例如，投影人脸的区域是输出目标区域90。

由对象检测单元11检测到的被摄体的信息和图像数据被用在路径生成单元12、裁出框生成单元13和显示数据生成单元14的处理中，作为裁出框(输出目标区域90)的指定信息。

注意，裁出框的指定信息不限于从对象检测单元11获取，而是可以是手动标记元信息、在捕获时应用于图像数据的制造者信息、通过使用诸如如面部检测或人物检测的其他图像处理获取的识别信息。

如图2B所示，路径生成单元12在输出目标区域90从某一被摄体100的区域到另一被摄体101的区域的过渡时执行视野过渡路径确定处理。

路径生成单元12通过使用天球图像的属性，根据多个裁出框(输出目标区域90)的指定信息生成视野过渡路径。

此时，路径生成单元12通过基于过渡源的输出目标区域90与过渡目的地的输出目标区域90之间的位置关系、移动方向、移动速度、指定区域中的可靠性信息等确定视野过渡方向来确定视野过渡路径。

因此，如图5B所示，路径生成单元12包括指定单元21和视野过渡路径确定单元22。

指定单元关于作为整个图像HP的部分区域的输出目标区域90执行指定过渡源的输出目标区域90和过渡目的地的输出目标区域90的处理，作为获取的图像数据。

视野过渡路径确定单元22执行确定从过渡源的输出目标区域到过渡目的地的输出目标区域的视野过渡路径的处理。例如，从图2B所示的路径PT1和PT2中选择一条路径，并确定视野过渡路径。

下面将详细描述路径生成单元12的处理。

裁出框生成单元13生成整个图像HP中被裁出为输出目标区域90的区域的信息。

例如，将包括由对象检测单元11检测到的特定被摄体的区域设置为裁出框。

此外，在从某一输出目标区域90过渡到另一个输出目标区域90的情况下，根据在路径生成单元12中确定的视野过渡路径生成在过渡处理的每个时间点处作为输出目标区域90的每个裁出框的信息。

显示数据生成单元14基于由裁出框生成单元13生成的裁出框的信息，执行用于从整个图像HP输出裁出图像的渲染处理。

此外，显示数据生成单元14可以关于输出目标区域90的裁出图像执行用于叠加地显示各种图像(用于操作的图标、缩略图和其他图像)，要单独显示的菜单图像的处理，以及用于操作的图像的显示数据生成处理。

此外，显示数据生成单元14可以执行下面描述的包括过渡设置图像、存在呈现图像等的显示数据生成处理。

输入信息获取单元15从图3的操作装置5或图4的输入单元57获取用户操作信息。例如，获取用户的各种操作信息项、被摄体的指定信息等。所获取的信息用在对象检测单元11、路径生成单元12和显示数据生成单元中。

显示控制单元16执行允许由显示数据生成单元生成的输出目标区域90的显示数据显示在显示装置6上的控制。

存储控制单元17执行允许由显示数据生成单元生成的显示数据、由路径生成单元12确定的视野过渡路径的信息等存储在存储装置3中的控制。

通信控制单元18执行允许由显示数据生成单元生成的显示数据、由路径生成单元12确定的视野过渡路径的信息等从通信装置4发送到外部装置的控制。

<3.输出目标区域的过渡处理>

将描述根据上述信息处理装置1的输出目标区域90的过渡处理。

这里，将描述在整个图像HP中的多个不同的裁出区域移动到天球的球面上的情况下的处理。例如，在图2A中，将例示在如图2B所示考虑路径PT1和PT2的状态下将一条路径确定为视野过渡路径以便从视线方向E1的输出目标区域90过渡到视线方向E2的输出目标区域90的情况。

首先，在图6中描述了使用移动距离信息以便确定视野过渡路径的示例。

图6A示出了天球图像的整个图像HP实际上是矩形的形状。注意，图6A的右端和左端是连续的。这同样适用于下面描述的图7A至图7F、图9A、图10A和图11A。

在图6A中，当前显示包括被摄体100的输出目标区域90。此时，假设输出目标区域90被过渡，使得包括被摄体101的裁出框变为输出目标区域90。

这里，在过渡路径的确定之前将描述输出目标区域90的过渡。

图7示出了输出目标区域90的过渡的一个方面。图7A的输出目标区域90是包括被摄体100的图像区域。在显示装置6中，显示输出目标区域90，并且用户(观看者)处于观看被摄体100的状态。从这种状态，如图7F所示，包括被摄体101的裁出区域成为输出目标区域90。即，用户处于用户能够在显示装置6中观看被摄体101的状态。

例如，也可以执行从图7A的状态到图7F的状态的瞬时切换，但是为了将天球图像的显示效果应用于用户，并且将天球图像内更自然的观看环境应用于用户，要在显示装置6上显示的区域可以在整个图像HP内逐渐移动以到达被摄体101。因此，用户能够感觉到要显示的场景的过渡，以这种方式环顾四周。

因此，输出目标区域90逐渐从图7A的状态过渡到图7B的状态→图7C的状态→图7D的状态→图7E的状态，最后到达图7F的状态。这种路线被称为视野过渡路径。

注意，如图7B至图7E所示，将描述在从过渡源的输出目标区域90到过渡目的地的输出目标区域90的过渡处理中，即使设置了中间的输出目标区域90，如何确定输出目标区域90的示例。

图8示出了球面上的两个点之间的插值模型。将被摄体100的位置和被摄体101的位置设置为两个点，并且在两个点之间执行插值。

视线方向Es是在过渡开始时间点相对于被摄体100的视线方向。视线方向Ee是在过渡结束时间点相对于被摄体101的视线方向。

通过切割球体使得位置P0和被摄体100和101的位置包括在平面中而获得的平面被设置为插值平面HH。插值平面HH是由在过渡开始点和过渡结束点处的视线方向限定的平面。

正交平面VH是与插值平面HH正交的平面。正交平面VH的方向矢量被设置为矢量c。

此外，设置过渡开始时间点处的视线方向Es的矢量a和过渡结束时间点处的视线方向Ee的矢量b。

由虚线示出的要插值的视线方向被设置为矢量d。

注意，在附图和以下表达式中，矢量符号“→”被添加到矢量a、b、c和d。

对过渡开始点和过渡结束点处的视线方向插值的控制参数被设置为“t”。

设置t＝0和1。t＝0是过渡开始点处的值，t＝1是过渡结束点处的值。

首先，使用矢量的外积。

[表达式1]

这里，矢量a和b中的每一个通过过渡开始点处的视线方向Es和过渡结束点处的视线方向Ee的矢量归一化。

此外，过渡开始点处的视线方向Es与过渡结束点处的视线方向Ee之间的角度Θ如下。

[表达式2]

此时，通过使用控制参数t，可以如下所述表示要插值的视线方向(矢量d)。

[表达式3]

通过相对于控制参数t选择0和1范围内的每个值来获得这种矢量d，因此，可以将要插值的裁出区域确定为过渡过程的输出目标区域90。

在执行视野过渡的情况下，认为过渡时间被设置为恒定而不管要过渡的距离，或者过渡速度被设置为恒定。此外，还认为在过渡开始点和过渡结束点处缓慢地执行运动，但是在中间快速地执行运动。可以通过选择控制参数t来执行这种控制。

在控制参数t的值的增加被设置为恒定速度的情况下，相对于视野(视线方向)过渡的时间，以规则的间隔执行插值，即，实现了恒定速度的过渡。以恒定速度移动输出目标区域90，因此，用户能够以自然的感觉观看图像的变化。

在通过将恒定过渡时间划分为预定次数来设置控制参数t的值的情况下，过渡时间变为恒定，即，在诸如较短距离的过渡、缓慢进行移动的情况，以及在较长距离的过渡、快速进行移动的情况下执行视野过渡。

此外，在控制参数t在过渡开始点和过渡结束点(即，相对于控制参数t接近t＝0和接近t＝1)处的视线方向附近平缓增加的情况下，也可以设置过渡，使得过渡开始点和结束点平缓移动。在输出目标区域90在过渡的开始端附近平缓移动的情况下，认为图像变化对于用户来说更舒适。

显然，还能够通过设置控制参数t的增加来使移动速度加速或减速。

基于以上描述，返回到图6，将描述视野过渡路径的确定方法。

在图6A的整个图像HP中，所示路径PT1和PT2被假设为从包括被摄体100的输出目标区域90到包括被摄体101的输出目标区域90的路径，其中输出目标区域90被过渡。

图6B示出了从球体的上部看路径PT1和PT2的方面。即，图6B是从图8的矢量c侧的上部看插值平面HH的状态。

在这种情况下，确定路径使得从视线方向Es到视线方向Ee的视线移动的距离在球面上变短。即，获取路径PT1和PT2的移动距离信息，并且选择较短路径PT2作为视野过渡路径。

接下来，在图9中示出了通过使用过渡源的输出目标区域90的被摄体的移动方向信息来确定视野过渡路径的示例。如图6A所示，在图9A的整个图像HP中，路径PT1和PT2被假定为输出目标区域90从包括被摄体100的输出目标区域90过渡到包括被摄体101的输出目标区域90的路径。图9B是从上部看插值平面HH的状态。

这里，整个图像HP是运动图像，并且被摄体100例如是除了人物之外的可移动体，并且沿箭头M方向移动。即，根据运动图像的帧的前进，沿箭头M方向改变被摄体100的位置。

注意，在运动图像的情况下，在通过图7和图8中描述的插值选择的过渡过程的每个时间处的输出目标区域90是从对应于每个时间的帧裁出的区域。即，用户(观看者)能够以视线方向在运动图像场景上逐渐移动的感觉观看显示器。

在这种情况下，确定视野过渡路径，使得其方向与过渡源的输出目标区域90中的运动方向(例如，输出目标区域90的主被摄体100的运动方向)相同。

即，在该示例中，路径PT1是DR1方向上的过渡，路径PT2是DR2方向上的过渡，并且被摄体100沿DR1方向移动，因此，路径PT1被选择为视野过渡路径。因此，用户将视线方向移动到箭头EsM，并且最初，执行过渡，使得在用眼睛跟随被摄体100的同时改变场景。

注意，信息处理装置1可以例如根据被摄体识别和多个帧的位置比较分析存在于输出目标区域90中的被摄体的运动方向，或者可以参照添加到图像数据的元数据掌握方向。此外，关于裁出区域的全局矢量可以被分析，并且可以是主被摄体的运动方向。

此外，被摄体100的运动方向不必限于相对于插值平面HH的水平方向。例如，如图9C所示，假设不与插值平面HH水平的方向M1、M2和M3的每个情况。注意，如图8所示，插值平面HH是由过渡开始点和过渡结束点处的视线方向限定的平面，图9C是认为旋转坐标使得过渡源和过渡目的地彼此水平的情况的图。

例如，信息处理装置1可以参考包括被摄体100在过渡开始时间点处的位置的正交平面VH100来确定被摄体100的运动是在DR1方向上还是在DR2方向上。即，可以区分是包括DR1方向的矢量分量还是包括DR2方向的矢量分量。因此，在所示方向M1、M2和M3的任何情况下，被摄体100的运动方向被设置为DR1方向。

换句话说，可以相对于方向M1、M2和M3等区分候选路径(DR1和DR2)的哪个方向与矢量分量是共同的。

接下来，在图10中描述通过使用过渡目的地的输出目标区域90的被摄体的移动方向信息来确定视野过渡路径的示例。如图6A所示，在图10A的整个图像HP中，路径PT1和PT2被假定为输出目标区域90从包括被摄体100的输出目标区域90过渡到包括被摄体101的输出目标区域90的路径。10B是从上部看插值平面HH的状态。

在该示例中，整个图像HP是运动图像，并且被摄体101是除了人物之外的可移动体，并且例如沿箭头M方向移动。即，根据运动图像的帧的前进，沿箭头M方向改变被摄体101的位置。

确定视野过渡路径，使得其方向与过渡目的地的输出目标区域90中的运动方向(例如，过渡目的地的输出目标区域90中的主被摄体101的运动方向)相同。

在该示例中，路径PT1是DR1方向上的过渡，路径PT2是DR2方向上的过渡，并且被摄体101沿DR1方向移动，因此，路径PT1被选择为视野过渡路径。因此，执行过渡使得用户逐渐从视线方向Es移动视野，然后，最后用眼睛跟随被摄体101到达被摄体101的输出目标区域90。

在这种情况下，在信息处理装置1中，被摄体101的运动方向不必限于相对于插值平面HH的水平方向。例如，如图10C所示，假设与插值平面HH水平的方向M1、M2和M3的每种情况。然而，例如，信息处理装置1可以参考包括被摄体101在过渡开始时间点处的位置的正交平面VH101，根据包括DR1方向的矢量分量还是DR2方向的矢量分量来确定被摄体101的运动是在DR1方向还是在DR2方向上。因此，在所示方向M1、M2和M3的任何情况下，被摄体101的运动方向被设置为DR1方向。

然而，存在包括在过渡源的输出目标区域90中的被摄体100和包括在过渡源的输出目标区域90中的被摄体101都被移动的情况。

在这种情况下，在运动方向彼此不同的情况下，认为视野过渡路径是根据具有更快的移动速度的被摄体确定的。

即，信息处理装置1获取过渡源的输出目标区域90的被摄体100的移动速度信息Vs，并获取过渡目的地的输出目标区域90的被摄体101的移动速度信息Ve。简单地，在连续帧中，例如，在过渡开始点处的帧和下一帧，被摄体100的整个图像HP内的位置差异(像素的数量或对应于位置差异的距离)可以被设置为移动速度信息Ve，并且类似地，被摄体101的位置差异可以被设置为移动速度信息Ve。

显然，可以通过计算实际速度值来设置移动速度信息项Vs和Ve。

然后，将移动速度信息项Vs和Ve彼此进行比较，并确定更快的移动速度信息项。在被摄体100比被摄体101快的情况下，如图9所示，根据被摄体100的运动方向在路径PT1和PT2中选择视野过渡路径。在如图10所示，被摄体101比被摄体100快的情况下，根据被摄体101的运动方向在路径PT1和PT2中选择视野过渡路径。

注意，在被摄体100的运动方向是相同方向的情况下，显然可以根据运动方向确定视野过渡路径。

接下来，在图11中描述使用指示在经过所需过渡时间之后的帧中存在于过渡目的地的输出目标区域90中的被摄体101的位置的被摄体位置信息以便确定视野过渡路径的示例。

与图6A一样，在图11A的整个图像HP中，考虑从包括被摄体100的输出目标区域90到包括被摄体101的输出目标区域90的过渡。图11B是从上部看插值平面HH的状态。

这里，在过渡开始时间点处，作为过渡目的地的被摄体101存在于的整个图像HP中被表示为被摄体101c的位置。然而，考虑到过渡结束时间点处的位置，被摄体101在图中的M方向上移动，并且存在于所示的被摄体101的位置。

在这种情况下，信息处理装置1确认被摄体101在过渡结束点处的位置，并且参考被摄体101假设路径PT1和PT2是候选。然后，在路径PT1和PT2中，选择具有较短距离的一个作为视野过渡路径。

注意，考虑到过渡时间被设置为恒定的前提，可以将对应于过渡时间的帧数之后的帧中的被摄体101的位置确定为被摄体101在过渡终点处的位置。

此外，例如，在过渡时将移动速度设置为恒定的情况下，考虑到输出目标区域90的移动速度和被摄体101的移动速度，可以计算在路径PT1的情况下输出目标区域90到达被摄体101时的时间T1，和在路径PT2的情况下输出目标区域90到达被摄体101的时间T2，并且可以选择具有更短时间的路径。作为结果选择的路径是相对于被摄体101在过渡终点处的位置具有较短移动距离的路径。

如上所述，已经描述了确定视野过渡路径的示例，但是显然还考虑除了示例性确定方法之外的确定方法。

在视野过渡路径确定处理中，还认为在过渡源和过渡目的地的被摄体中选择具有较高可靠性的一个，并且基于裁出和指定的区域的可靠性信息，根据所选被摄体的移动方向确定视点移动方向(即，过渡方向)。

在诸如“对象检测”或“面部检测”的图像处理中获取被裁出和指定的区域的情况下，使用检测精度的可能性作为可靠性信息的具体示例。在通过诸如“标记”或“制造者”的用户输入获取被裁出和指定的区域的情况下，优先级被用作可靠性。例如，在被裁出和指定的区域中，还认为可以将用户输入中的优先级设置为高于对象检测中的优先级，或者也可以由用户在标签中输入优先级，因此，根据优先级选择具有更高可靠性的被摄体。

图12示出了作为运动图像，输出目标区域90在整个图像HP内的过渡的示例。在图的上部，帧HP(t0)、HP(t1)、HP(t2)和HP(t3)被示为整个图像HP。这些帧是时间点t0、t1、t2和t3处的帧。

在图的下部，示出了从每个时间点处的帧HP(t0)、HP(t1)、HP(t2)和HP(t3)裁出为输出目标区域90(t0)、90(t1)、90(t2)和90(t3)的图像。即，图像是用户实际观看的图像。

在时间点t0，显示包括汽车作为被摄体100的输出目标区域90(t1)。从被摄体100到被摄体101的另一辆汽车执行过渡。

注意，被摄体100和101的两个汽车都在纸张上向左方向移动。因此，确定视野过渡路径，使得视线方向向左侧移动，并且执行输出目标区域90的过渡。

例如，在时间点t1，输出目标区域90(t1)在整个图像HP内向左侧移动。由于是360度的连续图像，因此裁出区域是整个图像HP的从帧HP(t1)的左端部分到右端部分的区域。输出目标区域90(t1)处于仅包括过渡源的被摄体100的汽车的尖端的状态。

在时间点t2，输出目标区域90(t2)进一步在整个图像HP内向左侧移动。输出目标区域90(t2)处于包括汽车的一部分作为被摄体101的状态。

在时间点t3，输出目标区域90(t3)进一步在整个图像HP内向左侧移动，并且输出目标区域90(t3)处于包括整个汽车作为被摄体101的状态。即，输出目标区域90(t3)处于过渡结束的状态。

例如，考虑到被摄体100和101的运动来确定视野过渡路径，因此，能够以对于用户自然的感觉应用视线运动。

如上所述的信息处理装置1用于确定视野过渡路径的各种处理示例将被描述为路径确定处理I至V。以下处理示例是由信息处理装置1的路径生成单元12根据图5B所示的指定单元21和视野过渡路径确定单元22的功能执行的处理。

图13A示出了路径确定处理I。这是通过使用图6中描述的移动距离信息确定视野过渡路径的示例。

在步骤S100中，路径生成单元12指定过渡源和过渡目的地。例如，过渡源的输出目标区域90被设置为当前显示的输出目标区域90。过渡目的地的输出目标区域90被设置为包括由物体检测单元11检测到的特定被摄体的区域。

注意，即使下面将描述，但存在通过用户的指定操作等指定过渡源的输出目标区域90的情况。

在步骤S101中，路径确定单元22将作为上述候选路径PT1和PT2(下文中，路径PT1和PT2将被称为“候选路径”)指定为从确定的过渡源的输出目标区域90到过渡目的地的输出目标区域90的路径。

在步骤S102中，路径生成单元12计算相对于候选路径PT1的视点移动距离D1。视点移动距离D1是采用候选路径PT1的情况下的移动距离。

在步骤S103中，路径生成单元12计算相对于候选路径PT2的视点移动距离D2。视点移动距离D2是采用候选路径PT2的情况下的移动距离。

在步骤S104中，路径生成单元12将视点移动距离D1和D2彼此进行比较。

然后，在步骤S105中，路径生成单元12选择候选路径PT1和PT2中具有较短视点移动距离的路径，并且将所选择的路径确定为视野过渡路径。

图13B示出了路径确定处理II。这是通过使用图9中描述的过渡源的被摄体100的移动方向信息来确定视野过渡路径的示例。

注意，在以下流程图中，相同的步骤号应用于上述处理，并且将省略详细描述。

在步骤S100中，路径生成单元12指定过渡源和过渡目的地，并且在步骤S101中，路径生成单元12指定候选路径PT1和PT2。

这里，在步骤S110中，路径生成单元12允许处理根据是否存在关于过渡源的输出目标区域90的被摄体100的运动来分支。

在存在关于被摄体100的运动的情况下，执行与图13A相同的处理，即，根据步骤S102、S103、S104和S105，在候选路径PT1和PT2中选择具有较短视点移动距离的路径，并且将所选路径确定为视野过渡路径。

另一方面，在存在关于过渡源的输出目标区域90的被摄体100的运动的情况下，路径生成单元12进入步骤S110和S111，并且判别过渡源的被摄体100的移动方向。即，区分图9中的DR1方向或DR2方向。

然后，在步骤S112中，路径生成单元12根据所判别的运动方向选择候选路径PT1和PT2中的一个，并且将所选择的路径确定为视野过渡路径。

例如，在候选路径PT1是执行DR1方向的视点移动的路径，候选路径PT2是执行DR2方向的视点移动的路径，并且被摄体100的移动方向是DR1方向的情况下，选择候选路径PT1。

图14A示出了路径确定处理III。这是通过使用图10中描述的过渡目的地的被摄体101的移动方向信息来确定视野过渡路径的示例。

在步骤S100中，路径生成单元12指定过渡源和过渡目的地，并且在步骤S101中，路径生成单元12指定候选路径PT1和PT2。

这里，在步骤S120中，路径生成单元12允许处理根据是否存在关于过渡目的地的输出目标区域90的被摄体101的运动来分支。

在不存在关于被摄体101的运动的情况下，执行与图13A相同的处理，即，根据步骤S102、S103、S104和S105，在候选路径PT1和PT2中选择具有较短视点移动距离的路径，并且将所选路径确定为视野过渡路径。

另一方面，在存在关于过渡目的地的输出目标区域90的被摄体101的运动的情况下，路径生成单元12从步骤S120进入步骤S121，并且判别过渡目的地的被摄体101的移动方向。即，判别图10中的DR1方向或DR2方向。

然后，在步骤S122中，路径生成单元12根据所辨别的运动方向选择候选路径PT1和PT2中的一个，并将所选择的路径确定为视野过渡路径。

例如，在候选路径PT1是执行DR1方向的视点移动的路径，候选路径PT2是执行DR2方向的视点移动的路径，并且被摄体101的移动方向是DR1方向的情况下，选择候选路径PT1。

图14B示出了路径确定处理IV。这是通过使用图11中描述的过渡目的地的被摄体101在过渡结束时间点处的被摄体位置信息来确定视野过渡路径的示例。

在步骤S100中，路径生成单元12指定过渡源和过渡目的地，并且随后，在步骤S120中，路径生成单元12确定是否存在关于过渡目的地的被摄体101的运动。

在存在运动的情况下，在步骤S125中，确定过渡目的地的被摄体101在时间Tm之后在整个图像HP内的位置，然后，路径生成单元12进入步骤S101。时间Tm是过渡所需的时间。具体地，路径生成单元12确定被摄体101在距当前帧的时间Tm之后的对应帧中的位置。

在被摄体101没有运动的情况下，路径生成单元12进行到步骤S101而不执行步骤S125。

在步骤S101中，路径生成单元12指定候选路径PT1和PT2。这里，在这种情况下，在被摄体101存在运动的情况下，在时间Tm之后将过渡目的地改变为包括被摄体101的裁出区域，然后，设置候选路径PT1和PT2。

然后，路径生成单元12执行与图13A中相同的处理，即，根据步骤S102、S103、S104和S105，在候选路径PT1和PT2中选择具有较短视点移动距离的路径，并将所选择的路径确定为视野过渡路径。

因此，在过渡目的地的被摄体101存在运动的情况下，参考在过渡所需的时间之后被摄体101的位置，选择具有较短过渡距离的路径。

图15示出了路径确定处理V。这是在过渡源的被摄体100和过渡目的地的被摄体101两者都是移动被摄体的情况下，通过使用移动速度信息确定视野过渡路径的示例。

路径生成单元12临时选择视野过渡路径作为步骤S151。例如，路径生成单元12执行图13A中描述的路径确定处理I(S100至S105)，并且执行临时将在处理中选择的路径(即，具有较短视点移动距离的路径)设置为视野过渡路径的临时选择。

在步骤S152中，路径生成单元12确定过渡源的被摄体100的移动方向分量是否与临时选择的路径是共同的。即，判别被摄体100的移动方向包括图9和图10中所示的DR1方向或DR2方向的哪个分量，并且确认移动方向分量是否与临时选择的路径的移动方向是共同的。

在过渡源的被摄体100的移动方向分量与临时选择的路径的移动方向共同的情况下，路径生成单元12进行到步骤S153，并且此时，确认过渡目的地的被摄体101的移动方向分量(DR1方向/DR2方向)是否与临时选择的路径是共同的。

在移动方向分量与临时选择的路径是共同的情况下，过渡源的被摄体100和过渡目的地的被摄体101两者的移动方向分量是共同的，并且与临时选择的路径的移动方向也是共同的。因此，在这种情况下，路径生成单元12进行到步骤S156，并且将临时选择的路径确定为视野过渡路径。

在步骤S153中，在过渡目的地的被摄体101的移动方向分量与临时选择的路径不是共同的情况下，被摄体100和被摄体101的运动方向(DR1方向/DR2方向的方向分量)彼此不一致。

在这种情况下，在步骤S154中，计算过渡源的被摄体100的移动速度信息Vs和过渡目的地的被摄体101的移动速度信息Ve。例如，计算实际移动速度，然后将其设置为移动速度信息项Vs和Ve。然后，在步骤S155中，确定是否满足Vs≥V。

在满足Vs≥Ve(即，过渡源的被摄体100比过渡目的地的被摄体101快)的情况下，根据被摄体100的移动方向选择路径。在这种情况下，被摄体100的移动方向分量与临时选择的路径是共同的，因此，路径生成单元12进行到步骤S156，并且将临时选择的路径确定为视野过渡路径。

另一方面，在不满足Vs≥Ve(即，过渡目的地的被摄体101比过渡源的被摄体100快)的情况下，根据被摄体101的移动方向选择路径。在这种情况下，被摄体101的移动方向分量与临时选择的路径不是共同的。因此，路径生成单元12前进到步骤S157，并且将在步骤S151中未被选择为临时选择的路径的路径确定为视野过渡路径。

在步骤S152中，在过渡源的被摄体100的移动方向分量与临时选择的路径的移动方向不是共同的情况下，路径生成单元12行进到步骤S158，并且在这种情况下，确认过渡目的地的被摄体101的移动方向分量(DR1方向/DR2方向)是否与临时选择的路径是共同的。

在移动方向分量对于临时选择的路径是共同的情况下，过渡源的被摄体100和过渡目的地的被摄体101两者的移动方向分量与临时选择的路径的移动方向不一致。

因此，在这种情况下，路径生成单元12进行到步骤S161，并且在步骤S151中未被选择为临时选择的路径的路径被确定为视野过渡路径。

在步骤S158中，在过渡目的地的被摄体101的移动方向分量与临时选择的路径是共同的情况下，被摄体100和被摄体101的运动方向(DR1方向/DR2方向的方向分量)彼此不一致。

在这种情况下，在步骤S159中，计算过渡源的被摄体100的移动速度信息Vs和过渡目的地的被摄体101的移动速度信息Ve。

然后，在步骤S160中，确定是否满足Vs≥V。

在满足Vs≥Ve(即，过渡源的被摄体100比过渡目的地的被摄体101快)的情况下，根据被摄体100的移动方向选择路径。在这种情况下，被摄体100的移动方向分量与临时选择的路径不是共同的，因此，路径生成单元12进行到步骤S161，并且在步骤S151中未被选择为临时选择的路径的路径确定为视野过渡路径。

另一方面，在不满足Vs≥Ve(即，过渡目的地的被摄体101比过渡源的被摄体100快)的情况下，根据被摄体101的移动方向选择路径。在这种情况下，被摄体101的移动方向分量与临时选择的路径是共同的，因此，路径生成单元12进行到步骤S162，并且将临时选择的路径确定为视野过渡路径。

注意，在步骤S155和S160的处理中，执行Vs≥Ve的确定，但是可以执行Vs＞Ve的确定。

此外，在移动速度信息项Vs和Ve被设置为被摄体100和101的预定帧之间的移动距离的值而不是实际速度值的情况下，在步骤S155和S160中，确定Vs≤Ve或者Vs＜Ve。

在上述图15的处理示例中，在移动被摄体100和101两者并且被摄体100和101两者的移动方向分量彼此不同的情况下，通过使用移动速度信息确定视野过渡路径。

到目前为止已经描述了各种路径确定处理，但是可以考虑除了所描述的示例之外的处理示例。显然，还假设使用路径确定处理I到V的组合。

即，还考虑路径生成单元12指定过渡源和过渡目的地，然后，切换处理，使得在被摄体100和101两者都没有运动的情况下，执行图13A的步骤S101至S105的处理，在移动过渡源的被摄体100的情况下，执行图13B的步骤S111和S112的处理，在移动过渡目的地的被摄体101的情况下，执行图14A的步骤S121和S122的处理或图14B的处理，并且在移动被摄体100和101两者的情况下，执行图15的处理。

<4.使用过渡设置图像的处理>

随后，将描述如下示例，其中信息处理装置1在列表中显示表示多个被摄体区域的过渡设置图像，并且基于用户关于过渡设置图像的选择性指令来指定过渡源的输出目标区域90和过渡目的地的输出目标区域90，其中所述多个被摄体区域指示多个被摄体中的每一个在运动图像内的存在位置(存在位置是暂时的并且在360度的图像内是可见的)。

即，将描述使用列表显示的视野过渡路径确定方法。

例如，信息处理装置1能够通过在天球图像上反射的被摄体的标签信息或检测信息来生成如图16A所示的过渡设置图像，并且能够在显示装置6上显示所生成的图像。在过渡设置图像中，横轴是反射被摄体的时间，纵轴是反射被摄体的位置。垂直轴的0度和360度是与360度图像内的视野相同的位置。

水平轴的时间对应于运动图像的帧的前进。垂直轴的位置例如是在整个图像HP内在水平方向上以360度的范围表示的位置。

例如，过渡设置图像表示由物体检测单元11检测到的特定被摄体100、101和102(诸如人物)的存在位置。即，在被摄体100、101和102中的每个中，作为时间轴上的位置并且在360度的范围内的存在位置被透视地表示，并且显示在列表中。例如，被摄体100、101和102中的每一个是被摄体的缩略图图像。在人物的情况下，考虑作为面部图像的缩略图图像。

在图16A的示例的情况下，示出了即使在经过一定时间之后，被摄体100也处于相同的位置而几乎不移动。

在时间点t2之后，被摄体101开始移动。

被摄体102在时间点t3出现在整个图像HP中，之后，稍微移动位置。

信息处理装置1，例如，这种过渡设置图像由显示数据生成单元14生成，并显示在显示装置6上。

显示数据生成单元14能够基于来自对象检测单元11的被摄体100、101和102中的每一个的检测信息来生成过渡设置图像。

用户能够关于过渡设置图像的显示任意指定视点移动。

图16B示出示例。例如，用户关于被摄体100、101和102中的每一个执行用斜线指定缩略图图像的操作。例如，在时间点t0存在被摄体100，在时间点t3存在被摄体101，以及在时间点t6存在被摄体102。

因此，信息处理装置1掌握用户的期望视点移动。即，信息处理装置1掌握在用户首先指示包括被摄体100的区域被显示为输出目标区域90的情况下，在从时间点t0再现图像时，在时间点t3处，输出目标区域90被过渡到被摄体101的位置，并且在时间点t6处，输出目标区域90被过渡到被摄体102的位置。

基于此，信息处理装置1(路径生成单元12)根据如图16B的实线箭头所示的时间轴设置输出目标区域90的过渡。

然后，信息处理装置1根据再现图像时的设置为每个帧设置裁出范围，并且关于裁出范围执行显示输出作为输出目标区域90。

注意，根据图像内容的再现时间长度、过渡设置图像的大小、缩略图的大小等，关于被摄体100、101和102中的每个显示缩略图图像的时间间隔是不同的。例如，时间点t1、t2......的间隔不限于对应于视野过渡时的过渡时间长度。因此，例如，在从被摄体100到时间点t3处的被摄体101的视野过渡开始的时间可以是时间点t2，或者可以紧接在时间点t3之前，时间点t3是时间点t2之后的时间点。

用户能够在通过看这种过渡设置图像掌握在天球图像上反射的被摄体的位置和时间的同时来设置输出目标区域90的过渡。

根据用户的这种指定，在某一时间点设置从某一被摄体到另一被摄体的过渡。在这种过渡中，路径生成单元12执行视野过渡路径确定处理。

图17中示出了示例。在图17中，示出了一种情况，其中在时间点t3处，指定了从包括被摄体100的输出目标区域90到包括被摄体102的输出目标区域90的过渡。

此时，候选路径PT1和PT2被假定为视野过渡路径。候选路径PT1和PT2例如对应于图6、图9、图10等中所示的路径PT1和PT2。

在图17的情况下，检测到过渡源的被摄体100没有移动，但过渡目的地的被摄体102移动。例如，在通过图10中描述的方法(图14A的路径确定处理III)确定视野过渡路径的情况下，被摄体102在DR2方向上移动，因此，执行DR2方向的过渡的路径PT2被设置为视野过渡路径。

图18A示出了在时间点t3处指定从包括被摄体101的输出目标区域90到包括被摄体102的输出目标区域90的过渡的情况。

此时，候选路径PT1和PT2被假设为视野过渡路径。

在图18A的情况下，检测到过渡源的被摄体100和过渡目的地的被摄体102都移动。例如，在通过图15的路径确定处理V确定视野过渡路径的情况下，被摄体101和102都在DR2方向上移动，因此，在其上执行DR2方向的过渡的路径PT2被设置为视野过渡路径。

图18B示出了在时间点t5处指定从包括被摄体101的输出目标区域90到包括被摄体102的输出目标区域90的过渡的情况。

此时，候选路径PT1和PT2被假设为视野过渡路径。

在图18B的情况下，检测到过渡源的被摄体100未被移动，但是过渡目的地的被摄体102移动。

例如，视野过渡路径由图14A的路径确定处理III确定。在这种情况下，被摄体102在DR1方向上移动，因此，执行DR1方向的过渡的路径PT1被设置为视野过渡路径。

或者，在通过使用路径确定处理IV在时间点t5处执行考虑被摄体102的位置的处理的情况下，将具有较短移动距离的路径PT2设置为视野过渡路径。

图19中示出了使用这种过渡设置图像的信息处理装置1的处理示例。图19的处理是由信息处理装置1中的每个单元(主要是，图像数据获取单元10、对象检测单元11、路径生成单元12、裁出框生成单元13、显示数据生成单元14、输入信息获取单元15和显示控制单元16)的功能执行的处理。

在步骤S201中，信息处理装置1生成显示数据作为过渡设置图像。即，显示数据生成单元14通过使用关于由对象检测单元检测到的特定被摄体100、101和102等的时间和位置的信息来生成过渡设置图像的显示数据。然后，在步骤S202中，信息处理装置1(显示控制单元16)在显示装置6上显示过渡设置图像。

在过渡设置图像的显示期间，信息处理装置1在步骤S203中等待用户的指定输入，并且在步骤S204中等待过渡设置图像的显示结束。

信息处理装置1通过输入信息获取单元15检测用户的指定输入，例如，如图16B所示的缩略图的指定操作，然后，在步骤S205中存储指定的信息。

此外，信息处理装置1在经过预定时间之后的用户操作或过渡设置图像的显示结束的定时从步骤S204进入步骤S206。

在步骤S206中，信息处理装置1基于存储的指定信息设置每个过渡事件。例如，在图16B的示例的情况下，在时间点t3从被摄体100到被摄体101的过渡，以及在时间点t6从被摄体101到被摄体102的过渡分别被设置为过渡事件。

在步骤S207中，选择一个过渡事件，并将其设置为处理目标。然后，通过步骤S208的路径确定处理确定过渡事件中的视野过渡路径。即，在步骤S208中，执行诸如上述路径选择处理I至V的处理，并确定视野过渡路径。

在步骤S209中，确认关于所有过渡事件的视野过渡路径的确定是否结束，并且在确定结束的情况下，在步骤S207中，选择未处理的过渡事件，并且类似地，确定视野过渡路径。

结束关于所有过渡事件的视野过渡路径的确定，然后，信息处理装置1从步骤S209进入步骤S210，并存储每个过渡事件的视野过渡。

注意，步骤S205中的存储和步骤S210中的存储可以由存储控制单元17在存储装置3中执行，或者可以在图4的RAM 53和存储单元59中执行。

此外，在步骤S210中存储的视野过渡路径的信息可以通过添加到图像数据作为元数据来存储。因此，再现装置可以在再现时识别由元数据预先关于每个过渡事件确定的视野过渡路径，并且执行适当的过渡显示。

然而，在可以指定这种过渡的情况下，还假设多个过渡事件在相对短的时段内发生。例如，存在以被摄体100→被摄体101→主题102的方式连续执行过渡的情况。在这种情况下，在每个过渡的过程中，视线方向被插值，因此，渐进输出目标区域90被裁出并显示。

认为球面上的三个或更多个点(例如，被摄体100、101和102等)被用作目标，并且对点进行插值。

在执行三个或更多个点的插值的情况下，通常假设在两个点之间执行上述图8中描述的两点之间的插值。

图20A示出了球面向平面打开的状态下的被摄体100、101和102。在这种情况下，在被摄体100和101之间以及被摄体101和102之间执行两点之间的插值。然而，在这种情况下，在由虚线围绕的耦接部分中，切换不连续的视线方向。此时，存在用户(观看者)感觉不自然的图像过渡的情况。

采用控制点的添加和样条插值作为松弛这种不连续方向切换的方法。

首先，如图20B所示，控制点P以规则的间隔被添加到通过上述两点之间的插值获得的插值曲线上。例如，描述了将插值曲线分成四个的控制点P。

然后，获得视线方向上作为被摄体100、101和102的位置，以及完全通过控制点P的样条曲线。图20C示出了样条曲线SC。作为简单的示例，能够在天球图像向平面打开的坐标系中执行二维插值。

根据这种样条曲线SC，设置要插值的视线方向，并且裁出输出目标区域90并根据每个视线方向显示输出目标区域90，因此，能够关于视线运动以更自然的感觉执行过渡。

<5.使用存在呈现图像的处理>

随后，将描述使用存在呈现图像的处理。

信息处理装置1(显示数据生成单元14)生成显示呈现存在于整个图像HP中的显示候选图像的存在呈现图像，连同裁出作为输出目标区域90的图像的显示数据。

然后，将描述这种示例：其中在获取生成显示候选图像的输入信息的情况下，路径生成单元12将显示的输出目标区域90设置到过渡源，并且信息处理装置1基于输入信息指定过渡目的地，并执行视野过渡路径确定。

例如，裁出作为输出目标区域90的候选区域被呈现给用户，并且呈现出可以执行到该区域的过渡。然后，在用户选择区域的情况下，执行到所选区域的过渡。

图21A示出了包括呈现显示候选图像的存在呈现图像的显示示例。

包括整个图像HP内的某一人物(自行车上的人物)的输出目标区域90被裁出并显示。在显示的帧中，另一显示候选(例如，另一人物)存在于整个图像HP中，并且显示候选图像的缩略图图像80被叠加地显示为存在呈现图像。

显示候选图像例如是由物体检测单元11检测到的特定被摄体，例如人物。或者，显示候选图像可以是与用户的指定操作相关的被摄体、由添加到正被再现的图像数据的元数据表示的被摄体等。

输出目标区域90是整个图像HP的部分区域，并且用户不能看到整个图像HP内的其他区域，因此，向用户呈现出显示候选图像作为存在呈现图像而存在。

例如，如图21A所示，在关于每个显示候选图像将缩略图图像80设置为存在呈现图像的情况下，用户能够识别显示候选图像的内容(例如，人物的类型)。此外，在用户想要看到显示候选图像的情况下，作为存在呈现图像的缩略图图像80经过指定操作，因此，能够执行显示的视野过渡。

例如，根据选择图21A的三个缩略图图像80中的一个的操作，将作为与指定的缩略图图像80相关的显示候选图像的被摄体的区域设置为过渡目的地，并且执行从当前被摄体的输出目标区域90向过渡目的地的被摄体的输出目标区域90的过渡。

注意，已经描述了指定从当前被摄体的输出目标区域90的过渡目的地，但是还认为通过选择缩略图图像80来指定过渡源。例如，当前被摄体仅仅是用于指定过渡源或过渡目的地的图像。然后，还认为过渡源和过渡目的地两者都由缩略图图像80指定，或者仅指定过渡源(例如，当前图像被设置到过渡目的地)。在下面描述的每个示例的情况下，认为指定了过渡源。

图21B是根据运动图像的时间轴将缩略图图像80呈现为存在呈现图像的示例。

在当前输出目标区域90的显示上显示轨迹条81。在用户用鼠标等触摸轨迹条81的情况下，显示关于存在于与位置对应的时间码的帧中的被摄体的缩略图图像80(显示候选图像)。

关于轨迹条81的指向方法不限于使用鼠标的方法，可以执行关于画面的轻击操作或者虚拟现实(VR)等中的手位置的识别。

然后，执行选择如上所述显示的一个缩略图图像80的操作，因此，作为与指定的缩略图图像80相关的显示候选图像的被摄体的区域被设置为过渡目的地，并且从当前被摄体的区域执行输出目标区域90的过渡。在这种情况下，输出目标区域90变为通过轨迹条81执行指定时的时间点处的帧的输出目标区域90。

在这种情况下，在时间轴方向上切换帧，并且可以同时或顺序地执行时间轴方向的过渡和位置过渡，或者可以搜索作为指定的显示候选图像的被摄体出现的帧，并且可以在时间上和位置上执行到帧的区域的过渡。

图22A是在输出目标区域90的显示上叠加地显示作为存在呈现图像的箭头标记83的示例。箭头标记83表示作为显示候选图像的被摄体存在于天球图像的箭头方向上。

如图22B所示，在用户通过指针82等执行指定某一箭头标记83的操作(例如，诸如鼠标悬停(mouseover)的操作)的情况下，信息处理装置1显示作为在箭头标记83所示的方向上存在的显示候选图像的被摄体的缩略图图像80。

在这种状态下，在用户执行指定缩略图图像80的操作的情况下，信息处理装置1将作为与指定的缩略图图像80相关的显示候选图像的被摄体的区域设置为过渡目的地，并且从当前被摄体的区域执行输出目标区域90的过渡。

在该示例中，缩略图图像80不是一直显示，因此，画面不会变得繁琐。

图23A是将雷达图像70呈现为存在呈现图像的示例。例如，雷达图像70是通过裁剪球体获得的图像的圆形，并且在垂直向上的方向上显示指示当前显示的输出目标区域90中的被摄体的标记71。即，在360度的范围内指示自行车上的人物的位置。

此外，雷达图像70通过标记72、73和74中的每一个指示作为当前帧的另一显示候选图像的被摄体的位置。

如图23B所示，在用户通过指针82等执行指定某一标记72的操作的情况下，信息处理装置1显示作为由标记72指示的显示候选图像的被摄体的缩略图图像80。

在这种状态下，在用户执行指定缩略图图像80的操作的情况下，信息处理装置1将作为与指定的缩略图图像80相关的显示候选图像的被摄体的区域设置为过渡目的地，并且执行从当前被摄体的区域的输出目标区域90的过渡。

在该示例中，缩略图图像80不是一直显示，因此，画面不会变得繁琐。

在图24中示出了与根据用户指定的视野过渡和存在呈现图像的显示相关的信息处理装置1的处理示例。图24的处理是由信息处理装置1根据图5A的每个功能执行的处理。

在步骤S301中，信息处理装置1关于显示装置6开始提供其上叠加了存在呈现图像的输出目标区域90的显示数据，并且在显示装置6中开始显示输出。例如，开始如图22A或图23A所示的显示。

在步骤S302、S303、S304和S305中，信息处理装置1根据输入信息获取单元15的功能监视用户操作等。

例如，在检测到诸如图22B的箭头标记83的指定或图23B的标记72的指定的缩略图请求操作的情况下，信息处理装置1进行到步骤S310，并且开始相应的缩略图图像80的显示。

之后，在缩略图请求操作结束的情况下，信息处理装置1从步骤S303进入步骤S311，并结束缩略图图像80的显示。例如，如图22B或图23B所示，在显示缩略图图像80的状态下，存在用户将指针82的位置移动到另一位置而不执行缩略图图像80的指定操作的情况。

在缩略图图像80的显示期间，在检测到指定缩略图图像80的操作的情况下，信息处理装置1将检测到的操作识别为关于与缩略图图像80对应的显示候选图像的被摄体指定视野过渡，并且从步骤S304进入步骤S312。

在步骤S312中，例如，在上述路径确定处理I至V的任何处理中，确定用于从当前输出目标区域90到由缩略图图像80指定的被摄体的输出目标区域90的过渡的视野过渡路径。

然后，在步骤S313中，信息处理装置1顺序地输出裁出区域被移动到的输出目标区域90的显示数据，同时在所确定的路径中执行视野方向的插值，从而在显示装置6中执行视野过渡。在步骤S314中，在确定过渡完成的时间点，结束过渡处理。

在通过用户操作检测显示结束时刻，作为天球图像的显示内容的再现结束等的情况下，信息处理装置1从步骤S305进入步骤S315，结束显示输出，并结束一组处理。

根据上述处理，在通过存在呈现图像，用户明确存在其他显示候选图像的状态下，能够显示作为整个图像HP的一部分的输出目标区域90。

注意，在上述处理示例中，假设图22和图23的情况，但是如图21A所示，在从一开始就将缩略图图像80显示为存在呈现图像的情况下，不需要图24的步骤S302、S303、S310和S311。

此外，如图21B所示，在显示轨迹条81的情况下，轨迹条81上的时间码指定可以被认为是步骤S302的缩略图请求操作，并且轨迹条81上的时间码指定的结束可以被认为是步骤S303的缩略图请求结束。

<6.结论和修改示例>

在上述实施例中，可以获得以下效果。

本实施例的信息处理装置1包括指定单元21，其在作为整个图像HP的部分区域的输出目标区域90中指定过渡源的输出目标区域90和过渡目的地的输出目标区域90，所述整个图像是在至少一个方向上具有360度的连续视野的图像；以及视野过渡路径确定单元22，其自动确定从过渡源的输出目标区域90到过渡目的地的输出目标区域90的视野过渡路径。

在模仿观众的视点移动的输出目标区域90的过渡中，在假设360度的整个连续图像中的过渡源和过渡目的地的情况下，可以不同地考虑作为连续图像的、从过渡源的输出目标区域到过渡目的输出目标区域的视野过渡路径。因此，自动确定视野过渡路径，因此，可以在模仿在从过渡源到过渡目的地的过渡时的视点移动的显示上向观看者提供视觉上平滑的过渡。

在该实施例的信息处理装置1中，路径生成单元12(视野过渡路径确定单元22)确定在整个图像HP内从过渡源输出目标区域朝向过渡目的地输出目标区域向一个方向前进的候选路径(例如，路径PT1)以及向与所述一个方向相反的方向前进的候选路径(例如，路径PT2)中的一个作为视野过渡路径。

在输出目标区域的过渡中，在360度的整个连续图像中假设过渡源和过渡目的地的情况下，假设作为连续图像从过渡源过渡到过渡目的地的多个路径。具体地，考虑到在360度的整个连续图像中过渡源和过渡目的地之间的位置关系，认为从过渡源到过渡目的地的过渡(视点移动)在与整个图像的360度的圆周上的一个方向相反的方向上。多个路径中的一个被设置为自动选择。因此，例如，在向一个方向前进的候选路径和向与所述一个方向相反的方向前进的候选路径中，将视觉上期望的路径自动确定为视野过渡路径。

具体地，通过比较在一个方向上的过渡与在与圆周方向上的一个方向相反的方向上的过渡，确定在哪个方向上过渡变为更平滑的视点移动，因此，能够根据比较容易的处理确定合适的视野过渡路径。

在该实施例的过渡路径确定处理I、II、III和IV中，例如，使用针对多个候选路径中的每一个的指示从过渡源的输出目标区域到过渡目的地的输出目标区域的移动距离的移动距离信息(D1和D2)，以便确定视野过渡路径。

例如，选择具有较短移动距离的路径，因此，能够有效地呈现从过渡源到过渡目的地的视点移动。能够实现不是视觉冗余的平滑过渡。例如，使用移动距离信息以便如上所述确定视野过渡路径，因此，存在用户视图观看时可以实现舒适的感觉的情况。

在本实施例的过渡路径确定处理II和V中，在运动图像的整个图像HP中，使用指示在运动图像的前进中存在于过渡源的输出目标区域中的被摄体90在整个图像中的运动方向的运动方向信息，以便确定视野过渡路径。

即，在过渡源的输出目标区域90中，在作为被摄体100的人物和另一个可移动体在运动图像上沿某一方向移动的情况下，移动方向是用于确定视野过渡路径的一个因素。

过渡源的被摄体100的运动影响观看者的视点。

因此，在视点从过渡源移动到过渡目的地的情况下，考虑到目前为止这已经被看到的过渡源的被摄体100的移动方向来确定过渡时的视野过渡路径，因此观看者能够感觉到平滑的视点移动。

在本实施例的过渡路径确定处理III、IV和V中，使用指示在运动图像的前进中存在于过渡目的地的输出目标区域90中的被摄体在整个图像HP中的运动方向的运动方向信息，以便确定视野过渡路径。

即，在过渡目的地的输出目标区域90中，在作为被摄体101的人物和另一可移动体在运动图像上沿某一方向移动的情况下，移动方向是用于确定视野过渡路径的一个因素。

被摄体的运动影响观看者的视点的事实也适用于过渡目的地的被摄体101。在视点从过渡源移动到过渡目的地的情况下，考虑到根据过渡而出现的过渡目的地的被摄体101的移动方向来确定过渡时的视野过渡路径，因此，观看者能够感觉到平滑的视点移动。

在本实施例的过渡路径确定处理V中，使用指示在运动图像的前进中存在于过渡目的地的输出目标区域90中的被摄体101或者存在于过渡源的输出目标区域90中的被摄体100在整个图像中的移动速度的移动速度信息(Vs和Ve)，以便确定视野过渡路径。

即，在过渡源和过渡目的地中的每一个的图像中的一个或两个(作为被摄体的人物和另一可移动体)在运动图像上移动的情况下，移动速度是用于确定视野过渡路径的一个因素。

被摄体100和101的运动影响观看者的视点移动，并且特别地，对视点的影响的条件根据快速运动和慢运动而不同。因此，考虑到被摄体100和101的移动速度来确定过渡时的视野过渡路径，因此，能够实现允许观看者感觉平滑的视点移动的过渡。

在本实施例的过渡路径确定处理IV中，使用指示在经过所需过渡时间之后的帧中存在于过渡目的地的输出目标区域90中的被摄体101的位置的被摄体位置信息，以便确定视野过渡路径。

在从过渡源到过渡目的地的连续过渡(视点移动)中，需要过渡时间。在过渡目的地的被摄体存在运动的情况下，假设在所需过渡时间之后被摄体在整个图像内的位置与过渡开始时间点处的帧中的位置不同。因此，考虑当经过所需的过渡时间时的过渡目的地的被摄体的位置来确定视野过渡路径。

因此，能够实现在假设过渡目的地的被摄体101的运动的情况下允许观看者感觉到平滑的视点移动的过渡。

在该实施例中，可以执行图16等中描述的过渡设置图像的显示或过渡设置。即，信息处理装置1将在列表中关于作为运动图像的整个图像HP、表示指示多个被摄体中的每个在运动图像内的存在位置的多个被摄体区域的过渡设置图像呈现给用户，其中所述多个被摄体区域包括在运动图像中的部分区域。然后，信息处理装置1(路径生成单元12)基于用户的选择指令指定过渡源的输出目标区域90和过渡目的地的输出目标区域90(参见图19)。

即，能够关于作为图像的观看者的用户在列表中显示每个被摄体在每个时间点处在整个图像内的位置，并且例如，选择被摄体。因此，执行根据运动图像的前进的输出目标区域的移动，即，执行视点移动，因此，能够在执行视点移动的同时呈现用户想要看到的被摄体。

在这种情况下，适当地确定在被摄体之间的过渡时的视野过渡路径(视点移动)，因此，用户能够感觉到平滑和自然的视点移动。

此外，用户能够在透视地观看整个天球视频的同时，通过过渡设置图像设置视野角，因此，容易地设置考虑到被摄体的位置关系和时间的观看路径。

在该实施例中，如图21至图24所示，执行使用存在呈现图像的处理。即，信息处理装置1包括生成显示数据的显示数据生成单元14，其中显示数据显示整个图像HP内作为输出目标区域90的部分区域的图像，以及呈现存在于作为整个图像HP的静止图像或运动图像中的显示候选图像的存在呈现图像(80、81、83、70等)。此外，信息处理装置1包括输入信息获取单元15，其获取指定显示候选图像的输入信息，指定显示候选图像是基于显示数据关于显示器执行的。然后，路径生成单元12(指定单元21)基于指定显示候选图像的用户操作来指定过渡目的地的输出目标区域90或过渡源的输出目标区域90，其中指定显示候选图像是基于包括整个图像内作为输出目标区域的部分区域的图像，以及呈现存在于作为整个图像的静止图像或运动图像中的显示候选图像的存在呈现图像的显示数据关于显示器执行的(图24的步骤S312)。

即，在显示为存在呈现图像的图像上呈现另一显示候选的被摄体的存在。然后，用户通过关于存在呈现图像等的操作来执行选择某一显示候选图像的操作，因此，实现了诸如到包括显示候选图像的区域的视点移动的图像显示。

在这种情况下，适当地确定从当前显示的区域过渡到显示候选图像的区域(视点移动)时的视野过渡路径，因此，用户能够感觉到平滑并且自然的视点运动。

此外，实际上，作为显示候选图像的被摄体具有各种大小。在该实施例中，被摄体被呈现为相同大小的缩略图图像80。因此，能够等效地确认各个显示候选，并加速用户的自由选择。此外，能够尽可能地防止显示候选被呈现为不必要的大图像并且防止当前输出目标区域90的图像被干扰。

在本实施例中，显示候选图像的缩略图图像80被设置为存在呈现图像，并且一个或多个缩略图图像80与当前输出目标区域90的图像一起被显示(参见图21至图23)。

即，通过将现有显示候选图像叠加在例如当前输出目标区域的一部分上作为均匀大小的缩略图图像80等的方法来执行存在呈现。因此，用户能够容易地识别出存在其他显著图像或图像内容，并且例如还容易理解对视点移动的操作。

在本实施例中，描述了这种示例，其中在当前输出目标区域90的显示图像上，存在呈现图像被设置为显示在根据相对于由存在呈现图像指示的显示候选图像的当前输出目标区域90的位置关系的位置的图像(参见图22和图23)。

例如，关于当前输出目标区域90存在于画面上部的显示候选图像的存在呈现图像被呈现在当前画面的上部，如图22的箭头标记83所示。类似地，关于当前输出目标区域90存在于画面右部中的显示候选图像的存在呈现图像被呈现在当前画面的右部，如箭头标记83所示。

因此，用户能够容易地从当前图像识别显示候选图像的位置关系。这里，描述了360度的图像的情况，因此，例如，要在右部中的显示候选图像可以从左侧连续地过渡。因此，位置关系指示右部和左部中的较近的一个是合适的。

此外，根据箭头标记83的指定显示缩略图图像80，因此，用户能够容易地区分存在于相应位置的被摄体，并且容易地选择期望的视野过渡。

此外，缩略图图像80不会一直显示，因此，能够在不使画面变繁琐的情况下提供舒适的观看环境。

在该实施例中，如图21B所示，描述了如下示例，其中与存在呈现图像所对应的显示候选图像的运动图像内容的时间轴位置(轨迹条81上的位置)相对应地显示作为存在呈现图像的缩略图图像80。

在运动图像内容的情况下，显示候选图像的每个存在状态在时间轴方向上变化。因此，能够在时间轴上确认显示候选图像的存在。

因此，用户容易识别时间轴上每个显示候选图像的存在。然后，容易地掌握反射对象，而不限于与正在观看的帧的时间相同的时间，并且可以向用户应用过渡目的地的指定的各种性和相对于时间方向的过渡指定的容易性。

在根据上述本技术的信息处理装置中，认为显示数据生成单元生成包括指示显示候选图像和当前输出目标区域之间的位置关系的存在呈现图像的显示数据。

例如，通过图23的雷达图像70上的标记71、72、73和74指示显示候选图像相对于当前输出目标区域90的相对位置的图像被设置为存在呈现图像。

因此，用户能够更容易且明显地识别每个显示候选图像的位置关系。因此，也以更不舒服的感觉感觉到模仿视点运动的过渡。

此外，根据标记72、73和74等的指定显示缩略图图像80，因此，用户能够容易地区分存在于该位置的被摄体，并且容易选择期望的视野过渡。

此外，缩略图图像80不会一直显示，因此，能够在不使画面变繁琐的情况下提供舒适的观看环境。

该实施例的程序是允许信息处理装置执行指定过程和视野过渡路径确定过程的程序，其中指定过程在作为整个图像HP的部分区域的输出目标区域90中指定过渡源的输出目标区域90和过渡目的地的输出目标区域90，所述整个图像HP为具有至少一个方向上的360度的连续视野的图像；视野过渡路径确定过程自动确定从过渡源的输出目标区域90到过渡目的地的输出目标区域90的视野过渡路径。例如，程序是允许信息处理装置(微计算机、数字信号处理器(DSP)等)执行图13A、图13B、图14A、图14B、图15、图19、图24等的处理的程序。

根据该程序，可以实现具有作为本实施例的信息处理装置1的功能的算术处理装置。

可以将这种程序记录在各种记录介质中。此外，程序可以预先记录在作为记录介质的HDD中，该记录介质嵌入在诸如计算机装置的装置、包括CPU的微计算机中的ROM等中。此外，程序可以临时或永久地记录在诸如半导体存储器、存储卡、光盘、磁光盘和磁盘的可移除记录介质中。此外，这种可移除记录介质可以作为所谓的封装软件提供。

此外，这种程序可以从可移除记录介质安装在个人计算机等中，或者可以通过诸如LAN和因特网的网络从下载站点下载。

本技术不限于实施例的示例或实施例中描述的修改示例等，并且假设更多的各种修改示例。

在过渡路径确定处理中确定的视野过渡路径的信息被用作时间点的显示控制，并且还认为信息与图像数据相对应地存储，或者被添加到图像数据中作为元数据，因此甚至可以在稍后再现时使用。

此外，还假设视野过渡路径的确定信息被发送到外部装置。

此外，在本实施例的路径确定处理中，在计算候选路径之后选择一个路径被描述为处理示例，但是可以在不计算候选路径的情况下直接确定最终的视野过渡路径。例如，在通过使用被摄体的运动方向确定视野过渡路径的情况下，能够根据被摄体的移动方向确定最终的视野过渡路径，而无需执行获得多个候选路径的处理。

如上所述，信息处理装置1不必由一个装置构成。本实施例的信息处理装置1的功能的一部分可以在连接到系统的另一信息处理装置中执行，或者可以通过所谓的云计算在外部信息处理装置中执行。

注意，这里描述的效果仅是示例，但是本技术不限于此，并且可以获得其他效果。

注意，本技术还能够采用以下配置。

(1)一种信息处理装置，包括：

指定单元，所述指定单元指定过渡源输出目标区域和过渡目的地输出目标区域作为输出目标区域，所述输出目标区域为整个图像的部分区域，所述整个图像是包括至少一个方向上的360度的连续视野的图像；以及

视野过渡路径确定单元，所述视野过渡路径确定单元自动确定从过渡源输出目标区域到过渡目的地输出目标区域的视野过渡路径。

(2)根据(1)所述的信息处理装置，其中

视野过渡路径确定单元确定从过渡源输出目标区域朝向过渡目的地输出目标区域向一个方向前进的候选路径以及向与所述一个方向相反的方向前进的候选路径中的一个作为所述视野过渡路径。

(3)根据(1)或(2)所述的信息处理装置，其中

视野过渡路径确定单元使用针对多个候选路径中的每一个的指示从过渡源输出目标区域到过渡目的地输出目标区域的移动距离的移动距离信息，以便确定视野过渡路径。

(4)根据(1)至(3)中任一项所述的信息处理装置，其中

整个图像是运动图像，以及

视野过渡路径确定单元使用指示在运动图像的前进中存在于过渡源输出目标区域中的被摄体在整个图像中的运动方向的运动方向信息，以便确定视野过渡路径。

(5)根据(1)至(4)中任一项所述的信息处理装置，其中

整个图像是运动图像，以及

视野过渡路径确定单元使用指示在运动图像的前进中存在于过渡目的地输出目标区域中的被摄体在整个图像中的运动方向的运动方向信息，以便确定视野过渡路径。

(6)根据(1)至(5)中任一项所述的信息处理装置，其中

整个图像是运动图像，以及

视野过渡路径确定单元使用指示在运动图像的前进中存在于过渡目的地输出目标区域中的被摄体或者存在于过渡源输出目标区域中的被摄体在整个图像中的移动速度的移动速度信息，以便确定视野过渡路径。

(7)根据(1)至(6)中任一项所述的信息处理装置，其中

整个图像是运动图像，以及

视野过渡路径确定单元使用指示在经过所需过渡时间之后的帧中存在于过渡目的地输出目标区域中的被摄体的位置的被摄体位置信息，以便确定视野过渡路径。

(8)根据(1)至(7)中任一项所述的信息处理装置，其中

整个图像是运动图像，以及

指定单元基于用户关于在列表中表示多个被摄体区域的过渡设置图像的选择性指令指定过渡源输出目标区域和过渡目的地输出目标区域，其中每个被摄体区域是包括在运动图像中的部分区域，并且指示多个被摄体中的每个被摄体在运动图像中的存在位置。

(9)根据(1)至(8)中任一项所述的信息处理装置，其中

指定单元基于指定显示候选图像的用户操作指定过渡目的地输出目标区域或过渡源输出目标区域，所述用户操作是针对如下显示执行的，所述显示基于包括整个图像中将为输出目标区域的部分区域的图像和表示存在于作为整个图像的静止图像或运动图像中的显示候选图像的存在呈现图像的显示数据。

(10)根据(9)中任一项所述的信息处理装置，其中

存在呈现图像是显示候选图像的缩略图图像；以及

显示数据包括当前输出目标区域的图像和显示候选图像的缩略图图像。

(11)根据(9)或(10)所述的信息处理装置，其中

存在呈现图像被提供在与由存在呈现图像指示的显示候选图像关于部分区域的图像的位置关系对应的位置处。

(12)根据(9)至(11)中任一项所述的信息处理装置，其中

显示数据包括与存在于指定时间轴位置的显示候选图像对应的存在呈现图像，所述指定时间轴位置对应于在要作为输出目标区域的部分区域的图像中指定的时间轴位置。

(13)根据(9)至(12)中任一项所述的信息处理装置，其中

显示数据包括存在呈现图像，所述存在呈现图像指示显示候选图像与要作为输出目标区域的部分区域的图像之间的位置关系。

(14)一种由信息处理装置执行的信息处理方法，所述方法包括：

指定步骤，在作为整个图像的部分区域的输出目标区域中指定过渡源输出目标区域和过渡目的地输出目标区域，所述整个图像为包括至少一个方向上的360度的连续视野的图像；以及

视野过渡路径确定步骤，自动确定从过渡源输出目标区域到过渡目的地输出目标区域的视野过渡路径。

(15)一种使信息处理装置执行如下步骤的程序：

指定步骤，在作为整个图像的部分区域的输出目标区域中指定过渡源输出目标区域和过渡目的地输出目标区域，所述整个图像为包括至少一个方向上的360度的连续视野的图像；以及

视野过渡路径确定步骤，自动确定从过渡源输出目标区域到过渡目的地输出目标区域的视野过渡路径。

附图标记列表

1信息处理装置

2图像拾取装置

3存储装置

4通信装置

5操作装置

6显示装置

10图像数据获取单元

11对象检测单元

12路径生成单元

13裁出框生成单元

14显示数据生成单元

15输入信息获取单元

16显示控制单元

17存储控制单元

18通信控制单元

21指定单元

22视野过渡路径确定单元

90输出目标区域

100、101被摄体

Claims (13)

1.一种信息处理装置，包括：

指定单元，所述指定单元指定过渡源输出目标区域和过渡目的地输出目标区域作为输出目标区域，所述输出目标区域为整个图像的部分区域，所述整个图像是包括至少一个方向上的360度的连续视野的图像；以及

视野过渡路径确定单元，所述视野过渡路径确定单元自动确定从所述过渡源输出目标区域到过渡目的地输出目标区域的视野过渡路径，

其中，视野过渡路径确定单元确定从所述过渡源输出目标区域朝向过渡目的地输出目标区域向一个方向前进的第一候选路径以及向与所述一个方向相反的方向前进的第二候选路径中的一个候选路径作为所述视野过渡路径，

其中，整个图像是运动图像，以及

视野过渡路径确定单元确定在运动图像的前进中存在于过渡目的地输出目标区域中的第一被摄体在整个图像中的第一移动速度和存在于过渡源输出目标区域中的第二被摄体在整个图像中的第二移动速度，对第一移动速度的大小与第二移动速度的大小进行比较，并将第一候选路径和第二候选路径中的路径方向与移动速度较大的被摄体的移动方向相同的候选路径确定为所述视野过渡路径。

2.根据权利要求1所述的信息处理装置，其中

视野过渡路径确定单元使用针对多个候选路径中的每一个的指示从过渡源输出目标区域到过渡目的地输出目标区域的移动距离的移动距离信息，以便确定视野过渡路径。

3.根据权利要求1所述的信息处理装置，其中

整个图像是运动图像，以及

视野过渡路径确定单元使用指示在运动图像的前进中存在于过渡源输出目标区域中的被摄体在整个图像中的运动方向的运动方向信息，以便确定视野过渡路径。

4.根据权利要求1所述的信息处理装置，其中

整个图像是运动图像，以及

视野过渡路径确定单元使用指示在运动图像的前进中存在于过渡目的地输出目标区域中的被摄体在整个图像中的运动方向的运动方向信息，以便确定视野过渡路径。

5.根据权利要求1所述的信息处理装置，其中

整个图像是运动图像，以及

视野过渡路径确定单元使用指示在经过所需过渡时间之后的帧中存在于过渡目的地输出目标区域中的被摄体的位置的被摄体位置信息，以便确定视野过渡路径。

6.根据权利要求1所述的信息处理装置，其中

整个图像是运动图像，以及

指定单元基于用户关于在列表中表示多个被摄体区域的过渡设置图像的选择性指令指定过渡源输出目标区域和过渡目的地输出目标区域，其中每个被摄体区域是包括在运动图像中的部分区域，并且指示多个被摄体中的每个被摄体在运动图像中的存在位置。

7.根据权利要求1所述的信息处理装置，其中

指定单元基于指定显示候选图像的用户操作指定过渡目的地输出目标区域或过渡源输出目标区域，所述用户操作是针对如下显示执行的，所述显示基于包括整个图像中将作为输出目标区域的部分区域的图像和表示存在于作为整个图像的静止图像或运动图像中的显示候选图像的存在呈现图像的显示数据。

8.根据权利要求7所述的信息处理装置，其中

存在呈现图像是显示候选图像的缩略图图像；以及

显示数据包括当前输出目标区域的图像和显示候选图像的缩略图图像。

9.根据权利要求7所述的信息处理装置，其中

存在呈现图像被提供在与由存在呈现图像指示的显示候选图像关于部分区域的图像的位置关系对应的位置处。

10.根据权利要求7所述的信息处理装置，其中

显示数据包括与存在于指定时间轴位置的显示候选图像对应的存在呈现图像，所述指定时间轴位置对应于在要作为输出目标区域的部分区域的图像中指定的时间轴位置。

11.根据权利要求7所述的信息处理装置，其中

显示数据包括存在呈现图像，所述存在呈现图像指示显示候选图像与要作为输出目标区域的部分区域的图像之间的位置关系。

12.一种由信息处理装置执行的信息处理方法，所述方法包括：

指定步骤，在作为整个图像的部分区域的输出目标区域中指定过渡源输出目标区域和过渡目的地输出目标区域，所述整个图像为包括至少一个方向上的360度的连续视野的图像；以及

视野过渡路径确定步骤，自动确定从所述过渡源输出目标区域到过渡目的地输出目标区域的视野过渡路径，

其中，视野过渡路径确定步骤包括确定从所述过渡源输出目标区域朝向过渡目的地输出目标区域向一个方向前进的第一候选路径以及向与所述一个方向相反的方向前进的第二候选路径中的一个候选路径作为所述视野过渡路径，

其中，整个图像是运动图像，以及

视野过渡路径确定步骤还包括：确定在运动图像的前进中存在于过渡目的地输出目标区域中的第一被摄体在整个图像中的第一移动速度和存在于过渡源输出目标区域中的第二被摄体在整个图像中的第二移动速度，对第一移动速度的大小与第二移动速度的大小进行比较，并将第一候选路径和第二候选路径中的路径方向与移动速度较大的被摄体的移动方向相同的候选路径确定为所述视野过渡路径。

13.一种存储有指令的计算机可读存储介质，所述指令在被信息处理装置执行时使信息处理装置执行如下步骤：

指定步骤，在作为整个图像的部分区域的输出目标区域中指定过渡源输出目标区域和过渡目的地输出目标区域，所述整个图像为包括至少一个方向上的360度的连续视野的图像；以及

视野过渡路径确定步骤，自动确定从所述过渡源输出目标区域到过渡目的地输出目标区域的视野过渡路径，

其中，视野过渡路径确定步骤包括确定从所述过渡源输出目标区域朝向过渡目的地输出目标区域向一个方向前进的第一候选路径以及向与所述一个方向相反的方向前进的第二候选路径中的一个候选路径作为所述视野过渡路径，

其中，整个图像是运动图像，以及

视野过渡路径确定步骤还包括：确定在运动图像的前进中存在于过渡目的地输出目标区域中的第一被摄体在整个图像中的第一移动速度和存在于过渡源输出目标区域中的第二被摄体在整个图像中的第二移动速度，对第一移动速度的大小与第二移动速度的大小进行比较，并将第一候选路径和第二候选路径中的路径方向与移动速度较大的被摄体的移动方向相同的候选路径确定为所述视野过渡路径。

Images