CN111276169B - 信息处理设备、信息处理方法以及程序 - Google Patents

Abstract

本公开涉及信息处理设备、信息处理方法以及程序。一种信息处理设备，包括电路，其响应于目标视点的识别，基于被摄体的参照视点和被摄体的目标视点将参照图像和目标图像与多个补充图像中的至少一个连接。所述多个补充图像中的每个与参照视点和目标视点之间的被摄体的补充视点对应。所述多个补充图像中的至少一个是插值图像，其是与沿着虚拟路径的虚拟视点对应的图像。

Description

信息处理设备、信息处理方法以及程序

本申请是中国专利申请号为201580034849.3、申请日为2015年06月05日的PCT申请PCT/JP2015/002846、发明名称为“信息处理设备、信息处理方法以及程序”的发明专利申请的分案申请。

相关申请的交叉引用

本申请要求于2014年7月3日提交的日本优先权专利申请JP2014-137930的权益，通过引用将其全部内容并入本文。

技术领域

本公开内容涉及信息处理设备、信息处理方法以及程序。

背景技术

开发了一种根据由多个成像装置捕获的捕获图像生成移动图像的技术。基于捕获图像被捕获的时间生成移动图像的技术的示例包括在下面的PTL1中描述的技术。

引用列表

专利文献

PTL1：JP 2012-4379A

发明内容

技术问题

例如，在棒球场、体育场和音乐会会场中，可以设置多个成像装置以同时通过多个成像装置执行成像。在如上所述同时通过多个成像装置执行成像的情况中，用户可以期望显示在显示屏幕上的捕获图像的切换。

本公开内容建议一种新型的改良信息处理设备、信息处理方法以及程序，其可以根据捕获图像的切换实现用户便利性的提高。

问题解决方案

一种信息处理设备，其具有电路，该电路响应于目标视点的识别，基于被摄体的参照视点和被摄体的目标视点将参照图像和目标图像与多个补充图像中的至少一个连接。多个补充图像中的每个对应于参照视点和目标视点之间的被摄体的补充视点。在一个实施例中，多个补充图像中的至少一个是捕获图像。

一种操作信息处理设备的方法，包括响应于目标视点的识别，基于被摄体的参照视点和被摄体的目标视点连接参照图像与目标图像之间的多个补充图像中的至少一个。多个补充图像中的每个对应于参照视点与目标视点之间的被摄体的补充视点。此外，连接补充图像包括组合多个补充图像。

一种存储用于控制包括电路的信息处理设备的程序的非暂时性计算机可读介质，可执行以执行操作的该程序包括响应于目标视点的识别，基于被摄体的参照视点和被摄体的目标视点连接参照图像和目标图像之间的多个补充图像中的至少一个。多个补充图像中的每个与参照视点和目标视点之间的被摄体的补充视点对应。

本发明的有益效果

根据本公开内容的一个或多个实施例，能够根据捕获图像的切换实现用户便利性的提高。

注意的是，上述效果不一定是限制的，并且连同该效果一起或代替该效果，可以显示期望引入本说明书的任何益处或可以从本说明书预期的其它益处。

附图说明

图1是描述根据本实施例的信息处理方法的解释图。

图2是例示根据本实施例的成像装置的硬件配置的一个示例的解释图。

图3是描述根据本实施例的信息处理方法的解释图。

图4是描述根据本实施例的信息处理方法的解释图。

图5A是描述与根据本实施例的信息处理方法相关的处理的一个示例的解释图。

图5B是描述与根据本实施例的信息处理方法相关的处理的一个示例的解释图。

图5C是描述与根据本实施例的信息处理方法相关的处理的一个示例的解释图。

图6是描述与根据本实施例的信息处理方法相关的处理的一个示例的解释图。

图7是描述与根据本实施例的信息处理方法相关的处理的一个示例的解释图。

图8A是描述与根据本实施例的信息处理方法相关的处理的一个示例的解释图。

图8B是描述与根据本实施例的信息处理方法相关的处理的一个示例的解释图。

图9是描述与根据本实施例的信息处理方法相关的处理的一个示例的解释图。

图10是描述与根据本实施例的信息处理方法相关的处理的一个示例的解释图。

图11A是描述与根据本实施例的信息处理方法相关的处理的一个示例的解释图。

图11B是描述与根据本实施例的信息处理方法相关的处理的一个示例的解释图。

图12是描述与根据本实施例的信息处理方法相关的处理的一个示例的解释图。

图13是例示与根据本实施例的信息处理方法相关的处理的一个示例的流程图。

图14是例示与根据本实施例的信息处理方法相关的处理的一个示例的流程图。

图15是描述与根据本实施例的信息处理方法相关的处理的解释图。

图16是例示根据本实施例的信息处理设备的配置的一个示例的框图。

图17是例示根据本实施例的信息处理设备的硬件配置的一个示例的解释图。

具体实施方式

在下文中，将参考附图详细描述本公开内容的优选实施例。注意的是，在本说明书和附图中，用相同的附图标记表示具有基本相同功能和结构的结构元件，并且省略对这些结构元件的重复解释。

此外，以下面的次序给出解释。

1.根据本实施例的信息处理方法

2.根据本实施例的信息处理设备

3.根据本实施例的程序

(根据本实施例的信息处理方法)

在描述根据本实施例的信息处理设备的配置之前，首先描述根据本实施例的信息处理方法。在下文中，使用其中根据本实施例的信息处理设备执行与根据本实施例的信息处理方法相关的处理的示例情况描述根据本实施例的信息处理方法。

<1>根据本实施例的信息处理方法的概述

图1是描述根据本实施例的信息处理方法的解释图。图1中的A概念地例示了通过安装在棒球场中的多个成像装置进行的成像(位于预定区域中的多个成像装置的一个示例)。此外，图1中的B1至B6例示了分别由图1中的A中例示的多个成像装置捕获的捕获图像的一个示例。

根据本实施例的每个成像装置通过成像生成图像(移动图像或静态图像)。多个成像装置的部分或全部可以包括在根据本实施例的信息处理设备中或者可以是可以通过有线或无线执行与根据本实施例的信息处理设备的通信的外部装置(根据本实施例的信息处理设备外部的成像设备)。例如，在其中多个成像装置的部分或全部是在根据本实施例的信息处理设备外部的成像设备的情况中，根据本实施例的信息处理设备和成像设备形成系统(信息处理系统)。

根据本实施例的成像装置的示例包括数字静态相机和数字摄像机等。

图2是例示根据本实施例的成像装置的硬件配置的一个示例的解释图。例如，根据本实施例的成像装置包括透镜10、成像元件12和信号处理电路14。

此外，例如，根据本实施例的成像装置还可以包括控制整个成像装置的处理器、通过无线或有线执行与外部设备的通信的通信装置、将图像(诸如捕获图像)显示在显示屏幕上的显示装置、以及可以由用户操作的操作装置等。

透镜10包括光学系统的透镜，并且例如，成像元件12包括使用多个成像元件(诸如互补金属氧化物半导体(CMOS))的图像传感器。例如，信号处理电路14包括自动增益控制(AGC)电路和模数转换器(ADC)，并且将由成像元件12生成的模拟信号转换成数字信号(图像数据)。此外，例如，信号处理电路14执行与原始研发相关的各种处理。此外，例如，信号处理电路14可以执行各种信号处理，诸如白平衡校正处理、色调校正处理、伽马校正处理、YCbCr转换处理以及边缘增强处理。

在下文中，作为示例，使用如图1中例示的安装在棒球场中的多个成像装置捕获的多个捕获图像描述与根据本实施例的信息处理方法相关的处理。这里，对经过与根据本实施例的信息处理方法相关的处理的多个捕获图像进行成像的多个成像装置不限于安装在棒球场中的成像装置。根据本实施例的成像装置的示例包括位于预定区域(诸如体育场和音乐会会场)的成像装置。此外，多个成像装置中的每个可以位于其中能够对相同被摄体进行成像的场所中。也就是说，多个成像装置的示例包括定位在预定区域中或其中能够对相同被摄体进行成像的场所中的成像装置。此外，不必说，经过与根据本实施例的信息处理方法相关的处理的多个捕获图像不限于图1中例示的示例。

例如，如图1的A中所示，当通过位于预定区域中的多个成像装置同时执行成像时，在通过成像获取的捕获图像被如图1的B1至B6中所示地随机布置的情况下，观看显示在屏幕上的捕获图像的用户难以理解捕获图像之间的关系。这里，理解捕获图像之间的关系的示例包括理解对每个捕获图像进行成像的成像装置位于哪个位置。

此外，在如上所述多个捕获图像被随机布置的情况下，用户难以直观地执行从多个捕获图像中的一个捕获图像到另一个捕获图像的显示切换。

因此，根据本实施例的信息处理设备以与多个成像装置之间的位置关系相对应的模式显示通过由多个成像装置同时执行成像而生成的多个捕获图像。此外，根据本实施例的信息处理设备将图像从多个显示的捕获图像中的一个捕获图像切换到多个捕获图像中的另一个图像，并显示它(显示控制处理)。这里，根据本实施例的多个捕获图像的切换对应于视点切换。在下文中，将待切换和显示的多个捕获图像中的切换源的捕获图像称为“参照图像”，并且将多个捕获图像中的显示切换目的地的图像称为“切换目的地图像”。

例如，通过根据基于由多个成像装置在进行成像时的位置关系布置的多个捕获图像的布置顺序来显示多个捕获图像，根据本实施例的信息处理设备以与所述多个成像装置之间的位置关系相对应的模式显示所述多个捕获图像。稍后描述根据本实施例的“以与多个成像装置之间的位置关系相对应的模式显示多个捕获图像”的具体示例。

这里，基于多个成像装置之间的位置关系布置多个捕获图像的处理(以下称为“重新布置处理”)可以通过根据本实施例的信息处理设备执行，作为与根据本实施例的信息处理方法相关的处理，或者可以在根据本实施例的信息处理设备的外部设备中执行。在根据本实施例的信息处理设备执行重新布置处理的情况下，根据本实施例的信息处理设备根据在重新布置处理中布置的多个捕获图像的布置顺序来显示多个捕获图像。此外，在外部设备中执行重新布置处理的情况下，根据本实施例的信息处理设备根据布置在外部设备中的多个捕获图像的布置顺序显示多个捕获图像。在下文中，描述了根据本实施例的信息处理设备执行重新布置处理的示例情况。

在根据本实施例的信息处理设备执行重新布置处理的情况下，根据本实施例的信息处理设备基于由多个成像装置在进行成像时的位置关系布置通过由多个成像装置同时执行成像而生成的多个捕获图像。例如，根据本实施例的信息处理设备基于多个成像装置之间的位置关系，根据空间规则性将多个捕获图像布置在一维轴上，使得多个捕获图像的切换成为可能。这里，根据本实施例的重新布置处理的示例包括：重新布置未布置的多个捕获图像，并重新布置根据一些规则布置的多个捕获图像。

图3是描述根据本实施例的信息处理方法的说明图，并且例示了与根据本实施例的信息处理方法相关的重新布置处理的一个示例。图3的A例示了多个捕获图像的一个示例。图3的C例示了基于图3的B中所示的多个成像装置之间的位置关系，根据空间规则性将图3的A中所示的多个捕获图像布置在一维轴上的示例情况。

根据本实施例的信息处理设备通过执行重新布置处理来布置多个捕获图像，使得例如多个成像装置被如图3的B所示地在空间上布置。

此外，例如，在重新布置处理中布置多个捕获图像的情况下，通过执行显示控制处理，根据本实施例的信息处理设备根据如图3的C所示布置的多个捕获图像的布置顺序来显示多个捕获图像。此外，根据本实施例的信息处理设备将图像从多个显示的捕获图像中的一个捕获图像切换到多个捕获图像中的另一个图像，并显示它。

这里，例如，根据本实施例的信息处理设备在包括在根据本实施例的信息处理设备中的显示单元(稍后描述)的显示屏幕上或在通过无线或有线与根据本实施例的信息处理设备连接的外部显示设备的显示屏幕上显示图像。根据本实施例的信息处理设备通过将示出要显示的图像和图像的显示顺序的图像数据发送到例如显示单元(稍后描述)等而在显示屏幕上显示图像。

此外，根据本实施例的信息处理设备在显示控制处理中，基于与参照图像相对应的成像装置和与切换目的地图像相对应的成像装置之间的位置关系，通过一个或两个或更多个补充图像选择性地执行增补。此外，在增补补充图像的情况下，根据本实施例的信息处理设备在显示切换目的地图像之前显示补充图像。稍后描述根据本实施例的选择性地增补补充图像的处理。

根据本实施例的补充图像的示例包括“由与对应于参照图像的成像装置和对应于切换目的地图像的成像装置不同的成像装置捕获的捕获图像”和“以便与由位于虚拟路径上的虚拟成像装置捕获的捕获图像相对应而生成的图像”中的一个或两个。在下文中，将“以便与由位于虚拟路径上的虚拟成像装置捕获的捕获图像相对应而生成的图像”称为“插值图像”，其可以是“生成图像”或者“生成图像”和“捕获图像”的组合。

例如，根据本实施例的生成图像是通过诸如基于图像渲染(IBR)、基于模型渲染(MBR)和纠正的技术生成的。这里，在使用IBR的情况下，例如，基于多个捕获图像来生成生成图像。此外，在使用MBR的情况下，例如，基于多个捕获图像和关于图像的三维信息(例示深度的数据)来生成生成图像。此外，在使用纠正的情况下，基于例如示出成像装置的姿态的数据(例如，关于诸如加速度传感器和陀螺仪传感器的传感器的信息)来生成生成图像。此外，根据本实施例的生成图像可以是通过进一步调整通过上述技术生成的图像的色调而获取的图像。

这里，根据本实施例的生成图像的生成方法不限于上述方法。例如，根据本实施例的生成图像可以是通过对多个捕获图像中的一个捕获图像执行图像处理而获取的图像。根据本实施例的图像处理的示例包括图像的扩大或缩小、图像的旋转、图像的裁剪以及组合这些中的两个或更多个的处理等。

根据本实施例的生成图像可以由根据本实施例的信息处理设备中包括的一个或多个处理器或各种处理电路生成，或者可以由可以通过无线或有线执行与根据本实施例的信息处理设备的通信的外部设备生成。

图4是描述根据本实施例的信息处理方法的说明图，并且例示了与根据本实施例的信息处理方法相关的显示控制处理的一个示例。

图4的A例示了其中用户可以执行与多个显示的捕获图像中的图像切换相关的操作的操作屏幕的一个示例(图4的A所示的G)。图4的A的V表示其上显示图像的主图像显示区域，图4的A的G是用户可以执行选择捕获图像的操作的选择区域。

例如，通过执行显示控制处理，根据本实施例的信息处理设备根据在如图4的A的G所示的重新布置处理中布置的多个捕获图像的布置顺序显示多个捕获图像。也就是说，在图4的A的G中所示的选择区域中显示的多个捕获图像对应于在与通过根据本实施例的信息处理设备的显示控制处理中显示的多个成像装置之间的位置关系相对应的模式下的多个捕获图像的显示的一个示例。

这里，在与根据本实施例的多个成像装置之间的位置关系相对应的模式下的多个捕获图像的显示的示例不限于图4的A的G所示的示例。例如，根据本实施例的信息处理设备还可以根据在如图3的C所示的重新布置处理中布置的多个捕获图像的布置顺序，在多个阶段显示多个捕获图像。

例如，根据本实施例的信息处理设备将图像从参照图像切换到切换目的地图像，并且基于关于如图4的A所示的操作屏幕的用户操作来显示图像。例如，在如图4的A的V所示的操作屏幕的主图像显示区域中显示诸如参照图像、切换目的地图像和补充图像的图像。

这里，根据本实施例的用户操作(诸如关于操作屏幕的用户操作)的示例包括使用诸如鼠标、键盘和遥控器的操作装置的操作，以及关于其中显示操作屏幕的触摸面板的操作，等等。

例如，根据本实施例的图像的显示的示例包括在以下(i)至(iii)中所示的示例。这里，不用说，根据本实施例的图像的显示的示例不限于以下(i)至(iii)所示的示例。

(i)当图像是静态图像时

每个静态图像简单地显示在如图4的A的V所示的操作屏幕的主图像显示区域中，以及如图4的A的G所示的操作屏幕的选择区域中。在图像的切换时，通过切换在主图像显示区域中显示的图像的角度改变。

(ii)当图像是移动图像时的第一示例

在如图4的A的V所示的操作屏幕的主图像显示区域中，以及如图4的A的G所示的操作屏幕的选择区域中再现移动图像。在图像的切换时，在通过切换在主图像显示区域中显示的移动图像被连续地再现的同时，图像角度改变。

(iii)当图像是移动图像时的第二示例

在如图4的A的V所示的操作屏幕的主图像显示区域中，以及如图4的A的G所示的操作屏幕的选择区域中再现移动图像。在图像的切换时，暂停在主图像显示区域和选择区域中显示的每个移动图像的再现，并且图像角度改变。此外，在图像角度的改变完成之后，恢复在主图像显示区域和选择区域中显示的每个移动图像的再现。

图4的B例示了在显示控制处理中实现的图像的切换的一个示例。图4的B例示了在从参照图像(图4的B所示的起始图像)切换到切换目的地图像(图4的B所示的目标图像)时增补和显示五个补充图像(图4所示的捕获图像和生成图像)的示例。

这里，图4的B所示的五个补充图像的捕获图像是由与对应于参照图像的成像装置和对应于切换目的图像的成像装置不同的其它成像装置捕获的图像。将由上述其它成像装置捕获的捕获图像用作补充图像的情况对应于使用来自位于预定区域中的成像装置的视点的情况。

此外，例如，图4的B所示的五个补充图像的生成图像是由诸如IBR、MBR和纠正的技术生成的图像。将生成图像用作补充图像的情况对应于虚拟成像装置虚拟地布置在预定区域中并且生成来自虚拟成像装置的视点的情况。

图4的C概念性地例示了与图4的B所示的图像的切换相对应的成像装置之间的位置关系。图4的C所示的RD例示了位于预定区域中的成像装置，并且图4的C所示的VD例示了虚拟地位于预定区域中的虚拟成像装置。

例如，如图4的B所示，通过连接在参照图像和目的图像之间的补充图像，实现了更平滑的图像切换。

这里，在根据本实施例的显示控制处理中实现的图像切换不限于图4的B所示的示例。

例如，在从图像(例如，参照图像、切换目的地图像和补充图像等)中检测待由用户注意的预定被摄体并切换图像的情况下，根据本实施例的信息处理设备还可以对图像执行图像处理，使得检测到的预定被摄体的显示位置平滑地改变，并且显示经过图像处理的图像。此外，例如，在图像切换的情况下，根据本实施例的信息处理设备可以对图像执行图像处理，使得检测到的预定被摄体的显示位置和大小不改变，并且可以显示经过图像处理的图像。

图5A至5C是描述与根据本实施例的信息处理方法相关的处理的一个示例的说明图。

例如，当用户针对所有捕获图像执行选择被摄体的操作时，设置预定被摄体，如图5所示(预定被摄体的手动设置)。此外，例如，当用户针对多个捕获图像中的一个捕获图像执行选择被摄体的操作时，可以设置预定被摄体，如图5所示(预定被摄体的半自动设置)。

此外，例如，也可以通过基于多个成像装置所指向的方向来估计预定被摄体所在的位置来设置预定被摄体，如图5C所示(预定被摄体的自动设置)。在自动设置预定被摄体的情况下，例如，包括在图像中的感兴趣区域(诸如图像的中心附近的区域等)中的被摄体被设置为预定被摄体。

此外，在设置预定被摄体的情况下，根据本实施例的信息处理设备学习预定被摄体的特征，并将示出预定被摄体的特征的数据存储在诸如存储单元(稍后描述)的记录介质中和所连接的外部记录介质中。此外，根据本实施例的信息处理设备通过使用示出预定被摄体的特征的数据，从图像(例如，参照图像、切换目的地图像和补充图像等)中检测被摄体。

例如，通过如上所述设置预定被摄体，根据本实施例的信息处理设备可以从与在不同时间的成像相对应的图像(诸如其它帧图像)跟踪预定被摄体(在时间方向上自动地检测被摄体)(这是在捕获图像是移动图像的情况下的示例)。

例如，根据本实施例的信息处理设备执行上述显示控制处理作为与根据本实施例的信息处理方法相关的处理。此外，例如，根据本实施例的信息处理设备还可以执行重新布置处理和显示控制处理，作为与根据本实施例的信息处理方法相关的处理。

这里，在使用根据本实施例的信息处理方法的情况下，在与多个成像装置之间的位置关系相对应的模式下显示多个捕获图像，像在根据基于由多个成像装置成像时的位置关系布置的多个捕获图像的布置顺序的上述显示控制处理中显示多个捕获图像的示例。此外，例如，通过上述重新布置处理实现多个捕获图像的重新布置。因此，例如，由于捕获图像的布置对应于在其上多个捕获图像如图4的A所示显示的操作屏幕中的成像装置的空间设置，用户可以更直观地执行与关于操作屏幕的图像切换相关的操作。

此外，在使用根据本实施例的信息处理方法的情况下，在从参照图像到切换目的地图像的图像切换时，在上述显示控制处理中实现更平滑的图像切换。此外，当实现更平滑的图像切换时，例如，看到显示图像的用户可以集中注意在待注意的被摄体上。

因此，通过执行与根据本实施例的信息处理方法相关的处理，能够实现与切换捕获图像相关的用户便利性的提高。

此外，由于对由多个成像装置捕获的捕获图像执行与根据本实施例的信息处理方法相关的处理，因此其可以作为成像的后处理来执行。因此，即使设置在预定区域中的多个成像装置被设置在与理想视点位置分离的位置处，也可以在与根据本实施例的信息处理方法相关的处理中实现更平滑的图像切换。因此，由于在使用根据本实施例的信息处理方法的情况下可以更加粗略地将成像装置设置在预定区域中，因此例如能够实现减少设置成像装置的努力和缩短设置成像装置所需的时间。

这里，为了方便起见，“上述显示控制处理”和“上述重新布置处理和上述显示控制处理”是与根据本实施例的信息处理方法相关的处理的划分。因此，在与根据本实施例的信息处理方法相关的处理中，例如，“上述重新布置处理和上述显示控制处理”可以被解释为一个处理。此外，在与根据本实施例的信息处理方法相关的处理中，例如，“上述显示控制处理”和“上述重新布置处理和上述显示控制处理”中的每个可以被解释为两个或更多个处理(通过任意划分方法)。在下文中，给出了将与根据本实施例的信息处理方法相关的处理划分为上述重新布置处理和上述显示控制处理的示例情况。这里，如上所述，可以在根据本实施例的信息处理设备的外部设备中执行上述重新布置处理。

<2>与根据本实施例的信息处理方法相关的处理

接下来，更具体地描述与根据本实施例的信息处理方法相关的处理。

(1)重新布置处理

根据本实施例的信息处理设备基于多个成像装置之间的位置关系来布置通过由位于预定区域中的多个成像装置同时执行的成像而生成的多个捕获图像。

例如，根据本实施例的信息处理设备通过使用从诸如全球定位系统(GPS)装置的传感器和加速度传感器获取的传感器信息(数据)和捕获图像中的一个或两者来估计成像装置的位置和姿态。

这里，例如，在通过使用捕获图像来估计成像装置的位置和姿态的情况下，根据本实施例的信息处理设备通过使用可以从包括在图像中的被摄体的关系估计成像装置的位置和姿态的运动恢复结构(SfM)技术来根据捕获图像估计成像装置的位置和姿态。

此外，例如，在使用SfM技术的情况下，根据本实施例的信息处理设备可以从捕获图像获取成像装置的成像参数(例如，示出焦距或失真的参数)。因此，例如，在如上所述通过使用捕获图像来估计成像装置的位置和姿态的情况下，即使当捕获图像是由在变焦状态下执行成像的成像装置捕获的捕获图像时或者捕获图像是由在广角状态下执行成像的成像装置捕获的捕获图像时，也能够根据捕获图像估计执行成像的成像装置的位置和姿态。

此外，上述传感器的示例包括成像装置中包括的传感器、与成像装置连接的外部传感器和通过密封件附接到成像装置的外部传感器等。

此外，根据本实施例的信息处理设备基于成像装置的空间位置关系来布置多个捕获图像，成像装置的空间位置关系基于估计的成像装置的位置和姿态。

如上所述，通过使用捕获图像和传感器信息中的一个或两者来估计成像装置的位置和姿态。也就是说，根据本实施例的成像装置的空间位置关系的示例可以包括基于从GPS装置等获取的位置数据(传感器信息的一个示例)的成像装置的物理位置关系(成像装置的成像位置的物理位置关系)，以及基于从捕获图像估计的信息的成像装置的位置关系。

这里，基于从捕获图像估计的信息的成像装置的位置关系不限于上述示例。例如，根据本实施例的信息处理设备还可以通过包括在捕获图像中的预定被摄体的大小来估计距被摄体的距离，并且通过使用所估计的距离来决定成像装置的位置关系。例如，在如上所述通过包括在捕获图像中的预定被摄体的大小来估计距被摄体的距离的情况下，当包括在由在变焦状态下执行成像的一个成像装置捕获的捕获图像中的预定被摄体的尺寸，和包括在由在广角状态下执行成像的不同成像装置捕获的捕获图像中的预定被摄体的尺寸基本相同时，作为与被摄体的距离关系的位置关系在一个成像装置中和不同的成像装置中基本相同。

例如，根据本实施例的信息处理设备基于作为源的捕获图像和布置捕获图像的方向来布置多个捕获图像。作为源的捕获图像的示例包括显示在操作屏幕(例如，图4的A所示的V)的主图像显示区域上的捕获图像。此外，可以通过用户操作指定成为源的捕获图像和布置方向，或者可以基于诸如随机的预定规则由根据本实施例的信息处理设备来决定。

此外，例如，在诸如在操作屏幕的主图像显示区域(例如，图4的A所示的V)上显示的图像的当前显示的图像改变的情况下，根据本实施例的信息处理设备重新布置以当前显示的图像为中心的多个捕获图像，并且自适应地改变多个捕获图像的布置。

图6是描述与根据本实施例的信息处理方法相关的处理的一个示例的说明图，并且例示了重新布置处理的一个示例。

图6的A概念性地例示了通过成像装置的位置关系来在两个成像装置位于预定区域中的情况下布置捕获图像的方式。图6的B概念性地例示了通过成像装置的位置关系来在三个成像装置位于预定区域中的情况下布置捕获图像的方式。图6的C概念性地例示了通过成像装置的位置关系来在四个成像装置位于预定区域中的情况下布置捕获图像的方式。图6的D概念性地例示了通过成像装置的位置关系来在八个成像装置位于预定区域中的情况下布置捕获图像的方式。

如上所述，例如，通过估计成像装置的位置和姿态，能够理解成像装置的空间位置关系。因此，例如，当如上所述确定成为源的捕获图像和布置捕获图像的方向时，根据本实施例的信息处理设备可以根据如图6所示的成像装置的位置关系的空间规则性来布置多个捕获图像。这里，成像装置的位置关系的空间规则性可以是例如与由多个成像装置捕获的相同被摄体对应的规律性。

这里，根据本实施例的信息处理设备还可以基于成为源的捕获图像和捕获图像布置的方向来给多个捕获图像设置优先级(根据成像装置的位置关系的空间规则性的优先级)，并且根据设置的优先级布置多个捕获图像。

例如，当引用特定示例时，根据本实施例的信息处理设备给成为源的捕获图像设置最高优先级。此外，根据本实施例的信息处理设备按照从由与成为源的捕获图像相对应的成像装置的距离更接近的成像装置捕获的捕获图像起的顺序设置更高的优先级，例如沿着如图6的A至D所示的布置方向，即，设置优先级的方向。例如，如图6的D所示，在设置优先级的方向是沿着到达与最终成为源的捕获图像相对应的成像装置的位置的轨迹的方向的情况下，根据本实施例的信息处理设备当到达与成为源的捕获图像相对应的成像装置的位置时，完成关于捕获图像的优先级的设置。此外，例如，如图6的A至C的右图所示，在设置优先级的方向是沿着未到达与最终成为源的捕获图像相对应的成像装置的位置的轨迹的方向的情况下，根据本实施例的信息处理设备在设置了优先级的捕获图像变为设置的预定数量的情况下或者在从优先级的设置开始已经过预定时间的情况下，完成关于捕获图像的优先级的设置。

在如上所述根据设置的优先级布置多个捕获图像的情况下，假设根据与所设置的优先级相对应的顺序，在根据本实施例的显示控制处理中显示多个捕获图像。

例如，根据本实施例的信息处理设备关于从位于预定区域中的所有成像装置获取的捕获图像执行重新布置处理。

这里，根据本实施例的重新布置处理不限于上述。例如，根据本实施例的信息处理设备还可以布置多个捕获图像，同时在从位于预定区域中的多个成像装置获取的捕获图像中排除预定捕获图像，如下面的(a)至(f)所示。

(a)根据捕获图像的排除的重新布置处理的第一示例

根据本实施例的信息处理设备布置多个捕获图像，同时排除多个捕获图像中由用户指定的捕获图像。

例如，在其中用户可以选择要排除的捕获图像的任意屏幕(诸如图4的A所示的操作屏幕，以及其中列出并显示多个捕获图像并且可以选择要排除的捕获图像的屏幕)上执行与排除捕获图像相关的用户操作。此外，例如，与排除捕获图像相关的用户操作可以是选择不使用捕获图像的成像装置的操作。

(b)与排除捕获图像相关的重新布置处理的第二示例

根据本实施例的信息处理设备布置多个捕获图像，同时在多个捕获图像中排除其中不包括预定对象的捕获图像。

这里，根据本实施例的预定对象的示例包括由用户从捕获图像检测到的对象，从多个捕获图像检测到的对象以及设置对象。

例如，当用户执行如图5A和图5B所示的操作时，从捕获图像中选择被摄体。此外，从多个捕获图像检测到的对象的示例包括在诸如数量等于或大于设定阈值的捕获图像(或者数量大于阈值的捕获图像)中的中心附近的设定区域中包括的被摄体。此外，根据本实施例的设置对象可以是预先设置的对象，并且可以是作为学习通过用户操作从捕获图像指定的对象的特征的结果而设置的被摄体。

例如，在具有与示出预定对象的特征的数据相对应的特征的被摄体不包括在捕获图像中的情况下，根据本实施例的信息处理设备假设它是不包括预定对象的捕获图像，并且排除该捕获图像。

(c)根据捕获图像的排除的重新布置处理的第三示例

根据本实施例的信息处理设备布置多个捕获图像，同时基于包括在捕获图像中的颜色排除捕获图像。例如，根据本实施例的信息处理设备确定具有与其它捕获图像极大不同颜色的捕获图像。此外，排除被确定为具有极大不同颜色的捕获图像。

这里，例如，根据本实施例的信息处理设备计算每个捕获图像的颜色直方图，并且基于计算的颜色直方图来确定与其它捕获图像具有极大不同颜色的捕获图像。这里，根据本实施例的确定与其它捕获图像具有极大不同颜色的捕获图像的方法不限于上述方法，并且根据本实施例的信息处理设备可以使用可以确定与其它图像具有极大不同颜色的图像的任意方法。

(d)根据捕获图像的排除的重新布置处理的第四示例

根据本实施例的信息处理设备布置多个捕获图像，同时基于捕获图像的分辨率排除捕获图像。

例如，根据本实施例的信息处理设备确定与其它捕获图像具有极大不同分辨率的捕获图像。此外，排除被确定为具有极大不同分辨率的捕获图像。

这里，例如，根据本实施例的信息处理设备确定其“捕获图像的分辨率与多个捕获图像的平均分辨率之间的差的绝对值”等于或大于设定阈值的捕获图像(或其绝对值大于阈值的捕获图像)作为与其它捕获图像具有极大不同分辨率的捕获图像。这里，根据本实施例的确定与其它捕获图像具有极大不同分辨率的捕获图像的方法不限于上述方法，并且根据本实施例的信息处理设备可以使用可以确定与其它图像具有极大不同分辨率的图像的任意方法。

这里，根据捕获图像的排除的重新布置处理的第四示例不限于上述。

例如，根据本实施例的信息处理设备可以排除具有等于或小于与分辨率下限对应的第一分辨率的分辨率的捕获图像(或具有比第一分辨率低的分辨率的捕获图像)。此外，例如，根据本实施例的信息处理设备可以排除具有等于或大于与分辨率的上限对应的第二分辨率的分辨率的捕获图像(或具有大于第二分辨率的分辨率的捕获图像)。

(e)根据捕获图像的排除的重新布置处理的第五示例

通过进行组合上述(a)所示的第一示例至上述(d)所示的第四示例的处理中的两个或更多个的处理，根据本实施例的信息处理设备可以在排除捕获图像之后布置多个捕获图像。

(f)根据捕获图像的排除的重新布置处理的第六示例

在通过用户操作再次添加甚至在根据上述(a)所示的第一示例至上述(e)所示的第五示例的处理中排除的图像的情况下，根据本实施例的信息处理设备可以布置多个捕获图像而不排除所添加的图像。

(2)显示控制处理

根据本实施例的信息处理设备在从上述(1)的处理(重新布置处理)中布置的多个捕获图像中从参照图像向切换目的地图像切换并显示图像。

此外，在图像切换时，根据本实施例的信息处理设备基于与参照图像相对应的成像装置和与切换目的地图像相对应的成像装置之间的位置关系，选择性地增补一个或两个或更多个补充图像。此外，在增补补充图像的情况下，根据本实施例的信息处理设备在显示切换目的地图像之前显示补充图像，如图4的B所示。

这里，例如，根据本实施例的信息处理设备基于与参照图像相对应的成像装置和与切换目的地图像相对应的成像装置之间的距离来选择性地增补补充图像。

根据本实施例的“一个成像装置和另一个成像装置之间的距离”的示例包括一个成像装置和另一个成像装置之间的直线距离。例如，通过根据捕获图像估计的成像装置的位置和由从GPS装置的传感器等获取的传感器信息指示的位置计算一个成像装置与另一个成像装置之间的距离。

这里，根据本实施例的“一个成像装置和另一个成像装置之间的距离”不限于上述。

例如，根据本实施例的“一个成像装置和另一个成像装置之间的距离”可以是与一个成像装置和另一成像装置之间的图像显示的切换相关的虚拟显示切换路径(以下称为“虚拟路径”)的距离。基于与参照图像相对应的成像装置和与切换目的地图像相对应的成像装置之间的位置关系来设置根据本实施例的虚拟路径。例如，根据本实施例的虚拟路径被设置为关于由多个成像装置捕获的相同被摄体的路径。稍后描述根据本实施例的虚拟路径的具体示例。

更具体地，根据本实施例的信息处理设备在与参照图像相对应的成像装置和与切换目的地图像相对应的成像装置之间的距离等于或大于设定阈值的情况下(或者在距离大于阈值的情况下)，增补补充图像。此外，根据本实施例的信息处理设备在与参照图像相对应的成像装置和与切换目的地图像相对应的成像装置之间的距离小于设定阈值(或者在距离等于或小于阈值的情况下)，不增补补充图像。上述阈值可以是预先设置的固定值，或者可以是可以通过用户操作改变的可变值，等等。

此外，根据本实施例的信息处理设备可以通过使用例如补充图像的距离和数量用以相关联的表格，以及唯一地计算补充图像的数量的距离函数，来增补与对应于参照图像的成像装置和对应于切换目的地图像的成像装置之间的距离相对应的数量的补充图像。

例如，在切换和显示图像(例如，参照图像、切换目的图像和补充图像等)的情况下，根据本实施例的信息处理设备基于设置的虚拟路径显示与设置的虚拟路径相对应的图像。

这里，与根据本实施例的虚拟路径相对应的图像包括由位于虚拟路径上的成像装置捕获的捕获图像和生成以便与由位于虚拟路径上的虚拟成像装置捕获的捕获图像相对应的生成图像。

当引用具体示例时，与根据本实施例的虚拟路径相对应的图像的示例包括以下列出的图像。

-参照图像(当与参照图像相对应的成像装置的位置在虚拟路径上时)

-通过对参照图像执行图像处理而生成的生成图像(当与参照图像相对应的成像装置的位置不在虚拟路径上时)

-切换目的地图像(当与切换目的地图像相对应的成像装置的位置在虚拟路径上时)

-通过对切换目的地图像执行图像处理而生成的生成图像(与切换目的地图像相对应的成像装置的位置不在虚拟路径上)

-由位于虚拟路径上并且与对应于参照图像的成像装置和对应于切换目的地图像的成像装置不同的成像装置捕获的捕获图像

-基于由上述不同成像装置捕获的捕获图像生成的生成图像，等等

在下文中，通过对参照图像执行图像处理而生成的生成图像被表示为“基于参照图像的图像”。此外，在下文中，通过对切换目的地图像执行图像处理而生成的生成图像被表示为“基于切换目的地图像的图像”。

在下文中，更具体地描述根据本实施例的显示控制处理的一个示例。

(2-1)根据本实施例的显示控制处理的第一示例：与虚拟路径的设置相关的处理的一个示例

首先，描述与虚拟路径的设置相关的处理的一个示例。

图7是描述与根据本实施例的信息处理方法相关的处理的一个示例的说明图，并且例示了与根据本实施例的显示控制处理中的虚拟路径的设置相关的处理的一个示例。图7中所示的“Cam1”示出了与参照图像相对应的成像装置，并且图7中所示的“Cam2”示出了与切换目的地图像相对应的成像装置。此外，图7所示的“P1”、“P2”和“P3”中的每个示出了虚拟路径的一个示例。

例如，如图7的A所示，根据本实施例的信息处理设备将其中位于与参照图像相对应的成像装置Cam1和与切换目的地图像相对应的成像装置Cam2之间的成像装置位于虚拟路径上的路径设置为虚拟路径。

例如，通过用直线连接相邻位置的成像装置，根据本实施例的信息处理设备设置虚拟路径(例如，图7的A中所示的虚拟路径P1)。此外，例如，通过用诸如贝塞尔(Bezier)曲线的曲线连接相邻位置的成像装置，根据本实施例的信息处理设备可以设置虚拟路径(例如，图7的A中所示的虚拟路径P2)。

此外，例如，根据本实施例的信息处理设备还可以基于用户操作来设置虚拟路径(例如，图7的B中所示的虚拟路径P3)。例如，根据虚拟路径的设置的用户操作可以是校正由根据本实施例的信息处理设备临时设置的虚拟路径的操作，或者可以是新设置虚拟路径的操作。

例如，根据本实施例的信息处理设备按如上所述设置虚拟路径。

这里，与根据本实施例的虚拟路径的设置相关的处理不限于上述示例。例如，根据本实施例的信息处理设备还可以设置预先设置的虚拟路径，诸如具有预定曲率的圆弧。

此外，根据本实施例的信息处理设备还可以与和上述(a)至(f)所示的预定捕获图像的排除相关的处理并行地执行与根据本实施例的虚拟路径的设置相关的处理。也就是说，根据本实施例的信息处理设备可以在设置虚拟路径的同时选择性地排除捕获图像。

(2-2)根据本实施例的显示控制处理的第二示例：与对应于设置的虚拟路径的图像的显示相关的处理的一个示例

接下来，描述与对应于所设置的虚拟路径的图像的显示相关的处理的一个示例。

图8A是描述与根据本实施例的信息处理方法相关的处理的一个示例的说明图，并且例示了与和根据本实施例的显示控制处理中的虚拟路径相对应的图像的显示相关的处理的一个示例。图8A表示多个成像装置位于设置的虚拟路径P上的情况。

图8A中所示的“Cam1”示出了与参照图像相对应的成像装置，并且图8A中所示的“Cam2”示出了与切换目的地图像相对应的成像装置。此外，图8A中所示的“Cam3”示出了位于虚拟路径P上并且与对应于参照图像的成像装置和对应于切换目的地图像的成像装置不同的成像装置。此外，图8A中所示的“Cam3”示出了位于虚拟路径P上的虚拟成像装置的一个示例。

在图8A的A中，与参照图像相对应的成像装置Cam1和与切换目的地图像相对应的成像装置Cam2位于虚拟路径P上。因此，根据本实施例的信息处理设备在图像切换时显示参照图像和切换目的地图像。

此外，其它成像装置位于图8A的A中的虚拟路径P上。因此，在图像切换时，根据本实施例的信息处理设备将基本上由每个成像装置捕获的捕获图像显示为补充图像。

然而，在由位于设置的虚拟路径P上的成像装置Cam3捕获的捕获图像中，与由其它成像装置捕获的捕获图像不同，被摄体O不存在于图像的中心附近。因此，例如，在图像切换时由成像装置Cam3捕获的捕获图像被用作补充图像的情况下，存在看到图像的用户识别出被摄体O从中心附近移位，并且图像切换不平滑的风险。

因此，例如，通过对由成像装置Cam3捕获的捕获图像执行图像处理，根据本实施例的信息处理设备生成与由图8A的B中所示的虚拟成像装置Cam3'捕获的捕获图像相对应的生成图像。例如，根据本实施例的信息处理设备通过对由成像装置Cam3捕获的捕获图像执行裁剪、旋转、仿射变换和单应性变换等来生成生成图像。

此外，根据本实施例的信息处理设备假设生成的生成图像，而不是由成像装置Cam3捕获的捕获图像作为补充图像。

例如，通过如图8A所示生成生成图像，并且将生成图像显示为补充图像，例如，能够在图像切换时向用户呈现更平滑的图像。此外，通过如图8A所示生成生成图像，并且将生成图像假设为补充图像，例如在同时显示多个捕获图像或者显示所谓的时间片图像的情况下，能够创建更美的图像。

图8B是描述与根据本实施例的信息处理方法相关的处理的一个示例的说明图，并且例示了与和根据本实施例的显示控制处理中的虚拟路径对应的图像的显示相关的处理的另一示例。图8B例示了多个成像装置不位于设置的虚拟路径P上的情况。

图8B中所示的“Cam1”示出了与参照图像相对应的成像装置，并且图8中所示的“Cam2”示出了与切换目的地图像相对应的成像装置。此外，图8B中所示的“Cam3”、“Cam4”和“Cam5”中的每个示出了位于虚拟路径P上并且与对应于参照图像的成像装置和对应于切换目的地图像的成像装置不同的成像装置。

此外，图8A中所示的“Cam1'”、“Cam2'”、“Cam3'”、“Cam4'”和“Cam5'”示出了位于虚拟路径P上的虚拟成像装置的一个示例。

在图8B的A中，与参照图像相对应的成像装置Cam1不位于虚拟路径P上。这里，例如，根据本实施例的信息处理设备基于与参照图像和虚拟路径对应的成像装置的位置，确定与参照图像相对应的成像装置的位置是否存在于虚拟路径上。

在如图8B的A中所示的与参照图像相对应的成像装置的位置不存在于虚拟路径上的情况下，根据本实施例的信息处理设备通过执行图像处理来生成基于参照图像的图像，以使得参照图像变为与由位于虚拟路径上的虚拟成像装置Cam1'捕获的捕获图像相对应的图像。待生成的基于参照图像的图像对应于由虚拟成像装置Cam1'捕获的捕获图像。根据本实施例的信息处理设备例如通过对由成像装置Cam1捕获的捕获图像执行尺度变换和仿射变换等等，来生成基于参照图像的图像。

此外，根据本实施例的信息处理设备在图像切换时显示基于参照图像的生成图像。

此外，在如图8B的A所示的与切换目的地图像相对应的成像装置的位置不存在于虚拟路径上的情况下，根据本实施例的信息处理设备通过执行图像处理来生成基于切换目的地图像的图像，使得切换目的地图像变为与由位于虚拟路径上的虚拟成像装置Cam2'捕获的捕获图像相对应的图像。待生成的基于切换目的图像的图像对应于由虚拟成像装置Cam2'捕获的捕获图像。例如，根据本实施例的信息处理设备通过对由成像装置Cam2捕获的捕获图像执行尺度变换和仿射变换等等，生成基于切换目的图像的图像。

此外，根据本实施例的信息处理设备在图像切换时显示基于切换目的地图像的生成图像。

此外，在如图8B的A所示的除了与对应于参照图像的成像装置以及对应于切换目的地图像的成像装置以外的其它成像装置Cam3至Cam5的位置不存在于虚拟路径上的情况下，根据本实施例的信息处理设备通过执行图像处理来生成生成图像，使得由其它成像装置Cam3至Cam5捕获的捕获图像成为与由位于虚拟路径上的虚拟成像装置Cam3'至Cam5'捕获的捕获图像相对应的图像。待生成的生成图像对应于由虚拟成像装置Cam3'至Cam5'捕获的捕获图像。例如，根据本实施例的信息处理设备通过对由成像装置Cam3至Cam5捕获的捕获图像执行尺度变换和仿射变换等来生成生成图像。

此外，根据本实施例的信息处理设备在图像切换时将生成的生成图像显示为补充图像。

例如，通过如图8B所示显示基于参照图像的图像和基于切换目的地图像的图像而不是参照图像和切换目的地图像，并将生成图像显示为补充图像，例如，能够在图像切换时向用户呈现更平滑的图像。此外，通过如图8所示生成基于参照图像的图像和基于切换目的地图像的图像，生成生成图像并将生成图像假设为补充图像，例如，能够在同时显示多个捕获图像的情况下或在显示所谓的时间片图像的情况下，创建更美的图像。

根据本实施例的信息处理设备执行如参考图8A和图8B所示的处理，例如，作为与对应于设置的虚拟路径的图像的显示相关的处理。

这里，与对应于所设置的虚拟路径的图像的显示相关的处理的示例不限于参考图8A和图8B所示的处理。

例如，根据本实施例的信息处理设备还可以在图像切换时显示聚焦于预定被摄体的图像。

图9是描述与根据本实施例的信息处理方法相关的处理的一个示例的说明图，并且例示了与和根据本实施例的显示控制处理中的与虚拟路径相对应的图像的显示相关的处理的另一示例。

图9所示的A1至A4示出了由多个成像装置捕获的捕获图像的一个示例。此外，图9所示的B1至B4例示了在对图9的A1至A4的每个捕获图像执行与参照图8A和图8B所示的处理类似的处理之后，包括在图像中的聚焦于捕集器(预定被摄体的一个示例)的图像的一个示例。

例如，通过从图像中检测预定被摄体并执行图像处理，使得检测到的预定被摄体被聚焦，根据本实施例的信息处理设备生成图9的B1至B4所示的图像，作为生成图像。例如，根据本实施例的信息处理设备通过使用作为通过参考图5A至图5C所示的方法进行学习的结果获取的示出预定被摄体的特征的数据，从图像(例如，参照图像、切换目的地图像和补充图像等)中检测被摄体。

当聚焦于预定被摄体上的图像被生成为生成图像并被显示时，如图9的B1至B4所示，能够向用户呈现其中预定被摄体的显示位置平滑地改变的图像。此外，例如，当聚焦于预定被摄体上的图像被生成为生成图像时，如图9的B1至B4所示，例如，能够在同时显示多个捕获图像的情况下或在显示所谓的时间片图像的情况下，创建更美的图像。

(2-3)根据本实施例的显示控制处理的第三示例：与对应于设置的虚拟路径的图像的显示相关的处理的另一示例

如上所述，可以基于用户操作来设置虚拟路径。此外，例如，根据本实施例的信息处理设备还可以基于成像装置的位置(空间布置)、包括在捕获图像中的被摄体的存在/不存在以及包括在捕获图像中的被摄体的位置，来自适应地决定是否使用由成像装置在图像切换时捕获的捕获图像。

图10是描述与根据本实施例的信息处理方法相关的处理的一个示例的说明图，并且例示了与和根据本实施例的显示控制处理中的虚拟路径相对应的图像的显示相关的处理的另一示例。

图10所示的A1、B1和C1示出了由位于虚拟路径上的一个成像装置捕获的捕获图像的一个示例。此外，图10所示的A3和B3示出了由位于虚拟路径上的另一成像装置捕获的捕获图像的一个示例。此外，图10所示的C3示出了补充图像的一个示例，并且示出了通过裁剪由位于虚拟路径上的上述其它成像装置捕获的捕获图像而生成的生成图像。此外，图10所示的A2、B2和C2分别示出了补充图像的一个示例并且示出了生成图像。

当一个成像装置和另一个成像装置位于虚拟路径上时，例如，在从对应于一个成像装置的视点的图像切换到对应于另一个成像装置的视点的图像的情况下，根据本实施例的信息处理设备在显示图10的A3和B3中所示的图像之前，根据设置的虚拟路径显示图10的A2和B2所示的补充图像。这里，例如，图10的A1、A2和A3所示的图像的切换可以被解释为基于虚拟路径的图像的切换。此外，例如，图10的A1、A2和A3所示的图像的切换可以被解释为基于被摄体的图像的切换。

此外，例如，如图10的C1、C2和C3所示，根据本实施例的信息处理设备还可以切换图像，使得显示被摄体的位置和被摄体的尺寸不改变。例如，如图10的C1、C2和C3所示，在切换图像使得显示被摄体的位置和被摄体的尺寸不改变的情况下，用户可以直观地看图像并更直观地编辑图像。例如，图10的C1、C2和C3中所示的图像的切换可以被解释为基于被摄体的图像的切换。

例如，通过执行如图10所示的图像切换来实现更平滑的图像切换。

(2-4)根据本实施例的显示控制处理的第四示例

图11A和图11B是描述与根据本实施例的信息处理方法相关的处理的一个示例并例示通过根据本实施例的显示控制处理实现的图像切换的一个示例的说明图。图11A和图11B所示的示例示出了当由设置在棒球场中的多个成像装置Cam1和Cam2等执行成像时，执行从由成像装置Cam1捕获的捕获图像到由成像装置Cam4捕获的捕获图像的切换的情况下的示例。

例如，图11A的A例示了由成像装置Cam1捕获的捕获图像的一个示例，并且是当前显示在显示屏幕上的图像。在图11A和图11B所示的示例中，由成像装置Cam1捕获的捕获图像对应于参照图像。

此外，图11A的B例示了从图11A的左侧起依次由成像装置Cam2捕获的捕获图像、由成像装置Cam3捕获的捕获图像、由成像装置Cam4捕获的捕获图像和由成像装置Cam5捕获的捕获图像等的一个示例。在图11和图11B所示的示例中，由成像装置Cam4捕获的捕获图像对应于参照图像。

例如，如图11B的A所示，与从参照图像到切换目的地图像的图像切换相关的虚拟路径P被设置为以便穿过位于与参照图像相对应的成像装置Cam1和与切换目的地图像相对应的成像装置Cam4之间的成像装置Cam2和Cam3。例如，通过如图11B的A所示设置虚拟路径P，能够将由成像装置Cam2和Cam3捕获的捕获图像用作补充图像。这里，如上所述，根据本实施例的虚拟路径可以基于例如用户操作等任意设置。

此外，例如，在从参照图像到切换目的地图像的图像切换时，可以将与由在虚拟路径上的虚拟成像装置VD1至VD3捕获的捕获图像相对应的生成图像作为补充图像来增补，如图11B的B所示。例如，补充图像的数量取决于对应于参照图像的成像装置Cam1和对应于切换目的地图像的成像装置Cam2之间的距离来决定。

例如，当由成像装置Cam2和Cam3捕获的捕获图像和与由虚拟成像装置VD1至VD3捕获的捕获图像相对应的生成图像作为补充图像被增补时，如图11B的B所示，实现如图11的C所示的图像切换。

(2-5)根据本实施例的显示控制处理的第五示例：根据图像切换的UI(用户界面)的示例

例如，如参考图4的A所示，可以基于关于其中用户可以执行与图像切换相关的操作的操作屏幕的用户操作来执行根据本实施例的图像切换。

图12是描述与根据本实施例的信息处理方法相关的处理的一个示例的说明图，并且例示了与根据本实施例的图像切换相关的UI的一个示例。图12的A例示了其中用户可以执行与图像切换相关的操作的操作屏幕的一个示例，并且图12的B例示了其中用户可以执行与图像切换相关的操作的操作屏幕的另一示例。

(2-5-1)操作屏幕的第一示例(图12的A)

参考图12的A，根据第一示例的操作屏幕包括其中显示图像的主图像显示区域V，以及其中显示在上述(1)的处理(重新布置处理)中布置的捕获图像并且用户可以执行选择捕获图像的操作的选择区域S1。这里，关于选择区域S1的操作对应于与根据本实施例的图像切换相关的操作的一个示例。此外，根据本实施例的操作屏幕可以包括与图像的再现相关的操作按钮和搜索条，等等。

显示在主图像显示区域V上的捕获图像对应于参照图像。此外，例如，根据与对应于参照图像(在主图像显示区域V中显示的捕获图像)的成像装置的位置关系，在选择区域S1中显示由与对应于参照图像的成像装置不同的其它成像装置捕获的捕获图像。例如，在与上述(1)的处理(重新布置处理)相关的布置方向上，按照从与对应于参照图像的成像装置具有最近的距离的顺序，在选择区域S1中显示由其它成像装置捕获的捕获图像。在主图像显示区域V中显示的捕获图像改变为另一图像的情况下，在选择区域S1中显示与在主图像显示区域V中显示的图像相对应的图像。

在针对图12的A所示的操作屏幕执行用户操作的情况下，当用户选择在选择区域S1中显示的图像时，根据本实施例的信息处理设备将图像从在主图像显示区域V中显示的捕获图像切换到在选择区域S1中选择的图像捕获图像。

(2-5-2)操作屏幕的第二示例(图12的B)

参考图12的B，根据第二示例的操作屏幕包括其中显示图像的主图像显示区域V以及其中显示与在上述(1)的处理中布置的捕获图像相对应的成像装置的位置，以及用户可以执行与选择相关的操作的选择区域S2。这里，关于选择区域S2的操作对应于与根据本实施例的图像切换相关的操作的一个示例。类似于图12的A，在主图像显示区域V中显示的捕获图像对应于参照图像。

与关于选择区域S2的用户选择相关的操作的示例包括选择成像装置的操作和设置虚拟路径的操作。例如，选择成像装置的操作对应于切换目的地图像的选择操作，其选择与所选择的成像装置相对应的捕获图像作为切换目的地图像。此外，例如，设置虚拟路径的操作对应于根据虚拟路径的设置的切换目的地图像的选择操作。

此外，在选择区域S2中，例如，如图12的B的I所示，通过“向与在主图像显示区域V中显示的捕获图像相对应的成像装置给予颜色”、“执行显示以使得与在主图像显示区域V上显示的捕获图像相对应的成像装置的尺寸大于其它成像装置”以及“将字符固定到与在主图像显示区域V中显示的捕获图像相对应的成像装置”等，可以清楚地示出与在主图像显示区域V中显示的捕获图像相对应的成像装置。

在针对图12的B所示的操作屏幕执行用户操作的情况下，当用户选择在选择区域S2中显示的成像装置时，根据本实施例的信息处理设备将图像从在主图像显示区域V中显示的捕获图像切换到由在选择区域S2中选择的成像装置捕获的捕获图像。此外，在针对图12的B所示的操作屏幕执行用户操作的情况下，例如，当用户设置虚拟路径时，根据本实施例的信息处理设备将图像从在主图像显示区域V中显示的捕获图像切换到与在选择区域S2中设置的虚拟路径的终点相对应的图像。

例如，根据本实施例的信息处理设备基于关于图12所示的操作屏幕的用户操作来执行显示控制处理，并且切换和显示图像。这里，不用说，与根据本实施例的图像切换相关的UI不限于图12所示的操作屏幕。

<3>与根据本实施例的信息处理方法相关的处理的具体示例

图13是例示与根据本实施例的信息处理方法相关的处理的一个示例的流程图。在图13中，例如，在图13的B中所示的处理对应于上述(2)的处理(显示控制处理)的一个示例。此外，在图13中省略了上述(1)的处理(重新布置处理)。

此外，图13的A所示的步骤S100至S108中的处理，示出了在上述(2)的处理(显示控制处理)中切换和显示图像之前执行的预处理的一个示例。这里，图13的A所示的步骤S100至S108中的处理不限于预处理，并且可以是在图13的B所示的步骤S200和S202中的处理之间执行的实时处理。

首先，参照图13的A，根据本实施例的信息处理设备估计成像装置的位置(S100)。例如，根据本实施例的信息处理设备通过从诸如GPS装置的传感器获取的传感器信息和捕获图像来估计成像装置的位置。

根据本实施例的信息处理设备从捕获图像中检测被摄体(S102)。例如，根据本实施例的信息处理设备通过使用作为通过参照图5A至图5C示出的方法进行学习的结果而获取的示出预定被摄体的特征的数据等等，从捕获图像中检测被摄体。

根据本实施例的信息处理设备校正捕获图像的色调(S104)。

根据本实施例的信息处理设备估计虚拟路径并确定捕获图像的使用(S106)。

图14是例示与根据本实施例的信息处理方法相关的处理的一个示例的流程图，并且例示了图13的A的步骤S106中的处理的一个示例。此外，图15是描述与根据本实施例的信息处理方法相关的处理的说明图，并且图15所示的A和B例示了用于增补图14所示的处理的图。

根据本实施例的信息处理设备排除由用户指定的捕获图像(S300)。此外，根据本实施例的信息处理设备排除其中不包括预定被摄体的捕获图像(S302)。此外，根据本实施例的信息处理设备排除与其它捕获图像具有极大不同颜色的捕获图像(S304)。此外，根据本实施例的信息处理设备排除与其它捕获图像具有极大不同分辨率的捕获图像(S306)。

通过执行步骤S300至S306中的处理，例如，排除像由图15的A中所示的成像装置Cam1捕获的捕获图像的没有预定被摄体的捕获图像，和像由如图15的A中所示的成像装置Cam2捕获的捕获图像的具有不足分辨率的捕获图像。这里，根据本实施例的信息处理设备也能够不执行步骤S300至S306中的处理。

根据本实施例的信息处理设备生成虚拟路径(S308)。例如，根据本实施例的信息处理设备生成穿过位于与参照图像相对应的成像装置和与切换目的地图像相对应的成像装置之间的其它成像装置的虚拟路径。这里，例如，在其中在随后描述的步骤S312中的处理中排除捕获图像并再次执行步骤S308中的处理的情况下，根据本实施例的信息处理设备生成没有再次穿过对应于排除的捕获图像的成像装置的虚拟路径。

根据本实施例的信息处理设备评估设置的虚拟路径(S310)，并且排除不适合虚拟路径的图像(S312)。例如，每一个图像地执行排除不适合虚拟路径的图像。

例如，根据本实施例的信息处理设备确定不适合虚拟路径的图像是否存在于设置的虚拟路径中，并且评估虚拟路径。

当引用特定示例时，例如，根据本实施例的信息处理设备确定由位于虚拟路径上的成像装置捕获的捕获图像是否对应于以下情况中的一个或两个或更多个，计算每个捕获图像的评估值并通过评估值来评估虚拟路径。例如，根据本实施例的信息处理设备可以通过假设分别对应于以下情况的值的和作为评估值来评估虚拟路径，或者可以通过将与各个情况相对应的值假设为评估值来组合多个评估值以及连续地使用多个评估值来评估虚拟路径。这里，不用说，评估值的计算方法不限于确定其是否对应于以下情况中的一个或两个或更多个的方法。

-成像装置的姿势/位置移位的情况(例如，直到虚拟路径的距离等于或大于阈值的情况或者其不垂直于虚拟路径的情况)

-当排除目标捕获图像时生成的虚拟路径非常短的情况

-当排除目标捕获图像时生成的虚拟路径平滑的情况

例如，根据本实施例的信息处理设备通过使用在步骤S310中计算的评估值和阈值执行阈值处理来确定不适合虚拟路径的图像，并且排除在步骤S312中被确定为不适合虚拟路径的图像。

这里，例如，根据本实施例的信息处理设备还可以通过确定标准来确定不适合虚拟路径的图像，所述确定标准为预定被摄体不包括在捕获图像中或者其颜色与其它捕获的图像极大不同。在步骤S308至S312的处理的各阶段中，在通过捕获图像中不包括预定被摄体的判断标准来确定不适合虚拟路径的图像的情况下，根据本实施例的信息处理设备不必执行步骤S300至S306中的处理。

例如，通过执行步骤S308至S312中的处理，排除了像图15的B所示的成像装置Cam3的成像装置。

根据本实施例的信息处理设备确定在由位于与参照图像相对应的成像装置和与切换目的地图像相对应的成像装置之间的其它成像装置捕获的捕获图像中是否存在可以排除的图像(S314)。例如，在除了在步骤S312中排除的捕获图像之外，确定为不适合步骤S310中的虚拟路径的捕获图像不存在的情况下，根据本实施例的信息处理设备确定不存在可以排除的图像。

在步骤S314中没有确定不存在可以排除的图像的情况下，根据本实施例的信息处理设备重复从步骤S308开始的处理。此外，在步骤S314中确定不存在可以排除的图像的情况下，根据本实施例的信息处理设备结束图13的A的步骤S106中的处理。

例如，在图13的A的步骤S106中执行图14所示的处理。这里，不用说，图13的A的步骤S106中的处理不限于图14所示的处理。

再次参考图13的A描述与根据本实施例的信息处理方法相关的处理的一个示例。根据本实施例的信息处理设备从捕获图像生成三维信息(示出深度的数据)(S108)。这里，使用在步骤S108中生成的三维信息来生成生成图像(补充图像的一个示例)。

例如，根据本实施例的信息处理设备执行图13的A所示的处理，作为与根据本实施例的信息处理方法相关的处理中的预处理。

这里，根据本实施例的预处理不限于图13的A中所示的示例。例如，根据本实施例的信息处理设备可以不执行步骤S104中的处理和步骤S108中的处理中的一个或两者。

此外，如上所述，图13的A中所示的处理(包括根据上述图13的A的修改示例的处理)不限于预处理，并且可以在图13的B所示的步骤S200和S202中的处理之间执行。

接下来，参照图13的B，根据本实施例的信息处理设备确定是否选择了切换目的地视点(切换目的地图像)(S200)。例如，在检测到与关于图12所示的操作屏幕的切换目的地图像的选择相关的用户操作的情况下，根据本实施例的信息处理设备确定选择了切换目的地视点。

在步骤S200中确定没有选择切换目的地视点的情况下，根据本实施例的信息处理设备直到确定选择了切换目的地视点为止，不推进处理。

此外，在步骤S200中确定选择了切换目的地视点的情况下，根据本实施例的信息处理设备选择性地增补一个或两个或更多个补充图像(S202)，并且将图像从参照图像切换到切换目的地图像并显示它(S204)。根据本实施例的信息处理设备将通过各种渲染和各种变换等生成的生成图像作为补充图像进行增补，以对应于由位于虚拟路径上的成像装置捕获的捕获图像和由位于虚拟路径上的虚拟成像装置捕获的捕获图像。

例如，通过执行图13的B所示的处理，实现了从参照图像到切换目的地图像的更平滑的图像切换。

例如，根据本实施例的信息处理设备执行图13的A和图13的B所示的处理，作为与根据本实施例的信息处理方法相关的处理。这里，不用说，与根据本实施例的信息处理方法相关的处理不限于图13的A和图13的B中所示的处理。

(根据本实施例的信息处理设备)

接下来，描述可以执行与根据本实施例的信息处理方法相关的上述处理的根据本实施例的信息处理设备的配置的一个示例。以下，将在执行上述(1)的处理(重新布置处理)和上述(2)的处理(显示控制处理)的情况下的根据本实施例的信息处理设备的配置示例为与根据本实施例的信息处理方法相关的处理。

图16是例示根据本实施例的信息处理设备100的配置的一个示例的框图。例如，信息处理设备100包括通信单元102和控制单元104。

此外，例如，信息处理设备100可以包括只读存储器(ROM，未示出)、随机存取存储器(RAM，未示出)、存储单元(未示出)、可以由用户操作的操作单元(未示出)，以及在显示屏幕上显示各种画面的显示单元(未示出)。例如，信息处理设备100通过作为数据传输路径的总线连接上述组件。

ROM(未示出)存储由控制单元104使用的控制数据，诸如程序和操作参数。RAM(未示出)临时存储由控制单元104执行的程序等。

存储单元(未示出)是包括在信息处理设备100中的存储装置，并且例如存储各种数据，像与根据本实施例的信息处理方法相关的各种应用和数据，诸如示出被摄体的特征的数据。这里，存储单元(未示出)的示例包括诸如硬盘的磁记录介质和诸如闪存的非易失性存储器。此外，存储单元(未示出)可以是从信息处理设备100可拆卸的。

作为操作单元(未示出)，引用了稍后描述的操作输入装置。此外，作为显示单元(未示出)，引用了稍后描述的显示装置。

(信息处理设备100的硬件配置示例)

图17是示出根据本实施例的信息处理设备100的硬件配置的一个示例的说明图。例如，信息处理设备100包括MPU 150、ROM152、RAM 154、记录介质156、输入/输出接口158、操作输入装置160、显示装置162和通信接口164。此外，例如，信息处理设备100通过作为数据传输路径的总线166连接每个组件。

例如，MPU 150包括一个或两个或更多个处理器和各种处理电路，其包括诸如微处理单元(MPU)的操作电路，并且用作控制整个信息处理设备100的控制单元104。此外，例如，MPU 150在信息处理设备100中起到稍后描述的重新布置单元110和显示控制单元112的作用。

ROM 152存储由MPU 150使用的控制数据，诸如程序和操作参数。例如，RAM 154临时存储由MPU 150执行的程序等。

记录介质156用作存储单元(未示出)，并且例如存储各种数据，像与根据本实施例的信息处理方法相关的各种应用和数据，诸如示出被摄体的特征的数据。这里，记录介质156的示例包括诸如硬盘的磁记录介质和诸如闪存的非易失性存储器。此外，记录介质156可以是从信息处理设备100可拆卸的。

例如，输入/输出接口158执行与操作输入装置160和显示装置162的连接。操作输入装置160用作操作单元(未示出)，并且显示装置162用作显示单元(未示出)。这里，输入/输出接口158的示例包括通用串行总线(USB)端子、数字视频接口(DVI)端子、高清晰度多媒体接口(HDMI)(注册商标)端子和各种处理电路等。

此外，例如，操作输入装置160安装在信息处理设备100上，并且与信息处理设备100中的输入/输出接口158连接。操作输入装置160的示例包括按钮、方向键和诸如微动拨盘的旋转型选择器、或这些的组合。

此外，例如，显示装置162安装在信息处理设备100上，并且与信息处理设备100中的输入/输出接口158连接。显示装置162的示例包括液晶显示器和有机电致发光显示器(有机EL显示器，其也称为有机发光二极管显示器(OLED显示器))。

这里，不用说，输入/输出接口158还可以与诸如外部操作输入装置(例如，键盘和鼠标等)和作为信息处理设备100的外部设备的外部显示装置的外部装置连接。此外，例如，显示装置162可以是其中显示和用户操作是可能的装置，例如触摸面板。

通信接口164是包括在信息处理设备100中的通信装置，并且用作通信单元102，以通过网络(或直接)执行与诸如外部成像装置和外部显示装置的外部装置的无线或有线通信。这里，通信接口164的示例包括通信天线和射频(RF)电路(无线通信)、IEEE 802.15.1端口和发送和接收电路(无线通信)、IEEE 802.11端口和发送和接收电路(无线通信)、以及局域网(LAN)终端和发送和接收电路(有线通信)等。此外，根据本实施例的网络的示例包括诸如LAN和广域网(WAN)的有线网络、诸如无线LAN(无线局域网：WLAN)的无线网络、以及使用通信协议(诸如传输控制协议/网际协议(TCP/IP))的互联网。

信息处理设备100例如通过图17所示的配置来执行与根据本实施例的信息处理方法相关的处理。这里，根据本实施例的信息处理设备100的硬件配置不限于图17所示的配置。

例如，在通过连接的外部通信装置执行与外部设备的通信的情况下，信息处理设备100可以不包括通信接口164。

此外，信息处理设备100还可以包括用作通过成像生成捕获图像的成像单元(未示出)的成像装置。

此外，例如，信息处理设备100还可以采用没有记录介质156、操作输入装置160和显示装置162的配置。

再次参考图16描述信息处理设备100的配置的一个示例。通信单元102是包括在信息处理设备100中的通信装置，并且通过网络(或直接)执行与诸如外部成像装置和外部设备的外部装置的无线或有线通信。此外，例如，在通信单元102中，通过控制单元104控制通信。

这里，通信单元102的示例包括通信天线和RF电路，以及LAN终端和发送和接收电路，但是通信单元102的配置不限于上述。例如，通信单元102可以采用与其中能够执行通信的任意标准相对应的配置(诸如USB端子以及发送和接收电路)，以及其中能够通过网络执行与外部设备的通信的任意配置。此外，通信单元102可以采用其中能够在多个通信方案中执行与一个或两个或更多个外部设备的通信的配置。

例如，控制单元104可以包括MPU等，并且起到控制整个信息处理设备100的作用。此外，例如，控制单元104包括重新布置单元110和显示控制单元112，并且起到主动地执行与根据本实施例的信息处理方法相关的处理的作用。

重新布置单元110起到主动地执行上述(1)的处理(重新布置处理)的作用，并且基于多个成像装置之间的位置关系来布置通过位于预定区域中的多个成像装置同时进行成像而生成的多个捕获图像。

此外，重新布置单元110可以布置多个图像，同时从所述多个捕获图像中排除捕获图像，例如上面(a)至(f)所示。

显示控制单元112起到主动执行上述(2)的处理(显示控制处理)的作用。例如，通过根据由重新布置单元110布置的多个捕获图像的布置顺序来显示多个捕获图像，显示控制单元112以与多个成像装置之间的位置关系相对应的模式显示多个捕获图像。此外，显示控制单元112将图像从参照图像切换到切换目的地图像并显示它。

显示控制单元112基于与参照图像相对应的成像装置和与切换目的地图像相对应的成像装置之间的位置关系，选择性地增补一个或两个或更多个补充图像。此外，在增补补充图像的情况下，显示控制单元112在显示切换目的地图像之前显示补充图像。

此外，在切换和显示图像的情况下，显示控制单元112可以显示对应于设置的虚拟路径的图像(例如，参照图像、基于参照图像的图像、补充图像、切换图像和基于切换图像的图像)。具体地，例如，显示控制单元112基于与参照图像和虚拟路径相对应的成像装置的位置来选择性地显示基于参照图像的图像，作为与虚拟路径对应的图像，而不是参照图像。此外，例如，显示控制单元112基于与切换图像和虚拟路径相对应的成像装置的位置，选择性地显示基于切换图像的图像，作为与虚拟路径对应的图像，而不是切换图像。此外，例如，显示控制单元112增补与虚拟路径相对应的图像作为补充图像，并显示所增补的补充图像。

例如，显示控制单元112执行根据上述(2-1)所示的第一示例的处理到根据上述(2-5)所示的第五示例的处理之中的一个或两个或更多个处理。

例如，通过包括重新布置单元110和显示控制单元112，控制单元104主动地执行与根据本实施例的信息处理方法相关的处理。

例如，信息处理设备100通过图16所示的配置执行与根据本实施例的信息处理方法相关的处理(例如，上述(1)的处理(重新布置处理)和上述(2)的处理(显示控制处理))。

因此，例如，信息处理设备100可以通过图16所示的配置来实现与切换捕获图像相关的用户便利性的提高。

此外，例如，信息处理设备100可以通过图16所示的配置来提供通过执行与根据本实施例的信息处理方法相关的处理而提供的效果。

这里，根据本实施例的信息处理设备的配置不限于图16所示的配置。

例如，根据本实施例的信息处理设备可以包括与控制单元104分离地在图16中所示的重新布置单元110和显示控制单元112中的一个或两者(例如，通过不同的处理电路实现它们)。

此外，如上所述，上述(1)的处理(重新布置处理)和上述(2)的处理(显示控制处理)是为了方便起见通过划分与根据本实施例的信息处理方法相关的处理获得的处理。因此，实现与根据本实施例的信息处理方法相关的处理的配置不限于图16所示的重新布置单元110和显示控制单元112，并且能够采用与划分与根据本实施例的信息处理方法相关的处理的方式相对应的配置。

此外，例如，在通过具有与通信单元102类似的功能和配置的外部通信装置执行与外部设备的通信的情况下，根据本实施例的信息处理设备可以不包括通信单元102。

此外，根据本实施例的信息处理设备还可以采用没有图16所示的重新布置单元110的配置。由于根据本实施例的信息处理设备即使在其采用没有重新布置单元110的配置的情况下也可以执行上述(2)的处理(显示控制处理)，因此能够实现与切换捕获图像相关的用户便利性的提高。

此外，根据本实施例的信息处理设备可以包括成像装置，并且还包括通过成像生成捕获图像的成像单元(未示出)。

以上使用信息处理设备作为示例描述了本实施例，但是本实施例不限于这种模式。例如，本实施例可应用于各种装备，诸如包括个人计算机(PC)和服务器的计算机、包括数字静态照相机和数字摄像机的成像设备、包括移动电话和智能电话的通信设备、平板型设备、显示设备、图像/音乐再现设备(或图像/音乐记录和再现设备)和游戏机。此外，例如，本实施例可应用于可以内置在上述装备中的处理集成电路(IC)。

此外，根据本实施例的信息处理设备可以由包括假设与网络连接(或者设备之间的通信)的多个设备的系统(例如像云计算)来实现。也就是说，还能够实现上述根据本实施例的信息处理设备，例如，作为包括多个装置的系统。

例如，在上述根据本实施例的信息处理设备被实现为诸如云计算的系统的情况下，根据本实施例的系统执行与根据本发明的信息处理方法相关的处理并且在可以执行有线或无线通信的设备(例如，用户拥有的设备等)的显示屏幕上显示待切换的图像。这里，即使上述根据本实施例的信息处理设备不是包括多个装置的系统但是一个设备时，根据本实施例的信息处理设备也可以执行与根据本实施例的信息处理方法相关的处理并且在可以执行有线或无线通信的设备的显示屏幕上显示待切换的图像。

(根据本实施例的程序)

当通过计算机中的处理器等执行使得计算机用作根据本实施例的信息处理设备的程序(例如，可以执行与根据本实施例的信息处理方法相关的处理(诸如上述(1)的处理(重新布置处理)和上述(2)的处理(显示控制处理)等)的程序)时，能够实现与切换捕获图像相关的用户的便利性的提高。

此外，当通过计算机中的处理器等执行使计算机用作根据本实施例的信息处理设备的程序时，能够提供由与上述根据本实施例的信息处理方法相关的处理提供的效果。

本领域技术人员应当理解，依赖于设计要求和其它因素，可以进行各种修改、组合、子组合和替换，只要它们在随附权利要求或其等同物的范围内。

例如，上面已经例示了提供了使计算机用作根据本实施例的信息处理设备的程序(计算机程序)，但是本实施例还可以提供一种记录介质，其中上述程序存储在一起。

上述配置表示本实施例的示例，并且当然涉及本公开的技术范围。

另外，本说明书中描述的效果仅仅是示例性和说明性的，而不是限制性的。换句话说，根据本公开的技术可以连同或者代替基于本说明书的效果呈现对于本领域技术人员显而易见的其它效果。

(1)一种信息处理设备，包括：电路，配置为响应于目标视点的识别，基于被摄体的参照视点和被摄体的目标视点将参照图像和目标图像与多个补充图像中的至少一个连接，

其中所述多个补充图像中的每个与参照视点和目标视点之间的被摄体的补充视点对应。

(2)根据(1)所述的信息处理设备，其中所述电路被配置为基于显示屏上与目标视点对应的显示，接收目标视点的识别。

(3)根据(1)或(2)所述的信息处理设备，其中所述多个补充图像中的所述至少一个是捕获图像。

(4)根据(1)至(3)所述的信息处理设备，其中所述电路被配置为设定从参照视点到目标视点的虚拟路径。

(5)根据(1)至(4)所述的信息处理设备，其中所述多个补充图像中的所述至少一个是插值图像，所述插值图像是与沿着虚拟路径的虚拟视点对应的图像。

(6)根据(1)至(5)所述的信息处理设备，其中所述电路被配置为根据虚拟路径针对参照图像、目标图像以及所述多个补充图像中的至少一个，对图像执行图像处理。

(7)根据(1)至(6)所述的信息处理设备，其中所述多个补充图像中的所述至少一个是捕获图像和插值图像的组合，所述插值图像对应于沿着虚拟路径的虚拟视点。

(8)根据(1)至(7)所述的信息处理设备，其中所述多个补充图像包括多个插值图像，所述多个插值图像是分别与沿着参照视点与目标视点之间的虚拟路径的虚拟视点对应的图像。

(9)根据(1)至(8)所述的信息处理设备，其中所述多个补充图像包括重复彼此交替的多个插值图像和多个捕获图像。

(10)根据(1)至(9)所述的信息处理设备，其中所述显示屏包括主图像显示区域和选择区域，所述选择区域包括与目标视点对应的显示。

(11)根据(1)至(10)所述的信息处理设备，其中所述选择区域显示分别与多个可选择目标视点对应的多个捕获图像。

(12)根据(1)至(10)所述的信息处理设备，其中所述选择区域显示多个补充视点，作为多个可选择目标视点。

(13)根据(1)至(11)所述的信息处理设备，其中所述电路被配置为接收所述多个捕获图像中的一个的选择，作为目标视点。

(14)根据(1)至(12)所述的信息处理设备，其中所述电路被配置为接收所述多个补充视点中的一个的选择，作为目标视点。

(15)根据(1)至(14)所述的信息处理设备，其中所述多个捕获图像被同时分别在不同视点处捕获。

(16)根据(1)至(15)所述的信息处理设备，其中所述多个插值图像在与所述多个捕获图像不同的时间处生成。

(17)根据(1)至(16)所述的信息处理设备，其中所述多个补充图像与参照图像和目标图像一起形成视频数据。

(18)根据(1)至(17)所述的信息处理设备，其中所述图像是生成的图像。

(19)根据(1)至(18)所述的信息处理设备，其中所述图像是生成的图像。

(20)一种操作信息处理设备的方法，包括：响应于目标视点的识别，基于被摄体的参照视点和被摄体的目标视点连接参照图像和目标图像之间的多个补充图像中的至少一个，其中所述多个补充图像中的每个与参照视点和目标视点之间的被摄体的补充视点对应。

(21)根据(20)所述的方法，其中所述连接包括组合所述多个补充图像。

(22)一种存储用于控制包括电路的信息处理设备的程序的非暂时性计算机可读介质，所述程序可执行以执行操作，所述操作包括：响应于目标视点的识别，基于被摄体的参照视点和被摄体的目标视点连接参照图像和目标图像之间的多个补充图像中的至少一个，其中所述多个补充图像中的每个与参照视点和目标视点之间的被摄体的补充视点对应。

附图标记说明：

10 透镜

12 成像元件

14 信号处理电路

100 信息处理设备

102 通信单元

104 控制单元

110 重新布置单元

112 显示控制单元

Claims (19)

1.一种信息处理设备，包括：

电路，被配置为响应于目标视点的识别，基于被摄体的参照视点和被摄体的目标视点，控制在显示屏上经由多个补充图像中的至少一个补充图像从参照图像到目标图像进行显示，其中

所述参照图像是由多个成像装置捕获的多个捕获图像中的显示切换源的捕获图像，

所述目标图像是所述多个捕获图像中的显示切换目的地的捕获图像的图像，

所述多个补充图像中的所述至少一个补充图像是基于所述多个捕获图像的生成图像，以及

所述多个补充图像中的每一个对应于所述参照视点和所述目标视点之间的被摄体的补充视点；

设置从与所述参照图像相关联的所述参照视点到与所述目标图像相关联的所述目标视点的虚拟路径；以及

基于所述显示切换源与所述显示切换目的地之间的距离确定所述至少一个补充图像，其中所述距离大于阈值距离。

2.根据权利要求1所述的信息处理设备，其中，所述电路被配置为基于所述多个成像装置之间的位置关系在所述显示屏上从所述参照图像到所述目标图像进行显示。

3.根据权利要求2所述的信息处理设备，其中，所述电路被配置为基于所述多个成像装置的布置顺序在所述显示屏上从所述参照图像到所述目标图像进行显示。

4.根据权利要求3所述的信息处理设备，其中，所述电路还被配置为基于所述位置关系来确定所述布置顺序。

5.根据权利要求4所述的信息处理设备，其中，所述电路被配置为基于与所述多个成像装置中的每一个的每个捕获图像有关的信息来确定所述布置顺序。

6.根据权利要求5所述的信息处理设备，其中，所述信息与捕获图像中是否包括特定被摄体有关。

7.根据权利要求5所述的信息处理设备，其中，所述信息与捕获图像中的颜色有关。

8.根据权利要求5所述的信息处理设备，其中，所述信息与捕获图像中的分辨率有关。

9.根据权利要求2所述的信息处理设备，其中，所述生成图像与所述虚拟路径上的虚拟视点相对应。

10.根据权利要求1所述的信息处理设备，其中，所述电路被配置为控制在所述显示屏上经由所述多个补充图像从参照图像到目标图像进行显示。

11.根据权利要求10所述的信息处理设备，其中，所述多个补充图像包括由与对应于所述参照图像的成像装置和对应于所述目标图像的成像装置不同的成像装置捕获的捕获图像。

12.根据权利要求1所述的信息处理设备，其中，所述电路被配置为基于所述显示屏上的与所述目标视点相对应的显示来接收所述目标视点的识别。

13.根据权利要求12所述的信息处理设备，其中，所述显示屏包括主图像显示区域和选择区域，所述选择区域包括与所述目标视点相对应的显示。

14.根据权利要求13所述的信息处理设备，其中，所述选择区域显示分别与多个可选目标视点相对应的多个捕获图像。

15.根据权利要求13所述的信息处理设备，其中，所述选择区域显示多个补充视点作为多个可选目标视点。

16.根据权利要求14所述的信息处理设备，其中，所述电路被配置为接收所述多个捕获图像之一的选择，作为目标视点。

17.根据权利要求15所述的信息处理设备，其中，所述电路被配置为接收所述多个补充视点之一的选择，作为目标视点。

18.一种操作信息处理设备的方法，包括：

响应于目标视点的识别，基于被摄体的参照视点和被摄体的目标视点，控制在显示屏上经由多个补充图像中的至少一个补充图像从参照图像到目标图像进行显示，其中，

所述参照图像是由多个成像装置捕获的多个捕获图像中的显示切换源的捕获图像，

所述目标图像是所述多个捕获图像中的显示切换目的地的捕获图像的图像，

所述多个补充图像中的所述至少一个补充图像是基于所述多个捕获图像的生成图像，以及

所述多个补充图像中的每一个对应于所述参照视点和所述目标视点之间的被摄体的补充视点；

设置从与所述参照图像相关联的所述参照视点到与所述目标图像相关联的所述目标视点的虚拟路径；以及

基于所述显示切换源与所述显示切换目的地之间的距离确定所述至少一个补充图像，其中所述距离大于阈值距离。

19.一种非暂时性计算机可读存储介质，其存储用于控制信息处理设备执行如下处理步骤的程序，所述处理步骤包括：

响应于目标视点的识别，基于被摄体的参照视点和被摄体的目标视点，控制在显示屏上经由多个补充图像中的至少一个补充图像从参照图像到目标图像进行显示，其中，

所述参照图像是由多个成像装置捕获的多个捕获图像中的显示切换源的捕获图像，

所述目标图像是所述多个捕获图像中的显示切换目的地的捕获图像的图像，

所述多个补充图像中的所述至少一个补充图像是基于所述多个捕获图像的生成图像，以及

所述多个补充图像中的每一个对应于所述参照视点和所述目标视点之间的被摄体的补充视点；

设置从与所述参照图像相关联的所述参照视点到与所述目标图像相关联的所述目标视点的虚拟路径；以及

基于所述显示切换源与所述显示切换目的地之间的距离确定所述至少一个补充图像，其中所述距离大于阈值距离。

Images