CN109819237A - 显示控制装置、显示控制方法和存储介质 - Google Patents

Abstract

本发明提供一种显示控制装置、显示控制方法和存储介质。所述显示控制装置包括：获得单元，其被构造为获得与虚拟视点的移动路径相关的虚拟照相机路径信息，所述虚拟视点与基于通过用多个照相机对拍摄目标区域进行拍摄而获得的多个拍摄图像而生成的虚拟视点视频图像相关；生成单元，其被构造为基于获得单元获得的虚拟照相机路径信息，生成表示包括虚拟视点的第一移动路径和第二移动路径的多个移动路径的虚拟照相机路径图像；以及显示控制单元，其被构造为在显示屏上显示由生成单元生成的虚拟照相机路径图像。

Description

显示控制装置、显示控制方法和存储介质

技术领域

本发明涉及一种在二维平面上显示三维空间中的虚拟照相机的轨迹数据(照相机路径)的技术。

背景技术

在计算机图形(CG)中，在三维空间中建模的三维对象被渲染为从任意视点观看的二维视频图像。虚拟地设置在三维空间中以表示任意视点的位置和视野范围(视角)的照相机被称为虚拟照相机。虚拟照相机的操作者根据场景的进展来操纵三维空间中的虚拟照相机的位置和视野范围。三维空间中虚拟照相机的位置和视野范围的轨迹(或轨线)通常被称为虚拟照相机路径(或简称为照相机路径)。此外，基于照相机路径生成的二维运动图像被称为自由视点视频图像。如果存在场景的三维对象数据和照相机路径数据，则可以再现虚拟照相机的位置和视野范围的轨迹以重放自由视点视频图像。

近年来，已经开发了一种从由大量照相机(实际照相机而不是虚拟照相机)拍摄的视频图像生成三维对象并且重放自由视点视频图像的技术，并使用重放的自由视点视频图像以满足各种需求的期望已经增加。特别地，在体育广播中，非常需要从各种视点(甚至从没有实际照相机的视点)回放一个场景，从而经常从一个场景创建大量的照相机路径。例如，在体育的直播中，在得分场景和精彩表现场景(fine play scene)中生成分别从不同视点观看的大量照相机路径，并且一个接一个地回放自由视点视频图像。而且，在比赛期间和比赛之后多次回放得分场景和精彩表现场景，因此存在重新使用照相机路径的情况。

这里，由于在直播中限制时间，因此需要从大量创建的照相机路径当中快速且可靠地找到期望的照相机路径，并使用找到的期望的照相机路径来重放视频图像。另一方面，在稍后要广播的精彩节目中，有可能从一个播放创建更多的照相机路径并且重放各种自由视点视频图像。此外，在精彩节目中，由于从比赛到广播存在时间，因此除了实际用于广播的照相机路径之外，还通过反复试验创建更多的照相机路径，以追求更好的照相机路径。也就是说，在精彩节目中，由于创建了大量的照相机路径，因此需要从所创建的照相机路径当中快速找到要被重新编辑的照相机路径和/或用于自由视点视频图像重放的照相机路径。关于这一点，日本特开第2014-164685号公报公开了将分别从多个照相机路径重放的自由视点视频图像同时显示在多个画面上。

根据日本特开第2014-164685号公报，用户(操作者)观看要重放的自由视点视频图像并决定是否已经使用了期望的照相机路径。然而，在存在多个类似的照相机路径的情况下，通常花费很多时间直到用户可以决定在自由视点视频图像中是否已经使用了期望的照相机路径的场景出现。此外，在用户同时观看大量的自由视点视频图像的情况下，担心用户错过了他/她可以决定是否已经使用了期望的照相机路径的场景。在这种情况下，如果用户错过了相关场景，他/她必须再次进行重放。此外，在存在大量照相机路径并且不能一次显示自由视点视频图像的情况下，需要多次重放自由视点视频图像。在这种情况下，花费时间并且难以进行对这些视频图像的比较。也就是说，在相关背景技术中，难以从大量照相机路径当中快速找到期望的照相机路径。

发明内容

考虑到如上所述的这样的问题完成了本发明，并且本发明的目的是提供一种显示控制装置，其特征在于，所述显示控制装置包括：获得单元，其被构造为获得与虚拟视点的移动路径相关的虚拟照相机路径信息，所述虚拟视点与基于通过用多个照相机对拍摄目标区域进行拍摄而获得的多个拍摄图像而生成的虚拟视点视频图像相关；生成单元，其被构造为基于获得单元获得的虚拟照相机路径信息，生成表示包括虚拟视点的第一移动路径和第二移动路径的多个移动路径的虚拟照相机路径图像；以及显示控制单元，其被构造为在显示屏上显示由生成单元生成的虚拟照相机路径图像。

根据下面参照附图对示例性实施例的描述，本发明的其他特征将变得显而易见。

附图说明

图1是根据本发明的实施例的照相机路径显示系统的框图。

图2是根据第一实施例的照相机路径列表显示处理的流程图。

图3A和图3B是用于描述照相机路径的数据格式的图。

图4A和图4B是用于描述照相机路径列表显示的第一画面示例的图。

图5是用于描述照相机路径列表显示的第一画面示例的变型例的图。

图6是用于描述照相机路径列表显示的第二画面示例的图。

图7A和图7B是用于描述照相机路径列表显示的第三画面示例的图。

图8是用于描述照相机路径列表显示的第四画面示例的图。

图9是用于描述照相机路径列表显示的第四画面示例的变型例的图。

图10是用于描述照相机路径列表显示的第四画面示例的另一变型例的图。

图11是根据第二实施例的照相机路径列表显示处理的流程图。

图12是用于描述根据第二实施例的照相机路径列表显示的画面示例的图。

具体实施方式

现在将根据附图详细地描述本发明的优选实施例。顺便提及，应注意，下面描述的实施例示出了在具体实践本发明的情况下的示例，并且本发明不限于以下实施例。

在本实施例中，将描述其中本发明的信息处理装置应用于照相机路径显示系统的示例，在该照相机路径显示系统中，多个照相机在三维空间中的位置和视野范围(视角)的轨迹被显示为二维平面上的照相机路径。

<第一实施例>

图1是包括根据第一实施例的信息处理装置20的照相机路径显示系统的框图。照相机路径显示系统被构造为包括操作单元1、信息处理装置20和显示单元11。

信息处理装置20例如是个人计算机(PC(个人计算机)的主体)。操作单元1对应于个人计算机的键盘、鼠标或专用控制器等，从用户获取操作输入，并将获取的输入传送到信息处理装置20。显示单元11是例如，诸如液晶显示器等的显示设备，从信息处理装置20接收显示数据，并在屏幕上显示图像等。

根据本实施例的信息处理装置20具有由从三维对象存储单元2到照相机路径图像生成参数设置单元10的组件构成的构造。

三维对象存储单元2将与三维平面上布置的三维对象相关的数据(建模数据，纹理数据，布局数据)与时间的流逝相关联地存储。

自由视点视频图像生成单元3基于与存储在三维对象存储单元2中的三维对象相关的数据和与虚拟照相机的位置和视野范围(视角)的轨迹相对应的照相机路径数据来生成自由视点视频图像，并将所生成的视频图像作为二维运动图像数据输出。

照相机路径编辑单元4基于经由操作单元1从用户输入的操作来编辑照相机路径数据。更具体地，针对从运动图像场景的开始时间到结束时间的各个帧，照相机路径编辑单元4通过基于来自操作单元1的操作输入进行对虚拟照相机的位置和视野的设置和调整来编辑照相机路径数据。此外，照相机路径编辑单元4具有以下功能：在基于操作单元1的操作输入针对若干特定帧设置并调整虚拟照相机的位置和视野的情况下，通过插值获得在这些特定帧的途中的帧中的虚拟照相机的位置和视野。

照相机路径存储单元5将由照相机路径编辑单元4编辑的照相机路径数据与三维对象数据的时间流逝相关联地存储。

照相机路径图像生成单元8基于上述照相机路径数据和三维对象数据以及稍后描述的照相机路径图像生成参数来生成照相机路径图像。稍后将描述照相机路径图像的细节。

照相机路径图像存储单元7存储由照相机路径图像生成单元8生成的照相机路径图像。照相机路径图像与照相机路径和用于生成照相机路径图像的照相机路径图像生成参数相关联地存储在照相机路径图像存储单元7中。

照相机路径图像生成参数设置单元10基于经由操作单元1从用户输入的操作来设置照相机路径图像生成参数。照相机路径图像生成参数包括与俯视照相机路径的位置和视野相对应的参数，以及在照相机路径图像中要绘制的对象的显示/不显示、颜色、形状、显示间隔等。

照相机路径图像生成参数存储单元9存储由照相机路径图像生成参数设置单元10设置的照相机路径图像生成参数。

这里，例如通过用户经由操作单元1的控制器等操作而从三维空间中的预定点俯视虚拟照相机的虚拟俯视照相机的位置和视野，进行与俯视虚拟照相机的位置和视野相对应的参数的设置或改变。在这种情况下，当用户经由操作单元1进行设置或改变虚拟俯视照相机的位置和视野的操作时，照相机路径图像生成参数设置单元10基于虚拟俯视照相机的位置和视野，设置或改变俯视虚拟照相机的位置和视野的参数。

此外，通过在显示单元11的屏幕上显示这些参数的参数操作画面，并使用户经由参数操作画面进行操作输入，来进行对与对象的显示/不显示、颜色、形状、显示间隔等相对应的参数的设置或改变。也就是说，当经由操作单元1从用户对参数操作画面进行操作输入时，照相机路径图像生成参数设置单元10基于操作输入，设置或改变与各个绘图对象的显示/不显示、颜色、形状、显示间隔等相对应的参数。

照相机路径列表生成单元6在显示单元11的屏幕上显示的窗口内列表显示上述照相机路径图像。照相机路径列表生成单元6还具有如下功能，与各个列表显示的照相机路径图像一起，在显示单元11上显示各个列表显示的照相机路径图像的照相机路径的文件名、更新日期和时间、元数据(关键字，评估分数等)等。

此外，当经由操作单元1进行照相机路径图像的选择操作和处理菜单(未示出)的选择操作时，照相机路径列表生成单元6开始(激活)进行与对应于所选择的照相机路径图像的照相机路径相关的处理。例如，当在显示单元11上正在列表显示照相机路径图像的情况下，当用户经由操作单元1选择并操作一个照相机路径图像时，照相机路径列表生成单元6在显示单元11上显示诸如“编辑照相机路径”、“显示自由视点视频图像”等的菜单项。这里，当用户经由操作单元1选择一个菜单项时，照相机路径列表生成单元6在显示单元11上显示与所选择的菜单项相对应的画面。例如，当选择“编辑照相机路径”的菜单项时，在显示单元11上显示用于照相机路径的照相机路径编辑画面。此外，例如，当选择“显示自由视点视频图像”的菜单项时，在显示单元11上显示用于照相机路径的自由视点视频图像显示画面。

此外，照相机路径列表生成单元6还具有在显示单元11上显示包括照相机路径文件的一个或更多个文件夹的功能。这里，当用户经由操作单元1选择并操作一个文件夹时，照相机路径列表生成单元6在显示单元11上显示所选文件夹中的照相机路径图像列表。

此外，照相机路径列表生成单元6还具有以下功能：在经由操作单元1通过用户的菜单(未示出)操作来输入照相机路径的预定搜索条件的情况下，显示基于预定搜索条件搜索的照相机路径的照相机路径图像列表。例如，照相机路径的搜索条件包括照相机路径的文件名、更新日期和时间、元数据等。

此外，照相机路径列表生成单元6还具有如下功能：在用户经由操作单元1进行多个照相机路径图像的选择操作的情况下，仅显示所选择的照相机路径图像的列表。因此，在用户试图从大量的照相机路径当中找到期望的照相机路径的情况下，可以缩小并仅显示类似的照相机路径，使得用户容易比较缩小的各照相机路径之间的差异。

此外，照相机路径列表生成单元6还具有如下功能：通过来自用户的菜单(未示出)操作和/或字符输入操作，将公共元数据添加到列表显示的照相机路径或从列表显示的照相机路径当中选择的照相机路径并存储这些照相机路径。通过以这种方式将元数据添加到照相机路径，可以通过基于元数据的分类或检索来缩小照相机路径，使得用户可以更有效地找到期望的照相机路径。

本实施例的照相机路径显示系统中的显示单元11在屏幕上显示自由视点视频图像、照相机路径列表显示窗口、虚拟俯视照相机的位置和视野、诸如参数操作画面等的操作画面、如上所述的菜单等。

图2是用于描述在第一实施例的信息处理装置20中生成并显示上述照相机路径图像列表的处理的流程图。在以下描述中，图2的流程图中的处理步骤S101至S111中的各个将分别缩写为S101至S111。图2的流程图的处理可以通过软件配置或硬件配置来进行，或者可以通过软件配置来进行该处理的一部分，并且其余部分可以通过硬件配置来实现。在通过软件配置进行处理的情况下，例如，CPU(中央处理单元)等执行存储在ROM(只读存储器)等中的与本实施例有关的程序，从而实现该处理。与本实施例有关的程序可以预先在ROM等中准备，可以从可拆卸的半导体存储器等中读取，或者可以从诸如因特网(未示出)等的网络下载。假设这些在后面描述的其他流程图中是相同的。

在S101中，照相机路径列表生成单元6确定是否更新要列表显示的照相机路径的列表。当确定列表被更新时，照相机路径列表生成单元6使处理前进到S103。另一方面，当确定列表未被更新时，照相机路径列表生成单元使处理前进到S102。这里，例如，当打开文件夹时，照相机路径列表生成单元6将文件夹中的照相机路径文件设置为列表显示的目标。此外，在通过预定搜索条件(文件名，更新日期和时间，元数据等)搜索照相机路径的情况下，照相机路径列表生成单元6将搜索到的照相机路径文件设置为列表显示的目标。

在S102中，照相机路径列表生成单元6确定照相机路径图像生成参数是否被更新。当确定更新了照相机路径图像生成参数时，照相机路径列表生成单元6使处理前进到S103。另一方面，当确定未更新照相机路径图像生成参数时，照相机路径列表生成单元将处理返回到S101。

在S103中，照相机路径列表生成单元6使照相机路径图像生成单元8生成作为照相机路径图像的源的前景/背景图像。S103中的照相机路径图像生成单元8生成通过从特定视点俯视三维对象的前景和背景而获得的图像作为前景/背景图像。照相机路径图像生成单元8从照相机路径图像生成参数获得关于用于生成前景/背景图像的视点位置和视野的信息。在本实施例中，假设要列表显示的照相机路径图像是通过从相同的视点位置和视野俯视而获得的所有图像。此外，在本实施例中，在S103中生成的前景/背景图像通常用于所有列表显示的照相机路径图像。当改变从中俯视照相机路径的视点位置或视野时，在S102中确定更新了照相机路径图像生成参数，从而在S103中再次生成前景/背景图像。

接下来，在S104中，照相机路径列表生成单元6将要列表显示的照相机路径图像的照相机路径当中的第一照相机路径设置为重点突出的照相机路径(focused camerapath)。

接下来，在S105中，针对目标照相机路径，照相机路径列表生成单元6确定由当前照相机路径图像生成参数生成的照相机路径图像是否存储在照相机路径图像存储单元7中。当确定没有存储照相机路径图像时，照相机路径列表生成单元6使处理前进到S106。另一方面，当确定存储了照相机路径图像时，照相机路径列表生成单元使处理前进到S108。

在S106中，照相机路径列表生成单元6使照相机路径图像生成单元8生成照相机路径图像。在S106中，照相机路径图像生成单元8从照相机路径存储单元5读取照相机路径数据，将照相机路径的轨迹叠加在S103中生成的前景/背景图像上，并生成所获得的图像作为照相机路径图像。这里，从照相机路径图像生成参数获得或生成俯视照相机路径的视点的位置和视野、要叠加的线的显示/不显示、颜色和线、显示间隔等的信息，该照相机路径图像生成参数从照相机路径图像生成参数存储单元9读取。

顺便提及，由于曾经生成的照相机路径图像数据与照相机路径和照相机路径图像生成参数相关联地存储，所以在下一次显示时跳过照相机路径图像生成处理，并且重复使用存储的照相机路径图像数据。

在步骤S107中，照相机路径图像生成单元8将在步骤S106中生成的照相机路径图像存储在照相机路径图像存储单元7中。

在步骤S108中，照相机路径列表生成单元6读取存储在照相机路径图像存储单元7中的照相机路径图像。

然后，在S109中，照相机路径列表生成单元6在显示单元11的屏幕上的窗口内布置从照相机路径图像存储单元7读取的照相机路径图像，并列表显示布局照相机路径图像。

此后，在S110中，照相机路径列表生成单元6确定重点突出的照相机路径是否是作为列表显示的目标的照相机路径当中的最后一个照相机路径。当在S110中确定重点突出的照相机路径是最后的照相机路径时，照相机路径列表生成单元6将处理返回到S101并确定照相机路径列表是否被更新。另一方面，当在S110中确定重点突出的照相机路径不是最后的照相机路径时，照相机路径列表生成单元6使处理前进到S111。

在S111中，照相机路径列表生成单元6将在被选择作为S101中的列表显示的目标的照相机路径当中的当前重点突出的照相机路径的下一个照相机路径设置为重点突出的照相机路径，并且将该处理返回到S105，以从S105开始重复处理。

通过进行上述的图2的处理，在本实施例的照相机路径显示系统中，当更新作为列表显示的目标的照相机路径的列表时或者当更新照相机路径图像生成参数时，显示新的照相机路径图像列表。

图3A和图3B是用于描述照相机路径的数据格式的图。

图3A是在生成照相机路径时为运动图像场景的各个帧指定虚拟照相机的三维坐标和虚拟照相机注视点的三维坐标和视角的情况下的数据示例。这里，虚拟照相机注视点是用于确定虚拟照相机面向的方向的点。可以彼此独立地控制虚拟照相机的三维坐标和虚拟照相机注视点的三维坐标。例如，即使虚拟照相机的位置和虚拟照相机注视点中的一个或两个移动，也控制虚拟照相机始终面向虚拟照相机注视点。此外，作为虚拟照相机的视角，水平视角和垂直视角分别用角度(度或弧度)指定。可选地，指定虚拟照相机视频图像的纵横比(水平和垂直比)以及水平视角、垂直视角和对角视角的任何值。可选地，如表示一般照相机镜头的视角的情况中一样，视角可以被指定为35mm胶片的焦距(mm)。

图3B是在指定虚拟照相机的三维坐标、虚拟照相机面对的三维方向和创建照相机路径时运动图像场景的各个帧的视角的情况下的另一数据示例。在操作虚拟照相机的操作单元1的控制器不具有操纵虚拟照相机注视点的位置的功能的情况下，使用图3B的数据格式。关于表示三维方向的向量的长度，可以定义一些信息，但是如果没有定义，则假定相关长度是单位向量(长度为1的向量)。

图4A和图4B是用于描述由照相机路径列表生成单元6生成并显示在显示单元11上的照相机路径列表显示的第一画面示例的图。如图4A中示例性地示出的那样，照相机路径列表生成单元6生成表示包括虚拟观点的第一移动路径(图4A中的301)和第二移动路径(图4A中的302)的多个移动路径的照相机路径列表显示(虚拟照相机路径图像)。顺便提及，照相机路径列表生成单元6生成包括通过使用照相机路径数据(虚拟照相机路径信息)生成的多个照相机路径图像的照相机路径列表显示。

在图4A中，在窗口101中列表显示四个照相机路径图像201,202,203和204。各个照相机路径图像的显示尺寸通过照相机路径图像生成参数设置。此外，在照相机路径图像201,202,203和204附近，分别关联和显示这些照相机路径图像的照相机路径的文件名211,212,213和214。

在各个照相机路径图像201,202,203和204中，分别显示基于三维对象数据的前景401和背景411。前景401和背景411的三维对象通过例如经由图像处理从通过用大量照相机(实际照相机而不是虚拟照相机)拍摄体育比赛而获得的视频图像分离前景(运动员，球等)和背景(场地，观众座位等)来生成。顺便提及，三维对象的全部或一部分可以由计算机图形生成。通过照相机路径图像生成参数设置前景和背景的显示/不显示。前景和背景可以根据场景的进度而改变，但是在本实施例中，特定帧的前景和背景被用作代表。

基于照相机路径图像生成参数来设置特定帧。作为特定帧，例如，可以使用运动图像场景的开始帧或结束帧，或者可以使用中间的任意帧。照相机路径图像包括特定帧中的虚拟照相机的状态以及三维空间的前景和背景中的至少一个。

此外，可以将多个帧指定为特定帧。在多个帧被指定为特定帧的情况下，照相机路径图像生成单元8可以通过多样化(multiplex)指定的多个帧的前景来生成照相机路径图像。此时，例如，可以通过从运动图像场景的开始到结束逐渐改变前景的不透明度(例如，增加不透明度)来使用户容易地理解时间的流逝。可选地，可以根据重要程度对多个帧进行排序，并增加高排序帧的前景的不透明度，以实现清晰的显示。例如，在足球场景中，当最清楚地显示进球时的前景图像时，可以使用户容易地理解相关时刻的视点特别重要。

在照相机路径图像生成单元8中，前景401和背景411被渲染为通过从特定视点俯视三维空间而获得的二维图像。通过照相机路径图像生成参数来设置俯视视点位置和视野范围。作为俯视视点，例如，可以设置用于从正上方俯视体育场的中心点的视点。可选地，如图4A所示，可以设置用于从上方对角地俯视相关场景中的重要点的视点。

图5是用于描述在进行同时改变四个照相机路径图像201至204的俯视视点位置的操作并因此更新这些图像之后由照相机路径列表生成单元6列表显示的四个照相机路径图像201至204的画面示例的图。通过照相机路径图像生成参数设置图5中的前景401和背景411的显示/不显示。

如图4A和图5所示，分别相对于照相机路径图像201,202,203和204分别显示表示虚拟照相机的移动路径的图形(下文中称为轨迹301,302,303和304)。在轨迹显示中，可以以特定帧间隔绘制标记，并且通过绘制标记的稀疏度和浓度来表示虚拟照相机的移动速度。此外，在如上所述多样化和显示特定多个帧的前景的情况下，可以在多个帧中的虚拟照相机的位置上绘制标记。此外，在改变和显示上述特定多个帧中的前景的不透明度的情况下，可以通过根据前景的不透明度改变它们的不透明度来显示要绘制的标记。

通过照相机路径图像生成参数设置线的显示/不显示、线的颜色和形状、标记的显示间隔等作为表示轨迹的图形。顺便提及，在轨迹显示中，由于三维轨迹被投影在二维平面上，因此可能难以理解高度或透视(perspective)。在难以理解高度或透视的情况下，可以将辅助线适当地显示为表示轨迹的图形。作为辅助线，例如，可以从轨迹上的点朝向地面(虚拟地面)绘制垂直线。可选地，垂直线与地面之间的交叉的轨迹可以被显示为辅助线。像这样绘制辅助线使得更容易理解高度和透视。通过照相机路径图像生成参数设置辅助线的显示/不显示、辅助线的颜色和形状以及辅助线的显示间隔。

此外，如图4A和图5所示，在画面上显示响应于操作单元1的操作而滑动操作的滚动条501。当滚动条501例如通过操作单元1的操作在向下方向上滑动操作时，照相机路径列表生成单元6使得窗口101被滚动显示，从而另外四个照相机路径图像205,206,207和208被列表显示，如图4B所示。

此外，在图4B以及图4A的示例中，通过照相机路径图像生成参数设置四个照相机路径图像205至208的显示尺寸。此外，在照相机路径图像205,206,207和208附近，分别关联和显示这些照相机路径图像的照相机路径的文件名215,216,217和218。与上述类似，基于三维对象数据的前景和背景、以及表示虚拟照相机的移动路径的图形(轨迹305,306,307和308)分别显示在照相机路径图像205至208中。类似于以上，也是在图4B的示例中，响应于操作单元1的操作而滑动操作的滚动条501显示在画面上，并且根据滑动操作进行窗口101的滚动显示。

图6是用于描述由照相机路径列表生成单元6生成并显示在显示单元11上的照相机路径列表显示的第二画面示例的图。

在第二画面示例中，照相机路径列表生成单元6使照相机路径图像生成单元8生成通过向图4A的第一画面示例的各显示内容添加表示虚拟照相机注视点的移动路径的图形(轨迹321,322,323和324)而获得的照相机路径图像。可以在照相机路径的数据格式包括虚拟照相机注视点的三维坐标(参见图3A)的情况下进行图6的画面示例的显示。此外，在显示虚拟照相机注视点位置的轨迹321至324以及虚拟照相机的移动路径的上述示例的情况下，可以以特定帧间隔绘制标记并且通过绘制标记的稀疏度和浓度表示虚拟照相机的移动速度。通过照相机路径图像生成参数来设置作为表示虚拟照相机注视点的移动路径的图形的线的显示/不显示、线的颜色和形状、标记的显示间隔等。

图7A和图7B是用于描述由照相机路径列表生成单元6生成并显示在显示单元11上的照相机路径列表显示的第三画面示例的图。图7B是通过放大图7A的一部分(例如，照相机路径图像201)而获得的图。

在第三画面示例中，照相机路径列表生成单元6使照相机路径图像生成单元8生成通过向图4A的第一画面示例的各显示内容添加表示虚拟照相机面向的三维方向的图形(箭头线331,332,333,334,335和336)获得的照相机路径图像。在照相机路径的数据格式不包括虚拟照相机注视点的三维坐标的情况下，也可以进行表示虚拟照相机面向的三维方向的箭头线331至336的显示(参见图3B)。通过照相机路径图像生成参数设置作为表示虚拟照相机面向的三维方向的图形的箭头线的显示/不显示，箭头线的颜色和形状，箭头线的显示间隔。

图8是用于描述由照相机路径列表生成单元6生成并显示在显示单元11上的照相机路径列表显示的第四画面示例的图。图8是通过放大类似于图7A中的照相机路径列表显示的一部分(例如，照相机路径图像201)而获得的图。

图8的第四画面示例是针对图7B的画面示例改变表示虚拟照相机面向的三维方向的箭头线341,342,343,344,345和346的粗细的显示示例。在第四画面示例中，箭头线341至346中的各个的线粗细表示虚拟照相机的视角，并且箭头线越粗，视角越宽。顺便提及，作为图8的变型例，虚拟照相机的视角可以由箭头线的颜色浓度、箭头的尖端的尺寸等表示。通过照相机路径图像生成参数来设置箭头线的粗细(或箭头线的颜色浓度，箭头的尖端的尺寸)与虚拟照相机的视角之间的关联。

图9是用于描述图8的另一变型例的图，并且是虚拟照相机的视角351,352,353,354,355和356中的各个由两条线的打开角度表示的画面示例。此外，在图9的画面示例中，通过照相机路径图像生成参数设置两条线的打开角度与虚拟照相机的视角之间的关联。

图10是用于描述图8的另一变型例的图，并且是这样的画面示例，其中水平视角和垂直视角由四角锥361,362和363表示。各个四角锥361,362和363的底边的中心表示虚拟照相机注视点。可以在照相机路径的数据格式包括虚拟照相机注视点的三维坐标(参见图3A)的情况下进行图10的画面示例的显示。

顺便提及，在图9和图10的画面示例中，与图8的画面示例相比，可以更直观地表示视角。然而，由于用于表示视角的线的数量增加，所以有可能显示变得复杂。

由于通过照相机路径图像生成参数来设置视角的显示方法的切换，因此用户可以通过经由操作单元1的操作适当地切换到对眼睛友好的显示方法。在这种情况下，照相机路径列表生成单元6根据经由操作单元1的操作来切换显示。

在上述画面示例中，从三维对象生成前景/背景图像，并且将表示照相机路径的轨迹的图形叠加在前景/背景图像上。作为另一示例，可以通过将表示照相机路径的轨迹的图形叠加在实际照相机的视频图像上(优选地俯视存在被摄体的整个范围)来生成照相机路径图像。在这种情况下，对俯视照相机路径的视点位置和视野存在限制。然而，三维对象存储单元2变成不需要，并且在照相机路径图像生成单元8中不需要从三维对象生成前景/背景图像的图像处理，从而可以简化系统。当选择照相机路径图像并且在照相机路径列表显示画面上显示自由视点视频图像时，只需预先存储由照相机路径生成的自由视点视频图像作为运动图像文件并重放存储的视频图像。

当存在多个上述实际照相机并且在这些照相机中各俯视视点位置和视野不同时，可以通过使用由照相机路径图像生成参数指定的照相机来生成照相机路径图像。此外，例如，在生成体育广播的照相机路径图像时，可以通过获得跟踪数据来用图(线，图形，数字等)显示运动员、球等的位置和运动。

如上所述，根据第一实施例，通过列表显示通过俯视照相机路径的轨迹而获得的图像(照相机路径图像)，可以使用户从大量的照相机路径当中快速找到期望的照相机路径。特别是，在存在大量相似的照相机路径的情况下，通过首先查看照相机路径图像以缩小候选，并进一步改变用于俯视照相机路径的视点位置和视野，用户可以容易地区分相似的照相机路径。此外，如果仍然难以区分相似的照相机路径，则用户可以选择候选照相机路径图像并实际重放自由视点视频图像。如上所述，根据第一实施例，用户可以通过查看照相机路径图像以缩小候选并然后重放自由视点视频图像，而不是通过每次都重放大量照相机路径的自由视点视频图像，来高效地找到期望的照相机路径。

此外，在本实施例中，当进行改变照相机路径图像生成参数的操作时，对作为列表目标的所有照相机路径图像一次性地应用改变。因此，用户可以通过在相同条件下比较多个照相机路径来容易地进行找到期望的照相机路径的工作。

<第二实施例>

在下文中，将描述可以针对各个照相机路径设置照相机路径图像生成参数的示例作为第二实施例。由于第二实施例的照相机路径显示系统的构造与图1的构造相同，所以将省略其图示和说明。在其中一个或更多个照相机路径图像被选择并且通过菜单(未示出)操作设置照相机路径图像生成参数的情况下，第二实施例的照相机路径列表生成单元6仅改变与所选的照相机路径相对应的照相机路径图像生成参数。

图11是用于描述第二实施例中的列表显示照相机路径图像的处理的流程的流程图。

在图11中，S201和S202中的处理分别与图2的S101和S102中的处理相同，S203中的处理与S104中的处理相同，S204的处理与S105中的处理相同，并且，S206至S211中的处理分别与S106至S111中的处理相同。

在图11的流程图中，当在S201中确定更新了照相机路径列表时，或者当在S202中确定照相机路径图像生成参数被更新时，处理前进到S203。此外，当在S204中确定没有存储照相机路径图像时，处理前进到S205。

在S205中，由照相机路径图像生成单元8对各个照相机路径进行前景/背景图像生成处理，之后处理前进到S206。当在S206中叠加照相机路径轨迹时，基于各个照相机路径的照相机路径图像生成参数来确定轨迹的显示/不显示、线的颜色和形状、显示间隔等。

也就是说，在第一实施例的图2的流程图中，照相机路径列表生成单元6使照相机路径图像生成单元8对所有照相机路径共同进行S103的前景/背景图像生成处理。另一方面，在第二实施例的图11的流程图中，照相机路径列表生成单元6使照相机路径图像生成单元8在S205中对各个照相机路径进行前景/背景图像生成处理。此外，在S206中，照相机路径列表生成单元6使照相机路径图像生成单元8基于各个照相机路径的照相机路径图像生成参数，将表示轨迹的图形叠加在前景/背景图像上。

在图2的上述流程图中，目的是通过在S103中预先创建公共照相机路径图像来避免相同处理的重复。此外，在图11的流程图中，当在S205中生成前景/背景图像时，确定是否存储了基于相同照相机路径图像生成参数的照相机路径图像。然后，当存储基于相同照相机路径图像生成参数的照相机路径图像时，可以避免重复相同的处理。

图12是用于描述在对图4A所示的画面示例的照相机路径图像201和照相机路径图像204进行改变俯视视点位置的操作之后获得的更新画面示例的图。图12的照相机路径图像201a是在进行改变图4A的照相机路径图像201的俯视视点位置的操作之后获得的图像。图12的照相机路径图像204a是在进行改变图4A的照相机路径图像204的俯视视点位置的操作之后获得的图像。当俯视视点位置改变时，如图12的照相机路径图像201a和204a所示，不仅前景401和背景411而且虚拟照相机位置的轨迹301和304也根据更新的俯视视点位置而改变。

此外，在第二实施例中，在基于图像生成参数的设置生成很好地表示照相机路径的特征的照相机路径图像的情况下，可以存储相关的照相机路径图像作为照相机路径的默认照相机路径图像。因此，当第一次显示照相机路径列表时，可以显示良好地表示照相机路径的特征的照相机路径图像，使得用户在查看照相机路径图像列表时可以容易地缩小照相机路径。

例如，在同一体育场景中，关注运动员A的照相机路径组使用通过俯视运动员A而获得的照相机路径图像作为默认值，并且，关注运动员B的照相机路径组使用通过俯视运动员B而获得的照相机路径图像作为默认值。因此，当用户查看相关场景的照相机路径图像列表时，他/她可以容易地缩小到关注例如运动员A的照相机路径。

此外，例如，在同一体育场景中，默认俯视方向可以在关注攻方队的照相机路径组与关注防守队的照相机路径组之间改变。因此，当用户查看相关场景的照相机路径图像列表时，他/她可以容易地缩小到关注这些团队之一的照相机路径。

如上所述，在第二实施例中，通过使得能够设置各个照相机路径的照相机路径图像生成参数，用户在他/她查看照相机路径图像列表显示时可以容易地掌握各个照相机路径的特征。

如上所述，根据第一实施例和第二实施例，进行通过俯视照相机路径的轨迹而获得的图像的显示和更新，使得用户可以快速确认各个照相机路径的内容。因此，用户可以从大量照相机路径当中快速找到期望的照相机路径。在上述实施例中，如图4A至图7B所示，主要描述了并排显示多个照相机路径图像的示例，但是本发明不限于该示例。例如，还可以采用其中两个或更多个照相机路径图像被叠加并在一个视频图像中被显示的模式。

尽管上面结合上述实施例描述了本发明，但是这些实施例仅仅是用于实现本发明的具体化的示例。因此，本发明的技术范围不应由上述实施例限制性地或有限地解释。即，在不脱离本发明的技术思想或主要特征的情况下，可以以各种形式实施本发明。

根据上述信息处理装置20，可以从多个照相机路径当中快速找到期望的照相机路径。

<其它实施例>

另外，可以通过读出并执行记录在存储介质(也可更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由所述系统或装置的计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制所述一个或更多个电路执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。所述计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或所述存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)^TM)、闪存设备以及存储卡等中的一个或更多个。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然针对示例性实施例描述了本发明，但是，应该理解，本发明不限于公开的示例性实施例。下述权利要求的范围应当被赋予最宽的解释，以涵盖所有这类修改以及等同的结构和功能。

Claims (19)

1.一种显示控制装置，所述显示控制装置包括：

获得单元，其被构造为获得与虚拟视点的移动路径相关的虚拟照相机路径信息，所述虚拟视点与基于通过用多个照相机对拍摄目标区域进行拍摄而获得的多个拍摄图像而生成的虚拟视点视频图像相关；生成单元，其被构造为基于获得单元获得的虚拟照相机路径信息，生成表示包括虚拟视点的第一移动路径和第二移动路径的多个移动路径的虚拟照相机路径图像；以及

显示控制单元，其被构造为在显示屏上显示由生成单元生成的虚拟照相机路径图像。

2.根据权利要求1所述的显示控制装置，所述显示控制装置还包括：

设置单元，其被构造为设置，生成单元用于生成虚拟照相机路径图像的参数，其中，

生成单元基于获得单元获得的虚拟照相机路径信息和设置单元设置的参数，生成虚拟照相机路径图像。

3.根据权利要求1所述的显示控制装置，其中，虚拟照相机路径图像包括表示虚拟视点的位置、方向、视角和注视点中的至少任一个的时间变化的图形。

4.根据权利要求1所述的显示控制装置，其中，虚拟照相机路径图像包括，表示三维空间的前景和背景的至少一部分的图像。

5.根据权利要求1所述的显示控制装置，其中，虚拟照相机路径图像包括，表示虚拟视点的移动路径的高度和透视中的至少任一个的图形。

6.根据权利要求2所述的显示控制装置，其中，所述参数包括，表示用于俯视虚拟照相机的移动路径的视点位置和视野范围中的至少任一个的参数。

7.根据权利要求2所述的显示控制装置，其中，所述参数包括，用于指定在虚拟照相机路径图像中显示的图形或图像的显示/不显示、形状、颜色、显示间隔和不透明度中的至少任一个的信息。

8.根据权利要求2所述的显示控制装置，其中，所述参数包括，用于指定运动图像场景中的特定帧的信息。

9.根据权利要求8所述的显示控制装置，其中，生成单元生成，包括所述特定帧中的虚拟视点的状态以及三维空间的前景和背景中的至少任一个的虚拟照相机路径图像。

10.根据权利要求9所述的显示控制装置，其中，生成单元通过将被指定为所述特定帧的多个帧的前景多样化来生成虚拟照相机路径图像。

11.根据权利要求10所述的显示控制装置，其中，生成单元生成，前景的不透明度从运动图像场景的开始到结束逐渐改变的虚拟照相机路径图像。

12.根据权利要求10所述的显示控制装置，其中，生成单元生成，所述多个帧当中的帧的前景的不透明度随着帧的重要程度的增加而增加的虚拟照相机路径图像。

13.根据权利要求1所述的显示控制装置，其中，在更新所述多个移动路径当中的至少一个移动路径的情况下，生成单元通过对虚拟照相机路径图像表示的所述多个移动路径中的各个移动路径应用更新来更新虚拟照相机路径图像。

14.根据权利要求2所述的显示控制装置，其中，在更新参数的情况下，生成单元通过对所有的所述多个移动路径应用更新来更新虚拟照相机路径图像。

15.根据权利要求2所述的显示控制装置，其中，在更新参数的情况下，生成单元通过对先前从所述多个移动路径当中选择的一个或更多个移动路径中的各个应用更新来更新虚拟照相机路径图像。

16.一种显示控制方法，所述显示控制方法包括：

获得与虚拟视点的移动路径相关的虚拟照相机路径信息，所述虚拟视点与基于通过用多个照相机对拍摄目标区域进行拍摄而获得的多个拍摄图像而生成的虚拟视点视频图像相关；

基于获得的虚拟照相机路径信息，生成表示包括虚拟视点的第一移动路径和第二移动路径的多个移动路径的虚拟照相机路径图像；以及

在显示屏上显示生成的虚拟照相机路径图像。

17.根据权利要求16所述的显示控制方法，所述显示控制方法还包括：

设置要用于生成虚拟照相机路径图像的参数，其中，

基于获得的虚拟照相机路径信息和设置的参数，生成虚拟照相机路径图像。

18.一种非暂时性计算机可读存储介质，其存储用于使计算机执行显示控制方法的程序，所述显示控制方法包括：

获得与虚拟视点的移动路径相关的虚拟照相机路径信息，所述虚拟视点与基于通过用多个照相机对拍摄目标区域进行拍摄而获得的多个拍摄图像而生成的虚拟视点视频图像相关；

基于获得的虚拟照相机路径信息，生成表示包括虚拟视点的第一移动路径和第二移动路径的多个移动路径的虚拟照相机路径图像；以及

在显示屏上显示生成的虚拟照相机路径图像。

19.根据权利要求18所述的存储介质，其中，

所述显示控制方法还包括设置要用于生成虚拟照相机路径图像的参数，并且

基于获得的虚拟照相机路径信息和设置的参数，生成虚拟照相机路径图像。