CN109462749B - 信息处理装置、信息处理方法以及介质 - Google Patents

Abstract

本发明提供信息处理装置、信息处理方法以及介质。所述信息处理装置指定，将用于生成何时的虚拟视点内容的素材数据存储在存储设备中，所述存储设备存储用于生成虚拟视点内容的多个素材数据；以及基于所述指定的结果，输出用于使图像被显示的信息，该图像表示能够生成虚拟视点内容的时间。

Description

信息处理装置、信息处理方法以及介质

技术领域

本发明总体涉及信息处理装置、信息处理方法以及介质，尤其涉及内容生成系统。

背景技术

一种通过使用安装在不同位置中的多个相机在多个视点处对被摄体同步地进行拍摄并通过使用通过拍摄获得的多视点图像生成自由视点内容(虚拟视点内容)的技术正引起关注。日本特开2015-204512号公报描述了一种如下的技术：在基于多视点图像生成自由视点内容并存储内容的系统中，通过基于生成的视点信息读出视频数据，由视频接收装置获得任意的自由视点内容。

能够通过将一个或更多个被摄体的三维模型进行组合来生成虚拟视点内容。一种生成由多个相机拍摄的被摄体的三维模型的方法能够是在“Virtual View Generationfor 3D Digital Video”,IEEE MULTIMEDIA,Vol.4,No.1,pp.18-26,1997中描述的体积交叉法。在该体积交叉法中，要由多个相机拍摄的测量目标空间通过小的立方体或长方体(在下文中将被称为“体素”)分割。各个体素被几何转换并投影在相机图像上，并且确定体素是否被投影到相机图像中的建模的目标物体的轮廓中。发现为被投影到所有相机图像中的轮廓中的体素被登记为形成目标物体的体素，并且输出体素的集合作为三维模型。

基于能够生成三维模型的假设，通过使用三维模型来生成虚拟视点内容。然而，当在给定的时间点生成虚拟视点内容时，有时不可能生成一些三维模型并生成虚拟视点内容。在这种情况下，确定不能生成三维模型花费很长时间，因此用户花费很长时间来识别不能生成虚拟视点内容。这降低了用户友好性。

发明内容

本发明提供了一种在生成/显示内容时提高用户友好性的技术。

根据本发明的一个方面，提供了一种信息处理装置，所述信息处理装置包括：指定部，用于指定，将用于生成何时的虚拟视点内容的素材数据存储在存储单元中，所述存储单元存储用于生成虚拟视点内容的多个素材数据；以及输出部，用于基于来自所述指定部的指定结果，输出用于使图像被显示的信息，该图像表示能够生成虚拟视点内容的时间。

根据本发明的另一方面，提供了一种信息处理方法，所述信息处理方法包括：指定，将用于生成何时的虚拟视点内容的素材数据存储在存储单元中，所述存储单元存储用于生成虚拟视点内容的多个素材数据；以及基于在所述指定中的指定结果，输出用于使图像被显示的信息，该图像表示能够生成虚拟视点内容的时间。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

包含在说明书中并构成说明书的一部分的附图例示了本发明的实施例，并且与描述一起用来解释本发明的原理。

图1是示出系统的构造示例的图；

图2是示出摄像单元的布局示例的图；

图3是示出在操作单元上显示的画面的示例的图；

图4是示出素材数据的类型与获得的数据组之间的对应关系的示例的图；

图5是示出时间范围管理信息的示例的图；

图6A至图6C是示出时间指定单元中的有效时间范围的显示示例的图；

图7A和图7B是示出跨越两个不连续的有效时间范围的视频显示的示例的图；

图8是示出时间指定单元中的有效时间范围的另一显示示例的图；以及

图9是示出系统的另一构造示例的图。

具体实施方式

现在将参照附图详细描述本发明的示例性实施例。应当注意，除非另有具体说明，否则这些实施例中阐述的部件的相对布置、数值表达式和数值不限制本发明的范围。

在下面要说明的各个实施例中，将说明如下的系统：根据由多个摄像装置(相机)拍摄的多个图像生成一个或更多个被摄体的三维模型，并且基于三维模型生成自由视点内容(虚拟视点内容)。根据由多个相机拍摄的图像生成三维模型通常需要大量的计算和长的时间。尤其是当生成高分辨率的三维模型时，必须减小体素的大小。因此，体素的数量增加，并且这增加了关于各个体素是否被投影到轮廓中的确定的次数。因此，在该实施例中，通过使用预生成并预存储保持三维模型和三维模型的各个体素的颜色信息的纹理数据等作为素材数据的、诸如图像处理服务器的素材数据生成装置来构造系统。像这样的系统能够防止每当生成虚拟视点内容时进行生成三维模型的处理，从而提高处理的效率。

注意，能够根据应用生成具有多个级的分辨率的三维数据，例如，针对直播通过相对短的处理时间生成低分辨率的三维模型，以及针对突出显示场景重播视频等生成高分辨率的三维模型。在这种情况下，能够针对高分辨率模型和低分辨率模型中的各个生成作为一条素材数据的纹理。还能够生成多边形数据等。也就是说，能够针对同一被摄体生成多个不同类型的素材数据。

当用于根据素材数据生成虚拟视点内容的视频生成装置在该系统中生成虚拟视点内容时，能够通过从素材数据生成装置获得预生成和预存储的素材数据来进行视频生成。在这种情况下，视频生成装置不能预先知道是否存在生成虚拟视点内容所需的素材数据。例如，有时难以依据例如由摄像装置拍摄的图像的质量或摄像装置的操作状态来生成三维模型。也就是说，在一些情况下，在给定定时不存在针对特定的被摄体的素材数据。此外，当如上所述针对同一被摄体生成多个不同的素材数据时，从生成完成至存储所需的时间是从一个素材数据至另一素材数据改变的。也就是说，当用户请求数据时，一些素材数据的生成可能未完成。另外，全部或大量的摄像装置在例如足球的中场时间时停止拍摄。在该时间范围中，根本不存储素材数据。

因此，当在由用户指定的时间生成虚拟视点内容时，视频生成装置可以在向素材数据生成装置询问是否在所指定的时间存储各个必要的素材数据的同时，生成虚拟视点内容。注意，如果在所指定的时间没有存储一些必要的素材数据，则在所指定的时间不能生成虚拟视点内容。也就是说，在由用户指定了时间之后，向用户通知在所指定的时间不能生成虚拟视点内容。这可能降低用户友好性。

因此，根据该实施例的系统生成关于能够使用素材数据的时间的信息。当用户生成虚拟视点内容时，视频生成装置被通知关于能够使用生成虚拟视点内容所需的素材数据的集合的时段的信息。在该系统中，用户能够清楚地识别能够生成虚拟视点内容的时间间隔。这使得不需要指定时间并检查在所指定的时间是否存在素材数据。注意，将通过采用拍摄运动场(体育场)中的运动并且图像被用来生成用于直播或重播的虚拟视点视频的示例，来说明执行该处理的系统的详情和处理的详情。然而，本发明不限于此，并且还能够基于在例如音乐厅、格斗运动(诸如相扑摔跤)或摄影工作室中拍摄的图像来生成虚拟视点视频。注意，下面要说明的实施例仅仅是示例，并且能够在不脱离本发明的精神和范围的情况下使用能够执行相同的处理的任意布置和任意过程。

(系统构造)

图1示出了根据该实施例的系统的构造示例。该系统包括例如摄像单元1、同步单元2、素材数据生成单元3、存储单元4、时间信息管理单元5、视频生成单元6、视频输出单元7、数据组选择单元8以及操作单元10。注意，该系统能够通过单个电子装置或多个电子装置来构造。

在该系统中，多个摄像单元1基于来自同步单元2的同步信号通过精确地彼此同步来进行拍摄。注意，如图2中所示，多个摄像单元1能够布置为围绕地面或被摄体。各个摄像单元1将拍摄的图像发送到素材数据生成单元3。素材数据生成单元3通过使用从摄像单元1接收的多视点图像生成在生成虚拟视点视频时要使用的素材数据，并且将素材数据输出到存储单元4。在这种情况下，素材数据生成单元3将基于用于生成素材数据的拍摄图像的拍摄时间的时间信息连同素材数据输出到存储单元4。注意，时间信息能够是关于时间的信息，也能够是任意的与时间有关的信息(诸如帧编号)。

素材数据包含例如作为表示被摄体的三维形状的体素数据的被摄体三维模型以及用于对被摄体三维模型的各个体素进行着色的被摄体纹理中的一者或二者。素材数据还能够包含作为用于投影除被摄体以外的背景的多边形数据的背景三维模型，以及要粘贴在背景三维模型的多边形上的背景纹理图像中的一者或二者。素材数据还可以包含用于减少数据传送量的被摄体多边形模型以及要粘贴在被摄体多边形模型上的被摄体多边形纹理中的至少一者。另外，素材数据能够包含能够被用来例如分析选手的移动的被摄体位置信息。注意，能够通过使用例如体积交叉法来生成素材数据的三维模型，但是其他方法也是可用的，因此也能够通过任意其他方法来生成三维模型。此外，能够通过任意方法来生成其他素材数据。

存储单元4将从素材数据生成单元3获得的一个或多个类型信息的素材数据与时间信息相关联地存储。通过这样将各个素材数据与时间信息相关联地存储，存储单元4能够基于时间信息和素材数据的类型信息读出特定的素材数据。存储单元4将完全存储(保存)的素材数据的类型信息和时间信息输出到时间信息管理单元5。

时间信息管理单元5基于从存储单元4获得的素材数据的类型信息和时间信息生成或更新时间范围管理信息。时间范围管理信息针对素材数据的各个类型，记录在存储单元4中连续存储的时间范围。也就是说，时间信息管理单元5指定将用于生成何时的虚拟视点内容的素材数据存储在存储单元4中，并且记录该结果。注意，基于从存储单元4获得的时间信息，上述的时间范围能够被定义为连续存储素材数据的时间范围的开始时间和结束时间的组合。例如，当新存储非预先存储的素材数据时，时间信息管理单元5将与素材数据对应的时间信息存储为开始时间和结束时间。此外，当存储与如下新时间对应的新数据时，时间信息管理单元5更新素材数据的结束时间，从而扩展时间范围：该新时间在从由与已存储的素材数据的对应的时间信息表示的时间起的预定时段中。当从由已存储的素材数据的时间信息表示的时间起经过了预定时间时，时间信息管理单元5终止已存储的素材数据的时间范围信息的更新。因此，当新数据连同表示从已存储的素材数据的最近结束时间起经过了预定时段或更长时段的时间的时间信息一起被存储时，时间信息管理单元5通过使用该时间作为开始时间来生成新的时间范围信息。注意，在这种情况下，针对一种类型的素材数据，生成指定多个时间范围的时间范围管理信息。还要注意，这里提到的预定时段能够是例如一帧的时段，但也能够是比一帧的时段长的任意时段。

视频生成单元6基于来自连接到视频生成单元6的操作单元10的指令，通过从存储单元4获得素材数据来生成虚拟视点视频。所生成的虚拟视点视频被输出到操作单元10的显示单元11以及视频输出单元7并且被显示。

操作单元10提供用户接口(诸如触摸面板或者按钮、键盘等与显示器的组合)，以接受来自用户的输入并向用户呈现信息。作为其功能，操作单元10包括例如显示单元11、视频类型选择单元12以及时间指定单元13。操作单元10通过显示例如如图3中所示的画面来接受用户的操作。在图3中，显示单元11显示所生成的虚拟视点视频。视频类型选择单元12选择要输出的虚拟视点视频的视频类型。时间指定单元13指定要生成的虚拟视点视频的时间。视频类型选择单元12接受诸如“直播”、“低图像质量重播”、“高图像质量重播”、“便携式终端”和“选手位置分析”的类型的选择。当生成用于允许具有低图像质量的即时播送的虚拟视点视频时，选择“直播”。当生成用于以与直播的图像质量相同的图像质量进行重播回放的虚拟视点视频时，选择“低图像质量重播”。在“直播”和“低图像质量重播”中，使用低分辨率的三维模型来生成虚拟视点视频。当生成应该重复观看的高图像质量的虚拟视点视频(诸如突出显示场景重播)时，选择“高图像质量重播”。在“高图像质量重播”中，使用高分辨率的三维模型来生成虚拟视点视频。当生成具有小的数据量的虚拟视点视频时，选择“便携式终端”。在“便携式终端”中，通过使用诸如多边形的三维模型而不是体素来生成虚拟视点视频。例如，当检查选手在场地上移动的方式时，选择“选手位置分析”。在“选手位置分析”中，仅使用位置信息，并且不使用作为被摄体的选手的三维模型。所选择的视频类型的信息经由例如视频生成单元6被输入到数据组选择单元8。

基于输入视频类型，数据组选择单元8选择数据组作为生成视频类型的虚拟视点视频所需的素材数据的组合。例如，要针对上述的各个视频类型选择的数据组能够是图4中所示的表中的组合中的一个。例如，当选择“高图像质量重播”时，选择高分辨率被摄体三维模型、高分辨率被摄体纹理、背景三维模型和高分辨率背景纹理作为对应的数据组。当选择“选手位置分析”时，仅需要能够指定选手的位置和移动，因此选择被摄体位置信息和背景三维模型作为对应的数据组。数据组选择单元8向视频生成单元6通知所选择的数据组。基于所通知的数据组，视频生成单元6向时间信息管理单元5询问有效时间范围20，有效时间范围20表示数据组的所有元素被存储在存储单元4中的时间范围。

如图5中所示，时间信息管理单元5对指定存储单元4中存储的各个素材数据的时间范围的时间范围管理信息进行管理。在接收到来自视频生成单元6的指定数据组的询问时，时间信息管理单元5指定存储指定的数据组的所有元素的时间范围，并且将时间范围返回给操作单元10。

当视频类型是例如高图像质量数据组时，时间信息管理单元5指定存储高分辨率被摄体三维模型、高分辨率被摄体纹理、背景三维模型和高分辨率背景纹理中的全部的时间范围。也就是说，在这种情况下，时间信息管理单元5指定时间范围20h作为高图像质量数据的时间范围的逻辑积。当视频类型是选手位置分析数据组时，时间信息管理单元5指定与存储选手位置信息的时间范围对应的时间范围20p。当视频类型是直播时，如图5中所示，时间信息管理单元5将作为所有必要数据可用的时间的最近时间信息21指定为有效时间范围20。然后，时间信息管理单元5输出有效时间范围20的指定结果。注意，时间信息管理单元5仅需要输出用于显示表示能够生成虚拟视点内容的时间的图像的信息，并且信息的内容不限于有效时间范围20的指定结果。例如，时间信息管理单元5还可以输出表示能够生成虚拟视点内容的时间的图像数据。

经由视频生成单元6向操作单元10通知所指定的有效时间范围20，并且时间指定单元13显示该信息。注意，当诸如时间范围20h和20p的多个时间范围被指定为有效时间范围时，操作单元10被通知多个时间范围中的全部或一些(例如，预定数量的时间范围)。

当用户在有效时间范围20内指定要生成虚拟视点所针对的视频的时间时，所指定的时间被发送到视频生成单元6。在这种情况下，通过使用3D鼠标来确定视点信息并将其发送到视频生成单元6，所述视点信息包含例如要绘制的虚拟视点的位置、姿势和视角。注意，不必须使用任何3D鼠标，也可以通过接受经由GUI进行的操作或在专用的操作单元上进行的操作来确定视点信息。基于获得的所指定的时间和预设的数据类型组，视频生成单元6从存储单元4请求并获得必要的素材数据。在这种情况下，基于有效时间范围20的信息，预先确认与由视频生成单元6请求的所指定的时间对应的数据组被存储在存储单元4中。因此，视频生成单元6能够在不检查数据的有/无的情况下可靠地获得目标数据。视频生成单元6基于所获得的素材数据和视点信息生成虚拟视点视频，并且将虚拟视点视频输出到操作单元10的显示单元11以及视频输出单元7。

在该布置中，能够向用户通知通过使用存储单元4中存储的素材数据能够生成适当的虚拟视点视频的时间范围的信息。然后，用户能够从所通知的时间范围中指定虚拟视点视频的生成时间。这消除了在所指定的时间不能生成虚拟视点视频的可能性。因此，能够提高在生成/显示虚拟视点视频时的用户友好性。

(有效时间范围的显示和视频回放控制的示例)

接下来，将说明时间指定单元13显示有效时间范围20以及接受用户的时间指定的方法的示例。例如，如图6A和图6B中所示，时间指定单元13通过使用搜索条13a作为条状GUI(图形用户界面)来显示有效时间范围20。在该示例中，显示了两个有效时间范围，即，第一有效时间范围20a和第二有效时间范围20b。注意，这里说明的该示例仅仅是一个示例，并且能够使用能够将有效时间范围和其他时间范围彼此区分并且能够指定有效时间范围内的任意时间的任意显示方法。例如，还能够使用通过使用物理微动拨盘等由计数器值来指定时间的布置。在这种情况下，有效时间范围的显示也可以是通过开始时间和结束时间来表示一个时间范围的数据的列表。

在图6A中所示的示例中，时间指定单元13通过将搜索条13a的一部分的颜色改变为有效范围而在一个搜索条13a中显示两个获得的有效时间范围20a和20b。在这种情况下，搜索条13a的整个范围对应于整个预期的内容的长度。当内容是诸如足球的运动时，整个搜索条13a显示从比赛的开始至结束的时间范围。

在图6B中所示的示例中，时间指定单元13将不能生成期望的虚拟视点视频的时间范围显示为比与实际时间范围的长度对应的长度短的范围。注意，在图6B中所示的该示例中，显示了第一有效时间范围20a与第二有效时间范围20b之间的时段，但是不必须显示该时段。在这种情况下，如图6B中所示，搜索条13a还可以显示表示有效时间范围20的开始时间和结束时间的数值。

注意，图6A中所示的示例是在如下方面是有用的：用户能够容易地识别整个内容的时间范围、有效时间范围20在该时间范围中的比以及当前回放位置。另一方面，例如，当有效时间范围20与整个内容的时间范围的比低时，如图6B的示例中所示的显示是有用的，因为该显示有利于用户的操作。如上所述，这两种显示方法具有不同的优点。因此，还能够使这两种显示方法可切换，使得用户能够选择这些显示方法中的要使用的一个，并且使时间指定单元13接受选择。例如，时间指定单元13还可以基于诸如有效时间范围20与整个内容的时间范围的长度的比等的参数，来自动选择要使用的显示方法。

用户能够将光标14移动到由时间指定单元13显示的有效时间范围20a和20b中的给定位置，从而指定与该位置对应的时间作为虚拟视点视频生成/显示时间。视频生成单元6从存储单元4获得与所指定的时间对应的素材数据，生成虚拟视点视频，并且将视频输出到视频输出单元7和操作单元10。注意，光标14能够被设计为：当指定时间时，光标14能够仅在搜索条13a上的有效时间范围20a和20b中移动，也就是说，光标14不能选择有效时间范围外部的时间。将参照图6C来说明这样设计光标14的示例。图6C示出了使用通过使用指针15在搜索条13a上拖动和移动光标14的界面的示例。如图6C中所示，用户能够通过在拖动光标14的同时将指针15移动到第一有效时间范围20a中的位置15a或15b，来将光标14移动到位置14a或14b。另一方面，即使当用户在拖动光标14的同时将指针15移动到位置15c时，光标14也被固定到作为第一有效时间范围20a的结束时间位置14c。也就是说，时间指定单元13不允许光标14移动到第一有效时间范围20a外部。另一方面，当用户在拖动光标14的同时将指针15移动到第二有效时间范围20b中的或者距第二有效时间范围20b的预定范围中的位置15d时，光标14被移动到第二有效时间范围20b的开始时间14d。因此，能够通过防止光标14移动到第一有效时间范围20a与第二有效时间范围20b之间的时间范围，来防止选择不能生成虚拟视点视频的时间。注意，时间指定单元13还可以被设计为：能够选择或指定不是有效时间范围20的部分。此外，代替用户不能指定有效时间范围外部的时间的布置，还能够采用如下的布置：即使用户指定了有效时间范围外部的时间，该指定也是无效的。

当用户指定有效时间范围20中的一个时间时，视频生成单元6能够只生成所指定的时间处的虚拟视点视频，但是也能够在所指定的时间之后的连续帧中生成并回放虚拟视点视频。在这种情况下，如果在从有效时间范围20a中的时间起的连续帧中开始回放并且在有效时间范围20a的结束之后继续回放，则即使在有效时间范围20a和20b之间的有效时间范围外部的时间范围中也可以继续该回放。因此，当直到给定的有效时间范围(第一有效时间范围20a)的结束时间为止视频的生成和回放完成时，能够从下一个有效时间范围(第二有效时间范围20b)的开始时间起连续地进行虚拟视点视频的生成和回放。由于不停止虚拟视点视频的生成和回放，因此不要求用户进行任何操作并且用户能够查看连续的虚拟视点视频。另外，如图7A中所示，当跨多个有效时间范围回放虚拟视点视频时，能够在切换有效时间范围时插入显示画面22，显示画面22表示作为回放目标的虚拟视点视频与不连续时间有关。作为选择，如图7B中所示，当在切换之后开始有效时间范围的回放时，能够叠加表示作为回放目标的虚拟视点视频与不连续时间有关的信息23。这些处理能够向用户示出当前正被回放的帧与跟在此之前回放的帧不连续的时间有关。注意，如果直到多个有效时间范围的最后的有效时间范围的结束时间为止回放完成，则能够在该时间点停止回放。注意，还能够做出重复回放的设置，并且当该设置被选择时，从第一有效时间范围的开始时间起重新开始回放。

另外，当要生成实时视频时，例如，当选择“直播”时，视频生成单元6能够获得最近时间信息21，从存储单元4获得与最近时间信息21对应的时间处的素材数据，并且生成虚拟视点视频。注意，在这种情况下，时间指定单元13不需要总是显示由最近时间信息21表示的时间。还要注意，当选择直播等时，仅需要显示最近时间处的视频，并且不需要清楚地示出时间信息。例如，当选择直播等作为视频类型时，视频生成单元6在不指定任何特定的时间的情况下，向时间信息管理单元5发布“最近时间”数据组获取请求。时间信息管理单元5指定已经存储所请求的数据组的最近时间，从存储单元4读出此时的数据组，并且将读出的数据组发送到视频生成单元6。注意，时间信息管理单元5还可以指示存储单元4将数据组发送到视频生成单元6，而不从存储单元4读出数据组。视频生成单元6通过使用所获得的素材数据组，生成虚拟视点视频。在这种情况下，视频生成单元6不需要明确地获得最近时间的信息。例如，当期望在操作单元10的显示单元11上显示时间信息时，也可以与素材数据组一起获得时间信息。

(变型例)

上述的布置和处理仅仅是示例，并且能够使用各种装置构造，并且通过使用不同的过程和不同的显示内容来进行相同的处理。另外，图1中所示的一个功能块能够通过多个电子装置来实现，并且一个或更多个功能块能够由一个电子装置来实现。例如，图1示出了作为独立的功能块的素材数据生成单元3和存储单元4。然而，这些单元也可以被合并到同一处理装置中，或者这些功能块和视频生成单元6也可以被合并到一个装置中以获得虚拟视点视频分发服务器等。注意，根据该实施例的至少一些功能块能够由诸如CPU或MPU的处理器通过执行存储在诸如ROM或RAM的存储器中的程序来实现。例如，操作单元10能够通过执行并显示PC(个人计算机)、平板电脑、智能电话等的处理器中的预定的应用程序的GUI(图形用户界面)来实现。另外，视频生成单元6和操作单元10能够通过由PC、平板电脑和/或智能电话中的处理器执行应用程序来实现。

此外，图1示出了进行从由摄像单元1进行拍摄至在操作单元10的操作下由视频生成单元6进行的对虚拟视点内容的生成的所有一系列处理的系统的构造示例，但是本发明不限于此。例如，还能够单独地准备进行拍摄、素材数据的存储和时间范围管理信息的生成的系统以及生成虚拟视点视频的系统。也就是说，当生成虚拟视点视频时，仅需要存在存储素材数据和时间范围管理信息并且能够提供这些信息的信息提供装置，并且在系统中不需要存在生成这些信息的机构。

注意，在上面的说明中，时间信息管理单元5在素材数据被存储在存储单元4中时生成或更新时间范围管理信息，但是不需要总是生成时间范围管理信息。例如，每当接收到来自视频生成单元6的关于有效时间范围的询问时，时间信息管理单元5能够提取存储单元4中存储的素材数据的时间信息，生成与有效时间范围有关的信息，并且将该信息发送到视频生成单元6。这使得能够基于在该时间点存储的素材数据来提取准确的时间信息。还要注意，在接收到来自视频生成单元6的关于有效时间范围的询问时，时间信息管理单元5指定与用于生成通过询问指定的视频类型的虚拟视点视频的素材数据组有关的有效时间范围。然而，本发明不限于此。例如，时间信息管理单元5能够针对多个数据组中的各个，预先生成有效时间范围的数据，并且响应于来自视频生成单元6的询问，能够将与对应的类型相关地预先生成的有效时间范围信息发送到视频生成单元6。代替针对各个素材数据生成时间范围管理信息，时间信息管理单元5还可以生成存储针对各个类型的素材数据组中包含的所有数据的时间范围，作为时间范围管理信息。时间信息管理单元5还能够通过其他方法生成时间范围管理信息。另外，时间信息管理单元5将由针对指定的素材数据组的时间范围管理信息表示的时间范围的逻辑积作为有效时间范围20通知给视频生成单元6，但是本发明不限于此。例如，时间信息管理单元5能够将各个素材数据的时间范围管理信息发送到视频生成单元6，并且视频生成单元6或操作单元10能够计算由该信息表示的时间范围的逻辑积并指定计算结果作为有效时间范围。另外，视频生成单元6或操作单元10能够执行，例如针对多个视频类型中的各个，指定多个有效时间范围并且在操作单元10的时间指定单元13上并排地显示多个有效时间范围的处理。此外，操作单元10经由视频生成单元6获得时间范围管理信息，但是也可以直接从时间信息管理单元5获得该时间范围管理信息。

在上面的说明中，操作单元10包括视频类型选择单元12，并且视频类型选择单元12选择视频类型。然而，本发明不必须限于像这样的构造。例如，还可以根据视频生成单元6和/或操作单元10的类型或性能自动地确定视频类型。例如，该系统也可以被构造为使得：基于操作操作单元10的用户的权限自动地选择视频类型。注意，当根据例如视频生成单元6的类型或性能来确定视频类型时，不需要存在数据组选择单元8。例如，视频生成单元6通过保持固定的数据组合的信息，不需要向数据组选择单元8询问任何事情。另外，当基于视频生成单元6的性能等来确定视频类型时，数据组选择单元8能够连接到存储单元4或时间信息管理单元5。在这种情况下，视频生成单元6能够在不指定任何数据组的情况下，向时间信息管理单元5发送包含能够指定类型和性能的信息(例如，自身装置的类型、性能等的信息或者自身装置的型号信息或识别信息)的询问。基于该询问中包含的信息，时间信息管理单元5指定对应的素材数据组，并且向视频生成单元6通知与指定的数据组对应的有效时间范围的信息。

在上面的说明中，将全部的素材数据与时间信息相关联地存储，但是本发明不限于此。例如，如果没有改变，则存储单元4能够针对背景三维模型存储单个数据。响应于关于有效时间范围的询问，存储单元4能够始终将数据视为有效，并且每当接收到获取请求时将相同的数据输出到视频生成单元6。像这样的素材数据也可以被视为不是关于有效时间范围的询问的目标。当一旦获得该素材数据时，视频生成单元6能够连续地使用素材数据。

已经说明了视频生成单元6连接到存储单元4和时间信息管理单元5并且使用素材数据的布置。然而，除视频生成单元6以外的功能单元也可以使用素材数据。例如，系统还能够被构造为使得：不生成任何视频但是测量被摄体的位置和速度的被摄体分析装置使用被摄体位置信息作为素材数据。

在上面的说明中，已经说明了操作单元10的视频类型选择单元12选择五种视频类型“直播”、“低图像质量重播”、“高图像质量重播”、“便携式终端”和“选手位置分析”中的一种的示例，但是视频类型不限于这些。例如，还能够设置视频类型“全高清”、“4K”、“播送”、“在线分发”和“移动终端”，或者省略这些视频类型中的一些。此外，当生成视频时，还能够直接指定要获得的素材数据的类型，而不指定任何视频类型。

操作单元10的视频类型选择单元12还能够被构造为能够选择具有诸如“高图像质量优先重播”的优先级的视频类型。在上述的“高图像质量重播”中，仅获得能够生成高质量虚拟视点视频的有效时间范围，并且仅生成高质量虚拟视点视频。然而，在“高图像质量优先重播”中，在能够生成高质量虚拟视点视频的时间范围中生成高质量虚拟视点视频，并且作为另一时间范围，在能够生成低质量虚拟视点视频的时间范围中生成低质量虚拟视点视频。这使得能够通过中断图像来防止观看者感觉不协调。在这种情况下，数据组选择单元8基于所指定的视频类型指定赋予多个优先级的数据组(诸如，必要数据组、高优先级数据组和低优先级数据组)，并且向视频生成单元6通知所指定的数据组。在“高图像质量优先重播”的示例中，高优先级数据组能够包含用于生成高分辨率视频的高分辨率被摄体三维模型、高分辨率被摄体纹理和高分辨率背景纹理。另一方面，低优先级数据组能够包含能够生成低分辨率视频的低分辨率被摄体模型、低分辨率被摄体纹理和低分辨率背景纹理。另外，必要数据组能够是背景模型。注意，确定对数据赋予高优先级还是低优先级的方法不限于此。例如，当通信线路的容量小时，能够进行设置以对低分辨率数据赋予高优先级，并且对高分辨率数据赋予低优先级。

基于这些数据组，视频生成单元6向时间信息管理单元5询问有效时间范围。响应于该询问，时间信息管理单元5指定存储必要数据组和高优先级数据组二者的时间范围，作为如由图8中的20c表示的获得高优先级数据组的高优先范围。另外，在除高优先范围20c以外的时间范围当中，时间信息管理单元5指定获得必要数据组和低优先级数据组的时间范围，作为如由图8中的20d表示的低优先范围。然后，时间信息管理单元5将所指定的高优先范围20c和低优先范围20d的信息发送到视频生成单元6。操作单元10显示接收到的有效时间范围20，使得高优先范围20c和低优先范围20d能够(例如，通过不同的颜色)彼此区分。该显示允许用户做出这样的决定：例如，通过指定高优先范围20c中的时间主要生成高分辨率的虚拟视点视频，但是当即使分辨率低用户仍想要生成给定时间的视频时，指定低优先范围20d中的时间。注意，也可以独立于高优先范围20c来指定低优先范围。在这种情况下，视频生成单元6或操作单元10能够指定高优先范围和低优先范围的交叠范围作为高优先范围。操作单元10还能够并排地显示高优先范围和低优先范围。此外，例如，如图6A或图6B的示例中所示，能够显示既不是高优先范围20c也不是低优先范围20d的时间范围。

注意，视频生成单元6向时间信息管理单元5询问针对各个数据类型设置的优先级，但是本发明不限于此。例如，视频生成单元6能够针对各个优先级向时间信息管理单元5做出询问，并且操作单元10或视频生成单元6能够整合针对各个优先级获得的有效时间范围20并且在时间指定单元13上显示整合的有效时间范围20。

还要注意，通过将数据分类成用于生成高分辨率视频的高优先级数据组和能够生成低分辨率视频的低优先级数据组来指定有效时间范围20，并且视频生成单元6基于有效时间范围20来获得素材数据。然而，本发明不限于此。例如，在能够获得高分辨率被摄体模型和高分辨率被摄体纹理但是仅能够获得低分辨率背景纹理的情况下，不必要根据背景纹理使用用于被摄体的低分辨率数据。在像这样的情况下，视频生成单元6也可以被构造为使用低分辨率数据作为背景纹理。对于这种构造，还能够针对诸如三维模型或纹理的各个数据类型分类进行优先级组合，并且使视频生成单元6针对各个数据类型分类优先获得高优先级的素材数据。在这种情况下，时间指定单元13能够区分地显示能够针对所有类型获得高优先级数据的有效时间范围和针对至少一些数据类型仅能够获得低优先级数据的有效时间范围。

在上述的示例中，由多个摄像单元1拍摄的图像被输入到素材数据生成单元3，并且存储单元4存储由素材数据生成单元3生成的素材数据。然而，本发明不限于此。例如，还能够将由多个摄像单元1拍摄的所有图像一次存储在存储单元4中，并且使素材数据生成单元3通过使用所存储的图像来生成素材数据。图9示出了该构造的示例。在图9中所示的该构造中，素材数据生成单元3通过使用存储单元4中存储的多个图像来生成素材数据，并且将所生成的素材数据和与素材数据对应的时间信息输出到存储单元4。因此，当生成高图像质量的素材数据时，例如，素材数据生成单元3能够生成经过编辑/修改(诸如手动校正)的素材数据，或者基于经过编辑/修改的图像的素材数据。

在该布置中，由多个摄像单元1拍摄的图像被存储在存储单元4中，因此能够基于这些图像通过使用长的时间来生成具有更高图像质量的素材数据。结果，能够生成具有更高等级的虚拟视点视频。注意，制作高质量的素材数据需要高的成本，因此有时不在所有时间范围中形成高等级的素材数据。在这种情况下，通过如上所述使用优先级，能够在能够生成高质量虚拟视点视频的时间范围中生成高质量虚拟视点视频，并且在其他部分中生成低质量虚拟视点视频。

注意，在上述的实施例中，已经说明了用于生成虚拟视点视频的系统。然而，上述的技术能够应用于用于生成除虚拟视点视频以外的诸如自由收听点音频等的内容的信息处理系统。也就是说，上面的讨论适用于获得一个或更多个素材数据并且根据素材数据生成任意内容的给定的信息处理装置。也就是说，当存在用于生成内容的一个或更多个素材数据时，信息处理装置获得关于各个素材数据所对应的时间的信息。然后，信息处理装置基于该信息指定能够生成内容的有效时间范围，并且通过获得针对该范围中的时间的素材数据来生成内容。在这种情况下，信息处理装置能够可区分地显示有效时间范围和不能生成内容的时间范围。注意，在上述的实施例中，已经说明了如下的方法：通过根据这些时间范围的优先级对这些时间范围着色，来显示例如能够生成高优先级内容的时间范围，使得能够将该时间范围与其他时间范围区分。然而，该方法还能够被扩展。例如，能够使用可区分地显示可生成的内容的类型/组合的方法。例如，能够通过着色等来可区分地显示能够生成虚拟视点视频和自由收听点音频二者的时间范围、仅能够生成虚拟视点视频的时间范围、仅能够生成自由收听点音频的时间范围、以及二者均不能生成的时间范围。另外，还能够基于分辨率等对内容进行分类，并且根据分类进行可区分的显示。注意，也可以并排地显示与内容的各个类型对应的有效时间范围。通过这样显示可生成的内容的类型使得用户能够在它们之间区分，能够提高当用户生成内容时的用户友好性。

其他实施例

另外，可以通过读出并执行记录在存储介质(也可更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制所述一个或更多个电路执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。所述计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或所述存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪存设备以及存储卡等中的一个或更多个。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (25)

1.一种信息处理装置，所述信息处理装置包括：

指定部，用于指定，将用于生成何时的虚拟视点内容的素材数据存储在存储单元中，所述存储单元存储用于生成虚拟视点内容的多个素材数据；以及

输出部，用于基于来自所述指定部的指定结果，输出用于显示可区分地表示能够生成虚拟视点内容的时间范围和不能生成虚拟视点内容的时间范围的图像的信息。

2.根据权利要求1所述的信息处理装置，其中，所述存储单元中存储的素材数据是多种类型的素材数据，所述多种类型的素材数据包含被摄体的三维形状的数据和具有所述三维形状的颜色信息的纹理数据。

3.根据权利要求1所述的信息处理装置，其中，从所述输出部输出的信息是表示能够生成虚拟视点内容的时间的信息。

4.根据权利要求1所述的信息处理装置，其中，从所述输出部输出的信息是，表示针对要用于生成虚拟视点内容的素材数据的各个数据类型，具有用于生成何时的虚拟视点内容的数据类型的素材数据被存储在所述存储单元中的信息。

5.根据权利要求1所述的信息处理装置，还包括显示控制部，用于使显示单元显示搜索条，所述搜索条以可识别的方式表示基于所述输出部 输出的信息能够生成虚拟视点内容的时间范围和不能够生成虚拟视点内容的时间范围。

6.根据权利要求1所述的信息处理装置，所述信息处理装置还包括：

选择部，用于基于用户操作和用户属性中的至少一者，来选择多种类型的虚拟视点内容中的不少于一种类型，

其中，所述输出部输出用于显示表示能够生成与所述选择部选择的类型相对应的虚拟视点内容的时间的图像的信息。

7.根据权利要求1所述的信息处理装置，其中，从所述输出部输出的信息是，针对不少于一个时间，表示多种类型的虚拟视点内容中哪种类型的虚拟视点内容能够被生成的信息。

8.根据权利要求1所述的信息处理装置，其中，所述输出部针对多种类型的虚拟视点内容中的各种，输出用于显示表示能够生成虚拟视点内容的时间的图像的信息。

9.根据权利要求6所述的信息处理装置，其中，所述多种类型的虚拟视点内容包括图像质量不同的多个虚拟视点内容。

10.根据权利要求1所述的信息处理装置，所述信息处理装置还包括：

接受部，用于接受针对根据由所述输出部输出的信息而显示的图像的、基于用户操作的指令信息，所述指令信息指定要生成虚拟视点内容的时间，以及

生成部，用于从所述存储单元获得与由所述接受部接受的指定信息所指定的时间对应的多个素材数据，并且通过使用所获得的多个素材数据来生成虚拟视点内容。

11.根据权利要求10所述的信息处理装置，所述信息处理装置还包括：

限制部，用于基于来自所述指定部的指定结果，限制用户操作指定不能生成虚拟视点内容的时间。

12.根据权利要求10所述的信息处理装置，其中，在多个不连续的时间范围上存在能够生成虚拟视点内容的时间并且跨越所述多个时间范围回放虚拟视点内容的情况下，所述生成部生成虚拟视点内容，使得示出与虚拟视点内容对应的时间是不连续的显示被回放。

13.根据权利要求1所述的信息处理装置，所述信息处理装置还包括：

获得部，用于获得关于用来生成存储单元中存储的素材数据的拍摄图像的拍摄时间的信息，

其中，所述指定部基于由所述获得部获得的信息，指定，将用于生成何时的虚拟视点内容的素材数据存储在存储单元中。

14.根据权利要求1所述的信息处理装置，其中，所述输出部向显示装置或其他信息处理装置输出，用于显示图像的信息。

15.根据权利要求14所述的信息处理装置，其中，

所述其他信息处理装置包括接受部，所述接受部用于接受表示要生成虚拟视点内容的时间的指定，并且

所述输出部向所述其他信息处理装置输出，用于显示图像的信息。

16.根据权利要求1所述的信息处理装置，其中，所述图像是将能够生成具有第一质量的虚拟视点内容的第一时间范围和能够生成具有与所述第一质量不同的第二质量的虚拟视点内容的第二时间范围可区分地表示为能够生成虚拟视点内容的时间范围的图像。

17.根据权利要求1所述的信息处理装置，其中，所述图像是将不能够生成具有预定质量的虚拟视点内容的时间范围表示为不能够生成虚拟视点内容的时间范围的图像。

18.一种存储用于使计算机用作权利要求1至17中任一项所述的信息处理装置的各个单元的程序的介质。

19.一种在使用多个素材数据生成虚拟视点内容的系统中操作的信息处理装置，所述信息处理装置包括：

指定部，用于指定所述系统中的生成装置，所述生成装置能够使用用于生成何时的虚拟视点内容的素材数据来生成虚拟视点内容；以及

输出部，用于基于来自所述指定部的指定结果，输出用于显示可区分地表示能够生成虚拟视点内容的时间范围和不能生成虚拟视点内容的时间范围的图像的信息。

20.根据权利要求19所述的信息处理装置，其中，所述生成装置能够使用的素材数据是存储在所述系统中的存储装置中的素材数据。

21.根据权利要求19所述的信息处理装置，其中，用于生成虚拟视点内容的素材数据包括多种素材数据。

22.一种存储用于使计算机用作权利要求19至21中任一项所述的信息处理装置的各个单元的程序的介质。

23.一种信息处理方法，所述信息处理方法包括：

指定，将用于生成何时的虚拟视点内容的素材数据存储在存储单元中，所述存储单元用于存储用于生成虚拟视点内容的多个素材数据；以及

基于在指定步骤中的指定结果，输出用于显示可区分地表示能够生成虚拟视点内容的时间范围和不能生成虚拟视点内容的时间范围的图像的信息。

24.根据权利要求23所述的信息处理方法，其中，在输出步骤中输出的信息是，针对要用于生成虚拟视点内容的素材数据的各个数据类型，表示具有用于生成何时的虚拟视点内容的数据类型的素材数据被存储在所述存储单元中的信息。

25.根据权利要求23所述的信息处理方法，所述信息处理方法还包括：

基于用户操作和用户属性中的至少一者，来选择多种类型的虚拟视点内容中的不少于一种类型，

其中，在输出步骤中，输出用于显示表示能够生成与所述选择部选择的类型相对应的虚拟视点内容的时间的图像的信息。

Images