CN116897374A - 信息处理设备、信息处理方法和程序 - Google Patents

Abstract

信息处理设备(100)包括：管理单元(108)，其被配置为获取多个素材数据，所述多个素材数据用于基于通过利用多个照相机(101)对被摄体进行摄像而拍摄的多个图像来生成虚拟视点图像，所述多个素材数据包括第一素材数据和与第一素材数据不同的第二素材数据；以及发送/接收单元(110)，其被配置为向装置(112)输出基于用于识别装置(112)能够处理的素材数据的格式的信息而从所获取的多个素材数据中选择出的素材数据。

Description

信息处理设备、信息处理方法和程序

技术领域

本公开涉及一种用于生成虚拟视点图像的技术。

背景技术

近年来，用于使用布置在摄像区域周围的多个摄像设备来对被摄体进行摄像并使用从多个摄像设备获取的多个拍摄图像来生成从指定视点(虚拟视点)观看的图像(虚拟视点图像)的技术已经引起了关注。这些技术使得用户能够从各种角度观看例如足球或篮球的精彩场景，并且与通常的图像相比享受增强的现实感。专利文献(PTL)1讨论了一种用于生成包括用于指示三维位置的多个点的点云数据作为用于表示被摄体形状的三维形状数据的系统。此外，在PTL 1中讨论的系统通过使用所生成的点云数据进行渲染处理来生成从视点观看的图像(虚拟视点图像)。专利文献(PTL)2讨论了一种用于基于从红绿蓝深度(RGB-D)照相机获取的信息来重建不仅包括被摄体的正面区域而且包括被摄体的侧面区域的宽区域的三维模型的技术。根据PTL 2，基于深度图的深度数据来提取被摄体区域，并且基于深度数据来生成被摄体的三维表面模型。此外，根据PTL 2，通过使用利用三维表面模型生成的三维网格模型进行渲染处理来生成虚拟视点图像。

引文列表

专利文献

PTL 1：国际公布2018/147329

PTL 2：日本特开2016-71645

发明内容

发明要解决的问题

如上所述，存在多个虚拟视点图像生成方法，并且多个虚拟视点图像生成方法使用彼此不同的数据。因此，在输出到要进行用于生成虚拟视点图像的处理的设备的数据不被该设备支持的情况下，该数据可能无法被适当地处理。

本公开解决了上述问题，并且旨在向数据输出目的地设备输出以数据输出目的地设备能够处理的格式的用于生成虚拟视点图像的素材数据。

用于解决问题的方案

根据本发明的方面，信息处理设备包括：获取单元，其被配置为获取多个素材数据，所述多个素材数据用于基于通过利用多个摄像设备对被摄体进行摄像而拍摄的多个图像来生成虚拟视点图像，所述多个素材数据包括第一素材数据和与所述第一素材数据不同的第二素材数据；以及输出单元，其被配置为向用作素材数据输出目的地的其他设备输出如下的素材数据，其中该素材数据是基于如下的信息来从所述获取单元所获取的多个素材数据中所选择出的，该信息用于识别所述其他设备能够生成所述虚拟视点图像所根据的素材数据的格式。

发明的效果

根据本公开，可以向数据输出目的地设备输出以数据输出目的地设备能够处理的格式的用于虚拟视点图像生成的素材数据。

附图说明

图1是示出包括根据第一示例性实施例的信息处理设备的虚拟视点图像生成系统的配置示例的图。

图2是各自示出存储单元中所存储的素材数据的数据结构的示例的图。

图3是各自示出存储单元中所存储的素材数据的数据结构的示例的图。

图4是各自示出存储单元中所存储的素材数据的数据结构的示例的图。

图5是各自示出存储单元中所存储的素材数据的数据结构的示例的图。

图6是各自示出存储单元中所存储的素材数据的数据结构的示例的图。

图7是示出存储单元中所存储的素材数据的数据结构的示例的图。

图8是示出由根据第一示例性实施例的虚拟视点图像生成系统进行的处理的示例的流程图。

图9是示出由根据第一示例性实施例的虚拟视点图像生成系统进行的处理的示例的流程图。

图10是示出由虚拟视点图像生成系统进行的通信的示例的图。

图11是示出存储单元中所存储的素材数据的数据结构的示例的图。

图12是示出存储单元中所存储的素材数据的数据结构的示例的图。

图13是示出存储单元中所存储的素材数据的数据结构的示例的图。

图14A是示出存储单元中所存储的素材数据的数据结构的示例的图。

图14B是示出存储单元中所存储的素材数据的数据结构的示例的图。

图14C是示出存储单元中所存储的素材数据的数据结构的示例的图。

图15是示出存储单元中所存储的素材数据的数据结构的示例的图。

图16是示出包括根据第一示例性实施例的信息处理设备的虚拟视点图像生成系统的配置示例的图。

图17是示出由虚拟视点图像生成系统进行的通信的示例的图。

图18是示出包括根据第二示例性实施例的信息处理设备的虚拟视点图像生成系统的配置示例的图。

图19是示出由根据第二示例性实施例的虚拟视点图像生成系统进行的处理的示例的流程图。

图20是示出包括根据第三示例性实施例的信息处理设备的虚拟视点图像生成系统的配置示例的图。

图21是示出由根据第三示例性实施例的虚拟视点图像生成系统进行的处理的示例的流程图。

图22是各自示出存储单元中所存储的素材数据的数据结构的示例的图。

图23是示出信息处理设备的硬件配置的示例的框图。

具体实施方式

下面将参照附图描述本公开的各种示例性实施例。应当注意，下面描述的根据示例性实施例的组件仅仅是示例性实施例的示例，并不旨在将本公开限制于这些组件。

(第一示例性实施例)

在本示例性实施例中，将给出对如下信息处理设备的描述，该信息处理设备向显示设备输出用于虚拟视点图像生成的数据(在下文中被称为“素材数据”)，该虚拟视点图像生成是基于利用多个摄像设备通过对被摄体进行摄像而拍摄的多个图像。

图23是示出可以应用于根据本示例性实施例的信息处理设备的计算机的硬件配置的示例的框图。信息处理设备包括中央处理单元(CPU)1601、随机存取存储器(RAM)1602、只读存储器(ROM)1603、操作单元1604、输出单元1605、外部存储设备1606、接口(I/F)1607和总线1608。图23所示的硬件配置也适用于下面描述的虚拟视点图像生成系统的任何设备。

CPU 1601使用RAM 1602或ROM 1603中所存储的计算机程序和数据来控制整个计算机。RAM 1602包括用于临时存储从外部存储设备1606加载的计算机程序和数据以及经由I/F 1607从外部源获取的数据的区。RAM 1602还包括供CPU 1601在进行各种类型的处理时使用的工作区。具体地，例如，RAM 1602分配帧存储器并根据需要提供其他各种区。

ROM 1603存储与设备有关的设置数据以及引导程序。操作单元1604包括诸如键盘、鼠标和操纵杆等的输入设备，并且基于使用输入设备进行的用户操作的各种指令被输入到CPU 1601。输出单元1605输出CPU 1601的处理结果。输出单元1605包括例如液晶显示器。

外部存储设备1606可以是诸如硬盘驱动设备等的信息存储设备。外部存储设备1606存储操作系统(OS)和使CPU 1601实现根据本示例性实施例的设备的处理单元的功能的计算机程序。外部存储设备1606中所存储的计算机程序和数据在CPU 1601的控制下被加载到RAM 1602中，并且将由CPU 1601进行处理。外部存储设备1606还可以存储处理对象图像数据和处理中所使用的各种类型的信息。

诸如局域网(LAN)和因特网等的网络以及诸如投影设备和显示设备等的其他装置能够连接到I/F 1607，并且计算机经由I/F 1607获取和发送各种类型的信息。例如，在信息处理设备经由配线连接到外部设备的情况下，用于通信的线缆连接到通信I/F 1607。在信息处理设备具有与外部设备进行无线通信的功能的情况下，通信I/F 1607包括天线。总线1608是用于将前述组件彼此连接的总线。

上述组件中的至少一个组件可以用作单独的外部设备，并且连接到信息处理设备。这同样适用于下面描述的虚拟视点图像生成系统的任何设备。

<虚拟视点图像生成系统的配置>

接下来，下面将描述根据本示例性实施例的虚拟视点图像生成系统的配置。应当注意，根据本示例性实施例的虚拟视点图像也被称为自由视点图像，但不限于与由用户(根据需要)自由指定的视点相对应的图像，例如与用户从多个候选中选择出的视点相对应的图像也包括在虚拟视点图像中。在本示例性实施例中，虽然下面将主要描述通过用户操作来指定虚拟视点的情况，但是可以基于图像分析结果来自动进行虚拟视点指定。此外，在本示例性实施例中，虽然下面将主要描述虚拟视点图像是运动图像的情况，但是虚拟视点图像可以是静止图像。

图1是示出虚拟视点图像生成系统1的配置的图。虚拟视点图像生成系统1例如使用诸如体育场或音乐厅等的设施中所安装的多个摄像设备来拍摄被摄体图像，并基于多个拍摄图像来生成用于生成虚拟视点图像的数据(素材数据)。虚拟视点图像生成系统1包括照相机101a至101z、输入单元102、累积单元103、第一模型生成单元104、第二模型生成单元105、距离图像生成单元106、网格模型生成单元107、信息处理设备100和装置112a至112d。下面将描述信息处理设备100的功能配置。

照相机101a至101z被布置在被摄体周围的位置处，并且彼此同步地进行摄像。照相机数量不限于图1所示的照相机数量。照相机101a至101z经由网络彼此连接，并且连接到输入单元102。照相机101a至101z彼此同步地进行摄像。具体地，同时获取由照相机101a至101z单独拍摄的图像的帧。与摄像时间有关的时间信息以及帧编号被添加到所获取的拍摄图像，并且具有时间信息和帧编号的拍摄图像被发送到输入单元102。任何格式都可以用于时间信息。此外，各个照相机被赋予照相机标识(照相机ID)，并且照相机ID信息被添加到由照相机获取的各个拍摄图像。在下文中，除非照相机101a至101z需要彼此进行区分，否则照相机101a至101z将被简称为“照相机101”。

输入单元102接收通过利用照相机101a至101z进行摄像而获得的输入图像数据，并将输入图像数据输出到累积单元103。累积单元103临时累积输入图像数据。

第一模型生成单元104、第二模型生成单元105、距离图像生成单元106和网格模型生成单元107各自是用于生成虚拟视点图像的生成所使用的素材数据的处理单元。本示例性实施例中的素材数据是用于生成虚拟视点图像的数据，并且是基于拍摄图像而生成的。素材数据例如是从拍摄图像中提取出的前景图像数据、从拍摄图像中提取的背景图像数据、用于表示三维空间中的被摄体的形状的模型(在下文中也被称为“三维形状数据”)、以及用于对三维形状数据进行着色的纹理数据。不同的虚拟视点图像生成方法可能需要不同的素材数据。其细节将在下面描述。

第一模型生成单元104基于输入图像数据来生成用于表示被摄体的三维形状的点云数据以及前景图像作为素材数据。前景图像是通过从拍摄图像中提取与各个被摄体(例如，选手、球)相对应的区域而生成的图像。第一模型生成单元104例如拍摄没有被摄体的图像作为基准图像，并使用与输入图像数据(拍摄图像)的差异来提取与各个被摄体相对应的区域。此外，第一模型生成单元104基于被摄体区域提取的结果，通过将像素值1分配给与被摄体相对应的区域并将像素值0分配给其他区域来生成剪影图像。

此外，第一模型生成单元104使用所生成的剪影图像，以通过使用剪影形状(shape-from-silhouette)来生成点云数据。所生成的点云数据是用于使用多个点的集合来表示被摄体的三维形状的数据，各个点具有三维空间中的坐标信息。此外，第一模型生成单元104计算所提取的被摄体区域的外接矩形，从拍摄图像中剪切与外接矩形相对应的区域，并且生成剪切区域作为前景图像。在生成虚拟视点图像时前景图像将被用作用于对三维形状数据进行着色的纹理数据。用于生成点云数据和前景图像的方法不限于上述方法，并且可以使用任何生成方法。

第二模型生成单元105生成包括用于表示被摄体的三维形状的点云以及与被摄体有关的颜色信息的数据(在下文中被称为“着色点云数据”)作为素材数据。使用利用第一模型生成单元104所生成的点云数据以及已由照相机101拍摄并从累积单元103获取的图像或前景图像来生成着色点云数据。第二模型生成单元105针对点云数据中所包括的各个点，来识别利用照相机101所获取的拍摄图像中的颜色(像素值)，其中照相机101拍摄与各个点相对应的三维位置的图像。第二模型生成单元105将所识别的颜色与各个点相关联，以生成具有颜色信息的着色点云数据。第二模型生成单元105可以在无需使用第一模型生成单元104所生成的点云数据的情况下，通过使用从累积单元103获取的图像数据来生成着色点云数据。

距离图像生成单元106生成用于表示从照相机101到被摄体为止的距离的距离图像作为素材数据。距离图像生成单元106使用例如立体匹配方法来计算多个拍摄图像之间的视差，并基于视差数据来确定距离图像的像素值，以生成距离图像。距离图像生成方法不限于前述方法。例如，距离图像生成单元106可以使用第一模型生成单元104所生成的点云数据，并计算从点云数据的各个点的三维位置到照相机101的距离，以生成距离图像。可替代地，距离图像生成单元106可以使用利用红外传感器的距离照相机来单独获取距离图像。

网格模型生成单元107基于从累积单元103获取的图像数据，来生成用于表示被摄体的三维形状的网格数据作为素材数据。网格模型生成单元107通过使用例如PTL 2中所讨论的方法来生成网格数据，其中该网格数据是多个多边形的集合体。当使用该方法时，距离图像生成单元106所生成的距离图像数据被用作深度图。网格数据生成方法不限于前述方法。例如，网格模型生成单元107可以对第一模型生成单元104所生成的点云数据和第二模型生成单元105所生成的着色点云数据进行转换，以生成网格数据。

第一模型生成单元104、第二模型生成单元105、距离图像生成单元106和网格模型生成单元107可以例如被包括在单个设备中，或者作为彼此不同的设备被连接。可替代地，可以使用各自包括任何前述生成单元的组合的多个设备。例如，包括第一模型生成单元104和第二模型生成单元105的第一生成设备以及包括距离图像生成单元106和网格模型生成单元107的第二生成设备可以彼此连接。可替代地，前述生成单元中的至少一个或者用于进行前述生成单元的部分处理的处理单元可以被包括在照相机101和诸如下面描述的信息处理设备100等的其他设备中。例如，第一模型生成单元的剪影图像生成处理和/或前景图像生成处理可以由照相机101进行。在这种情况下，照相机101将各种类型的信息(诸如时间信息、帧编号和照相机ID等)添加到基于拍摄图像所生成的剪影图像和/或前景图像，并将具有所添加的信息的剪影图像和/或前景图像发送到输入单元102。

装置112a至112d是如下的显示设备，该显示设备从下面描述的信息过程设备100获取素材数据，基于素材数据来生成虚拟视点图像，并显示所生成的虚拟视点图像。装置112a至112d例如可以是个人计算机(PC)、智能电话和平板电脑。在下文中，除非装置112a至112d需要彼此进行区分，否则装置112a至112d将被简称为“(一个或多于一个)装置112”。

接下来，下面将参考图1描述虚拟视点图像生成系统1的信息处理设备100的功能配置。信息处理设备100包括管理单元108、存储单元109、发送/接收单元110和选择单元111。

管理单元108获取由第一模型生成单元104、第二模型生成单元105、距离图像生成单元106和网格模型生成单元107生成的多个素材数据，并将多个所获取的素材数据存储在存储单元108中。当存储数据时，生成用于读出数据的数据访问所用的表以管理数据，使得可以与时间信息和帧编号相关联地读取和写入数据。此外，基于来自下面描述的选择单元111的指令来输出数据。

存储单元109存储所输入的素材数据。存储单元109与图23中的外部存储设备1606相对应，并且包括半导体存储器和/或磁性记录设备。下面将描述存储时的素材数据的(一个或多于一个)格式。基于来自管理单元108的指令来进行数据的写入和读取，并且基于读取指令来将所写入的数据输出到发送/接收单元110。

发送/接收单元110与下面描述的装置112进行通信，并从装置接收请求和数据以及向装置发送数据。选择单元111从多个素材数据中选择要发送到连接到信息处理设备100的显示设备的素材数据。下面将描述其操作。选择单元111向管理单元108发送所选择的素材数据输出指令。

装置112a至112d从信息处理设备100获取素材数据。此外，装置112a至112d接收用于虚拟视点指定的用户操作，并基于素材数据来生成与所指定的虚拟视点相对应的虚拟视点图像。此外，装置112a至112d显示所生成的虚拟视点图像。根据本示例性实施例，装置112a使用前景图像和点云数据来生成虚拟视点图像。装置112b使用着色点云数据来生成虚拟视点图像。装置112c使用前景图像和距离图像来生成虚拟视点图像。装置112d使用网格数据来生成虚拟视点图像。

如上所述，要用于生成虚拟视点图像的素材数据可以根据装置的类型而不同。要使用的素材数据的差异的可能原因的示例是不同的装置使用不同的方法或不同类型的软件以用于生成虚拟视点图像。此外，另一个可能的原因是不同的装置支持彼此不同的素材数据格式。又一个可能的原因是不同的装置具有不同的显示能力和不同的处理能力。例如，装置可以显示基于网格数据的虚拟视点图像，但是不能显示基于点云数据的虚拟视点图像。前述问题可能会引起如下问题：在将与不可以由装置处理以供显示的虚拟视点图像相对应的素材数据提供给该装置的情况下，该装置不能适当地显示虚拟视点图像。为了解决该问题，根据本示例性实施例的信息处理设备100基于可以由用作显示设备的装置处理以供显示的虚拟视点图像的类别来从多个素材数据中选择要发送的素材数据，并输出所选择的素材数据。下面将描述处理的细节。

<素材数据格式的示例>

图2示出存储单元109中所存储的三维形状数据的格式的示例。如图2的(a)所示，素材数据被存储为与单个集合体相对应的序列。例如，可以针对各个摄像时段、各个所摄像的比赛或者比赛期间的各个比赛项目或中断(cut)来生成序列。管理单元108以序列为单位来管理数据。各个序列包括序列头部(Sequence Header)。如图2的(b)所示，序列头部存储用于指示序列的开头的序列头部起始码(Sequence Header Start Code)。接下来，存储与整个序列有关的信息。例如，存储序列名称、摄像位置、用于指示摄像开始日期和时间的时间信息、帧频和图像大小。序列名称描述用于识别序列的信息，诸如比赛或比赛项目的名称等。

序列以数据集(Data Set)为单位存储三维形状数据。序列头部描述了数据集数量(Number of Data set)M。接下来，以数据集为单位来存储信息。在以数据集为单位的信息中，首先向各个数据集提供标识ID。各个标识ID是存储单元109或所有数据集中的唯一ID。接下来，存储数据集的类别。在本示例性实施例中，数据集的类别包括点云数据、前景图像、着色点云数据、距离图像数据和网格数据。这些数据集的类别中的各个被表示为数据集类别码。数据集类别码(Data set class code)被表示为图2的(e)所示的2字节的码。数据类别和数据码不限于上面描述的那些数据类别和数据码。也可以使用用于表示三维形状数据的其他数据。接下来，存储数据集的指针。可以使用用于访问数据集的任何信息，并且信息不限于指针。例如，存储单元109可以配置文件系统，并且可以使用文件名。

接下来，下面将描述序列中所包括的各个数据集的格式。在本示例性实施例中，下面将描述点云数据、前景图像、着色点云数据、距离图像数据和网格数据作为数据集类别的示例。

图3示出前景图像数据集的配置的示例。虽然为了说明下面将描述以帧为单位存储前景图像数据集的情况，但这不是限制性的情况。如图3的(a)所示，前景图像数据头部存储在数据集的开头处。头部存储用于指示数据集是前景图像数据集的信息以及与帧数有关的信息。

图3的(b)示出帧中所包括的信息。各个帧存储用于指示前景图像数据的第一帧的时间的时间信息(Time information)和帧的数据大小(Data Size)。数据大小用于参考下一帧的数据，并且可以一起存储在头部中。接下来，存储了在时间信息所指示的时间处用于生成虚拟视点图像的被摄体数量(Number of Object)P。接下来，存储该时间摄像时所使用的照相机数量(Number of Camera)C。接下来，存储所使用的照相机的照相机ID(第C照相机的照相机ID：Camera ID of Cth Camera)。接下来，针对各个被摄体存储与包括被摄体的前景图像有关的图像数据(第C照相机的第一前景图像：1st Foreground image of CthCamera)。如图3的(c)所示，在图像数据的开头处，以光栅顺序存储前景图像数据的数据大小、前景图像大小、像素值的位深和像素值。以被摄体为单位连续存储来自照相机的前景图像数据。在照相机没有拍摄被摄体的情况下，可以写入空(null)，或者可以以被摄体为单位存储与拍摄被摄体的照相机数量C相对应的照相机ID。

图4示出点云数据的数据集的配置的示例。虽然为了说明下面将描述以帧为单位来存储点云数据集的情况，但这不是限制性的情况。点云数据头部存储在数据集的开头处。如图4的(a)所示，头部存储用于指示数据集是点云数据集的信息以及与帧数有关的信息。

图4的(b)示出帧中所包括的信息。各个帧存储用于指示帧的时间的时间信息(Time information)。接下来，存储帧的数据大小(Data Size)。数据大小用于参考下一帧的数据，并且可以一起存储在头部中。接下来，存储在时间信息所指示的时间处的被摄体数量(Number of Object)P，即点云数据的数量。接下来，顺次存储与各个被摄体有关的点云数据。首先，存储用于形成第一被摄体的点云的坐标点的数量(第一被摄体中的点的数量：Number of Points in 1st Object)。接下来，存储点的坐标(第一被摄体中的点坐标：Point coordination in 1st Object)。类似地存储该时间所包括的与其余被摄体有关的点云数据。

在本示例性实施例中，虽然坐标系被存储为三轴数据，但是坐标系不限于上述坐标系，并且可以使用极坐标或其他坐标系。用于指示坐标值的数据长度是固定的信息可以在点云数据头部中进行描述，或者点云可以具有彼此不同的数据长度。在点云具有彼此不同的数据长度的情况下，针对各个点云存储数据大小。通过参考数据大小，可以根据坐标点的数量来识别下一个点云的存储位置。

图5示出着色点云数据的数据集的配置的示例。虽然为了说明下面将描述以帧为单位来存储着色点云数据集的情况，但这不是限制性的情况。着色点云数据头部存储在数据集的开头处。如图5的(a)所示，头部存储用于指示数据集是着色点云数据集的信息以及与帧数有关的信息。

图5的(b)示出帧中所包括的信息。在点云数据的各个帧中，存储用于指示帧的时间的时间信息(Time information)。接下来，存储帧的数据大小(Data Size)。数据大小用于参考与下一帧有关的数据，并且可以一起存储在头部中。接下来，存储在时间信息所指示的时间处的被摄体数量(Number of Object)P，即着色点云数据数量。接下来，顺次存储与各个被摄体有关的着色点云数据。首先，存储用于形成第一被摄体的点云的坐标点的数量(第一被摄体中的点的数量：Number of Points in 1st Object)。接下来，存储点的坐标和与点有关的颜色信息(第P被摄体中的点坐标：Point coordination in Pth Object)。类似地存储该时间所包括的与其余被摄体有关的着色点云数据。

在本示例性实施例中，虽然坐标系是三轴数据并且颜色信息被存储为三原色RGB的值，但是坐标系和颜色信息不限于上面描述的那些坐标系和颜色信息。可以使用极坐标或其他坐标系。此外，颜色信息可以表示为均匀颜色空间信息、亮度信息或色度信息。此外，用于指示坐标值的数据长度是固定的信息可以在着色点云数据头部中进行描述，或者着色点云可以具有彼此不同的数据长度。在着色点云具有彼此不同的数据长度的情况下，针对各个点云存储数据大小。通过参考数据大小，可以根据坐标点的数量来识别下一个着色点云的存储位置。

图6示出距离图像数据的数据集的配置的示例。虽然为了说明下面将描述以帧为单位来存储距离图像数据集的情况，但这不是限制性的情况。距离图像数据头部存储在数据集的开头处。如图6的(a)所示，头部存储用于指示数据集是距离图像数据集的信息以及与帧数有关的信息。

图6的(b)示出帧中所包括的信息。各个帧存储用于指示帧的时间的时间信息(Time information)。接下来，存储帧的数据大小(Data Size)。数据大小用于参考与下一帧有关的数据，并且可以一起存储在头部中。由于以照相机为单位来获取距离图像数据，所以存储了在帧中使用的照相机数量(Number of Camera)C。接下来，顺次存储照相机的照相机ID(第C照相机的照相机ID：Camera ID of Cth Camera)。接下来，存储照相机的距离图像数据(第C照相机的距离图像：Distance image of Cth Camera)。如图6的(c)所示，在距离图像数据的开头处，以光栅顺序存储距离图像数据的数据大小、距离图像大小、像素值的位深和像素值。连续存储来自照相机的距离图像数据。在照相机没有拍摄被摄体的情况下，可以写入空(null)，或者可以以被摄体为单位来仅存储与拍摄被摄体的照相机数量C相对应的照相机ID。

图7示出网格数据的数据集的配置的示例。虽然为了说明下面将描述以帧为单位来存储网格数据集的情况，但这不是限制性的情况。网格数据头部数据集存储在数据集的开头处。如图7的(a)所示，头部存储用于指示数据集是网格数据集的信息以及与帧数有关的信息。

图7的(b)示出帧中所包括的信息。各个帧存储用于指示帧的时间的时间信息(Time information)。接下来，存储帧的数据大小(Data Size)。数据大小用于参考与下一帧有关的数据，并且可以一起存储在头部中。接下来，存储被摄体数量(Number of Object)P。接下来，针对各个被摄体存储网格数据。在针对各个被摄体的网格数据的开头处，存储用于形成网格数据的多边形的数量(第P被摄体中的点的数量：Number of Points in PthObject)。此外，针对各个被摄体的网格数据存储了与各个多边形有关的数据(第P被摄体中的多边形信息：Polygon information in Pth Object)，即多边形顶点的坐标和与多边形有关的颜色信息。类似地存储该时间所包括的其余被摄体的网格数据。

在本示例性实施例中，虽然用于描述顶点的坐标系是三轴数据并且颜色信息被存储为三原色RGB的值，但是坐标系和颜色信息不限于上面描述的那些坐标系和颜色信息。可以使用极坐标或其他坐标系。此外，颜色信息可以表示为均匀颜色空间信息、亮度信息或色度信息。此外，在本示例性实施例中，虽然网格数据采用将单个颜色分配给单个多边形的格式，但是网格数据的格式不限于上述格式。例如，可以使用如下方法：生成没有颜色信息的网格数据，并且使用前景图像数据来确定多边形颜色。此外，虚拟视点图像生成系统1可以与用于将单个颜色分配给单个多边形的网格数据分开地生成前景图像和没有颜色信息的网格数据作为素材数据。在要使用用于将单个颜色分配给单个多边形的网格数据来生成虚拟视点图像的情况下，与虚拟视点的位置和来自虚拟视点的注视方向无关地确定多边形颜色。另一方面，在要使用前景图像和没有颜色信息的网格数据来生成虚拟视点图像的情况下，多边形颜色根据虚拟视点的位置和来自虚拟视点的注视方向而改变。

此外，可以使用现有格式，诸如多边形文件格式(PLY)或标准三角语言(STL)格式等。现有格式能够与预先准备的数据集类别码一起使用，各个数据集类别码与不同的格式相对应。

<虚拟视点图像生成系统的操作>

接下来，下面将参考图8中的流程图描述虚拟视点图像生成系统1的操作。通过虚拟视点图像生成系统1的设备的CPU读取ROM或外部存储设备中所存储的程序并执行所读取的程序来实现图8中的处理。

在步骤S800中，管理单元108生成用于素材数据存储的格式的序列头部。在该处理中，确定要由虚拟视点图像生成系统1生成的数据集。在步骤S801中，照相机101开始摄像，并且重复进行步骤S802至S812中的处理，以处理所获取的拍摄图像的各个帧。

在步骤S802中，输入单元102从照相机101a至101z获取拍摄图像帧数据，并将所获取的拍摄图像帧数据发送到累积单元103。在步骤S803中，第一模型生成单元104基于从累积单元103获取的拍摄图像来生成前景图像和剪影图像。在步骤S804中，第一模型生成单元104例如利用剪影形状的方法使用所生成的剪影图像来进行形状估计，并生成点云数据。

在步骤S805中，管理单元108从第一模型生成单元104获取前景图像，并将所获取的前景图像以图2和图3所示的格式存储在存储单元109中。此外，管理单元108更新与通过重复处理而改变的值有关的存储数据，诸如前景图像数据集头部中的帧数等。在步骤S806中，管理单元108从第一模型生成单元104获取点云数据，并以图2和图4所示的格式存储点云数据。此外，管理单元108更新点云数据集头部中的诸如帧数等的数据。

在步骤S807中，第二模型生成单元105使用第一模型生成单元104所生成的点云数据和前景图像数据来生成着色点云数据。在步骤S808中，管理单元108从第二模型生成单元105获取着色点云数据，并将所获取的着色点云数据以图2和图5所示的格式存储在存储单元109中。此外，管理单元108更新着色点云数据集头部中的诸如帧数等的数据。

在步骤S809中，距离图像生成单元106使用第一模型生成单元104所生成的点云数据来生成针对各个照相机101的距离图像数据。在步骤S810中，管理单元108从距离图像生成单元106获取距离图像，并将所获取的距离图像以图2和图6所示的格式存储在存储单元109中。此外，管理单元108更新距离图像数据集头部中的诸如帧数等的数据。

在步骤S811中，网格模型生成单元107使用前景图像数据和距离图像生成单元106所生成的距离图像数据来生成网格数据。在步骤S812中，管理单元108从网格模型生成单元107获取网格数据，并将所获取的网格数据以图2和图7所示的格式存储在存储单元109中。此外，管理单元108更新网格数据集头部中的诸如帧数等的数据。在步骤S813中，虚拟视点图像生成系统1进行是否结束重复处理的判断。例如，在照相机101的摄像结束或者对预定数量的帧的处理结束的情况下，重复处理结束。

在步骤S814中，从装置接收素材数据请求。此外，发送/接收单元110获取用于识别要显示虚拟视点图像的装置112可以处理的素材数据的格式的信息。在本文中，装置可以处理素材数据的情况是装置112可以解释所获取的素材数据的文件中所包含的数据并且可以基于该数据中所描述的内容来适当地处理该数据的情况。例如，在素材数据文件的格式不被装置112支持并且不能被装置112读取的情况下，可以理解为素材数据不能被装置112处理。此外，装置112能够处理素材数据的情况是装置112能够基于所获取的素材数据来生成虚拟视点图像的情况。在本示例性实施例中，虽然使用了短语“识别素材数据的‘格式’”，但是可以使用诸如素材数据的“类型”、“结构”或“版式”等的任何其他术语。

要获取的信息可以包含例如与装置的规格和类型有关的信息以及与装置有关的处理能力信息。此外，例如，要获取的信息可以包含例如与装置使用的虚拟视点图像生成方法有关的信息以及与要用于生成或再现虚拟视点图像的软件有关的信息。此外，要获取的信息可以包含例如与可以由装置处理以供显示的虚拟视点图像格式有关的信息。发送/接收单元110将所获取的信息发送到选择单元111。选择单元111基于所获取的信息，来从存储单元109中所存储的多个素材数据中选择要输出到显示设备的素材数据。

例如，信息处理设备100针对用于根据前景图像数据和点云数据生成虚拟视点图像的装置(诸如装置112a等)来选择前景图像数据集和点云数据集。此外，信息处理设备100针对用于根据着色点云数据生成虚拟视点图像的装置(诸如装置112b等)来选择着色点云数据集。此外，信息处理设备100针对用于根据距离图像数据和前景图像数据生成虚拟视点图像的装置(诸如装置112c等)来选择距离图像数据集和前景图像数据集。此外，信息处理设备100针对包括用于渲染网格数据的渲染器的装置(诸如装置112d等)，基于数据集的类别来选择网格数据集。如上所述，信息处理设备100进行操作使得根据装置来输出不同类型的素材数据。

发送/接收单元110从装置获取的信息不限于上面描述的那些信息，并且例如可以是用于指定特定素材数据(诸如点云数据等)的信息。此外，信息处理设备100可以预先在外部存储设备中保持用于将多个装置的类型与要针对各个装置输出的素材数据相关联的表，并且选择单元111可以被配置为获取该表。在这种情况下，在确认了装置的连接的情况下，信息处理设备100选择在所获取的表中描述的素材数据。

在步骤S815中，发送/接收单元110接收与要生成的虚拟视点图像有关的信息。虚拟视点图像信息包含用于选择虚拟视点图像生成所用的序列的信息。用于选择序列的信息例如包括序列名称、摄像时间和日期、以及与虚拟视点图像生成所用的第一帧有关的时间信息中的至少一个。发送/接收单元110向选择单元111输出虚拟视点图像信息。

选择单元111向管理单元108输出与所选择的序列数据有关的信息，例如序列名称。管理单元108选择与输入序列名称相对应的序列数据。选择单元111向管理单元108输出与虚拟视点图像生成所用的第一帧有关的时间信息。管理单元108将与数据集的摄像开始时间有关的时间信息和所输入的与虚拟视点图像生成所用的第一帧有关的时间信息进行比较，并选择第一帧的帧。例如，在与序列的摄像开始时间有关的时间信息指示2021年4月1日的10：32：42：00并且与虚拟视点图像生成所用的第一帧有关的时间信息是2021年4月1日的10：32：43：40的情况下，跳过100帧数据读取。这是通过基于数据集的帧的数据大小计算要读取的帧的数据的开头来实现的。

在步骤S816中，信息处理设备100和装置112重复步骤S817至S820，直到要生成的虚拟视点图像的最末帧被处理为止。

在步骤S817中，选择单元111基于在步骤S814中输入的要用于虚拟视点图像生成的数据集的类别，来选择要存储在存储单元109中的数据集。在步骤S818中，管理单元108选择与要顺次读取的帧相对应的素材数据。在步骤S819中，存储单元109将所选择的素材数据输出到发送/接收单元110，并且发送/接收单元110将素材数据输出到要生成虚拟视点图像的装置112。在步骤S820中，装置110基于所接收到的素材数据以及通过用户操作设置的虚拟视点来生成虚拟视点图像，并显示所生成的虚拟视点图像。在用于通过使用前景图像数据和点云数据来生成虚拟视点视频图像的装置(诸如装置112a等)的情况下，首先在虚拟视点图像中识别点云数据的各个点的位置。此外，通过投影前景图像数据，来对与各个点的位置相对应的像素值进行着色，从而生成虚拟视点图像。在使用前景图像数据和点云数据来生成虚拟视点图像的方法中，基于虚拟视点的位置和来自虚拟视点的注视方向来改变要应用于各个点的颜色。在用于使用着色点云数据来生成虚拟视点图像的装置(诸如装置112b等)的情况下，首先在虚拟视点视频图像中识别点云数据的各个点的位置。利用与各个点相关联的颜色对与各个点的所识别位置相对应的像素值进行着色，从而生成虚拟视点图像。在使用着色点云来生成虚拟视点图像的方法中，由于与各个点相对应的颜色是固定的，所以与虚拟视点的位置和来自虚拟视点的注视方向无关地应用预定颜色。

在用于使用距离图像数据和前景图像数据来生成虚拟视点图像的装置(诸如装置112c等)的情况下，使用多个距离图像数据来识别虚拟视点图像上的被摄体的位置，并且通过使用前景图像的纹理映射来生成虚拟视点图像。在用于使用多边形数据来生成虚拟视点图像的装置(诸如装置112d等)的情况下，如普通计算机图形那样，通过在从虚拟视点可见的平面上贴附颜色值和图像来生成虚拟视点图像。

在步骤S821中，虚拟视点图像生成系统1进行是否结束重复处理的判断。例如，在虚拟视点图像生成结束或者对预定数量的帧的处理结束的情况下，重复处理结束。

图10是示出处理单元的通信状态的序列图。首先，在F1100中，启动装置112，并且装置112获取与例如装置112的虚拟视点图像生成渲染器有关的信息。在F1101中，装置112将所获取的装置信息发送到信息处理设备100。虽然在本文中从装置112发送的信息是与装置的规格有关的信息，但是可以发送上述信息中的任何一个。

在F1102中，发送/接收单元110将装置的规格发送到选择单元111。选择单元111基于所发送的信息来选择可以由装置112渲染的素材数据的数据集。在F1103中，选择单元111向管理单元108通知所选择的数据集的类别。在该处理中，选择单元111例如预先存储素材数据的类别码，并将所选择的素材数据的类别的类别码发送到管理单元108。此外，在F1104中，装置112向信息处理设备100输出对数据的发送开始请求，并且在F1105中，发送/接收单元110将发送开始请求经由选择单元111发送到管理单元108。

在F1106中，将与开始虚拟视点图像的帧有关的时间信息从装置112发送到信息处理设备100，并且在F1107中，将时间信息经由发送/接收单元110和选择单元111输入到管理单元108。在F1108中，管理单元108向存储单元109发送基于所选择的素材数据的类别以及时间信息而选择出的数据集的帧数据的读取的指定。在F1109中，存储单元109将所指定的数据输出到发送/接收单元110，并且在F1110中，发送/接收单元110将素材数据发送到装置112，其中从该装置112接收到发送开始。在F1111中，装置112接收素材数据，使用素材数据来生成(渲染)虚拟视点图像，并显示所生成的虚拟视点图像。此后，信息处理设备100以帧顺序发送素材数据，直到从装置112接收到发送结束请求为止。

在F1112中，在虚拟视点图像生成结束的情况下，装置112向信息处理设备100发送对素材数据的发送结束请求。在F1113中，在发送/接收单元110接收到发送结束请求的情况下，发送/接收单元110向信息处理设备100的处理单元发送通知。然后，处理结束。前述处理是在多个装置112中的各个装置上独立进行的。

利用前述配置和操作，信息处理设备100基于用于识别可以由装置112处理的素材数据的格式的信息，来向各个装置112输出从包括不同素材数据的多个素材数据中选择出的素材数据。这使得即使在多个装置112连接的情况下，各个装置也能够适当地生成和显示虚拟视点图像。

(第一示例性实施例的变形例)

根据第一示例性实施例，例如，第二模型生成单元105使用第一模型生成单元105所生成的点云数据和前景图像数据来生成着色点云。在根据第一示例性实施例的上述示例中，第一模型生成单元104、第二模型生成单元105、距离图像生成单元106和网格模型生成单元107使用由第一模型生成单元104、第二模型生成单元105、距离图像生成单元106和网格模型生成单元107生成的数据来生成素材数据。这不是限制性示例。例如，根据第一示例性实施例，第一模型生成单元104、第二模型生成单元105、距离图像生成单元106和网格模型生成单元107可以各自从累积单元103获取拍摄图像，并且彼此独立地生成素材数据。在这种情况下，图8中的步骤S803至S812由处理单元并行进行。

在第一示例性实施例中，虽然以被摄体为单位将前景图像进行划分并且存储划分后的前景图像，但是配置不限于上述配置，并且可以存储由照相机拍摄的原始图像。此外，在第一示例性实施例中，虽然以帧为单位来存储点云数据，但是配置不限于上述配置。例如，可以识别各个被摄体，并且可以以被摄体为单位来存储点云数据。

在第一示例性实施例中，虽然用于识别三维形状数据的信息被存储在序列的头部中以识别数据，但是配置不限于上述配置，并且存储单元109和/或管理单元108可以使用与数据相关联的列表来管理信息。此外，管理单元108可以对由第一模型生成单元104、第二模型生成单元105、距离图像生成单元106和网格模型生成单元107生成的点云数据、前景图像、着色点云数据、距离图像数据和网格数据进行编码。

在第一示例性实施例中，虽然时间信息被用作用于指示时间的信息，但是配置不限于上述配置，并且可以使用帧ID或用于识别帧的信息。此外，根据第一示例性实施例，数据集生成方法可以被提供为数据集元信息，并且在存在类别相同但是通过彼此不同的方法而生成的数据集的情况下，该信息可以被发送到装置，并且该装置可以选择数据集。此外，除了本示例性实施例之外，还可以生成360度图像或通常的二维图像，并且可以将所生成的图像存储为数据集。

如图12所示，点云数据的帧数据和前景图像数据的帧数据可以简单地交织并交替发送。类似地，可以使用距离图像数据来代替点云数据。

此外，可以以被摄体为单位来管理素材数据。图13示出其示例。

被摄体数据集被定义为序列的新数据集。可以有多个被摄体数据集。例如，可以以诸如被摄体所属的队伍等的预定单位来设置被摄体数据集。

在被摄体数据集的开头处的被摄体数据头部存储了用于指示被摄体数据集的开头的被摄体数据头部起始码(Object Data Header)。此外，被摄体数据头部存储数据大小(Data size)。接下来，存储被摄体数据集中所包括的被摄体数量(Number of Object)P。接下来，以被摄体为单位来记录和存储数据信息。

被摄体数据信息(第P被摄体数据描述：Pth Object Data Description)存储被摄体ID编号(Object ID)和被摄体数据信息的大小(Data Size)。接下来，存储用于指示作为数据集的数据的类别的数据集类别码(Data set class code)。此外，存储与被摄体有关的被摄体数据的指针(Pointer of object data)。此外，存储与被摄体有关的元数据(Metadata)。例如，元数据可以存储在运动时的与选手的姓名、队伍和球衣号码有关的信息。

被摄体数据存储基于数据集类别码的数据。图13示出前景图像和点云数据的组合的数据集的示例。被摄体数据集的大小、与第一帧有关的时间信息、以及帧频在开头处被存储为头部。接下来，以帧为单位来存储数据。在各个帧的数据的开头处，存储与帧有关的时间信息(Time information)和帧的数据大小(Data size)。接下来，存储帧中被摄体的点云数据的大小(Data Size of Point Cloud)和点的数量(Number of Points)。接下来，存储点云的点的坐标(Point coordination)。接下来，存储拍摄被摄体的照相机数量(Numberof Camera)C。接下来，存储照相机的照相机ID(第一照相机的照相机ID：Camera ID of 1stCamera)和前景图像数据(第一照相机的前景图像的数据大小：Data Size of Foregroundimage of 1st Camera)。以照相机为单位来存储照相机ID和前景图像数据。

在被摄体数据集是着色点云数据的情况下，如图14A所示，设置数据集类别码，并且时间信息、数据大小、着色点云的点的数量以及着色点云数据被存储为与帧有关的数据。此外，在被摄体数据集是网格数据的情况下，如图14B所示，设置数据集类别码，并且时间信息、数据大小、多边形数量和与各个多边形有关的数据被存储为与帧有关的数据。此外，在被摄体数据集是距离图像的情况下，如图14C所示，设置数据集类别码，并且时间信息、数据大小、照相机数量和与各个距离图像有关的数据被存储为与帧有关的数据。

如上所述，以被摄体为单位来管理和输出数据，这使得例如从指定被摄体(诸如选手或表演者等)至读取关注于所指定被摄体的图像为止的时间减少。这在生成关注于所指定选手的移动的图像或追踪被摄体的后方的虚拟视点图像时是有效的。此外，可以容易地搜索到所指定的选手。

此外，如图15所示，管理单元108可以针对素材数据的各个类别生成序列。在这种情况下，选择单元111选择与要输出到装置的素材数据的类别相对应的序列。利用这种配置，可以根据输出目的地装置所使用的渲染方法来将序列一起输出，使得实现迅速输出。

此外，在第一示例性实施例中，虽然装置在多个素材数据的生成之后生成虚拟视点图像，但是配置不限于上述配置。通过进行图9所示的操作，装置112可以在素材数据被生成的同时生成虚拟视点图像。在图9中，与图8中的处理单元的操作相对应的各个步骤被赋予相同的附图标记，并且省略了对其的冗余描述。

在步骤S900中，如图8中的步骤S814那样，发送/接收单元110获取用于识别要显示虚拟视点图像的装置112可以处理的素材数据的格式的信息。此外，发送/接收单元110获取诸如与要由装置112生成的虚拟视点图像有关的时间信息等的信息。在步骤S901中，虚拟视点图像生成系统1对要生成的虚拟视点图像的各个帧重复步骤S802至S920。

在步骤S902中，选择单元111向管理单元108输出与基于诸如时间信息等的信息选择出的序列数据有关的信息。管理单元108选择由所获取的信息指示的序列数据。如图8那样，在步骤S801至S812中，进行帧的拍摄图像的获取、素材数据的生成、以及所生成的素材数据的存储。在步骤S917中，管理单元108基于在步骤S902中选择出的数据集的类别，来选择要发送到装置112的素材数据的数据集。在步骤S918中，发送/接收单元110从所生成的素材数据中选择所选择的数据集的帧数据，并将所选择的帧数据输出到装置。

在步骤S920中，装置112基于所接收到的素材数据和根据用户操作所设置的虚拟视点来生成虚拟视点图像，并显示所生成的虚拟视点图像。

在步骤S921中，虚拟视点图像生成系统1进行是否结束重复处理的判断。例如，在信息处理设备100从装置112接收到用于结束虚拟视点图像生成的通知的情况下，重复处理结束。通过前述操作，在素材数据正在被生成的同时，由装置112生成虚拟视点图像。利用这种配置，例如，可以在照相机101正在摄像的同时以减少的延迟来观看虚拟视点图像。即使在装置112在步骤S921中结束虚拟视点图像生成的情况下，生成素材数据并存储素材数据的步骤S802至S812也可以继续。

此外，在第一示例性实施例中，虽然前景图像数据和点云数据被存储为不同的数据集，但是配置不限于上述配置。图11示出通过将前景图像数据和点云数据组合在一起而生成的前景图像/点云数据集的示例。如图3中的前景图像数据集那样，图11所示的格式在数据集的开头处存储前景图像/点云数据头部(前景和点云模型头部：Foreground&PointCloud Model Header)。数据头部存储用于指示数据集是前景图像/点云数据集的信息以及与帧数有关的信息。接下来，存储帧的前景图像数据和点云数据。各个帧的前景图像/点云数据存储了用于指示帧的时间的时间信息(Time information)和帧的数据大小(DataSize)。接下来，存储与时间信息所指示的时间相对应的被摄体数量(Number of Object)P。此外，存储该时间摄像时使用的照相机数量(Number of Camera)C。接下来，存储所使用的照相机的照相机ID(第一照相机至第C照相机的照相机ID：Camera ID of 1st to CthCamera)。接下来，存储与各个被摄体有关的数据。首先，如图4中的点云数据那样，存储用于形成被摄体的点云的坐标点的数量。接下来，存储点的坐标。接下来，如图3那样，顺次存储已经拍摄被摄体的照相机的前景图像数据。以被摄体为单位来存储点云数据和前景图像数据。

利用前述配置，对于作为渲染器的装置，可以将数据集的必要组合组合在一起，并且可以存储所组合的数据集。这简化了数据读取。虽然上面描述了点云数据和前景图像数据的组合的格式，但是这不是限制性的格式。例如，可以使用通过将任何数据进行组合所形成的格式，诸如距离图像和前景图像的组合的格式或者三个或多于三个素材数据的组合的格式等。

此外，图16所示的计算机图形(CG)模型生成单元113可以被添加到根据第一示例性实施例的虚拟视点图像生成系统1的配置中。CG模型生成单元113使用计算机辅助设计(CAD)或CG软件来生成多个类别的三维形状数据作为素材数据。管理单元108可以获取由CG模型生成单元113生成的素材数据，并且可以将所获取的素材数据像其他素材数据那样存储在存储单元109中。

此外，图17示出虚拟视点图像生成系统1进行的通信的流程的另一示例。来自信息处理设备100的素材数据的发送用作用于开始图17所示的处理的触发。首先，在F1700中，选择单元111选择要发送的数据集的类别以及与要发送的数据的开头有关的时间信息，并将所选择的类别和所选择的时间信息发送到管理单元108。管理单元108向存储单元109发送基于所选择的数据集的类别以及时间信息而选择出的数据集的帧数据的读取的指定。在F1701中，选择单元111向发送/接收单元110发送用于指示要开始数据发送的信息。在F1702中，发送/接收单元110向装置112发送用于指示要开始数据发送的信息。装置112在已经接收到信息的情况下准备数据接收。

在F1703中，选择单元111向发送/接收单元110发送素材数据的类别以及与开头有关的时间信息作为要发送的数据集的规格。在F1704中，发送/接收单元110将所接收到的信息发送到装置112。在F1705中，各个装置112进行装置112是否可以使用从信息处理设备100发送的类别的数据集来生成虚拟视点图像的判断，并且在可能的情况下，装置112准备虚拟视点图像生成。此外，在F1706中，装置112向信息处理设备100发送可能性/不可能性判断结果。在装置112的可能性/不可能性判断结果是“可能”的情况下，选择单元111向管理单元108发送数据发送开始。另一方面，在可能性/不可能性判断结果为“不可能”的情况下，信息处理设备100将其他数据集的规格发送到装置112并再次等待可能性/不可能性判断结果。可替代地，在F1703中，选择单元111可以参考存储单元109中所存储的素材数据的类别，并发送可以发送的数据集的规格。在这种情况下，在F1705中，装置112向信息处理设备100通知用于识别可以由装置112处理的素材数据的类别的信息。

在F1707中，已经接收到发送开始的管理单元108向存储单元109发送基于所选择的素材数据的类别以及与第一帧有关的时间信息而选择出的数据集的帧数据的读取的指定。在F1708中，存储单元109将所指定的数据输出到发送/接收单元110，并且在F1709中，发送/接收单元110将数据发送到被判断为能够接收的装置。在F1710中，装置112接收数据，渲染数据，生成虚拟视点图像，并显示所生成的虚拟视点图像。此后，装置112从以帧顺序选择出的数据集中接收帧数据，并生成虚拟视点图像，直到虚拟视点图像生成结束为止。

通过进行上述通信，可以在发送侧处选择素材数据。可以在不发送可能性/不可能性结果的情况下单方面进行数据发送。此外，在选择素材数据时，信息处理设备100可以参考例如与先前通信的装置有关的信息以及装置信息和素材数据的类别相关联的表。

根据第一示例性实施例，虽然在上述示例中生成点云数据、前景图像、着色点云数据、距离图像和网格数据作为多个素材数据，但是也可以生成除了前述素材数据之外的数据。下面将作为示例描述要生成公告牌数据(billboard data)的情况。

公告牌数据是通过使用前景图像对板形多边形进行着色而获得的数据。本文中的公告牌数据由网格模型生成单元107生成。图22示出存储单元109中所存储的公告牌数据的配置的示例。为了描述，以帧为单位来存储公告牌数据集，但是配置不限于上述配置。在数据集的开头处，如图22的(a)所示存储公告牌数据头部。头部存储用于指示数据集是公告牌数据集的信息以及与帧数有关的信息。各个帧的公告牌数据存储用于指示帧的时间的时间信息(Time Information)。接下来，存储帧的数据大小(Data Size)。接下来，以被摄体为单位来存储照相机的公告牌数据。

以被摄体为单位来将公告牌数据存储为照相机的公告牌的多边形数据和用于纹理映射的图像数据的组合。首先，描述公告牌的单个多边形数据(针对第P被摄体的第C照相机的多边形公告牌：Polygon billboard of Cth Camera for Pth Object)。接下来，存储用于纹理映射的前景图像数据(针对第P被摄体的第C照相机的前景图像：Foregroundimage of Cth Camera for Pth Object)。公告牌方法使用被摄体作为单个多边形，以大幅减少处理和数据量。用于表示公告牌数据的多边形数量不限于一个，并且少于网格数据的多边形数量。利用这种配置，可以生成具有比网格数据的处理和数据量更少的处理和数据量的公告牌数据。

如上所述，根据本示例性实施例的虚拟视点图像生成系统1能够生成各种类型的素材数据并将所生成的素材数据输出到装置。并非必须要生成所有上述素材数据，并且可以生成任何素材数据。此外，代替预先生成多个素材数据，能够生成多个素材数据的虚拟视点图像生成系统1可以基于装置信息来识别要生成的素材数据。例如，信息处理设备100的选择单元111基于用于识别装置112能够显示的虚拟视点图像的类别的信息，来选择要输出到装置112的素材数据的类别。选择单元111向管理单元108通知所选择的素材数据的类别，并且管理单元108向用于生成所选择的素材数据的处理单元发送用于生成素材数据的指令。例如，在所选择的素材数据是着色点云数据的情况下，管理单元108指示第二模型生成单元105生成着色点云数据。

此外，管理单元108可以从累积单元103经由信号线(未示出)读取输入图像数据，并生成所选择的素材数据。所读取的图像数据被输入到第一模型生成单元104、第二模型生成单元105、距离图像生成单元106和网格模型生成单元107中的相应一个，并且生成要使用的素材数据。将所生成的素材数据经由管理单元108、存储单元109和发送/接收单元110输出到装置112。

根据第一示例性实施例，虽然没有变化的信息(诸如装置的类别等)在上面主要被描述为用于识别可以由装置112处理的素材数据的格式的信息，但是配置不限于上面描述的那些配置。具体地，用于识别可以由装置112处理的素材数据的格式的信息可以是动态变化的信息。例如，在由于处理负荷的增加而存在装置112可以处理的素材数据的变化的情况下，装置112再次向信息处理设备100发送信息。这使得信息处理设备100能够选择要输出到装置112的合适的素材数据。此外，信息处理设备100可以基于到装置112的通信路径的通信带宽的变化，来动态地选择要输出的素材数据。

根据第一示例性实施例，尽管所生成的素材数据存储在相同存储单元109中，但是配置不限于上述配置。具体地，可以根据类别将素材数据存储在不同的存储单元中。在这种情况下，信息处理设备100可以包括多个存储单元，或者存储单元可以作为彼此不同的设备被包括在虚拟视点图像生成系统1中。在多个类型的素材数据要被存储在不同的存储单元中的情况下，信息处理设备100向装置112输出与用于指示要输出到装置112的素材数据的存储位置的指针有关的信息。这使得装置112能够访问用于存储要用于虚拟视点图像生成的素材数据的存储单元，并获取素材数据。

(第二示例性实施例)

上面描述了根据第一示例性实施例的装置112生成虚拟视点图像的系统的配置。下面将描述根据本示例性实施例的用于生成虚拟视点图像的信息处理设备的配置。根据本示例性实施例的信息处理设备200的硬件配置与根据第一示例性实施例的信息处理设备的硬件配置类似，使得省略了冗余描述。此外，与根据第一示例性实施例的功能配置相对应的各个功能配置被赋予与相应的功能配置相同的附图标记，并且省略冗余描述。

图18是示出包括信息处理设备200的虚拟视点图像生成系统2的配置的图。除了与根据第一示例性实施例的信息处理设备100的配置类似的配置之外，信息处理设备200还包括虚拟视点图像生成单元209、发送/接收单元210和选择单元211。装置212a至212d各自基于用户操作来设置虚拟视点，并将用于指示所设置的虚拟视点的虚拟视点信息发送到信息处理设备200。装置212a至212d不包括生成虚拟视点图像的功能(渲染器)，并且仅设置虚拟视点并显示虚拟视点图像。在下文中，除非装置212a至212d需要彼此进行区分，否则装置212a至212d将被简称为“(一个或多于一个)装置212”。

发送/接收单元210从装置212接收虚拟视点信息，并将所接收到的虚拟视点信息发送到虚拟视点图像生成单元209。发送/接收单元210还包括将所生成的虚拟视点图像发送到作为虚拟视点信息的发送器的装置的功能。虚拟视点图像生成单元209包括多个渲染器，并基于所输入的虚拟视点信息来生成虚拟视点图像。多个渲染器各自基于不同的素材数据来生成虚拟视点图像。虚拟视点图像生成单元209能够同时操作多个渲染器，并基于来自多个装置的请求来生成多个虚拟视点图像。

选择单元211选择将虚拟视点图像生成单元209生成虚拟视点图像所要使用的数据集。基于处理负荷和数据读取负荷来进行该选择。例如，可能存在如下情况：在正在基于来自装置212a的请求使用前景图像数据集和点云数据集来生成图像的同时，从装置212b接收图像生成请求。在本示例性实施例中，前景图像数据和点云数据在数据量方面大于其他素材数据。在选择单元211判断为用于从存储单元109读取的带宽不足以读取数据集的两个集合(即，前景图像数据集和点云数据集)的情况下，选择单元211选择在数据量方面小于前景图像数据和点云数据数据的网格数据集。虚拟视点图像生成单元209设置网格数据用的渲染器，并使用网格数据来生成针对装置212b的虚拟视点图像。即使在选择了在数据量方面小于前景图像数据和点云数据的着色点云数据集而不是网格数据的情况下，数据量仍然减少。

此外，来自装置212的请求可能导致虚拟视点图像生成单元209的处理能力过剩或功耗降低。选择单元211选择需要低处理负荷的其他数据集，以使用具有较轻处理负荷的渲染器。例如，使用前景图像数据集和点云数据集的处理在处理负荷方面比使用着色点云数据集的处理高。在装置的数量超过使用前景图像数据集和点云数据集来生成虚拟视点图像的能力的限制的情况下，进行使用着色点云数据集的虚拟视点图像生成。如上所述，根据本示例性实施例的信息处理设备200基于处理负荷来选择用于虚拟视点图像生成的素材数据。

下面将参考图19中的流程图描述虚拟视点图像生成系统2的操作。在图19中，与图8中各个单元的操作相对应的步骤被赋予相同的附图标记，并且省略了冗余描述。在步骤S930中，发送/接收单元212从装置212获取虚拟视点信息，并将所获取的虚拟视点信息发送到选择单元211和虚拟视点图像生成单元209。在步骤S931中，选择单元211基于虚拟视点生成单元209上的负荷以及发送带宽，来选择用于虚拟视点图像生成单元209的虚拟视点图像生成方法(渲染器)，并将信息发送到管理单元108，使得管理单元108选择必要的素材数据。

在步骤S932中，使用所选择的虚拟视点图像生成方法来生成虚拟视点图像，并且将所生成的虚拟视点图像经由发送/接收单元210输出到装置。利用前述配置和操作，基于装置的增加或减少来调整三维信息处理设备上的处理负荷，以使得可以向更多数量的装置发送虚拟视点图像。

在本示例性实施例中，虽然根据信息处理设备200上的处理负荷以及发送带宽使用不同的素材数据来进行虚拟视点图像生成，但是配置不限于上述配置。信息处理设备200可以基于例如可以由装置212处理以供再现的虚拟视点图像格式、用于再现的软件或应用、以及装置212的显示单元的显示能力来选择要生成的虚拟视点图像。

此外，在超过虚拟视点图像生成单元209的处理能力的情况下，可以基于装置所请求的数据集的类别来增加信息处理设备200的数量。

(第三示例性实施例)

下面将描述根据本示例性实施例的用于将所生成的素材数据转换成不同的素材数据并使用转换后的素材数据的信息处理设备。根据本示例性实施例的信息处理设备300的硬件配置与根据上述示例性实施例的信息处理设备200的硬件配置类似，并且省略了冗余描述。此外，与根据上述示例性实施例的功能配置相对应的功能配置被赋予与相应的功能配置相同的附图标记，并且省略了冗余描述。

下面将参考图20描述包括信息处理设备300的虚拟视点图像生成系统3的配置。转换单元301是用于将数据集转换成不同数据集的转换单元。除了根据第一示例性实施例的选择单元111的功能之外，选择单元311还具有在从装置112输入未存储在存储单元109中的数据集的情况下对要使用转换单元301进行转换的数据集进行控制的功能。存储单元309具有向选择单元311输出所存储的数据集的类别的功能以及向转换单元301输出所存储的数据的功能。

下面将描述信息处理设备300进行的处理的示例。例如，可能存在当仅前景图像数据集和点云数据集存储在存储单元109中时从装置112接收到距离图像输出请求的情况。在这种情况下，选择单元311将从发送/接收单元110输入的来自装置212的数据集请求与存储单元309的内容进行比较。作为比较的结果，判断为没有存储匹配的数据集。此外，为了读取要由转换单元301转换的数据集，选择单元311指示管理单元108读取必要的数据集。转换单元301从存储单元309获取点云数据集，通过计算从点云数据的点到相应照相机为止的距离来生成距离图像数据，并将点云数据集转换成距离图像数据集。具体地，图4所示的点云数据集被转换成图6所示的距离图像数据集。发送/接收单元110将通过转换所获得的距离图像数据输出到装置112。

此外，在转换处理的另一示例中，转换单元301通过重新排列数据集中的数据来进行向其他数据集的转换。例如，可能存在当仅前景图像数据集和点云数据集存储在存储单元109中时装置112请求针对各个被摄体排列的数据格式的情况。选择单元311将从发送/接收单元110输入的来自装置112的数据集请求与存储单元309的内容进行比较。作为比较的结果，选择单元311指示管理单元108读取必要的数据集。管理单元108基于来自选择单元311的指令从存储单元309读取前景图像数据和点云数据集，并将前景图像数据和点云数据集发送到转换单元301。转换单元301通过重新排列数据并生成头部数据来生成被摄体数据集，并将所生成的被摄体数据集经由发送/接收单元110输出到装置112。

上面已经描述了转换单元301进行的转换处理的示例。转换处理不限于上述示例，并且还可以例如将点云数据改变成网格数据，组合或分离多个素材数据，或者将数据转换成其他数据。

接下来，下面将参考图21中的流程图描述虚拟视点图像生成系统3的操作。在图21中，与根据上述示例性实施例的各个处理单元的操作相对应的步骤被赋予相同的附图标记，并且省略了冗余描述。在步骤S1001中，选择单元311检查存储单元309中所存储的任何素材数据是否与来自装置112的请求匹配。在没有匹配的数据集的情况下(步骤S1001中为“否”)，处理进行到步骤S1001。在存在匹配数据集的情况下(步骤S1001中为“是”)，处理进行到步骤S816。

在步骤S1001中，选择单元311选择存储单元309中所存储的数据集，以使用该数据集来生成与来自装置112的请求匹配的数据集。转换单元301从存储单元309获取所选择的数据集，并将所获取的数据集转换成与来自装置212的请求匹配的数据集。如上所述，信息处理设备300基于来自装置的请求来转换数据集，从而可以将素材数据发送到更多种装置。此外，由于素材数据是通过在接收到来自装置112的请求时对数据进行转换而生成的，所以与要存储许多类型的素材数据的情况相比，可以减少要预先存储在存储单元309中的素材数据的量。这使得能够有效使用存储单元309的资源。还可以将通过对数据进行转换所生成的数据集存储在存储单元309中。此外，通过转换所生成的并存储在存储单元309中的素材数据可以从存储单元309中读取并在后续处理中使用。

(其他示例性实施例)

在第一示例性实施例、第二示例性实施例和第三示例性实施例中，虽然在上述示例中将素材数据输出到要显示虚拟视点图像的装置，但是输出目的地设备不限于上述设备。例如，上述示例性实施例也适用于将素材数据输出到用于获取素材数据并对所获取的数据进行预定处理的其他设备的情况。在这种情况下，信息处理设备100基于用于识别输出目的地设备可以处理的素材数据的格式的信息，来选择要输出到其他设备的素材数据。

可以组合使用第一示例性实施例、第二示例性实施例和第三示例性实施例中的任意示例性实施例的配置。此外，素材数据的类型不限于以上根据上述示例性实施例所述的素材数据的类型，并且上述示例性实施例也适用于生成包括不同素材数据的多个素材数据并生成虚拟视点图像的配置。

本公开还可以通过如下处理来实现，其中在该处理中，用于实现上述示例性实施例的一个或多于一个功能的程序经由网络或存储介质被供给至系统或设备，并且该系统或设备的计算机的一个或多于一个处理器读取该程序并执行所读取的程序。此外，本公开还可以通过用于实现一个或多于一个功能的电路(例如，专用集成电路(ASIC))来实现。

本发明不限于上述示例性实施例，并且在不脱离本发明的精神和范围的情况下，各种改变和修改是可能的。因此，附上所附的权利要求书以公开本发明的范围。

本申请要求2021年2月18日提交的日本专利申请2021-024137的权益，其全部内容通过引用结合于此。

Claims (27)

1.一种信息处理设备，包括：

获取单元，其被配置为获取多个素材数据，所述多个素材数据用于基于通过利用多个摄像设备对被摄体进行摄像而拍摄的多个图像来生成虚拟视点图像，所述多个素材数据包括第一素材数据和与所述第一素材数据不同的第二素材数据；以及

输出单元，其被配置为向用作素材数据输出目的地的其他设备输出如下的素材数据，其中该素材数据是基于如下的信息来从所述获取单元所获取的多个素材数据中所选择出的，该信息用于识别所述其他设备能够生成所述虚拟视点图像所根据的素材数据的格式。

2.根据权利要求1所述的信息处理设备，还包括生成单元，所述生成单元被配置为生成所述多个素材数据，

其中，所述获取单元获取所述生成单元所生成的多个素材数据。

3.根据权利要求2所述的信息处理设备，

其中，所述生成单元包括被配置为生成所述第一素材数据的第一生成单元以及被配置为生成所述第二素材数据的第二生成单元，以及

其中，所述第一生成单元所进行的生成和所述第二生成单元所进行的生成是并行进行的。

4.根据权利要求1至3中任一项所述的信息过程设备，还包括存储单元，所述存储单元被配置为存储所述获取单元所获取的多个素材数据，

其中，所述输出单元向所述其他设备输出基于所述信息从所述存储单元中所存储的多个素材数据中所选择出的素材数据。

5.根据权利要求4所述的信息处理设备，其中，将用于表示所述多个素材数据的预定集合体的序列和用于识别所述序列的信息彼此相关联地存储在所述存储单元中。

6.根据权利要求1至5中任一项所述的信息处理设备，其中，所述信息包括与所述其他设备有关的类别信息。

7.根据权利要求1至6中任一项所述的信息处理设备，其中，所述信息包括与所述其他设备有关的处理能力信息。

8.根据权利要求1至7中任一项所述的信息处理设备，其中，所述信息包括与所述其他设备使用的虚拟视点图像生成方法有关的信息。

9.根据权利要求1至8中任一项所述的信息处理设备，其中，所述信息包括与所述其他设备能够显示的虚拟视点图像格式有关的信息。

10.根据权利要求1至9中任一项所述的信息处理设备，还包括信息获取单元，所述信息获取单元被配置为从所述其他设备获取所述信息，

其中，所述输出单元向所述其他设备输出基于所述信息获取单元所获取的信息从所述多个素材数据中选择出的素材数据。

11.根据权利要求1至9中任一项所述的信息处理设备，还包括保持单元，所述保持单元被配置为针对作为素材数据输出目的地的多个其他设备中的各个其他设备来保持用于识别所述多个其他设备能够处理的素材数据的格式的信息，

其中，所述输出单元向所述其他设备输出基于所述保持单元所保持的信息从所述多个素材数据中选择出的素材数据。

12.一种信息处理设备，包括：

获取单元，其被配置为获取基于用于识别能够生成虚拟视点图像所根据的素材数据的格式的信息从多个素材数据中选择出的素材数据，其中所述多个素材数据用于基于通过利用多个摄像设备对被摄体进行摄像而拍摄的多个图像来生成所述虚拟视点图像，所述多个素材数据包括第一素材数据和与所述第一素材数据不同的第二素材数据；以及

生成单元，其被配置为基于所述获取单元所获取的素材数据来生成所述虚拟视点图像。

13.根据权利要求12所述的信息处理设备，其中，所述信息包括与所述信息处理设备有关的类别信息。

14.根据权利要求12或13所述的信息处理设备，其中，所述信息包括与所述信息处理设备有关的处理能力信息。

15.根据权利要求12至14中任一项所述的信息处理设备，其中，所述信息包括与所述信息处理设备使用的虚拟视点图像生成方法有关的信息。

16.根据权利要求12至15中任一项所述的信息处理设备，其中，所述信息包括与所述信息处理设备能够显示的虚拟视点图像格式有关的信息。

17.根据权利要求12至16中任一项所述的信息处理设备，还包括发送单元，所述发送单元被配置为将所述信息发送到要输出所述素材数据的其他设备，

其中，所述获取单元获取基于从输出单元输出到所述其他设备的信息选择出的素材数据。

18.根据权利要求1至17中任一项所述的信息处理设备，

其中，所述第一素材数据是包括用于表示被摄体的三维形状的点云数据以及用于表示被摄体的颜色的纹理数据的数据，以及

其中，所述第二素材数据是包括用于表示被摄体的三维形状和被摄体的颜色的点云数据的数据。

19.根据权利要求1至17中任一项所述的信息处理设备，

其中，所述第一素材数据是包括用于表示被摄体的三维形状的网格数据以及用于表示被摄体的颜色的纹理数据的数据，以及，

其中，所述第二素材数据是包括用于表示被摄体的三维形状和被摄体的颜色的网格数据的数据。

20.根据权利要求1至17中任一项所述的信息处理设备，

其中，所述第一素材数据是包括用于表示被摄体的三维形状的点云数据的数据，以及

其中，所述第二素材数据是包括用于表示被摄体的三维形状的网格数据的数据。

21.根据权利要求1至17中任一项所述的信息处理设备，

其中，所述第一素材数据是包括用于表示被摄体的三维形状的点云数据的数据，以及

其中，所述第二素材数据是包括用于表示所述多个摄像设备和被摄体之间的距离的距离图像以及用于表示被摄体的颜色的纹理数据的数据。

22.根据权利要求1至17中任一项所述的信息处理设备，

其中，所述第一素材数据是包括用于表示被摄体的三维形状的网格数据的数据，以及

其中，所述第二素材数据是包括用于表示所述多个摄像设备和被摄体之间的距离的距离图像以及用于表示被摄体的颜色的纹理数据的数据。

23.根据权利要求20或21所述的信息处理设备，其中，所述点云数据还表示被摄体的颜色。

24.根据权利要求20或22所述的信息处理设备，其中，所述网格数据还表示被摄体的颜色。

25.一种信息处理方法，包括：

获取多个素材数据，所述多个素材数据用于基于通过利用多个摄像设备对被摄体进行摄像而拍摄的多个图像来生成虚拟视点图像，所述多个素材数据包括第一素材数据和与所述第一素材数据不同的第二素材数据；以及

向用作素材数据输出目的地的其他设备输出如下的素材数据，其中该素材数据是基于如下的信息来从所获取的多个素材数据中所选择出的，该信息用于识别所述其他设备能够处理的素材数据的格式。

26.一种信息处理方法，包括：

获取基于用于识别要生成虚拟视点图像所根据的素材数据的格式的信息从多个素材数据中选择出的素材数据，其中所述多个素材数据用于基于通过利用多个摄像设备对被摄体进行摄像而拍摄的多个图像来生成所述虚拟视点图像，所述多个素材数据包括第一素材数据和与所述第一素材数据不同的第二素材数据；以及

基于所获取的素材数据来生成所述虚拟视点图像。

27.一种程序，用于使计算机用作根据权利要求1至24中任一项所述的信息处理设备。