CN115699751A - 信息处理装置和方法 - Google Patents

Abstract

本公开内容涉及信息处理装置和方法，其被配置成使得更容易地使用空间分级来再现3D数据。将三维对象表示为点的聚合的点云，其中：对2D数据进行编码，在该2D数据中，将与空间分级对应的点云转换为二维；生成包括子比特流的比特流，在该子比特流中，对与空间分级的一个或多个层对应的点云进行编码；生成与子比特流的空间分级有关的空间分级信息；以及生成文件，在该文件中存储有生成的比特流和空间分级信息。例如，本公开内容可应用于信息处理装置、信息处理方法等。

Description

信息处理装置和方法

技术领域

本公开内容涉及信息处理装置和方法，并且更特别地，涉及能够使用空间分级更容易地再现3D数据的信息处理装置和方法。

背景技术

常规上，对将具有三维形状的对象表示为点的集合的点云的编码和解码已由运动图像专家组(MPEG)标准化。然后，已经提出了一种方法(在下文中也称为基于视频的点云压缩(V-PCC))，在该方法中将点云的几何和属性投影到每个小区域的二维平面上，将投影在二维平面上的图像(图块)布置在运动图像的帧图像中，并且通过二维图像的编码方法对运动图像进行编码(例如，参见非专利文献1)。

此外，存在作为国际标准技术的文件容器规范的国际标准化组织基本媒体文件格式(ISOBMFF)、用于运动图像压缩的运动图像专家组-4(MPEG-4)(例如参见非专利文献2和非专利文献3)。

然后，为了提高从本地存储装置再现由V-PCC编码的比特流(也称为V3C比特流)的再现处理和网络分发的效率，研究了一种将V3C比特流存储在ISOBMFF中的方法(例如，参见非专利文献4)。此外，非专利文献4公开了仅对点云对象的一部分进行解码的部分访问技术。

此外，在MPEG-I第5部分:基于视频的视觉体积编码(V3C)和基于视频的点云压缩(V-PCC)中，已经提出了一种用于执行编码使得客户端可以独立地对构成高Lod(密集)点云的低Lod(稀疏)点云进行解码并且构造低Lod点云的LoD图块模式(例如参见非专利文献5)。

引文列表

非专利文献

非专利文献1：“V-PCC Future Enhancements(V3C+V-PCC)”，ISO/IEC JTC 1/SC29/WG 11N19329，2020-04-24

非专利文献2：“Information technology-Coding of audio-visual objects-Part 12:ISO base media file format”，ISO/IEC 14496-12，2015-02-20

非专利文献3：“Information technology-Coding of audio-visual objects-Part 15:Carriage of network abstraction layer(NAL)unit structured video inthe ISO base media file format”，ISO/IEC FDIS 14496-15:2014(E),ISO/IEC JTC 1/SC 29/WG 11,2014-01-13

非专利文献4：“Text of ISO/IEC DIS 23090-10Carriage of VisualVolumetric Video-based Coding Data”，ISO/IEC JTC 1/SC 29/WG 11N19285，2020-06-01

非专利文献5：“Report on Scalability features in V-PCC”，ISO/IEC JTC1/SC29/WG 11N19156，2020-01-22

发明内容

本发明要解决的问题

然而，存储非专利文献4中描述的V3C比特流的ISOBMFF不支持该空间分级，并且难以在系统层中存储关于空间分级的信息。因此，为了让客户端使用该空间分级构造具有期望的LoD的3D数据，需要进行复杂的工作，例如分析V3C比特流。

鉴于这种情况做出了本公开内容，并且本公开内容的目的是使得能够使用空间分级更容易地再现3D数据。

问题的解决方案

根据本技术的一个方面的信息处理装置是一种信息处理装置，该信息处理装置包括：编码单元，其对二维(2D)数据进行编码并生成比特流，所述2D数据通过对将具有三维形状的对象表示为点的集合并与空间分级对应的点云进行二维转换来获得，所述比特流包括通过对与所述空间分级的单个或多个层对应的所述点云进行编码获得的子比特流；空间分级信息生成单元，其生成关于所述子比特流的空间分级的空间分级信息；以及文件生成单元，其生成存储由所述编码单元生成的比特流和由所述空间分级信息生成单元生成的空间分级信息的文件。

根据本技术的一个方面的信息处理方法是一种信息处理方法，该信息处理方法包括：对2D数据进行编码并生成比特流，所述2D数据通过对将具有三维形状的对象表示为点的集合并与空间分级对应的点云进行二维转换来获得，所述比特流包括通过对与所述空间分级的单个或多个层对应的点云进行编码获得的子比特流；生成关于所述子比特流的所述空间分级的空间分级信息；以及生成存储所生成的比特流和所述空间分级信息的文件。

根据本技术的另一方面的信息处理装置是一种信息处理装置，该信息处理装包括：选择单元，其基于存储在文件中并且关于比特流的空间分级的空间分级信息来选择要解码的空间分级的层，所述比特流通过对2D数据进行编码来获得，所述2D数据通过对将具有三维形状的对象表示为点的集合并与所述空间分级对应的点云进行二维转换来获得；提取单元，其从存储在所述文件中的比特流中提取与由所述选择单元选择的层对应的子比特流；以及解码单元，其对由所述提取单元提取的子比特流进行解码。

根据本技术的另一方面的信息处理方法是一种信息处理方法，该信息处理方法包括：基于存储在文件中并且关于比特流的空间分级的空间分级信息来选择要解码的空间分级的层，所述比特流通过对2D数据进行编码来获得，所述2D数据通过对将具有三维形状的对象表示为点的集合并与所述空间分级对应的点云进行二维转换来获得；从存储在所述文件中的比特流中提取与所选择的所述层对应的子比特流；以及对所提取的子比特流进行解码。

根据本技术的又一方面的信息处理装置是一种信息处理装置，该信息处理装置包括：编码单元，其对2D数据进行编码并生成比特流，所述2D数据通过对将具有三维形状的对象表示为点的集合并与空间分级对应的点云进行二维转换来获得，所述比特流包括通过对与所述空间分级的单个或多个层对应的点云进行编码获得的子比特流；空间分级信息生成单元，其生成关于所述子比特流的空间分级的空间分级信息；以及控制文件生成单元，其生成控制文件，所述控制文件存储由所述空间分级信息生成单元生成的空间分级信息和关于由所述编码单元生成的比特流的分发的控制信息。

根据本技术的又一方面的信息处理方法是一种信息处理方法，该信息处理方法包括：对2D数据进行编码并生成比特流，所述2D数据通过对将具有三维形状的对象表示为点的集合并与空间分级对应的点云进行二维转换来获得，所述比特流包括通过对与所述空间分级的单个或多个层对应的点云进行编码获得的子比特流；生成关于所述子比特流的空间分级的空间分级信息；以及生成控制文件，所述控制文件存储所生成的空间分级信息和关于所生成的比特流的分发的控制信息。

根据本技术的又一方面的信息处理装置是一种信息处理装置，该信息处理装置包括：选择单元，其基于存储在存储关于比特流的分发的控制信息的控制文件中的关于所述比特流的空间分级的空间分级信息来选择要解码的空间分级的层，所述比特流通过对2D数据进行编码来获得，所述2D数据通过对将具有三维形状的对象表示为点的集合并且与所述空间分级对应的点云进行二维转换来获得；获取单元，其获取与由所述选择单元选择的层对应的子比特流；以及解码单元，其对由所述获取单元获取的子比特流进行解码。

根据本技术的又一方面的信息处理方法是一种信息处理方法，该信息处理方法包括：基于存储在存储关于比特流的分发的控制信息的控制文件中的关于所述比特流的空间分级的空间分级信息来选择要解码的空间分级的层，所述比特流通过对2D数据进行编码来获得，所述2D数据通过对将具有三维形状的对象表示为点的集合并且与所述空间分级对应的点云进行二维转换来获得；获取与所选择的层对应的子比特流；以及对所获取的子比特流进行解码。

在根据本技术的一个方面的信息处理装置和方法中，对2D数据进行编码，该2D数据通过对将具有三维形状的对象表示为点的集合并且与空间分级对应的点云进行二维转换来获得，并且生成包括通过对与空间分级的单个或多个层对应的点云进行编码获得的子比特流的比特流，生成关于子比特流的空间分级的空间分级信息，并且生成存储所生成的比特流和所生成的空间分级信息的文件。

在根据本技术的另一方面的信息处理装置和方法中，基于存储在文件中并且关于通过对2D数据进行编码获得的比特流的空间分级的空间分级信息来选择要解码的空间分级的层，该2D数据通过对将具有三维形状的对象表示为点的集合并且与空间分级对应的点云进行二维转换来获得，从存储在文件中的比特流中提取与所选择的层对应的子比特流，并且对所提取的子比特流进行解码。

在根据本技术的又一方面的信息处理装置和方法中，对通过将具有三维形状的对象表示为点的集合并且与空间分级对应的点云进行二维转换获得的2D数据进行编码，并且生成包括通过对与空间分级的单个或多个层对应的点云进行编码获得的子比特流的比特流，生成关于子比特流的空间分级的空间分级信息，并且生成存储所生成的空间分级信息和关于所生成的比特流的分发的控制信息的控制文件。

在根据本技术的又一方面的信息处理装置和方法中，基于存储在存储关于比特流的分发的控制信息的控制文件中的空间分级信息来选择要解码的空间分级的层，该空间分级信息关于通过对2D数据进行编码获得的比特流的空间分级，该2D数据通过对将具有三维形状的对象表示为点的集合并且与空间分级对应的点云进行二维转换来获得，获取与所选择的层对应的子比特流，并且对所获取的子比特流进行解码。

附图说明

图1是用于说明V-PCC的概要的图。

图2是示出V3C比特流的主要配置示例的图。

图3是示出地图集子比特流的主要配置示例的图。

图4是示出存储V3C比特流的ISOBMFF的结构的示例的图。

图5是用于说明部分访问信息的示例的图。

图6是示出3D空间区域为静态的情况下的文件结构的示例的图。

图7是说明SpatialRegionGroupBox和V3CSpatialRegionsBox的示例的图。

图8是示出3D空间区域动态改变的情况下的文件结构的示例的图。

图9是用于说明空间分级的图。

图10是示出关于空间分级的语法的示例的图。

图11是示出与空间分级对应的数据的配置示例的图。

图12是示出用于存储空间分级信息的文件结构的示例的图。

图13是示出语法的示例的图。

图14是示出语法的另一示例的图。

图15是示出Matroska媒体容器的配置示例的图。

图16是示出文件生成装置的主要配置示例的框图。

图17是示出文件生成处理的流程的示例的流程图。

图18是示出客户端装置的主要配置示例的框图。

图19是示出客户端处理的流程的示例的流程图。

图20是示出存储空间分级信息的MPD的配置示例的图。

图21是示出语法的示例的图。

图22是示出语法的另一示例的图。

图23是示出MPD的描述示例的图。

图24是示出MPD的描述示例的图。

图25是示出文件生成装置的主要配置示例的框图。

图26是示出文件生成处理的流程的示例的流程图。

图27是示出客户端装置的主要配置示例的框图。

图28是示出客户端处理的流程的示例的流程图。

图29是示出计算机的主要配置示例的框图。

具体实施方式

在下文中，将描述用于执行本公开内容的方式(在下文中称为实施方式)。注意，将按以下顺序进行描述。

1.V3C比特流的空间分级

2.第一实施方式(存储比特流和空间分级信息的文件)

3.第二实施方式(存储空间分级信息的控制文件)

4.附录

<1.V3C比特流的空间分级>

<支持技术内容和技术术语的文献等>

在本技术中公开的范围不仅包括在实施方式中描述的内容，还包括在提交时已知的以下非专利文献等中描述的内容、在以下非专利文献中引用的其他文献的内容等。

非专利文献1：(如上所述)

非专利文献2：(如上所述)

非专利文献3：(如上所述)

非专利文献4：(如上所述)

非专利文献5：(如上所述)

非专利文献6：https://www.matroska.org/index.html

也就是说，上述非专利文献中描述的内容、上述非专利文献中参考的其他文献的内容等也是用于确定支持要求的基础。

<点云>

常规上，存在诸如用点位置信息、属性信息等表示三维结构的点云的3D数据。

例如，在点云的情况下，三维结构(具有三维形状的对象)被表示为大量点的集合。点云包括每个点的位置信息(也被称为几何)和属性信息(也被称为属性)。属性可以包括任何信息。例如，每个点的颜色信息、反射率信息、法线信息等可以被包括在属性中。如上所述，点云具有相对简单的数据结构，并且可以通过使用足够大量的点以足够的准确度表达任何三维结构。

<V-PCC的概要>

在基于视频的点云压缩(V-PCC)中，这样的点云的几何和属性被投影在每个小区域的二维平面上。在本公开内容中，可以将该小区域称为部分区域。将其中几何和属性投影在二维平面上的图像也称为投影图像。此外，将每个小区域(部分区域)的投影图像称为图块。例如，将图1的A中的对象1(3D数据)分解成如图1的B所示的图块2(2D数据)。在几何图块的情况下，每个像素值指示点的位置信息。然而，在这种情况下，点的位置信息被表示为在垂直于投影平面的方向(深度方向)上的位置信息(深度值(Depth))。

然后，以这种方式生成的每个图块被布置在视频序列的帧图像(也被称为视频帧)中。布置有几何图块的帧图像也称为几何视频帧。此外，其中布置有属性图块的帧图像也被称为属性视频帧。例如，从图1的A中的对象1，生成几何图块3如图1的C中所示的那样布置的几何视频帧11和属性图块4如图1的D中所示的那样布置的属性视频帧12。例如，几何视频帧11的每个像素值指示上述深度值。

然后，例如，通过用于二维图像的编码方法(例如，高级视频编码(AVC)或高效视频编码(HEVC))对这些视频帧进行编码。也就是说，作为表示三维结构的3D数据的点云数据可以使用用于二维图像的编解码器进行编码。

注意，也可以使用占用图。占用图是指示几何视频帧或属性视频帧的每个N×N像素的投影图像(图块)的存在或不存在的图信息。例如，在几何视频帧或属性视频帧中，占用图通过值“1”指示其中存在图块的区域(N×N个像素)，并且通过值“0”指示其中不存在图块的区域(N×N个像素)。

由于解码器可以通过参考占用图来掌握该区域是否是存在图块的区域，因此可以抑制由编码和解码引起的噪声等的影响，并且可以更准确地恢复3D数据。例如，即使深度值由于编码和解码而改变，解码器也可以通过参考占用图忽略不存在图块的区域的深度值。也就是说，可以防止解码器通过参考占用图按3D数据的位置信息执行处理。

例如，对于几何视频帧11和属性视频帧12，可以生成如图1的E所示的占用图13。在占用图13中，白色部分指示值“1”，并且黑色部分指示值“0”。

可以将这样的占用图编码为与几何视频帧和属性视频帧分开的数据(视频帧)，并且将其发送至解码侧。也就是说，与几何视频帧和属性视频帧类似，也可以通过用于二维图像的编码方法(例如，AVC或HEVC)对占用图进行编码。

通过对几何视频帧进行编码而生成的编码数据(比特流)也被称为几何视频子比特流。通过对属性视频帧进行编码而生成的编码数据(比特流)也被称为属性视频子比特流。通过对占用图进行编码而生成的编码数据(比特流)也被称为占用图视频子比特流。注意，几何视频子比特流、属性视频子比特流和占用图视频子比特流在无需彼此区分说明的情况下被称为视频子比特流。

此外，作为用于根据图块(2D数据)重构点云(3D数据)的信息的地图集信息(atlas)被编码并发送至解码侧。地图集信息的编码方法(和解码方法)是任意的。通过对地图集信息进行编码而生成的编码数据(比特流)也被称为地图集子比特流。

注意，在以下描述中，假设点云(的对象)可以像二维图像的运动图像一样在时间方向上改变。也就是说，几何数据和属性数据具有时间方向的概念，并且是像二维图像的运动图像那样每隔预定时间间隔采样的数据。注意，像二维图像的视频帧那样，每个采样时间处的数据被称为帧。也就是说，点云数据(几何数据和属性数据)像二维图像的运动图像一样包括多个帧。在本公开内容中，点云的帧也被称为点云帧。在V-PCC的情况下，通过将每个点云帧转换成视频帧以形成视频序列，甚至可以使用移动图像编码方法来高效地对运动图像(多个帧)的这样的点云进行编码。

<V3C比特流的结构>

编码器复用如上所述的几何视频帧、属性视频帧、占用图和地图集信息的编码数据以生成一个比特流。该比特流也被称为V3C比特流(V3CBitstream)。

图2是示出作为V3C比特流的一种格式的V3C样本流的结构示例的图。如图2所示，作为V-PCC的编比特流的V3C比特流(V3C样本流)包括多个V3C单元。

V3C单元包括V3C单元头(V3C单元头)和V3C单元有效载荷(V3C单元有效载荷)。V3C单元头包括指示要存储在V3C单元有效载荷中的信息类型的信息。根据要存储在V3C单元头中的类型，V3C单元有效载荷可以存储属性视频子比特流、几何视频子比特流、占用视频子比特流、地图集子比特流等。

<地图集子比特流的结构>

图3的A是示出地图集子比特流的主要配置示例的图。如图3的A所示，地图集子比特流31包括一系列地图集NAL单元32。图3的A中示出的每个方形均示出了地图集NAL单元32。

aud是访问单元分界符的NAL单元。地图集sps是地图集序列参数集的NAL单元。地图集fps是地图集帧参数集的NAL单元。地图集aps是地图集自适应参数集的NAL单元。

地图集瓦片层NAL单元是地图集瓦片层的NAL单元。地图集瓦片层NAL单元具有地图集瓦片信息，其是关于地图集瓦片的信息。一个地图集瓦片层NAL单元具有一个地图集瓦片的信息。也就是说，地图集瓦片层NAL单元和地图集瓦片具有一一对应关系。

地图集fps存储地图集瓦片的帧内位置信息，并且位置信息经由id与地图集瓦片层NAL单元相关联。

地图集块可以相互独立地解码，并且具有用于视频子比特流的对应矩形区域的图块的2D3D转换信息。2D3D转换信息是用于将作为2D数据的图块转换成作为3D数据的点云的信息。例如，图3的B中所示的属性视频帧12被划分为虚线以形成矩形图集瓦片33。

图集切片的编码具有与HEVC的瓦片等效的约束。例如，它被配置成不依赖于同一帧的其他地图集瓦片。此外，具有参考关系的地图集帧具有彼此相同的地图集瓦片分割。此外，仅参考参考帧的相同位置处的地图集瓦片。

<ISOBMFF中的存储方法>

非专利文献4限定了两种类型——多轨道结构和单轨道结构——作为以ISOBMFF(国际标准化组织基本媒体文件格式)存储V3C比特流的方法。

多轨道结构是将几何视频子比特流、属性视频子比特流、占用视频子比特流和地图集子比特流分别存储在单独的轨道中的方法。由于每个视频子比特流是常规的2D视频流，因此可以以与2D的情况的方式类似的方式存储(管理)视频子比特流。图4示出了在应用多轨道结构的情况下的文件的配置示例。

单个轨道结构是将V-PCC比特流存储在一个轨道中的方法。也就是说，在这种情况下，将几何视频子比特流、属性视频子比特流、占用图视频子比特流和地图集子比特流存储在彼此相同的轨道中。

<部分访问>

顺便提及，非专利文献4限定了用于获取和解码点云的对象的一部分的部分访问信息。例如，通过使用部分访问信息，可以执行控制使得在流分发时仅获取点云的对象的显示部分的信息。通过这样的控制，可以获得通过有效地使用带宽来实现高清晰度的效果。

例如，如图5的A所示，假设针对点云的对象设置边界框51，该边界框51是包括点云的对象的三维区域。也就是说，在ISOBMFF中，如图5的B所示，设置作为关于边界框51的信息的边界框信息(3DBoundingBoxStruct)。在边界框信息中，边界框51的参考点(原点)的坐标为(0,0,0)，并且边界框51的大小由(bb_dx,bb_dy,bb_dz)指定。

通过设置部分访问信息，如图5的A所示，可以在边界框51中设置作为能够独立解码的部分区域的3D空间区域52。也就是说，如图5的B所示，作为关于3D空间区域52的信息的3D空间区域信息(3dSpatialRegionStruct)被设置为ISOBMFF中的部分访问信息。在3D空间区域信息中，区域由参考点的坐标(x，y，z)和大小(cuboid_dx，cuboid_dy，cuboid_dz)指定。

<文件结构的示例>

例如，假设图6中的对象61的比特流被划分成三个3D空间区域(3D空间区域61A、3D空间区域61B和3D空间区域61C)并存储在ISOBMFF中。此外，假设应用多轨道结构并且3D空间区域信息是静态的(在时间方向上不改变)。

在这种情况下，如图6右侧所示，针对每个3D空间区域(在彼此不同的轨道中)分别存储视频子比特流。然后，将存储与彼此相同的3D空间区域对应的几何视频子比特流、属性视频子比特流和占用视频子比特流的轨道分组(图6中的虚线框)。将该组也称为空间区域轨道组。

注意，将一个3D空间区域的视频子比特流存储在一个或多个空间区域轨道组中。在图6的示例的情况下，由于配置三个3D空间区域，因此形成三个或更多个空间区域轨道组。

将track_group_id分配给每个空间区域轨道组，作为是用于识别空间区域轨道组的识别信息的轨道组识别信息。将该track_group_id存储在每个轨道中。也就是说，将具有彼此相同值的track_group_id存储在属于彼此相同的空间区域轨道组的轨道中。因此，可以基于track_group_id的值来识别属于期望空间区域轨道组的轨道。

换言之，具有彼此相同值的track_group_id被存储在存储与彼此相同的3D空间区域对应的几何视频子比特流、属性视频子比特流和占用视频子比特流的每个轨道中。因此，基于track_group_id的值，可以识别与期望的3D空间区域对应的每个视频子比特流。

更具体地，如图7所示，具有彼此相同track_group_id的空间区域组框(SpatialRegionGroupBox)存储在彼此属于相同空间区域轨道组的轨道中。track_group_id存储在由空间区域组框继承的轨道组类型框(TrackGroupTypeBox)中。

注意，地图集子比特流与3D空间区域无关地存储在一个V3C轨道中。也就是说，该一个地图集子比特流具有与多个3D空间区域的图块有关的2D3D转换信息。更具体地，如图7所示，V3C空间区域框(V3CSpatialRegionsBox)存储在V3C轨道中，在该V3C轨道中存储有地图集子比特流，并且每个track_group_id存储在V3C空间区域框中。

地图集瓦片和空间区域轨迹组通过非专利文献3中描述的NALU映射条目样本组(NALUMapEntry样本组)链接。

注意，在3D空间区域信息是动态的(在时间方向上改变)的情况下，如图8的A所示，如果使用定时元数据轨道表达每个时间处的3D空间区域就足够了。也就是说，如图8的B所示，动态3D空间区域样本条目(Dynamic3DSpatialRegionSampleEntry)和动态空间区域样本(DynamicSpatialRegionSample)存储在ISOBMFF中。

<V-PCC编码的分级>

例如，在V-PCC编码中，如上所述，通过使用体积标注SEI消息族，可以实现能够仅解码和渲染特定3D空间位置的部分点云的基于区域的分级。

此外，如非专利文献5中所描述的，通过使用LoD图块模式，可以实现能够仅将点云的点解码和渲染为特定LoD的空间分级。

LoD指示在点云对象按点的密度分层的情况下的层级。例如，将点云中的点进行分组(分层)，使得形成具有彼此不同的点密度的多个层级(从具有稀疏点的层级到具有密集点的层级)，例如使用体素量化的八叉树。这样的层级结构的每个层级也称为LoD。

由LoD构造的点云对象表示彼此相同的对象，但具有彼此不同的分辨率(点数目)。也就是说，该层级结构也可以说是基于点云的分辨率的层级结构。

<LoD图块模式>

在LoD图块模式下，点云被编码成使得客户端可以独立地对构成高LoD(密集)点云的低LoD(稀疏)点云进行解码，并且构造低LoD点云。

也就是说，通过如上所述的那样对点进行分组，将原始密度的点云(密集点云)划分为多个稀疏点云。这些稀疏点云的密度可以彼此相同，或者可以彼此不同。通过使用单个稀疏点云或将多个稀疏点云组合，可以实现上述层级结构的每个层级的点云。例如，通过组合所有稀疏点云，可以恢复原始密度的点云。

在LoD图块模式中，可以针对每个图块分层这样的点云。然后，可以将稀疏点云的图块的点间隔缩放到密集状态(原始点云的点间隔)并对其进行编码。例如，如图9的A所示，可以通过缩小点间隔将点间隔编码为密集图块(小图块)。因此，可以抑制由于分层导致的编码效率的降低。

在解码时，仅需要在相反的方向上执行缩放即可。例如，如图9的B所示，可以通过以与编码时的比率相同的比率放大点间隔来恢复稀疏图块(大图块)。

在这种情况下，对于每个图块，将作为关于这样的缩放的信息的缩放因子从编码侧发送至解码侧。也就是说，缩放因子存储在V3C比特流中。图10是示出该缩放因子的语法的示例的图。图10中所示的pdu_lod_scale_x_minus1[patchIndex]指示每个图块的缩小的x方向上的转换率，并且pdu_lod_scale_y[patchIndex]指示每个图块的缩小的y方向上的转换率。在解码时，通过以由这些参数指示的转换率进行放大(即，基于缩放因子进行放大)，可以容易地以与编码时的转换率相同的转换率进行放大(缩小)。

如上所述，在LoD图块模式中，将一个点云划分为多个稀疏点云，以指示彼此相同的对象并对其进行编码。针对每个图块执行这样的划分。也就是说，如图11所示，图块被划分成多个图块，其包括彼此不同的样本网格的点。图11左侧所示的图块P0指示原始图块(密集图块)，并且每个圆圈指示构成图块的点。在图11中，图块P0的点被四种样本网格分组，并且形成了四个稀疏的图块。也就是说，从图块P0中提取白点、黑点、灰点和阴影点，并将其划分为彼此不同的稀疏图块。也就是说，在这种情况下，形成四个稀疏图块，其中点的密度相对于原始图块P0在x方向和y方向的每一个方向上是1/2(点间隔的两倍)。通过使用单个这样的稀疏图块或组合多个这样的稀疏图块，可以实现空间分级(分辨率分级)。

如上所述，稀疏图块在编码期间被缩小。在LoD图块模式中，对每个原始密集图块执行这样的划分。然后，当布置在帧图像中时，在每个样本网格的地图集瓦片中收集划分的稀疏图块。例如，在图11中，包括由白色圆圈指示的点的稀疏图块布置在“地图集瓦片0”中，包括由黑色圆圈指示的稀疏图块布置在“地图集瓦片1”中，包括由灰色圆圈指示的稀疏图块布置在“地图集瓦片2”中，并且包括由阴影圆圈指示的点的稀疏图块布置在“地图集瓦片3”中。通过划分以这种方式布置的地图集瓦片，可以独立于其他图块对与彼此相同的样本网格对应的图块进行解码。也就是说，可以针对每个样本网格构造点云。因此，可以实现空间分级。

<不支持空间分级>

如上所述，在MPEG-I第5部分:在基于视频的视觉体积编码(V3C)和基于视频的点云压缩(V-PCC)中，通过在LoD图块模式下进行编码，客户端可以独立地对构成高LoD(密集)点云的低LoD(稀疏)点云进行解码，并且构造低LoD点云。

通过使用这样的空间分级，可以根据在分发V-PCC内容时的网络带宽限制或变化、客户端装置的解码处理或渲染处理的性能等来获取适当LoD的V-PCC内容。因此，在MPEG-I第10部分中需要使用空间分级的分发支持。

然而，在非专利文献4中描述的存储V3C比特流的ISOBMFF不支持该空间分级，难以在系统层中存储关于空间分级的信息作为与V3C比特流不同的信息。因此，客户端不能识别在V-PCC内容分发时提供空间分级的点云的组合，并且不能根据客户端环境选择适当的LoD点云。

为了让客户端使用该空间分级构造具有期望的LoD的3D数据，需要复杂的工作，例如，将V3C比特流(地图集子比特流)解析，直到图块数据单元(patch_data_unit)。

<2.第一实施方式>

<存储比特流和空间分级信息的文件>

因此，关于空间分级的信息存储(存储在系统层中)作为与存储V3C比特流的文件(例如，ISOBMFF)中的V3C比特流不同的信息。

例如，在信息处理方法中，包括：对2D数据进行编码，该2D数据通过对将具有三维形状的对象表示为点的集合并与空间分级对应的点云进行二维转换来获得；生成比特流，该比特流包括通过对与空间分级的单个或多个层对应的点云进行编码获得的子比特流；生成关于子比特流的空间分级的空间分级信息；以及生成存储所生成的比特流和所生成的空间分级信息的文件。

例如，信息处理装置包括：编码单元，其对2D数据进行编码并且生成比特流，该2D数据通过对将具有三维形状的对象表示为点的集合并与空间分级对应的点云进行二维转换获得，该比特流包括通过对与空间分级的单个或多个层对应的点云进行编码获得的子比特流；空间分级信息生成单元，其生成关于子比特流的空间分级的空间分级信息；以及文件生成单元，其生成存储由编码单元生成的比特流和由空间分级信息生成单元生成的空间分级信息的文件。

例如，如图12所示，新限定了空间分级InfoStruct(SpatialScalabilityInfoStruct)，并将空间分级InfoStruct存储在样本条目(SampleEntry)的VPCC空间区域框(VPCCSpatialRegionsBox)中。然后，空间分级信息被存储在空间分级InfoStruct中。

通过这样做，可以在系统层中将空间分级信息提供给对V3C比特流进行解码的客户端装置。因此，客户端装置可以使用空间分级更容易地再现3D数据，而不需要复杂的工作，例如分析V3C比特流。

例如，信息处理方法包括：基于存储在文件中并且关于比特流的空间分级的空间分级信息来选择要解码的空间分级的层，该比特流通过对2D数据进行编码来获得，该2D数据通过对将具有三维形状的对象表示为点的集合并与空间分级对应的点云进行二维转换来获得；从存储在文件中的比特流中提取与所选择的层对应的子比特流；以及对所提取的子比特流进行解码。

例如，信息处理装置包括：选择单元，其基于存储在文件中并且关于比特流的空间分级的空间分级信息来选择要解码的空间分级的层，该比特流通过对2D数据进行编码来获得，该2D数据通过对将具有三维形状的对象表示为点的集合并与空间分级对应的点云进行二维转换来获得；提取单元，其从存储在文件中的比特流中提取与由选择单元选择的层对应的子比特流；以及解码单元，其对由提取单元提取的子比特流进行解码。

例如，如图12所示，在存储有V3C比特流的非专利文献4中描述的ISOBMFF中，基于存储在样本条目的VPCC空间区域框中的空间分级InfoStruct中的空间分级信息来选择要解码的空间分级的层。

通过这样做，客户端装置可以基于存储在系统层中的空间分级信息来识别提供空间分级的点云的组合。因此，例如，在V-PCC内容分发中，客户端装置可以根据客户端环境选择适当的LoD点云，而不需要诸如分析比特流的复杂的工作。

例如，客户端装置可以执行控制，例如获取点云的靠近具有高LoD的视点的部分以及获取具有低LoD的其他远处部分。因此，客户端装置即使在网络带宽限制的情况下也可以更有效地使用频带，并且为用户提供高质量的媒体体验。

也就是说，客户端装置可以使用空间分级更容易地再现3D数据。

例如，作为空间分级信息，指定每个组(稀疏图块)的选择顺序(层)——例如将哪个组(稀疏图块)设置为基本层以及将哪个组(稀疏图块)设置为增强层——的基本增强分组信息可以存储在系统层中。

通过这样做，客户端装置可以基于空间分级信息容易地掌握构造期望的LoD的点云需要哪个组。因此，客户端装置可以更容易地选择适当LoD的点云。

此外，如图12所示，各个层(组)的比特流可以存储在彼此不同的ISOBMFF轨道(空间区域轨道组)中。在图12的示例的情况下，包括由白色圆圈指示的点的稀疏图块、包括由黑色圆圈指示的点的稀疏图块、包括由灰色圆圈指示的点的稀疏图块以及包括由阴影圆圈指示的点的稀疏图块被存储在彼此不同的空间区域轨道组中。通过这样做，客户端装置可以通过选择要解码的轨道(空间区域轨道组)来选择期望层(组)的比特流。也就是说，客户端装置可以更容易地获取和解码期望层(组)的比特流。

<空间分级信息的示例>

图13的A是示出VPCC空间区域框(VPCCSpatialRegionsBox)的语法的示例的图。在图13的A中的示例的情况下，针对每个区域，空间分级InfoStruct(SpatialScalabilityInfoStruct())存储在VPCC空间区域框中。

图13的B是示出空间分级InfoStruct(SpatialScalabilityInfoStruct())的语法的示例的图。如图13的B所示，层识别信息(layer_id)可以存储在空间分级InfoStruct中作为空间分级信息。层识别信息是指示与存储在对应于ISOBMFF的空间分级InfoStruct的轨道组中的子比特流对应的层的识别信息。例如，layer_id＝0指示基本层，并且layer_id＝1至255指示增强层。

也就是说，文件生成装置可以将层识别信息(layer_id)存储在空间分级InfoStruct中，并且客户端装置可以基于层识别信息来选择子比特流(轨道)。通过这样做，客户端装置可以基于层识别信息掌握与存储在每个轨道(空间区域轨道组)中的子比特流(稀疏图块)对应的层。因此，客户端装置可以更容易地按照由内容创建者预期的顺序选择实现高清晰度的点云。因此，客户端装置可以通过使用空间分级更容易地再现3D数据。

此外，如图13的B所示，除了层识别信息之外，关于通过重构与从空间分级的最高层到由层识别信息指示的层的每一层对应的点云而获得的点云的分辨率的信息(lod)可以存储在空间分级InfoStruct中。

例如，在满足layer_id＝0的情况下，关于点云的分辨率的信息(lod)指示基本层的LoD值。此外，例如，在不满足layer_id＝0的情况下，关于点云的分辨率的信息(lod)指示通过与层0到(layer_id-1)的点云同时显示而获得的LoD值。注意，LoD值可以是由内容创建者确定的参考值。注意，关于点云的分辨率的信息(lod)可能不会被发信号通知，而layer_id的值可能发信号通知关于点云的分辨率的信息。也就是说，关于点云的分辨率的信息(lod)可以包括在层识别信息(layer_id)中。例如，layer_id的值也可以指示与从空间分级的最高层到由层识别信息指示的层的每一层对应的点云的分辨率(lod值)。

也就是说，文件生成装置可以将关于点云的分辨率的信息(lod)存储在空间分级InfoStruct中，并且客户端装置可以基于关于点云的分辨率的信息来选择子比特流(轨道)。通过这样做，客户端装置可以更容易地掌握需要选择哪个轨道(空间区域轨道组)以获得期望的LoD。因此，客户端装置可以通过使用空间分级更容易地再现3D数据。

此外，如图13的B所示，除了层识别信息之外，用于识别空间分级的空间分级识别信息(spatial_scalability_id)可以存储在空间分级InfoStruct中。具有彼此相同的空间分级识别信息(spatial_scalability_id)的一组区域(num_region的for循环的一个循环对应于一个区域)提供空间分级。也就是说，当组合具有彼此相同的空间分级识别信息(spatial_scalability_id)的多个区域时，可以获得高LoD点云。

也就是说，文件生成装置可以将空间分级识别信息(spatial_scalability_id)存储在空间分级InfoStruct中，并且客户端装置可以基于空间分级识别信息来选择子比特流(轨道)。通过这样做，客户端装置可以更容易地指定提供空间分级的组。因此，客户端装置可以通过使用空间分级更容易地再现3D数据。

注意，如图13的A所示，空间分级标志(spatial_scalability_flag)可以存储在VPCC空间区域框中。空间分级标志是指示是否存储空间分级InfoStruct的标志信息。在空间分级标志为真(例如“1”)的情况下，指示存储了空间分级InfoStruct。此外，在空间分级标志为假(例如，“0”)的情况下，指示未存储空间分级InfoStruct。

<空间分级信息的另一示例>

注意，如在图14的A中所示的示例中，在VPCC空间区域框(VPCCSpatialRegionsBox)中，可以通过使用按层数的for循环来为每个区域存储空间分级InfoStruct(SpatialScalableyInfoStruct())和轨道组识别信息(track_group_id)。

在这种情况下，for循环存储的组提供了空间分级。也就是说，for循环概述了空间分级InfoStruct，该空间分级InfoStruct提供了彼此相同的空间分级。因此，在这种情况下，不需要存储空间分级识别信息(spatial_scalability_id)。换言之，可以在不需要存储空间分级识别信息的情况下识别空间分级。

在图14的B中示出了这种情况下的空间分级InfoStruct(SpatialScalabilityInfoStruct())的语法的示例。在图14的B中的示例的情况下，上述层识别信息(layer_id)和关于点云的分辨率的信息(lod)存储在空间分级InfoStruct中。

注意，同样在这种情况下，如图14的A所示，空间分级标志(spatial_scalability_flag)可以存储在VPCC空间区域框中。

<Matroska媒体容器>

尽管以上已经描述了应用ISOBMFF作为文件格式的示例，但是存储V3C比特流的文件是任意的并且可以不同于ISOBMFF。例如，V3C比特流可以存储在Matroska媒体容器中。Matroska媒体容器的主要配置示例如图15所示。

例如，空间分级信息(或基本增强点云信息)可以存储在存储地图集子比特流的轨道的轨道条目元素下的元素中。

<文件生成装置>

图16是示出作为应用本技术的信息处理装置的方面的文件生成装置的配置的示例的框图。图16所示的文件生成装置300是应用V-PCC并通过应用V-PCC对二维图像的编码方法将点云数据编码为视频帧的装置。此外，文件生成装置300生成ISOBMFF并存储通过编码生成的V3C比特流。

此时，文件生成装置300应用本实施方式中的上述本技术，并且将信息存储在ISOBMFF中，以实现空间分级。也就是说，文件生成装置300将关于空间分级的信息存储在ISOBMFF中。

注意，虽然图16示出了诸如处理单元和数据流的主要要素，但是图16中所示的这些不一定包括所有要素。也就是说，在文件生成装置300中，可以存在图16中未示出为块的处理单元，或者可以存在图16中未示出为箭头等的过程或数据流。

如图16所示，文件生成装置300包括3D2D转换单元301、2D编码单元302、元数据生成单元303、PC流生成单元304、文件生成单元305和输出单元306。

3D2D转换单元301将作为输入至文件生成装置300的3D数据的点云分解成图块并打包图块。也就是说，3D2D转换单元301生成几何视频帧、属性视频帧和占用视频帧。此时，如参考例如图11和图12等所描述的，3D2D转换单元301将点云划分为多个稀疏点云，并且在帧图像中布置每个图块，以便针对每个样本网格(针对每个图块提供彼此相同的空间分级)将每个图块收集到地图集瓦片中。此外，3D2D转换单元301生成地图集信息。3D2D转换单元301将生成的几何视频帧、属性视频帧、占用视频帧、地图集信息等提供给2D编码单元302。

2D编码单元302执行与编码有关的处理。例如，2D编码单元302获取从3D2D转换单元301提供的几何视频帧、属性视频帧、占用图视频帧、地图集信息等。2D编码单元302对它们进行编码以生成比特流。2D编码单元302包括编码单元311至编码单元314。编码单元311对几何视频帧进行编码以生成几何视频子比特流。此外，编码单元312还对属性视频帧进行编码以生成属性视频子比特流。此外，编码单元313对占用视频帧进行编码以生成占用视频子比特流。此外，编码单元314对地图集信息进行编码以生成地图集子比特流。

此时，2D编码单元302应用LoD图块模式，将稀疏点云的每一块图块信息编码为地图集瓦片，并生成一个地图集子比特流。此外，2D编码单元302应用LoD图块模式，对每个稀疏点云的三个图像(几何图像、属性图像和占用图)进行编码，并生成几何视频子比特流、属性视频子比特流以及占用视频子比特流。

2D编码单元302将生成的子比特流提供给元数据生成单元303和PC流生成单元304。例如，编码单元311将生成的几何视频子比特流提供给元数据生成单元303和PC流生成单元304。此外，编码单元312将生成的属性视频子比特流提供给元数据生成单元303和PC流生成单元304。此外，编码单元313将生成的占用视频子比特流提供给元数据生成单元303和PC流生成单元304。此外，编码单元314将生成的地图集子比特流提供给元数据生成单元303和PC流生成单元304。

元数据生成单元303执行与元数据的生成有关的处理。例如，元数据生成单元303获取从2D编码单元302提供的视频子比特流和地图集子比特流。此外，元数据生成单元303使用其数据生成元数据。

例如，元数据生成单元303生成关于所获取的子比特流的空间分级的空间分级信息作为元数据。也就是说，元数据生成单元303通过使用参照图12至图14描述的各种方法中的任何单个方法或通过适当组合任何多种方法来生成空间分级信息。注意，元数据生成单元303可以生成除了空间分级信息之外的任何元数据。

当以这种方式生成包括空间分级信息的元数据时，元数据生成单元303将元数据提供给文件生成单元305。

PC流生成单元304执行与V3C比特流的生成有关的处理。例如，PC流生成单元304获取从2D编码单元302提供的视频子比特流和地图集子比特流。此外，PC流生成单元304通过使用这些子比特流来生成V3C比特流(几何视频子比特流、属性视频子比特流、占用图视频子比特流和地图集子比特流或其集合)，并将V3C比特流提供给文件生成单元305。

文件生成单元305执行与文件的生成有关的处理。例如，文件生成单元305获取包括从元数据生成单元303提供的空间分级信息的元数据。此外，文件生成单元305获取从PC流生成单元304提供的V3C比特流。文件生成单元305生成存储所获取的元数据和V3C比特流的文件(例如，ISOBMFF或Matroska媒体容器)。也就是说，文件生成单元305将空间分级信息存储在与V3C比特流分开的文件中。也就是说，文件生成单元305将空间分级信息存储在系统层中。

此时，文件生成单元305通过使用参照图12和图14等描述的各种方法中的任何单个方法或通过将任何多种方法适当组合，将空间分级信息存储在文件中。例如，文件生成单元305将空间分级信息存储在存储V3C比特流的文件中的图12至图14所示的示例的位置中。

文件生成单元305将生成的文件提供给输出单元306。输出单元306将提供的文件(包括V3C比特流和空间分级信息的文件)输出至文件生成装置300的外部(例如，分发服务器等)。

如上所述，文件生成装置300应用以上在本实施方式中描述的本技术来生成存储V3C比特流和空间分级信息的文件(例如，ISOBMFF或Matroska媒体容器)。

通过这样的配置，可以将系统层中的空间分级信息提供给对3C比特流进行解码的客户端装置。因此，客户端装置可以使用空间分级更容易地再现3D数据，而不需要复杂的工作，例如分析V3C比特流。

注意，这些处理单元(3D2D转换单元301至输出单元306，以及编码单元311至编码单元314)具有任意配置。例如，可以通过实现上述处理的逻辑电路配置每个处理单元。此外，每个处理单元可以包括例如中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)等，并且使用他们来执行程序，从而实现上述处理。当然，每个处理单元可以具有两种配置，并且可以通过逻辑电路实现上述处理的一部分以及通过执行程序来实现另一部分。处理单元的配置可以彼此独立，并且例如，处理单元的一部分可以通过逻辑电路来实现上述处理的一部分，处理单元的另一部分可以通过执行程序来实现上述处理，并且又一处理单元可以通过程序的执行和逻辑电路二者来实现上述处理。

<文件生成处理的流程>

接下来，将参照图17的流程图描述由文件生成装置300执行的文件生成处理的流程的示例。

当文件生成处理开始时，在步骤S301中，文件生成装置300的3D2D转换单元301将点云划分为多个稀疏点云。在步骤S302中，3D2D转换单元301将点云分解为图块以生成几何图块和属性图块。然后，3D2D转换单元301将图块打包成视频帧。此外，3D2D转换单元301生成占用图和地图集信息。

在步骤S303中，2D编码单元302应用LoD图块模式，将稀疏点云的每一块图块信息编码为地图集瓦片，并且生成一个地图集子比特流。

在步骤S304中，2D编码单元302对每个稀疏点云的三个图像(几何视频帧、属性视频帧、占用图视频帧)中的每一个进行编码，并生成几何视频子比特流、属性视频子比特流和占用视频子比特流。

PC流生成单元304使用视频子比特流、地图集子比特流等来生成V3C比特流(点云流)。

在步骤S305中，元数据生成单元303生成包括空间分级信息的元数据。也就是说，元数据生成单元303通过使用参照图12至图14描述的各种方法中的任何单个方法或通过适当组合任何多种方法来生成空间分级信息。例如，元数据生成单元303生成基本增强点云信息作为空间分级信息。

在步骤S306中，文件生成单元305生成诸如ISOBMFF或Matroska媒体容器的文件，并将空间分级信息和V3C比特流存储在文件中。此时，文件生成单元305通过使用参照图12和图14等描述的各种方法中的任何单个方法或通过将任何多种方法适当组合，将空间分级信息存储在文件中。例如，文件生成单元305将在步骤S305中生成的基本增强点云信息存储在文件中。

在步骤S307中，输出单元306将在步骤S306中生成的文件，也就是说，存储V3C比特流和空间分级信息的文件输出至文件生成装置300的外部(例如，分发服务器等)。当步骤S307中的过程结束时，文件生成处理结束。

通过以这种方式执行每个处理，可以在系统层中将空间分级信息提供给对3C比特流进行解码的客户端装置。因此，客户端装置可以使用空间分级更容易地再现3D数据，而不需要复杂的工作，例如分析V3C比特流。

<客户端装置>

以上在本实施方式中描述的本技术不仅可以应用于文件生成装置，还可以应用于客户端装置。图18是示出作为应用本技术的信息处理装置的方面的客户端装置的配置的示例的框图。图18所示的客户端装置400是应用V-PCC，从文件中获取使用点云数据作为视频帧通过用于二维图像的编码方法编码的V3C比特流(几何视频子比特流、属性视频子比特流、占用视频子比特流和地图集子比特流或其集合)，通过用于二维图像的解码方法对V3C比特流进行解码，并且生成(重构)点云的装置。例如，客户端装置400可以从由文件生成装置300生成的文件中提取V3C比特流并对V3C比特流进行解码以生成点云。

此时，客户端装置400通过使用以上在本实施方式中描述的本技术的各种方法中的任何单个方法或者通过适当地组合任何多种方法来实现空间分级。也就是说，客户端装置400基于与V3C比特流一起存储在文件中的空间分级信息来选择和解码重构期望LoD的点云所需的比特流(轨道)。

注意，虽然图18示出了诸如处理单元和数据流的主要要素，但是图18中所示的这些不一定包括所有要素。也就是说，在客户端装置400中，可以存在图18中未示出为块的处理单元，或者可以存在图18中未示出为箭头等的处理或数据流。

如图18所示，客户端装置400包括文件处理单元401、2D解码单元402、显示信息生成单元403和显示单元404。

文件处理单元401从输入至客户端装置400的文件中提取V3C比特流(子比特流)，并将V3C比特流提供给2D解码单元402。此时，文件处理单元401应用在本实施方式中所描述的本技术，并且基于存储在文件中的空间分级信息，来提取与期望的LoD等对应的层的V3C比特流(子比特流)。然后，文件处理单元401将提取的V3C比特流提供给2D解码单元402。

也就是说，将仅对提取层的V3C比特流进行解码。换言之，文件处理单元401基于空间分级信息从解码目标中排除对于构造期望LoD的点云不必要的层的V3C比特流。

文件处理单元401包括文件获取单元411、文件分析单元412和提取单元413。

文件获取单元411获取输入至客户端装置400的文件。如上所述，该文件存储V3C比特流和空间分级信息。例如，该文件是ISOBMFF、Matroska媒体容器等。文件获取单元411将获取的文件提供给文件分析单元412。

文件分析单元412获取从文件获取单元411提供的文件。文件分析单元412分析获取的文件。此时，文件分析单元412通过使用在本实施方式中描述的本技术的各种方法中的任何单个方法或通过适当地组合任何多种方法来分析文件。例如，文件分析单元412分析存储在文件中的空间分级信息并选择要解码的子比特流。例如，基于空间分级信息，文件分析单元412根据网络环境或客户端装置400本身的处理能力来选择提供空间分级的点云的组合(即，要解码的子比特流)。文件分析单元412将其分析结果与文件一起提供给提取单元413。

提取单元413基于文件分析单元412的分析结果从存储在文件中的V3C比特流中提取要解码的数据。也就是说，提取单元413提取由文件分析单元412选择的子比特流.提取单元413将提取的数据提供给2D解码单元402。

2D解码单元402执行与解码有关的处理。例如，2D解码单元402获取从文件处理单元401提供的几何视频子比特流、属性视频子比特流、占用图视频子比特流、地图集子比特流等。2D解码单元402对它们进行解码以生成视频帧和地图集信息。例如，2D解码单元402包括解码单元421至解码单元424。解码单元421对提供的几何视频子比特流进行解码以生成几何视频帧(2D数据)。解码单元422对属性视频子比特流进行解码以生成属性视频帧(2D数据)。解码单元423对占用视频子比特流进行解码以生成占用视频帧(2D数据)。解码单元424对地图集子比特流进行解码，并且生成对应于上述视频帧的地图集信息。

2D解码单元402将生成的比特流提供给显示信息生成单元403。例如，解码单元421将生成的几何视频帧提供给显示信息生成单元403。解码单元422将生成的属性视频帧提供给显示信息生成单元403。解码单元423将生成的占用视频帧提供给显示信息生成单元403。解码单元424将生成的地图集信息提供给显示信息生成单元403。

显示信息生成单元403执行与点云的构造和渲染有关的处理。例如，显示信息生成单元403获取从2D解码单元402提供的视频帧和地图集信息。此外，显示信息生成单元403基于获取的地图集信息来根据打包成获取的视频帧的图块生成点云。然后，显示信息生成单元403渲染点云以生成显示图像，并将显示图像提供给显示单元404。

例如，显示信息生成单元403包括2D3D转换单元431和显示处理单元432。

2D3D转换单元431将布置在从2D解码单元402提供的视频帧中的图块(2D数据)转换成点云(3D数据)。2D3D转换单元431将生成的点云提供给显示处理单元432。

显示处理单元432执行与渲染有关的处理。例如，显示处理单元432获取从2D3D转换单元431提供的点云。此外，显示处理单元432渲染获取的点云以生成显示图像。显示处理单元432将生成的显示图像提供给显示单元404。

显示单元404例如包括诸如监测器的显示装置，并且显示显示图像。例如，显示单元404获取从显示处理单元432提供的显示图像。显示单元404在显示装置上显示显示图像并将显示图像呈现给用户等。

通过这样的配置，客户端装置400可以基于存储在系统层中的空间分级信息来识别提供空间分级的点云的组合。因此，例如，在V-PCC内容分发中，客户端装置可以根据客户端环境选择适当的LoD点云，而不需要诸如分析比特流的复杂的工作。也就是说，客户端装置可以使用空间分级更容易地再现3D数据。

注意，这些处理单元(文件处理单元401至显示单元404、文件获取单元311至提取单元413、解码单元421至解码单元424、以及2D3D转换单元431和显示处理单元432)具有任意配置。例如，可以通过实现上述处理的逻辑电路配置每个处理单元。此外，每个处理单元可以包括例如CPU、ROM、RAM等，并且使用他们来执行程序，从而实现上述处理。当然，每个处理单元可以具有两种配置，并且可以通过逻辑电路实现上述处理的一部分以及通过执行程序来实现另一部分。处理单元的配置可以彼此独立，并且例如，处理单元的一部分可以通过逻辑电路来实现上述处理的一部分，处理单元的另一部分可以通过执行程序来实现上述处理，并且又一处理单元可以通过程序的执行和逻辑电路二者来实现上述处理。

<客户端处理的流程>

将参照图19的流程图描述由编码装置400执行的客户端处理的流程的示例。

当客户端处理开始时，客户端装置400的文件获取单元411在步骤S401中获取要提供给客户端装置400的文件。该文件存储V3C比特流和空间分级信息。例如，该文件是ISOBMFF、Matroska媒体容器等。

在步骤S402中，文件分析单元412基于存储在文件中的空间分级信息(例如，基本增强点云信息)，根据网络环境和客户端装置400自身的处理能力，选择提供空间分级的点云组合。

在步骤S403中，提取单元413从存储在文件中的V3C比特流中提取与步骤S402中选择的多个稀疏点云对应的地图集子比特流和视频子比特流。

在步骤S404中，2D解码单元402对在步骤S403中提取的地图集子比特流和视频子比特流进行解码。

在步骤S405中，显示信息生成单元403基于通过在步骤S403中解码获得的数据来构造点云。也就是说，构造从文件中提取的所期望的LoD的点云。

在步骤S406中，显示信息生成单元403对构造的点云进行渲染，并且生成显示图像。

在步骤S407中，显示单元404使显示装置显示在步骤S406中生成的显示图像。

当步骤S407的处理结束时，客户端处理结束。

通过执行如上所述的每个处理，客户端装置400可以基于存储在系统层中的空间分级信息来识别提供空间分级的点云的组合。因此，例如，在V-PCC内容分发中，客户端装置可以根据客户端环境选择适当的LoD点云，而不需要诸如分析比特流的复杂的工作。也就是说，客户端装置可以使用空间分级更容易地再现3D数据。

<3.第二实施方式>

<存储空间分级信息的控制文件>

本技术还可以应用于例如运动图像专家组阶段-基于HTTP的动态自适应流(MPEG-DASH)。例如，在MPEG-DASH中，可以扩展作为存储与比特流的分发有关的控制信息的控制文件的媒体呈现描述(MPD)，并且可以存储与子比特流的空间分级有关的空间分级信息。

例如，一种信息处理方法包括：对2D数据进行编码，该2D数据通过对将具有三维形状的对象表示为点的集合并与空间分级对应的点云进行二维转换来获得，并且生成比特流，该比特流包括通过对与空间分级的单个或多个层对应的点云进行编码获得的子比特流；生成关于子比特流的空间分级的空间分级信息；以及生成控制文件，该控制文件存储所生成的空间分级信息和关于所生成的比特流的分发的控制信息。

例如，信息处理装置包括：编码单元，其对2D数据进行编码，该2D数据通过对将具有三维形状的对象表示为点的集合并与空间分级对应的点云进行二维转换获得，并且生成比特流，该比特流包括通过对与空间分级的单个或多个层对应的点云进行编码获得的子比特流；空间分级信息生成单元，其生成关于子比特流的空间分级的空间分级信息；以及控制文件生成单元，其生成控制文件，该控制文件存储由空间分级信息生成单元生成的空间分级信息和关于由编码单元生成的比特流的分发的控制信息。

例如，如图20所示，可以扩展MPD的V3C3D区域描述符(V3C3DRegions描述符)以存储空间分级信息(例如，基本增强点云信息)。

通过这样做，可以将系统层(MPD)中的空间分级信息提供给获取要通过使用MPD进行解码的V3C比特流的客户端装置。因此，客户端装置可以使用空间分级更容易地再现3D数据，而不需要复杂的工作，例如分析V3C比特流。

例如，一种信息处理方法包括：基于存储在存储关于比特流的分发的控制信息的控制文件中的空间分级信息来选择要解码的空间分级的层，该空间分级信息关于通过对2D数据进行编码获得的比特流的空间分级，该2D数据通过对将具有三维形状的对象表示为点的集合并且与空间分级对应的点云进行二维转换来获得；获取与所选择的层对应的子比特流；以及对所获取的子比特流进行解码。

例如，信息处理装置包括：选择单元，其基于存储在存储关于比特流的分发的控制信息的控制文件中的空间分级信息来选择要解码的空间分级的层，该空间分级信息关于通过对2D数据进行编码获得的比特流的空间分级，该2D数据通过对将具有三维形状的对象表示为点的集合并且与空间分级对应的点云进行二维转换来获得；获取单元，其获取与由选择单元选择的层对应的子比特流；以及解码单元，其对由获取单元获取的子比特流进行解码。

例如，如图20所示，可以基于存储在MPD的V3C3D区域描述符(V3C3DRegions描述符)中的空间分级信息(例如，基本增强点云信息)来选择要解码的空间分级的层。

以这种方式，客户端装置可以识别基于存储在其系统层(MPD)中的空间分级信息提供空间分级的点云组合。因此，例如，在V-PCC内容分发中，客户端装置可以根据客户端环境选择适当的LoD点云，而不需要诸如分析比特流的复杂的工作。

例如，客户端装置可以执行控制，例如获取点云的靠近具有高LoD的视点的部分以及获取具有低LoD的其他远处部分。因此，客户端装置即使在网络带宽限制的情况下也可以更有效地使用频带，并且为用户提供高质量的媒体体验。

也就是说，客户端装置可以使用空间分级更容易地再现3D数据。

例如，作为空间分级信息，指定每个组(稀疏图块)的选择顺序(层)——例如将哪个组(稀疏图块)设置为基本层以及将哪个组(稀疏图块)设置为增强层——的基本增强分组信息可以存储在系统层中。

通过这样做，客户端装置可以基于空间分级信息容易地掌握构造期望的LoD的点云需要哪个组。因此，客户端装置可以更容易地选择适当LoD的点云。

此外，如图20所示，关于各个层(组)的比特流的分发的控制信息可以存储在彼此不同的MPD的适配集(Adaptation Sets)中。在图20的示例的情况下，将关于包括由白色圆圈指示的点的稀疏图块、包括由黑色圆圈指示的点的稀疏图块、包括由灰色圆圈指示的点的稀疏图块以及包括由阴影圆圈指示的点的稀疏图块的控制信息存储在彼此不同的适应集中。通过这样做，客户端装置可以通过选择要解码的适配集来选择期望层(组)的比特流。也就是说，客户端装置可以更容易地获取和解码期望层(组)的比特流。

<空间分级信息的示例>

图21是示出V3C3D区域描述符的语法的示例的图。如图21所示，层识别信息(layerId)可以作为空间分级信息存储在V3C3D区域描述符的vpsr.spatialRegion.spatialScalabilityInfo中。如ISOBMFF的情况一样，层识别信息是指示与子比特流对应的层的识别信息，在该子比特流中，控制信息存储在与vpsr.spatialRegion.spatialScalabilityInfo对应的适配集中。例如，layerId＝0指示基本层，并且layerId＝1至255指示增强层。

也就是说，文件生成装置可以将层识别信息(layerId)存储在MPD的V3C3D区域描述符中，并且客户端装置可以基于存储在MPD的V3C3D区域描述符中的层识别信息来选择子比特流(适配集)。通过这样做，客户端装置可以基于层识别信息来掌握与在每个适配集中存储控制信息的子比特流(稀疏图块)对应的层。因此，客户端装置可以更容易地按照内容创建者想要的顺序选择和获取实现高清晰度的点云。因此，客户端装置可以通过使用空间分级更容易地再现3D数据。

此外，如图21中所示，除了层识别信息之外，关于通过重构从空间分级的最高层到由识别信息指示的层的每一层对应的点云获得的点云的分辨率的信息(lod)可以存储在V3C3D区域描述符的vpsr.spatialRegion.spatialScalabilityInfo中。

例如，在满足layerId＝0的情况下，关于该点云的分辨率的信息(lod)指示基本层的LoD值。此外，例如，在不满足layerId＝0的情况下，关于该点云的分辨率的信息(lod)指示通过同时显示从0到(layer_id-1)的点云获得的LoD值。注意，LoD值可以是由内容创建者确定的参考值。注意，同样在这种情况下，关于点云的分辨率的信息(lod)可能不发信号通知，并且layer_id的值可以发信号通知关于点云的分辨率的信息。也就是说，关于点云的分辨率的信息(lod)可以包括在层识别信息(layer_id)中。例如，layer_id的值也可以指示与从空间分级的最高层到由层识别信息指示的层的每一层对应的点云的分辨率(lod值)。

也就是说，文件生成装置可以将关于点云的分辨率的信息(lod)存储在MPD的V3C3D区域描述符中，并且客户端装置可以基于存储在MPD的V3C3D区域描述符中的关于点云的分辨率的信息来选择子比特流(适配集)。通过这样做，客户端装置可以更容易地掌握需要选择哪个适配集以获得期望的LoD。因此，客户端装置可以通过使用空间分级更容易地再现3D数据。

此外，如图21所示，除了层识别信息之外，用于识别空间分级的空间分级识别信息(id)可以存储在V3C3D区域描述符的vpsr.spatialRegion.spatialScalabilityInfo中。彼此具有相同空间分级识别信息(id)的一组空间区域(SpatialRegion)提供空间分级。也就是说，当组合具有彼此相同的空间分级识别信息(id)的多个区域时，可以获得高LoD点云。

也就是说，文件生成装置可以将空间分级识别信息(id)存储在MPD的V3C3D区域描述符中，并且客户端装置可以基于存储在MPD的V3C3D区域描述符中的空间分级识别信息(id)来选择子比特流(适配集)。通过这样做，客户端装置可以更容易地指定提供空间分级的组。因此，客户端装置可以通过使用空间分级更容易地再现3D数据。

<空间分级信息的另一示例>

注意，如图22所示的示例中，可以发信号通知与层数对应的vpsr.spatialRegion.spatialScalabilityInfo和asIds，而不是发信号通知vpsr.spatialRegion.spatialScalabilityInfo@id。此时，特定vpsr.spatialRegion下的多个spatialScalabilityInfo提供了空间分级。

<MPD描述示例>

图23是示出在应用这种本技术的情况下MPD的描述示例的图。图24示出了图23中从上起第五行中所示的补充属性的描述示例。

在图24所示的示例的情况下，设置空间分级识别信息(id)和关于点云的分辨率的信息(lod)，并且层识别信息(layerId)被示出为v3c:spatialScalabilityInfo。

因此，客户端装置可以基于MPD获取用于构造期望LoD的点云所需的比特流。也就是说，客户端装置可以使用空间分级更容易地再现3D数据。

<文件生成装置>

图25是示出在这种情况下文件生成装置300的主要配置示例的框图。也就是说，图25所示的文件生成装置300示出了作为应用本技术的信息处理装置的一方面的文件生成装置的配置的示例。图25所示的文件生成装置300是应用V-PCC并通过应用V-PCC对二维图像的编码方法将点云数据编码为视频帧的装置。此外，在这种情况下，文件生成装置300生成MPD，该MPD存储用于控制通过编码生成的V3C比特流的分发的控制信息。

此时，文件生成装置300应用以上在本实施方式中描述的本技术，并将信息存储在MPD中以实现空间分级。也就是说，文件生成装置300将关于空间分级的信息存储在MPD中。

注意，虽然图25示出了诸如处理单元和数据流的主要要素，但是图25中所示的这些不一定包括所有要素。也就是说，在生成装置300中，可以存在图25中未示出为块的处理单元，或者可以存在图25中未示出为箭头等的处理或数据流。

如图25所示，除了参照图16说明的配置以外，文件生成装置300还包括MPD生成单元501。

在这种情况下，元数据生成单元303生成与图16的情况下相同的元数据。例如，元数据生成单元303生成关于所获取的子比特流的空间分级的空间分级信息作为元数据。也就是说，元数据生成单元303通过使用参照图20至图24描述的各种方法中的任何单个方法或通过适当组合任何多种方法来生成空间分级信息。注意，元数据生成单元303可以生成除了空间分级信息之外的任何元数据。

当以这种方式生成包括空间分级信息的元数据时，元数据生成单元303将元数据提供给MPD生成单元501。

MPD生成单元501获取包括从元数据生成单元303提供的空间分级信息的元数据。MPD生成单元501生成存储所获取的元数据的MPD。也就是说，MPD生成单元501将空间分级信息存储在MPD中。也就是说，MPD生成单元501将空间分级信息存储在系统层中。

此时，MPD生成单元501通过使用参照图20至图24描述的各种方法中的任何单个方法或通过将任何多个方法适当组合，将空间分级信息存储在MPD中。例如，如图24所示，MPD生成单元501将空间分级信息存储在MPD的v3c:spatialScalabilityInfo中。

MPD生成单元501将所生成的MPD提供给输出单元306。输出单元306将提供的MPD(包括空间分级信息的MPD)输出至文件生成装置300的外部(例如，分发服务器、客户端装置等)。

如上所述，文件生成装置300应用以上在本实施方式中描述的本技术来生成存储空间分级信息的MPD。

通过这样的配置，可以将系统层中的空间分级信息提供给对V3C比特流进行解码的客户端装置。因此，客户端装置可以使用空间分级更容易地再现3D数据，而不需要复杂的工作，例如分析V3C比特流。

注意，这些处理单元(3D2D转换单元301至输出单元306、MPD生成单元501和编码单元311至编码单元314)具有任意配置。例如，可以通过实现上述处理的逻辑电路配置每个处理单元。此外，每个处理单元可以包括例如CPU、ROM、RAM等，并且使用他们来执行程序，从而实现上述处理。当然，每个处理单元可以具有两种配置，并且可以通过逻辑电路实现上述处理的一部分以及通过执行程序来实现另一部分。处理单元的配置可以彼此独立，并且例如，处理单元的一部分可以通过逻辑电路来实现上述处理的一部分，处理单元的另一部分可以通过执行程序来实现上述处理，并且又一处理单元可以通过程序的执行和逻辑电路二者来实现上述处理。

<文件生成处理的流程>

将参照图26的流程图描述在这种情况下由文件生成装置300执行的文件生成处理的流程的示例。

当文件生成处理开始时，与图17的步骤S301至S305的每个过程类似地执行步骤S501至S505的每个过程。

在步骤S506中，文件生成单元305生成文件并将V3C比特流(每个子比特流)存储在文件中。

在步骤S507中，MPD生成单元501生成存储空间分级信息(例如，基本增强点云信息)的MPD。此时，MPD生成单元501通过使用参照图20至图24描述的各种方法中的任何单个方法或通过将任何多个方法适当组合，将空间分级信息存储在MPD中。

在步骤S508中，输出单元306将在步骤S506中生成的文件和在步骤S507中生成并存储空间分级信息的MPD输出至文件生成装置300的外部(例如，分发服务器等)。当步骤S508中的过程结束时，文件生成处理结束。

通过以这种方式执行每个处理，可以将系统层中的空间分级信息提供给对V3C比特流进行解码的客户端装置。因此，客户端装置可以使用空间分级更容易地再现3D数据，而不需要复杂的工作，例如分析V3C比特流。

<客户端装置>

以上在本实施方式中描述的本技术不仅可以应用于文件生成装置，还可以应用于客户端装置。图27是示出在这种情况下客户端装置400的主要配置示例的框图。也就是说，图27所示的客户端装置400示出了应用本技术的信息处理装置的一方面的客户端装置的配置示例。图27所示的客户端装置400是应用V-PCC，基于MPD获取使用点云数据作为视频帧通过用于二维图像的编码方法编码的V3C比特流(几何视频子比特流、属性视频子比特流、占用视频子比特流和地图集子比特流或其集合)，通过用于二维图像的解码方法对V3C比特流进行解码，并且生成(重构)点云的装置。例如，客户端装置400可以基于由文件生成装置300生成的MPD来获取和解码V3C比特流以生成点云。

此时，客户端装置400通过使用以上在本实施方式中描述的本技术的各种方法中的任何单个方法或者通过适当地组合任何多种方法来实现空间分级。也就是说，客户端装置400基于存储在MPD中的空间分级信息选择并获取重构期望LoD的点云所需的比特流(轨道)。

注意，虽然图27示出了诸如处理单元和数据流的主要要素，但是图27中所示的这些不一定包括所有要素。也就是说，在客户端装置400中，可以存在图27中未示出为块的处理单元，或者可以存在图27中未示出为箭头等的处理或数据流。

如图27所示，除了图18所示的配置之外，客户端装置400还包括MPD分析单元601。

MPD分析单元601分析由文件获取单元411获取的MPD，选择要解码的比特流，并使文件获取单元411获取比特流。

此时，MPD分析单元601通过使用在本实施方式中描述的本技术的各种方法中的任何单个方法或通过将任何多种方法适当组合来分析MPD。例如，MPD分析单元601分析存储在MPD中的空间分级信息，并选择要解码的子比特流。例如，基于空间分级信息，MPD分析单元601根据网络环境或客户端装置400本身的处理能力来选择提供空间分级的点云的组合(即，要解码的子比特流)。MPD分析单元601基于分析结果控制文件获取单元411以获取选择的比特流。

在这种情况下，文件获取单元411从分发服务器等获取MPD并将MPD提供给MPD分析单元601。此外，文件获取单元411由MPD分析单元601控制，从分发服务器等中获取包括由MPD分析单元601选择的比特流的文件，并将文件提供给文件分析单元412。

文件分析单元412分析文件，并且提取单元413基于分析结果提取比特流，并将比特流提供给2D解码单元402。

2D解码单元402至显示单元404执行与图18的情况下相同的处理。

通过这样的配置，客户端装置400可以基于存储在系统层中的空间分级信息来识别提供空间分级的点云的组合。因此，例如，在V-PCC内容分发中，客户端装置可以根据客户端环境选择适当的LoD点云，而不需要诸如分析比特流的复杂的工作。也就是说，客户端装置可以使用空间分级更容易地再现3D数据。

注意，这些处理单元(文件处理单元401至显示单元404、文件获取单元311至提取单元413、解码单元421至解码单元424、2D3D转换单元431和显示处理单元432以及MPD分析单元601)具有任意配置。例如，可以通过实现上述处理的逻辑电路配置每个处理单元。此外，每个处理单元可以包括例如CPU、ROM、RAM等，并且使用他们来执行程序，从而实现上述处理。当然，每个处理单元可以具有两种配置，并且可以通过逻辑电路实现上述处理的一部分以及通过执行程序来实现另一部分。处理单元的配置可以彼此独立，并且例如，处理单元的一部分可以通过逻辑电路来实现上述处理的一部分，处理单元的另一部分可以通过执行程序来实现上述处理，并且又一处理单元可以通过程序的执行和逻辑电路二者来实现上述处理。

<客户端处理的流程>

将参照图28的流程图描述由编码装置400执行的客户端处理的流程的示例。

当客户端处理开始时，客户端装置400的文件获取单元411在步骤S601中获取MPD。

在步骤S602中，MPD分析单元601基于在MPD中描述的空间分级信息(基本增强点云信息)，根据网络环境和客户端处理能力，来选择提供空间分级的点云的组合。

在步骤S603中，文件获取单元411获取存储有与在步骤S602中选择的多个稀疏点云对应的地图集子比特流和视频子比特流的文件。

在步骤S604中，提取单元413从文件中提取桁架子比特流和视频子比特流。

与图19的步骤S404至S407的各个处理类似地执行步骤S605至S608的各个处理。

当步骤S608的处理结束时，客户端处理结束。

通过执行如上所述的每个处理，客户端装置400可以基于存储在系统层中的空间分级信息来识别提供空间分级的点云的组合。因此，例如，在V-PCC内容分发中，客户端装置可以根据客户端环境选择适当的LoD点云，而不需要诸如分析比特流的复杂的工作。也就是说，客户端装置可以使用空间分级更容易地再现3D数据。

<4.附录>

<计算机>

可以通过硬件执行或者可以通过软件执行上述一系列处理。在通过软件执行一系列处理的情况下，构成软件的程序被安装在计算机中。此处，计算机包括合并在专用硬件中的计算机、例如可以通过安装各种程序来执行各种功能的通用个人计算机等。

图29是示出通过程序执行上述一系列过程的计算机的硬件的配置示例的框图。

在图29所示的计算机900中，中央处理单元(CPU)901、只读存储器(ROM)902和随机存取存储器(RAM)903经由总线904互连。

输入-输出接口910也连接至总线904。输入单元911、输出单元912、存储单元913、通信单元914和驱动器915连接至输入-输出接口910。

输入单元911包括例如键盘、鼠标、麦克风、触摸板、输入端子等。输出单元912例如包括显示器、扬声器、输出端子等。存储单元913例如包括硬盘、RAM盘、非易失性存储器等。通信单元914包括例如网络接口。驱动器915驱动可移除介质921，例如，磁盘、光盘、磁光盘或半导体存储器。

在如上所述配置的计算机中，CPU 901经由输入-输出接口910和总线904将例如存储在存储单元913中的程序加载到RAM 903中并且执行该程序，以便执行上述一系列处理。RAM 903还适当地存储CPU 901执行各种过程所需的数据等。

例如，由计算机执行的程序可以通过被记录在作为封装介质等的可移除介质921中来被应用。在这种情况下，可以通过将可移除介质921附接至驱动器915，经由输入-输出接口910将程序安装在存储单元913中。

此外，可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供该程序。在这种情况下，程序可以由通信单元914接收并且被安装在存储单元913中。

另外，该程序可以被预先安装在ROM 902或存储单元913中。

<本技术适用的目标>

尽管上面已经描述了将本技术应用于点云数据的编码和解码的情况，但是本技术不限于这些示例，并且可以应用于任何标准的3D数据的编码和解码。也就是说，只要与上述本技术不存在矛盾，诸如编码和解码方法的各种类型的处理以及诸如3D数据和元数据的各种类型的数据的规范就是任意的。此外，只要与本技术不存在矛盾，就可以省略上述处理和规范的一部分。

此外，本技术可以应用于任何配置。例如，本技术可以应用于各种电子装置。

此外，例如，本技术还可以被实现为装置的一部分的配置，装置例如作为系统大规模集成(LSI)等的处理器(例如，视频处理器)、使用多个处理器等的模块(例如，视频模块)，使用多个模块等的单元(例如，视频单元)，或者通过向单元进一步添加其他功能而获得的集合(例如，视频集合)。

此外，例如，还可以将本技术应用于包括多个装置的网络系统。例如，可以将本技术实现为通过多个装置经由网络协作共享和处理的云计算。例如，本技术可以在云服务中实现，该云服务向诸如计算机、视听(AV)装置、便携式信息处理终端或物联网(IoT)装置的任何终端提供与图像(运动图像)有关的服务。

注意，在本说明书中，系统意味着多个部件(装置、模块(零件)等)的集合，并且所有部件是否都在同一壳体中并不重要。因此，容纳在不同的壳体中并且经由网络连接的多个装置，以及其中多个模块被容纳在一个壳体中的一个装置都是系统。

<本技术适用的领域和应用>

注意，应用本技术的系统、装置、处理单元等可以在任何领域，例如交通、医疗、预防犯罪、农业、畜牧业、采矿、美容、工厂、家用电器、天气、自然监测等中使用。此外，其使用是任意的。

例如，本技术可以应用于用于提供供欣赏的内容等的系统和装置。此外，例如，本技术还可以应用于用于交通例如交通状况管理和自主驾驶控制的系统和装置。此外，例如，本技术也可以应用于用于安全性的系统和装置。此外，例如，本技术可以应用于用于机器等的自动控制的系统和装置。此外，例如，本技术还可以应用于提供给农业和畜牧业使用的系统和装置。此外，本技术还可以应用于例如监测自然状态例如火山、森林、海洋、野生动物等的系统和装置。此外，例如，本技术也可以应用于用于体育运动的系统和装置。

<其他>

注意，在本说明书中，“标志”是用于识别多个状态的信息，并且不仅包括用于识别真(1)或假(0)两个状态的信息，而且包括可以识别三个或更多个状态的信息。因此，该“标志”可以取的值可以是例如1和0两个值，或者三个或更多个值。也就是说，构成该“标志”的位的数目是任意的，并且可以是一个位或多个位。此外，假设识别信息(包括标志)不仅包括其在比特流中的识别信息，而且还包括识别信息相对于比特流中的特定参考信息的差异信息，并且因此，在本说明书中，“标志”和“识别信息”不仅包括其信息，而且还包括相对于参考信息的差异信息。

此外，可以以任何形式发送或记录与编码数据(比特流)有关的各种类型的信息(元数据等)，只要该信息与编码数据相关联。在此，术语“关联”意味着，例如，当处理其他数据时，可以使用(链接)一个数据。也就是说，彼此关联的数据可以被组合为一个数据，或者可以是单独的数据。例如，与编码数据(图像)相关联的信息可以在与编码数据(图像)的传输路径不同的传输路径上传输。此外，例如，与编码数据(图像)相关联的信息可以记录在与编码数据(图像)不同的记录介质(或同一记录介质的另一个记录区域)中。注意，该“关联”可能是数据的一部分而不是整个数据。例如，图像和与该图像对应的信息可以以诸如多个帧、一帧或帧的一部分的任意单位彼此相关联。

注意，在本说明书中，诸如“组合”、“多路复用”、“添加”、“集成”、“包括”、“存储”、“放入”、“插入”和“嵌入”的术语意味着将多个项目组合成一个，例如将编码数据和元数据组合为一个数据，并且意味着上述“关联”的一种方法。

此外，本技术的实施方式不限于上述实施方式，并且在不脱离本技术的范围的情况下各种修改可行。

例如，被描述为一个装置(或处理单元)的配置可以被划分并且配置为多个装置(或处理单元)。相反，以上被描述为多个装置(或处理单元)的配置可以被组合并配置为一个装置(或处理单元)。此外，除上述配置之外的配置当然可以被添加到每个装置(或每个处理单元)的配置。此外，如果整个系统的配置和操作基本上相同，则某个装置(或处理单元)的配置的一部分可以被包括在另一装置(或另一处理单元)的配置中。

此外，例如，上述程序可以在任何装置中执行。在这种情况下，只要装置具有必要的功能(功能块等)并且可以获取必要的信息就足够了。

此外，例如，一个流程图的每个步骤可以由一个装置执行，或者可以由多个装置共享并且执行。此外，在一个步骤中包括多个过程的情况下，该多个过程可以由一个装置执行，或者可以由多个装置共享和执行。换言之，可以将一个步骤中包括的多个过程作为多个步骤的过程来执行。相反，被描述为多个步骤的过程可以作为一个步骤共同执行。

此外，例如，在由计算机执行的程序中，用于描述该程序的步骤中的过程可以按照本说明书中描述的顺序按时间序列执行，或者可以在必要的定时例如当进行调用时并行或单独执行。也就是说，只要不出现矛盾，就可以以与上述顺序不同的顺序执行相应步骤中的过程。此外，用于描述该程序的步骤中的过程可以与另一程序中的过程并行执行，或者可以与另一个程序中的过程组合执行。

此外，例如，只要不存在矛盾，与本技术有关的多个技术就可以作为单个主体被独立地实现。当然，本技术中的任意多个也可以被组合使用和实现。例如，实施方式中的任何一个中描述的本技术的部分或全部可以与其他实施方式中描述的本技术的部分或全部结合而实现。此外，可以通过与上面未描述的另一技术一起使用来实现上述本技术中的任何一个的部分或全部。

注意，本技术可以具有如下配置。

(1)一种信息处理装置，包括：

编码单元，其对二维(2D)数据进行编码并生成比特流，所述2D数据通过对将具有三维形状的对象表示为点的集合并与空间分级对应的点云进行二维转换来获得，所述比特流包括通过对与所述空间分级的单个或多个层对应的所述点云进行编码获得的子比特流；

空间分级信息生成单元，其生成关于所述子比特流的空间分级的空间分级信息；以及

文件生成单元，其生成存储由所述编码单元生成的比特流和由所述空间分级信息生成单元生成的空间分级信息的文件。

(2)根据(1)所述的信息处理装置，其中，

所述空间分级信息包括层识别信息，所述层识别信息指示与存储在所述文件的轨道组中的子比特流对应的层。

(3)根据(2)所述的信息处理装置，其中，

所述空间分级信息还包括关于通过重构与从所述空间分级的最高层到由所述层识别信息指示的层的每一层对应的点云获得的点云的分辨率的信息。

(4)根据(3)所述的信息处理装置，其中，

所述空间分级信息还包括用于识别所述空间分级的空间分级识别信息。

(5)一种信息处理方法，包括：

对2D数据进行编码并生成比特流，所述2D数据通过对将具有三维形状的对象表示为点的集合并与空间分级对应的点云进行二维转换来获得，所述比特流包括通过对与所述空间分级的单个或多个层对应的点云进行编码获得的子比特流；

生成关于所述子比特流的所述空间分级的空间分级信息；以及

生成存储所生成的比特流和所述空间分级信息的文件。

(6)一种信息处理装置，包括：

选择单元，其基于存储在文件中并且关于比特流的空间分级的空间分级信息来选择要解码的空间分级的层，所述比特流通过对2D数据进行编码来获得，所述2D数据通过对将具有三维形状的对象表示为点的集合并与所述空间分级对应的点云进行二维转换来获得；

提取单元，其从存储在所述文件中的比特流中提取与由所述选择单元选择的层对应的子比特流；以及

解码单元，其对由所述提取单元提取的子比特流进行解码。

(7)根据(6)所述的信息处理装置，其中，

所述选择单元基于包括在所述空间分级信息中并且指示与存储在所述文件的轨道组中的子比特流对应的层的层识别信息，选择要解码的空间分级的层。

(8)根据(7)所述的信息处理装置，其中，

所述选择单元还基于包括在所述空间分级信息中并且关于通过重构与从所述空间分级的最高层到由所述层识别信息指示的层的每一层对应的点云获得的点云的分辨率的信息，选择要解码的空间分级的层。

(9)根据(8)所述的信息处理装置，其中，

所述选择单元还基于包括在所述空间分级信息中的用于识别所述空间分级的空间分级识别信息，选择要解码的空间分级的层。

(10)一种信息处理方法，包括：

基于存储在文件中并且关于比特流的空间分级的空间分级信息来选择要解码的空间分级的层，所述比特流通过对2D数据进行编码来获得，所述2D数据通过对将具有三维形状的对象表示为点的集合并与所述空间分级对应的点云进行二维转换来获得；

从存储在所述文件中的比特流中提取与所选择的所述层对应的子比特流；以及

对所提取的子比特流进行解码。

(11)一种信息处理装置，包括：

编码单元，其对2D数据进行编码并生成比特流，所述2D数据通过对将具有三维形状的对象表示为点的集合并与空间分级对应的点云进行二维转换来获得，所述比特流包括通过对与所述空间分级的单个或多个层对应的点云进行编码获得的子比特流；

空间分级信息生成单元，其生成关于所述子比特流的空间分级的空间分级信息；以及

控制文件生成单元，其生成控制文件，所述控制文件存储由所述空间分级信息生成单元生成的空间分级信息和关于由所述编码单元生成的比特流的分发的控制信息。

(12)根据(11)所述的信息处理装置，其中，

所述空间分级信息包括层识别信息，所述层识别信息指示与其中所述控制信息存储在所述控制文件的适配组中的子比特流对应的层。

(13)根据(12)所述的信息处理装置，其中，

所述空间分级信息还包括关于通过重构与从所述空间分级的最高层到由所述层识别信息指示的层的每一层对应的点云获得的点云的分辨率的信息。

(14)根据(13)所述的信息处理装置，其中，

所述空间分级信息还包括用于识别所述空间分级的空间分级识别信息。

(15)一种信息处理方法，包括：

对2D数据进行编码并生成比特流，所述2D数据通过对将具有三维形状的对象表示为点的集合并与空间分级对应的点云进行二维转换来获得，所述比特流包括通过对与所述空间分级的单个或多个层对应的点云进行编码获得的子比特流；

生成关于所述子比特流的空间分级的空间分级信息；以及

生成控制文件，所述控制文件存储所生成的空间分级信息和关于所生成的比特流的分发的控制信息。

(16)一种信息处理装置，包括：

选择单元，其基于存储在存储关于比特流的分发的控制信息的控制文件中的关于所述比特流的空间分级的空间分级信息来选择要解码的空间分级的层，所述比特流通过对2D数据进行编码来获得，所述2D数据通过对将具有三维形状的对象表示为点的集合并且与所述空间分级对应的点云进行二维转换来获得；

获取单元，其获取与由所述选择单元选择的层对应的子比特流；以及

解码单元，其对由所述获取单元获取的子比特流进行解码。

(17)根据(16)所述的信息处理装置，其中，

所述选择单元基于包括在所述空间分级信息中并且指示与其中所述控制信息存储在所述控制文件的适配组中的子比特流对应的层的层识别信息，选择要解码的空间分级的层。

(18)根据(17)所述的信息处理装置，其中，

所述选择单元还基于包括在所述空间分级信息中并且关于通过重构与从所述空间分级的最高层到由所述层识别信息指示的层的每一层对应的点云获得的点云的分辨率的信息，选择要解码的空间分级的层。

(19)根据(18)所述的信息处理装置，其中，

所述选择单元还基于包括在所述空间分级信息中的用于识别所述空间分级的空间分级识别信息，选择要解码的空间分级的层。

(20)一种信息处理方法，包括：

基于存储在存储关于比特流的分发的控制信息的控制文件中的关于所述比特流的空间分级的空间分级信息来选择要解码的空间分级的层，所述比特流通过对2D数据进行编码来获得，所述2D数据通过对将具有三维形状的对象表示为点的集合并且与所述空间分级对应的点云进行二维转换来获得；

获取与所选择的层对应的子比特流；以及

对所获取的子比特流进行解码。

附图标记列表

300 文件生成装置

301 3D2D转换单元

302 2D编码单元

303 元数据生成单元

304 PC流生成单元

305 文件生成单元

306 输出单元

311至314 编码单元

400 客户端装置

401 文件处理单元

402 2D解码单元

403 显示信息生成单元

404 显示单元

411 文件获取单元

412 文件分析单元

413 提取单元

421至424 解码单元

431 2D3D转换单元

432 显示处理单元

501 MPD生成单元

601 MPD分析单元

Claims (20)

1.一种信息处理装置，包括：

编码单元，其对2D数据进行编码并生成比特流，所述2D数据通过对将具有三维形状的对象表示为点的集合并与空间分级对应的点云进行二维转换来获得，所述比特流包括通过对与所述空间分级的单个或多个层对应的所述点云进行编码获得的子比特流；

空间分级信息生成单元，其生成关于所述子比特流的空间分级的空间分级信息；以及

文件生成单元，其生成存储由所述编码单元生成的比特流和由所述空间分级信息生成单元生成的空间分级信息的文件。

2.根据权利要求1所述的信息处理装置，其中，

所述空间分级信息包括层识别信息，所述层识别信息指示与存储在所述文件的轨道组中的子比特流对应的层。

3.根据权利要求2所述的信息处理装置，其中，

所述空间分级信息还包括关于通过重构与从所述空间分级的最高层到由所述层识别信息指示的层的每一层对应的点云获得的点云的分辨率的信息。

4.根据权利要求3所述的信息处理装置，其中，

所述空间分级信息还包括用于识别所述空间分级的空间分级识别信息。

5.一种信息处理方法，包括：

对2D数据进行编码并生成比特流，所述2D数据通过对将具有三维形状的对象表示为点的集合并与空间分级对应的点云进行二维转换来获得，所述比特流包括通过对与所述空间分级的单个或多个层对应的点云进行编码获得的子比特流；

生成关于所述子比特流的所述空间分级的空间分级信息；以及

生成存储所生成的比特流和所述空间分级信息的文件。

6.一种信息处理装置，包括：

选择单元，其基于存储在文件中并且关于比特流的空间分级的空间分级信息来选择要解码的空间分级的层，所述比特流通过对2D数据进行编码来获得，所述2D数据通过对将具有三维形状的对象表示为点的集合并与所述空间分级对应的点云进行二维转换来获得；

提取单元，其从存储在所述文件中的比特流中提取与由所述选择单元选择的层对应的子比特流；以及

解码单元，其对由所述提取单元提取的子比特流进行解码。

7.根据权利要求6所述的信息处理装置，其中，

所述选择单元基于包括在所述空间分级信息中并且指示与存储在所述文件的轨道组中的子比特流对应的层的层识别信息，选择要解码的空间分级的层。

8.根据权利要求7所述的信息处理装置，其中，

所述选择单元还基于包括在所述空间分级信息中并且关于通过重构与从所述空间分级的最高层到由所述层识别信息指示的层的每一层对应的点云获得的点云的分辨率的信息，选择要解码的空间分级的层。

9.根据权利要求8所述的信息处理装置，其中，

所述选择单元还基于包括在所述空间分级信息中的用于识别所述空间分级的空间分级识别信息，选择要解码的空间分级的层。

10.一种信息处理方法，包括：

基于存储在文件中并且关于比特流的空间分级的空间分级信息来选择要解码的空间分级的层，所述比特流通过对2D数据进行编码来获得，所述2D数据通过对将具有三维形状的对象表示为点的集合并与所述空间分级对应的点云进行二维转换来获得；

从存储在所述文件中的比特流中提取与所选择的所述层对应的子比特流；以及

对所提取的子比特流进行解码。

11.一种信息处理装置，包括：

编码单元，其对2D数据进行编码并生成比特流，所述2D数据通过对将具有三维形状的对象表示为点的集合并与空间分级对应的点云进行二维转换来获得，所述比特流包括通过对与所述空间分级的单个或多个层对应的点云进行编码获得的子比特流；

空间分级信息生成单元，其生成关于所述子比特流的空间分级的空间分级信息；以及

控制文件生成单元，其生成控制文件，所述控制文件存储由所述空间分级信息生成单元生成的空间分级信息和关于由所述编码单元生成的比特流的分发的控制信息。

12.根据权利要求11所述的信息处理装置，其中，

所述空间分级信息包括层识别信息，所述层识别信息指示与其中所述控制信息存储在所述控制文件的适配组中的子比特流对应的层。

13.根据权利要求12所述的信息处理装置，其中，

所述空间分级信息还包括关于通过重构与从所述空间分级的最高层到由所述层识别信息指示的层的每一层对应的点云获得的点云的分辨率的信息。

14.根据权利要求13所述的信息处理装置，其中，

所述空间分级信息还包括用于识别所述空间分级的空间分级识别信息。

15.一种信息处理方法，包括：

对2D数据进行编码并生成比特流，所述2D数据通过对将具有三维形状的对象表示为点的集合并与空间分级对应的点云进行二维转换来获得，所述比特流包括通过对与所述空间分级的单个或多个层对应的点云进行编码获得的子比特流；

生成关于所述子比特流的空间分级的空间分级信息；以及

生成控制文件，所述控制文件存储所生成的空间分级信息和关于所生成的比特流的分发的控制信息。

16.一种信息处理装置，包括：

选择单元，其基于存储在存储关于比特流的分发的控制信息的控制文件中的关于所述比特流的空间分级的空间分级信息来选择要解码的空间分级的层，所述比特流通过对2D数据进行编码来获得，所述2D数据通过对将具有三维形状的对象表示为点的集合并且与所述空间分级对应的点云进行二维转换来获得；

获取单元，其获取与由所述选择单元选择的层对应的子比特流；以及

解码单元，其对由所述获取单元获取的子比特流进行解码。

17.根据权利要求16所述的信息处理装置，其中，

所述选择单元基于包括在所述空间分级信息中并且指示与其中所述控制信息存储在所述控制文件的适配组中的子比特流对应的层的层识别信息，选择要解码的空间分级的层。

18.根据权利要求17所述的信息处理装置，其中，

所述选择单元还基于包括在所述空间分级信息中并且关于通过重构与从所述空间分级的最高层到由所述层识别信息指示的层的每一层对应的点云获得的点云的分辨率的信息，选择要解码的空间分级的层。

19.根据权利要求18所述的信息处理装置，其中，

所述选择单元还基于包括在所述空间分级信息中的用于识别所述空间分级的空间分级识别信息，选择要解码的空间分级的层。

20.一种信息处理方法，包括：

基于存储在存储关于比特流的分发的控制信息的控制文件中的关于所述比特流的空间分级的空间分级信息来选择要解码的空间分级的层，所述比特流通过对2D数据进行编码来获得，所述2D数据通过对将具有三维形状的对象表示为点的集合并且与所述空间分级对应的点云进行二维转换来获得；

获取与所选择的层对应的子比特流；以及

对所获取的子比特流进行解码。

Images