CN116018809A - 信息处理装置和方法 - Google Patents

Abstract

本公开内容涉及能够抑制再现处理负荷增加的信息处理设备和方法。本发明生成文件，该文件存储：比特流轨道，其存储帧内包括子图片的内容的比特流；以及提取基本轨道，其存储子图片指定信息，子图片指定信息是用于指定要从比特流轨道提取的子图片的信息。基于文件的提取基本轨道，本发明从比特流轨道中提取子图片，并生成比特流。本发明可以应用于例如信息处理设备或信息处理方法。

Description

信息处理装置和方法

技术领域

本公开内容涉及信息处理装置和方法，更具体地，涉及能够抑制再现处理的负荷的增加的信息处理装置和方法。

背景技术

通常，在图像编解码系统的标准规范的通用视频编解码(VVC)中，每个图像(图片)被划分成一个或更多个片。此外，每个图片还可以被划分成一个或更多个子图片(参见例如非专利文献1)。此外，作为存储由VVC编码的图片的文件的方法，正在制定使用国际标准化组织基本媒体文件格式(ISOBMFF)的VVC文件格式，该格式是用于视频压缩的国际标准技术，运动图片专家组-4(MPEG-4)的文件容器规范(例如，参见非专利文献2至4)。

此外，存在基于视频的点云压缩(V-PCC)，其中，将作为在三维空间中同时具有位置信息和属性信息(颜色、反射等)的点的集合的点云分段以形成区域，通过对每个区域的点云进行平面投影来生成属性图像(颜色信息等)和几何图像(由深度信息构成)，生成眼图图像和图集信息(用于从图像分块重建点云的信息)，并且由运动图像编解码器对三个图像进行编码。然后，为了提高从由V-PCC编码的比特流(称为V3C比特流)的本地存储器的再现处理和网络分发的效率，已经提出了在ISOBMFF中存储V3C比特流的技术(例如，参见非专利文献5)。

在上述VVC文件格式中，多个子图片可以被存储在一个轨道(VVC轨道)中并被再现。

引用列表

非专利文献

非专利文献1：Benjamin Bross，Jianle Chen，Shan Liu，Ye-Kui Wang，“Versatile Video Coding(Draft 10)”，JVET-S2001-vH，ITU-T SG 16WP3和ISO/IEC JTC1/SC 29/WG 11的联合视频专家组(JVET)第十九次电话会议：2020年6月22日至7月1日；

非专利文献2：“Information technology-Coding of audio-visual objects-Part 15:Carriage of network abstraction layer(NAL)unit structured video inthe ISO base media file format-Amendment 2:Carriage of VVC and EVC inISOBMFF”，ISO/IEC JTC 1/SC 29/WG 11，ISO/IEC 14496-15:2019(E)修订版2，2020年7月30日；

非专利文献3：“Information technology-Coding of audio-visual objects-Part 15:Carriage of network abstraction layer(NAL)unit structured video inthe ISO base media file format”，ISO/IEC JTC 1/SC 29/WG 11，2019年9月；

非专利文献4：“Information technology-Coding of audio-visual objects-Part 12:ISO base media file format”，ISO/IEC JTC 1/SC 29/WG 11，2015年12月；

非专利文献5：“Information technology-Coded representation of immersivemedia-Part 10:Carriage of Visual Volumetric Video-based Coding Data”，ISO/IECJTC1/SC 29/WG 11，ISO 23090-10:2020(E)，2020年8月23日。

发明内容

本发明要解决的问题

然而，为了再现轨道(VVC轨道)中的一些子图片，需要分析和生成VVC比特流的参数集，并且存在再现处理的负荷增加的可能性。

本发明是鉴于这种情况而产生的，其目的在于抑制再现处理的负荷的增加。

问题的解决方案

本技术的一方面的信息处理装置是以下信息处理装置，该信息处理装置包括：文件生成单元，其被配置成生成存储比特流轨道和提取基本轨道的文件，比特流轨道存储在帧内具有子图片的内容的比特流，提取基本轨道存储子图片指定信息，子图片指定信息是用于指定要在比特流轨道中提取的子图片的信息。

本技术的一方面的信息处理方法是以下信息处理方法，该信息处理方法包括：生成存储比特流轨道和提取基本轨道的文件，比特流轨道存储帧内具有子图片的内容的比特流，提取基本轨道存储子图片指定信息，子图片指定信息是用于指定要在比特流轨道中提取的子图片的信息。

本技术的另一方面的信息处理装置是以下信息处理装置，该信息处理装置包括：比特流生成单元，其被配置成基于存储比特流轨道和提取基本轨道的文件的提取基本轨道，从比特流轨道提取子图片，并生成比特流，比特流轨道存储在帧内具有子图片的内容的比特流，提取基本轨道存储子图片指定信息，子图片指定信息是用于指定要在比特流轨道中提取的子图片的信息。

本技术的另一方面的信息处理方法是以下信息处理方法，该信息处理方法包括：基于存储比特流轨道和提取基本轨道的文件的提取基本轨道，从比特流轨道提取子图片，并生成比特流，比特流轨道存储帧内具有子图片的内容的比特流，提取基本轨道存储子图片指定信息，子图片指定信息是用于指定要在比特流轨道中提取的子图片的信息。

在根据本技术的一方面的信息处理装置和方法中，生成存储比特流轨道和提取基本轨道的文件，比特流轨道存储帧内具有子图片的内容的比特流，提取基本轨道存储子图片指定信息，子图片指定信息是用于指定要在比特流轨道中提取的子图片的信息。

在本技术的另一方面的信息处理装置和方法中，基于存储比特流轨道和提取基本轨道的文件的提取基本轨道，从比特流轨道提取子图片，并生成比特流，比特流轨道存储帧内具有子图片的内容的比特流，提取基本轨道存储子图片指定信息，子图片指定信息是用于指定要在比特流轨道中提取的子图片的信息。

附图说明

图1是示出VVC比特流的主要配置示例的图。

图2是示出序列参数集的语法的示例的图。

图3是示出图片参数集的语法的示例的图。

图4是示出图片参数集的语法的示例的图。

图5是示出VVC轨道的主要配置示例的图。

图6是示出子图片顺序样本组的示例的图。

图7是示出子图片ID样本组的示例的图。

图8是示出图块区域的图。

图9是示出图块区域样本组的示例的图。

图10是示出NAL单元映射样本组的示例的图。

图11是示出子图片的用例的图。

图12是示出V3C文件格式的示例的图。

图13是示出使用VVC提取基本轨道用信号通知重建信息的方法的图。

图14是示出存储VVC提取基本轨道的文件的配置示例的图。

图15是示出子图片提取样本组的示例的图。

图16是示出子图片ID样本组的示例的图。

图17是示出子图片ID样本组的示例的图。

图18是示出VVC基本轨道和VVC提取基本轨道的组合的图。

图19是示出了子图片顺序样本组的示例的图。

图20是示出在V3C比特流的情况下的应用示例的图。

图21是示出文件生成设备的主要配置示例的框图。

图22是示出文件生成处理流程的示例的流程图。

图23是示出客户端设备的主要配置示例的框图。

图24是示出再现处理流程的示例的流程图。

图25是示出计算机的主要配置示例的框图。

具体实施方式

在下文中，将描述用于执行本公开内容的方式(在下文中称为实施方式)。注意，将按以下顺序给出描述。

1.部分子图片的再现

2.提取基本轨道

3.子图片ID样本组的扩展

4.VVC基本轨道和VVC额外基本轨道的组合

5.V3C文件格式的应用

6.第一实施方式(文件生成设备)

7.第二实施方式(再现设备)。

8.附录

<1.部分子图片的再现>

<支持技术内容和技术术语等的文件>

在本技术中公开的范围不仅包括在实施方式中描述的内容，还包括在提交时已知的以下非专利文献等中描述的内容、在以下非专利文献中引用的其他文献的内容等。

非专利文献1：(以上描述的)；

非专利文献2：(以上描述的)；

非专利文献3：(以上描述的)；

非专利文献4：(以上描述的)；

非专利文献5：(以上描述的)。

也就是说，上述非专利文献中描述的内容、上述非专利文献中参考的其他文献的内容等也是用于确定支持要求的基础。

<VVC比特流>

传统上，在图像编解码方法的标准规范的通用视频编解码(VVC)中，每个图像(图片)被划分成一个或更多个片，例如，如在非专利文献1中所描述的。此外，每个图片也可以被划分成一个或更多个子图片。

图1是示出由VVC对图像数据进行编码而获得的比特流(也称为VVC比特流)的主要配置示例的图。如图1所示，VVC比特流10包括通过对一个运动图像进行编码而获得的经编解码视频序列11的集合(单个或多个经编解码视频序列11)。此外，经编解码视频序列11包括作为运动图像的单帧的图片12的经编码数据的集合(单个或多个图片12的经编码数据)。每个图片12可以被划分成多个子图片13。

也就是说，子图片13是通过划分矩形图片12而获得的矩形区域。在图片12中不存在不具有经编码数据的像素。在子图片13之间没有交叠。在图片12的像素当中，没有不包括在任何子图片13中的像素。

子图片13可以是独立可解码的。也就是说，可以独立地对单个或多个子图片13进行解码。例如，可以仅对构成图片12的子图片13的经编码数据的一部分进行解码。在这种情况下，从VVC比特流10中提取要解码的子图片13的经编码数据，并且添加参数集等以生成新的比特流(比特流被重建)。

图2示出了VVC比特流10的序列参数集的语法的示例。序列参数集是用于每个经编解码视频序列11的参数集(在经编解码视频序列11中不改变的元数据)。图2示出了序列参数集的一部分的语法。

如图2所示，序列参数集包括由与图片12的分辨率相关的参数配置的“图片的分辨率信息”。例如，该“图片的分辨率信息”包括指示经编解码视频序列11中的图片12的分辨率的最大值的参数(sps_pic_width_max_in_luma_samples、sps_pic_height_max_in_luma_sample等)。

此外，序列参数集包括由与子图片13的布局相关的参数配置的“子图片的布局信息”。例如，“子图片的布局信息”包括指示子图片13的位置的参数(sps_subpic_ctu_top_left_x[i]、sps_subpic_ctu_top_left_y[i]等)。此外，“子图片的布局信息”包括指示子图片13的分辨率的参数(sps_subpic_width_minus1[i]、sps_subpic_height_minus1[i]等)。此外，“子图片的布局信息”包括与子图片13的独立解码相关的参数(sps_subpic_treated_as_pic_flag[i]、sps_loop_filter_across_subpic_enabled_flag[i]等)。

此外，序列参数集包括由关于“子图片的布局信息”的省略的信息配置的“子图片的布局省略标志”。例如，“子图片的布局省略标志”包括指示所有子图片13是否可独立解码的标志信息(sps_independent_subpic_flag)，指示所有子图片13是否具有相同分辨率的标志信息(sps_subpic_same_size_flag)等。例如，在所有子图片13可以被独立解码并且具有相同分辨率的情况下，无论子图片13的数量，与子图片13的宽度相关的一个参数和与子图片13的高度相关的一个参数被存储在序列参数集中。

此外，序列参数集包括由与子图片13的标识相关的参数配置的“子图片的标识信息”。例如，“子图片的标识信息”包括经编解码视频序列中包括的每个子图片13的标识信息(sps_subpic_id[i])。例如，可以将数字顺序地分配给序列中的每个子图片(例如，分配按“+1”递增的整数值，如0、1、2……)，并且该数字可以被用作子图片13的标识信息。注意，存在三种类型的“子图片的标识信息”，即，省略子图片的标识信息的情况、将子图片的标识信息存储在序列参数集中的情况，以及将子图片的标识信息存储在图片参数集中的情况。

在从这样的VVC比特流10中提取一些子图片13并对其进行解码的情况下，由于在经编解码视频序列11中包括的子图片的数量改变，所以“子图片的标识信息”和“子图片的布局信息”可能改变。也就是说，在这种情况下，需要更新VVC比特流10(经编解码视频序列11)的序列参数集，并生成与所提取的子图片的比特流对应的序列参数集。

此外，图3和图4示出了图1中的VVC比特流10的图片参数集的语法的示例。图片参数集是用于每个图片12的参数集(在图片12中不改变的元数据)。在图3和图4中，示出了图片参数集的一部分的语法。

如图3所示，图片参数集包括由与图片12的分辨率相关的参数配置的“图片的分辨率信息”。例如，“图片的分辨率信息”包括指示图片12的分辨率的参数(pps_pic_width_in_luma_samples、pps_pic_height_in_luma_samples等)。

此外，图片参数集包括由与子图片13的标识相关的参数配置的“子图片的标识信息”。例如，“子图片的标识信息”包括图片12中包括的每个子图片13的标识信息(pps_subpic_id[i])。例如，可以将数字顺序地分配给图片12中的每个子图片13(例如，分配按“+1”递增的整数值，如0、1、2……)，并且该数字可以被用作子图片13的标识信息。

此外，图片参数集包括由与图片12中的图块的配置相关的参数配置的图块信息。如果具有相同宽度或高度的图块延续到屏幕的边缘，则可以省略该图块信息。

此外，如图4所示，图片参数集包括由与图片中的片的配置相关的参数配置的片信息(片信息)。在所有子图片13由一个片配置的情况下，可以省略该片信息。

在从这样的VVC比特流10中提取一些子图片13并对其解码的情况下，由于图片中子图片的配置改变，所以图片参数集的上述信息可能改变。也就是说，在这种情况下，需要更新VVC比特流10(图片12)的图片参数集，并生成与所提取的子图片的比特流对应的图片参数集。

<VVC文件格式>

同时，作为存储由VVC编码的图片的文件的方法，例如，如在非专利文献2至非专利文献4中所描述的，正在开发使用国际标准化组织基本媒体文件格式(ISOBMFF)的VVC文件格式，该格式是用于视频压缩运动图片专家组-4(MPEG-4)的国际标准技术的文件容器规范。

图5是示出VVC文件格式的轨道的配置示例的图。如图5所示，VVC轨道20是用于存储VVC比特流的轨道，并且包括moov盒和mdat盒。moov盒存储与轨道相关的元数据等，mdat盒存储VVC比特流。

在图像中配置多个子图片的情况下，例如，在该VVC文件格式中，图片中的子图片可以存储在多个轨道中，或者可以共同存储在一个轨道中。

例如，在子图片被划分成多个轨道并被存储的情况下，一些子图片的独立解码可以通过在解码时选择要解码的轨道来实现。在这种情况下，关于所选轨道的合并的信息(元数据)被存储在与存储子图片的比特流的轨道不同的轨道中。该轨道也称为VVC基本轨道。此外，存储子图片的比特流的轨道也被称为VVC子图片轨道。

图6示出了在将子图片划分成多个轨道并存储的情况下，存储在VVC基本轨道中的VVC子图片顺序条目(VvcSubpicOrderEntry)的语法的示例。如图6所示，在VVC基本轨道中，VisualSampleGroupEntry被扩展以生成VVC子图片顺序条目(VvcSubpicOrderEntry()extends VisualSampleGroupEntry(‘spor’))。VVC子图片顺序条目存储定义子图片顺序样本组的信息，该子图片顺序样本组是要重建的子图片组。子图片顺序样本组可以包括诸如“子图片的数量”、“子图片的解码顺序”和“子图片ID的重写信息”之类的信息，“子图片的数量”指示要合并的子图片的数量，“子图片的解码顺序”指示要合并的子图片的解码顺序，“子图片ID的重写信息”是与子图片的标识信息的重写相关的信息。例如，subp_track_ref_idx指示包括要合并的子图片的轨道或轨道组。此外，subpic_id_info_flag指示存在或不存在“子图片ID的重写信息”。

此外，图7示出了在将子图片划分成多个轨道并存储的情况下，存储在VVC子图片轨道中的VVC子图片ID条目(VvcSubpicIDEntry)的语法的示例。如图7所示，在VVC子图片轨道中，扩展VisualSampleGroupEntry以生成VVC子图片ID条目(VvcSubpicIDEntry()extends VisualSampleGroupEntry(‘spid’))。VVC子图片ID条目存储定义子图片ID样本组的信息，该子图片ID样本组是包括在VVC子图片轨道的样本中的子图片标识信息(subpic_id)的组。子图片ID样本组以解码顺序指示包括在轨道中的子图片的标识信息(subpic_id)。

如上所述，图片中的子图片可以集中存储在一个轨道中。图5的示例中的VVC轨道20将包括六个子图片的图片的比特流作为样本23存储在mdat盒中。也就是说，样本23包括六个子图片的比特流24(子图片1数据至子图片6数据)。

在这种情况下，在VVC轨道20的moov盒中形成图块区域循环条目(TlieRegionGroupEntry(trif))21和空单元映射条目(NALUMapEntry(nalm))22。

图块区域循环条目21存储定义图块区域样本组的信息，该图块区域样本组是指示图片的图块区域的样本组。空单元映射条目22存储定义空单元映射样本组(NAL单元映射样本组)的信息，该空单元映射样本组是用于对每个图块区域的样本23中包括的空单元(NAL单元)进行分类的样本组。

在图块区域循环条目21中，存储groupID作为标识符。也就是说，groupID是图块区域的标识信息。例如，在如图8的A所示在图片中形成四个图块区域的情况下，将不同的groupID分配给各个区域(groupID＝1至groupID＝4)。图块区域循环条目21还存储指定图块区域(的位置和大小)的信息。在VVC中，一个图块区域可以包含一个或更多个子图片。也就是说，如图8的B所示，一个图块区域可以由一个子图片配置，或者可以由多个子图片配置。

图9示出图块区域循环条目21的语法的示例。如图9所示，图块区域循环条目21存储图块区域循环条目21的标识符(groupID)、指示图块区域的位置的参数(horizontal_offset、vertical_offset)、指示图块区域的大小的参数(region_width、region_height)、指示图块区域之间的依赖关系的参数(dependency_tile_count、dependencyTileGroupID)等。

空单元映射条目22存储指示空单元与groupID之间的对应关系的信息。由于如上所述将groupID给予图块区域，所以空单元与图10的A中所示的任何groupID对应。在空单元映射条目22中指示空单元与groupID之间的对应关系。图10的B中示出了空单元映射条目22的语法的示例。如图10所示，示出了指示与每个groupID对应的空单元的信息(NALU_start_number)。

<用例：全向视频>

图11是示出应用子图片的用例的图。例如，如图11的A所示，包括向上、向下、向左、向右、向前和向后六个方向的视频的(立方体贴图的)全向视频内容的每侧的视频可以用作子图片。在这样的全向视频内容的情况下，存在各种情况，诸如仅六个表面中的一个被解码的情况，仅两个表面被解码的情况……，以及所有六个表面被解码的情况。

因此，如图11的B所示，所有表面的视频被存储在一个VVC轨道中，并且可以适当地提取一些子样本，从而可以处理上述每种情况。

<用例：V3C比特流>

此外，存在基于视频的点云压缩(V-PCC)，其中，将作为在三维空间中同时具有位置信息和属性信息(颜色、反射等)的点的集合的点云分段以形成区域，通过对每个区域的点云进行平面投影来生成属性图像(颜色信息等)和几何图像(由深度信息构成)，生成眼图图像和图集信息(用于从图像分块重建点云的信息)，并且由运动图像编解码器对三个图像进行编码。非专利文献5公开了一种在ISOBMFF中存储V3C比特流的技术，其目的是提高从由这样的V-PCC编码的比特流(称为V3C比特流)的本地存储器的再现处理和网络分发的效率。

基于视频的点云数据(V3C)文件格式(V3C文件格式)是使用存储V-PCC的ISO基本媒体文件的文件格式。V3C文件格式能够将点云数据存储在多个轨道(V3C轨道、occ、geo、att)中，例如，如图12的A所示。在这种情况下，用于重建点云的元数据被包括在V3C轨道中。此外，V3C轨道是包括V-PCC的占用地图、几何形状和属性中的每个的视频分量的轨道(视频分量轨道)。

此外，V3C文件格式可以为每个部分区域分离轨道，例如，如图12的B所示，以便能够部分访问点云数据(独立地对点云的部分区域进行解码)。在这种情况下，下面的轨道配置是可能的。V3C轨道是用于部分区域的V3C图集图块轨道。每个V3C图集图块轨道是包括在其图集图块中的占用地图、几何形状和属性的相应视频分量轨道。例如，每个视频分量轨道可以对VVC比特流进行存储和独立解码。在VVC比特流的情况下，VVC文件格式被应用于每个视频分量轨道。

即使在这样的V3C文件格式的内容的情况下，为了实现部分访问，也可以想到将每个部分区域设置为子图片，将所有部分区域存储在一个VVC轨道中，并且使得能够适当地提取一些子图片。

<参数集的重建>

如上所述，在VVC文件格式中，多个子图片可以被存储在一个轨道中，并且一些子图片可以被提取和解码。然而，在这种情况下，使用所提取的子图片重建一个比特流，并对该比特流进行解码。由于子图片的配置在重建之前的比特流与重建之后的比特流之间是不同的，所以不能原样使用参数集(例如，序列参数集或图片参数集)。因此，有必要例如通过更新重建之前的参数集来导出与重建之后的比特流对应的参数集。

也就是说，需要执行复杂的工作，诸如分析重建之前的比特流及其参数集、更新参数集，以及导出与重建之后的比特流对应的参数集，这可能增加再现处理的负荷。注意，再现处理至少包括对存储在文件中的内容的比特流进行解码的处理和与解码相关的处理(例如，重建要解码的比特流的处理等)。此外，在再现处理中可以包括使用通过解码获得的数据生成显示图像的处理，或者可以包括其他处理。

例如，在从服务器分发具有多个子图片的内容文件，并且客户端设备通过仅对存储在该文件中的一些子图片进行解码来生成显示图像的情况下，存在客户端设备上的负荷增加的可能性。通常，客户端设备的处理能力低于服务器的处理能力。因此，由于这样的负荷的增加，存在处理延迟或失败的可能性。换句话说，为了防止发生处理延迟或故障，需要增加客户端设备的处理能力，这可能增加成本。

注意，如上所述，在将每个子图片存储在多个轨道中的方法的情况下，可以存储使用VVC基本轨道的比特流重建所需的参数集。然而，在VVC基本轨道中，不能从轨道中存在的多个子图片中提取期望的子图片。

<2.提取基本轨道>

<方法1>

因此，如图13中的表的最上面的行所示，提供具有重建信息的VVC提取基本轨道并将其存储在文件中(方法1)，该重建信息诸如是从一些子图片重建比特流所需的参数集。然后，在再现一些子图片的情况下，基于存储在VVC提取基本轨道中的信息生成重建比特流。

图14是示出应用本技术的文件的主要配置示例的图。图14所示的文件100是符合用于以ISOBMFF存储VVC比特流的VVC文件格式的文件。如图14所示，文件100具有VVC比特流轨道110和VVC提取基本轨道120。

VVC比特流轨道110是存储VVC比特流的轨道，类似于上述VVC轨道20。VVC比特流轨道110可以存储具有多个子图片的VVC比特流。在该示例的情况下，在VVC比特流轨道110的mdat盒中，包括六个子图片的图片的比特流被存储为样本115。也就是说，样本115包括六个子图片的比特流116(子图片1数据至子图片6数据)。

此外，图块区域循环条目(TlieRegionGroupEntry(trif))111和空单元映射条目(NALUMapEntry(nalm))112存储在VVC比特流轨道110的moov盒中。类似于上述的图块区域循环条目21，将定义图块区域样本组的信息存储在图块区域循环条目111中。类似于上述空单元映射条目22，空单元映射条目112存储指示空单元与groupID之间的对应关系的信息。

此外，样本条目(SampleEntry(vvc1))113被存储在VVC比特流轨道110的moov盒中。样本条目113存储VVC配置盒(VvcConfigurationBox)114。

VVC提取基本轨道120存储从一些子图片重建比特流所需的重建信息。再现设备可以基于存储在VVC提取基本轨道120中的重建信息从VVC比特流轨道110提取期望的子图片的比特流116，并重建所提取的子图片的比特流。

例如，再现设备首先基于存储在VVC比特流轨道110的图块区域循环条目111中的信息来确定要再现的区域。因此，确定指示要再现的区域的groupID。接下来，再现设备搜索包括要再现的区域的VVC提取基本轨道120。然后，再现设备基于存储在所搜索的VVC提取基本轨道120中的信息来更新(重写)参数集(诸如序列参数集和图片参数集)。然后，再现设备使用在VVC比特流轨道110的空单元映射条目112中定义的空单元映射样本组来从样本115中提取要再现的区域的空单元，并使用存储在VVC提取基本轨道120中的信息来重建样本。

如上所述，再现设备可以容易地重建比特流，而无需分析存储在VVC比特流轨道110中的VVC比特流。因此，可以抑制再现处理的负荷的增加。

注意，在图14的示例的情况下，文件100包括作为VVC提取基本轨道120的存储用于再现一个子图片(1面)的重建信息的VVC提取基本轨道121、存储用于再现两个子图片(2面)的重建信息的VVC提取基本轨道122、存储用于再现三个子图片(3面)的重建信息的VVC提取基本轨道123、存储用于再现四个子图片(4面)的重建信息的VVC提取基本轨道124以及存储用于再现五个子图片(5面)的重建信息的VVC提取基本轨道125。以这种方式，可以为每个数量的要重建的子图片生成VVC提取基本轨道。

<方法1-1>

注意，如图13中表格顶部的第二行所示，用于再现的轨道和存储在轨道中并指定要再现的子图片的提取信息可以存储在VVC提取基本轨道中(方法1-1)。然后，在再现一些子图片的情况下，可以基于存储在VVC提取基本轨道中的提取信息生成重建比特流。

例如，VVC提取基本轨道120可以存储作为用于指定要在VVC比特流轨道110中提取的子图片的信息的子图片指定信息存储为重建信息。

例如，在信息处理方法中，生成存储比特流轨道和提取基本轨道的文件，比特流轨道存储帧内具有子图片的内容的比特流，提取基本轨道存储子图片指定信息，子图片指定信息是用于指定比特流轨道中要提取的子图片的信息。

例如，信息处理装置包括：文件生成单元，其生成存储比特流轨道和提取基本轨道的文件，比特流轨道存储帧内具有子图片的内容的比特流，提取基本轨道存储子图片指定信息，子图片指定信息是用于指定比特流轨道中要提取的子图片的信息。

通过这样做，产生包括存储子图片指定信息的提取基本轨道的文件。因此，再现设备可以基于提取基本轨道从比特流轨道提取期望的子图片并重建比特流。也就是说，再现设备可以容易地重建比特流而无需分析比特流。因此，可以抑制再现处理的负荷的增加。

此外，例如，在信息处理方法中，基于存储比特流轨道和提取基本轨道的文件的提取基本轨道，从比特流轨道提取子图片，并生成比特流，比特流轨道存储帧内具有子图片的内容的比特流，提取基本轨道存储子图片指定信息，子图片指定信息是用于指定在比特流轨道中要提取的子图片的信息。

例如，信息处理装置包括：比特流生成单元，其基于存储比特流轨道和提取基本轨道的文件的提取基本轨道，从比特流轨道提取子图片，并生成比特流，比特流轨道存储帧内具有子图片的内容的比特流，提取基本轨道存储子图片指定信息，子图片指定信息是用于指定在比特流轨道中要提取的子图片的信息。

通过这样做，可以基于包括子图片指定信息的提取基本轨道从比特流轨道提取期望的子图片，并重建比特流。也就是说，它可以容易地重建比特流而无需分析比特流。因此，可以抑制再现处理的负荷的增加。

注意，子图片指定信息可以包括图块区域标识信息，该图块区域标识信息是包括子图片的图块区域的标识信息。例如，参考图8描述的groupID可以用作子图片指定信息。通过这样做，再现设备可以更容易地指定要再现的图块区域(子图片)。

<方法1-1-1>

注意，如图13中表格顶部的第三行所示，可以定义样本组，并且可以将允许客户端从多个子图片集中选择一个的提取信息存储在样本组中(方法1-1-1)。然后，在再现一些子图片的情况下，可以基于样本组来选择要提取的子图片的集合。

例如，视觉样本组条目(VisualSampleGroupEntry(spex))可以被扩展以生成VVC子图片提取条目(VvcSubpictureExtractionEntry())，并且定义作为要提取(要再现)的子图片的样本组的子图片提取样本组的信息可以被存储在VVC子图片提取条目中。

子图片提取样本组例如可以包括指示要提取的子图片的候选的轨道的图块区域循环条目的groupID信息(也称为区域集)的信息。注意，在直接指定图块区域的情况下，仅需要存储包括一个图块区域的区域集。此外，子图片提取样本组可以包括与作为子图片的标识信息的子图片标识信息的重写(更新)相关的信息(subpic_id重写信息)。如上所述，通过应用区域集，再现设备可以更容易地提取多个图块区域。

再现设备(客户端)从子图片提取样本组的区域集中选择并提取一个groupID。

图15示出了这种情况下的VVC子图片提取条目(VvcSubpictureExtractionEntry())的语法的示例。在图15的示例的情况下，以下参数可以存储在VVC子图片提取条目中。num_region_set指示区域集的数量。num_region_in_set指示包括在区域集中的图块区域的数量。groupID指示指示包括在区域集中的图块区域的groupID。num_regions指示要提取的图块区域的数量。使用作为区域集的标识信息的region_set_id或groupID来指定region_idx。

例如，提取基本轨道可以设置提取为一个比特流的子图片的一个集合，并针对每个集合存储子图片指定信息。

此外，提取基本轨道还可以存储作为集合的标识信息的集合标识信息。

通过设置上述区域集，可以将多个模式的提取信息存储在一个VVC提取基本轨道中。也就是说，可以在一个VVC提取基本轨道中定义要提取的子图片的多个组合。因此，再现设备可以基于这样的VVC提取基本轨道来提取更多的子图片的各种组合。也就是说，可以增加子图片的提取模式(组合的数量)而不增加轨道的数量。因此，可以收集冗余轨道，并且可以抑制编码效率的降低。

注意，在图15所示的语法示例中，“if(subpic_id_info_flag){”行之后的信息是关于子图片标识信息的重写的信息。也就是说，用于更新诸如序列参数集和图片参数集的参数集以与重建比特流对应的信息被存储在VVC子图片提取条目中。更具体地，用于将包括在参数集中的子图片标识信息更新为与重建比特流对应的信息被存储在VVC子图片提取条目中。

也就是说，提取基本轨道还可以存储参数集更新信息，该参数集更新信息是用于更新参数集以与所提取的子图片的比特流对应的信息。

例如，参数集更新信息可以包括子图片更新信息，该子图片更新信息是用于更新作为子图片的标识信息的子图片标识信息以与所提取的子图片的比特流对应的信息。

通过这样做，再现设备可以基于存储在提取基本轨道中的信息更容易地使参数集与重建的比特流对应。例如，再现设备可以基于存储在提取基本轨道中的信息更容易地使包括在参数中的子图片标识信息与重建的比特流对应。

<3.子图片ID样本组的扩展>

<方法1-2>

如图13中表格顶部的第四行所示，可以扩展子图片ID样本组，并且可以存储指示子图片与图块区域之间的对应关系的映射信息(方法1-2)。例如，作为这样的映射信息，指示包括子图片的图块区域的信息可以被存储在子图片ID样本组中。

例如，在图7所示的子图片ID样本组的情况下，子图片与图块区域(在该图块区域中包括子图片)之间的关系是未知的。如参考图8所述，由于图块区域与子图片并不总是一一对应，所以可能存在不能基于图15所示的子图片提取样本组来指定期望图块区域(groupID)所需的子图片的情况。

因此，在子图片ID样本组中，指示包括子图片(subpic_id)的图块区域(groupID)。

图16示出了在这种情况下存储定义子图片ID样本组的信息的VvcSubpicIDEntry()的语法的示例。如图16所示，与子图片标识信息(subpic_id)相邻，包括与子图片标识信息(subpic_id)对应的子图片的图块区域的标识信息(groupID)被存储在VvcSubpicIDEntry()中。因此，子图片(subpic_id)与图块区域(groupID)之间的对应关系被清楚地指示。

也就是说，针对存储在比特流轨道中的每个子图片，比特流轨道还可以存储子图片标识信息和包括子图片的图块区域的图块区域标识信息。

通过这样做，再现设备可以基于存储在子图片ID样本组中的信息，更容易地指定包括在期望的图块区域中的子图片(subpic_id)。因此，再现设备可以基于子图片提取样本组的信息更容易地重写(更新)子图片标识信息(subpic_id)。

<方法1-2-1>

如图13中表格顶部的第五行所示，可以省略对指示上述子图片与图块区域之间的对应关系的映射信息的存储(方法1-2-1)。

图17示出了在这种情况下存储定义子图片ID样本组的信息的VvcSubpicIDEntry()的语法的示例。如图17所示，在这种情况下，all_subpic_id_is_same_asgroupID_flag被存储在VvcSubpicIDEntry()中。all_subpic_id_is_same_asgroupID_flag是指示图片中的所有子图片(subpic_id)与图块区域(groupID)是否匹配(一对一对应)的标志信息。在all_subpic_id_is_same_asgroupID_flag的值为真(例如，1)的情况下，其指示图片中的所有子图片(subpic_id)匹配图块区域(groupID)。另外，在all_subpic_id_is_same_asgroupID_flag的值为假(例如，0)的情况下，其指示至少一些子图片与图块区域没有一对一对应(一个图块区域包含多个子图片)。然后，定义仅在all_subpic_id_is_same_asgroupID_flag的值为假(例如，0)的情况下存储groupID。换句话说，在图片中的所有子图片(subpic_id)与图块区域(groupID)匹配(一对一地对应)的情况下，省略groupID的存储。

也就是说，比特流轨道可以仅针对子图片标识信息与图块区域标识信息匹配的子图片存储子图片标识信息。

在图片中的所有子图片(subpic_id)和图块区域(groupID)一对一彼此对应的情况下，即使不存在映射信息，groupID和subpic_id也容易地一对一彼此关联。因此，通过这样做，可以抑制不必要代码量的增加。因此，可以抑制编码效率的降低。

<4.VVC基本轨道和VVC额外基本轨道的组合>

<方法2>

如图13中表格顶部的第六行所示，可以使用VVC基本轨道和VVC提取基本轨道从多个轨道提取子图片(方法2)。也就是说，VVC提取基本轨道仅支持从一个轨道的提取，并且在从多个轨道执行提取的情况下，可以组合使用VVC基本轨道。

例如，如图18的A所示，从两个图片中提取一些子图片，并将所提取的子图片合并成一个图片。在这种情况下，如图18的B所示，当从图片中提取子图片时，可以应用VVC提取基本轨道的信息，并且当合并所提取的子图片时，可以应用VVC基本轨道的信息。

也就是说，存储比特流轨道和提取基本轨道的文件还可包括合并基本轨道，合并基本轨道存储关于基于提取基本轨道从不同的比特流轨道提取的多个子图片的合并的信息。

<2.提取基本轨道>和<3.子图片ID样本组的扩展>中描述的任何VVC提取基本轨道都可以应用于该VVC提取基本轨道。

此外，图19中示出了VVC基本轨道的VVC子图片顺序条目((VvcSubpicOrderEntry()extends VisualSampleGroupEntry(‘spor’))的语法的示例。

如图19所示，在该示例的情况下，extract_track_exist_flag被存储在VVC子图片顺序条目中。extract_track_exist_flag是指示VVC提取基本轨道是否包括在要参考的轨道中的标志信息。例如，在extract_track_exist_flag为真(例如，1)的情况下，其指示VVC提取基本轨道被包括在要参考的轨道中。此外，在extract_track_exist_flag为假(例如，0)的情况下，其指示VVC提取基本轨道不包括在要参考的轨道中。

通过存储这样的extract_track_exist_flag，可以容易地识别VVC提取基本轨道是否包括在要参考的轨道中。也就是说，如上所述的VVC提取基本轨道和VVC基本轨道可以更容易地一起使用。此外，VVC提取基本轨道可以被包括在可以合并在VVC基本轨道中的轨道中。此外，可以容易地确定VVC提取基本轨道是否包括在VVC基本轨道中。

<5.V3C文件格式的应用>

<方法3>

如图13的表的底行所示，本技术可以应用于V3C文件格式(方法3)。

如参照图12所述，以V3C文件格式，V-PCC比特流可以被存储在ISOBMFF文件中。本技术可以应用于这样的V3C文件格式，并且可以使用子图片实现部分访问。

也就是说，内容可以是将三维对象表示为点的集合的点云，并且子图片可以由点云的能够独立解码的部分区域来配置。

例如，如图20的A所示，可以使用VVC提取基本轨道来实现V-PCC比特流的部分访问。在图20的A所示的示例的情况下，存在V3C图集图块轨道。在这样的情况下，如图20的A中的虚线框所示，只需要为占用地图、几何形状和属性中的每个提供VVC提取基本轨道。

<2.提取基本轨道>、<3.子图片ID样本组的扩展>和<4.VVC基本轨道和VVC额外基本轨道的组合>中任一项中描述的每个示例的VVC提取基本轨道都可以应用于该VVC提取基础轨道。另外，可以组合使用多个这些示例。也就是说，存储子图片指定信息的提取基本轨道被存储在文件中，子图片指定信息是用于指定要提取的子图片的信息。

在再现时，只需要针对占用地图、几何图形和属性中的每个使用VVC提取基本轨道来提取和解码必要的子图片。

此外，如图20的B所示，V3C文件格式可以是多轨道配置，其中占用地图、几何形状和属性中的每个被存储在彼此不同的轨道中，其中不存在V3C图集轨道。

然而，存储占用地图的轨道是包括多个子图片的VVC轨道。这同样适用于几何形状和属性。在执行部分再现的情况下，可以通过提取和再现特定子图片来实现。

<6.第一实施方式>

<文件生成设备>

上述本技术(的每种方法)可以应用于任何设备。图21是示出作为应用本技术的信息处理装置的一方面的文件生成设备的配置的示例的框图。图21所示的文件生成设备300是以ISOBMFF存储由VVC对包括子图片的视频内容进行编码而获得的VVC比特流的设备。

文件生成设备300应用上述本技术，在一个轨道中存储多个子图片，并且在文件中存储VVC比特流，使得可以独立地再现一些子图片。也就是说，文件生成设备300存储比特流轨道和提取基本轨道，比特流轨道存储帧内具有子图片的内容的比特流，提取基本轨道存储子图片指定信息，子图片指定信息是用于指定文件中的比特流轨道中要提取的子图片的信息。

注意，在图21中，示出了主要的处理单元、数据流等，并且图21中示出的这些不一定是全部。也就是说，在文件生成设备300中，可以存在图21中未示出为块的处理单元，或者可以存在图21中未示出为箭头等的处理或数据流。

如图21所示，文件生成设备300包括控制单元301和文件生成处理单元302。控制单元301控制文件生成处理单元302。文件生成处理单元302由控制单元301控制并执行与文件生成相关的处理。例如，文件生成处理单元302获取图片中具有子图片的内容的数据，对该数据进行编码，并生成VVC比特流。文件生成处理单元302还将所生成的VVC比特流存储在ISOBMFF的文件中，并将该文件输出至文件生成设备300的外部。

文件生成处理单元302包括输入单元311、预处理单元312、编码单元313、文件生成单元314、记录单元315和输出单元316。

输入单元311获取图片中具有子图片的内容的数据，并将该数据提供给预处理单元312。预处理单元312从内容数据中提取文件生成所需的信息。预处理单元312将所提取的信息提供给文件生成单元314。此外，预处理单元312将内容数据提供给编码单元313。

编码单元313使用VVC方法对从预处理单元312提供的内容的数据进行编码以生成VVC比特流。编码单元313将所生成的VVC比特流提供给文件生成单元314。

文件生成单元314将从编码单元313提供的VVC比特流存储在ISOBMFF的文件中。此时，文件生成单元314将从预处理单元312提供的信息适当地存储在文件中。

此外，文件生成单元314应用在＜2.提取基本轨道＞、＜3.子图片ID样本组的扩展＞、＜4.VVC基本轨道和VVC额外基本轨道的组合＞和＜5.V3C文件格式的应用＞或其组合中的任一个中描述的本技术，并生成存储VVC比特流的文件。

也就是说，文件生成单元314生成存储比特流轨道和提取基本轨道的文件，比特流轨道存储帧内具有子图片的内容的比特流，提取基本轨道存储子图片指定信息，子图片指定信息是用于指定比特流轨道中要提取的子图片的信息。

文件生成单元314将所生成的文件提供给记录单元315。记录单元315包括诸如硬盘或半导体存储器的任意记录介质，并将从文件生成单元314提供的文件记录在记录介质中。此外，记录单元315根据来自控制单元301或输出单元316的请求或在预定定时读取记录在记录介质中的文件，并将该文件提供给输出单元316。

输出单元316获取从记录单元315提供的文件，并将该文件输出至文件生成设备300的外部(例如，分发服务器、再现设备等)。

利用这样的配置，文件生成设备300可以在提取基本轨道中存储从一些子图片重建比特流所需的重建信息。因此，再现文件的再现设备可以基于存储在提取基本轨道中的重建信息从比特流轨道中提取期望的子图片的比特流，并重建所提取的子图片的比特流。因此，可以抑制再现处理的负荷的增加。

<文件生成处理的流程>

将参考图22中的流程图来描述由图21中的文件生成单元314执行的文件生成处理的流程的示例。

当开始文件生成处理时，在步骤S301中，文件生成设备300的文件生成单元314生成存储VVC比特流的VVC比特流轨道。

在步骤S302中，文件生成单元314确定要提取的子图片的组合。

在步骤S303中，文件生成单元314为在步骤S302中确定的子图片的每个组合生成从一些子图片重建比特流所需的重建信息。也就是说，文件生成单元314生成作为重建信息的子图片指定信息，该子图片指定信息是用于指定在比特流轨道中要提取的子图片的信息。

在步骤S304中，文件生成单元314将在步骤S303中生成的重建信息存储在VVC提取基本轨道中，并生成文件。也就是说，文件生成单元314生成存储比特流轨道和提取基本轨道的文件，比特流轨道存储帧内具有子图片的内容的比特流，提取基本轨道存储子图片指定信息，子图片指定信息是用于指定比特流轨道中要提取的子图片的信息。

当生成文件时，文件生成处理结束。

如上所述，通过执行每个处理，文件生成设备300可以生成存储从一些子图片重建比特流所需的重建信息的提取基本轨道，并生成存储提取基本轨道的文件。因此，再现文件的再现设备可以基于存储在提取基本轨道中的重建信息从比特流轨道中提取期望的子图片的比特流，并重建所提取的子图片的比特流。因此，可以抑制再现处理的负荷的增加。

<7.第二实施方式>

<客户端设备>

图23是示出作为应用本技术的信息处理装置的一方面的再现设备的配置的示例的框图。图23所示的客户端设备400是对存储在VVC文件格式的文件中的VVC比特流进行解码，并生成和显示所生成的运动图像内容的显示图像的再现设备。例如，客户端设备400对存储在由文件生成设备300生成的文件中的VVC比特流进行解码，并生成和显示所生成的运动图像内容的显示图像。此时，客户端设备400应用上述本技术，从文件中提取一些子图片，重建比特流，并对所重建的比特流进行解码。

注意，在图23中，示出了主要的处理单元、数据流等，并且图23中示出的这些不一定是全部。也就是说，在客户端设备400中，可以存在图23中未示出为块的处理单元，或者可以存在图23中未示出为箭头等的处理或数据流。

如图23所示，客户端设备400具有控制单元401和再现处理单元402。控制单元401执行与再现处理单元402的控制相关的处理。再现处理单元402执行与存储在文件中的视频内容的再现相关的处理。例如，再现处理单元402由控制单元401控制，并从分发服务器(未示出)等获取文件。

该文件是符合通过应用本技术生成的VVC文件格式的文件。例如，文件是由文件生成设备300生成的文件。也就是说，该文件用于存储比特流轨道和提取基本轨道，比特流轨道存储帧内具有子图片的内容的比特流，提取基本轨道存储子图片指定信息，子图片指定信息是用于指定比特流轨道中要提取的子图片的信息。

再现处理单元402对获取的文件执行再现处理，对存储在文件中的视频内容的比特流进行解码，并生成和显示视频内容的显示图像。

再现处理单元402包括文件获取单元411、文件处理单元412、解码单元413、显示信息生成单元414、显示单元415、测量单元416和显示控制单元417。

文件获取单元411获取从客户端设备400的外部(例如，分发服务器、文件生成设备300等)提供的VVC文件格式的文件。如上所述，在该文件中，存储了比特流轨道和提取基本轨道，比特流轨道存储在帧中具有子图片的内容的比特流，提取基本轨道存储子图片指定信息，所述子图片指定信息是用于指定要在比特流轨道中提取的子图片的信息。文件获取单元411将所获取的文件提供给文件处理单元412。

文件处理单元412获取从文件获取单元411提供的文件。文件处理单元412获取从测量单元416提供的测量结果。文件处理单元412获取从显示控制单元417提供的控制信息。

使用这些信息，文件处理单元412从文件中提取一些子图片，并生成所提取的子图片的比特流。此时，文件处理单元314应用在＜2.提取基本轨道＞、＜3.子图片ID样本组的扩展＞、＜4.VVC基本轨道和VVC额外基本轨道的组合＞和＜5.V3C文件格式的应用＞或其组合中的任一个中描述的本技术，并对该文件执行处理。

也就是说，文件处理单元412基于存储在文件中的提取基本轨道从存储在文件中的比特流轨道提取子图片，并生成所提取的子图片的比特流。

文件处理单元412将所生成的比特流提供给解码单元413。解码单元413对所提供的比特流进行解码，并生成所提取的子图片的视频内容的数据。解码单元413将所生成的视频内容的数据提供给显示信息生成单元414。

显示信息生成单元414获取从解码单元413提供的视频内容的数据。此外，显示信息生成单元414获取从显示控制单元417提供的控制信息。然后，显示信息生成单元414根据控制信息从所获取的视频内容数据生成显示图像等。显示信息生成单元414将所生成的显示图像等提供给显示单元415。显示单元415包括显示设备，并使用该显示设备显示所提供的显示图像。测量单元416测量任意信息并将测量结果提供给文件处理单元412。显示控制单元417通过向文件处理单元412和显示信息生成单元414提供控制信息来控制显示。

利用这样的配置，客户端设备400可以基于存储从子图片的一部分重建比特流所需的重建信息的提取基本轨道，提取子图片的一部分的比特流作为文件。因此，客户端设备400可以更容易地重建所提取的子图片的比特流。因此，可以抑制再现处理的负荷的增加。

<再现处理的流程>

将参考图24中的流程图描述由图23中的客户端设备400执行的再现处理的流程的示例。

当再现处理开始时，在步骤S401中，客户端设备400的文件处理单元412获取VVC文件格式的文件。

在步骤S402中，文件处理单元412基于存储在VVC比特流轨道中的信息来确定要再现的一些图块区域，VVC比特流轨道存储在步骤S401中获取的文件中。

在步骤S403中，文件处理单元412从文件中搜索并获取包括在步骤S402中确定的图块区域的VVC提取基本轨道。

在步骤S404中，文件处理单元412基于通过步骤S403中的处理获取的VVC提取基本轨道的重建信息，从文件中提取与要再现的一些图块区域对应的子图片，并重建其比特流。

也就是说，文件处理单元412基于存储在文件中并且存储子图片指定信息的提取基本轨道，从存储在文件中并且存储帧内具有子图片的内容的比特流的比特流轨道中提取期望的子图片并且生成比特流，子图片指定信息是用于指定要提取的子图片的信息。

在步骤S405中，解码单元413对在步骤S404中重建的比特流进行解码，并获得期望图块区域的视频图像内容的数据。显示信息生成单元414生成显示图像。显示单元415显示显示图像。

当步骤S405的处理结束时，再现处理结束。

如上所述，通过执行每个处理，客户端设备400可以基于包括子图片指定信息的提取基本轨道从比特流轨道提取期望的子图片，并重建比特流。也就是说，它可以容易地重建比特流而无需分析比特流。因此，可以抑制再现处理的负荷的增加。

<8.附录>

<计算机>

可以通过硬件或通过软件来执行上述一系列处理。在一系列处理由软件执行的情况下，构成软件的程序安装在计算机中。此处，计算机包括例如合并在专用硬件中的计算机、能够通过安装各种程序来执行各种功能的通用个人计算机等。

图25是示出通过程序执行上述一系列处理的计算机的硬件的配置示例的框图。

在图25中示出的计算机900中，中央处理单元(CPU)901、只读存储器(ROM)902和随机存取存储器(RAM)903经由总线904相互连接。

输入/输出接口910也连接至总线904。输入单元911、输出单元912、存储单元913、通信单元914以及驱动器915连接至输入/输出接口910。

输入单元911包括例如键盘、鼠标、麦克风、触摸板、输入终端等。输出单元912包括例如显示器、扬声器、输出终端等。存储单元913包括例如硬盘、RAM盘和非易失性存储器等。通信单元914包括例如网络接口。驱动器915驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质921。

在如上所述配置的计算机中，例如，CPU 901经由输入/输出接口910和总线904将存储在存储单元913中的程序加载至RAM 903中并且执行该程序，由此执行上述一系列处理。RAM 903还适当地存储CPU 901执行各种处理所需的数据等。

例如，由计算机执行的程序可以通过被记录在作为封装介质等的可移除介质921中来被应用。在该情况下，通过将可移除介质921附接至驱动915，可以经由输入/输出接口910将程序安装在存储单元913中。

此外，还可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质提供该程序。在这种情况下，程序可以由通信单元914接收并且被安装在存储单元913中。

另外，可以将该程序预先安装在ROM 902或存储单元913中。

<本技术适用的对象>

本技术可以应用于任意图像编码/解码方法。

此外，本技术可以应用于任意配置。例如，本技术可以应用于各种电子设备。

此外，例如，本技术还可以被实现为设备的部分配置，诸如作为系统大规模集成(LSI)等的处理器(例如，视频处理器)、使用多个处理器等的模块(例如，视频模块)、使用多个模块等的单元(例如，视频单元)、或者通过另外向单元添加其他功能而获得的集合(例如，视频集合)。

此外，例如，本技术还可以应用于包括多个装置的网络系统。例如，本技术可以被实现为通过多个装置经由网络协作共享和处理的云计算。例如，本技术可以在向诸如计算机、视听(AV)设备、便携式信息处理终端或物联网(IoT)设备的任意终端提供与图像(运动图像)相关的服务的云服务中实现。

注意，在本说明书中，系统意指多个配置元件(装置、模块(部件)等)的结合，并且所有部件是否在同一外壳中无关紧要。因此，容纳在单独的外壳中并且经由网络连接的多个装置和其中多个模块容纳在一个外壳中的一个装置都是系统。

<本技术适用的领域和应用>

应用本技术的系统、装置、处理单元等可以用于诸如交通、医疗、犯罪预防、农业、畜牧业、采矿、美容、工厂、家电、天气和自然监测的任意领域。此外，其应用也是任意的。

例如，本技术可以应用于被提供用于提供欣赏内容等的系统或设备等。此外，例如，还可以将本技术应用于为交通诸如交通状况监视和自动驾驶控制提供的系统和设备。此外，例如，本技术还可以应用于用于安全而提供的系统或设备。此外，例如，本技术可以应用于用于机器等的自动控制的系统或设备。此外，例如，本技术还可以应用于用于农业和畜牧业的系统和设备。此外，本技术还可以应用于监测诸如火山、森林和海洋、野生生物等自然状态的系统和设备。此外，例如，本技术也可以应用于用于体育运动的系统和设备。

<8.其他>

注意，在本说明书中，“标志”是用于标识多个状态的信息，并且不仅包括用于标识真(1)和假(0)的两个状态的信息，还包括能够标识三个或更多状态的信息。因此，“标志”可以取的值可以是例如二进制1/0或三进制或更多。也就是说，构成该“标志”的位的数量是任意的，并且可以是一位或多位。此外，由于假定标识信息(包括标志)不仅包括比特流中的标识信息，而且包括比特流中的标识信息相对于特定参考信息的差异信息，因此在本说明书中，“标志”和“标识信息”不仅包括信息，而且包括相对于参考信息的差异信息。

此外，可以以任何形式发送或记录与编码数据(比特流)有关的各种类型的信息(元数据等)，只要该信息与编码数据相关联即可。此处，术语“关联”意指例如当处理一个数据时可以使用(链接)另一数据。也就是说，彼此相关联的数据可以被收集为一个数据或者可以是单独的数据。例如，可以在与编码数据(图像)的传输路径不同的传输路径上传输与编码数据(图像)相关联的信息。此外，例如，与编码数据(图像)相关联的信息可以记录在与编码数据(图像)不同的记录介质(或相同记录介质的另一记录区域)中。请注意，该“关联”可能是数据的一部分而不是整个数据。例如，图像和与该图像对应的信息可以以任意单元诸如多帧、一帧或帧内的一部分彼此相关联。

注意，在本说明书中，诸如“组合”、“复用”、“添加”、“集成”、“包括”、“存储”、“放入”、“进入”和“插入”的术语是指将多个项目组合成一个，例如，将编码数据和元数据合成为一个数据，并且意味着上述“相关联”的一种方法。

此外，本技术的实施方式不限于上述实施方式，并且在不背离本技术的主旨的情况下可以进行各种修改示例。

例如，描述为一个装置(或处理单元)的配置可以被划分并被配置成多个装置(或处理单元)。相反，以上被描述为多个装置(或处理单元)的配置可以被共同配置成一个装置(处理单元)。此外，可以将除了上述配置之外的配置添加至每个装置(或每个处理单元)的配置。此外，只要整个系统的配置和操作基本上相同，特定装置(或处理单元)的配置的一部分可以被包括在另一装置(或另一处理单元)的配置中。

此外，例如，可以在任意装置中执行上述程序。在该情况下，仅需要装置具有必要的功能(功能块等)并且可以获得必要的信息。

此外，例如，一个流程图中的每个步骤可以由一个装置执行，或者可以由多个装置共享和执行。此外，在一个步骤中包括多个处理的情况下，多个处理元件可以由一个装置执行，或者可以由多个装置共享和执行。换句话说，包括在一个步骤中的多个处理元件也可以作为多个步骤的处理元件被执行。相反，被描述为多个步骤的处理可以作为一个步骤来共同执行。

此外，例如，在由计算机执行的程序中，描述程序的步骤的处理可以按照本说明书中描述的顺序以时间序列来执行，或者可以在必要的定时处诸如当进行调用时单独执行或并行执行。也就是说，只要不存在矛盾，就可以以与上述顺序不同的顺序执行每个步骤的处理。此外，描述程序的步骤的处理可以与另一程序的处理并行执行，或者可以与另一程序的处理组合执行。

此外，例如，与本技术有关的多个技术可以独立地实现为单个主体，只要不存在矛盾即可。当然，可以组合实现多个任意的本技术。例如，在任何实施方式中描述的本技术的一些或全部可以与在其他实施方式中描述的本技术的一些或全部组合地实现。此外，上述任意本技术中的一些或全部可以与以上未描述的其他技术组合实现。

注意，本技术还可以采用以下配置。

(1)一种信息处理装置，包括：

文件生成单元，其被配置成生成文件，所述文件存储：

比特流轨道，其存储在帧内具有子图片的内容的比特流，以及提取基本轨道，其存储子图片指定信息，所述子图片指定信息是用于指定要在所述比特流轨道中提取的所述子图片的信息。

(2)根据(1)所述的信息处理装置，其中，

所述子图片指定信息包括图块区域标识信息，所述图块区域标识信息是包括所述子图片的图块区域的标识信息。

(3)根据(2)所述的信息处理装置，其中，

所述提取基本轨道将提取为一个比特流的所述子图片设置为一个集合，并针对每个所述集合存储所述子图片指定信息。

(4)根据(3)所述的信息处理装置，其中，

所述提取基本轨道还存储作为所述集合的标识信息的集合标识信息。

(5)根据(2)至(4)中任一项所述的信息处理装置，其中，

所述比特流轨道还针对存储在所述比特流轨道中的所述子图片中的每个子图片，存储作为所述子图片的标识信息的子图片标识信息和包括所述子图片的图块区域的所述图块区域标识信息。

(6)根据(5)所述的信息处理装置，其中，

所述比特流轨道针对所述子图片标识信息与所述图块区域标识信息匹配的所述子图片仅存储所述子图片标识信息。

(7)根据(1)至(6)中任一项所述的信息处理装置，其中，

所述提取基本轨道还存储参数集更新信息，所述参数集更新信息是用于更新参数集以与所提取的所述子图片的比特流对应的信息。

(8)根据(7)所述的信息处理装置，其中，

所述参数集更新信息包括子图片更新信息，所述子图片更新信息是用于更新作为所述子图片的标识信息的子图片标识信息以与所提取的所述子图片的比特流对应的信息。

(9)根据(1)至(8)中任一项所述的信息处理装置，其中：

所述文件还包括合并基本轨道，其存储与基于所述提取基本轨道从彼此不同的所述比特流轨道提取的多个所述子图片的合并有关的信息。

(10)根据(1)至(9)中任一项所述的信息处理装置，其中，

所述内容是将具有三维形状的对象表示为点的集合的点云，以及

所述子图片由其中可以独立解码点云的部分区域配置。

(11)一种信息处理方法，包括：

生成文件，所述文件存储：

比特流轨道，其存储在帧内具有子图片的内容的比特流，以及提取基本轨道，其存储子图片指定信息，所述子图片指定信息是用于指定要在所述比特流轨道中提取的所述子图片的信息。

(31)一种信息处理装置，包括：

比特流生成单元，其被配置成基于文件的提取基本轨道从比特流轨道提取子图片，并生成比特流，所述文件存储：

所述比特流轨道，其存储在帧内具有所述子图片的内容的比特流，以及

所述提取基本轨道，其存储子图片指定信息，所述子图片指定信息是用于指定要在所述比特流轨道中提取的所述子图片的信息。

(32)根据(31)所述的信息处理装置，其中，

所述子图片指定信息包括图块区域标识信息，所述图块区域标识信息是包括所述子图片的图块区域的标识信息。

(33)根据(32)所述的信息处理装置，其中，

所述提取基本轨道将提取为一个比特流的所述子图片设置为一个集合，并针对每个所述集合存储所述子图片指定信息。

(34)根据(33)所述的信息处理装置，其中，

所述提取基本轨道还存储作为所述集合的标识信息的集合标识信息。

(35)根据(32)至(34)中任一项所述的信息处理装置，其中，

所述比特流轨道还针对存储在所述比特流轨道中的所述子图片中的每个子图片，存储作为所述子图片的标识信息的子图片标识信息和包括所述子图片的图块区域的所述图块区域标识信息。

(36)根据(35)所述的信息处理装置，其中，

所述比特流轨道针对所述子图片标识信息与所述图块区域标识信息匹配的所述子图片仅存储所述子图片标识信息。

(37)根据(31)至(36)中任一项所述的信息处理装置，其中，

所述提取基本轨道还存储参数集更新信息，所述参数集更新信息是用于更新参数集以与所提取的所述子图片的比特流对应的信息。

(38)根据(37)所述的信息处理装置，其中，

所述参数集更新信息包括子图片更新信息，所述子图片更新信息是用于更新作为所述子图片的标识信息的子图片标识信息以与所提取的所述子图片的比特流对应的信息。

(39)根据(31)至(38)中任一项所述的信息处理装置，其中：

所述文件还包括合并基本轨道，其存储与基于所述提取基本轨道从彼此不同的所述比特流轨道提取的多个所述子图片的合并有关的信息。

(40)根据(31)至(39)中任一项所述的信息处理装置，其中，

所述内容是将具有三维形状的对象表示为点的集合的点云，以及

所述子图片由其中可以独立解码点云的部分区域配置。

(41)一种信息处理方法，包括：

基于文件的提取基本轨道，从比特流轨道提取子图片，并生成比特流，所述文件存储：

所述比特流轨道，其存储在帧内具有所述子图片的内容的比特流，以及

所述提取基本轨道，其存储子图片指定信息，所述子图片指定信息是用于指定要在所述比特流轨道中提取的所述子图片的信息。

附图标记列表

300文件生成装置、301控制单元、302文件生成处理单元、311输入单元、312预处理单元、313编码单元、314文件生成单元、315记录单元、316输出单元、400客户端设备、401控制单元、402再现处理单元、411文件获取单元、412文件处理单元、413解码单元、414显示信息生成单元、415显示单元、416测量单元、417显示控制单元。

Claims (20)

1.一种信息处理装置，包括：

文件生成单元，其被配置成生成文件，所述文件存储：

比特流轨道，其存储在帧内具有子图片的内容的比特流，以及

提取基本轨道，其存储子图片指定信息，所述子图片指定信息是用于指定要在所述比特流轨道中提取的所述子图片的信息。

2.根据权利要求1所述的信息处理装置，其中，

所述子图片指定信息包括图块区域标识信息，所述图块区域标识信息是包括所述子图片的图块区域的标识信息。

3.根据权利要求2所述的信息处理装置，其中，

所述提取基本轨道将提取为一个比特流的所述子图片设置为一个集合，并针对每个所述集合存储所述子图片指定信息。

4.根据权利要求3所述的信息处理装置，其中，

所述提取基本轨道还存储作为所述集合的标识信息的集合标识信息。

5.根据权利要求2所述的信息处理装置，其中，

所述比特流轨道还针对存储在所述比特流轨道中的所述子图片中的每个子图片，存储作为所述子图片的标识信息的子图片标识信息和包括所述子图片的图块区域的所述图块区域标识信息。

6.根据权利要求5所述的信息处理装置，其中，

所述比特流轨道针对所述子图片标识信息与所述图块区域标识信息匹配的所述子图片仅存储所述子图片标识信息。

7.根据权利要求1所述的信息处理装置，其中，

所述提取基本轨道还存储参数集更新信息，所述参数集更新信息是用于更新参数集以与所提取的所述子图片的比特流对应的信息。

8.根据权利要求7所述的信息处理装置，其中，

所述参数集更新信息包括子图片更新信息，所述子图片更新信息是用于更新作为所述子图片的标识信息的子图片标识信息以与所提取的所述子图片的比特流对应的信息。

9.根据权利要求1所述的信息处理装置，其中：

所述文件还包括合并基本轨道，其存储与基于所述提取基本轨道从彼此不同的所述比特流轨道提取的多个所述子图片的合并有关的信息。

10.一种信息处理方法，包括：

生成文件，所述文件存储：

比特流轨道，其存储在帧内具有子图片的内容的比特流，以及

提取基本轨道，其存储子图片指定信息，所述子图片指定信息是用于指定要在所述比特流轨道中提取的所述子图片的信息。

11.一种信息处理装置，包括：

比特流生成单元，其被配置成基于文件的提取基本轨道从比特流轨道提取子图片，并生成比特流，所述文件存储：

所述比特流轨道，其存储在帧内具有所述子图片的内容的比特流，以及

所述提取基本轨道，其存储子图片指定信息，所述子图片指定信息是用于指定要在所述比特流轨道中提取的所述子图片的信息。

12.根据权利要求11所述的信息处理装置，其中，

所述子图片指定信息包括图块区域标识信息，所述图块区域标识信息是包括所述子图片的图块区域的标识信息。

13.根据权利要求12所述的信息处理装置，其中，

所述提取基本轨道将提取为一个比特流的所述子图片设置为一个集合，并针对每个所述集合存储所述子图片指定信息。

14.根据权利要求13所述的信息处理装置，其中，

所述提取基本轨道还存储作为所述集合的标识信息的集合标识信息。

15.根据权利要求12所述的信息处理装置，其中，

所述比特流轨道还针对存储在所述比特流轨道中的所述子图片中的每个子图片，存储作为所述子图片的标识信息的子图片标识信息和包括所述子图片的图块区域的所述图块区域标识信息。

16.根据权利要求15所述的信息处理装置，其中，

所述比特流轨道针对所述子图片标识信息与所述图块区域标识信息匹配的所述子图片仅存储所述子图片标识信息。

17.根据权利要求11所述的信息处理装置，其中，

所述提取基本轨道还存储参数集更新信息，所述参数集更新信息是用于更新参数集以与所提取的所述子图片的比特流对应的信息。

18.根据权利要求17所述的信息处理装置，其中，

所述参数集更新信息包括子图片更新信息，所述子图片更新信息是用于更新作为所述子图片的标识信息的子图片标识信息以与所提取的所述子图片的比特流对应的的信息。

19.根据权利要求18所述的信息处理装置，其中：

所述文件还包括合并基本轨道，其存储与基于所述提取基本轨道从彼此不同的所述比特流轨道提取的多个所述子图片的合并有关的信息。

20.一种信息处理方法，包括：

基于文件的提取基本轨道，从比特流轨道提取子图片，并生成比特流，所述文件存储：

所述比特流轨道，其存储在帧内具有所述子图片的内容的比特流，以及

所述提取基本轨道，其存储子图片指定信息，所述子图片指定信息是用于指定要在所述比特流轨道中提取的所述子图片的信息。

Images