CN117061767A - 信息处理装置和信息处理方法 - Google Patents

信息处理装置和信息处理方法 Download PDF

Info

Publication number
CN117061767A
CN117061767A CN202311133300.2A CN202311133300A CN117061767A CN 117061767 A CN117061767 A CN 117061767A CN 202311133300 A CN202311133300 A CN 202311133300A CN 117061767 A CN117061767 A CN 117061767A
Authority
CN
China
Prior art keywords
information
reproduction
data
file
pcc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311133300.2A
Other languages
English (en)
Inventor
胜股充
高桥辽平
平林光浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN117061767A publication Critical patent/CN117061767A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Generation (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及信息处理装置和信息处理方法。在一些实施方式中，信息处理装置可以包括：获取部，获取存储有比特流和元数据的文件，比特流是从不具有时间信息的3D数据生成的，元数据包括再现比特流所需的再现信息，并且包括用于确定再现比特流的可行性的再现可行性确定信息；文件分析部，对通过获取部获取的文件执行图像文件处理以获取再现数据；以及解码部，对通过文件分析部获取的再现数据进行解码。

Description

信息处理装置和信息处理方法
本申请是国家申请号为201980085303.9，国际申请日为2019年12月20日，进入国家日期为2021年6月21日，发明名称为“信息处理装置和信息处理方法”的申请的分案申请。
技术领域
本公开涉及信息处理装置和信息处理方法，并且特别地，涉及可以处理不具有时间信息的点云的再现的信息处理装置和信息处理方法。
背景技术
常规地，如在非专利文献1和非专利文献2中所公开的，已经定义了用于压缩点云的方法，该点云是在三维空间中具有位置信息和属性信息(特别地，颜色信息)两者的点的集合。
例如，在一种点云压缩方法中，将点云划分为多个区域(在下文中，称为“分割”)，通过平面投影为每个区域生成纹理图像和几何图像，然后，通过视频图像编解码器对图像进行编码。几何图像包括关于形成点云的点集合的深度信息。这种方法称为V-PCC(Video-based Point Cloud Coding，基于视频的点云编码)，并且在非专利文献1中详细描述。
在另一种压缩方法中，将点云分离成表示三维形状的几何和表示作为属性信息的颜色信息或反射信息的属性，并且对几何和属性进行编码。这种方法称为G-PCC(Geometrybased Point Cloud Coding，基于几何的点云编码)。
于是，期望一种用例，其中通过以上编码生成的V-PCC流或G-PCC流被下载和再现，或者通过基于IP(Internet Protocol，互联网协议)的网络被分发。
然后，为了在抑制对现有分发平台的影响的同时早期实现服务，已经开始研究基于作为MPEG(Moving Picture Experts Group，运动图像专家组)中的现有框架的ISOBMFF/DASH(ISO Base Media File Format/Dynamic Adaptive Streaming over HTTP，ISO基媒体文件格式/通过HTTP动态自适应流)的分发技术，如非专利文献3中所述。
此外，非专利文献4公开了与存储方法有关的方案，该存储方法用于将V-PCC流存储在具有使用ISOBMFF技术的文件结构的文件中。
引用列表
非专利文献
非专利文献1：
m45183 second working draft for Video-based Point Cloud Coding(V-PCC).
非专利文献2：
m45183 working draft for Geometry-based Point Cloud Coding(G-PCC).
非专利文献3：
w17675,First idea on Systems technologies for Point Cloud Coding,April 2018,San Diego,US
非专利文献4：
w18059,Working Draft of Storage of V-PCC in ISOBMFF Files
发明内容
技术问题
其中，在常规的用例中，如在视频图像中那样，将通过对包括按预定时间间隔的多个帧的点云的V-PCC或G-PCC编码生成的V-PCC流或G-PCC流存储在具有使用ISOBMFF技术的文件结构的文件中。相反，预期将需要这样的用例，其中例如，如在地图数据中那样，不具有时间信息的点云(即，一帧的点云)由V-PCC或G-PCC进行编码，并且存储在具有使用ISOBMFF技术的文件结构的文件中。期望处理这样的用例。
已经鉴于上述情况做出了本公开，并且本公开被提供为能够处理不具有时间信息的点云的再现。
问题的解决方案
根据本公开的第一方面的装置包括：元数据生成部，其生成元数据，元数据包括再现从不具有时间信息的3D数据生成的比特流所需的再现信息，并且包括用于确定再现比特流的可行性的再现可行性确定信息；以及文件生成部，其生成存储有比特流和元数据的文件。
根据本公开的第一方面的信息处理方法包括：生成元数据，该元数据包括再现从不具有时间信息的3D数据生成的比特流所需的再现信息，并且包括用于确定再现比特流的可行性的再现可行性确定信息；以及生成存储有比特流和元数据的文件。
在本公开的第一方面中，生成包括再现从不具有时间信息的3D数据生成的比特流所需的再现信息并且包括用于确定再现比特流的可行性的再现可行性确定信息的元数据，并且生成存储有比特流和元数据的文件。
根据本公开的第二方面的装置包括：元数据生成部，其生成元数据，元数据包括再现从不具有时间信息的3D数据生成的多个比特流所需的再现信息，并且包括用于确定再现比特流的可行性的再现可行性确定信息；以及文件生成部，其生成存储有比特流和元数据的文件。
根据本公开的第二方面的信息处理方法包括：生成元数据，元数据包括再现从不具有时间信息的3D数据生成的多个比特流所需的再现信息，并且包括用于确定再现比特流的可行性的再现可行性确定信息；以及生成存储有比特流和元数据的文件。
在本公开的第二方面中，生成包括再现从不具有时间信息的3D数据生成的多个比特流所需的再现信息并且包括用于确定再现比特流的可行性的再现可行性确定信息的元数据，并且生成存储有比特流和元数据的文件。
在一些实施方式中，可以提供能够处理不具有时间信息的点云的再现的技术。例如该技术可以包含：生成元数据，该元数据包括再现通过利用V-PCC或G-PCC对点云的一帧进行编码而获得的编码数据所需的再现信息和用于确定再现编码数据的可行性的再现可行性信息；以及将编码数据和元数据存储在具有利用规定的ISOBMFF技术的文件结构的文件中。该技术可以应用于例如生成用于存储不具有时间信息的点云的编码数据的文件的数据生成装置。
附图说明
图1是用于说明使用V-PCC的点云压缩方法的图。
图2是描绘V-PCC流的结构的一个示例的图。
图3是描绘V-PCC视频图像格式中的文件结构的一个示例的图。
图4是描绘V-PCC静止图像流的结构的一个示例的图。
图5是描绘G-PCC流的结构的一个示例的图。
图6是描绘V-PCC静止图像格式(1项版本(1-item version))的文件配置的一个示例的图。
图7是描绘VPCCConfigurationBox(VPCC配置框)('vpcC')的结构的一个示例的图。
图8是用于说明V-PCC静止图像流的再现处理的流程图。
图9是用于说明图8中的步骤S11中的meta Box(元框)处理的流程图。
图10是描绘V-PCC静止图像格式(1项版本)中的ItemProperty('sube')的文件配置的一个示例的图。
图11是描绘ItemProperty(项性质)('sube')的结构的一个示例的图。
图12是描绘data_type(数据类型)的一个定义示例的图。
图13是描绘attribute_type(属性类型)的一个定义示例的图。
图14是描绘使用ItemProperty结构的信号传送的一个示例的图。
图15是描绘V-PCC静止图像流的文件配置(多项版本(multiitem version))的一个示例的图。
图16是用于说明V-PCC静止图像流(多项)的再现处理的流程图。
图17是描绘扩展的PrimaryItemBox(初级项框)的一个示例的图。
图18是描绘PrimaryGroupBox(初级组框)的一个示例的图。
图19是描绘ItemProperty的语法的一个示例的图。
图20是描绘使用图19中的语法的文件配置的一个示例的图。
图21是描绘ItemProperty('vrps')的语法的一个示例的图。
图22是描绘使用图21中的语法的ItemProperty的结构的一个示例的图。
图23是描绘用于用信号传送vpcc_unit_header(vpcc单元报头)的ItemProperty('vuhd')的一个示例的图。
图24是描绘vpccParameterSetProperty('vpss')的语法的一个示例的图。
图25是描绘使用图24中的语法的文件配置的一个示例的图。
图26是描绘ItemProerty('frma')的一个示例的图。
图27是描绘ItemProperty('schm')的一个示例的图。
图28是描绘使用受限方案的文件配置的一个示例的图。
图29是描绘使用受限方案的信号传送的一个示例的图。
图30是描绘G-PCC静止图像流的文件配置的一个示例的图。
图31是描绘GPCCConfigurationBox(GPCC配置框)('gpcC')的结构的一个示例的图。
图32是描绘基于现有标准的SubSampleItemProperty(子样本项性质)('subs')的一个示例的图。
图33是描绘codec_specific_parameters(特定于编解码器的参数)的一个定义示例的图。
图34是描绘data_type的一个定义示例的图。
图35是描绘attribute_type的一个定义示例的图。
图36是描绘GPCCMultiItemProperty(GPCC多项性质)的结构的一个示例的图。
图37是描绘起点为EntityToGroupBox(实体至组框)的G-PCC多项的一个示例的图。
图38是描绘起点为Item_id(项标识)的G-PCC多项的一个示例的图。
图39是描绘属性组合信号传送的一个示例的图。
图40是描绘数据生成装置的一个示例的框图。
图41是描绘数据再现装置的一个示例的框图。
图42是用于说明生成存储有V-PCC静止图像流的文件的文件生成处理的流程图。
图43是用于说明生成存储有G-PCC静止图像流的文件的文件生成处理的流程图。
图44是描绘应用本技术的计算机的一个实施方式的配置示例的框图。
具体实施方式
在下文中，将参照附图详细说明应用本技术的具体实施方式。
<常规的V-PCC和G-PCC>
首先，将对常规的V-PCC和G-PCC进行说明。
例如，地图数据是由指示三维形状的点云所表示的数据(在下文中，也称为“3D数据”)的一个示例。与形状随时间变化的对象不同，地图数据不会变形，并且被认为没有时间信息。因此，可以预期其中通过V-PCC或G-PCC对作为地图数据的不具有时间信息的点云(即，与点云的一帧相对应的1个PC样本)进行编码的用例。要注意的是，在以下的说明中，将对不具有时间信息的点云进行V-PCC编码而获得的编码数据称为“V-PCC静止图像数据”，而将对不具有时间信息的点云进行G-PCC编码而获得的编码数据称为“G-PCC静止图像数据”。
例如，用于将不具有时间信息的数据存储到具有使用ISOBMFF技术的文件结构的文件中的一个常规标准是ISO/IEC 23008-12MPEG-H图像文件格式(在下文中，简称为“HEIF”)。另一方面，二维图像可以通过诸如AVC(Advanced Video Coding，高级视频编码)或HEVC(High Efficiency Video Coding，高效视频编码)的视频图像编解码器被编码成不具有时间信息的二维图像数据，并且二维图像数据可以被存储到具有使用ISOBMFF的文件结构的文件中。
因此，例如如果扩展HEIF，则很可能在以与不具有时间信息并且通过视频图像编解码器进行压缩而获得的二维图像数据类似的方式来考虑V-PCC静止图像数据和G-PCC静止图像数据的同时，实现这些数据到ISOBMFF中的存储。
将参照图1至图4对V-PCC进行说明。
图1是用于简要说明上述非专利文献1中公开的使用V-PCC的点云压缩方法的图。
如图1所示，首先输入指示三维结构的点云，并且分割该点云。在图1所示的示例中，输入指示通过组合半球形状和圆锥形状而获得的三维结构的点云，并且将该点云分割成三个区域，使得半球形状和圆锥形状分别被划分成一个区域和两个区域。
接着，执行对每个区域的平面投影以生成包括指示相应区域的表面的视觉方面的颜色信息的纹理图像，并且生成包括指示到相应区域的表面的深度的位置信息的几何图像。然后，通过诸如AVC或HEVC的视频图像编解码器对纹理图像和几何图像进行编码。
图2描绘了由上述非专利文献1中公开的V-PCC编码的常规流结构。这样的流称为V-PCC流。
如图2所示，V-PCC流包括一个流，并且包括多个V-PCC单元。V-PCC单元各自包括V-PCC单元报头和V-PCC单元有效载荷。
例如，V-PCC单元报头指示表示V-PCC单元有效载荷中所包括的数据类型的单元类型以及针对对应单元类型的附加信息(例如，属性类型，或者信息针对哪个点云帧)。这里，点云帧(在下文中，也称为“PC帧”)是指同时显示的点云。
另外，V-PCC单元有效载荷包括视频单元、辅助信息单元和参数集，如图2所示。编码的纹理图像存储在属性视频数据单元中。编码的几何图像存储在几何视频数据单元中。要用于2D-3D转换的三维信息元数据存储在辅助信息数据单元和占用视频数据单元(occupancy video data unit)中。每个数据单元的元数据、序列中公共的元数据、帧中公共的元数据等存储在参数集中。
例如，客户端对PC流中的几何视频数据、纹理属性视频数据和占用数据进行解码，并且通过使用解码的占用数据生成几何补丁和纹理补丁。随后，客户端首先通过使用辅助信息数据根据几何补丁生成无色点云，然后，根据纹理补丁给予点云以颜色。
另外，上述非专利文献4公开了一种方案，该方案将使用现有视频图像编解码器的占用视频数据和几何视频数据以及属性视频数据(非专利文献4中的纹理)看作单独的视频轨道(video track)，并且将任何其他的参数集和辅助信息数据等存储为元数据轨道(metadata track)。
此外，该方案使用EntityToGroupBox('vpcg')以指示构成V-PCC流的轨道，例如，如图3中的V-PCC视频图像格式的文件结构所表示的。具体地，EntityToGroupBox('vpcg')是被设置为再现的起点的信息，在EntityToGroupBox('vpcg')中，用信号传送PCC元数据、几何、纹理(属性)和占用的track_id。
这里，将讨论V-PCC静止图像数据的V-PCC流的配置。
在典型视频图像的情况下，V-PCC流具有包括以特定时间间隔连续显示的多个PC帧的配置。相反，在V-PCC静止图像数据的情况下，V-PCC流具有仅包括一个PC帧的配置，因为一个PC帧就足够了并且不需要时间信息。
例如，将诸如图4所示的V-PCC流的、V-PCC静止图像数据的V-PCC流称为“V-PCC静止图像流”，并且将其格式称为“V-PCC静止图像格式”。
上述非专利文献4提出了一种用于将视频图像的V-PCC流存储到具有使用ISOBMFF技术的文件结构的文件中的存储方法，但是没有公开或建议针对V-PCC静止图像流的存储方法。因此，本文提出了一种以稍后将说明的方式使用HEIF来存储V-PCC静止图像流的新方法。
将参照图5对G-PCC进行说明。
图5描绘了如上述非专利文献2中所公开的由G-PCC编码的常规流结构。这样的流称为“G-PCC流”(或简称为“PC流”)。
例如，G-PCC流包括1个流，其是以解码顺序排列的一连串点云帧。这里，点云帧(在下文中，也称为“PC帧”)是指要同时显示的点云。PC帧是一个比特流，该比特流包括一连串指示三维信息的几何比特流(图5中的Geom)和指示关于颜色、反射率等的属性信息的属性比特流(图5中的Attr)。
要注意的是，一个PC帧包括一个几何比特流和两个或更多个属性比特流(图5中为两个属性比特流)。另外，作为对几何比特流和属性比特流进行解码所需的公共信息，将G-PCC流的每个序列的元信息存储在SPS(Sequence Parameter Set，序列参数集)中。此外，将对几何比特流进行解码所需的信息存储在GPS(Geometry Parameter Set，几何参数集)中，并且将对属性比特流进行解码所需的信息存储在APS(Attribute Parameter Set，属性参数集)中。
然后，客户端通过不同的解码器对G-PCC流中的几何比特流和属性比特流进行解码。首先，客户端通过对几何比特流进行解码来生成无色点云。随后，客户端通过参考解码的几何比特流中的信息对属性比特流进行解码，并且基于该信息添加诸如颜色和反射率的属性。
这里，将讨论G-PCC静止图像数据的G-PCC流配置。在视频图像的情况下，G-PCC流具有包括要以特定时间间隔连续显示的多个PC帧的配置。相反，在G-PCC静止图像数据的情况下，G-PCC流具有仅包括一个PC帧的配置，因为一个PC帧就足够了并且不需要时间信息。在下文中，G-PCC静止图像数据的G-PCC流称为“G-PCC静止图像流”，并且其格式称为“G-PCC静止图像格式”。
此外，本文提出了一种以稍后将说明的方式使用HEIF来存储G-PCC静止图像流的新方法。
其中，除了再现着色的点云的典型用例之外，V-PCC流、G-PCC流的用例还包括其中仅使用与点云有关的三维形状信息而不需要诸如颜色、反射率的属性信息的用例。具体地，可以存在这样的用例，其中将通过LiDAR(Light Detection and Ranging，光探测和测距)和摄像装置获取的着色的地图信息保持为点云，并且从该点云中仅提取地形信息(即，三维形状信息)并将该地形信息用于汽车驾驶控制等。
另外，在提供诸如颜色和反射率的多条属性信息的情况下，例如，可以存在期望仅将颜色属性与几何一起用于预览、而不使用反射率属性的用例。此外，在提供多个属性的情况下，存在期望仅使用这些属性中的一个属性、即、期望仅提取并使用一个属性的用例。
然而，在V-PCC静止图像格式(1项版本)和G-PCC静止图像格式中，例如，需要将几何和多个属性作为一条图像数据来处理，并且不存在其明确的边界信息。为此，在以上用例中，客户端需要获取几何和所有属性，然后从流的顶部对几何和属性进行完全解码。即，不仅对多个属性中的要被使用的属性进行解码，而且还对不要使用的属性进行解码。这会降低处理效率。
因此，在以上用例中，例如，期望避免对不要使用的属性进行解码，从而防止处理效率降低。
<V-PCC静止图像格式>
这里，分别针对V-PCC静止图像格式(1项版本)和V-PCC静止图像格式(多项版本)定义在HEIF中存储V-PCC静止图像流的方法。
首先，将参照图6至图14对V-PCC静止图像格式(1项版本)进行说明。
V-PCC静止图像流包括V-PCC单元，如上述图2中所示。此外，V-PCC单元包括作为用于再现可行性确定、解码和渲染的元数据的参数集以及作为编码数据的数据单元等。
在常规的HEIF中，当将通过使用作为视频图像编解码器的HEVC进行编码而获得的图像存储到具有使用ISOBMFF技术的文件结构的文件中时，HEVC流被存储为项。为了将HEVC流存储为项，定义了指示项是HEVC流的item_type。此外，用于再现可行性确定和解码或渲染的元数据被存储为HEVC流中的项性质，并且HEVC流中的编码数据被存储为图像数据。
因此，本文提出了还基于以上基本概念在HEIF中存储V-PCC静止图像流。具体地，可以定义指示项是V-PCC静止图像流的item_type，可以将参数集存储为项性质，并且可以将数据单元存储为图像数据。
图6描绘了V-PCC静止图像格式(1项版本)的具体文件配置。
首先，项的类型由ItemInfoEntry('infe')指定。在图6所示的示例中，item_type＝'vpc1'被设置以指定指示V-PCC的编码名称(codingname)。另外，通过ItemProperty中设置的'vpcC'来用信号传送参数集。例如，获得诸如图7中所示的结构的结构。此外，图像数据被存储在各种数据单元中。
图8和图9各自表示用于说明再现图6所示的V-PCC静止图像格式(1项版本)的再现文件的再现处理的流程图。要注意的是，图8和图9所示的再现处理由稍后将描述的图41中的数据分析/解码部53执行。数据分析/解码部53包括文件分析部55、解码部56和显示信息生成部57。
在步骤S11中，文件分析部55执行图像文件处理以获取再现数据，并且将再现数据提供给解码部56。
这里，文件分析部55执行图6中描述的meta Box处理作为图像文件处理，以在步骤S21中获取meta Box('meta')。然后，文件分析部55执行稍后将参照图9说明的步骤S22中的第一再现可行性确定处理、步骤S23中的再现项判定处理、步骤S24中的第二再现可行性确定处理、步骤S25中的第三再现可行性确定处理、以及步骤S26中的再现数据获取处理。
在步骤S12中，解码部56通过执行解码处理对在步骤S11中从文件分析部55提供的再现数据进行解码。例如，解码部56可以通过使用根据步骤S25中的第三再现可行性确定处理所获取的性质(参见稍后将说明的步骤S40)进行解码所需要的性质'vpcC'，并且通过使用步骤S26中的再现数据获取处理所获取的数据(参见稍后将说明的步骤S43)，来执行解码处理。然后，解码部56将通过解码处理重建的点云提供给显示信息生成部57。例如，在图6所示的文件示例中，使用了性质'vpcC'。
在步骤S13中，显示信息生成部57执行渲染处理，以根据在步骤S12中从解码部56提供的点云来渲染显示画面。
在步骤S13的处理之后，由显示信息生成部57渲染的显示画面被显示在图41中的显示部54上。
图9是用于说明作为图8的步骤S11中的图像文件处理而执行的meta Box处理的流程图。
在步骤S22中的第一再现可行性确定处理(HandlerBox('hdlr')的处理)中，执行步骤S31至步骤S33中的处理。
在步骤S31中，文件分析部55获取HandlerBox('hdlr')。
在步骤S32中，文件分析部55确定在步骤S31中获取的HandlerBox('hdlr')的handler_type是否是'pict'。
在文件分析部55在步骤S32中确定handler_type不是'pict'的情况下，处理进行到步骤S33，在S33中确定不能再现文件。然后，处理结束。另一方面，在文件分析部55在步骤S32中确定handler_type是'pict'的情况下，处理进行到步骤S34。
在步骤S23中的再现项判定处理(PrimaryItemBox('pitm')的处理)中，执行步骤S34中的处理。
在步骤S34中，文件分析部55获取PrimaryItemBox('pitm')，并且获取item_id。例如，获取图6中所示的文件示例中的item_id＝1。
在步骤S24中的第二再现可行性确定处理(ItemInfoBox('iinf')的处理)中，执行步骤S35至步骤S37中的处理。
在步骤S35中，文件分析部55获取ItemInfoBox('iinf')，并且从包括在ItemInfoBox('iinf')中的ItemInfoEntry('infe')中获取具有与在步骤S34中获取的item_id相匹配的item_id的条目。例如，获取图6所示的文件示例中的具有item_id＝1的条目。
在步骤S36中，文件分析部55确定是否可以处理在步骤S35中获取的条目中所包括的item_type。例如，确定item_type是否对应于图6所示的文件示例中的vpc1。
在文件分析部55在步骤S36中确定不能处理item_type的情况下，处理进行到步骤S37，在步骤S37中确定不能再现文件。然后，处理结束。另一方面，在文件分析部55在步骤S36中确定可以处理item_type的情况下，处理进行到步骤S38。
在步骤S25中的第三再现可行性确定处理(ItemPropertiesBox('iprp')处理)中，执行步骤S38至步骤S42中的处理。
在步骤S38中，文件分析部55获取ItemPropertiesBox('iprp')。
在步骤S39中，文件分析部55获取ItemPropertyAssociationBox('ipma')，并且获取具有与在步骤S34中获取的item_id相匹配的item_id的性质链接信息(property_index和必要标志(essential flag))。
在步骤S40中，文件分析部55获取ItemPropertyContainerBox('ipco')，并且获取具有在步骤S39中获取的Property_index的性质。
在步骤S41中，文件分析部55确定是否可以执行用以处理在步骤S40中获取的其性质指示必要的所有性质的处理。例如，确定是否可以执行用以处理图6所示的文件示例中的vpcC的处理。
在文件分析部55在步骤S41中确定不能执行处理的情况下，处理进行到步骤S42，在步骤S42中确定不能再现文件。然后，处理结束。另一方面，在文件分析部55在步骤S41中确定可以执行处理的情况下，处理进行到步骤S43。
在步骤S26的再现数据获取处理(ItemLocationBox('iloc')处理)中，执行步骤S43中的处理。
在步骤S43中，文件分析部55获取ItemLocationBox('iloc')，并且根据步骤S34中获取的item_id所指示的item_id数据的偏移/长度获取数据。
此后，meta Box处理结束，然后，处理进行到图8中的步骤S12。
如到目前为止所述，再现V-PCC静止图像流的再现处理基本上与再现其中HEVC或AVC存储在HEIF中的文件的处理类似。然而，在步骤S24中的第二再现可行性确定处理中使用ItemInfoBox('iinf')中的vpc1进行再现可行性确定，并且在步骤S25中的第三再现可行性确定处理中使用vpcC进行再现可行性确定。通过这些确定来表征V-PCC静止图像流的再现。另外，步骤S12中的解码处理和步骤S13中的渲染处理特定于V-PCC。
同时，由于在已经参照图8和图9说明的再现处理中使用V-PCC，因此可以使用ItemInfoBox('iinf')中的'vpc1'进行再现可行性确定，并进一步，可以根据ItemProperty中的'vpcC'识别V-PCC配置文件(profile)或级别。
这里，聚焦于步骤S12中的解码处理。在解码处理中，通过现有的视频图像编解码器来对视频数据单元(几何图像、纹理图像等)进行解码。另外，客户端使用'vpcC'来进行再现可行性确定。实际上，然而，通过占用参数集、几何参数集和属性参数集中所包括的codec_id来用信号传送仅编解码器的类型。
例如，在HEVC中，基于关于HEVCConfigurationBox('hvcC')中所包括的HEVC配置文件或级别的信息来进行再现可行性确定。另一方面，仅利用'vpcC'，缺乏用于进行再现可行性确定的信息，例如所包括的视频数据单元中的每一个的配置文件或级别。因此，实际上需要解码处理，从而预计处理效率将降低。因此，需要用信号传送视频数据单元的再现可行性确定信息，以便能够确定再现视频数据单元的可行性。
<对视频数据单元的再现可行性确定信息的信号传送>
将参照图10至图14说明用信号传送视频数据单元的再现可行性确定信息的第一方案至第三方案。
在第一方案中，使用视频的SampleEntry通过ItemProperty来用信号传送每个视频数据单元的再现可行性确定信息。例如，可以定义ItemProperty('sube')，并且可以执行对每个视频数据单元的编解码器和解码器配置信息的信号传送。
图10描绘了将ItemProperty('sube')添加到图6中的上述文件的示例。
例如，通过ItemPropertyContainerBox('ipco')用信号传送ItemProperty('sube')，并且ItemProperty('sube')与ItepPropertyAssociationBox('ipma')中的item_id＝1相关联，如图10中的粗体所示。
在图10中，必要标志被设置为1，其指示属性确实需要进行处理。要注意的是，在图10的示例中，必要标志被设置为1，但是如果必要标志被设置为0，则即使对于不能处理该ItemProperty的设备，也可以允许再现处理。此外，通过property_index[2]进行与ItemProperty('sube')的关联。
图11描绘了ItemProperty('sube')的结构示例。另外，图12描绘了data_type的一个定义示例，并且图13描绘了attribute_type的一个定义示例。
例如，SubSampleEntryProperty中包括数量等于V-PCC中包括的视频数据单元的数量的ComponentSampleEntryBox。用于识别视频数据单元的分量类型(component type)(参见图12)的类型信息存储在每个componentSampleEntryBox的类型字段中。此外，在视频数据单元的分量类型是属性的情况下，存储用于识别视频数据单元的SampleEntry和attribute_type字段中的属性类型的属性类型信息(参见图13)。另外，SampleEntry()根据分量的编码编解码器而改变，并且例如如果分量是HEVC编码的，则SampleEntry()被设置为HEVCSampleEntry。
作为根据第一方案用信号传送视频数据单元的再现可行性确定信息的结果，在再现处理的步骤S25(参见上述图8)中，可以由客户端使用SubSampleEntryProperty进行再现可行性确定。另外，当在再现期间处理通过SubSampleEntryProperty用信号传送的SampleEntry信息时，除了每个视频数据单元的编解码器之外，还可以使用配置文件或级别信息以及还有参数集信息等进行再现可行性确定。
要注意的是，在图11所示的示例中仅用信号传送类型和属性类型，但是例如还可以用信号传送层识别信息、相同attribute_type的识别信息等。
在第二方案中，通过使用现有的ItemPropertyEntry来用信号传送每个视频数据单元的再现可行性确定信息。即，可以通过第二方案执行使用ItemProperty的结构的信号传送，而通过上述第一方案使用SampleEntry的结构用信号传送每个视频数据单元的再现可行性确定信息。
图14描绘了语法的一个示例。
如图14中的粗体所示，使用已经由HEIF定义的ItemProperty作为再现可行性确定信息的ItemProperty。例如，在视频数据单元的视频图像编解码器为HEVC的情况下，将ItemProperty('hvcC')和ItemProperty('ispe')包括在SubItemProperty中。
在第三方案中，通过V-PCC配置文件/级别来用信号传送每个视频数据单元的再现可行性确定信息。例如，可以通过例如图7所示的VPCCConfigurationBox('vpcC')中的配置文件/级别来执行信号传送。
例如，当以下面的方式判定配置文件和级别时，可以仅利用VPCCConfigurationBox('vpcC')来进行对正在使用的视频数据单元的再现确定。
·配置文件1：主(hevc)配置文件
整个V-PCC为主配置文件
视频数据单元仅使用HEVC编解码器(主配置文件)
·配置文件2：主(avc)配置文件
整个V-PCC为主配置文件
视频数据单元仅使用AVC编解码器(高配置文件)
·级别1
V-PCC级别为1。
如果使用HEVC，则高达HEVC级别4
如果使用AVC，则高达AVC级别4
·级别2
V-PCC级别为2。
如果使用HEVC，则高达HEVC级别5
如果使用AVC，则高达AVC级别5
要注意的是，由于在第三方案中定义了视频数据单元的编解码器的配置文件和级别的组合，所以不能使用除了所定义的配置文件和级别之外的任何配置文件或级别，因此认为降低了视频数据单元的编解码器、配置文件和级别的自由度。
接下来，将参照图15和图16对V-PCC静止图像格式(多项版本)进行说明。
例如，基于具有上述图3所示的文件结构的V-PCC视频格式，将轨道用作项，由此可以执行关于V-PCC静止图像格式的映射。具体地，图3中的PCC元数据的轨道、几何的轨道、纹理(属性)的轨道和占用的轨道被用作图像项。另外，指示内容再现的入口点的EntityToGroupBox已经被包括在MetaBox中，因此，按原样使用。
图15描绘了实际对V-PCC静止图像格式执行映射的示例。在该示例中，每个视频数据均由HEVC编码。
例如，图3中的PCC元数据轨道映射到图15所示的ItemInfoEntry中的item_id＝1上。作为item_type，用信号传送指示轨道仅包括PCC元数据的'vpcm'。item_id＝1的ItemProperty与'vpcC'相关联。各种参数集被输入'vpcC'，'vpcC'具有例如与图7中所示的结构相同的结构。作为项数据，仅存储辅助信息数据单元。
另外，图3中的几何轨道映射到图15所示的ItemInfoEntry中的item_id＝2的图像项上。例如，可以按原样使用用于存储由HEIF定义的HEVC编解码器的图像数据的现有方法。
另外，图3中的纹理轨道映射到图15所示的ItemInfoEntry中的item_id＝3的图像项上。例如，可以按原样使用用于存储由HEIF定义的HEVC编解码器的图像数据的现有方法。
另外，图3中的占用轨道映射到图15所示的ItemInfoEntry中的item_id＝4的图像项上。例如，可以按原样使用用于存储由HEIF定义的HEVC编解码器的图像数据的现有方法。
这里，在图15中，如在图3中那样地，按原样使用指示入口点的EntityToGroup Box('vpcg')。V-PCC内容中包括的项以及该项的data_type存储在EntityToGroup Box中。例如，在图15中，将item_id＝1、2、3、4视为一个V-PCC内容，item_id＝1指示元数据，item_id＝2指示几何，item_id＝3指示纹理，以及item_id＝4指示占用。
图16描绘了用于说明再现图15所示的V-PCC静止图像格式(多项版本)的文件的再现处理的流程图。
在图16所示的再现处理中，执行与图8中的步骤S21至步骤S23类似的步骤S61至步骤S63中的处理，并且执行与图8中的步骤S24至步骤26类似的步骤S65至步骤S67中的处理。此外，执行与图8中的步骤S12和步骤S13类似的步骤S52和步骤S53中的处理。
即，图16中所示的再现处理与图8中的再现处理的不同之处在于，在步骤S64中添加再现项列表获取处理(GroupListBox('grpl')的处理)。此外，图16中所示的再现处理与图8中的再现处理的不同之处在于，ItemInfoBox('iinf')的处理、ItemPropertiesBox('iprp')的处理和ItemLocationBox('iloc')的处理需要执行的次数等于项的数量。
其中，客户端不能识别V-PCC静止图像格式(多项版本)中的再现起点。
即，在已经参照图16说明的再现处理中，假定通过PrimaryItemBox用信号传送再现起点。然而，PrimaryItemBox只能指示要首先再现的项。因此，在图15所示的结构中，由EntityToGroup Box('vpcg')指示的组应当成为再现起点，但是不能以当前格式用信号传送。
因此，需要以稍后描述的方式用信号传送再现起点，以便使得客户端能够识别再现起点。
另外，利用V-PCC静止图像格式(多项版本)，在解码处理中已经被解码的图像数据不能与相应的V-PCC参数集相关联，使得客户端不能重建点云。
即，如图15所示，仅利用一个几何项、一个属性项和一个占用项，与包括在元数据项的ItemProperty('vpcC')中的参数集的关联是可能的。然而，例如，可以保持多个几何图像层。在这种情况下，几何项被包括在每个层中，因此，各个层中的几何参数集被包括在元数据项中。然而，由于各个几何项不与元数据项中的几何参数集相关联，所以不能重建点云。要注意的是，这同样适用于视频的情况。
因此，需要如稍后所说明的那样执行用于重建点云的信号传送，以便使得客户端能够重建点云。
另外，利用V-PCC静止图像格式(多项版本)，客户端可以单个地(singly)再现每个图像项。
即，在V-PCC静止图像格式(多项版本)中，当不能处理V-PCC但能再现HEVC图像的客户端处理图15中的数据时，客户端能够识别出HEVC图像的项由item_id＝2、item_id＝3和item_id＝4指示。因此，可以再现HEVC图像。在以这种方式单个地再现每个图像项的情况下，直接显示图2所示的处于扩展状态的图像。需要避免这样的显示。
为此，需要如稍后所说明的那样执行用于避免再现每个单个项的信号传送，使得禁止客户端单个地再现每个图像项。
<对再现起点的信号传送>
将参照图17至图20说明用信号传送再现起点的第一方案至第三方案。
在第一方案中，初级项框被扩展以用信号传送再现起点。
例如，在如上述图15中所示的那样由EntityToGroup Box('vpcg')中的组指示再现起点的情况下，允许使用初级项框来用信号传送再现起点。
具体地，如图17中的粗体所示，添加PrimaryItemBox中的version＝2，以允许用信号传送EntityToGroup Box中指示的group_id。
另外，在扩展PrimaryItemBox的修改例中，不改变原始PrimaryItemBox的语法，但是改变语义，以便通过32位的item_ID来指示group_id。具体地，PrimaryItemBox的名称item_ID被改变成entity_ID，使得item_ID和group_id两者均可以被使用。这里，为了清楚地指示使用了gorup_id，可以设置('pitm',version,flags)，并且可以将flags&1设置为1。
在第二方案中，通过新框(box)用信号传送再现起点。
例如，在如上述图15所示的那样由EntityToGroup Box('vpcg')中的组指示再现起点的情况下，通过指示起点的新Box来用信号传送再现起点。
具体地，如图18中所示的那样定义PrimaryGroupBox('pgrp')，并且Box指示作为要首先再现的起点的组。因此，在包括该box的情况下，客户端从该box获取group_id，并搜索与group_id匹配的EntityToGroupBox，由此可以执行从起点的再现。
例如，代替已经参照上述图16说明的再现处理中的PrimaryItemBox的处理(步骤S63)，可以执行图18中的PrimaryGroupBox的处理，使得可以执行再现。
在第三方案中，改变V-PCC静止图像流的文件配置(多项版本)的结构，使得将再现起点设置为项。
例如，通过不使用EntityToGroupBox而使用ItemReference将元数据项作为参考源，并且通过指示另外的项作为参考目的地并将参考源项的item_id设置为起点，来指示再现起点而无需扩展现有的PrimaryItemBox。即，用信号传送PrimaryItemBox中的元数据项的item_id。
具体地，使用ItemReference，如图19和图20所示。定义新的ItemReference('vpcg')，并且使元数据项与几何项、属性项和占用项相关联以指示一个V-PCC内容。此外，通过VPCCMultiItemProperty用信号传送在EntityToGroupBox中用信号传送的信息。要注意的是，以与图12和图13中的方式类似的方式定义类型和attribute_type。
通过上述方式，改变V-PCC静止图像流的文件配置(多项版本)的结构，使得可以首先获取再现起点的元数据项，然后可以获取ItemReference('vpcg')。
例如，代替已经参照上述图16说明的再现处理中的GroupListBox的处理(步骤S64)，执行图20中的ItemReference的处理以获得必要项的列表。
<用于重建点云的信号传送>
将参照图21至图25说明用于重建点云的信号传送的第一方案至第三方案。
在V-PCC静止图像格式(多项版本)中，如上所述，几何项、属性项和占用项不能与元数据项的ItemProperty('vpcC')中所包括的参数集相关联，从而不能重建点云。要注意的是，在图3所示的V-PCC视频格式中，也不能重建点云。因此，与如本实施方式中所说明的要扩展的ImageProperty信息等同的信息被放在图3中的每个轨道的SampleEntry或schemeInfomationBox下面，或者通过轨道组(Track Group)、样本组(Sample Group)或EntityToGroup的机制来执行其信号传送。因此，可以重建点云。
在第一方案中，为了重建点云，将新ItemProperty添加到几何项、属性项和占用项。
图21描绘了要添加的新ItemProperty('vrps')的语法。图22描绘了当使用上述语法时ItemProperty的结构。
首先，需要与用于重建点云的几何项、属性项和占用项相关联的参数集存储在元数据项中使用的ItemProperty('vpcC')中(图22中的item_id＝1)。ItemProperty('vpcC')具有图7中所示的结构。这里，根据存储在ItemProperty('vpcC')中的vpccUnit(vpcc单元)中的存储顺序来分配从0开始的索引编号。这些编号称为vpcC_vpccUnit_index。ItemProperty('vrps')存储需要与用于重建点云的几何项、属性项和占用项相关联的参数集的列表。这里，基于vpcC_vpccUnit_index进行关联。
通过第一方案，可以按上述方式唯一地识别重建点云所需要的参数集。因此，可以重建点云。
例如，在已经参照上述图16说明的再现处理中的解码处理(步骤S12)期间，根据通过第一方案扩展的ItemProperty('vrps')和元数据项的ItemProperty('vpcC')来识别参数集，并且使用该参数集来重建点云。
另外，在第一方案用于视频格式的情况下，例如，定义具有与ItemProperty('vprs')的字段类似的字段的vpccReferenceParameterBox('vrps')，并且将vpccReferenceParameterBox('vrps')存储在几何轨道、属性轨道和占用轨道中。因此，可以执行第一方案。
在第二方案中，用信号传送V-PCC单元报头以重建点云。
例如，在第二方案中，以与上述第一方案中的ItemProperty('vrps')类似的方式用信号传送用于用信号传送vpcc_unit_header的ItemProperty('vuhd')。
图23描绘了ItemProperty('vuhd')的语法。
因此，第二方案具有用信号传送vpcc_unit_header的特征，该vpcc_unit_header以V-PCC静止图像格式(1项版本)的比特流用信号传送，而不以V-PCC静止图像格式(多项版本)的比特流用信号传送。因此，可以容易地将V-PCC静止图像格式(多项版本)恢复成V-PCC静止图像格式(1项版本)的比特流。结果，也可以实现点云的重建。
要注意的是，在第二方案中，用信号传送vpcc_unit_header，但是可以包括vpcc_unit_payload的一部分。
另外，在第二方案用于视频格式的情况下，例如，具有与ItemProperty('vuhd')的字段类似的字段的vpccUnitHeaderBox('vuhd')被定义，并且被存储在几何轨道、属性轨道和占用轨道中。因此，可以实现第二方案。
在第三方案中，通过各个项来用信号传送参数集，以重建点云。
例如，在第三方案中，通过各个项的ItemProperty用信号传送几何项、属性项和占用项要参考的参数集。因此，几何项、属性项和占用项与重建点云所需要的参数集相关联。
图24描绘了ItemProperty('vpss')的语法。图25描绘了当使用上述语法时ItemProperty的结构。
如图25所示，新定义的vpccParameterSetProperty具有通过提取用于用信号传送参数集的ItemProperty('vpcC')的一部分而获得的语法。例如，item_id＝2的几何项与ItemProperty('vpss')[3]相关联。此外，ItemProperty('vpss')[3]包括几何参数集(GPS)和几何补丁参数集(GPPS)。为了重建点云，组合ItemProperty('vpss')[3]，从而可以实现重建。
要注意的是，在第三方案中，在ItemProperty('vpcC')[1]中，不用信号传送通过ItemProperty('vpss')用信号传送的参数集，但是可以包括该参数集。同样在这种情况下，为了重建点云，使用与项相关联的参数集。
另外，在第三方案用于视频格式的情况下，例如，具有与ItemProperty('vpss')的字段类似的字段的vpccParameterSetBox('vpss')被定义，并且被存储在几何轨道、属性轨道和占用轨道中。
<用于防止再现单个项的信号传送>
将参照图26至图29说明用于用以防止再现单个项的信号传送的第一方案和第二方案。
在第一方案中，为了禁止能够再现HEVC图像的客户端单个地再现几何项、单个地再现属性项或单个地再现占用项，执行对指示受限方案的ItemProperty的信号传送。
例如，通过使用ItemInfoEntry和ItemProperty，用信号传送项使用现有的编解码器但对其施加了特定限制的状态。
首先，项本身指示对显示施加的限制。为了指示该限制，将IntemInfoEntry的item_type设置为'resi'。这里，定义了OriginalFormatPeoperty，因为原始的item_type变得不能识别。另外，为了指示施加了什么类型的限制，定义了SchemeTypeProperty。
图26描绘了OriginalFormatPeoperty的结构示例。图27描绘了SchemeTypeProperty的结构示例。
例如，如图26所示，例如，对于HEVC图像，ItemProerty('frma')的data_format为'hvc1'。
另外，如图27所示，例如，用信号传送“pvcc”以指示ItemProperty('schm')的scheme_type是vpcc的项。在其余字段中，为shcme_version设置1，并且不使用scheme_uri。
图28描绘了使用item_type＝'resi'、ItemProerty('frma')和ItemProperty('schm')的示例。
如图28所示，几何项(item_id＝2)、属性项(item_id＝3)和占用项(item_id＝4)均与ItemProerty('frma')和ItemProperty('schm')相关联。
要注意的是，在修改例中，可以仅使用ItemProperty('schm')，而不使用item_type＝resi和ItemProerty('frma')。在这种情况下，仅根据ItemProperty('schm')确定受限方案。
此外，同时，可以在ItemInfoEntry中设置flag&1＝1，并且可以执行用以指示隐藏图像的信号传送。
例如，第一方案使用现有的编解码器，但是执行通常可以用于需要在渲染中进行特殊处理的静止图像项的信号传送。
在第二方案中，为了禁止能够再现HEVC图像的客户端单个地再现几何项、属性项和占用项，用信号传送指示V-PCC的ItemProperty。
例如，在第二方案中，添加指示图像项是V-PCC中的数据的一部分的ItemProperty，以禁止不能处理ItemProperty的任何客户端执行再现。
这里，如果用信号传送上述图19中所示的VPCCMultiItemProperty就足够了。在这种信号传送中，图20中所示的ItemPropertyAssociationBox('ipma')中的必要标志需要被设置为1。
然后，如图29所示，定义VPCCMultiItemProperty。该ItemProperty在多个项构成一个V-PCC内容的情况下，指示图像项指示几何、属性和占用中的哪个。
要注意的是，由于EntityToGroupBox使得能够识别图像项是几何、属性还是占用，因此不需要用信号传送任何内容(空ItemProperty)。
此外，同时，可以在ItemInfoEntry中设置flag&1＝1，并且可以执行用以指示隐藏图像的信号传送。
<G-PCC静止图像格式>
将参照图30和图31说明将G-PCC静止图像流存储到HEIF中的方法的定义。
首先，视频图像包括以特定时间间隔连续显示的多个PC帧。相反，在G-PCC静止图像流中，一个PC帧就足够了，并且不需要时间信息。
为了将这种G-PCC静止图像流存储到具有使用ISOBMFF技术的文件结构的文件中，以与V-PCC静止图像流的方式类似的方式，将用于再现可行性确定和解码或渲染的元数据定义为ItemProperty，并且通过ItemPropertyBox('iprp')用信号传送该元数据。另外，除了元数据之外的数据是项数据。例如，所有参数集被存储到ItemProperty中，并且所有的Geom和Attr被存储为项数据。
图30描绘了G-PCC静止图像格式的文件配置。
首先，项的类型由ItemInfoEntry('infe')指定。在图30所示的示例中，设置item_type＝'gpc1'。要用于再现可行性确定和解码/渲染的数据在项性质中作为'gpcC'被用信号传送。
例如，gpcC具有图31所示的结构。
<高效执行V-PCC/G-PCC再现的方案>
将参照图32至图39说明第一方案和第二方案，其用于高效地实现在V-PCC/G-PCC中使用三维形状而不使用属性信息来执行再现、或使用三维形状和属性信息的一部分来执行再现的用例。
为了高效地执行V-PCC/G-PCC再现，在第一方案中用信号传送SubSampleItemProperty。
例如，第一方案可以用于V-PCC静止图像格式(1项版本)和G-PCC静止图像格式。在第一方案中，通过SubSampleItemProperty来用信号传送关于ItemData的部分访问信息，以便容易地确定和获取要用于再现的视频数据单元。
图32描绘了基于现有标准的SubSampleItemProperty。
例如，通过图32所示的基于现有标准的SubSampleItemProperty，可以将ItemData的一部分指示为SubSample。然而，不能识别SubSample是什么类型的数据。
因此，如图33至图35所示的那样定义codec_specific_parameters，从而允许部分访问。
即，当如图33至图35所示的那样设置codec_specific_parameters时，可以在V-PCC静止图像格式(1项版本)和G-PCC静止图像格式两者下高效地进行数据访问。
要注意的是，尽管codec_specific_parameters在图33至图35所示的示例中是共同的，但是例如通过考虑到未来可扩展性，可以对V-PCC和G-PCC做出不同的定义。在进行这种定义的情况下，在G-PCC中保留data_type＝0(辅助信息数据)和data_type＝2(占用数据)。
在第二方案中，为了容易地确定和获取要用于G-PCC静止图像格式的再现的视频数据单元，用多个项执行信号传送。
例如，G-PCC流包括一个几何比特流和多个属性比特流。因此，比特流被存储为项，使得可以高效地进行对需要的数据的访问。
即，在第二方案中，几何项被设置为基本项，并且包括所有参数集。于是，所有项均包括指示关于多个项的信息的GPCCMultiItemProperty。
图36描绘了GPCCMultiItemProperty的结构的一个示例。
例如，如图36所示，在项是GPCCMultiItemProperty中的几何项的情况下，设置isGeometoryStream＝1。此外，num_attribute_bitstream指示包括在G-PCC流中的属性比特流的数量。在项是属性项的情况下，指示了指示属性类型(颜色、反射率)的attribute_type。要注意的是，以与图13中的方式类似的方式定义了attribute_type。
图37描绘了使用GPCCMultiItemProperty的文件结构。
如图37所示，首先，ItemInfoEntry的item_type被设置为指示多项的'gpc2'。然后，item_id＝1指示几何项，并且具有ItemProperty('gpcC')和ItemProperty('gpcM')作为ItemProperties。另外，ItemProperty('gpcC')具有与图31中的结构相同的结构。此外，在ItemProperty('gpcM')中，设置isGeometoryStream＝1和num_attribute_bistream＝1。
另外，item_id＝2指示纹理(属性)项，并且具有ItemProperty('gpcM')作为ItemProperty。此外，在ItemProperty('gpcM')中，设置isGeometoryStream＝0和attribute_type＝0(texture)。
然后，再现起点由EntityToGroupBox('gpcg')指示。在这种情况下，作为用于指示再现起点的方案，可以使用用信号传送再现起点的上述第一方案和第二方案。
要注意的是，在修改例中，可以使用用信号传送再现起点的上述第三方案，并且例如，可以基于几何项使用ItemReference('gpcg')，如图38所示。这种修改例的不同之处在于，不是使用图37中的EntityToGroupBox，而是使用ItemReference，但是类似地使用其余Box。
另外，在高效地执行V-PCC/G-PCC再现的方案的修改例中，可以用信号传送再现要使用的属性的组合。
例如，如果不使用属性信息，则仅可以显示三维形状，并且可以通过纹理信息、透明度信息等来指示颜色和透射率。客户端可以通过自由选择属性来执行再现。然而，内容所有者希望针对每个要执行的内容使用最小必要属性来进行渲染，但是在当前情况下没有用于其的信号传送方法。
因此，通过ItemProperty用信号传送用于内容所有者期望的再现的组合信息。
例如，如图39所示，通过ItemProperty用信号传送要组合的属性列表。
如图39所示，仅指示针对属性的选择信息，因为显示三维形状绝对需要V-PCC/G-PCC几何、V-PCC占用和辅助信息。
例如，selection_entry_count指示属性的组合的数量，而attribute_num指示每个组合中所包括的属性的数量。例如，attribute_num为0指示允许不使用属性的再现。另外，在attribute_num大于0的情况下，由attribute_type指示相应组合中所包括的属性。
在该修改例中指示了组合。替选地，可以简单地针对每个属性指示再现是强制的还是可选的。例如可以利用高效地执行V-PCC/G-PCC再现的第一方案中的codec_specific_parameters或者例如高效地执行V-PCC/G-PCC再现的第二方案中的GPCCMultiItemProperty或EntityToGroupBox('gpcg')，来用信号传送针对每个属性指示再现是强制的还是可选的信息。
此外，在V-PCC静止图像流的文件配置(多项版本)中，可以通过用信号传送再现起点的上述第三方案中的VPCCMultiItemProperty或者EntityToGroup Box('vpcg')，来执行信号传送。
要注意的是，这种信号传送可以用于视频格式。在这种情况下，例如，可以通过定义具有与ItemProperty('atsl')的字段类似的字段的AttributeSelectionBox('atsl')，并且将AttributeSelectionBox('atsl')存储到元数据轨道等中，来执行信号传送。
<系统配置>
将参照图40和图41说明应用本技术的数据生成装置和数据再现装置的系统配置。
图40是描绘数据生成装置的配置示例的框图。
如图40所示，数据生成装置11包括控制部21、存储器22和文件生成部23。例如，控制部21控制文件生成部23所需的各种类型的数据存储在存储器22中。通过参考该数据，控制部21控制文件生成部23中的文件的生成。
文件生成部23包括数据输入部31、数据编码/生成部32、记录部33和输出部34。例如，输入到数据输入部31的数据被提供给数据编码/生成部32。然后，由数据编码/生成部32生成的文件经由记录部33从输出部34输出，并被记录到例如记录介质中。
数据编码/生成部32包括预处理部35、编码部36和文件生成部37。
预处理部35执行从自数据输入部31输入的点云生成几何图像、纹理图像、各种类型的元数据等的处理。
编码部36通过使用V-PCC或G-PCC对点云进行编码处理。
文件生成部37执行如下处理：将由预处理部35生成的元数据与V-PCC静止图像数据或G-PCC静止图像数据一起存储到具有使用ISOBMFF技术的文件结构的文件中并生成文件。
图41是描绘数据再现装置的配置示例的框图。
如图41所示，数据再现装置12包括控制部41、存储器42和再现处理部43。例如，控制部41控制再现处理部43所需的各种类型的数据存储在存储器42中。通过参考该数据，控制部41控制再现处理部43中的点云的再现。
再现处理部43包括获取部51、显示控制部52、数据分析/解码部53和显示部54。例如，由获取部51获取的并从例如记录介质等读取的文件被提供给数据分析/解码部53。然后，在显示控制部52的显示控制下由数据分析/解码部53生成的显示画面被显示在显示部54上。
数据分析/解码部53包括文件分析部55、解码部56和显示信息生成部57，并且执行已经参照上述图8和图9说明的再现处理。
文件分析部55从具有使用ISOBMFF技术的文件结构的文件中提取V-PCC静止图像数据或G-PCC静止图像数据，并且执行分析元数据的处理。
另外，解码部56执行如下处理：根据由文件分析部55获取的元数据通过V-PCC或G-PCC对V-PCC静止图像数据或G-PCC静止图像数据进行解码。
另外，显示信息生成部57通过构建点云并渲染点云来生成显示画面。
<文件生成处理>
图42是用于说明文件生成处理的流程图，其中数据生成装置11的数据编码/生成部32生成存储有V-PCC静止图像流的文件。
在步骤S101中，预处理部35根据点云数据生成几何图像、纹理图像和元数据，并且将几何图像、纹理图像和元数据提供给编码部36。
在步骤S102中，编码部36对在步骤S101中从预处理部35提供的几何图像、纹理图像和元数据进行编码。结果，编码部36生成几何视频数据、纹理视频数据、占用视频数据、辅助信息数据和参数集，并且将所生成的数据和参数集提供给文件生成部37。
在步骤S103中，文件生成部37通过将在步骤S102中由编码部36编码的各种类型的数据存储到V-PCC单元中，生成V-PCC静止图像流。
在步骤S104中，文件生成部37将在步骤S103中生成的V-PCC静止图像流存储到具有包括元数据并使用ISOBMFF技术的文件结构的文件中，并且将该文件提供给记录部33。此后，处理结束。
图43是用于说明文件生成处理的流程图，其中数据生成装置11的数据编码/生成部32生成存储有G-PCC静止图像流的文件。
在步骤S111中，预处理部35分离点云数据中的位置信息和属性信息，并且将位置信息和属性信息提供给编码部36。
在步骤S112中，编码部36分别对在步骤S111中从预处理部35提供的位置信息和属性信息进行编码。结果，编码部36生成几何比特流、属性比特流和参数集，并且将比特流和参数集提供给文件生成部37。
在步骤S113中，文件生成部37根据在步骤S112中从编码部36提供的几何比特流、属性比特流和参数集，生成G-PCC静止图像流。
在步骤S114中，文件生成部37将在步骤S113中生成的G-PCC静止图像流存储到具有包括元数据并使用ISOBMFF技术的文件结构的文件中，并且将该文件提供给记录部33。此后，处理结束。
如到目前为止所述，根据本技术，可以将不具有时间信息的V-PCC静止图像数据或G-PCC静止图像数据存储在具有使用ISOBMFF技术的文件结构的文件中。
例如，在将V-PCC静止图像流存储为1项的情况下，客户端可以在不对视频数据单元进行解码的情况下，容易地确定再现的可行性。
另外，在将V-PCC静止图像流存储为多项的情况下，上述第一方案至第三方案实现了以下几点。即，通过第一方案，清楚地指定再现起点，从而允许客户容易地访问构成V-PCC的项。此外，通过第二方案，将用于重建点云的解码数据和元数据彼此关联，使得例如即使根据包括多个属性的V-PCC静止图像数据也可以重建点云。此外，通过第三方案，禁止单个地再现被存储为图像项的几何数据、占用数据和属性数据。
此外，在V-PCC或G-PCC中，可以对几何、属性和数据(元数据(仅在V-PCC中的占用、辅助信息))进行访问，使得客户端能够容易地执行属性信息的选择和再现处理。因此，在诸如颜色或反射率的属性信息不是必需的而仅使用关于点云的三维信息的用例中，可以便于客户端处理。在提供诸如颜色和反射率的多种类型的属性信息的情况下，例如，还可以便于在仅将颜色属性与几何一起用于预览的用例中的客户端处理。另外，在要用于再现的各种类型的属性信息的组合中，内容所有者可以仅使用特定组合来指定再现。
<计算机的配置示例>
接下来，可以通过硬件来执行或者可以通过软件来执行上述一系列处理(信息处理方法)。在通过软件执行这一系列处理的情况下，将形成软件的程序安装到通用计算机等中。
图44是描绘计算机的一个实施方式的配置示例的框图，该计算机中安装了用于执行上述一系列处理的程序。
程序可以预先记录在用作计算机中所包括的记录介质的硬盘105或ROM 103中。
替选地，程序可以被存储(记录)在由驱动器109驱动的可移除记录介质111中。可以以通常所称的封装软件的形式提供可移除记录介质111。这里，可移除记录介质111的示例包括软盘、CD-ROM(致密盘只读存储器)、MO(磁光)盘、DVD(数字多功能盘)、磁盘和半导体存储器。
要注意的是，该程序可以经由上述可移除记录介质111安装到计算机中，或者可以通过通信网络或广播网络下载到计算机中，并且安装到并入计算机中的硬盘105中。具体地，例如，程序可以从下载站点经由用于数字卫星广播的人造卫星无线地传送到计算机，或者可以经由诸如LAN(Local Area Network，局域网)或因特网的网络有线地传送。
CPU(Central Processing Unit，中央处理单元)102被并入计算机中。输入/输出接口110经由总线101连接至CPU 102。
当例如作为用户对输入部107的操作的结果而经由输入/输出接口110接收命令时，CPU 102根据该命令执行存储在ROM(只读存储器)103中的程序。替选地，CPU 102将存储在硬盘105中的程序加载到RAM(Random Access Memory，随机存取存储器)104中，并且然后执行该程序。
结果，CPU 102执行根据以上流程图的处理，或者由以上框图中的配置实现的处理。然后，例如，如果需要，CPU 102例如经由输入/输出接口110从输出部106输出处理结果，或者例如从通信部108传送处理结果，以便记录在硬盘105中。
要注意的是，输入部107包括键盘、鼠标、麦克风等。输出部106包括LCD(液晶显示器)、扬声器等。
这里，本文由计算机根据程序执行的处理不必然需要根据流程图中描述的顺序以时间序列执行。即，由计算机根据程序执行的处理包括并行执行或独立执行的处理(例如，并行处理或按对象的处理)。
另外，程序可以由一个计算机(处理器)处理，或者可以由多个计算机分布式地处理。此外，可以在将程序传送到远程计算机之后执行该程序。
此外，本说明书中的术语“系统”意指多个构成部件(装置、模块(部件)等)的集合。所有构成部件是否包括在同一壳体中并不重要。因此，容纳在不同壳体中并且通过网络连接的多个装置的集合是系统，并且此外，具有容纳在单个壳体中的多个模块的单个装置也是系统。
另外，例如，已经作为一个装置(或处理部)说明的配置可以被划分成多个装置(或处理部)。相反，作为多个装置(或处理部)的集合说明的配置可以被集成到一个装置(或处理部)中。此外，可以将除了上述配置之外的配置添加到每个装置(或每个处理部)的配置。此外，只要基本上不改变整个系统的配置或操作，则可以将特定装置(或处理部)的部分配置包括在另外的装置(或另外的处理部)的配置中。
此外，例如，本技术可以由其中一个功能通过网络由多个装置共享并协作处理的云计算来配置。
另外，例如，可以在任何装置中执行上述程序。在这种情况下，如果装置具有能够获得必要信息的必要功能(功能块等)就足够了。
另外，例如，在以上流程图中已经说明的步骤可以由一个装置执行，或者可以由多个装置协作地执行。此外，在一个步骤中包括多个处理的情况下，一个步骤中所包括的多个处理可以由一个装置执行，或者可以由多个装置协作地执行。换言之，一个步骤中包括的多个处理可以作为多个步骤中的处理来执行。替选地，可以将以上说明中的多个步骤作为一个步骤一起执行。
要注意的是，由计算机执行的程序可以被设置成按本文说明的时序顺序执行描述程序的步骤中的处理，或者可以被设置成在包括进行调用时的定时的必要定时处独立地执行步骤中的处理。即，只要不存在不一致性，就可以按与上述顺序不同的顺序执行步骤。此外，描述程序的步骤中的处理可以与另外的程序的处理并行执行，或者可以与另外的程序的处理组合执行。
只要不存在不一致性，就可以独立地和单个地实现本文说明的本技术的多个方面。不言而喻，本技术的任何多个方面可以组合地实现。例如，在任一实施方式中说明的本技术的一部分或全部可以与的另一实施方式中说明的本技术的一部分或全部组合实现。另外，上述本技术的任何部分或全部可以与以上尚未说明的另外的技术组合实现。
<配置组合示例>
要注意的是，本技术也可以具有以下配置。
(1)
一种信息处理装置，包括：
元数据生成部，其生成元数据，所述元数据包括再现从不具有时间信息的3D数据生成的比特流所需的再现信息，并且包括用于确定再现所述比特流的可行性的再现可行性确定信息；以及
文件生成部，其生成存储有所述比特流和所述元数据的文件。
(2)
根据(1)所述的信息处理装置，其中，
所述再现信息包括组合信息，所述组合信息针对构成所述比特流的视频数据单元指示要在再现时使用的所述视频数据单元的组合。
(3)
根据(2)所述的信息处理装置，其中，
所述再现可行性确定信息包括所述比特流的参数集。
(4)
根据(3)所述的信息处理装置，其中，所述再现可行性确定信息还包括与各个所述视频数据单元相对应的子样本参数集。
(5)
根据(3)所述的信息处理装置，其中，所述文件生成部将所述再现可行性确定信息存储到项性质中。
(6)
根据(4)所述的信息处理装置，其中，所述文件生成部将所述再现可行性确定信息中所包括的参数集中的、所述视频数据单元中的每个的配置文件信息存储到项性质中。
(7)
根据(1)至(6)中任一项所述的信息处理装置，其中，
所述元数据生成部生成用于通过选择属性数据来执行再现的所述元数据。
(8)
根据(7)所述的信息处理装置，其中，在1个项的情况下，所述元数据是SubSampleItemProperty，而在多项的情况下，允许选择性再现。
(9)
根据(7)所述的信息处理装置，其中，所述元数据生成部生成指示再现组合的所述元数据。
(10)
一种由信息处理装置执行的信息处理方法，所述信息处理方法包括：
生成元数据，所述元数据包括再现从不具有时间信息的3D数据生成的比特流所需的再现信息，并且包括用于确定再现所述比特流的可行性的再现可行性确定信息；以及
生成存储有所述比特流和所述元数据的文件。
(11)
一种信息处理装置，包括：
元数据生成部，其生成元数据，所述元数据包括再现从不具有时间信息的3D数据生成的多个比特流所需的再现信息，并且包括用于确定再现所述比特流的可行性的再现可行性确定信息；以及
文件生成部，其生成存储有所述比特流和所述元数据的文件。
(12)
根据(11)所述的信息处理装置，其中，
所述再现信息包括指示要用于再现的所述比特流的组合的比特流组合信息以及指示再现起点的再现起点信息。
(13)
根据(12)所述的信息处理装置，其中，
所述再现起点信息是指示要首先再现的比特流的item_id。
(14)
根据(12)所述的信息处理装置，其中，
所述再现信息还包括作为用于根据所述比特流重建所述3D数据的信息的V-PCC单元报头，所述V-PCC单元报头是用于识别所述比特流中的每个的类型的信息。
(15)
根据(14)所述的信息处理装置，其中，
所述再现可行性确定信息包括指示所述比特流中的每个是形成所述3D数据的数据的一部分的信息，以及
所述文件生成部将所述再现可行性确定信息存储到项性质中。
(16)
根据(15)所述的信息处理装置，其中，
所述再现可行性确定信息还包括处理确定信息，所述处理确定信息指示所述比特流中的每个是否能够被考虑用以形成3D数据并被处理。
(17)
根据(15)所述的信息处理装置，其中，
所述再现可行性确定信息还包括指示隐藏图像的信息，作为用于使得能够确定不能单个地显示项的确定信息，以及
所述文件生成部将指示隐藏图像的信息存储到ItemInfoEntry中。
(18)
一种由信息处理装置执行的信息处理方法，所述信息处理方法包括：
生成元数据，所述元数据包括再现从不具有时间信息的3D数据生成的多个比特流所需的再现信息，并且包括用于确定再现所述比特流的可行性的再现可行性确定信息；以及
生成存储有所述比特流和所述元数据的文件。
要注意的是，本实施方式不限于先前说明的那些实施方式，并且在本公开的主旨的范围内可以进行各种修改。另外，本文描述的效果仅仅是示例，而不是限制性的效果。可以提供任何其它效果。
附图标记列表
11数据生成装置，12数据再现装置，21控制部，22存储器，23文件生成部，31数据输入部，32数据编码/生成部，33记录部，34输出部，35预处理部，36编码部，37文件生成部，41控制部，42存储器，43再现处理部，51获取部，52显示控制部，53数据分析/解码部，54显示部，55文件分析部，56解码部，57显示信息生成部

Claims (18)

1.一种信息处理装置，包括：
获取部，获取存储有比特流和元数据的文件，所述比特流是从不具有时间信息的3D数据生成的，所述元数据包括再现所述比特流所需的再现信息，并且包括用于确定再现所述比特流的可行性的再现可行性确定信息；
文件分析部，对通过所述获取部获取的所述文件执行图像文件处理以获取再现数据；以及
解码部，对通过文件分析部获取的所述再现数据进行解码。
2.根据权利要求1所述的信息处理装置，其中，
所述再现信息包括组合信息，所述组合信息针对构成所述比特流的视频数据单元指示要在再现时使用的所述视频数据单元的组合。
3.根据权利要求2所述的信息处理装置，其中，
所述再现可行性确定信息包括所述比特流的参数集。
4.根据权利要求3所述的信息处理装置，其中，
所述再现可行性确定信息还包括与各个所述视频数据单元相对应的子样本参数集。
5.根据权利要求4所述的信息处理装置，其中，
所述再现可行性确定信息被存储到项性质中。
6.根据权利要求4所述的信息处理装置，其中，
所述再现可行性确定信息中所包括的参数集中的、所述视频数据单元中的每个的配置文件信息被存储到项性质中。
7.根据权利要求1所述的信息处理装置，其中，
所述元数据用于通过选择属性数据来执行再现。
8.根据权利要求7所述的信息处理装置，其中，
在1个项的情况下，所述元数据是SubSampleItemProperty，而在多项的情况下，允许选择性再现。
9.根据权利要求7所述的信息处理装置，其中，
所述元数据指示再现组合。
10.一种由信息处理装置执行的信息处理方法，所述信息处理方法包括：
获取存储有比特流和元数据的文件，所述比特流是从不具有时间信息的3D数据生成的，所述元数据包括再现所述比特流所需的再现信息，并且包括用于确定再现所述比特流的可行性的再现可行性确定信息；
对获取的所述文件执行图像文件处理以获取再现数据；以及
对所获取的所述再现数据进行解码。
11.一种信息处理装置，包括：
获取部，获取存储有多个比特流和元数据的文件，所述比特流是从不具有时间信息的3D数据生成的，所述元数据包括再现所述比特流所需的再现信息，并且包括用于确定再现所述比特流的可行性的再现可行性确定信息；
文件分析部，对通过所述获取部获取的所述文件执行图像文件处理以获取再现数据；以及
解码部，对通过文件分析部获取的所述再现数据进行解码。
12.根据权利要求11所述的信息处理装置，其中，
所述再现信息包括指示要用于再现的所述比特流的组合的比特流组合信息以及指示再现起点的再现起点信息。
13.根据权利要求12所述的信息处理装置，其中，
所述再现起点信息是指示要首先再现的比特流的item_id。
14.根据权利要求12所述的信息处理装置，其中，
所述再现信息还包括作为用于根据所述比特流重建所述3D数据的信息的V-PCC单元报头，所述V-PCC单元报头是用于识别所述比特流中的每个的类型的信息。
15.根据权利要求14所述的信息处理装置，其中，
所述再现可行性确定信息包括指示所述比特流中的每个是形成所述3D数据的数据的一部分的信息，以及
所述再现可行性确定信息被存储到项性质中。
16.根据权利要求15所述的信息处理装置，其中，
所述再现可行性确定信息还包括处理确定信息，所述处理确定信息指示所述比特流中的每个是否能够被考虑用以形成3D数据并被处理。
17.根据权利要求15所述的信息处理装置，其中，
所述再现可行性确定信息还包括指示隐藏图像的信息，作为用于使得能够确定不能单个地显示项的确定信息，以及
指示隐藏图像的信息被存储到ItemInfoEntry中。
18.一种由信息处理装置执行的信息处理方法，所述信息处理方法包括：
获取存储有多个比特流和元数据的文件，所述比特流是从不具有时间信息的3D数据生成的，所述元数据包括再现所述比特流所需的再现信息，并且包括用于确定再现所述比特流的可行性的再现可行性确定信息；
对所获取的所述文件执行图像文件处理以获取再现数据；以及
对所获取的所述再现数据进行解码。
CN202311133300.2A 2018-12-28 2019-12-20 信息处理装置和信息处理方法 Pending CN117061767A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018248321 2018-12-28
JP2018-248321 2018-12-28
PCT/JP2019/050028 WO2020137854A1 (ja) 2018-12-28 2019-12-20 情報処理装置および情報処理方法
CN201980085303.9A CN113302944B (zh) 2018-12-28 2019-12-20 信息处理装置和信息处理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980085303.9A Division CN113302944B (zh) 2018-12-28 2019-12-20 信息处理装置和信息处理方法

Publications (1)

Publication Number Publication Date
CN117061767A true CN117061767A (zh) 2023-11-14

Family

ID=71126220

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202311133300.2A Pending CN117061767A (zh) 2018-12-28 2019-12-20 信息处理装置和信息处理方法
CN201980085303.9A Active CN113302944B (zh) 2018-12-28 2019-12-20 信息处理装置和信息处理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201980085303.9A Active CN113302944B (zh) 2018-12-28 2019-12-20 信息处理装置和信息处理方法

Country Status (5)

Country Link
US (2) US11902555B2 (zh)
EP (1) EP3883250A4 (zh)
JP (1) JPWO2020137854A1 (zh)
CN (2) CN117061767A (zh)
WO (1) WO2020137854A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2021003179A (es) 2018-09-18 2021-08-11 Vid Scale Inc Metodos y aparatos para formato de flujo de bits de compresion de nube de puntos.
JP7303625B2 (ja) * 2018-12-18 2023-07-05 キヤノン株式会社 画像ファイル生成装置、画像ファイル生成方法、及びプログラム
CN114072847A (zh) * 2019-07-01 2022-02-18 佳能株式会社 图像文件创建设备、图像文件创建方法和程序

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003099263A (ja) * 2001-09-21 2003-04-04 Ricoh Co Ltd 文書のデータ構造、記憶媒体、情報処理装置及び情報処理システム
US8400497B2 (en) * 2007-09-07 2013-03-19 Samsung Electronics Co., Ltd Method and apparatus for generating stereoscopic file
KR20120055462A (ko) * 2010-11-21 2012-05-31 휴먼 모니터링 리미티드 미디어 컨텐츠를 인코딩 및 디코딩하는 방법 및 시스템
WO2015194082A1 (ja) * 2014-06-20 2015-12-23 パナソニックＩｐマネジメント株式会社 画像処理方法および画像処理システム
CN104537709B (zh) * 2014-12-15 2017-09-29 西北工业大学 一种基于位姿变化的实时三维重建关键帧确定方法
GB2539461B (en) * 2015-06-16 2020-01-08 Canon Kk Image data encapsulation
US10694210B2 (en) 2016-05-28 2020-06-23 Microsoft Technology Licensing, Llc Scalable point cloud compression with transform, and corresponding decompression
US10341568B2 (en) 2016-10-10 2019-07-02 Qualcomm Incorporated User interface to assist three dimensional scanning of objects
ES2895927T3 (es) 2017-01-05 2022-02-23 Nokia Technologies Oy Un aparato, un método y un programa de ordenador para la codificación y decodificación de vídeo
MX2021003179A (es) * 2018-09-18 2021-08-11 Vid Scale Inc Metodos y aparatos para formato de flujo de bits de compresion de nube de puntos.
JP7303625B2 (ja) * 2018-12-18 2023-07-05 キヤノン株式会社 画像ファイル生成装置、画像ファイル生成方法、及びプログラム

Also Published As

Publication number Publication date
EP3883250A4 (en) 2022-01-05
US20240107049A1 (en) 2024-03-28
CN113302944B (zh) 2023-10-27
US20220053205A1 (en) 2022-02-17
WO2020137854A1 (ja) 2020-07-02
CN113302944A (zh) 2021-08-24
JPWO2020137854A1 (ja) 2021-11-18
US11902555B2 (en) 2024-02-13
EP3883250A1 (en) 2021-09-22

Similar Documents

Publication Publication Date Title
US20220312035A1 (en) Information processing apparatus, information processing method, reproduction processing apparatus, and reproduction processing method
CN113302944B (zh) 信息处理装置和信息处理方法
JP7487742B2 (ja) 画像処理装置および方法
GB2509953A (en) Displaying a Region of Interest in a Video Stream by Providing Links Between Encapsulated Video Streams
KR20210108951A (ko) 정보 처리 장치 및 정보 처리 방법
CN115379189B (zh) 一种点云媒体的数据处理方法及相关设备
WO2021251173A1 (ja) 情報処理装置および方法
JP2024003189A (ja) 情報処理装置および方法
JP7396302B2 (ja) 画像処理装置および方法
WO2023176419A1 (ja) 情報処理装置および方法
WO2022054744A1 (ja) 情報処理装置および方法
WO2021193088A1 (ja) 画像処理装置および方法
WO2021065535A1 (ja) 情報処理装置および方法
CN116636225A (zh) 信息处理装置和方法
WO2019138928A1 (ja) 情報処理装置および方法
JP2022063882A (ja) 情報処理装置および方法、並びに、再生装置および方法
WO2022075074A1 (ja) 画像処理装置および方法
WO2021251141A1 (ja) 情報処理装置および方法
WO2022075078A1 (ja) 画像処理装置および方法
US20220076485A1 (en) Information processing apparatus and information processing method
CN116347118A (zh) 一种沉浸媒体的数据处理方法及相关设备
CN115426502A (zh) 点云媒体的数据处理方法、装置、设备及存储介质
CN115061984A (zh) 点云媒体的数据处理方法、装置、设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination