CN112789656A - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN112789656A
CN112789656A CN201980063613.0A CN201980063613A CN112789656A CN 112789656 A CN112789656 A CN 112789656A CN 201980063613 A CN201980063613 A CN 201980063613A CN 112789656 A CN112789656 A CN 112789656A
Authority
CN
China
Prior art keywords
information
attribute
shape
stream
dimensional structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980063613.0A
Other languages
English (en)
Inventor
高桥辽平
平林光浩
中神央二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112789656A publication Critical patent/CN112789656A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

本发明涉及一种能够在客户端中进行高效处理的信息处理装置、信息处理方法和程序。从表示三维结构的3D数据，针对表示三维结构的形状的形状信息的流和表示三维结构的属性的属性信息的流中的每个流生成与表示三维结构的形状的形状信息的流和与表示三维结构的属性的属性信息的流相关的识别信息，生成包含多组所生成的识别信息的文件，并且生成具有清楚地示出形状信息和属性信息的边界的样本结构的该文件。本发明可以应用于例如生成用于分布点云的数据的数据生成装置，或者应用于用于播放点云的数据回放装置。

Description

信息处理装置、信息处理方法和程序
技术领域
本公开内容涉及信息处理装置、信息处理方法和程序。更具体地，本公开内容涉及用于使客户端能够高效地执行处理的信息处理装置、信息处理方法和程序。
背景技术
过去，如非专利文献1中所公开的，规定了用于压缩点云的方法，点云是位于三维空间中并且同时具有形状信息和属性信息(特别是颜色信息)的点的集合。
点云压缩的一种方法包括将点云数据分离成指示三维形状的形状和表示例如作为属性信息的颜色和反射信息的属性，并且对分离的信息进行编码。这种方法被称为G-PCC(基于形状的点云编码)。
期望使用下述情况，下载通过该编码方法生成的G-PCC流以用于再现并且通过IP(因特网协议)网络进行分发。因此，如非专利文献2中所公开的，MPEG(运动图像专家组)已开始在ISOBMFF/DASH(ISO基础媒体文件格式/HTTP上的动态自适应流传输)的现有框架中对分发技术进行研究，以减少对现有分发平台的影响并且旨在尽早实现服务。
引用列表
非专利文献
非专利文献1：
MPEG-I Part 5Point Cloud Compression(ISO/IEC 23090-5)
非专利文献2：
w17675,First idea on Systems technologies for Point Cloud Coding,2018年4月，圣地亚哥，美国
发明内容
技术问题
同时，过去生成的G-PCC流是单个连续流，其以不允许客户端彼此独立地访问以形状和属性的方式来构造。因此，例如，即使在仅需要使用形状或仅需要使用多个属性中的一个的使用情况下，也不允许客户端访问和获得单独需要的内容。因此，在进行必要的处理之前，要求客户端获得构成G-PCC流的所有形状和属性。这会引起客户端的处理开销，并且使客户端难以高效地执行处理。
鉴于上述情况提出了本公开内容，并且本公开内容旨在使客户端能够高效地执行处理。
问题的解决方案
根据本公开内容的第一方面，提供了一种信息处理装置，该信息处理装置包括文件生成部，该文件生成部被配置成根据表示三维结构的3D数据，针对指示三维结构的形状的形状信息的流和指示三维结构的属性的属性信息的流中的每一个流分别生成与指示三维结构的形状的形状信息的流有关的识别信息和与指示三维结构的属性的属性信息的流有关的识别信息，该文件生成部被配置成生成包括所生成的多条识别信息的文件。
根据本公开内容的第一方面，还提供了一种信息处理方法或程序，该方法或程序包括：根据表示三维结构的3D数据，针对指示三维结构的形状的形状信息的流和指示三维结构的属性的属性信息的流中的每一个流分别生成与指示三维结构的形状的形状信息的流有关的识别信息和与指示三维结构的属性的属性信息的流有关的识别信息；以及生成包括所生成的多条识别信息的文件。
因此，根据本公开内容的第一方面，根据表示三维结构的3D数据生成与指示三维结构的形状的形状信息的各个流有关的识别信息和与指示三维结构的属性的属性信息的各个流有关的识别信息。然后，生成包括所生成的多条识别信息的文件。
根据本公开内容的第二方面，提供了一种信息处理装置，该信息处理装置包括：提取部，该提取部被配置成从包括与指示由3D数据表示的三维结构的形状的形状信息的流有关的识别信息和与指示所述三维结构的属性的属性信息的流有关的识别信息的文件中，根据使用情况并基于所述识别信息可识别地提取所述形状信息和所述属性信息，其中，所述识别信息是根据所述3D数据针对指示所述三维结构的形状的形状信息的流和指示所述三维结构的属性的属性信息的流中的每一个流而分别生成的；以及构建部，该构建部被配置成通过使用均由提取部提取的形状信息或属性信息来构建三维结构。
根据本公开内容的第二方面，还提供了一种信息处理方法或程序，该方法或程序包括：从包括与指示由3D数据表示的三维结构的形状的形状信息的流有关的识别信息和与指示所述三维结构的属性的属性信息的流有关的识别信息的文件中，根据使用情况并基于所述识别信息可识别地提取所述形状信息和所述属性信息，其中，所述识别信息是根据所述3D数据针对指示所述三维结构的形状的形状信息的流和指示所述三维结构的属性的属性信息的流中的每一个流而分别生成的；以及通过使用均已被提取的形状信息或属性信息来构建三维结构。
因此，根据本公开内容的第一方面，给出包括与指示由3D数据表示的三维结构的形状的形状信息的各个流有关的识别信息和与指示三维结构的属性的属性信息的各个流有关的识别信息的文件，识别信息是从3D数据生成的，根据使用情况并基于识别信息从文件中可识别地提取形状信息和属性信息。然后，通过使用均已被提取的形状信息或属性信息来构建三维结构。
附图说明
[图1]图1是示出现有流结构的图。
[图2]图2是说明重新定义的典型PC样本的图。
[图3]图3是示出典型PC样本的图。
[图4]图4是示出存储在头部中的信息的示例的图。
[图5]图5是说明其中添加字段以用信号传送属性类型的示例的图。
[图6]图6是示出典型的属性参数集(Attribute parameter set)的图。
[图7]图7是示出其中将G-PCC流存储到ISOBMFF的一个轨道中的示例的图。
[图8]图8是示出codec_specific_parameters的定义的图。
[图9]图9是示出新定义的PCSampleEntry(PC样本条目)的结构的图。
[图10]图10是示出PCParamSetBox(PC参数集框)的示例的图。
[图11]图11是示出用于执行文件生成处理的信息处理装置的配置示例的框图。
[图12]图12是示出用于执行点云(Point Cloud)再现处理的信息处理装置的配置示例的框图。
[图13]图13是说明文件生成处理的流程图。
[图14]图14是说明点云再现处理的流程图。
[图15]图15是示出通过第二识别使能方法存储到一个轨道中的典型ISOBMFF结构的图。
[图16]图16是示出存储在一个轨道中的ISOBMFF结构的替选示例的图。
[图17]图17是示出其中形状比特流和属性比特流存储在ISOBMFF的两个轨道中的示例的图。
[图18]图18是描绘PCMultiStreamBox(PC多流框)的典型语法的图。
[图19]图19是示出通过第二识别使能方法存储到两个轨道中的ISOBMFF结构的第一示例的图。
[图20]图20是示出PCMultiStreamBox的替选示例的图。
[图21]图21是示出PCAttributeTrackGroupBox(PC属性轨道组框)的典型语法的图。
[图22]图22是示出PCMultiStreamBox的另一替选示例的图。
[图23]图23是示出用信号传送由轨道组关联的形状轨道和属性轨道的示例的图。
[图24]图24是示出新定义的PCStreamGroupBox的示例的图。
[图25]图25是示出通过第二识别使能方法存储到两个轨道中的ISOBMFF结构的第二示例的图。
[图26]图26是说明DASH信令的图。
[图27]图27是说明DASH信令的另一图。
[图28]图28是示出SubSampleInformationBox(子样本信息框)的概要的图。
[图29]图29是示出样本组(Sample Group)的概要的图。
[图30]图30是示出数据生成装置的配置示例的框图。
[图31]图31是示出数据再现装置的配置示例的框图。
[图32]图32是示出应用本技术的计算机的实施方式的配置示例的框图。
具体实施方式
下面参照附图详细描述应用本技术的具体实施方式。
<现有流结构>
在随后描述应用本技术的流结构之前，下面参照图1说明现有的流结构。
图1示出了由G-PCC编码的流结构。这样的流称为G-PCC流(或简称为PC流)。
例如，G-PCC流由一个流构成，作为以解码顺序排列的点云帧序列。此处，点云框架(以下也称为PC框架)表示同时显示的点云。PC帧是由表示三维信息的形状比特流(图1中指示的Geom)和表示诸如颜色和反射的属性信息的属性比特流(图1中指示的Attr)构成的单个连续比特流。
应当注意，一个PC帧具有一个形状比特流和多个属性比特流(在图1的示例中为两个属性流)。SPS(序列参数集(Sequence Parameter Set))存储每个G-PCC流序列的元信息，作为对形状比特流和属性比特流进行解码所需的公共信息。GPS(形状参数集(GeometryParameter Set))存储解码形状比特流所需的信息，并且APS(属性参数集(AttributeParameter Set))存储解码属性比特流所需的信息。
客户端使用单独的解码器对G-PCC流中的形状比特流和属性比特流进行解码。客户端首先解码形状比特流以生成缺乏颜色的点云内容。此后，通过参考解码的形状比特流信息，客户端解码属性比特流，以基于参考的信息将诸如颜色和反射的属性添加到内容。
另一方面，除了再现有颜色的点云数据的G-PCC流的一般使用情况以外，还存在不需要诸如颜色、反射的属性信息而仅使用来自点云数据的三维形状信息的使用情况。例如，可能存在这样的使用情况，其中，将通过LiDAR(光探测和测距)和通过摄像装置获得的有颜色的地图信息保留为点云数据，从该点云数据中仅提取地形信息(即，三维形状信息)并且将其用于车辆的驾驶控制。
在存在诸如颜色和反射的多条属性信息的情况下，可能存在这样的使用情况，例如，其中在不需要反射属性的情况下期望将形状信息与颜色属性一起使用。也可以存在这样的使用情况，其中给出多个颜色属性，期望提取和使用仅一个颜色属性。
然而，在G-PCC流结构中，例如，在形状和多个属性不存在明确的边界信息的情况下，解码属性提供的PC帧需要对包括形状和多个属性的单个比特流进行处理。因此，在这样的使用情况下，需要客户端获得组成PC帧的整个形状和属性，并且从开始按顺序解码该流。必须解码未使用的属性比特流降低了处理的效率。
为了解决效率下降的问题，本公开内容提出了一种方法，通过该方法，与生成的形状比特流和属性比特流有关的信息被重新生成作为要被包括在用于保存识别信息而生成的文件中的识别信息。下面讨论的具体实施方式被布置成使客户端能够独立地访问形状和属性，以用于提高上述使用情况中的处理效率。
<PC样本的定义>
下面参照图2说明点云样本(Point Cloud sample)(下面称为PC样本)，其被重新定义为对应于由ISOBMFF定义的样本。
例如，作为组成同时显示的点云数据的单位的一个PC帧被定义为由一个PC样本构成。即，G-PCC流由多个PC样本构成，其中每个PC样本具有与图2所示的PC框架的结构类似的结构。如同一个PC帧一样，客户端可以解码一个PC样本以构建用于同时显示的点云。
以这样的方式，PC样本由组成要同时显示的点云数据的形状比特流和属性比特流构成。
<第一识别使能方法>
下面参照图3到图6说明指定形状和属性的边界的样本结构，作为使客户端能够识别形状和属性以便将其分离的第一识别使能方法。
图3示出由一个形状子样本和两个属性子样本构成的一个PC样本的典型结构。
如图3所示，一个PC样本由连续排列的形状子样本、第一属性子样本和第二属性子样本构成。每个子样本被构造成具有头部信息和对应的比特流，该头部保存关于比特流的信息以用于将其分离。
图4示出了存储在图3的头部中的信息的示例。
如图4所示，头部存储指示形状比特流或属性比特流的大小的大小信息(size_of_bitstream)以及指示构成PC样本的每个比特流的类型信息(type)，作为识别信息。例如，在指示比特流类型的信息是0的情况下，指示形状比特流。在指示比特流类型的信息是1的情况下，指示属性比特流。识别信息识别每个比特流，并且是针对每个比特流生成的。
应当注意，例如，在ISOBMFF的情况下，未存储在PC样本中的SPS、GPS和APS存储在样本条目中(参见稍后讨论的图9和图10)。
上述信令使得客户端能够基于头部来识别每个比特流的边界。因此，客户端可以从PC样本中仅提取形状比特流以用于独立解码。类似地，客户端可以从PC样本中仅提取所需的属性比特流以用于解码。然后，客户端可以容易地将形状比特流和属性比特流输入到不同的对应解码器以进行解码。
此外，在如图5中的粗体字母所示的类型＝1(即，比特流是属性比特流)的情况下，可以扩展头部以添加用信号传送属性类型的字段(attribute_type)。例如，在用信号传送属性类型的字段是0的情况下，属性类型被指示为颜色。在用信号传送属性类型的字段是1的情况下，属性类型被指示为反射。替选地，用信号传送属性类型的字段可以用于指示其他类型。
作为另一替选，G-PCC流的高级语法可以被扩展为用信号传送属性类型。
例如，属性参数集可以被扩展为信令attr_type，如图6中的粗体字母所示。要引用的属性参数集被作为属性比特流中的标识符来信号通知。顺便提及，语义类似于上述attribute_type的语义。
如上所述，第一识别使能方法使客户端能够参考头部来识别形状和属性并且单独地访问所识别的内容。这使得在即使仅使用期望属性的情况下，也可以高效地执行处理。
<第二识别使能方法>
下面参照图7到图24说明用于存储子样本信息、形状和属性的ISOBMFF的轨道扩展，作为第二识别使能方法，该方法使客户端能够识别形状和属性以便将其分离。
首先参照图7至图15说明的是G-PCC流的形状比特流和属性比特流通过第二识别使能方法存储到ISOBMFF的一个轨道中的情况。
图7示出了G-PCC流存储在一个ISOBMFF轨道中的示例。
例如，ISOBMFF的moov存储重新定义的PCSampleEntry(参见图9)。PCSampleEntry由图10中所示的PCParamSetBox构成。
此外，ISOBMFF的moov存储subs(子样本)(SubSampleInformationBox)。如图7所示，可以使用SubSampleInformationBox来用信号传送PC样本中的形状子样本和属性子样本#0至#N的边界。顺便提及，将参考稍后讨论的图28中的SubSampleInformationBox的概要来说明SubSampleInformation(子样本信息)。
存储在ISOBMFF的mdat中的样本是诸如图3中所示的一个的PC样本。PC样本的头部存储大小信息和类型信息。
此处，如图8所示，SubSampleInformationBox将codec_specific_parameters定义为对于每个编解码器固定的子样本信息。也就是说，当codec_specific_parameters的值为0时，将子样本指示为形状子样本。当codec_specific_parameters的值为1时，将子样本指示为属性子样本。
应当注意，可以以连续属性子样本组为单位提供子样本信息。此外，可以进一步扩展codec_specific_parameters以用信号传送子样本的属性比特流类型(即，颜色属性、反射属性等)。
图9示出了本公开内容中重新定义的PCSampleEntry(PC样本条目)结构。
在图9所示的结构中，存储G-PCC流的ISOBMFF轨道的样本条目例如为‘pcbs’。
PCParamSetBox存储图10中指示的各种参数集(序列参数集、形状参数集、和属性参数集)。例如，当解码PC样本时，参考这些参数集。通常，参数集不是以PC样本为单位的要进行修改的信息。因此，将参数集存储在PCSampleEntry中消除了在每个PC样本中重复地用信号传送相同信息的需要，这减小了文件大小。顺便提及，可以存储参数集的位置包括PCParamSetBox中的seq_parameter_set_rbsp()、geometry_parameter_set()、和attribute_parameter_set()。
上述信令使得客户端能够在不对子样本内容进行解析的情况下识别形状子样本与属性子样本之间(或属性子样本之间)的边界。也就是说，客户端可以通过仅参考系统层信令的简化过程来从PC样本中仅独立地提取和解码形状比特流。同样，客户端可以从PC样本中仅提取和解码必要的属性比特流。此外，客户端可以容易地将形状比特流和属性比特流输入到不同的对应解码器。
<信息处理装置的配置示例>
图11是示出执行文件生成处理的信息处理装置的配置示例的框图，该文件生成处理涉及从点云数据生成PC流并且生成由ISOBMFF定义的用于存储所生成的PC流的文件。
如图11所示，信息处理装置11包括分离部21、编码部22、PC流生成部23和文件生成部24。
分离部21从输入的点云数据分离形状和属性，并且将分离的形状和属性提供给编码部22。
编码部22单独地编码从分离部21提供的形状和属性，以生成形状比特流和属性比特流。此时，编码部22生成在对形状比特流和属性比特流进行解码时要参考的参数集(序列参数集、形状参数集、以及属性参数集)。例如，编码部22使用八叉树对形状编码，并且使用提升编码或区域自适应Haar变换对属性编码。此时，编码部22可以使用两个编码器25-1和25-2来对形状和属性并行编码。
PC流生成部23通过以组成PC帧的单位对由编码部22编码的形状比特流和属性比特流进行交织，生成诸如图3所示的样本的PC样本。然后，PC流生成部23生成由多个PC样本构成的PC流，并且将所生成的PC流提供给文件生成部24。
文件生成部24将形状比特流和属性比特流存储到由ISOBMFF定义的文件的一个轨道中，从而生成文件。此时，文件生成部24生成指示形状比特流或属性比特流的大小的大小信息和指示组成PC样本的每个比特流的类型的类型信息，并且将所生成的信息存储到生成的文件的头部中作为上述识别信息。
因此，如上所述配置的信息处理装置11从点云数据生成PC流，并且输出其中PC流存储在一个轨道中的文件。
此外，当信息处理装置11将G-PCC流存储到用信号传送包括元数据的、由ISOBMFF定义的文件时，由ISOBMFF定义的文件样本是PC样本(参见图3和图7)。
图12是示出在再现内容的客户端侧执行点云再现处理的信息处理装置的配置示例的框图，该处理涉及从文件生成显示图像以再现点云数据。
如图12所示，信息处理装置12包括提取部31、解码部32、构建部33和显示处理部34。
提取部31基于ISOBMFF中的框中通知的信息(例如，上述识别信息)，从文件中提取与再现时间对应的形状比特流和属性比特流，并且将提取的比特流提供给解码部32。此时，提取部31能够根据上述各种使用情况识别形状和属性，并且仅提取所需的形状或属性。替选地，提取部31可以基于存储在子样本的头部中的识别信息，从文件中提取与再现时间对应的形状比特流和属性比特流，并且将提取的比特流提供给解码部32。
解码部32参考每个参数集来解码从提取部31提供的形状比特流和属性比特流，并且将解码的形状和属性提供给构建部33。此时，解码部32可以使用两个解码器35-1和35-2单独地且并行地对形状比特流和属性比特流进行解码。
构建部33通过使用从解码部32提供的形状和属性来构建点云数据。
显示处理部34与客户端的显示设备一致地对由构建部33构建的点云数据进行呈现，从而生成显示图像并且使未示出的显示设备显示所生成的显示图像。
因此，如上所述配置的信息处理装置12从文件再现点云数据，将点云数据呈现到显示图像中，并且显示图像。
<文件生成处理和点云再现处理的示例>
图13是说明由图11中的信息处理装置11执行的用于从点云数据生成文件的文件生成处理的流程图。
例如，当点云数据被输入到信息处理装置11时，处理开始。在步骤S11中，分离部21从输入点云中分离形状和属性。
在步骤S12中，编码部22对在步骤S11中由分离部21分离的形状和属性进行编码，以生成形状比特流和属性比特流。此时，编码部22生成参数集。
在步骤S13中，PC流生成部23通过以组成PC帧的单位(PC样本)对在步骤S12中生成的形状比特流和属性比特流进行交织，来生成PC流。
在步骤S14中，文件生成部24通过将在步骤S13中生成的PC流存储到用信号传送包括元数据的框的ISOBMFF中来生成文件。此外，文件生成部24生成大小信息和类型信息，并且将所生成的信息存储到该文件的头部中。此时，ISOBMFF的样本是PC样本。
图14是说明由图12所示的信息处理装置12执行的点云再现处理的流程图，以从信息处理装置11生成的文件生成显示图像以便再现所生成的显示图像。
例如，当文件从处理起始处开始被提供给信息处理装置12时开始该处理。在步骤S21中，提取部31基于由ISOBMFF中的框用信号传送的信息(例如，上述识别信息)，从文件中提取与再现时间对应的形状比特流和属性比特流。替选地，提取部31可以基于子样本头部中存储的识别信息，从文件中提取与再现时间对应的形状比特流和属性比特流。
在步骤S22中，通过参考参数集，解码部32单独解码在步骤S21中提取的形状比特流和属性比特流。此时，使用双解码器实例来单独地解码形状比特流和属性比特流。
在步骤S23中，构建部33通过使用在步骤S22中通过解码获得的形状和属性来构建点云数据。
在步骤S24中，显示处理部34与客户端的显示设备一致地将在步骤S23中构建的点云数据呈现为显示图像，并且使该显示图像进行显示。
在步骤S25中，提取部31判断是否到达PC流的末端。在还未到达PC流的末端的情况下，控制返回到步骤S21。在到达PC流的末端的情况下，该处理终止。
上述文件生成处理和点云再现处理有助于在客户端侧高效地执行处理。
图15示出了当通过第二识别使能方法将形状比特流和属性比特流存储到ISOBMFF的一个轨道中时的ISOBMFF结构的第一示例。
作为替选示例，在不使用PC样本的情况下，组成一个PC帧的形状比特流和属性比特流可以各自作为一个样本存储到ISOBMFF中，如图16所示。此时，形状子样本和属性子样本分别成为形状样本和属性样本。
作为另一替选方案，可以通过使用样本组来用信号传送组成一个PC帧的形状样本和属性样本。同样，可以使用样本组用信号传送形状样本与属性样本的边界。应当注意，将参照稍后要讨论的图29来说明样本组。
此处，在不是运动图像并且没有时间信息的PC样本(即，不是多个连续PC样本的流，而是单个PC样本的流)存储在ISOBMFF中的情况下，仅需要在MedaDataBox中用信号传送类似的信息。
接下来参照图17至图25说明如何使用第二识别使能方法来将G-PCC流的形状比特流和属性比特流单独存储到ISOBMFF的每个轨道中。
图17示出了两轨道的示例，在该示例中，G-PCC流被分成一个形状比特流和一个属性比特流，形状比特流存储在ISOBMFF的一个轨道中，属性比特流存储在ISOBMFF的另一轨道中。
因此当形状比特流和属性比特流如上所述单独地存储在两个轨道中时，客户端可以仅处理存储形状比特流的轨道，以便容易地单独解码形状比特流。同样地，客户端可以仅处理存储一个属性比特流的轨道，以便容易地单独解码必要的属性比特流。此外，客户端可以容易地将形状比特流和属性比特流输入到不同的对应解码器。
如图17所示，存储形状比特流的轨道被称为形状轨道或主轨道，并且存储属性比特流的轨道被称为属性轨道或子轨道。这些轨道之间的关联关系通过轨道引用和新定义的PCMultiStreamBox(PC多流框)来用信号传送。
同样在图17所示的示例中，仅主轨道具有PCParamSetBox，PCParamSetBox包括序列参数集、形状参数集以及属性参数集。替选地，主轨道和子轨道两者均可以具有PCParamSetBox。在这种情况下，主轨道中的PCParamSetBox可以包括序列参数集和形状参数集，而子轨道中的PCParamSetBox可以包括属性参数集。
此外，可以用信号传送指示PC帧的边界的样本组。此外，一个形状轨道可以与不同比特率的多个属性轨道相关联。
图18示出了PCMultiStreamBox的典型语法。
例如，在isGeometryStream＝1的情况下，指示形状轨道。否则，指示属性轨道。在形状轨道的情况下，用信号传送与其相关联的属性轨道的track_id。
具有所指示的轨道引用的上述信令允许客户端通过简单地解析任何一个轨道的TrackReferenceBox(轨道引用框)来识别哪个是形状轨道。此后，客户端可以解析形状轨道的PCMultiStreamBox以识别所有相关联的属性轨道。也就是说，客户端可以通过简单地解析至多两个轨道来识别整个结构。特别地，这使得可以简化多个属性轨道相关联的情况的处理。
替选地，在PCMultiStreamBox是在isGeometryBitstream＝0(即，比特流是属性比特流)而扩展的情况下，可以添加字段(attribute_type)以用信号传送属性类型(颜色、反射等)。作为另一替选方案，属性轨道可以被布置成包括与多个属性类型相对应的多个属性比特流。
图19示出了ISOBMFF结构的示例，在示例中通过第二识别使能方法将形状比特流和属性比特流单独存储到ISOBMFF的两个轨道中。
作为PCMultiStreamBox语法的另一替选示例，可以由轨道组共同地用信号传送多个属性轨道，并且通过attribute_track_id将多个属性轨道与属性轨道组相关联，如图20所示。
在这种情况下，如图21所示，轨道组新定义PCAttributeTrackGroupBox(PC属性轨道组框)，其中track_group_type是‘pctg’。
此外，如图22中以粗体字母所示，可以用isInGeometryStream来补充PCMultiStreamBox，isInGeometryStream指示属性是否存储在与形状的轨道相同的轨道中。这提供了可以用信号传送如上所述的形状和属性都存储在一个轨道中的情况的框。
替选地，代替PCMultiStreamBox，可以如图23所示用信号传送由轨道组相关联的形状轨道和属性轨道。
此外，如图24所示，轨道组新定义了PCStreamGroupBox(PC流组框)，其中track_group_type为‘pcgp’。此时，具有相同track_group_id的pcgp的轨道构成单个PC流。例如，如果isGeometry＝0，则该轨道被指示为属性轨道。如果isGeometry＝1，则该轨道被指示为形状轨道。
替选地，在PCStreamGroupBox被扩展并且isGeometry＝0(即，比特流是属性比特流)的情况下，可以添加字段(attribute_type)以用信号传送属性类型(颜色、反射等)。
图25示出了当通过第二识别使能方法将形状比特流和属性比特流存储到ISOBMFF的一个轨道中时的ISOBMFF的第二示例。
上述第二识别使能方法使客户端能够通过参考与子样本有关的信息(SubSampleInformationBox(子样本信息框))或指示轨道之间的关联关系的信息(PCMultiStreamBox)来识别形状和属性，并且能够获得对所识别的内容的单独访问。因此，即使在仅使用期望的形状或必要的属性的使用情况下，客户端也能够高效地执行处理。
<第三识别使能方法>
下面参照图26和图27说明的是DASH MPD(媒体呈现描述)中的关联方法，作为第三识别使能方法，以用于在形状和属性存储在单独的轨道中的情况下使客户端能够识别形状和属性以便将其分离。
例如，在DASH MPD中，SupplementalProperty或EssentiProperty@schemeIdUri＝＝“urn:mpegI:pointcloud”被定义为PC部件描述符，如图26所示。此外，在DASH MPD中，表示(Representation)指示属性或形状。
此外，Representation@dependencyId用于提供从属性表示到形状表示的关联。这是依赖关系所必需的，因为这种关系规定属性只能在呈现时在存在形状图形的情况下进行映射。
应当注意，在表示是属性的情况下，可以添加属性类型描述符(SupplementalProperty或EssentialProperty@schemeIdUri＝＝“urn:mpeg:mpegI:pc_attribute_type”)以用信号传送属性类型(颜色、反射等)。
上述信令允许客户端在获得DASH分发内容时参考PC部件描述符，并且独立地获取构成PC流的形状比特流。同样，客户端可以独立地解码属性比特流。此外，根据网络带宽，例如，客户端可以切换与形状比特流相关联的属性比特流的图像质量。
此外，如图27所示，Representation@associationID可以用于提供从形状表示到属性表示的关联。此处，associationType是“patt”。由于形状本身能够呈现无色点云，因此通过使用associationtId的关联是适当的。
上述第三识别使能方法使得客户端能够基于DASH MPD中的关联来识别形状和属性，并且获得对所识别的内容的单独访问。因此，即使在仅使用期望属性的使用情况下，客户端也能够高效地执行处理。对于第三识别使能方法，如同第二识别使能方法一样，诸如图3中检测到的PC样本的样本存储在ISOBMFF的mdat中，样本的头部存储大小信息和类型信息。
此处，图28示出了SubSampleInformationBox(子样本信息框)的概要。
如图28所示，样本中的连续特定字节区域被定义为子样本。此外，子样本的定义对于每个编码编解码器是固定的。例如，在HEVC的情况下，NAL单元变成子样本。此外，在SubSampleInformationBox的情况下，可以将信息添加到每个子样本。
此外，图29示出了样本组的概要。
如图29所示，样本到组逻辑框(Sample To Group Box)的grouping_type指示相关联的样本组描述框(Sample Group Description Box)的grouping_type。针对每一条目用信号传送sample_count和group_description_index。group_description_index指示相关联的组条目(Group Entry)的索引，并且sample_count指示属于该组条目的样本的数目。
<系统配置>
下面参照图30和图31说明应用本技术的数据生成装置和数据再现装置的系统配置。
图30是示出数据生成装置的配置示例的框图。
如图30所示，数据生成装置51包括控制部61和文件生成部62。文件生成部62包括数据输入部71、数据编码和生成部72、MPD文件生成部113、记录部74和上传部75。数据编码和生成部72包括预处理部76、编码部77和段文件生成部78。
例如，预处理部76对应于图11中的上述分离部21。预处理部76执行从输入点云分离形状和属性的处理。
编码部77对应于图11中的上述编码部22。编码部77执行对形状比特流和属性比特流以及参数集进行编码的处理。
段文件生成部78对应于图11中的上述PC流生成部23和文件生成部24。段文件生成部78执行生成PC流并且进一步生成其中PC流存储在ISOBMFF中的文件的处理。
图31是示出数据再现装置的配置示例的框图。
如图31所示，数据再现装置52包括控制部81和再现处理部82。再现处理部82包括MPD文件获取部91、MPD文件处理部92、段文件获取部93、显示控制部94、数据分析和解码部95以及显示部96。数据分析和解码部95包括段文件处理部97、解码部98和显示信息生成部99。
例如，段文件处理部97对应于图12中的上述提取部31。段文件处理部97根据使用情况执行提取与再现时间对应的形状比特流和属性比特流的处理。
此外，解码部98对应于图12中的上述解码部32。解码部98执行单独解码形状比特流和属性比特流的处理。
另外，显示信息生成部99对应于图12中的上述构建部33和显示处理部34。显示信息生成部99执行构建点云、呈现点云、将呈现的点云作为显示图像进行显示的处理。
如上所述，本技术定义了样本结构，该样本结构指定形状与属性的边界，并且从而使得客户端能够容易地独立访问形状和属性。此外，本技术将点云流分离成形状比特流和属性比特流，并且将它们存储到ISOBMFF的两个轨道中，从而允许客户端单独处理每个轨道。此外，如上所述，本技术定义了在形状和属性存储在单独的轨道中的情况下DASH MPD中的关联方法，允许客户端容易地独立访问形状和属性。
这使得客户端能够单独地解码形状或多个属性中的仅解码期望的属性。
因此，例如，在诸如不需要诸如颜色和反射的属性信息并且仅使用点云中的三维形状信息的使用情况下，或者在诸如颜色和反射的多条属性信息中仅一条将与形状一起被用于预览目的情况下，客户端可以高效地执行处理。
<计算机的配置示例>
上述一系列处理(信息处理方法)可以由硬件或软件执行。在通过软件执行一系列处理的情况下，例如，将构成软件的程序安装到通用计算机中。
图32是示出安装有用于执行上述一系列处理的程序的典型计算机的配置示例的框图。
程序可以预先记录在计算机内用作记录介质的硬盘105上或ROM103中。
替选地，程序可以存储(记录)在由驱动器109驱动的可移除记录介质111上。这样的可移除记录介质可以作为通常所称的封装软件来提供。此处，可移除记录介质111包括例如软盘、CD-ROM(压缩盘只读存储器)、MO(磁光)盘、DVD(数字多功能盘)、磁盘和半导体存储器。
应当注意，除了从上述可移除记录介质111安装到计算机中之外，还可以通过通信网络或广播网络将程序下载到计算机中，并且安装到内部硬盘105上。也就是说，可以从下载站点例如经由用于数字卫星广播的卫星无线地或者通过诸如LAN(局域网)和因特网的网络有线地将程序传送到计算机。
计算机包括CPU(中央处理单元)102。CPU 102经由总线101与输入/输出接口110连接。
当用户通过操作输入部107经由输入/输出接口110输入命令时，例如，CPU 102相应地执行存储在ROM(只读存储器)103中的程序。替选地，CPU 102从硬盘105加载程序，并且执行加载的程序，其中程序存储在RAM(随机存取存储器)104中。
以这种方式，CPU 102根据上述流程图或以由上述框图中的配置确定的方式执行处理。然后，CPU 102使处理结果从输出部106输出，从通信部108发送，并且经由输入/输出接口110记录到硬盘105。
应当注意，输入部107包括键盘、鼠标、麦克风等。此外，输出部106包括例如LCD(液晶显示器)和扬声器。
在该描述中，由计算机根据程序执行的处理不需要如流程图中所图示的那样按时间顺序进行。也就是说，由计算机根据程序执行的处理可以包括要并行或单独执行的处理(例如，并行处理或面向对象处理)。
此外，程序可以由单个计算机(处理器)或由多个计算机在分布式基础上处理。程序也可以被传送到远程计算机或多个计算机以便由此执行。
此外，在本说明书中，术语“系统”是指多个部件(例如，装置或模块(零件))的集合。所有部件是否均被容纳在同一壳体中并不重要。因此，系统可以包括容纳在单独的壳体中并且经由网络互连的多个装置，或者包括容纳多个模块的单个外壳中的单个装置。
此外，在前述段落中作为一个装置(或处理部)说明的任何配置可以被划分为多个装置(或处理部)。相比之下，以上说明为多个装置(或处理部)的配置可以被统一为一个装置(或处理部)。另外，显然，可以用除上述之外的一种或多种配置来补充每个装置(或处理部)的配置。此外，装置(或处理部)的部分配置可以被包括在另一装置(或处理部)的配置中，只要配置和工作对于整个系统基本上保持相同即可。
此外，本技术可以被实现为云计算设置，例如，其中多个联网装置在共享的基础上协作地处理单个功能。
此外，上述程序可以由任何装置执行。在这样的情况下，该装置仅需要被布置为具有必要的功能(例如，功能块)并获取必要的信息。
此外，例如，参照上述流程图讨论的每个步骤可以由单个装置或由多个装置在共享的基础上执行。此外，在单个步骤包括多个处理的情况下，这些处理可以由单个装置执行或者在共享的基础上由多个装置执行。换言之，可以将包括在单个步骤中的多个步骤作为多个步骤的处理来执行。相比之下，说明为由多个步骤组成的处理可以作为单个步骤执行。
应当注意，由计算机执行的每个程序可以按时间顺序即以本说明书中描绘的顺序、与其他程序并行地或者以另外适当定时的方式(例如当根据需要调用程序时)进行处理。也就是说，可以以与以上讨论的顺序不同的顺序来执行以上步骤，只要这些步骤之间不存在冲突即可。此外，描述给出程序的步骤的处理可以与其他程序的处理并行或组合执行。
应当注意，在本说明书中讨论的多种技术可以彼此独立地实现，只要这些技术之间没有矛盾即可。显然，可以组合地实现任何数目的这些技术。例如，结合一个实施方式讨论的一些或全部技术可以与结合另一实施方式说明的一些或全部技术组合实现。此外，以上讨论的任何技术中的一些或全部可以与以上未描述的另一技术组合实现。
<配置部件的典型组合>
应当注意，本技术可以优选地以以下配置来实现：
(1)
一种信息处理装置，包括：
文件生成部，其被配置成根据表示三维结构的3D数据，针对指示所述三维结构的形状的形状信息的流和指示所述三维结构的属性的属性信息的流中的每一个流分别生成与指示所述三维结构的形状的形状信息的流有关的识别信息和与指示所述三维结构的属性的属性信息的流有关的识别信息；
所述文件生成部被配置成生成包括所生成的多条所述识别信息的文件。
(2)
根据上述段落(1)所述的信息处理装置，其中，所述识别信息包括指示所述流中的每个流的大小的大小信息和指示所述流中的每个流的类型的类型信息。
(3)
根据上述段落(1)或(2)所述的信息处理装置，其中，所述文件生成部以指定所述形状信息和所述属性信息的边界的样本结构生成所述文件。
(4)
根据上述段落(1)至(3)中任一项所述的信息处理装置，其中，所述文件生成部将指示构成所述文件的子样本的大小的大小信息和指示所述子样本的类型的类型信息作为所述识别信息存储到所述子样本的所述形状信息的头部和所述属性信息的头部中。
(5)
根据上述段落(1)至(3)中任一项所述的信息处理装置，其中，所述文件生成部将所述形状信息的流和所述属性信息的流存储到ISOBMFF(ISO基础媒体文件格式)的一个轨道中，并且通过使用与构成所述文件的子样本有关的信息来用信号传送所述形状信息和所述属性信息的边界。
(6)
根据上述段落(5)所述的信息处理装置，其中，所述文件生成部将指示所述子样本的大小的大小信息和指示所述子样本的类型的类型信息作为所述识别信息存储到所述ISOBMFF的mdat中所存储的所述子样本的所述形状信息的头部和所述属性信息的头部中。
(7)
根据上述段落(1)至(3)中任一项所述的信息处理装置，其中，所述文件生成部将所述形状信息的流和所述属性信息的流彼此分离，以将所述流中的每个流分别单独地存储到ISOBMFF的一个轨道中，并且通过使用指示所述轨道之间的关联关系的信息来用信号传送所述形状信息和所述属性信息。
(8)
根据上述段落(1)至(3)中任一项所述的信息处理装置，其中，所述文件生成部将所述形状信息的流和所述属性信息的流彼此分离，以将所述流中的每个流分别单独地存储到ISOBMFF的一个轨道中，并且通过使用DASH(HTTP上的动态自适应流传输)的MPD(媒体呈现描述)来用信号传送所述形状信息和所述属性信息。
(9)
根据上述段落(8)所述的信息处理装置，其中，所述文件生成部将指示构成所述文件的子样本的大小的大小信息和指示所述子样本的类型的类型信息作为所述识别信息存储到ISOBMFF的mdat中所存储的所述子样本的所述形状信息的头部和所述属性信息的头部中。
(10)
一种信息处理方法，包括：
使信息处理装置根据表示三维结构的3D数据，针对指示所述三维结构的形状的形状信息的流和指示所述三维结构的属性的属性信息的流中的每一个流分别生成与指示所述三维结构的形状的形状信息的流有关的识别信息和与指示所述三维结构的属性的属性信息的流有关的识别信息；以及
使所述信息处理装置生成包括所生成的多条所述识别信息的文件。
(11)
一种用于使信息处理装置的计算机执行信息处理的程序，所述信息处理包括：
根据表示三维结构的3D数据，针对指示所述三维结构的形状的形状信息的流和指示所述三维结构的属性的属性信息的流中的每一个流分别生成与指示所述三维结构的形状的形状信息的流有关的识别信息和与指示所述三维结构的属性的属性信息的流有关的识别信息；以及
生成包括所生成的多条所述识别信息的文件。
(12)
一种信息处理装置，包括：
提取部，其被配置成从包括与指示由3D数据表示的三维结构的形状的形状信息的流有关的识别信息和与指示所述三维结构的属性的属性信息的流有关的识别信息的文件中，根据使用情况并基于所述识别信息可识别地提取所述形状信息和所述属性信息，其中，所述识别信息是根据所述3D数据针对指示所述三维结构的形状的形状信息的流和指示所述三维结构的属性的属性信息的流中的每一个流而分别生成的；以及
构建部，其被配置成通过使用均由所述提取部提取的所述形状信息或所述属性信息来构建所述三维结构。
(13)
一种信息处理方法，包括：
使信息处理装置从包括与指示由3D数据表示的三维结构的形状的形状信息的流有关的识别信息和与指示所述三维结构的属性的属性信息的流有关的识别信息的文件中，根据使用情况并基于所述识别信息可识别地提取所述形状信息和所述属性信息，其中，所述识别信息是根据所述3D数据针对指示所述三维结构的形状的形状信息的流和指示所述三维结构的属性的属性信息的流中的每一个流而分别生成的；以及
使所述信息处理装置通过使用均已被提取的所述形状信息或所述属性信息来构建所述三维结构。
(14)
一种用于使信息处理装置的计算机执行信息处理的程序，所述信息处理包括使得所述计算机：
从包括与指示由3D数据表示的三维结构的形状的形状信息的流有关的识别信息和与指示所述三维结构的属性的属性信息的流有关的识别信息的文件中，根据使用情况并基于所述识别信息可识别地提取所述形状信息和所述属性信息，其中，所述识别信息是根据所述3D数据针对指示所述三维结构的形状的形状信息的流和指示所述三维结构的属性的属性信息的流中的每一个流而分别生成的；以及
使用均已被提取的所述形状信息或所述属性信息来构建所述三维结构。
应当注意，本公开内容的实施方式不限于以上讨论的这些实施方式，并且可以在本公开内容的范围内进行各种修改或改变。此外，本说明书中所述的有利效果仅是示例，而不是对本公开内容的限制，本公开内容也可以提供其他优点。
附图标记列表
11和12 信息处理装置
21 分离部
22 编码部
23 PC流生成部
24 文件生成部
31 提取部
32 解码部
33 构建部
34 显示处理部
51 数据生成装置
52 数据再现装置
61 控制部
62 文件生成部
71 数据输入部
72 数据编码和生成部
73 MPD文件生成部
74 记录部
75 上传部
76 预处理部
77 编码部
78 段文件生成部
81 控制部
82 再现处理部
91 MPD文件获取部
92 MPD文件处理部
93 段文件获取部
94 显示控制部
95 数据分析和解码部
96 显示部
97 段文件处理部
98 解码部
99 显示信息生成部

Claims (14)

1.一种信息处理装置，包括：
文件生成部，其被配置成根据表示三维结构的3D数据，针对指示所述三维结构的形状的形状信息的流和指示所述三维结构的属性的属性信息的流中的每一个流分别生成与指示所述三维结构的形状的形状信息的流有关的识别信息和与指示所述三维结构的属性的属性信息的流有关的识别信息；
所述文件生成部被配置成生成包括所生成的多条所述识别信息的文件。
2.根据权利要求1所述的信息处理装置，其中，所述识别信息包括指示所述流中的每个流的大小的大小信息和指示所述流中的每个流的类型的类型信息。
3.根据权利要求1所述的信息处理装置，其中，所述文件生成部以指定所述形状信息和所述属性信息的边界的样本结构生成所述文件。
4.根据权利要求1所述的信息处理装置，其中，所述文件生成部将指示构成所述文件的子样本的大小的大小信息和指示所述子样本的类型的类型信息作为所述识别信息存储到所述子样本的所述形状信息的头部和所述属性信息的头部中。
5.根据权利要求1所述的信息处理装置，其中，所述文件生成部将所述形状信息的流和所述属性信息的流存储到ISOBMFF(ISO基础媒体文件格式)的一个轨道中，并且通过使用与构成所述文件的子样本有关的信息来用信号传送所述形状信息和所述属性信息的边界。
6.根据权利要求5所述的信息处理装置，其中，所述文件生成部将指示所述子样本的大小的大小信息和指示所述子样本的类型的类型信息作为所述识别信息存储到所述ISOBMFF的mdat中所存储的所述子样本的所述形状信息的头部和所述属性信息的头部中。
7.根据权利要求1所述的信息处理装置，其中，所述文件生成部将所述形状信息的流和所述属性信息的流彼此分离，以将所述流中的每个流分别单独地存储到ISOBMFF的一个轨道中，并且通过使用指示所述轨道之间的关联关系的信息来用信号传送所述形状信息和所述属性信息。
8.根据权利要求1所述的信息处理装置，其中，所述文件生成部将所述形状信息的流和所述属性信息的流彼此分离，以将所述流中的每个流分别单独地存储到ISOBMFF的一个轨道中，并且通过使用DASH(HTTP上的动态自适应流传输)的MPD(媒体呈现描述)来用信号传送所述形状信息和所述属性信息。
9.根据权利要求8所述的信息处理装置，其中，所述文件生成部将指示构成所述文件的子样本的大小的大小信息和指示所述子样本的类型的类型信息作为所述识别信息存储到ISOBMFF的mdat中所存储的所述子样本的所述形状信息的头部和所述属性信息的头部中。
10.一种信息处理方法，包括：
使信息处理装置根据表示三维结构的3D数据，针对指示所述三维结构的形状的形状信息的流和指示所述三维结构的属性的属性信息的流中的每一个流分别生成与指示所述三维结构的形状的形状信息的流有关的识别信息和与指示所述三维结构的属性的属性信息的流有关的识别信息；以及
使所述信息处理装置生成包括所生成的多条所述识别信息的文件。
11.一种用于使信息处理装置的计算机执行信息处理的程序，所述信息处理包括：
根据表示三维结构的3D数据，针对指示所述三维结构的形状的形状信息的流和指示所述三维结构的属性的属性信息的流中的每一个流分别生成与指示所述三维结构的形状的形状信息的流有关的识别信息和与指示所述三维结构的属性的属性信息的流有关的识别信息；以及
生成包括所生成的多条所述识别信息的文件。
12.一种信息处理装置，包括：
提取部，其被配置成从包括与指示由3D数据表示的三维结构的形状的形状信息的流有关的识别信息和与指示所述三维结构的属性的属性信息的流有关的识别信息的文件中，根据使用情况并基于所述识别信息可识别地提取所述形状信息和所述属性信息，其中，所述识别信息是根据所述3D数据针对指示所述三维结构的形状的形状信息的流和指示所述三维结构的属性的属性信息的流中的每一个流而分别生成的；以及
构建部，其被配置成通过使用均由所述提取部提取的所述形状信息或所述属性信息来构建所述三维结构。
13.一种信息处理方法，包括：
使信息处理装置从包括与指示由3D数据表示的三维结构的形状的形状信息的流有关的识别信息和与指示所述三维结构的属性的属性信息的流有关的识别信息的文件中，根据使用情况并基于所述识别信息可识别地提取所述形状信息和所述属性信息，其中，所述识别信息是根据所述3D数据针对指示所述三维结构的形状的形状信息的流和指示所述三维结构的属性的属性信息的流中的每一个流而分别生成的；以及
使所述信息处理装置通过使用均已被提取的所述形状信息或所述属性信息来构建所述三维结构。
14.一种用于使信息处理装置的计算机执行信息处理的程序，所述信息处理包括使得所述计算机：
从包括与指示由3D数据表示的三维结构的形状的形状信息的流有关的识别信息和与指示所述三维结构的属性的属性信息的流有关的识别信息的文件中，根据使用情况并基于所述识别信息可识别地提取所述形状信息和所述属性信息，其中，所述识别信息是根据所述3D数据针对指示所述三维结构的形状的形状信息的流和指示所述三维结构的属性的属性信息的流中的每一个流而分别生成的；以及
使用均已被提取的所述形状信息或所述属性信息来构建所述三维结构。
CN201980063613.0A 2018-10-02 2019-09-18 信息处理装置、信息处理方法和程序 Pending CN112789656A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-187816 2018-10-02
JP2018187816 2018-10-02
PCT/JP2019/036465 WO2020071111A1 (ja) 2018-10-02 2019-09-18 情報処理装置および情報処理方法、並びにプログラム

Publications (1)

Publication Number Publication Date
CN112789656A true CN112789656A (zh) 2021-05-11

Family

ID=70054768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980063613.0A Pending CN112789656A (zh) 2018-10-02 2019-09-18 信息处理装置、信息处理方法和程序

Country Status (5)

Country Link
US (1) US20220038517A1 (zh)
EP (1) EP3862971A4 (zh)
JP (1) JP7439762B2 (zh)
CN (1) CN112789656A (zh)
WO (1) WO2020071111A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020116619A1 (ja) * 2018-12-07 2020-06-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2020138353A1 (ja) * 2018-12-26 2020-07-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
CN115398926B (zh) * 2020-04-14 2023-09-19 Lg电子株式会社 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
MX2022015293A (es) * 2020-06-09 2023-01-04 Sony Group Corp Dispositivo y metodo de procesamiento de informacion.
CN114554243B (zh) * 2020-11-26 2023-06-20 腾讯科技（深圳）有限公司 点云媒体的数据处理方法、装置、设备及存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3009651B1 (ja) * 1998-10-06 2000-02-14 彰 川中 ３次元データを圧縮する方法、復元方法
JP2003187266A (ja) * 2001-12-19 2003-07-04 Ricoh Co Ltd ３次元形状処理装置およびデータ処理方法
WO2015008538A1 (ja) * 2013-07-19 2015-01-22 ソニー株式会社 情報処理装置および情報処理方法
JP6128236B2 (ja) * 2014-01-14 2017-05-17 ソニー株式会社 情報処理装置、情報記録媒体、情報処理システム、および情報処理方法、並びにプログラム
US10536721B2 (en) * 2017-01-09 2020-01-14 Qualcomm Incorporated Restricted scheme design for video
US10306254B2 (en) * 2017-01-17 2019-05-28 Seiko Epson Corporation Encoding free view point data in movie data container
US11514613B2 (en) * 2017-03-16 2022-11-29 Samsung Electronics Co., Ltd. Point cloud and mesh compression using image/video codecs
RU2019129256A (ru) * 2017-03-24 2021-03-17 Сони Корпорейшн Способ обработки информации, устройство для обработки информации и программа
WO2019008174A1 (en) * 2017-07-06 2019-01-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. CONCEPTS FOR CONTINUOUSLY DISPLAYING VIDEOS CUT INTO PARTS
US10861196B2 (en) * 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US11381621B2 (en) * 2018-04-11 2022-07-05 Samsung Electronics Co., Ltd. Device and method for processing data in multimedia system
US20210281880A1 (en) * 2018-07-11 2021-09-09 Telefonaktiebolaget Lm Ericsson (Publ) Video Based Point Cloud Codec Bitstream Specification
JPWO2020032248A1 (ja) * 2018-08-10 2021-08-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置

Also Published As

Publication number Publication date
US20220038517A1 (en) 2022-02-03
JP7439762B2 (ja) 2024-02-28
JPWO2020071111A1 (ja) 2021-09-24
WO2020071111A1 (ja) 2020-04-09
EP3862971A1 (en) 2021-08-11
EP3862971A4 (en) 2022-08-17

Similar Documents

Publication Publication Date Title
TWI679885B (zh) 用於產生媒體資料的方法及設備
CN112789656A (zh) 信息处理装置、信息处理方法和程序
JP6766157B2 (ja) ビデオストリーミングにおけるシーンセクションと関心領域の処理
KR102406887B1 (ko) 시간 설정형 미디어 데이터를 발생시키는 방법, 디바이스, 및 컴퓨터 프로그램
US11532103B2 (en) Information processing apparatus and information processing method
US6989868B2 (en) Method of converting format of encoded video data and apparatus therefor
US11516453B2 (en) Information processing apparatus, information processing method, and program for point cloud sample processing
US20230025332A1 (en) Method, device, and computer program for improving encapsulation of media content
US20230043987A1 (en) Image processing apparatus and method
US9865304B2 (en) File generation device and method, and content playback device and method
GB2509953A (en) Displaying a Region of Interest in a Video Stream by Providing Links Between Encapsulated Video Streams
US20240107049A1 (en) Information processing device and information processing method
GB2579389A (en) Method, device and computer program for encapsulating media data into a media file
CN112789865A (zh) 信息处理装置和信息处理方法
JP7287454B2 (ja) 情報処理装置、再生処理装置、情報処理方法及び再生処理方法
US11206386B2 (en) Information processing apparatus and information processing method
GB2567485A (en) Method and device for exchanging data between a web application and an associated web engine
CN116636225A (zh) 信息处理装置和方法
EP3982638A1 (en) Information processing device, information processing method, reproduction processing device, and reproduction processing method
CN115004716A (zh) 容积媒体处理方法和装置
KR101732803B1 (ko) 실감 효과 미디어 데이터 파일 구성 방법 및 장치, 실감 효과 미디어 데이터 파일 재생 방법 및 그 장치
CN116347118A (zh) 一种沉浸媒体的数据处理方法及相关设备
WO2024015222A1 (en) Signaling for picture in picture in media container file and in streaming manifest

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination