CN113396595A - 三维数据复用方法、三维数据逆复用方法、三维数据复用装置及三维数据逆复用装置 - Google Patents

三维数据复用方法、三维数据逆复用方法、三维数据复用装置及三维数据逆复用装置 Download PDF

Info

Publication number
CN113396595A
CN113396595A CN202080012977.9A CN202080012977A CN113396595A CN 113396595 A CN113396595 A CN 113396595A CN 202080012977 A CN202080012977 A CN 202080012977A CN 113396595 A CN113396595 A CN 113396595A
Authority
CN
China
Prior art keywords
data
information
unit
encoding
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080012977.9A
Other languages
English (en)
Inventor
井口贺敬
杉尾敏康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN113396595A publication Critical patent/CN113396595A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

三维数据编码方法通过对包含点群数据的多种数据进行复用而生成规定的文件结构的输出信号(S7311)，在所述文件结构中的元数据中保存表示输出信号中包含的多个数据各自的类别的信息(S7312)。例如，所述信息可以表示(1)应用于数据的编码方式、(2)数据的结构、(3)生成了数据的传感器的种类、或者(4)数据格式。

Description

三维数据复用方法、三维数据逆复用方法、三维数据复用装置 及三维数据逆复用装置
技术领域
本发明涉及三维数据复用方法、三维数据逆复用方法、三维数据复用装置及三维数据逆复用装置。
背景技术
在用于汽车或机器人自主地进行工作的计算机视觉、地图信息、监控、基础设施检查、或影像分发等较大的领域中，今后将会普及灵活运用了三维数据的装置或服务。三维数据通过测距仪等距离传感器、立体摄影机、或多个单眼相机的组合等各种方法来取得。
作为三维数据的表现方法之一，有被称作点云的表现方法，该方法通过三维空间内的点群来表现三维构造的形状。在点云中保存点群的位置和颜色。虽然预想点云作为三维数据的表现方法将成为主流，但是点群的数据量非常大。因此，在三维数据的蓄积或传输中，与二维的运动图像(作为一例，有以MPEG进行标准化后的MPEG－4AVC或HEVC等)同样，需要通过编码来进行数据量的压缩。
此外，关于点云的压缩，有一部分由进行点云关联的处理的公开的库(PointCloud Library：点云库)等支持。
此外，已知有利用三维的地图数据，检索位于车辆周边的施设并进行显示的技术(例如，参照专利文献1)。
现有技术文献
专利文献
专利文献1：国际公开第2014/020663号
发明内容
发明要解决的课题
另外，需要对点群(点云)数据进行复用并发送的方法。
本发明的目的是提供一种能够适当地对点群数据进行复用并发送的三维数据复用方法、三维数据逆复用方法、三维数据复用装置或三维数据逆复用装置。
用来解决课题的手段
本公开的一个方式的三维数据复用方法，通过对包含点群数据的多种数据进行复用，生成规定的文件结构的输出信号，在所述文件结构中的元数据中保存表示所述输出信号中包含的多个数据各自的类别的信息。
本公开的一个方式的三维数据逆复用方法，根据复用了包含点群数据的多种数据的规定的文件结构的输出信号，取得在所述文件结构中的元数据中保存的、表示所述输出信号中包含的多个数据各自的类别的信息，使用所述信息从所述输出信号取得所述多个数据。
发明效果
本发明能够提供能够适当地对点群数据进行复用并发送的三维数据复用方法、三维数据逆复用方法、三维数据复用装置或三维数据逆复用装置。
附图说明
图1是表示有关实施方式的三维数据编解码系统的结构的图。
图2是表示有关实施方式的点群数据的结构例的图。
图3是表示有关实施方式的记述有点群数据信息的数据文件的结构例的图。
图4是表示有关实施方式的点群数据的种类的图。
图5是表示有关实施方式的第1编码部的结构的图。
图6是有关实施方式的第1编码部的框图。
图7是表示有关实施方式的第1解码部的结构的图。
图8是有关实施方式的第1解码部的框图。
图9是表示有关实施方式的第2编码部的结构的图。
图10是有关实施方式的第2编码部的框图。
图11是表示有关实施方式的第2解码部的结构的图。
图12是有关实施方式的第2解码部的框图。
图13是表示有关实施方式的PCC编码数据的协议栈的图。
图14是表示有关实施方式的点群数据生成装置的结构例的图。
图15是表示有关实施方式的点群数据生成装置的结构例的图。
图16是表示有关实施方式的点群数据生成装置的结构例的图。
图17是表示有关实施方式的点群数据编码系统的结构例的图。
图18是表示有关实施方式的三维数据复用装置的结构例的图。
图19是表示有关实施方式的三维数据复用装置的具体例的图。
图20是表示有关实施方式的各种传感器的传感器范围的图。
图21是表示有关实施方式的三维数据复用装置的另一结构例的图。
图22是表示有关实施方式的用于将多个信息保存于文件格式的协议的图。
图23是表示有关实施方式的输入数据的结构例的图。
图24是表示有关实施方式的NAL单元的结构例的图。
图25是表示有关实施方式的ISOBMFF的结构例的图。
图26是表示有关实施方式的moov和mdat的结构例的图。
图27是表示有关实施方式的结构信息的结构例的图。
图28是表示有关实施方式的结构信息的句法例的图。
图29是表示有关实施方式的mdat的结构例的图。
图30是表示有关实施方式的应用处理的例子的流程图。
图31是表示有关实施方式的各种传感器的传感器范围的图。
图32是表示有关实施方式的自动驾驶系统的结构例的图。
图33是有关实施方式的三维数据复用处理的流程图。
图34是有关实施方式的三维数据逆复用处理的流程图。
具体实施方式
本公开的一个方式的三维数据复用方法，通过对包含点群数据的多种数据进行复用，生成规定的文件结构的输出信号，在所述文件结构中的元数据中保存表示所述输出信号中包含的多个数据各自的类别的信息。
由此，该三维数据复用方法在文件结构中的元数据中保存表示输出信号中包含的多个数据各自的类别的信息。由此，在接收该输出信号的三维数据逆复用装置中，能够容易地判定各数据的类别。这样，该三维数据复用方法能够适当地对点群数据进行复用并发送。
例如，也可以是，所述信息表示(1)应用于数据的编码方式、(2)数据的结构、(3)生成了数据的传感器的种类、或者(4)数据格式。
例如，也可以是，所述元数据包含同步信息，所述同步信息用于使所述输出信号中包含的所述多个数据的时刻同步。
由此，在接收该输出信号的三维数据逆复用装置中，能够使多个数据同步。
例如，也可以是，所述同步信息表示所述多个数据间的时间戳的差分。
由此，能够削减输出信号的数据量。
本公开的一个方式的三维数据逆复用方法，根据复用了包含点群数据的多种数据的规定的文件结构的输出信号，取得在所述文件结构中的元数据中保存的、表示所述输出信号中包含的多个数据各自的类别的信息，使用所述信息从所述输出信号取得所述多个数据。
由此，该三维数据逆复用方法能够容易地判定各数据的类别。
例如，也可以是，所述信息表示(1)应用于数据的编码方式、(2)数据的结构、(3)生成了数据的传感器的种类、或者(4)数据格式。
例如，也可以是，所述元数据包含同步信息，所述同步信息用于使所述输出信号中包含的所述多个数据的时刻同步。
由此，该三维数据逆复用方法能够使多个数据同步。
例如，也可以是，所述同步信息表示所述多个数据间的时间戳的差分。
由此，能够削减输出信号的数据量。
另外，本公开的一个方式的三维数据复用装置具备处理器和存储器，所述处理器使用所述存储器，通过对包含点群数据的多种数据进行复用，生成规定的文件结构的输出信号，在所述文件结构中的元数据中保存表示所述输出信号中包含的多个数据各自的类别的信息。
由此，该三维数据复用装置在文件结构中的元数据中保存表示输出信号中包含的多个数据各自的类别的信息。由此，在接收该输出信号的三维数据逆复用装置中，能够容易地判定各数据的类别。这样，该三维数据复用装置能够适当地对点群数据进行复用并发送。
另外，本公开的一个方式的三维数据逆复用装置具备处理器和存储器，所述处理器使用所述存储器，根据复用了包含点群数据的多种数据的规定的文件结构的输出信号，取得在所述文件结构中的元数据中保存的、表示所述输出信号中包含的多个数据各自的类别的信息，使用所述信息从所述输出信号取得所述多个数据。
由此，该三维数据逆复用装置能够容易地判定各数据的类别。
另外，这些包含性或具体的技术方案也可以由系统、方法、集成电路、计算机程序或计算机可读取的CD－ROM等的记录介质实现，也可以由系统、方法、集成电路、计算机程序及记录介质的任意的组合来实现。
以下，参照附图对实施方式具体地进行说明。另外，以下说明的实施方式都表示本发明的一具体例。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例，不是限定本发明的意思。此外，关于以下的实施方式的构成要素中的、在独立技术方案中没有记载的构成要素，设为任意的构成要素进行说明。
(实施方式)
首先，说明本实施方式的三维数据(点群数据)编解码系统的结构。图1是表示本实施方式的三维数据编解码系统的结构例的图。如图1所示，三维数据编解码系统包括三维数据编码系统4601、三维数据解码系统4602、传感器终端4603以及外部连接部4604。
三维数据编码系统4601通过对作为三维数据的点群数据进行编码来生成编码数据或复用数据。此外，三维数据编码系统4601可以是由单个装置实现的三维数据编码装置，也可以是由多个装置实现的系统。另外，三维数据编码装置也可以包含于三维数据编码系统4601中包含的多个处理部中的一部分。
三维数据编码系统4601包括点群数据生成系统4611、提示部4612、编码部4613、复用部4614、输入输出部4615、以及控制部4616。点群数据生成系统4611包括传感器信息取得部4617和点群数据生成部4618。
传感器信息取得部4617从传感器终端4603取得传感器信息，并将传感器信息输出到点群数据生成部4618。点群数据生成部4618根据传感器信息生成点群数据，并将点群数据输出到编码部4613。
提示部4612向用户提示传感器信息或点群数据。例如，提示部4612显示基于传感器信息或点群数据的信息或图像。
编码部4613对点群数据进行编码(压缩)，将得到的编码数据、在编码过程中得到的控制信息和其他附加信息输出到复用部4614。附加信息例如包含传感器信息。
复用部4614通过复用从编码部4613输入的编码数据、控制信息和附加信息来生成复用数据。复用数据的格式例如是用于蓄积的文件格式、或用于传输的包格式。
输入输出部4615(例如，通信部或接口)将复用数据向外部输出。或者，复用数据被蓄积于内部存储器等蓄积部。控制部4616(或应用执行部)控制各处理部。即，控制部4616进行编码及复用等控制。
此外，也可以将传感器信息向编码部4613或复用部4614输入。另外，输入输出部4615也可以将点群数据或编码数据直接向外部输出。
从三维数据编码系统4601输出的传输信号(复用数据)经由外部连接部4604输入到三维数据解码系统4602。
三维数据解码系统4602通过对编码数据或复用数据进行解码而生成作为三维数据的点群数据。此外，三维数据解码系统4602可以是由单一的装置实现的三维数据解码装置，也可以是由多个装置实现的系统。另外，三维数据解码装置也可以包含三维数据解码系统4602中包含的多个处理部中的一部分。
三维数据解码系统4602包括传感器信息取得部4621、输入输出部4622、逆复用部4623、解码部4624、提示部4625、用户接口4626、以及控制部4627。
传感器信息取得部4621从传感器终端4603取得传感器信息。
输入输出部4622取得传输信号，根据传输信号对复用数据(文件格式或者包)进行解码，并将复用数据输出到逆复用部4623。
逆复用部4623从复用数据中取得编码数据、控制信息以及附加信息，并将编码数据、控制信息以及附加信息输出到解码部4624。
解码部4624通过对编码数据进行解码而重构点群数据。
提示部4625将点群数据提示给用户。例如，提示部4625显示基于点群数据的信息或图像。用户接口4626取得基于用户的操作的指示。控制部4627(或应用执行部)控制各处理部。即，控制部4627进行逆复用、解码以及提示等的控制。
此外，输入输出部4622也可以从外部直接取得点群数据或编码数据。另外，提示部4625也可以取得传感器信息等附加信息，并提示基于附加信息的信息。另外，提示部4625也可以基于由用户接口4626取得的用户的指示来进行提示。
传感器终端4603生成由传感器取得的信息即传感器信息。传感器终端4603是搭载有传感器或相机的终端，例如有汽车等移动体、飞机等飞行物体、移动终端或相机等。
能够由传感器终端4603取得的传感器信息例如是(1)由LiDAR(激光雷达)、毫米波雷达或者红外线传感器得到的传感器终端4603与对象物的距离(位置信息)、颜色、或者对象物的反射率、(2)从多个单眼相机图像或者立体相机图像得到的相机与对象物的距离(位置信息)、颜色或者对象物的反射率等。另外，传感器信息也可以包含传感器的姿势、朝向、回转(角速度)、位置(GPS信息或者高度)、速度、加速度或者传感器信息的取得时刻等。另外，传感器信息也可以包含气温、气压、湿度、或者磁性等。
外部连接部4604通过集成电路(LSI或IC)、外部蓄积部、经由因特网的与云服务器的通信、或者广播等来实现。
接着，对点群数据进行说明。图2是表示点群数据的结构的图。图3是表示记述了点群数据的信息的数据文件的结构例的图。
点群数据包含多个点的数据。各点的数据包含位置信息(三维坐标)以及与该位置信息相对的属性信息。将聚集了多个这样的点的群称为点群。例如，点群表示对象物(对象)的三维形状。
有时也将三维坐标等位置信息(Position)称为几何形状(geometry)。另外，各点的数据也可以包含多个属性类别的属性信息(attribute)。属性类别例如是颜色或反射率等。
既可以将1个属性信息针对1个位置信息建立对应，也可以将具有多个不同的属性类别的属性信息针对1个位置信息建立对应。另外，也可以将多个相同的属性类别的属性信息针对1个位置信息建立对应。
图3所示的数据文件的结构例是位置信息和属性信息1对1对应的情况的例子，表示构成点群数据的N个点的位置信息和属性信息。
位置信息例如是x、y、z这3轴的信息。属性信息例如是RGB的颜色信息。作为代表性的数据文件，有ply文件等。
接着，对点群数据的种类进行说明。图4是表示点群数据的种类的图。如图4所示，点群数据包含静态对象和动态对象。
静态对象是任意时间(某个时刻)的三维点群数据。动态对象是随时间变化的三维点群数据。以下，将某时刻的三维点群数据称为PCC帧或者帧。
对象可以是如通常的影像数据那样区域被某种程度限制的点群，也可以是像地图信息那样区域未被限制的大规模点群。
另外，存在各种密度的点群数据，也可以存在稀疏的点群数据和密集的点群数据。
以下，对各处理部的详细情况进行说明。传感器信息通过LiDAR或者测距仪等距离传感器、立体相机或者多个单眼相机的组合等各种方法来取得。点群数据生成部4618基于由传感器信息取得部4617得到的传感器信息生成点群数据。点群数据生成部4618生成位置信息作为点群数据，对位置信息附加针对该位置信息的属性信息。
点群数据生成部4618也可以在生成位置信息或者附加属性信息时，对点群数据进行加工。例如，点群数据生成部4618也可以通过删除位置重复的点群来减少数据量。另外，点群数据生成部4618也可以对位置信息进行变换(位置转变、旋转或者标准化等)，也可以对属性信息进行渲染。
此外，在图1中，点群数据生成系统4611包含于三维数据编码系统4601，但也可以独立设置于三维数据编码系统4601的外部。
编码部4613基于预先规定的编码方法对点群数据进行编码，由此生成编码数据。编码方法大致存在以下2种。第1种是使用了位置信息的编码方法，以后将该编码方法记载为第1编码方法。第2种是使用了视频编解码器的编码方法，以后将该编码方法记载为第2编码方法。
解码部4624基于预先规定的编码方法对编码数据进行解码，由此对点群数据进行解码。
复用部4614通过使用现有的复用方式对编码数据进行复用，从而生成复用数据。所生成的复用数据被传输或蓄积。复用部4614除了PCC编码数据以外，还复用影像、声音、字幕、应用、文件等其他媒体、或者基准时刻信息。另外，复用部4614还可以对与传感器信息或者点群数据相关联的属性信息进行复用。
作为复用方式或文件格式，有ISOBMFF、作为ISOBMFF基础的传输方式的MPEG-DASH、MMT、MPEG-2TS Systems、RMP等。
逆复用部4623从复用数据中提取PCC编码数据、其他媒体以及时刻信息等。
输入输出部4615使用与广播或通信等传输介质或蓄积介质一致的方法传输复用数据。输入输出部4615可以经由因特网与其他设备进行通信，也可以与云服务器等蓄积部进行通信。
作为通信协议，使用http、ftp、TCP、UDP或者IP等。既可以使用PULL型的通信方式，也可以使用PUSH型的通信方式。
可以使用有线传输和无线传输中的任一种。作为有线传输，使用Ethernet(注册商标)、USB、RS-232C、HDMI(注册商标)或同轴电缆等。作为无线传输，使用由3GPP的IEEE规定的3G/4G/5G、无线LAN、Wi-Fi(注册商标)、Bluetooth(注册商标)或毫米波等。
此外，作为广播方式，例如使用DVB-T2、DVB-S2、DVB-C2、ATSC3.0或ISDB-S3等。
图5是表示进行第1编码方法的编码的编码部4613的例子即第1编码部4630的结构的图。图6是第1编码部4630的框图。第1编码部4630通过用第1编码方法对点群数据进行编码来生成编码数据(编码流)。该第1编码部4630包括位置信息编码部4631、属性信息编码部4632、附加信息编码部4633以及复用部4634。
第1编码部4630具有意识到三维结构来进行编码的特征。另外，第1编码部4630具有属性信息编码部4632使用从位置信息编码部4631得到的信息进行编码的特征。第1编码方法也被称为GPCC(Geometry based PCC)。
点群数据是PLY文件那样的PCC点群数据、或者根据传感器信息生成的PCC点群数据，包含位置信息(Position)、属性信息(Attribute)以及其他的附加信息(MetaData)。位置信息被输入到位置信息编码部4631，属性信息被输入到属性信息编码部4632，附加信息被输入到附加信息编码部4633。
位置信息编码部4631通过对位置信息进行编码，来生成作为编码数据的编码位置信息(Compressed Geometry)。例如，位置信息编码部4631使用八叉树等N叉树结构对位置信息进行编码。具体而言，在八叉树中，对象空间被分割为8个节点(子空间)，生成表示各节点中是否包含点群的8比特的信息(占用率代码)。另外，包含点群的节点进一步被分割为8个节点，生成表示在该8个节点的每一个中是否包含点群的8比特的信息。反复进行该处理，直到成为预先确定的阶层或节点所包含的点群的数量的阈值以下为止。
属性信息编码部4632通过使用由位置信息编码部4631生成的结构信息进行编码，来生成作为编码数据的编码属性信息(Compressed Attribute)。例如，属性信息编码部4632基于由位置信息编码部4631生成的八叉树结构，决定在处理对象的对象点(对象节点)的编码中参照的参照点(参照节点)。例如，属性信息编码部4632参照周边节点或相邻节点中的八叉树中的父节点与对象节点的父节点相同的节点。另外，参照关系的决定方法不限于此。
另外，属性信息的编码处理可以包括量化处理、预测处理和算术编码处理中的至少一个。在该情况下，参照是指在属性信息的预测值的计算中使用参照节点，或者在编码的参数的决定中使用参照节点的状态(例如，表示在参照节点中是否包含点群的占有信息)。例如，编码的参数是量化处理中的量化参数、或者算术编码中的上下文等。
附加信息编码部4633通过对附加信息中的可压缩的数据进行编码，来生成作为编码数据的编码附加信息(Compressed MetaData)。
复用部4634通过对编码位置信息、编码属性信息、编码附加信息以及其他附加信息进行复用，来生成作为编码数据的编码流(Compressed Stream)。所生成的编码流被输出到未图示的系统层的处理部。
接着，对作为进行第1编码方法的解码的解码部4624的例子的第1解码部4640进行说明。图7是表示第1解码部4640的结构的图。图8是第1解码部4640的框图。第1解码部4640通过以第1编码方法对以第1编码方法进行了编码的编码数据(编码流)进行解码，来生成点群数据。该第1解码部4640包括逆复用部4641、位置信息解码部4642、属性信息解码部4643以及附加信息解码部4644。
从未图示的系统层的处理部将作为编码数据的编码流(Compressed Stream)输入到第1解码部4640。
逆复用部4641从编码数据中分离编码位置信息(Compressed Geometry)、编码属性信息(Compressed Attribute)、编码附加信息(Compressed MetaData)以及其他附加信息。
位置信息解码部4642通过对编码位置信息进行解码来生成位置信息。例如，位置信息解码部4642根据由八叉树等N叉树结构表示的编码位置信息，复原用三维坐标表示的点群的位置信息。
属性信息解码部4643基于由位置信息解码部4642生成的结构信息，对编码属性信息进行解码。例如，属性信息解码部4643基于由位置信息解码部4642得到的八叉树结构，决定在处理对象的对象点(对象节点)的解码中参照的参照点(参照节点)。例如，属性信息解码部4643参照周边节点或相邻节点中的八叉树中的父节点与对象节点的父节点相同的节点。另外，参照关系的决定方法不限于此。
另外，属性信息的解码处理也可以包括逆量化处理、预测处理以及算术解码处理中的至少一个。在该情况下，参照是指在属性信息的预测值的计算中使用参照节点、或者在解码的参数的决定中使用参照节点的状态(例如，表示在参照节点中是否包含点群的占有信息)。例如，解码的参数是逆量化处理中的量化参数、或者算术解码中的上下文等。
附加信息解码部4644通过对编码附加信息进行解码来生成附加信息。另外，第1解码部4640在解码时使用位置信息以及属性信息的解码处理所需的附加信息，向外部输出应用所需的附加信息。
接着，对作为进行第2编码方法的编码的编码部4613的例子的第2编码部4650进行说明。图9是表示第2编码部4650的结构的图。图10是第2编码部4650的框图。
第2编码部4650通过以第2编码方法对点群数据进行编码来生成编码数据(编码流)。该第2编码部4650包括附加信息生成部4651、位置图像生成部4652、属性图像生成部4653、影像编码部4654、附加信息编码部4655以及复用部4656。
第2编码部4650具有如下特征：通过将三维结构投影于二维图像来生成位置图像以及属性图像，并使用现有的影像编码方式对所生成的位置图像以及属性图像进行编码。第2编码方法也被称为VPCC(video based PCC，基于视频的PCC)。
点群数据是PLY文件那样的PCC点群数据、或者根据传感器信息生成的PCC点群数据，包含位置信息(Position)、属性信息(Attribute)以及其他的附加信息(MetaData)。
附加信息生成部4651通过将三维结构投影到二维图像，来生成多个二维图像的映射信息。
位置图像生成部4652基于位置信息和由附加信息生成部4651生成的映射信息，生成位置图像(Geometry Image)。该位置图像例如是表示距离(Depth)作为像素值的距离图像。另外，该距离图像既可以是从1个视点观察多个点群的图像(在1个二维平面上投影了多个点群的图像)，也可以是从多个视点观察多个点群的多个图像，也可以是将这些多个图像合并而成的1个图像。
属性图像生成部4653基于属性信息和由附加信息生成部4651生成的映射信息，生成属性图像。该属性图像例如是表示属性信息(例如颜色(RGB))作为像素值的图像。另外，该图像可以是从1个视点观察多个点群的图像(在1个二维平面上投影了多个点群的图像)，也可以是从多个视点观察多个点群的多个图像，也可以是将这些多个图像合并而成的1个图像。
影像编码部4654通过使用影像编码方式对位置图像以及属性图像进行编码，从而生成作为编码数据的编码位置图像(Compressed Geometry Image)以及编码属性图像(Compressed Attribute Image)。此外，作为影像编码方式，可以使用公知的任意的编码方式。例如，影像编码方式是AVC或HEVC等。
附加信息编码部4655通过对点群数据中包含的附加信息以及映射信息等进行编码来生成编码附加信息(Compressed MetaData)。
复用部4656通过对编码位置图像、编码属性图像、编码附加信息以及其他附加信息进行复用，来生成作为编码数据的编码流(Compressed Stream)。所生成的编码流被输出到未图示的系统层的处理部。
接着，对作为进行第2编码方法的解码的解码部4624的例子的第2解码部4660进行说明。图11是表示第2解码部4660的结构的图。图12是第2解码部4660的框图。第2解码部4660通过以第2编码方法对以第2编码方法进行了编码的编码数据(编码流)进行解码，来生成点群数据。该第2解码部4660包括逆复用部4661、影像解码部4662、附加信息解码部4663、位置信息生成部4664以及属性信息生成部4665。
从未图示的系统层的处理部将作为编码数据的编码流(Compressed Stream)输入到第2解码部4660。
逆复用部4661从编码数据中分离编码位置图像(Compressed Geometry Image)、编码属性图像(Compressed Attribute Image)、编码附加信息(Compressed MetaData)以及其他附加信息。
影像解码部4662通过使用影像编码方式对编码位置图像以及编码属性图像进行解码，来生成位置图像以及属性图像。此外，作为影像编码方式，可以使用公知的任意的编码方式。例如，影像编码方式是AVC或HEVC等。
附加信息解码部4663通过对编码附加信息进行解码，来生成包含映射信息等的附加信息。
位置信息生成部4664使用位置图像和映射信息生成位置信息。属性信息生成部4665使用属性图像和映射信息生成属性信息。
第2解码部4660在解码时使用解码所需的附加信息，向外部输出应用所需的附加信息。
以下，对PCC编码方式进行说明。图13是表示与PCC编码数据有关的协议栈的图。图13表示在PCC编码数据中复用、传输或蓄积影像(例如HEVC)或声音等其他媒体的数据、或者传感器信息的例子。
复用方式及文件格式具有用于复用、传输或蓄积各种编码数据的功能。为了传输或蓄积编码数据，将编码数据变换为复用方式的格式。例如，在HEVC中，规定了将编码数据保存在被称为NAL单元的数据结构中，将NAL单元保存到ISOBMFF中的技术。
在PCC中也设想同样的结构。在传感器信息与点群数据一起被PCC编码的情况下，在使用其他编码方法进行编码的情况下，有时不被编码而直接保存在复用层中，也能够将它们组合。具体而言，其他的编码方法是其他的三维编码方法、或者将点群数据变换为二维或一维数据的对数据进行编码的编码方法。
以下，对根据传感器信号(也称为传感器信息)生成点群数据的结构的例子进行说明。图14～图16分别是表示根据传感器信号生成点群数据的点群数据生成装置的结构例的图。
图14所示的点群数据生成装置根据从1个感测设备7301得到的传感器信号生成点群数据。图14所示的点群数据生成装置具备感测设备7301、传感器信息输入部7302、以及点群数据生成部7303。传感器信息输入部7302取得由感测设备7301得到的传感器信号。点群数据生成部7303根据传感器信息输入部7302取得的传感器信号生成点群数据。生成的点群数据例如将后级的点群数据输出到编码部(未图示)。
如图15所示，也可以基于从2个以上的感测设备得到的传感器信号来生成点群数据。图15所示的点群数据生成装置具备感测设备7301A及7301B、传感器信息输入部7302A及7302B、以及点群数据生成部7303A。传感器信息输入部7302A取得由感测设备7301A得到的第1传感器信号。传感器信息输入部7302B取得由感测设备7301B得到的第2传感器信号。点群数据生成部7303A根据传感器信息输入部7302A及7302B取得的2个传感器信号生成点群数据。生成的点群数据例如将后级的点群数据输出到编码部(未图示)。
图16所示的点群数据生成装置具备感测设备7301C、传感器信息输入部7302C、以及点群数据生成部7303C。感测设备7301C生成将使用2个以上的感测方法感测到的2个信息以规定的方法合并后的传感器信号。感测设备7301C具备感测部7304A和7304B和合并部7305。
感测部7304A通过第1感测方法生成第1传感器信号。感测部7304B通过第2感测方法生成第2传感器信号。合并部7305合并第1传感器信号和第2传感器信号，并将所生成的传感器信号输出到传感器信息输入部7302C。
此外，合并部7305也可以基于规定的条件选择第1传感器信号和第2传感器信号中的一方，并输出所选择的传感器信号。另外，合并部7305在合并2个传感器信号的情况下，也可以使合并中使用的权重系数变化。
例如，合并部7305可以基于取得的传感器信号进行，也可以基于其他的传感器信号进行选择哪个传感器信号的判定。
例如，第1感测方法与第2感测方法既可以传感器的参数不同，也可以感测的频率或者机构不同。另外，传感器信号也可以包含表示感测方法或者感测时的参数等的信息。
在切换多个感测方法的情况下，合并部7305也可以将表示使用了哪个感测方法的信息、或者切换的判定基准的数据包含在传感器信号中。在合并传感器信号的情况下，合并部7305可以将用于识别合并的感测方法的信息、合并的判定基准的数据或合并系数包含在传感器信号中。
另外，感测设备7301C也可以输出多个传感器信号。另外，感测设备7301C也可以输出第1传感器信号的绝对值和第1传感器信号与第2传感器信号的差分值作为多个传感器信号。
另外，传感器信号也可以包含表示第1感测方法与第2感测方法的关系的信息。例如，传感器信号可以包含第1感测方法和第2感测方法的基准位置信息的绝对值或相对值，也可以包含表示传感器信号的取得时间、基准时刻信息或传感器的角度的信息。通过在传感器信号中包含这些信息，在后级的处理中能够基于这些信息进行2个传感器信号的关系的修正或合成。
传感器信息输入部7302C取得由感测设备7301C得到的传感器信号。点群数据生成部7303C根据传感器信息输入部7302C取得的传感器信号生成点群数据。生成的点群数据例如将后级的点群数据输出到编码部(未图示)。
这样，点群数据生成装置基于上述各种传感器信号中的任一个或2个以上的传感器信号来生成点群数据。另外，点群数据生成装置也可以在点群数据的生成过程中修正点的位置信息或者属性信息。
另外，点群数据生成装置可以是图14～图16中的任一个所示的结构，也可以是将它们中的多个组合的结构。另外，点群数据生成装置可以使用固定的方法，例如，也可以根据感测的目的或使用情况(use case)，使使用的方法自适应地变化。
接着，说明本实施方式的点群数据编码系统的结构例。图17是表示本实施方式的点群数据编码系统的结构例的图。图17所示的点群数据编码系统包括第1设备7310和第2设备7320。
第1设备7310包括感测部7311和输出I/F(接口)7312。第2设备7320包括感测部7321、输出I/F7322、输入I/F7323和处理部7324。处理部7324包括点群数据生成部7325和编码部7326。
感测部7311或7321可以包含在与由CPU等构成的处理部7324相同的硬件或设备中，也可以包含在不同的硬件或设备中。
感测部7321包含在与处理部7324相同的设备(第2设备7320)中。在该情况下，感测部7321的输出信号(称为RAW数据)直接输入到点群数据生成部7325。
感测部7311包含在与处理部7324不同的设备(第1设备7310)中。在该情况下，从感测部7311输出的RAW数据在输出I/F7312中被变换为输入输出格式(外部输出格式)，格式化后的信号被输入到第2设备7320。第2设备7320所包含的输入I/F7323将格式化后的信号变换为RAW数据，并将所得到的RAW数据输出到点群数据生成部7325。输出I/F7312及输入I/F7323例如具有图1所示的复用部4614及输入输出部4615的功能。
另外，也可以将来自与处理部7324相同的设备中包含的感测部7321的输出信号(RAW数据)用输出I/F7322变换为输入输出格式，将在输入I/F7323中格式化后的信号变换为RAW数据，将得到的RAW数据输入到点群数据生成部7325。
另外，在输入多个传感器信号的情况下，例如在从其他设备输入的传感器信号和从相同设备输入的传感器信号混合存在的情况下，也可以将这些传感器信号变换为相同的格式。另外，在变换时，也可以对各个信号赋予能够特定信号的识别符。例如，在使用UDP(User Datagram Protocol：用户数据报协议)进行发送的情况下，各信号也可以由IP(Internet Protocol：因特网协议)或者UDP的发送源地址或者发送源端口编号识别。由此，能够统一向点群数据生成部7325输入的格式，因此信号的控制变得容易。
点群数据生成部7325使用输入的RAW数据生成点群数据。编码部7326对生成的点群数据进行编码。
接着，说明本实施方式的三维数据复用装置(三维数据复用系统)的结构例。图18是表示本实施方式的三维数据复用装置的结构例的图。三维数据复用装置通过对各种传感器信号进行编码及复用而生成输出信号，并蓄积或传输所生成的输出信号。
如图18所示，三维数据复用装置具备感测部7331A、7331B以及7331C、传感器信息输入部7332A、7332B以及7332C、点群数据生成部7333A和7333B、编码部7334A和7334B、同步部7335以及复用部7336。在此，表示使用3个感测部的例子，但感测部的数量并不限定于此。另外，关于从各感测部到传感器信号的处理方法，也能够使用下述的处理方法的任意组合。
传感器信息输入部7332A取得通过感测部7331A感测而生成的第1传感器信号。传感器信息输入部7332B取得通过感测部7331B感测而生成的第2传感器信号。传感器信息输入部7332C取得通过感测部7331C感测而生成的第3传感器信号。
点群数据生成部7333A根据第1传感器信号生成第1点群数据。点群数据生成部7333B根据第2传感器信号生成第2点群数据。此时，根据在感测部7331A和感测部7331B中使用的感测方法的不同(例如，方向、范围、能够取得的属性、频率、分辨率等、方法、或者机构)，有时生成的点群数据中的点的数量、点的范围、属性信息不同。
编码部7334A通过对第1点群数据进行编码来生成第1编码数据。编码部7334B通过对第2点群数据进行编码来生成第2编码数据。例如，编码部7334A和编码部7334B应用相互不同的编码方法。例如，也可以编码部7334A使用第1编码方式，编码部7334B使用与第1编码方式不同的第2编码方式。此外，也可以编码部7334A和编码部7334B使用相同的编码方式。
编码部7334A和7334B也可以使用熵编码等对点群数据中的点的位置信息或者属性信息进行压缩。另外，编码部7334A和7334B也可以将传感器信号、传感器的位置信息或角度信息、或时刻信息等作为元数据保存。
编码部7334A和7334B使用适合于点群数据的编码方式。例如，第1编码方式是能够在地图信息或静止内容中期待高的编码率的编码方式，第2编码方式是能够在AR或VR那样的内容中期待高的编码率的编码方式。在该情况下，编码部7334A和7334B可以使用适合于内容的编码方法。
或者，例如，第1编码方式是能够对基于由BEAM LiDAR(光束激光雷达，下称光束LiDAR)那样的感测部感测到的信息的点群期待高的编码率的编码方式，第2编码方式是能够对基于由FLASH LiDAR(泛光式激光雷达，下称泛光式LiDAR)那样的感测部感测到的信息的点群期待高的编码率的编码方式。在该情况下，编码部7334A和7334B也可以使用适合于感测部的编码方式。
此外，编码部7334A和7334B也可以不变更编码方式，而在同一编码方式中使用适合于内容或感测部的编码工具或与编码相关的参数。
所生成的第1编码数据和第2编码数据被输入到复用部7336。例如，通过感测部7331C感测到的第3传感器信号是不需要编码的数据。在该情况下，不进行点群数据的生成以及编码，将第3传感器信号直接输入到复用部7336。另外，也可以不以低延迟的传输为目的而进行编码。
同步部7335具有用于使多个感测部同步的功能。例如，同步部7335使用感测的时刻信息、时间戳信息和角度信息作为与同步相关的信息。与这些同步相关的信息也可以作为共同的信息即同步信号而被复用为输出信号。或者，与这些同步相关的信息也可以包含在各传感器信号中。
复用部7336通过对1个以上的编码数据、元数据、传感器信号的RAW数据以及同步信号进行复用而生成输出信号。另外，复用部7336将用于识别各个数据的信息以及表示各数据的对应关系的信息保存于输出信号。
图19是表示三维数据复用装置的具体例的图。如图19所示，使用光束LiDAR作为感测部7331A，使用泛光式LiDAR作为感测部7331B。根据LiDAR的特性，点群的范围及距离、以及析像度等不同。图20是表示光束LiDAR及泛光式LiDAR的传感器范围的例子的图。例如，光束LiDAR检测车辆(传感器)的周围的全部方向，泛光式LiDAR检测车辆的一个方向(例如前方)的范围。
点群数据生成部7333A基于从光束LiDAR取得的针对光束照射角的距离信息以及反射率信息，生成第1点群数据。点群数据生成部7333B基于从泛光式LiDAR得到的二维距离信息和反射率，生成第2点群数据。此外，点群数据生成部7333A和7333B还可以并用由相机取得的二维的颜色信息等，生成具有颜色信息和反射率双方的点群数据。
另外，作为感测部7331C，使用三轴陀螺仪传感器、三轴加速度传感器或GPS等位置信息传感器即车载传感器。这些传感器信息是表示车整体的状态的传感器信息，也可以称为与第1传感器信号以及第2传感器信号相关联的共同的信息。这些共同的传感器信息可以被编码而被复用，也可以不被编码而被复用。另外，这些信息也可以作为与点群数据共同的附加信息被保存在第1传感器信号、第2传感器信号中并被编码。或者，共同的传感器信息也可以保存在第1传感器信号和第2传感器信号中的一方的传感器信号中。在该情况下，表示共同的传感器信息被保存在哪个传感器信号中的信息也可以表示在例如其他的传感器信号中或者同步信号中。
另外，作为与取得传感器的时刻相关的信息，例如基于NTP(Network TimeProtocol：网络时间协议)或PTP(Precision Time Protocol：精确时间协议)等基准时刻信息的时间戳被赋予基于光束LiDAR的第1点群数据和基于泛光式LiDAR的第2点群数据。各个传感器的时间戳与共同的基准时刻同步，通过编码部7334A和7334B进行编码。
另外，表示共同的基准时刻的基准时刻信息也可以作为同步信号而被复用。基准时刻信息也可以不被复用。三维数据逆复用装置(三维数据解码装置)从多个传感器信号的编码数据中取得各自的时间戳。由于时间戳与共同的基准时刻同步，因此三维数据逆复用装置通过使多个传感器信号的解码数据基于各自的时间戳进行动作，能够取得多个传感器间的同步。
另外，也可以按每个光束LiDAR和泛光式LiDAR分别设定对应的时刻信息。另外，也可以按每个光束LiDAR和泛光式LiDAR分别设置三轴传感器。在该情况下，作为各自的NTP，使用因特网时刻等共同的时刻。另外，各个三轴传感器被预先校准，使用预先同步的多个三轴传感器。
图21是表示三维数据复用装置的另一结构例的图。如图21所示，三维数据复用装置具备感测部7341A、7341B和7341C、输入输出部7342A、7342B和7342C、点群数据生成部7343、编码部7344A和7344B、同步部7345以及复用部7346。
输入输出部7342A取得通过感测部7341A感测而生成的第1传感器信号。输入输出部7342B取得通过感测部7341B感测而生成的第2传感器信号。输入输出部7342C取得通过感测部7341C感测而生成的第3传感器信号。此外，输入输出部7342A、7342B和7342C也可以具有蓄积所取得的传感器信号的存储器。
点群数据生成部7343根据第1传感器信号生成第1点群数据。编码部7344A通过对第1点群数据进行编码而生成第1编码数据。编码部7344B通过对第2传感器信息进行编码而生成第2编码数据。
同步部7345具有用于使多个感测部同步的功能。复用部7346通过对1个以上的编码数据、元数据、传感器信号的RAW数据以及同步信号进行复用而生成输出信号。
这样，在图21所示的结构中，不从通过感测部7341B得到的传感器信号(RAW数据)生成点群数据，传感器信号在RAW数据的状态下直接被编码。例如，在第2传感器信号是由泛光式LiDAR或相机等的CMOS传感器得到的二维信息的情况下，编码部7344B使用AVC或HEVC等运动图像编解码器来对第2传感器信号进行编码。由此，能够实现编码效率高的编码。另外，通过活用现有编解码器，能够构建成本低廉的系统。
这样，三维数据复用装置并用根据感测部对点群数据进行变换后进行编码的机构、和不变换为点群数据而在RAW数据的状态下直接进行编码的机构，对各个编码数据进行复用。
接着，说明通过复用生成规定的文件格式的输出信号的方法的例子。以下，说明规定的文件格式是ISOBMFF(ISO based media file format：基于ISO的媒体文件格式)的情况的例子。另外，文件格式不限于ISOBMFF，也可以使用其他文件格式。
ISOBMFF是ISO/IEC14496-12中规定的文件格式标准。ISOBMFF规定了能够复用并保存视频、音频和文本等各种介质的数据的格式，是不依赖于介质的标准。
针对ISOBMFF的每个媒体的保存方法是另外规定的。例如，AVC视频和HEVC视频的保存方法由ISO/IEC14496-15规定。
另一方面，需要将从多个传感器信息(传感器信号)取得的数据的编码数据保存到ISOBMFF中的方法。图22是表示通过各种编码方法对多个传感器信息分别进行编码并保存到ISOBMFF的协议的图。
Data1～Data5分别是由各种传感器取得的传感器数据(传感器信号)，例如是RAW数据等。Data1和Data2被变换为3D点群格式，使用3D点群格式用的编码方法Codec1或Codec2进行编码。另外，Data3和Data4被变换为图像等2D数据的格式，使用2D数据格式用的编码方法Codec3或Codec4进行编码。
各个编码数据通过规定的方法变换成NAL单元，并且保存在ISOBMFF中。另外，NAL单元在3DFormat和2DFormat中可以是共同的形式，也可以是不同的形式。另外，不同的编码方法的NAL单元可以是共同的形式，也可以是不同的形式。另外，传感器数据的格式除了在此列举的3D以及2D格式以外，也可以是1D的格式或者其他的格式。
Data5是不对从传感器取得的传感器数据进行编码而直接保存在ISOBMFF中的情况。
通过提供合并保存这些数据的任意组合的数据的格式，处理多个传感器的系统的数据的管理变得容易，能够实现各种功能。
接下来，说明ISOBMFF的结构。三维数据复用装置将多个传感器数据保存到ISOBMFF中。图23是表示复用对象的输入数据的结构例的图。图24是表示NAL单元的结构例的图。图25是表示ISOBMFF的结构例的图。图26是表示moov和mdat的结构例的图。
输入数据中包含的编码数据主要大致分为编码数据(Data)和元数据(Meta)。作为元数据，包括由每个编码数据的头部表示的元数据和作为参数集保存在独立的NAL单元中的元数据。元数据可能被包括在编码数据中。三维数据复用装置将这些多个不同的编解码器的每一个的NAL单元以及RAW数据保存到一个ISOBMFF。
ISOBMFF由盒结构构成。作为ISOBMFF的盒，主要有保存元数据的“moov”和“meta”、以及保存数据的“mdat”。
编码数据和RAW数据以样本单位保存在ISOBMFF中的“mdat”中。另外，输入数据中的元数据按每个编码数据，以规定的格式保存在ISOMBFF中的“moov”的“trak”中。编码数据中包含的元数据和同步信息也保存在“moov”内。
用于从“mdat”取得数据的信息(来自文件开头的数据的地址信息(偏移信息)和数据的大小等)被保存在每个编码数据的元数据中。另外，“ftyp”表示后续的数据的文件类型等。
另外，格式以及盒名除了在此列举的格式以及盒名以外，只要具有相同的功能即可。
另外，在实时通信等的使用情况中，也可以将分割了”moov”和“mdat”这样的盒的单位在时间上分开发送。另外，也可以对分割后的单位的数据进行交织。
三维数据复用装置定义表示结构信息的盒(以下简记为结构信息)，将文件中包含的多个数据的识别信息保存在结构信息中。另外，三维数据复用装置将能够访问各个数据的元数据的识别信息保存在结构信息中。
图27是表示结构信息的结构例的图。图28是表示结构信息的句法例的图。
结构信息表示构成ISOBMFF文件的内容及组件的信息、取得组件的原始数据时的传感器信息、格式信息、以及编码方法等。
如图27所示，结构信息包含整体结构信息和每个编码数据的结构信息。多个结构信息可以是相同的数据结构或盒，也可以是不同的数据结构或盒。
mp4盒中的type中，例如用“msuc”等4CC表示为结构信息盒。整体结构信息(data())表示编码方式不同的多个数据的结构。data()包含num_of_data、data_type以及data_configuration。
num_of_data表示构成文件的编码数据和RAW数据的数量。data_type表示每个数据的识别信息。即，data_type表示多个数据的类别。
具体而言，data_type表示数据是点群数据还是传感器信号(例如RAW数据)。另外，data_type也可以表示数据是否被编码。另外，data_type也可以表示在编码数据的编码中使用的编码方法(编码方式)。编码方法是指例如GPPC或VPPC等。另外，编码方法也可以是图22所示的Codec1～4等。另外，data_type也可以表示用于识别结构信息的信息。
另外，data_type也可以表示点群数据的原始数据的类别。原始数据的类别是指，在原始数据是传感器信号的情况下，生成了传感器信号的传感器的种类(例如是2D传感器还是3D传感器等)等。另外，data_type也可以包含表示传感器信号的数据格式(例如是1D信息、2D信息还是3D信息等)的信息。
例如，data_type＝0表示PCC Codec1，data_type＝1表示PCC Codec2，data_type＝2表示Video Codec3，data_type＝4表示3D轴传感器RAW数据。data_configuration表示每个数据的结构信息。
data_configuration()是每个编码数据的结构信息，包含num_of_component、component_type和component_id。
num_of_component表示编码数据内的组件的数量。component_type表示组件的类型。例如，在PCC编码的情况下，component_type表示组件是几何、是属性、还是元数据。
component_id表示用于将组件与其他元数据以及数据关联的唯一的识别符。
此外，编码的方法除了视频编解码器和PCC编解码器以外，也可以是音频、文本、应用或360度图像等中使用的编码方法。另外，数据也可以是网格或者CAD等加工后的数据。另外，编码的方法既可以是相同的编解码器，也可以是档案、等级或者工具不同的编码方法，即使是任意的编码方法，也能够统一地进行处理。
这样，通过在三维数据逆复用装置中将为了将解码后的点群数据在应用活用所需的数据复用到一个文件，能够使应用中处理的文件管理以及同步管理容易化。
图29是表示数据盒“mdat”的结构例的图。在作为数据盒的最小单位的样本中分别保存各个编码数据或RAW数据。
另外，文件中包含的每个编码数据的时间戳等同步信息基于共同的基准时刻等整体同步信息来设定。另外，同步信息是分别取得同步的信息。
另外，例如，也可以使多个编码数据的时间戳中的基准时刻、时间分辨率以及时间间隔一致，以多个编码数据使同步信息共同化。在该情况下，同步信息只要保存在与每个编码数据的同步信息共同的同步信息中的任意1个以上即可。在该情况下，元数据包括表示保存有共同时刻信息的位置的信息和表示同步信息共同的信息中的至少一个。
另外，在编码数据之间取得同步的情况下，三维数据复用装置也可以将取得同步的多个编码数据保存为一个样本。另一方面，在多个编码数据中，在基准时刻、时间分辨率以及时间间隔中的至少一个不一致的情况下，三维数据复用装置也可以另外导出表示编码数据间的时间戳的差分的差分信息，并将导出的差分信息保存于输出信号。另外，三维数据复用装置也可以将表示是否取得同步的标志保存于输出信号。
三维数据逆复用装置使用各个编码数据的同步信息和整体同步信息，将各个样本在元数据所示的时间戳所示的时刻进行处理，由此取得编码数据间的同步。
以下，对应用处理的例子进行说明。图30是表示应用处理的例子的流程图。当开始应用操作时，三维数据逆复用装置取得包含点群数据以及多个编码数据的ISOBMFF文件(S7301)。例如，三维数据逆复用装置既可以通过通信取得ISOBMFF文件，也可以从蓄积的数据中读入ISOBMFF文件。
接着，三维数据逆复用装置解析ISOBMFF文件中的整体结构信息，特定应用中使用的数据(S7302)。例如，三维数据逆复用装置取得处理中使用的数据，不取得处理中不使用的数据。
接着，三维数据逆复用装置提取应用中使用的1个以上的数据，解析该数据的结构信息(S7303)。
在数据的类型是编码数据的情况下(步骤S7304中的编码数据)，三维数据逆复用装置将ISOBMFF变换成编码流，并且提取时间戳(步骤S7305)。另外，三维数据逆复用装置例如也可以参照表示数据间是否同步的标志来判定数据间是否同步，如果不同步，则进行同步处理。
接着，三维数据逆复用装置按照时间戳及其他指示，按照规定的方法对数据进行解码，对解码后的数据进行处理(S7306)。
另一方面，在数据的类别是编码数据的情况下(S7304中RAW数据)，三维数据逆复用装置提取数据和时间戳(S7307)。另外，三维数据逆复用装置例如也可以参照表示数据间是否同步的标志来判定数据间是否同步，如果不同步，则进行同步处理。接着，三维数据逆复用装置按照时间戳及其他指示，对数据进行处理(S7308)。
例如，说明光束LiDAR、泛光式LiDAR、以及由相机取得的传感器信号分别以不同的编码方式进行编码以及复用的情况的例子。图31是表示光束LiDAR、泛光式LiDAR以及相机的传感器范围的例子的图。例如，光束LiDAR检测车辆(传感器)的周围的全部方向，泛光式LiDAR及相机检测车辆的一个方向(例如前方)的范围。
在将LiDAR点群统一处理的应用的情况下，三维数据逆复用装置参照整体结构信息，提取光束LiDAR和泛光式LiDAR的编码数据进行解码。另外，三维数据逆复用装置不提取相机影像。
三维数据逆复用装置按照LiDAR和泛光式LiDAR的时间戳，同时处理同一时间戳的时刻各自的编码数据。
例如，三维数据逆复用装置也可以通过提示装置提示处理后的数据，或者合成光束LiDAR和泛光式LiDAR的点群数据，或者进行渲染等处理。
另外，在数据间进行校准的应用的情况下，三维数据逆复用装置也可以提取传感器位置信息并在应用中使用。
例如，三维数据逆复用装置可以在应用中选择使用光束LiDAR信息还是使用泛光式LiDAR，并根据选择结果来切换处理。
这样，能够根据应用的处理而自适应地改变数据的取得以及编码处理，因此能够削减处理量以及消耗电力。
以下，对自动驾驶中的使用情况进行说明。图32是表示自动驾驶系统的结构例的图。该自动驾驶系统包括云服务器7350和车载装置或移动装置等的边缘7360。云服务器7350具备逆复用部7351、解码部7352A、7352B以及7355、点群数据合成部7353、大规模数据蓄积部7354、比较部7356以及编码部7357。边缘7360具备传感器7361A及7361B、点群数据生成部7362A及7362B、同步部7363、编码部7364A及7364B、复用部7365、更新数据蓄积部7366、逆复用部7367、解码部7368、滤波器7369、自身位置推定部7370、以及驾驶控制部7371。
在该系统中，边缘7360下载云服务器7350中蓄积的大规模点群地图数据即大规模数据。边缘7360通过将大规模数据和在边缘7360得到的传感器信息进行匹配，进行边缘7360(车辆或终端)的自身位置推定处理。另外，边缘7360将取得的传感器信息上载到云服务器7350，将大规模数据更新为最新的地图数据。
另外，在处理系统内的点群数据的各种应用中，处理编码方法不同的点群数据。
云服务器7350对大规模数据进行编码及复用。具体而言，编码部7357使用适于对大规模点群进行编码的第3编码方法进行编码。此外，编码部7357对编码数据进行复用。大规模数据蓄积部7354蓄积由编码部7357进行编码及复用后的数据。
边缘7360进行感测。具体而言，点群数据生成部7362A使用由传感器7361A取得的感测信息，生成第1点群数据(位置信息(几何)以及属性信息)。点群数据生成部7362B使用由传感器7361B取得的感测信息，生成第2点群数据(位置信息以及属性信息)。生成的第1点群数据以及第2点群数据用于自动驾驶的自身位置推定或者车辆控制或者地图更新。在各个处理中，也可以使用第1点群数据以及第2点群数据中的一部分信息。
边缘7360进行自身位置推定。具体而言，边缘7360从云服务器7350下载大规模数据。逆复用部7367通过对文件格式的大规模数据进行逆复用而取得编码数据。解码部7368通过对所取得的编码数据进行解码而取得作为大规模点群地图数据的大规模数据。
自身位置推定部7370通过将取得的大规模数据与由点群数据生成部7362A和7362B生成的第1点群数据以及第2点群数据进行匹配，来推定车辆的地图中的自身位置。另外，驾驶控制部7371将该匹配结果或自身位置推定结果用于驾驶控制。
另外，自身位置推定部7370以及驾驶控制部7371也可以提取大规模数据中的位置信息等特定的信息，并使用提取出的信息进行处理。另外，滤波器7369对第1点群数据以及第2点群数据进行修正或间隔剔除等处理。自身位置推定部7370以及驾驶控制部7371也可以使用进行了该处理后的第1点群数据以及第2点群数据。另外，自身位置推定部7370及驾驶控制部7371也可以使用由传感器7361A及7361B得到的传感器信号。
同步部7363进行多个传感器信号或多个点群数据的数据间的时间同步及位置修正。另外，同步部7363也可以基于通过自身位置推定处理而生成的、大规模数据与传感器数据的位置修正信息，以使传感器信号或者点群数据的位置信息与大规模数据一致的方式进行修正。
另外，同步和位置修正也可以不是边缘7360而是由云服务器7350进行。在该情况下，边缘7360也可以将同步信息以及位置信息复用并发送到云服务器7350。
边缘7360对传感器信号或点群数据进行编码及复用。具体而言，传感器信号或点群数据使用适于对各自的信号进行编码的第1编码方法或第2编码方法进行编码。例如，编码部7364A通过使用第1编码方法对第1点群数据进行编码来生成第1编码数据。编码部7364B使用第2编码方法对第2点群数据进行编码，由此生成第2编码数据。
复用部7365通过对第1编码数据、第2编码数据、以及同步信息等进行复用而生成复用信号。更新数据蓄积部7366蓄积所生成的复用信号。此外，更新数据蓄积部7366将复用信号上载到云服务器7350。
云服务器7350对点群数据进行合成。具体而言，逆复用部7351通过对在云服务器7350上载的复用信号进行逆复用而取得第1编码数据和第2编码数据。解码部7352A通过对第1编码数据进行解码而取得第1点群数据(或传感器信号)。解码部7352B通过对第2编码数据进行解码而取得第2点群数据(或传感器信号)。
点群数据合成部7353通过规定的方法合成第1点群数据以及第2点群数据。在复用信号中对同步信息以及位置修正信息进行复用的情况下，点群数据合成部7353也可以使用这些信息进行合成。
解码部7355对蓄积在大规模数据蓄积部7354中的大规模数据进行逆复用和解码。比较部7356将基于由边缘7360得到的传感器信号而生成的点群数据与云服务器7350所具有的大规模数据进行比较，判断需要更新的点群数据。比较部7356将大规模数据中判断为需要更新的点群数据更新为从边缘7360得到的点群数据。
编码部7357对更新后的大规模数据进行编码及复用，将得到的数据蓄积在大规模数据蓄积部7354中。
如上所述，根据所使用的用途或应用，存在处理信号不同、复用的信号或编码方法不同的情况。即使在这样的情况下，通过使用本实施方式对各种编码方式的数据进行复用，也能够进行灵活的解码以及应用处理。另外，即使在信号的编码方式不同的情况下，也能够通过逆复用、解码、数据变换、编码、复用的处理而变换适合的编码方式，由此构建各种各样的应用、系统，提供灵活的服务。
如上所述，本实施方式的三维数据复用装置进行图33所示的处理。三维数据复用装置通过对包含点群数据的多种数据进行复用而生成规定的文件结构(例如ISOBMFF)的输出信号(S7311)。接着，三维数据复用装置在文件结构中的元数据(控制信息)中保存表示输出信号中包含的多个数据各自的类别的信息(例如data_type)(S7312)。
由此，三维数据复用装置在文件结构中的元数据中保存表示输出信号中包含的多个数据各自的类别的信息。由此，在接收该输出信号的三维数据逆复用装置中，能够容易地判定各数据的类别。这样，该三维数据复用方法能够适当地对点群数据进行复用并发送。
例如，表示多个数据各自的类别的信息表示(1)应用于数据的编码方式、(2)数据的结构、(3)生成了数据的传感器的种类、或者(4)数据格式。
例如，文件结构中的元数据包含用于使输出信号中包含的多个数据的时刻同步的同步信息。由此，在接收该输出信号的三维数据逆复用装置中，能够使多个数据同步。
例如，同步信息表示多个数据间的时间戳的差分。由此，能够削减输出信号的数据量。
例如，三维数据复用装置具备处理器和存储器，处理器使用存储器进行上述的处理。
另外，本实施方式的三维数据逆复用装置进行图34所示的处理。三维数据逆复用装置根据包含点群数据的多种数据被复用后的规定的文件结构(例如ISOBMFF)的输出信号，取得文件结构中的元数据中保存的表示输出信号中包含的多个数据各自的类别的信息(例如data_type)(S7321)。三维数据逆复用装置使用表示多个数据各自的类别的信息，从输出信号取得多个数据(S7322)。例如，三维数据逆复用装置使用表示多个数据各自的类别的信息，从输出信号中选择性地取得所需的数据。由此，三维数据逆复用装置能够容易地判定各数据的类别。
例如，表示多个数据各自的类别的信息表示(1)应用于数据的编码方式、(2)数据的结构、(3)生成了数据的传感器的种类、或者(4)数据格式。
例如，文件结构中的元数据包含用于使输出信号中包含的多个数据的时刻同步的同步信息。例如，三维数据逆复用装置使用同步信息使多个数据同步。
例如，同步信息表示多个数据间的时间戳的差分。例如，同步信息包含表示多个数据中的任一个的时间戳的信息，三维数据逆复用装置通过对多个数据中的任一个时间戳加上由同步信息表示的差分，来复原多个数据中的其他数据的时间戳。由此，能够削减输出信号的数据量。
例如，三维数据逆复用装置具备处理器和存储器，处理器使用存储器进行上述处理。
以上，对有关本发明的实施方式的三维数据复用装置、三维数据逆复用装置、三维数据编码装置及三维数据解码装置等进行了说明，但本发明并不限定于该实施方式。
此外，有关上述实施方式的三维数据复用装置、三维数据逆复用装置、三维数据编码装置及三维数据解码装置等中包含的各处理部典型的是作为集成电路即LSI实现。它们既可以单独地形成1个芯片，也可以包含一部分或全部而形成1个芯片。
此外，集成电路化并不限于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA(Field Programmable Gate Array现场可编程门阵列)、或能够重构LSI内部的电路单元的连接或设定的可重构处理器。
此外，在上述各实施方式中，各构成要素也可以由专用的硬件构成，或通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过由CPU或处理器等程序执行部读出被记录在硬盘或半导体存储器等记录介质中的软件程序并执行来实现。
此外，本发明也可以作为由三维数据复用装置、三维数据逆复用装置、三维数据编码装置及三维数据解码装置等执行的三维数据复用方法、三维数据逆复用方法、三维数据编码方法或三维数据解码方法等实现。
此外，框图中的功能块的分割是一例，也可以将多个功能块作为一个功能块实现，或将一个功能块分割为多个，或将一部分功能转移到其他的功能块。此外，也可以是单一的硬件或软件将具有类似的功能的多个功能块的功能并行或分时地处理。
此外，流程图中的各步骤的执行顺序是为了具体地说明本发明而例示的，也可以是上述以外的顺序。此外，也可以将上述步骤的一部分与其他步骤同时(并行)执行。
以上，基于实施方式对有关一个或多个方式的三维数据复用装置、三维数据逆复用装置、三维数据编码装置及三维数据解码装置等进行了说明，但本发明并不限定于该实施方式。只要不脱离本发明的主旨，对本实施方式施以本领域技术人员想到的各种变形的形态、或将不同实施方式的构成要素组合而构建的形态也可以包含在一个或多个方式的范围内。
产业上的可利用性
本发明能够应用于三维数据复用装置、三维数据逆复用装置、三维数据编码装置及三维数据解码装置。
附图标记说明
4601 三维数据编码系统
4602 三维数据解码系统
4603 传感器终端
4604 外部连接部
4611 点群数据生成系统
4612 提示部
4613 编码部
4614 复用部
4615 输入输出部
4616 控制部
4617 传感器信息取得部
4618 点群数据生成部
4621 传感器信息取得部
4622 输入输出部
4623 逆复用部
4624 解码部
4625 提示部
4626 用户接口
4627 控制部
4630 第1编码部
4631 位置信息编码部
4632 属性信息编码部
4633 附加信息编码部
4634 复用部
4640第1解码部
4641 逆复用部
4642 位置信息解码部
4643 属性信息解码部
4644 附加信息解码部
4650第2编码部
4651 附加信息生成部
4652 位置图像生成部
4653 属性图像生成部
4654 映像编码部
4655 附加信息编码部
4656 复用部
4660第2解码部
4661 逆复用部
4662 映像解码部
4663 附加信息解码部
4664 位置信息生成部
4665 属性信息生成部
7301、7301A、7301B、7301C 感测设备
7302、7302A、7302B、7302C 传感器信息输入部
7303、7303A、7303C 点群数据生成部
7304A、7304B 感测部
7305 合并部
7310 第1设备
7311、7321 感测部
7312、7322 输出I/F
7320 第2设备
7323 输入I/F
7324 处理部
7325 点群数据生成部
7326 编码部
7331A、7331B、7331C 感测部
7332A、7332B、7332C 传感器信息输入部
7333A、7333B 点群数据生成部
7334A、7334B 编码部
7335 同步部
7336 复用部
7341A、7341B、7341C 感测部
7342A、7342B、7342C 输入输出部
7343 点群数据生成部
7344A、7344B 编码部
7345 同步部
7346 复用部
7350 云服务器
7351 逆复用部
7352A、7352B 解码部
7353 点群数据合成部
7354 大规模数据蓄积部
7355 解码部
7356 比较部
7357 编码部
7360 边缘
7361A、7361B 传感器
7362A、7362B 点群数据生成部
7363 同步部
7364A、7364B 编码部
7365 复用部
7366 更新数据蓄积部
7367 逆复用部
7368 解码部
7369 滤波器
7370 自身位置推定部
7371 运转控制部

Claims (10)

1.一种三维数据复用方法，其中，
通过对包含点群数据的多种数据进行复用，生成规定的文件结构的输出信号，
在所述文件结构中的元数据中保存表示所述输出信号中包含的多个数据各自的类别的信息。
2.根据权利要求1所述的三维数据复用方法，其中，
所述信息表示(1)应用于数据的编码方式、(2)数据的结构、(3)生成了数据的传感器的种类、或者(4)数据格式。
3.根据权利要求1或2所述的三维数据复用方法，其中，
所述元数据包含同步信息，所述同步信息用于使所述输出信号中包含的所述多个数据的时刻同步。
4.根据权利要求3所述的三维数据复用方法，其中，
所述同步信息表示所述多个数据间的时间戳的差分。
5.一种三维数据逆复用方法，其中，
根据复用了包含点群数据的多种数据的规定的文件结构的输出信号，取得在所述文件结构中的元数据中保存的、表示所述输出信号中包含的多个数据各自的类别的信息，
使用所述信息从所述输出信号取得所述多个数据。
6.根据权利要求5所述的三维数据逆复用方法，其中，
所述信息表示(1)应用于数据的编码方式、(2)数据的结构、(3)生成了数据的传感器的种类、或者(4)数据格式。
7.根据权利要求5或6所述的三维数据逆复用方法，其中，
所述元数据包含同步信息，所述同步信息用于使所述输出信号中包含的所述多个数据的时刻同步。
8.根据权利要求7所述的三维数据逆复用方法，其中，
所述同步信息表示所述多个数据间的时间戳的差分。
9.一种三维数据复用装置，其中，具备：
处理器；以及
存储器，
所述处理器使用所述存储器，
通过对包含点群数据的多种数据进行复用，生成规定的文件结构的输出信号，
在所述文件结构中的元数据中保存表示所述输出信号中包含的多个数据各自的类别的信息。
10.一种三维数据逆复用装置，其中，具备：
处理器；以及
存储器，
所述处理器使用所述存储器，
根据复用了包含点群数据的多种数据的规定的文件结构的输出信号，取得在所述文件结构中的元数据中保存的、表示所述输出信号中包含的多个数据各自的类别的信息，
使用所述信息从所述输出信号取得所述多个数据。
CN202080012977.9A 2019-02-12 2020-02-12 三维数据复用方法、三维数据逆复用方法、三维数据复用装置及三维数据逆复用装置 Pending CN113396595A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962804453P 2019-02-12 2019-02-12
US62/804,453 2019-02-12
PCT/JP2020/005363 WO2020166612A1 (ja) 2019-02-12 2020-02-12 三次元データ多重化方法、三次元データ逆多重化方法、三次元データ多重化装置、及び三次元データ逆多重化装置

Publications (1)

Publication Number Publication Date
CN113396595A true CN113396595A (zh) 2021-09-14

Family

ID=72043853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080012977.9A Pending CN113396595A (zh) 2019-02-12 2020-02-12 三维数据复用方法、三维数据逆复用方法、三维数据复用装置及三维数据逆复用装置

Country Status (4)

Country Link
US (1) US20210358175A1 (zh)
JP (1) JPWO2020166612A1 (zh)
CN (1) CN113396595A (zh)
WO (1) WO2020166612A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116248642A (zh) 2020-10-14 2023-06-09 腾讯科技（深圳）有限公司 媒体文件的封装方法、媒体文件的解封装方法及相关设备
WO2023194762A1 (ja) * 2022-04-08 2023-10-12 日産自動車株式会社 情報処理方法及び情報処理装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4524582B2 (ja) * 2004-06-11 2010-08-18 ソニー株式会社 データ処理装置およびデータ処理方法、プログラムおよびプログラム記録媒体、並びにデータ記録媒体
US10992185B2 (en) * 2012-07-06 2021-04-27 Energous Corporation Systems and methods of using electromagnetic waves to wirelessly deliver power to game controllers
JP2015173312A (ja) * 2014-03-11 2015-10-01 ソニー株式会社 画像符号化装置および方法、並びに画像復号装置および方法
US9996976B2 (en) * 2014-05-05 2018-06-12 Avigilon Fortress Corporation System and method for real-time overlay of map features onto a video feed
CN106973569A (zh) * 2014-05-13 2017-07-21 Pcp虚拟现实股份有限公司 生成和回放虚拟现实多媒体的方法、系统和装置
EP3021257A1 (en) * 2014-11-14 2016-05-18 Soundisplay Limited A sensor utilising overlapping signals and method thereof
EP3078935A1 (en) * 2015-04-10 2016-10-12 The European Atomic Energy Community (EURATOM), represented by the European Commission Method and device for real-time mapping and localization
EP3376760A4 (en) * 2015-11-11 2019-04-03 Sony Corporation IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
US10535161B2 (en) * 2017-11-09 2020-01-14 Samsung Electronics Co., Ltd. Point cloud compression using non-orthogonal projection

Also Published As

Publication number Publication date
US20210358175A1 (en) 2021-11-18
WO2020166612A1 (ja) 2020-08-20
JPWO2020166612A1 (ja) 2021-12-16

Similar Documents

Publication Publication Date Title
EP3883246A1 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
EP3866115B1 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US20240107064A1 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US11756235B2 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US11750840B2 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US20230099585A1 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US11750844B2 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US11936919B2 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US20210358175A1 (en) Three-dimensional data multiplexing method, three-dimensional data demultiplexing method, three-dimensional data multiplexing device, and three-dimensional data demultiplexing device
US20220046280A1 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US20240040149A1 (en) Three-dimensional data storage method, three-dimensional data acquisition method, three-dimensional data storage device, and three-dimensional data acquisition device
US20210112111A1 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US20230030392A1 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US20230154056A1 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination