CN113785590A

CN113785590A - 三维数据编码方法、三维数据解码方法、三维数据编码装置及三维数据解码装置

Info

Publication number: CN113785590A
Application number: CN202080032188.1A
Authority: CN
Inventors: 井口贺敬; 杉尾敏康
Original assignee: Panasonic Intellectual Property Corp of America
Current assignee: Panasonic Intellectual Property Corp of America
Priority date: 2019-05-10
Filing date: 2020-05-08
Publication date: 2021-12-10
Also published as: WO2020230710A1; JP7560451B2; JPWO2020230710A1; US20220046280A1

Abstract

三维数据编码方法通过对点群数据进行编码来生成编码数据(S8641)，生成包含编码数据的比特流(S8642)，比特流包含表示与点群数据对应的传感器的第1信息。例如，第1信息可以包含第2信息，该第2信息按点群数据的多个三维点的每一个三维点生成且表示与对应的三维点对应的传感器。例如，点群数据包含多个三维点各自的位置信息和1个以上的属性信息，第2信息也可以作为1个以上的属性信息之一包含在编码数据中。

Description

三维数据编码方法、三维数据解码方法、三维数据编码装置及三维数据解码装置

技术领域

本发明涉及三维数据编码方法、三维数据解码方法、三维数据编码装置及三维数据解码装置。

背景技术

在用于汽车或机器人自主地进行工作的计算机视觉、地图信息、监控、基础设施检查、或影像分发等较大的领域中，今后将会普及灵活运用了三维数据的装置或服务。三维数据通过测距仪等距离传感器、立体摄影机、或多个单眼相机的组合等各种方法来取得。

作为三维数据的表现方法之一，有被称作点云的表现方法，该方法通过三维空间内的点群来表现三维构造的形状。在点云中保存点群的位置和颜色。虽然预想点云作为三维数据的表现方法将成为主流，但是点群的数据量非常大。因此，在三维数据的蓄积或传输中，与二维的运动图像(作为一例，有以MPEG进行标准化后的MPEG－4AVC或HEVC等)同样，需要通过编码来进行数据量的压缩。

此外，关于点云的压缩，有一部分由进行点云关联的处理的公开的库(PointCloud Library：点云库)等支持。

此外，已知有利用三维的地图数据，检索位于车辆周边的施设并进行显示的技术(例如，参照专利文献1)。

现有技术文献

专利文献

专利文献1：国际公开第2014/020663号

发明内容

发明要解决的课题

对于这样的点群(点云)数据，希望在接收点群数据的三维数据解码装置中，能够根据用途适当地提取点群数据。

本发明的目的是提供一种能够生成能够适当地提取点群数据的比特流的三维数据编码方法或三维数据编码装置、或者对该比特流进行解码的三维数据解码方法或三维数据解码装置。

用来解决课题的手段

本公开的一个方式的三维数据编码方法，通过对点群数据进行编码来生成编码数据，生成包含所述编码数据的比特流，所述比特流包含表示与所述点群数据对应的传感器的第1信息。

本公开的一个方式的三维数据解码方法，通过对包含由于点群数据被编码而生成的编码数据、且包含表示与所述点群数据对应的传感器的第1信息的比特流进行解码，来取得所述第1信息和所述点群数据。

发明效果

本发明能够提供一种能够生成能够适当地提取点群数据的比特流的三维数据三维数据编码方法或三维数据编码装置、或者对该比特流进行解码的三维数据解码方法或三维数据解码装置。

附图说明

图1是表示有关实施方式的三维数据编解码系统的结构的图。

图2是表示有关实施方式的点群数据的结构例的图。

图3是表示有关实施方式的记述有点群数据信息的数据文件的结构例的图。

图4是表示有关实施方式的点群数据的种类的图。

图5是表示有关实施方式的第1编码部的结构的图。

图6是有关实施方式的第1编码部的框图。

图7是表示有关实施方式的第1解码部的结构的图。

图8是有关实施方式的第1解码部的框图。

图9是表示有关实施方式的第2编码部的结构的图。

图10是有关实施方式的第2编码部的框图。

图11是表示有关实施方式的第2解码部的结构的图。

图12是有关实施方式的第2解码部的框图。

图13是表示有关实施方式的PCC编码数据的协议栈的图。

图14是表示有关实施方式的点群数据生成装置的结构例的图。

图15是表示有关实施方式的点群数据生成装置的结构例的图。

图16是表示有关实施方式的点群数据生成装置的结构例的图。

图17是表示有关实施方式的点群数据编码系统的结构例的图。

图18是表示有关实施方式的三维数据复用装置的结构例的图。

图19是表示有关实施方式的三维数据复用装置的具体例的图。

图20是表示有关实施方式的各种传感器的传感器范围的图。

图21是表示有关实施方式的三维数据复用装置的另一结构例的图。

图22是表示有关实施方式的用于将多个信息保存于文件格式的协议的图。

图23是表示有关实施方式的输入数据的结构例的图。

图24是表示有关实施方式的NAL单元的结构例的图。

图25是表示有关实施方式的ISOBMFF的结构例的图。

图26是表示有关实施方式的moov和mdat的结构例的图。

图27是表示有关实施方式的结构信息的结构例的图。

图28是表示有关实施方式的结构信息的句法例的图。

图29是表示有关实施方式的mdat的结构例的图。

图30是表示有关实施方式的应用处理的例子的流程图。

图31是表示有关实施方式的各种传感器的传感器范围的图。

图32是表示有关实施方式的自动驾驶系统的结构例的图。

图33是有关实施方式的三维数据复用处理的流程图。

图34是有关实施方式的三维数据逆复用处理的流程图。

图35是表示有关实施方式2的三维数据编码装置的结构例的图。

图36是表示有关实施方式2的点群数据生成部的框图。

图37是表示有关实施方式2的三维点的信息的例子的图。

图38是表示有关实施方式2的三维点的信息的例子的图。

图39是表示有关实施方式2的三维点的信息的例子的图。

图40是用于说明有关实施方式2的合成处理的图。

图41是表示有关实施方式2的合成点群信息的例子的图。

图42是用于说明有关实施方式2的合成处理的图。

图43是用于说明有关实施方式2的合成处理的图。

图44是有关实施方式2的三维数据编码解码系统的框图。

图45是表示有关实施方式2的比特流的结构例的图。

图46是有关实施方式2的解码处理的流程图。

图47是有关实施方式2的提取处理的流程图。

图48是表示有关实施方式2的提取处理的例子的图。

图49是有关实施方式2的三维数据编码解码系统的框图。

图50是有关实施方式2的编码处理的流程图。

图51是用于说明有关实施方式2的分割处理的图。

图52是表示有关实施方式2的比特流的结构例的图。

图53是有关实施方式2的点群选择处理的流程图。

图54是表示有关实施方式2的点群选择处理的画面例的图。

图55是表示有关实施方式2的点群选择处理的画面例的图。

图56是表示有关实施方式2的点群选择处理的画面例的图。

图57是有关实施方式2的三维数据编码处理的流程图。

图58是有关实施方式2的三维数据解码处理的流程图。

具体实施方式

本公开的一个方式的三维数据编码方法通过对点群数据进行编码来生成编码数据，生成包含所述编码数据的比特流，所述比特流包含表示与所述点群数据对应的传感器的第1信息。

据此，三维数据解码装置能够提取用于第1信息的由所希望的传感器得到的点群数据。因此，该三维数据编码方法能够生成能够适当提取点群数据的比特流。

例如，也可以是，所述第1信息包含第2信息，所述第2信息按点群数据中包含的多个三维点的每一个三维点生成且表示与对应的三维点对应的传感器。

例如，也可以是，所述点群数据包含所述多个三维点各自的位置信息和1个以上的属性信息，所述第2信息作为所述1个以上的属性信息之一包含在所述编码数据中。

例如，也可以是，所述比特流包含所述多个三维点中共同的第3信息，所述第2信息是传感器的识别符，所述第3信息包含表示所述传感器的识别与所述传感器的对应关系的第4信息。

例如，也可以是，所述比特流包含所述多个三维点中共同的第3信息，所述第3信息表示每个所述传感器的三维点的数量。

例如，也可以是，所述点群数据包含所述多个三维点各自的位置信息和1个以上的属性信息，所述第1信息表示与所述1个以上的属性信息分别对应的传感器。

例如，也可以是，所述三维数据编码方法进一步通过将基于第1传感器的第1点群数据和基于第2传感器的第2点群数据合成来生成所述点群数据，在所述合成中，在所述第1点群数据和所述第2点群数据中包含具有相同位置信息的第1点的属性信息的情况下，生成基于所述第1点群数据中包含的所述第1点的属性信息和所述第2点群数据中包含的所述第1点的属性信息的属性信息作为合成后的属性信息，所述第1信息表示所述点群数据中包含的所述第1点的信息是基于所述第1传感器和所述第2传感器的信息。

例如，也可以是，在所述点群数据的编码中，将所述点群数据分割为基于第1传感器的第1点群数据和基于所述第2传感器的第2点群数据，通过对所述第1点群数据和所述第2点群数据进行编码来生成所述编码数据，所述比特流包含所述第1点群数据用的第1控制信息和所述第2点群数据用的第2控制信息，所述第1信息包含：(1)包含在所述第1控制信息中且表示与所述第1点群数据对应的传感器的信息；和(2)包含在所述第2控制信息中且表示与所述第2点群数据对应的传感器的信息。

例如，也可以是，在所述点群数据的编码中，将所述点群数据分割为基于第1传感器的第1点群数据和基于所述第2传感器的第2点群数据，通过对所述第1点群数据和所述第2点群数据进行编码来生成所述编码数据，所述比特流包含所述第1点群数据和所述第2点群数据中共同的控制信息，所述第1信息包含在所述控制信息中。

本公开的一个方式的三维数据解码方法通过对包含由于点群数据被编码而生成的编码数据、且包含表示与所述点群数据对应的传感器的第1信息的比特流进行解码，来取得所述第1信息和所述点群数据。

由此，该三维数据解码方法能够通过对能够适当地提取点群数据的比特流进行解码来取得点群数据。

例如，也可以是，所述点群数据通过将基于第1传感器的第1点群数据和基于第2传感器的第2点群数据合成而生成，在所述合成中，在所述第1点群数据和所述第2点群数据中包含具有相同位置信息的第1点的属性信息的情况下，生成基于所述第1点群数据中包含的所述第1点的属性信息和所述第2点群数据中包含的所述第1点的属性信息的属性信息作为合成后的属性信息，所述第1信息表示所述点群数据中包含的所述第1点的信息是基于所述第1传感器和所述第2传感器的信息。

例如，也可以是，所述编码数据是通过将所述点群数据分割为基于第1传感器的第1点群数据和基于所述第2传感器的第2点群数据，对所述第1点群数据和所述第2点群数据进行编码而生成的，所述比特流包含所述第1点群数据用的第1控制信息和所述第2点群数据用的第2控制信息，所述第1信息包含：(1)包含在所述第1控制信息中且表示与所述第1点群数据对应的传感器的信息；和(2)包含在所述第2控制信息中且表示与所述第2点群数据对应的传感器的信息。

例如，也可以是，所述编码数据是通过将所述点群数据分割为基于第1传感器的第1点群数据和基于所述第2传感器的第2点群数据，对所述第1点群数据和所述第2点群数据进行编码而生成的，所述比特流包含所述第1点群数据和所述第2点群数据中共同的控制信息，所述第1信息包含在所述控制信息中。

另外，本公开的一个方式的三维数据编码装置具备处理器和存储器，所述处理器使用所述存储器，通过对点群数据进行编码来生成编码数据，生成包含所述编码数据的比特流，所述比特流包含表示与所述点群数据对应的传感器的第1信息。

据此，三维数据解码装置能够提取用于第1信息的由所希望的传感器得到的点群数据。因此，该三维数据编码装置能够生成能够适当提取点群数据的比特流。

另外，本公开的一个方式的三维数据解码装置具备处理器和存储器，所述处理器使用所述存储器，通过对包含由于点群数据被编码而生成的编码数据、且包含表示与所述点群数据对应的传感器的第1信息的比特流进行解码，来取得所述第1信息和所述点群数据。

由此，该三维数据解码装置能够通过对能够适当地提取点群数据的比特流进行解码来取得点群数据。

另外，这些包含性或具体的技术方案也可以由系统、方法、集成电路、计算机程序或计算机可读取的CD－ROM等的记录介质实现，也可以由系统、方法、集成电路、计算机程序及记录介质的任意的组合来实现。

以下，参照附图对实施方式具体地进行说明。另外，以下说明的实施方式都表示本发明的一具体例。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例，不是限定本发明的意思。此外，关于以下的实施方式的构成要素中的、在独立技术方案中没有记载的构成要素，设为任意的构成要素进行说明。

(实施方式1)

首先，说明本实施方式的三维数据(点群数据)编解码系统的结构。图1是表示本实施方式的三维数据编解码系统的结构例的图。如图1所示，三维数据编解码系统包括三维数据编码系统4601、三维数据解码系统4602、传感器终端4603以及外部连接部4604。

三维数据编码系统4601通过对作为三维数据的点群数据进行编码来生成编码数据或复用数据。此外，三维数据编码系统4601可以是由单个装置实现的三维数据编码装置，也可以是由多个装置实现的系统。另外，三维数据编码装置也可以包含于三维数据编码系统4601中包含的多个处理部中的一部分。

三维数据编码系统4601包括点群数据生成系统4611、提示部4612、编码部4613、复用部4614、输入输出部4615、以及控制部4616。点群数据生成系统4611包括传感器信息取得部4617和点群数据生成部4618。

传感器信息取得部4617从传感器终端4603取得传感器信息，并将传感器信息输出到点群数据生成部4618。点群数据生成部4618根据传感器信息生成点群数据，并将点群数据输出到编码部4613。

提示部4612向用户提示传感器信息或点群数据。例如，提示部4612显示基于传感器信息或点群数据的信息或图像。

编码部4613对点群数据进行编码(压缩)，将得到的编码数据、在编码过程中得到的控制信息和其他附加信息输出到复用部4614。附加信息例如包含传感器信息。

复用部4614通过复用从编码部4613输入的编码数据、控制信息和附加信息来生成复用数据。复用数据的格式例如是用于蓄积的文件格式、或用于传输的包格式。

输入输出部4615(例如，通信部或接口)将复用数据向外部输出。或者，复用数据被蓄积于内部存储器等蓄积部。控制部4616(或应用执行部)控制各处理部。即，控制部4616进行编码及复用等控制。

此外，也可以将传感器信息向编码部4613或复用部4614输入。另外，输入输出部4615也可以将点群数据或编码数据直接向外部输出。

从三维数据编码系统4601输出的传输信号(复用数据)经由外部连接部4604输入到三维数据解码系统4602。

三维数据解码系统4602通过对编码数据或复用数据进行解码而生成作为三维数据的点群数据。此外，三维数据解码系统4602可以是由单一的装置实现的三维数据解码装置，也可以是由多个装置实现的系统。另外，三维数据解码装置也可以包含三维数据解码系统4602中包含的多个处理部中的一部分。

三维数据解码系统4602包括传感器信息取得部4621、输入输出部4622、逆复用部4623、解码部4624、提示部4625、用户接口4626、以及控制部4627。

传感器信息取得部4621从传感器终端4603取得传感器信息。

输入输出部4622取得传输信号，根据传输信号对复用数据(文件格式或者包)进行解码，并将复用数据输出到逆复用部4623。

逆复用部4623从复用数据中取得编码数据、控制信息以及附加信息，并将编码数据、控制信息以及附加信息输出到解码部4624。

解码部4624通过对编码数据进行解码而重构点群数据。

提示部4625将点群数据提示给用户。例如，提示部4625显示基于点群数据的信息或图像。用户接口4626取得基于用户的操作的指示。控制部4627(或应用执行部)控制各处理部。即，控制部4627进行逆复用、解码以及提示等的控制。

此外，输入输出部4622也可以从外部直接取得点群数据或编码数据。另外，提示部4625也可以取得传感器信息等附加信息，并提示基于附加信息的信息。另外，提示部4625也可以基于由用户接口4626取得的用户的指示来进行提示。

传感器终端4603生成由传感器取得的信息即传感器信息。传感器终端4603是搭载有传感器或相机的终端，例如有汽车等移动体、飞机等飞行物体、移动终端或相机等。

能够由传感器终端4603取得的传感器信息例如是(1)由LiDAR(激光雷达)、毫米波雷达或者红外线传感器得到的传感器终端4603与对象物的距离(位置信息)、颜色、或者对象物的反射率、(2)从多个单眼相机图像或者立体相机图像得到的相机与对象物的距离(位置信息)、颜色或者对象物的反射率等。另外，传感器信息也可以包含传感器的姿势、朝向、回转(角速度)、位置(GPS信息或者高度)、速度、加速度或者传感器信息的取得时刻等。另外，传感器信息也可以包含气温、气压、湿度、或者磁性等。

外部连接部4604通过集成电路(LSI或IC)、外部蓄积部、经由因特网的与云服务器的通信、或者广播等来实现。

接着，对点群数据进行说明。图2是表示点群数据的结构的图。图3是表示记述了点群数据的信息的数据文件的结构例的图。

点群数据包含多个点的数据。各点的数据包含位置信息(三维坐标)以及与该位置信息相对的属性信息。将聚集了多个这样的点的群称为点群。例如，点群表示对象物(对象)的三维形状。

有时也将三维坐标等位置信息(Position)称为几何形状(geometry)。另外，各点的数据也可以包含多个属性类别的属性信息(attribute)。属性类别例如是颜色或反射率等。

既可以将1个属性信息针对1个位置信息建立对应，也可以将具有多个不同的属性类别的属性信息针对1个位置信息建立对应。另外，也可以将多个相同的属性类别的属性信息针对1个位置信息建立对应。

图3所示的数据文件的结构例是位置信息和属性信息1对1对应的情况的例子，表示构成点群数据的N个点的位置信息和属性信息。

位置信息例如是x、y、z这3轴的信息。属性信息例如是RGB的颜色信息。作为代表性的数据文件，有ply文件等。

接着，对点群数据的种类进行说明。图4是表示点群数据的种类的图。如图4所示，点群数据包含静态对象和动态对象。

静态对象是任意时间(某个时刻)的三维点群数据。动态对象是随时间变化的三维点群数据。以下，将某时刻的三维点群数据称为PCC帧或者帧。

对象可以是如通常的影像数据那样区域被某种程度限制的点群，也可以是像地图信息那样区域未被限制的大规模点群。

另外，存在各种密度的点群数据，也可以存在稀疏的点群数据和密集的点群数据。

以下，对各处理部的详细情况进行说明。传感器信息通过LiDAR或者测距仪等距离传感器、立体相机或者多个单眼相机的组合等各种方法来取得。点群数据生成部4618基于由传感器信息取得部4617得到的传感器信息生成点群数据。点群数据生成部4618生成位置信息作为点群数据，对位置信息附加针对该位置信息的属性信息。

点群数据生成部4618也可以在生成位置信息或者附加属性信息时，对点群数据进行加工。例如，点群数据生成部4618也可以通过删除位置重复的点群来减少数据量。另外，点群数据生成部4618也可以对位置信息进行变换(位置转变、旋转或者标准化等)，也可以对属性信息进行渲染。

此外，在图1中，点群数据生成系统4611包含于三维数据编码系统4601，但也可以独立设置于三维数据编码系统4601的外部。

编码部4613基于预先规定的编码方法对点群数据进行编码，由此生成编码数据。编码方法大致存在以下2种。第1种是使用了位置信息的编码方法，以后将该编码方法记载为第1编码方法。第2种是使用了视频编解码器的编码方法，以后将该编码方法记载为第2编码方法。

解码部4624基于预先规定的编码方法对编码数据进行解码，由此对点群数据进行解码。

复用部4614通过使用现有的复用方式对编码数据进行复用，从而生成复用数据。所生成的复用数据被传输或蓄积。复用部4614除了PCC编码数据以外，还复用影像、声音、字幕、应用、文件等其他媒体、或者基准时刻信息。另外，复用部4614还可以对与传感器信息或者点群数据相关联的属性信息进行复用。

作为复用方式或文件格式，有ISOBMFF、作为ISOBMFF基础的传输方式的MPEG-DASH、MMT、MPEG-2TS Systems、RMP等。

逆复用部4623从复用数据中提取PCC编码数据、其他媒体以及时刻信息等。

输入输出部4615使用与广播或通信等传输介质或蓄积介质一致的方法传输复用数据。输入输出部4615可以经由因特网与其他设备进行通信，也可以与云服务器等蓄积部进行通信。

作为通信协议，使用http、ftp、TCP、UDP或者IP等。既可以使用PULL型的通信方式，也可以使用PUSH型的通信方式。

可以使用有线传输和无线传输中的任一种。作为有线传输，使用Ethernet(注册商标)、USB、RS-232C、HDMI(注册商标)或同轴电缆等。作为无线传输，使用由3GPP的IEEE规定的3G/4G/5G、无线LAN、Wi-Fi(注册商标)、Bluetooth(注册商标)或毫米波等。

此外，作为广播方式，例如使用DVB-T2、DVB-S2、DVB-C2、ATSC3.0或ISDB-S3等。

图5是表示进行第1编码方法的编码的编码部4613的例子即第1编码部4630的结构的图。图6是第1编码部4630的框图。第1编码部4630通过用第1编码方法对点群数据进行编码来生成编码数据(编码流)。该第1编码部4630包括位置信息编码部4631、属性信息编码部4632、附加信息编码部4633以及复用部4634。

第1编码部4630具有意识到三维结构来进行编码的特征。另外，第1编码部4630具有属性信息编码部4632使用从位置信息编码部4631得到的信息进行编码的特征。第1编码方法也被称为GPCC(Geometry based PCC)。

点群数据是PLY文件那样的PCC点群数据、或者根据传感器信息生成的PCC点群数据，包含位置信息(Position)、属性信息(Attribute)以及其他的附加信息(MetaData)。位置信息被输入到位置信息编码部4631，属性信息被输入到属性信息编码部4632，附加信息被输入到附加信息编码部4633。

位置信息编码部4631通过对位置信息进行编码，来生成作为编码数据的编码位置信息(Compressed Geometry)。例如，位置信息编码部4631使用八叉树等N叉树结构对位置信息进行编码。具体而言，在八叉树中，对象空间被分割为8个节点(子空间)，生成表示各节点中是否包含点群的8比特的信息(占用率代码)。另外，包含点群的节点进一步被分割为8个节点，生成表示在该8个节点的每一个中是否包含点群的8比特的信息。反复进行该处理，直到成为预先确定的阶层或节点所包含的点群的数量的阈值以下为止。

属性信息编码部4632通过使用由位置信息编码部4631生成的结构信息进行编码，来生成作为编码数据的编码属性信息(Compressed Attribute)。例如，属性信息编码部4632基于由位置信息编码部4631生成的八叉树结构，决定在处理对象的对象点(对象节点)的编码中参照的参照点(参照节点)。例如，属性信息编码部4632参照周边节点或相邻节点中的八叉树中的父节点与对象节点的父节点相同的节点。另外，参照关系的决定方法不限于此。

另外，属性信息的编码处理可以包括量化处理、预测处理和算术编码处理中的至少一个。在该情况下，参照是指在属性信息的预测值的计算中使用参照节点，或者在编码的参数的决定中使用参照节点的状态(例如，表示在参照节点中是否包含点群的占有信息)。例如，编码的参数是量化处理中的量化参数、或者算术编码中的上下文等。

附加信息编码部4633通过对附加信息中的可压缩的数据进行编码，来生成作为编码数据的编码附加信息(Compressed MetaData)。

复用部4634通过对编码位置信息、编码属性信息、编码附加信息以及其他附加信息进行复用，来生成作为编码数据的编码流(Compressed Stream)。所生成的编码流被输出到未图示的系统层的处理部。

接着，对作为进行第1编码方法的解码的解码部4624的例子的第1解码部4640进行说明。图7是表示第1解码部4640的结构的图。图8是第1解码部4640的框图。第1解码部4640通过以第1编码方法对以第1编码方法进行了编码的编码数据(编码流)进行解码，来生成点群数据。该第1解码部4640包括逆复用部4641、位置信息解码部4642、属性信息解码部4643以及附加信息解码部4644。

从未图示的系统层的处理部将作为编码数据的编码流(Compressed Stream)输入到第1解码部4640。

逆复用部4641从编码数据中分离编码位置信息(Compressed Geometry)、编码属性信息(Compressed Attribute)、编码附加信息(Compressed MetaData)以及其他附加信息。

位置信息解码部4642通过对编码位置信息进行解码来生成位置信息。例如，位置信息解码部4642根据由八叉树等N叉树结构表示的编码位置信息，复原用三维坐标表示的点群的位置信息。

属性信息解码部4643基于由位置信息解码部4642生成的结构信息，对编码属性信息进行解码。例如，属性信息解码部4643基于由位置信息解码部4642得到的八叉树结构，决定在处理对象的对象点(对象节点)的解码中参照的参照点(参照节点)。例如，属性信息解码部4643参照周边节点或相邻节点中的八叉树中的父节点与对象节点的父节点相同的节点。另外，参照关系的决定方法不限于此。

另外，属性信息的解码处理也可以包括逆量化处理、预测处理以及算术解码处理中的至少一个。在该情况下，参照是指在属性信息的预测值的计算中使用参照节点、或者在解码的参数的决定中使用参照节点的状态(例如，表示在参照节点中是否包含点群的占有信息)。例如，解码的参数是逆量化处理中的量化参数、或者算术解码中的上下文等。

附加信息解码部4644通过对编码附加信息进行解码来生成附加信息。另外，第1解码部4640在解码时使用位置信息以及属性信息的解码处理所需的附加信息，向外部输出应用所需的附加信息。

接着，对作为进行第2编码方法的编码的编码部4613的例子的第2编码部4650进行说明。图9是表示第2编码部4650的结构的图。图10是第2编码部4650的框图。

第2编码部4650通过以第2编码方法对点群数据进行编码来生成编码数据(编码流)。该第2编码部4650包括附加信息生成部4651、位置图像生成部4652、属性图像生成部4653、影像编码部4654、附加信息编码部4655以及复用部4656。

第2编码部4650具有如下特征：通过将三维结构投影于二维图像来生成位置图像以及属性图像，并使用现有的影像编码方式对所生成的位置图像以及属性图像进行编码。第2编码方法也被称为VPCC(video based PCC，基于视频的PCC)。

点群数据是PLY文件那样的PCC点群数据、或者根据传感器信息生成的PCC点群数据，包含位置信息(Position)、属性信息(Attribute)以及其他的附加信息(MetaData)。

附加信息生成部4651通过将三维结构投影到二维图像，来生成多个二维图像的映射信息。

位置图像生成部4652基于位置信息和由附加信息生成部4651生成的映射信息，生成位置图像(Geometry Image)。该位置图像例如是表示距离(Depth)作为像素值的距离图像。另外，该距离图像既可以是从1个视点观察多个点群的图像(在1个二维平面上投影了多个点群的图像)，也可以是从多个视点观察多个点群的多个图像，也可以是将这些多个图像合并而成的1个图像。

属性图像生成部4653基于属性信息和由附加信息生成部4651生成的映射信息，生成属性图像。该属性图像例如是表示属性信息(例如颜色(RGB))作为像素值的图像。另外，该图像可以是从1个视点观察多个点群的图像(在1个二维平面上投影了多个点群的图像)，也可以是从多个视点观察多个点群的多个图像，也可以是将这些多个图像合并而成的1个图像。

影像编码部4654通过使用影像编码方式对位置图像以及属性图像进行编码，从而生成作为编码数据的编码位置图像(Compressed Geometry Image)以及编码属性图像(Compressed Attribute Image)。此外，作为影像编码方式，可以使用公知的任意的编码方式。例如，影像编码方式是AVC或HEVC等。

附加信息编码部4655通过对点群数据中包含的附加信息以及映射信息等进行编码来生成编码附加信息(Compressed MetaData)。

复用部4656通过对编码位置图像、编码属性图像、编码附加信息以及其他附加信息进行复用，来生成作为编码数据的编码流(Compressed Stream)。所生成的编码流被输出到未图示的系统层的处理部。

接着，对作为进行第2编码方法的解码的解码部4624的例子的第2解码部4660进行说明。图11是表示第2解码部4660的结构的图。图12是第2解码部4660的框图。第2解码部4660通过以第2编码方法对以第2编码方法进行了编码的编码数据(编码流)进行解码，来生成点群数据。该第2解码部4660包括逆复用部4661、影像解码部4662、附加信息解码部4663、位置信息生成部4664以及属性信息生成部4665。

从未图示的系统层的处理部将作为编码数据的编码流(Compressed Stream)输入到第2解码部4660。

逆复用部4661从编码数据中分离编码位置图像(Compressed Geometry Image)、编码属性图像(Compressed Attribute Image)、编码附加信息(Compressed MetaData)以及其他附加信息。

影像解码部4662通过使用影像编码方式对编码位置图像以及编码属性图像进行解码，来生成位置图像以及属性图像。此外，作为影像编码方式，可以使用公知的任意的编码方式。例如，影像编码方式是AVC或HEVC等。

附加信息解码部4663通过对编码附加信息进行解码，来生成包含映射信息等的附加信息。

位置信息生成部4664使用位置图像和映射信息生成位置信息。属性信息生成部4665使用属性图像和映射信息生成属性信息。

第2解码部4660在解码时使用解码所需的附加信息，向外部输出应用所需的附加信息。

以下，对PCC编码方式进行说明。图13是表示与PCC编码数据有关的协议栈的图。图13表示在PCC编码数据中复用、传输或蓄积影像(例如HEVC)或声音等其他媒体的数据、或者传感器信息的例子。

复用方式及文件格式具有用于复用、传输或蓄积各种编码数据的功能。为了传输或蓄积编码数据，将编码数据变换为复用方式的格式。例如，在HEVC中，规定了将编码数据保存在被称为NAL单元的数据结构中，将NAL单元保存到ISOBMFF中的技术。

在PCC中也设想同样的结构。在传感器信息与点群数据一起被PCC编码的情况下，在使用其他编码方法进行编码的情况下，有时不被编码而直接保存在复用层中，也能够将它们组合。具体而言，其他的编码方法是其他的三维编码方法、或者将点群数据变换为二维或一维数据的对数据进行编码的编码方法。

以下，对根据传感器信号(也称为传感器信息)生成点群数据的结构的例子进行说明。图14～图16分别是表示根据传感器信号生成点群数据的点群数据生成装置的结构例的图。

图14所示的点群数据生成装置根据从1个感测设备7301得到的传感器信号生成点群数据。图14所示的点群数据生成装置具备感测设备7301、传感器信息输入部7302、以及点群数据生成部7303。传感器信息输入部7302取得由感测设备7301得到的传感器信号。点群数据生成部7303根据传感器信息输入部7302取得的传感器信号生成点群数据。生成的点群数据例如将后级的点群数据输出到编码部(未图示)。

如图15所示，也可以基于从2个以上的感测设备得到的传感器信号来生成点群数据。图15所示的点群数据生成装置具备感测设备7301A及7301B、传感器信息输入部7302A及7302B、以及点群数据生成部7303A。传感器信息输入部7302A取得由感测设备7301A得到的第1传感器信号。传感器信息输入部7302B取得由感测设备7301B得到的第2传感器信号。点群数据生成部7303A根据传感器信息输入部7302A及7302B取得的2个传感器信号生成点群数据。生成的点群数据例如将后级的点群数据输出到编码部(未图示)。

图16所示的点群数据生成装置具备感测设备7301C、传感器信息输入部7302C、以及点群数据生成部7303C。感测设备7301C生成将使用2个以上的感测方法感测到的2个信息以规定的方法合并后的传感器信号。感测设备7301C具备感测部7304A和7304B和合并部7305。

感测部7304A通过第1感测方法生成第1传感器信号。感测部7304B通过第2感测方法生成第2传感器信号。合并部7305合并第1传感器信号和第2传感器信号，并将所生成的传感器信号输出到传感器信息输入部7302C。

此外，合并部7305也可以基于规定的条件选择第1传感器信号和第2传感器信号中的一方，并输出所选择的传感器信号。另外，合并部7305在合并2个传感器信号的情况下，也可以使合并中使用的权重系数变化。

例如，合并部7305可以基于取得的传感器信号进行，也可以基于其他的传感器信号进行选择哪个传感器信号的判定。

例如，第1感测方法与第2感测方法既可以传感器的参数不同，也可以感测的频率或者机构不同。另外，传感器信号也可以包含表示感测方法或者感测时的参数等的信息。

在切换多个感测方法的情况下，合并部7305也可以将表示使用了哪个感测方法的信息、或者切换的判定基准的数据包含在传感器信号中。在合并传感器信号的情况下，合并部7305可以将用于识别合并的感测方法的信息、合并的判定基准的数据或合并系数包含在传感器信号中。

另外，感测设备7301C也可以输出多个传感器信号。另外，感测设备7301C也可以输出第1传感器信号的绝对值和第1传感器信号与第2传感器信号的差分值作为多个传感器信号。

另外，传感器信号也可以包含表示第1感测方法与第2感测方法的关系的信息。例如，传感器信号可以包含第1感测方法和第2感测方法的基准位置信息的绝对值或相对值，也可以包含表示传感器信号的取得时间、基准时刻信息或传感器的角度的信息。通过在传感器信号中包含这些信息，在后级的处理中能够基于这些信息进行2个传感器信号的关系的修正或合成。

传感器信息输入部7302C取得由感测设备7301C得到的传感器信号。点群数据生成部7303C根据传感器信息输入部7302C取得的传感器信号生成点群数据。生成的点群数据例如将后级的点群数据输出到编码部(未图示)。

这样，点群数据生成装置基于上述各种传感器信号中的任一个或2个以上的传感器信号来生成点群数据。另外，点群数据生成装置也可以在点群数据的生成过程中修正点的位置信息或者属性信息。

另外，点群数据生成装置可以是图14～图16中的任一个所示的结构，也可以是将它们中的多个组合的结构。另外，点群数据生成装置可以使用固定的方法，例如，也可以根据感测的目的或使用情况(use case)，使使用的方法自适应地变化。

接着，说明本实施方式的点群数据编码系统的结构例。图17是表示本实施方式的点群数据编码系统的结构例的图。图17所示的点群数据编码系统包括第1设备7310和第2设备7320。

第1设备7310包括感测部7311和输出I/F(接口)7312。第2设备7320包括感测部7321、输出I/F7322、输入I/F7323和处理部7324。处理部7324包括点群数据生成部7325和编码部7326。

感测部7311或7321可以包含在与由CPU等构成的处理部7324相同的硬件或设备中，也可以包含在不同的硬件或设备中。

感测部7321包含在与处理部7324相同的设备(第2设备7320)中。在该情况下，感测部7321的输出信号(称为RAW数据)直接输入到点群数据生成部7325。

感测部7311包含在与处理部7324不同的设备(第1设备7310)中。在该情况下，从感测部7311输出的RAW数据在输出I/F7312中被变换为输入输出格式(外部输出格式)，格式化后的信号被输入到第2设备7320。第2设备7320所包含的输入I/F7323将格式化后的信号变换为RAW数据，并将所得到的RAW数据输出到点群数据生成部7325。输出I/F7312及输入I/F7323例如具有图1所示的复用部4614及输入输出部4615的功能。

另外，也可以将来自与处理部7324相同的设备中包含的感测部7321的输出信号(RAW数据)用输出I/F7322变换为输入输出格式，将在输入I/F7323中格式化后的信号变换为RAW数据，将得到的RAW数据输入到点群数据生成部7325。

另外，在输入多个传感器信号的情况下，例如在从其他设备输入的传感器信号和从相同设备输入的传感器信号混合存在的情况下，也可以将这些传感器信号变换为相同的格式。另外，在变换时，也可以对各个信号赋予能够特定信号的识别符。例如，在使用UDP(User Datagram Protocol：用户数据报协议)进行发送的情况下，各信号也可以由IP(Internet Protocol：因特网协议)或者UDP的发送源地址或者发送源端口编号识别。由此，能够统一向点群数据生成部7325输入的格式，因此信号的控制变得容易。

点群数据生成部7325使用输入的RAW数据生成点群数据。编码部7326对生成的点群数据进行编码。

接着，说明本实施方式的三维数据复用装置(三维数据复用系统)的结构例。图18是表示本实施方式的三维数据复用装置的结构例的图。三维数据复用装置通过对各种传感器信号进行编码及复用而生成输出信号，并蓄积或传输所生成的输出信号。

如图18所示，三维数据复用装置具备感测部7331A、7331B以及7331C、传感器信息输入部7332A、7332B以及7332C、点群数据生成部7333A和7333B、编码部7334A和7334B、同步部7335以及复用部7336。在此，表示使用3个感测部的例子，但感测部的数量并不限定于此。另外，关于从各感测部到传感器信号的处理方法，也能够使用下述的处理方法的任意组合。

传感器信息输入部7332A取得通过感测部7331A感测而生成的第1传感器信号。传感器信息输入部7332B取得通过感测部7331B感测而生成的第2传感器信号。传感器信息输入部7332C取得通过感测部7331C感测而生成的第3传感器信号。

点群数据生成部7333A根据第1传感器信号生成第1点群数据。点群数据生成部7333B根据第2传感器信号生成第2点群数据。此时，根据在感测部7331A和感测部7331B中使用的感测方法的不同(例如，方向、范围、能够取得的属性、频率、分辨率等、方法、或者机构)，有时生成的点群数据中的点的数量、点的范围、属性信息不同。

编码部7334A通过对第1点群数据进行编码来生成第1编码数据。编码部7334B通过对第2点群数据进行编码来生成第2编码数据。例如，编码部7334A和编码部7334B应用相互不同的编码方法。例如，也可以编码部7334A使用第1编码方式，编码部7334B使用与第1编码方式不同的第2编码方式。此外，也可以编码部7334A和编码部7334B使用相同的编码方式。

编码部7334A和7334B也可以使用熵编码等对点群数据中的点的位置信息或者属性信息进行压缩。另外，编码部7334A和7334B也可以将传感器信号、传感器的位置信息或角度信息、或时刻信息等作为元数据保存。

编码部7334A和7334B使用适合于点群数据的编码方式。例如，第1编码方式是能够在地图信息或静止内容中期待高的编码率的编码方式，第2编码方式是能够在AR或VR那样的内容中期待高的编码率的编码方式。在该情况下，编码部7334A和7334B可以使用适合于内容的编码方法。

或者，例如，第1编码方式是能够对基于由BEAM LiDAR(光束激光雷达，下称光束LiDAR)那样的感测部感测到的信息的点群期待高的编码率的编码方式，第2编码方式是能够对基于由FLASH LiDAR(泛光式激光雷达，下称泛光式LiDAR)那样的感测部感测到的信息的点群期待高的编码率的编码方式。在该情况下，编码部7334A和7334B也可以使用适合于感测部的编码方式。

此外，编码部7334A和7334B也可以不变更编码方式，而在同一编码方式中使用适合于内容或感测部的编码工具或与编码相关的参数。

所生成的第1编码数据和第2编码数据被输入到复用部7336。例如，通过感测部7331C感测到的第3传感器信号是不需要编码的数据。在该情况下，不进行点群数据的生成以及编码，将第3传感器信号直接输入到复用部7336。另外，也可以不以低延迟的传输为目的而进行编码。

同步部7335具有用于使多个感测部同步的功能。例如，同步部7335使用感测的时刻信息、时间戳信息和角度信息作为与同步相关的信息。与这些同步相关的信息也可以作为共同的信息即同步信号而被复用为输出信号。或者，与这些同步相关的信息也可以包含在各传感器信号中。

复用部7336通过对1个以上的编码数据、元数据、传感器信号的RAW数据以及同步信号进行复用而生成输出信号。另外，复用部7336将用于识别各个数据的信息以及表示各数据的对应关系的信息保存于输出信号。

图19是表示三维数据复用装置的具体例的图。如图19所示，使用光束LiDAR作为感测部7331A，使用泛光式LiDAR作为感测部7331B。根据LiDAR的特性，点群的范围及距离、以及析像度等不同。图20是表示光束LiDAR及泛光式LiDAR的传感器范围的例子的图。例如，光束LiDAR检测车辆(传感器)的周围的全部方向，泛光式LiDAR检测车辆的一个方向(例如前方)的范围。

点群数据生成部7333A基于从光束LiDAR取得的针对光束照射角的距离信息以及反射率信息，生成第1点群数据。点群数据生成部7333B基于从泛光式LiDAR得到的二维距离信息和反射率，生成第2点群数据。此外，点群数据生成部7333A和7333B还可以并用由相机取得的二维的颜色信息等，生成具有颜色信息和反射率双方的点群数据。

另外，作为感测部7331C，使用三轴陀螺仪传感器、三轴加速度传感器或GPS等位置信息传感器即车载传感器。这些传感器信息是表示车整体的状态的传感器信息，也可以称为与第1传感器信号以及第2传感器信号相关联的共同的信息。这些共同的传感器信息可以被编码而被复用，也可以不被编码而被复用。另外，这些信息也可以作为与点群数据共同的附加信息被保存在第1传感器信号、第2传感器信号中并被编码。或者，共同的传感器信息也可以保存在第1传感器信号和第2传感器信号中的一方的传感器信号中。在该情况下，表示共同的传感器信息被保存在哪个传感器信号中的信息也可以表示在例如其他的传感器信号中或者同步信号中。

另外，作为与取得传感器的时刻相关的信息，例如基于NTP(Network TimeProtocol：网络时间协议)或PTP(Precision Time Protocol：精确时间协议)等基准时刻信息的时间戳被赋予基于光束LiDAR的第1点群数据和基于泛光式LiDAR的第2点群数据。各个传感器的时间戳与共同的基准时刻同步，通过编码部7334A和7334B进行编码。

另外，表示共同的基准时刻的基准时刻信息也可以作为同步信号而被复用。基准时刻信息也可以不被复用。三维数据逆复用装置(三维数据解码装置)从多个传感器信号的编码数据中取得各自的时间戳。由于时间戳与共同的基准时刻同步，因此三维数据逆复用装置通过使多个传感器信号的解码数据基于各自的时间戳进行动作，能够取得多个传感器间的同步。

另外，也可以按每个光束LiDAR和泛光式LiDAR分别设定对应的时刻信息。另外，也可以按每个光束LiDAR和泛光式LiDAR分别设置三轴传感器。在该情况下，作为各自的NTP，使用因特网时刻等共同的时刻。另外，各个三轴传感器被预先校准，使用预先同步的多个三轴传感器。

图21是表示三维数据复用装置的另一结构例的图。如图21所示，三维数据复用装置具备感测部7341A、7341B和7341C、输入输出部7342A、7342B和7342C、点群数据生成部7343、编码部7344A和7344B、同步部7345以及复用部7346。

输入输出部7342A取得通过感测部7341A感测而生成的第1传感器信号。输入输出部7342B取得通过感测部7341B感测而生成的第2传感器信号。输入输出部7342C取得通过感测部7341C感测而生成的第3传感器信号。此外，输入输出部7342A、7342B和7342C也可以具有蓄积所取得的传感器信号的存储器。

点群数据生成部7343根据第1传感器信号生成第1点群数据。编码部7344A通过对第1点群数据进行编码而生成第1编码数据。编码部7344B通过对第2传感器信息进行编码而生成第2编码数据。

同步部7345具有用于使多个感测部同步的功能。复用部7346通过对1个以上的编码数据、元数据、传感器信号的RAW数据以及同步信号进行复用而生成输出信号。

这样，在图21所示的结构中，不从通过感测部7341B得到的传感器信号(RAW数据)生成点群数据，传感器信号在RAW数据的状态下直接被编码。例如，在第2传感器信号是由泛光式LiDAR或相机等的CMOS传感器得到的二维信息的情况下，编码部7344B使用AVC或HEVC等运动图像编解码器来对第2传感器信号进行编码。由此，能够实现编码效率高的编码。另外，通过活用现有编解码器，能够构建成本低廉的系统。

这样，三维数据复用装置并用根据感测部对点群数据进行变换后进行编码的机构、和不变换为点群数据而在RAW数据的状态下直接进行编码的机构，对各个编码数据进行复用。

接着，说明通过复用生成规定的文件格式的输出信号的方法的例子。以下，说明规定的文件格式是ISOBMFF(ISO based media file format：基于ISO的媒体文件格式)的情况的例子。另外，文件格式不限于ISOBMFF，也可以使用其他文件格式。

ISOBMFF是ISO/IEC14496-12中规定的文件格式标准。ISOBMFF规定了能够复用并保存视频、音频和文本等各种介质的数据的格式，是不依赖于介质的标准。

针对ISOBMFF的每个媒体的保存方法是另外规定的。例如，AVC视频和HEVC视频的保存方法由ISO/IEC14496-15规定。

另一方面，需要将从多个传感器信息(传感器信号)取得的数据的编码数据保存到ISOBMFF中的方法。图22是表示通过各种编码方法对多个传感器信息分别进行编码并保存到ISOBMFF的协议的图。

Data1～Data5分别是由各种传感器取得的传感器数据(传感器信号)，例如是RAW数据等。Data1和Data2被变换为3D点群格式，使用3D点群格式用的编码方法Codec1或Codec2进行编码。另外，Data3和Data4被变换为图像等2D数据的格式，使用2D数据格式用的编码方法Codec3或Codec4进行编码。

各个编码数据通过规定的方法变换成NAL单元，并且保存在ISOBMFF中。另外，NAL单元在3DFormat和2DFormat中可以是共同的形式，也可以是不同的形式。另外，不同的编码方法的NAL单元可以是共同的形式，也可以是不同的形式。另外，传感器数据的格式除了在此列举的3D以及2D格式以外，也可以是1D的格式或者其他的格式。

Data5是不对从传感器取得的传感器数据进行编码而直接保存在ISOBMFF中的情况。

通过提供合并保存这些数据的任意组合的数据的格式，处理多个传感器的系统的数据的管理变得容易，能够实现各种功能。

接下来，说明ISOBMFF的结构。三维数据复用装置将多个传感器数据保存到ISOBMFF中。图23是表示复用对象的输入数据的结构例的图。

图24是表示NAL单元的结构例的图。图25是表示ISOBMFF的结构例的图。图26是表示moov和mdat的结构例的图。

输入数据中包含的编码数据主要大致分为编码数据(Data)和元数据(Meta)。作为元数据，包括由每个编码数据的头部表示的元数据和作为参数集保存在独立的NAL单元中的元数据。元数据可能被包括在编码数据中。三维数据复用装置将这些多个不同的编解码器的每一个的NAL单元以及RAW数据保存到一个ISOBMFF。

ISOBMFF由盒结构构成。作为ISOBMFF的盒，主要有保存元数据的“moov”和“meta”、以及保存数据的“mdat”。

编码数据和RAW数据以样本单位保存在ISOBMFF中的“mdat”中。另外，输入数据中的元数据按每个编码数据，以规定的格式保存在ISOMBFF中的“moov”的“trak”中。编码数据中包含的元数据和同步信息也保存在“moov”内。

用于从“mdat”取得数据的信息(来自文件开头的数据的地址信息(偏移信息)和数据的大小等)被保存在每个编码数据的元数据中。另外，“ftyp”表示后续的数据的文件类型等。

另外，格式以及盒名除了在此列举的格式以及盒名以外，只要具有相同的功能即可。

另外，在实时通信等的使用情况中，也可以将分割了”moov”和“mdat”这样的盒的单位在时间上分开发送。另外，也可以对分割后的单位的数据进行交织。

三维数据复用装置定义表示结构信息的盒(以下简记为结构信息)，将文件中包含的多个数据的识别信息保存在结构信息中。另外，三维数据复用装置将能够访问各个数据的元数据的识别信息保存在结构信息中。

图27是表示结构信息的结构例的图。图28是表示结构信息的句法例的图。

结构信息表示构成ISOBMFF文件的内容及组件的信息、取得组件的原始数据时的传感器信息、格式信息、以及编码方法等。

如图27所示，结构信息包含整体结构信息和每个编码数据的结构信息。多个结构信息可以是相同的数据结构或盒，也可以是不同的数据结构或盒。

mp4盒中的type中，例如用“msuc”等4CC表示为结构信息盒。整体结构信息(data())表示编码方式不同的多个数据的结构。data()包含num_of_data、data_type以及data_configuration。

num_of_data表示构成文件的编码数据和RAW数据的数量。data_type表示每个数据的识别信息。即，data_type表示多个数据的类别。

具体而言，data_type表示数据是点群数据还是传感器信号(例如RAW数据)。另外，data_type也可以表示数据是否被编码。另外，data_type也可以表示在编码数据的编码中使用的编码方法(编码方式)。编码方法是指例如GPPC或VPPC等。另外，编码方法也可以是图22所示的Codec1～4等。另外，data_type也可以表示用于识别结构信息的信息。

另外，data_type也可以表示点群数据的原始数据的类别。原始数据的类别是指，在原始数据是传感器信号的情况下，生成了传感器信号的传感器的种类(例如是2D传感器还是3D传感器等)等。另外，data_type也可以包含表示传感器信号的数据格式(例如是1D信息、2D信息还是3D信息等)的信息。

例如，data_type＝0表示PCC Codec1，data_type＝1表示PCC Codec2，data_type＝2表示Video Codec3，data_type＝4表示3D轴传感器RAW数据。data_configuration表示每个数据的结构信息。

data_configuration()是每个编码数据的结构信息，包含num_of_component、component_type和component_id。

num_of_component表示编码数据内的组件的数量。component_type表示组件的类型。例如，在PCC编码的情况下，component_type表示组件是几何、是属性、还是元数据。

component_id表示用于将组件与其他元数据以及数据关联的唯一的识别符。

此外，编码的方法除了视频编解码器和PCC编解码器以外，也可以是音频、文本、应用或360度图像等中使用的编码方法。另外，数据也可以是网格或者CAD等加工后的数据。另外，编码的方法既可以是相同的编解码器，也可以是档案、等级或者工具不同的编码方法，即使是任意的编码方法，也能够统一地进行处理。

这样，通过在三维数据逆复用装置中将为了将解码后的点群数据在应用活用所需的数据复用到一个文件，能够使应用中处理的文件管理以及同步管理容易化。

图29是表示数据盒“mdat”的结构例的图。在作为数据盒的最小单位的样本中分别保存各个编码数据或RAW数据。

另外，文件中包含的每个编码数据的时间戳等同步信息基于共同的基准时刻等整体同步信息来设定。另外，同步信息是分别取得同步的信息。

另外，例如，也可以使多个编码数据的时间戳中的基准时刻、时间分辨率以及时间间隔一致，以多个编码数据使同步信息共同化。在该情况下，同步信息只要保存在与每个编码数据的同步信息共同的同步信息中的任意1个以上即可。在该情况下，元数据包括表示保存有共同时刻信息的位置的信息和表示同步信息共同的信息中的至少一个。

另外，在编码数据之间取得同步的情况下，三维数据复用装置也可以将取得同步的多个编码数据保存为一个样本。另一方面，在多个编码数据中，在基准时刻、时间分辨率以及时间间隔中的至少一个不一致的情况下，三维数据复用装置也可以另外导出表示编码数据间的时间戳的差分的差分信息，并将导出的差分信息保存于输出信号。另外，三维数据复用装置也可以将表示是否取得同步的标志保存于输出信号。

三维数据逆复用装置使用各个编码数据的同步信息和整体同步信息，将各个样本在元数据所示的时间戳所示的时刻进行处理，由此取得编码数据间的同步。

以下，对应用处理的例子进行说明。图30是表示应用处理的例子的流程图。当开始应用操作时，三维数据逆复用装置取得包含点群数据以及多个编码数据的ISOBMFF文件(S7301)。例如，三维数据逆复用装置既可以通过通信取得ISOBMFF文件，也可以从蓄积的数据中读入ISOBMFF文件。

接着，三维数据逆复用装置解析ISOBMFF文件中的整体结构信息，特定应用中使用的数据(S7302)。例如，三维数据逆复用装置取得处理中使用的数据，不取得处理中不使用的数据。

接着，三维数据逆复用装置提取应用中使用的1个以上的数据，解析该数据的结构信息(S7303)。

在数据的类型是编码数据的情况下(步骤S7304中的编码数据)，三维数据逆复用装置将ISOBMFF变换成编码流，并且提取时间戳(步骤S7305)。另外，三维数据逆复用装置例如也可以参照表示数据间是否同步的标志来判定数据间是否同步，如果不同步，则进行同步处理。

接着，三维数据逆复用装置按照时间戳及其他指示，按照规定的方法对数据进行解码，对解码后的数据进行处理(S7306)。

另一方面，在数据的类别是编码数据的情况下(S7304中RAW数据)，三维数据逆复用装置提取数据和时间戳(S7307)。另外，三维数据逆复用装置例如也可以参照表示数据间是否同步的标志来判定数据间是否同步，如果不同步，则进行同步处理。接着，三维数据逆复用装置按照时间戳及其他指示，对数据进行处理(S7308)。

例如，说明光束LiDAR、泛光式LiDAR、以及由相机取得的传感器信号分别以不同的编码方式进行编码以及复用的情况的例子。图31是表示光束LiDAR、泛光式LiDAR以及相机的传感器范围的例子的图。例如，光束LiDAR检测车辆(传感器)的周围的全部方向，泛光式LiDAR及相机检测车辆的一个方向(例如前方)的范围。

在将LiDAR点群统一处理的应用的情况下，三维数据逆复用装置参照整体结构信息，提取光束LiDAR和泛光式LiDAR的编码数据进行解码。另外，三维数据逆复用装置不提取相机影像。

三维数据逆复用装置按照LiDAR和泛光式LiDAR的时间戳，同时处理同一时间戳的时刻各自的编码数据。

例如，三维数据逆复用装置也可以通过提示装置提示处理后的数据，或者合成光束LiDAR和泛光式LiDAR的点群数据，或者进行渲染等处理。

另外，在数据间进行校准的应用的情况下，三维数据逆复用装置也可以提取传感器位置信息并在应用中使用。

例如，三维数据逆复用装置可以在应用中选择使用光束LiDAR信息还是使用泛光式LiDAR，并根据选择结果来切换处理。

这样，能够根据应用的处理而自适应地改变数据的取得以及编码处理，因此能够削减处理量以及消耗电力。

以下，对自动驾驶中的使用情况进行说明。图32是表示自动驾驶系统的结构例的图。该自动驾驶系统包括云服务器7350和车载装置或移动装置等的边缘7360。云服务器7350具备逆复用部7351、解码部7352A、7352B以及7355、点群数据合成部7353、大规模数据蓄积部7354、比较部7356以及编码部7357。边缘7360具备传感器7361A及7361B、点群数据生成部7362A及7362B、同步部7363、编码部7364A及7364B、复用部7365、更新数据蓄积部7366、逆复用部7367、解码部7368、滤波器7369、自身位置推定部7370、以及驾驶控制部7371。

在该系统中，边缘7360下载云服务器7350中蓄积的大规模点群地图数据即大规模数据。边缘7360通过将大规模数据和在边缘7360得到的传感器信息进行匹配，进行边缘7360(车辆或终端)的自身位置推定处理。另外，边缘7360将取得的传感器信息上载到云服务器7350，将大规模数据更新为最新的地图数据。

另外，在处理系统内的点群数据的各种应用中，处理编码方法不同的点群数据。

云服务器7350对大规模数据进行编码及复用。具体而言，编码部7357使用适于对大规模点群进行编码的第3编码方法进行编码。此外，编码部7357对编码数据进行复用。大规模数据蓄积部7354蓄积由编码部7357进行编码及复用后的数据。

边缘7360进行感测。具体而言，点群数据生成部7362A使用由传感器7361A取得的感测信息，生成第1点群数据(位置信息(几何)以及属性信息)。点群数据生成部7362B使用由传感器7361B取得的感测信息，生成第2点群数据(位置信息以及属性信息)。生成的第1点群数据以及第2点群数据用于自动驾驶的自身位置推定或者车辆控制或者地图更新。在各个处理中，也可以使用第1点群数据以及第2点群数据中的一部分信息。

边缘7360进行自身位置推定。具体而言，边缘7360从云服务器7350下载大规模数据。逆复用部7367通过对文件格式的大规模数据进行逆复用而取得编码数据。解码部7368通过对所取得的编码数据进行解码而取得作为大规模点群地图数据的大规模数据。

自身位置推定部7370通过将取得的大规模数据与由点群数据生成部7362A和7362B生成的第1点群数据以及第2点群数据进行匹配，来推定车辆的地图中的自身位置。另外，驾驶控制部7371将该匹配结果或自身位置推定结果用于驾驶控制。

另外，自身位置推定部7370以及驾驶控制部7371也可以提取大规模数据中的位置信息等特定的信息，并使用提取出的信息进行处理。另外，滤波器7369对第1点群数据以及第2点群数据进行修正或间隔剔除等处理。自身位置推定部7370以及驾驶控制部7371也可以使用进行了该处理后的第1点群数据以及第2点群数据。另外，自身位置推定部7370及驾驶控制部7371也可以使用由传感器7361A及7361B得到的传感器信号。

同步部7363进行多个传感器信号或多个点群数据的数据间的时间同步及位置修正。另外，同步部7363也可以基于通过自身位置推定处理而生成的、大规模数据与传感器数据的位置修正信息，以使传感器信号或者点群数据的位置信息与大规模数据一致的方式进行修正。

另外，同步和位置修正也可以不是边缘7360而是由云服务器7350进行。在该情况下，边缘7360也可以将同步信息以及位置信息复用并发送到云服务器7350。

边缘7360对传感器信号或点群数据进行编码及复用。具体而言，传感器信号或点群数据使用适于对各自的信号进行编码的第1编码方法或第2编码方法进行编码。例如，编码部7364A通过使用第1编码方法对第1点群数据进行编码来生成第1编码数据。编码部7364B使用第2编码方法对第2点群数据进行编码，由此生成第2编码数据。

复用部7365通过对第1编码数据、第2编码数据、以及同步信息等进行复用而生成复用信号。更新数据蓄积部7366蓄积所生成的复用信号。此外，更新数据蓄积部7366将复用信号上载到云服务器7350。

云服务器7350对点群数据进行合成。具体而言，逆复用部7351通过对在云服务器7350上载的复用信号进行逆复用而取得第1编码数据和第2编码数据。解码部7352A通过对第1编码数据进行解码而取得第1点群数据(或传感器信号)。解码部7352B通过对第2编码数据进行解码而取得第2点群数据(或传感器信号)。

点群数据合成部7353通过规定的方法合成第1点群数据以及第2点群数据。在复用信号中对同步信息以及位置修正信息进行复用的情况下，点群数据合成部7353也可以使用这些信息进行合成。

解码部7355对蓄积在大规模数据蓄积部7354中的大规模数据进行逆复用和解码。比较部7356将基于由边缘7360得到的传感器信号而生成的点群数据与云服务器7350所具有的大规模数据进行比较，判断需要更新的点群数据。比较部7356将大规模数据中判断为需要更新的点群数据更新为从边缘7360得到的点群数据。

编码部7357对更新后的大规模数据进行编码及复用，将得到的数据蓄积在大规模数据蓄积部7354中。

如上所述，根据所使用的用途或应用，存在处理信号不同、复用的信号或编码方法不同的情况。即使在这样的情况下，通过使用本实施方式对各种编码方式的数据进行复用，也能够进行灵活的解码以及应用处理。另外，即使在信号的编码方式不同的情况下，也能够通过逆复用、解码、数据变换、编码、复用的处理而变换适合的编码方式，由此构建各种各样的应用、系统，提供灵活的服务。

如上所述，本实施方式的三维数据复用装置进行图33所示的处理。三维数据复用装置通过对包含点群数据的多种数据进行复用而生成规定的文件结构(例如ISOBMFF)的输出信号(S7311)。接着，三维数据复用装置在文件结构中的元数据(控制信息)中保存表示输出信号中包含的多个数据各自的类别的信息(例如data_type)(S7312)。

由此，三维数据复用装置在文件结构中的元数据中保存表示输出信号中包含的多个数据各自的类别的信息。由此，在接收该输出信号的三维数据逆复用装置中，能够容易地判定各数据的类别。这样，该三维数据复用方法能够适当地对点群数据进行复用并发送。

例如，表示多个数据各自的类别的信息表示(1)应用于数据的编码方式、(2)数据的结构、(3)生成了数据的传感器的种类、或者(4)数据格式。

例如，文件结构中的元数据包含用于使输出信号中包含的多个数据的时刻同步的同步信息。由此，在接收该输出信号的三维数据逆复用装置中，能够使多个数据同步。

例如，同步信息表示多个数据间的时间戳的差分。由此，能够削减输出信号的数据量。

例如，三维数据复用装置具备处理器和存储器，处理器使用存储器进行上述的处理。

另外，本实施方式的三维数据逆复用装置进行图34所示的处理。三维数据逆复用装置根据包含点群数据的多种数据被复用后的规定的文件结构(例如ISOBMFF)的输出信号，取得文件结构中的元数据中保存的表示输出信号中包含的多个数据各自的类别的信息(例如data_type)(S7321)。三维数据逆复用装置使用表示多个数据各自的类别的信息，从输出信号取得多个数据(S7322)。例如，三维数据逆复用装置使用表示多个数据各自的类别的信息，从输出信号中选择性地取得所需的数据。由此，三维数据逆复用装置能够容易地判定各数据的类别。

例如，文件结构中的元数据包含用于使输出信号中包含的多个数据的时刻同步的同步信息。例如，三维数据逆复用装置使用同步信息使多个数据同步。

例如，同步信息表示多个数据间的时间戳的差分。例如，同步信息包含表示多个数据中的任一个的时间戳的信息，三维数据逆复用装置通过对多个数据中的任一个时间戳加上由同步信息表示的差分，来复原多个数据中的其他数据的时间戳。由此，能够削减输出信号的数据量。

例如，三维数据逆复用装置具备处理器和存储器，处理器使用存储器进行上述处理。

(实施方式2)

首先，说明点群数据的生成及合成。图35是表示作为处理多个传感器信号的系统的一例的三维数据编码装置(三维数据复用装置)的结构例的图。三维数据编码装置具有：感测部8601A、8601B和8601C、输入输出部8602A、8602B和8602C、点群数据生成部8603、编码部8604、同步部8605、以及复用部8606。

输入输出部8602A取得通过由感测部8601A进行的感测而生成的第1传感器信号。输入输出部8602B取得通过由感测部8601B进行的感测而生成的第2传感器信号。输入输出部8602C取得通过由感测部8601C进行的感测而生成的第3传感器信号。此外，输入输出部8602A、8602B和8602C可以具有用于蓄积取得的传感器信号的存储器。

点群数据生成部8603通过合成(也称为合并或融合)第1传感器信号和第2传感器信号来生成合成点群数据。合成点群数据包含由第1感测部8601A和第2感测部8601B得到的三维点的位置信息和属性信息、以及其他的传感器信息。此外，点群数据生成部8603也可以基于同步信号合成第3传感器信号、共同的传感器信号、共同的时刻信息等用于使多个感测之间同步的同步信号。

编码部8604通过对合成点群数据进行编码来生成编码数据。同步部8605具有用于使多个感测部同步的功能。复用部8606通过对编码数据、元数据、传感器信号的RAW数据和同步信号进行复用来生成输出信号(比特流)。

图36是表示点群数据生成部8603的结构的框图。点群数据生成部8603具备变换部8611和8612、以及合成部8613。

变换部8611根据第1传感器信号生成第1点群数据。变换部8612根据第2传感器信号生成第2点群数据。传感器信号例如是由激光角度和距离信息构成的一维信息、或者由FLASH、LiDAR或相机等得到的二维距离信息等。变换部8611和8612将该一维或二维的位置信息(几何信息)变换为三维的位置信息(例如(x，y，z)坐标)。

作为点群数据的构成要素的点(三维点)包含三维坐标等位置信息和针对该位置信息的属性信息。图37～图39是表示三维点的信息的例子的图。在图37所示的例子中，相对于1个位置信息存在1个属性信息。在图38和图39所示的例子中，相对于1个位置信息存在2个以上属性信息。在相对于1个位置信息存在多个属性信息的情况下，有时存在多个不同属性类别，有时相同属性类别的属性信息存在多个。图37所示的例子是例如存在1个颜色信息作为属性信息的情况。此外，图38所示的例子是例如存在颜色信息和反射率信息的情况。此外，图39所示的例子是例如存在3个以上的颜色信息的情况。此外，位置信息具有(x，y，z)3个值。颜色信息具有(R，G，B)或(Y、Cb、Cr)3个值。反射率为1个值。这样，位置信息和属性信息可以具有每个维度的信息。

此外，基于第1传感器信号的属性信息和基于第2传感器信号的属性信息可以是不同对象物的相同类别的属性信息(例如颜色)，或者可以是不同类别的属性信息(例如颜色和反射率)。

以下，说明点群数据文件的合成。图40是表示合成多个传感器信号，并生成合成的点群数据的例子的图。该图示出了将具有每个点的信息的传感器信息X以及传感器信息Y、和具有共同的信息的传感器信息Z进行合成的例子。作为合成后的点群信息的合成点群信息包含共同的信息、每个点的信息、以及结构信息。

以下，说明传感器信息X和传感器信息Y具有相同的属性信息(例如，颜色信息或反射率)的例子。例如，结构信息包含传感器ID和合成源的传感器信息。在图40所示的例子中，结构信息作为生成了传感器信息X的传感器X(SensorX)的信息，包含传感器ID(ID＝S1)、传感器信息(Sensor)、传感器版本(Version)、传感器的制造商名(Maker)、传感器的设置信息(Mount Info.)和传感器的位置坐标(World Coordinate)。另外，结构信息作为生成了传感器信息Y的传感器Y(SensorY)的信息，包含传感器ID(ID＝S2)。另外，这些只是一例，作为传感器信息也可以包含上述的一部分信息。

另外，各点的信息中包含表示传感器ID(S1或S2)的属性信息S。这样，按每个点表示识别信息(传感器ID)，该识别信息表示每个点的数据是从哪个传感器取得的数据。

图41是表示在结构信息中示出表示每个点的数据是从哪个传感器取得的识别信息的例子的图。图41所示的结构信息包含按各ID的、合成点群信息中包含的点的数量(numPoints)。

另外，这里，对由传感器等感测单元得到的点进行了说明，但不限于此。例如，对于人工赋予的点，作为不是通过感测单元得到的点，定义为“传感器ID：S4…通过感测单元以外得到的点”，可以在属性信息S中赋予S4，也可以在属性信息S中示出意味着无效化的固定值。由此，三维数据解码装置能够在合成点群中识别由非感测单元的单元得到的点。

此外，结构信息可以包含对由非感测单元的单元得到的点进行识别的信息，也可以包含表示合成点群包含由非感测单元的单元得到的点的标志。由此，三维数据解码装置能够判别合成点群是否包含由非感测单元的单元得到的点。

另外，图41等所示的例子是在传感器信息X和传感器信息Y中位置信息重复的情况下(第1个和第4个位置信息相同，为G1)，直接记载重复的点的例子。另外，三维数据编码装置可以将重复的点以规定的方法合并，也可以选择某一方。三维数据编码装置在合并重复的点的情况下，在合成点群信息中表示该点是从多个传感器取得的信息被合并后的数据。例如，传感器ID(Sensor ID)＝S1表示由传感器X得到的数据，传感器ID＝S2表示由传感器Y得到的数据，传感器ID＝S3表示是合并了传感器X和传感器Y的数据所得到的数据。

以下，说明传感器信息X和传感器信息Y具有不同的属性信息的例子。图42是用于说明该情况的合成处理的图。如图42所示，三维数据编码装置从不同的传感器信息中取得各自不同的属性信息A1(例如颜色信息)及属性信息A2(例如反射率)，并将它们合成。结构信息包含属性信息A1和A2的信息以及识别信息。

由传感器X和传感器Y得到的点中，有位置信息重复的点和位置信息不重复的点。在位置信息重复的情况下，在合成位置信息中，相对于一个位置信息存在属性信息A1和属性信息A2。在位置信息不重复的情况下，在合成位置信息中，相对于一个位置信息存在属性信息A1和属性信息A2的某一个。

此时，在属性信息不存在的情况下，示出了表示该属性信息无效的信息(N/A)。另外，在图42中记载为N/A，但也可以通过0或-1等固定值来表示无效。此外，可以不表示包含无效的属性信息的点的信息。或者，也可以以规定的方法对无效的属性信息进行插值或推测。此外，表示是否包含无效的属性信息的标志可以包含于结构信息。

接着，说明点群信息X具有属性信息A和属性信息B、并且点群信息Y具有属性信息B的例子。图43是用于说明该情况的合成处理的图。

点群信息X是包含从1个传感器信息得到的2个以上的属性信息的点群信息。此外，点群信息X也可以是从2个以上的传感器信息预先变换的点群信息。此外，点群信息Y是具有1个属性信息的点群信息。

在点群信息X中，位置信息G2不具有有效的属性信息A2。另外，在点群信息X和点群信息Y中，位置信息G2和位置信息G3重复。

合成点群信息(有重复点)是个别记载重复的点的信息的例子。合成点群信息中包含的点的数量等于合成前的点群信息的点的数量之和。另外，结构信息表示属性信息S是表示点信息(位置信息以及属性信息)是由哪个传感器取得的识别信息。另外，作为每个点的信息附加了属性信息S。

合成点群信息(无重复点)是在合成点群信息(有重复点)中合并了重复的点的信息的例子。属性信息A1全部是由传感器X取得的数据，属性信息A2是由传感器X取得的数据、由传感器Y取得的数据、基于双方的数据的数据、以及N/A中的某一个。

结构信息表示由传感器X取得了属性信息A1。另外，属性信息表示属性信息S是表示由哪个传感器取得属性信息A2的信息。另外，也可以将表示由哪个传感器取得属性信息A1的信息作为其他属性信息来设置。

此外，在点群信息的合成中，表示是否合并了重复点的标志也可以包含于结构信息。另外，在重复点的合并中，表示是否合并了属性信息的标志也可以包含于结构信息，另外，表示合并的方法的识别符也可以包含于结构信息。或者，在不合并而是选择了一方的属性信息的情况下，表示该选择基准的识别符也可以包含于结构信息。

属性信息S表示用哪个传感器取得了属性信息A2的各点的数据。例如，传感器ID(Sensor ID)＝S1表示由传感器X得到的数据，传感器ID＝S2表示由传感器Y得到的数据，传感器ID＝S3表示是合并了传感器X和传感器Y的数据所得到的数据。

另外，图43中的f(A2X3、A2Y2)表示通过使用了A2X3和A2Y2的规定的方法导出的值。规定的方法是基于平均值、加权平均值或规定的基准值(例如，传感器的可靠性)从多个值中选择1个值的方法等。

如上所述，通过用结构信息或属性信息表示点群数据或点群数据的属性信息是从哪个传感器信息或哪个点群信息得到的信息，在后级的编码部或解码部、复用部或逆复用部、或应用处理中，能实现高效的编码或各种灵活的功能。

另外，这里示出了属性信息为2个的例子，但是属性信息可以是3个以上，也可以是不包含属性信息的点群。

另外，属性信息S不仅是表示点群信息或属性信息由哪个传感器取得的信息，也可以是表示位置信息由哪个传感器取得的信息，还可以定义位置信息和属性信息的任意组合(分类，class)，表示点的组合是哪个分类的数据。

另外，与图40同样，图43所示的结构信息除了传感器ID之外，还可以包含传感器信息(Sensor)、传感器版本(Version)、传感器的制造商名(Maker)、传感器的设置信息(MountInfo.)和传感器的位置坐标(World Coordinate)中的至少一个。由此，三维数据解码装置能够从结构信息中取得各种传感器的信息。

接着，对合成点群数据的编码方法进行说明。图44是三维数据编码解码系统的框图。该图所示的系统包括三维数据编码装置8620、和三维数据解码装置8630。三维数据编码装置8620包括编码部8621和复用部8622。编码部8621通过对合成的点群数据(或传感器信号)进行编码来生成编码数据。复用部8622通过对编码数据进行复用来生成复用信号(比特流)。

三维数据解码装置8630包括逆复用部8631、解码部8632、和重构部8633。逆复用部8631通过对复用信号进行逆复用来生成编码数据。解码部8632通过对编码数据进行解码来生成解码数据。重构部8633通过重构解码数据来复原点群数据(或传感器信号)。

图45是表示包含元数据和编码数据的比特流的结构的图。作为整个的元数据的SPS包含点群数据中包含的属性信息的列表。在列表中保存属性信息的识别信息(attribute_type)。

定义表示用哪个传感器取得了点群信息或属性信息的属性信息(例如“传感器属性”)。在attribute_type＝“传感器属性”的属性信息包含在整体点群信息中的情况下，在整体元数据中的属性信息列表中表示attribute_type＝“传感器属性”。可以定义传感器属性信息是一维还是二维，并且可以表示维数。

另外，整体的传感器信息(Z)在相对于编码不是必需的情况下保存在作为选项的SEI中，在相对于编码是必需的情况下保存在SPS或APS等中。此外，从结构信息得到的与传感器属性相关的元数据保存在与传感器属性相关的元数据APS3中。位置信息G、属性信息A1、属性信息A2、表示传感器属性的属性信息S分别通过熵编码被压缩，作为编码数据被输出。

另外，图45所示的SPS是编码数据整体的元数据，GPS是位置信息的元数据，APS是每个属性信息的元数据，SEI是选项的元数据，G是位置信息的编码数据，A1、A2以及A3是属性信息编码数据。

接着，对合成点群数据的解码方法和应用例进行说明。图46是三维数据解码装置中的解码处理的流程图。首先，三维数据解码装置解析包含在比特流中的元数据，取得构成编码数据的位置信息及属性信息的信息，对各个编码数据进行解码(S8601)。

另外，三维数据解码装置判定编码数据是否包含attribute_type为“传感器属性”的属性信息(S8602)。在编码数据中包含传感器属性的属性信息的情况下(S8602中为是)，三维数据解码装置重构包含传感器属性的点群数据(S8603)。在编码数据中不包含传感器属性的属性信息的情况下(S8602中为否)，三维数据解码装置重构不包含传感器属性的点群数据(S8604)。

图47是表示从包含传感器属性的点群数据中提取特定点的处理的流程图。此外，图48是表示数据提取的例子的图。首先，三维数据解码装置决定从包含传感器属性的点群数据中提取与传感器X(SensorX)相关的点(S8611)。接着，三维数据解码装置解析结构信息，识别在属性信息S中表示由传感器X取得了属性信息A1、由哪个传感器取得了属性信息A2(S8612)。

接着，三维数据解码装置判定属性信息的类型(S8613)。在属性信息的类型是A1的情况下(S8613中为A1)，三维数据解码装置判断为该数据是基于传感器X的数据，提取A1数据(S8614)。另外，三维数据解码装置在数据是N/A的情况下不提取该数据。

在属性信息的类型是A2或S的情况下(S8613中为A2或S)，三维数据解码装置基于属性信息S解析A2的传感器属性(S8615)。在传感器属性是S1或S3的情况下(S8615中为S1或S3)，三维数据解码装置判断为该数据是基于传感器X的数据，提取A2数据(S8616)。另一方面，在传感器属性是S2的情况下(S8615中为S2)，三维数据解码装置判断为该数据是基于传感器Y的数据，不提取A2数据(S8617)。

另外，三维数据解码装置在传感器属性的解析(S8615)中传感器属性是S3的情况下，也可以将合并后的f(A2X3、A2Y2)用规定的方法变换或修正。此外，三维数据解码装置在提取由传感器X取得的原始数据的情况下，在传感器属性的解析中也可以不提取S3的数据。

另外，与图40同样，图48所示的结构信息除了传感器ID之外，还可以包含传感器信息(Sensor)、传感器的版本(Version)、传感器的制造商名(Maker)、传感器的设置信息(Mount Info.)和传感器的位置坐标(World Coordinate)中的至少一个。由此，三维数据解码装置能够从结构信息中取得各种传感器的信息。

接着，说明进行数据分割时的合成点群数据的编码方法。数据分割对基于并行处理的高速化、和基于具有相同属性的属性信息的分组的编码效率提高有效，用规定的方法分割点群数据。

图49是三维数据编码解码系统的框图。该图所示的系统包括三维数据编码装置8640和三维数据解码装置8650。三维数据编码装置8640包括分割部8641、多个编码部8642、以及复用部8643。

分割部8641通过将点群数据分割为瓦片或切片等多个数据单位来生成多个分割数据。或者，分割部8641通过按每个传感器信息分割点群数据中包含的属性信息来生成多个分割数据。

多个编码部8642生成将多个分割数据按分割单位编码的多个编码数据。复用部8643通过对多个编码数据进行复用来生成复用信号(比特流)。

三维数据解码装置8650包括逆复用部8651、多个解码部8652、以及重构部8653。逆复用部8651通过对复用信号进行逆复用来生成多个编码数据。解码部8652通过对多个编码数据进行解码来生成多个解码数据。重构部8653通过重构多个解码数据来重构点群数据。

图50是按每个传感器信息进行数据分割的情况的编码处理的流程图。首先，三维数据编码装置解析输入点群数据的结构信息(S8621)。接着，三维数据编码装置决定将点群数据(位置信息和属性信息)按每个传感器信息分割来进行编码(S8622)。例如，三维数据编码装置也可以基于结构信息，在判定为进行分割的编码效率更好的情况下决定进行分割。或者，三维数据编码装置也可以实际估计编码效率，并基于其结果决定是否进行分割。或者，三维数据编码装置也可以基于来自应用等外部的指示来决定是否进行分割。

接着，三维数据编码装置判定点数据是基于哪个传感器的数据(S8623)。在传感器属性是S1且点数据基于传感器X的情况下(S8624中为S1)，三维数据编码装置将该数据编码为基于传感器X的分割数据(S8625)。另一方面，在传感器属性为S2且点数据基于传感器Y的情况下(S8624中为S2)，三维数据编码装置将该数据编码为基于传感器Y的分割数据(S8626)。

接着，三维数据编码装置将输入数据的结构信息分割为整体结构信息和每个分割数据的结构信息，将整体结构信息和每个分割数据的结构信息保存在元数据中。另外，三维数据编码装置通过对元数据和编码数据进行复用来生成复用信号(比特流)(S8627)。

图51是表示该分割处理的例子的图。如图51所示，第1分割数据具有属性信息A1和A2，第2分割数据具有属性信息A2，而不具有属性信息A1。

另外，与图40同样，图51所示的整体结构信息和每个分割数据的结构信息的至少一方除了传感器ID之外，还可以包含传感器信息(Sensor)、传感器的版本(Version)、传感器的制造商名(Maker)、传感器的设置信息(Mount Info.)和传感器的位置坐标(WorldCoordinate)中的至少一个。由此，三维数据解码装置能够从结构信息中取得各种传感器的信息。

以下，说明分割数据的解码和应用的例子。首先，说明分割数据的信息。图52是表示比特流的结构例的图。分割数据的整体信息按每个分割数据表示该分割数据的传感器ID(sensor_id)和数据ID(data_id)。另外，数据ID也表示在各编码数据的头部中。

此外，与图40同样，图52所示的分割数据的整体信息除了传感器ID之外，还可以包含传感器信息(Sensor)、传感器的版本(Version)、传感器的制造商名(Maker)、传感器的设置信息(Mount Info.)和传感器的位置坐标(World Coordinate)中的至少一个。由此，三维数据解码装置能够从结构信息中取得各种传感器的信息。

分割数据的整体信息可以保存在作为元数据的SPS、GPS或APS中，也可以保存在作为对于编码不是必需的元数据的SEI中。此外，三维数据编码装置在复用时将该SEI保存在ISOBMFF的文件中。三维数据解码装置能够基于该元数据取得希望的分割数据。

在图52中，SPS是编码数据整体的元数据，GPS是位置信息的元数据，APS是每个属性信息的元数据，G是每个分割数据的位置信息的编码数据，A1等是每个分割数据的属性信息的编码数据。

接下来，说明分割数据的应用例。说明从点群数据中选择任意点群并提示所选择的点群的应用的例子。图53是由该应用执行的点群选择处理的流程图。图54～图56是表示点群选择处理的画面例的图。

如图54所示，执行应用的三维数据解码装置例如具有显示用于选择任意点群的输入UI(用户界面)8661的UI部。输入UI8661具有提示所选择的点群的提示部8662和受理用户的操作的操作部(按钮8663和8664)。三维数据解码装置在由UI8661选择了点群后，从蓄积部8665取得所希望的数据。

首先，基于针对用户的输入UI8661的操作，选择用户想要显示的点群信息(S8631)。具体而言，通过选择按钮8663，选择基于传感器1的点群。通过选择按钮8664，选择基于传感器2的点群。或者，通过选择按钮8663及按钮8664这两者来选择基于传感器1的点群和基于传感器2的点群这两者。另外，点群的选择方法是一例，并不限于此。

接着，三维数据解码装置对复用信号(比特流)或编码数据中包含的分割数据的整体信息进行解析，从所选择的传感器的传感器ID(sensor_id)中特定构成所选择的点群的分割数据的数据ID(data_id)(S8632)。接着，三维数据解码装置从复用信号中提取包含所特定的希望的数据ID的编码数据，通过对所提取的编码数据进行解码，对基于所选择的传感器的点群进行解码(S8633)。另外，三维数据解码装置不对其他编码数据进行解码。

最后，三维数据解码装置提示(例如显示)解码后的点群(S8634)。图55表示按下传感器1的按钮8663的情况的例子，提示传感器1的点群。图56表示按下传感器1的按钮8663和传感器2的按钮8664这两者的情况的例子，提示传感器1和传感器2的点群。

如上所述，有关本实施方式的三维数据编码装置进行图57所示的处理。三维数据编码装置通过对点群数据进行编码来生成编码数据(S8641)，并生成包含编码数据的比特流(S8642)。比特流包含表示与点群数据对应的传感器的第1信息(例如结构信息或属性信息S等)。

例如，如图40等所示，第1信息包含第2信息(例如属性信息S)，该第2信息是按点群数据中包含的多个三维点中的每一个三维点生成的，表示与对应的三维点对应的传感器。

例如，如图40等所示，点群数据包含多个三维点各自的位置信息(例如G)和1个以上的属性信息(例如A1)，第2信息作为1个以上的属性信息之一(例如属性信息S)包含在编码数据中。

例如，如图40等所示，比特流包含在多个三维点中共同的第3信息(例如结构信息)，第2信息是传感器的识别符(例如S1等)，第3信息包含表示传感器的识别和传感器的对应关系的第4信息(例如ID等)。

例如，如图41所示，比特流包含多个三维点中共同的第3信息，第3信息表示每个传感器的三维点的数量(例如numPoints)。

例如，如图42所示，点群数据包含多个三维点各自的位置信息和1个以上的属性信息，第1信息表示与1个以上的属性信息分别对应的传感器。

例如，如图43所示，三维数据编码装置还通过将基于第1传感器的第1点群数据和基于第2传感器的第2点群数据合成，来生成点群数据(例如合成点群信息(无重复点))，在合成中，在第1点群数据和第2点群数据中包含具有相同位置信息的第1点的属性信息的情况下，生成基于第1点群数据中包含的第1点的属性信息和第2点群数据中包含的第1点的属性信息的属性信息(例如f(A2X3，A2Y2))作为合成后的属性信息，第1信息是表示点群数据中包含的第1点的信息基于第1传感器和第2传感器的信息(例如S3)。

例如，如图51所示，三维数据编码装置在点群数据的编码中，将点群数据分割为基于第1传感器的第1点群数据和基于第2传感器的第2点群数据，通过对第1点群数据和第2点群数据进行编码来生成编码数据。比特流包含第1点群数据用的第1控制信息(例如分割数据1的结构信息)和第2点群数据用的第2控制信息(例如分割数据2的结构信息)。第1信息包含：(1)包含在第1控制信息中，且表示与第1点群数据对应的传感器的信息；以及(2)包含在第2控制信息中，且表示与第2点群数据对应的传感器的信息。

例如，如图51所示，三维数据编码装置在点群数据的编码中，将点群数据分割为基于第1传感器的第1点群数据和基于第2传感器的第2点群数据，通过对第1点群数据和第2点群数据进行编码来生成编码数据。比特流包含第1点群数据和第2点群数据中共同的控制信息(例如整体结构信息)，第1信息包含在控制信息中。

例如，三维数据编码装置具备处理器和存储器，处理器使用存储器进行上述处理。

此外，有关本实施方式的三维数据解码装置进行图58所示的处理。三维数据解码装置通过对包含由于点群数据被编码而生成的编码数据、且包含表示与点群数据对应的传感器的第1信息的比特流进行解码，取得第1信息和点群数据(S8651)。例如，三维数据解码装置使用所取得的第1信息从比特流取得与所希望的传感器对应的点群数据。

例如，如图40等所示，第1信息包含第2信息(例如属性信息S)，所述第2信息是按点群数据中包含的多个三维点中的每一个三维点而生成的，表示与对应的三维点对应的传感器。

例如，如图40等所示，比特流包含多个三维点中共同的第3信息(例如结构信息)，第2信息是传感器的识别符(例如S1等)，第3信息包含表示传感器的识别和传感器的对应关系的第4信息(例如ID等)。

例如，如图43所示，点群数据(例如合成点群信息(无重复点))通过将基于第1传感器的第1点群数据和基于第2传感器的第2点群数据合成来生成。在合成中，在第1点群数据和第2点群数据中包含具有相同位置信息的第1点的属性信息的情况下，生成基于第1点群数据中包含的第1点的属性信息和第2点群数据中包含的第1点的属性信息的属性信息(例如f(A2X3，A2Y2))作为合成后的属性信息，第1信息表示点群数据中包含的第1点的信息是基于第1传感器和第2传感器的信息(例如S3)。

例如，如图51所示，通过将点群数据分割为基于第1传感器的第1点群数据和基于第2传感器的第2点群数据，并对第1点群数据和第2点群数据进行编码，来生成编码数据。比特流包含第1点群数据用的第1控制信息(例如分割数据1的结构信息)和第2点群数据用的第2控制信息(例如分割数据2的结构信息)。第1信息包含：(1)包含在第1控制信息中，且表示与第1点群数据对应的传感器的信息；以及(2)包含在第2控制信息中，且表示与第2点群数据对应的传感器的信息。

例如，如图51所示，通过将点群数据分割为基于第1传感器的第1点群数据和基于第2传感器的第2点群数据，并对第1点群数据和第2点群数据进行编码，来生成编码数据。比特流包含第1点群数据和第2点群数据共同的控制信息(例如整体结构信息)，第1信息包含在控制信息中。

例如，三维数据解码装置具备处理器和存储器，处理器使用存储器进行上述处理。

以上，对有关本发明的实施方式的三维数据编码装置及三维数据解码装置等进行了说明，但本发明并不限定于该实施方式。

此外，有关上述实施方式的三维数据编码装置及三维数据解码装置等中包含的各处理部典型的是作为集成电路即LSI实现。它们既可以单独地形成1个芯片，也可以包含一部分或全部而形成1个芯片。

此外，集成电路化并不限于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA(Field Programmable Gate Array现场可编程门阵列)、或能够重构LSI内部的电路单元的连接或设定的可重构处理器。

此外，在上述各实施方式中，各构成要素也可以由专用的硬件构成，或通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过由CPU或处理器等程序执行部读出被记录在硬盘或半导体存储器等记录介质中的软件程序并执行来实现。

此外，本发明也可以作为由三维数据编码装置及三维数据解码装置等执行的三维数据编码方法或三维数据解码方法等实现。

此外，框图中的功能块的分割是一例，也可以将多个功能块作为一个功能块实现，或将一个功能块分割为多个，或将一部分功能转移到其他的功能块。此外，也可以是单一的硬件或软件将具有类似的功能的多个功能块的功能并行或分时地处理。

此外，流程图中的各步骤的执行顺序是为了具体地说明本发明而例示的，也可以是上述以外的顺序。此外，也可以将上述步骤的一部分与其他步骤同时(并行)执行。

以上，基于实施方式对有关一个或多个方式的三维数据编码装置及三维数据解码装置等进行了说明，但本发明并不限定于该实施方式。只要不脱离本发明的主旨，对本实施方式施以本领域技术人员想到的各种变形的形态、或将不同实施方式的构成要素组合而构建的形态也可以包含在一个或多个方式的范围内。

产业上的可利用性

本发明能够应用于三维数据编码装置及三维数据解码装置。

附图标记说明

4601 三维数据编码系统

4602 三维数据解码系统

4603 传感器终端

4604 外部连接部

4611 点群数据生成系统

4612 提示部

4613 编码部

4614 复用部

4615 输入输出部

4616 控制部

4617 传感器信息取得部

4618 点群数据生成部

4621 传感器信息取得部

4622 输入输出部

4623 逆复用部

4624 解码部

4625 提示部

4626 用户接口

4627 控制部

4630 第1编码部

4631 位置信息编码部

4632 属性信息编码部

4633 附加信息编码部

4634 复用部

4640 第1解码部

4641 逆复用部

4642 位置信息解码部

4643 属性信息解码部

4644 附加信息解码部

4650 第2编码部

4651 附加信息生成部

4652 位置图像生成部

4653 属性图像生成部

4654 映像编码部

4655 附加信息编码部

4656 复用部

4660 第2解码部

4661 逆复用部

4662 映像解码部

4663 附加信息解码部

4664 位置信息生成部

4665 属性信息生成部

7301、7301A、7301B、7301C 感测设备

7302、7302A、7302B、7302C 传感器信息输入部

7303、7303A、7303C 点群数据生成部

7304A、7304B 感测部

7305 合并部

7310 第1设备

7311、7321 感测部

7312、7322 输出I/F

7320 第2设备

7323 输入I/F

7324 处理部

7325 点群数据生成部

7326 编码部

7331A、7331B、7331C 感测部

7332A、7332B、7332C 传感器信息输入部

7333A、7333B 点群数据生成部

7334A、7334B 编码部

7335 同步部

7336 复用部

7341A、7341B、7341C 感测部

7342A、7342B、7342C 输入输出部

7343 点群数据生成部

7344A、7344B 编码部

7345 同步部

7346 复用部

7350 云服务器

7351 逆复用部

7352A、7352B 解码部

7353 点群数据合成部

7354 大规模数据蓄积部

7355 解码部

7356 比较部

7357 编码部

7360 边缘

7361A、7361B 传感器

7362A、7362B 点群数据生成部

7363 同步部

7364A、7364B 编码部

7365 复用部

7366 更新数据蓄积部

7367 逆复用部

7368 解码部

7369 滤波器

7370 自身位置推定部

7371 运转控制部

8601A、8601B、8601C 感测部

8602A、8602B、8602C 输入输出部

8603 点群数据生成部

8604 编码部

8605 同步部

8606 复用部

8611、8612 变换部

8613 合成部

8620、8640 三维数据编码装置

8621、8642 编码部

8622、8643 复用部

8630、8650 三维数据解码装置

8631、8651 逆复用部

8632、8652 解码部

8633、8653 重构部

8641 分割部

8661 输入UI

8662 提示部

8663、8664 按钮

8665 蓄积部

Claims

1.一种三维数据编码方法，其中，

通过对点群数据进行编码来生成编码数据，

生成包含所述编码数据的比特流，

所述比特流包含表示与所述点群数据对应的传感器的第1信息。

2.根据权利要求1所述的三维数据编码方法，其中，

所述第1信息包含第2信息，所述第2信息按点群数据中包含的多个三维点的每一个三维点生成并表示与对应的三维点对应的传感器。

3.根据权利要求2所述的三维数据编码方法，其中，

所述点群数据包含所述多个三维点各自的位置信息和1个以上的属性信息，

所述第2信息作为所述1个以上的属性信息之一包含在所述编码数据中。

4.根据权利要求2或3所述的三维数据编码方法，其中，

所述比特流包含所述多个三维点中共同的第3信息，

所述第2信息是传感器的识别符，

所述第3信息包含表示所述传感器的识别与所述传感器的对应关系的第4信息。

5.根据权利要求1所述的三维数据编码方法，其中，

所述比特流包含所述多个三维点中共同的第3信息，

所述第3信息表示每个所述传感器的三维点的数量。

6.根据权利要求1所述的三维数据编码方法，其中，

所述第1信息表示与所述1个以上的属性信息分别对应的传感器。

7.根据权利要求1～6中任一项所述的三维数据编码方法，其中，

所述三维数据编码方法进一步地，

通过将基于第1传感器的第1点群数据和基于第2传感器的第2点群数据合成来生成所述点群数据，

在所述合成中，在所述第1点群数据和所述第2点群数据中包含具有相同位置信息的第1点的属性信息的情况下，生成基于所述第1点群数据中包含的所述第1点的属性信息和所述第2点群数据中包含的所述第1点的属性信息的属性信息作为合成后的属性信息，所述第1信息表示所述点群数据中包含的所述第1点的信息是基于所述第1传感器和所述第2传感器的信息。

8.根据权利要求1～6中任一项所述的三维数据编码方法，其中，

在所述点群数据的编码中，

将所述点群数据分割为基于第1传感器的第1点群数据和基于所述第2传感器的第2点群数据，

通过对所述第1点群数据和所述第2点群数据进行编码来生成所述编码数据，

所述比特流包含所述第1点群数据用的第1控制信息和所述第2点群数据用的第2控制信息，

所述第1信息包含：(1)包含在所述第1控制信息中且表示与所述第1点群数据对应的传感器的信息；和(2)包含在所述第2控制信息中且表示与所述第2点群数据对应的传感器的信息。

9.根据权利要求1～6中任一项所述的三维数据编码方法，其中，

在所述点群数据的编码中，

所述比特流包含所述第1点群数据和所述第2点群数据中共同的控制信息，

所述第1信息包含在所述控制信息中。

10.一种三维数据解码方法，其中，

通过对包含由于点群数据被编码而生成的编码数据、且包含表示与所述点群数据对应的传感器的第1信息的比特流进行解码，来取得所述第1信息和所述点群数据。

11.根据权利要求10所述的三维数据解码方法，其中，

所述第1信息包含第2信息，所述第2信息按点群数据中包含的多个三维点的每一个三维点生成且表示与对应的三维点对应的传感器。

12.根据权利要求11所述的三维数据解码方法，其中，

13.根据权利要求11或12所述的三维数据解码方法，其中，

所述比特流包含所述多个三维点中共同的第3信息，

所述第2信息是传感器的识别符，

14.根据权利要求10所述的三维数据解码方法，其中，

所述比特流包含所述多个三维点中共同的第3信息，

所述第3信息表示每个所述传感器的三维点的数量。

15.根据权利要求10所述的三维数据解码方法，其中，

16.根据权利要求10～15中任一项所述的三维数据解码方法，其中，

所述点群数据通过将基于第1传感器的第1点群数据和基于第2传感器的第2点群数据合成而生成，

17.根据权利要求10～15中任一项所述的三维数据解码方法，其中，

所述编码数据是通过将所述点群数据分割为基于第1传感器的第1点群数据和基于所述第2传感器的第2点群数据，对所述第1点群数据和所述第2点群数据进行编码而生成的，

18.根据权利要求10～15中任一项所述的三维数据解码方法，其中，

所述第1信息包含在所述控制信息中。

19.一种三维数据编码装置，其中，具备：

处理器；以及

存储器，

所述处理器使用所述存储器，

通过对点群数据进行编码来生成编码数据，

生成包含所述编码数据的比特流，

20.一种三维数据解码装置，其中，具备：

处理器；以及

存储器，

所述处理器使用所述存储器，