CN111989713A - 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置 - Google Patents

三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置 Download PDF

Info

Publication number
CN111989713A
CN111989713A CN201980024063.1A CN201980024063A CN111989713A CN 111989713 A CN111989713 A CN 111989713A CN 201980024063 A CN201980024063 A CN 201980024063A CN 111989713 A CN111989713 A CN 111989713A
Authority
CN
China
Prior art keywords
dimensional data
information
dimensional
encoding
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980024063.1A
Other languages
English (en)
Inventor
王驰
P·拉桑
韩中定
杉尾敏康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN111989713A publication Critical patent/CN111989713A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Abstract

三维数据编码方法对三维数据所包含的多个三维点的N(N是2以上的整数)叉树结构所包含的对象节点的信息进行编码，在所述编码中，对表示与对象节点在空间上相邻的多个相邻节点中的、可参照的相邻节点的范围的第1信息进行编码(S2541)，参照所述范围内的相邻节点对对象节点进行编码(S2542)。例如，在所述编码中，也可以基于在所述范围内的相邻节点中是否存在三维点，选择编码表，使用所选择的编码表，对所述对象节点的信息进行熵编码。

Description

三维数据编码方法、三维数据解码方法、三维数据编码装置、 以及三维数据解码装置
技术领域
本公开涉及三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置。
背景技术
在用于汽车或机器人自主地进行工作的计算机视觉、地图信息、监控、基础结构检查、或影像分发等较大的领域中，今后将会普及灵活运用了三维数据的装置或服务。三维数据通过测距仪等距离传感器、立体摄影机、或多个单眼相机的组合等各种方法来获得。
作为三维数据的一个表现方法有被称作点云的表现方法，该方法通过三维空间内的点群来表现三维结构的形状(例如，参照非专利文献1)。在点云中存放了点群的位置以及颜色。虽然预想点云作为三维数据的表现方法将成为主流，但是，点群的数据量非常大。因此，在三维数据的蓄积或传输中与二维的动态图像(作为一个例子，有以MPEG而被标准化后的MPEG-4AVC或HEVC等)一样，需要通过编码来进行数据量的压缩。
并且，关于点云的压缩，有一部分由进行点云关联的处理的公开的程序库(PointCloud Library：点云库)等支持。
并且，有周知的利用三维的地图数据，检索在车辆周边的设施，并进行显示的技术(例如，参照专利文献1)。
现有技术文献
专利文献
专利文献1国际公开第2014/020663号
发明内容
发明要解决的问题
希望在三维数据的编码中能够降低处理量。
本公开的目的是提供一种能够降低处理量的三维数据编码方法、三维数据解码方法、三维数据编码装置或三维数据解码装置。
用来解决课题的手段
本公开的一个方式的三维数据编码方法对三维数据所包含的多个三维点的N(N为2以上的整数)叉树结构中包含的对象节点的信息进行编码，在所述编码中，对表示与所述对象节点在空间上相邻的多个相邻节点中的、可参照的相邻节点的范围的第1信息进行编码，参照所述范围内的相邻节点对所述对象节点进行编码。
本公开的一个方式的三维数据解码方法对三维数据所包含的多个三维点的N(N为2以上的整数)叉树结构中包含的对象节点的信息进行解码，在所述解码中，从比特流中解码表示与所述对象节点在空间上相邻的多个相邻节点中的、可参照的相邻节点的范围的第1信息，参照所述范围内的相邻节点对所述对象节点进行解码。
发明效果
本公开能够提供能够降低处理量的三维数据编码方法、三维数据解码方法、三维数据编码装置或三维数据解码装置。
附图说明
图1示出了实施方式1的编码三维数据的构成。
图2示出了属于实施方式1的GOS的最下层的SPC间的预测结构的一个例子。
图3示出了实施方式1的层间的预测结构的一个例子。
图4示出了实施方式1的GOS的编码顺序的一个例子。
图5示出了实施方式1的GOS的编码顺序的一个例子。
图6是实施方式1的三维数据编码装置的框图。
图7是实施方式1的编码处理的流程图。
图8是实施方式1的三维数据解码装置的框图。
图9是实施方式1的解码处理的流程图。
图10示出了实施方式1的元信息的一个例子。
图11示出了实施方式2的SWLD的构成例。
图12示出了实施方式2的服务器以及客户端的工作例。
图13示出了实施方式2的服务器以及客户端的工作例。
图14示出了实施方式2的服务器以及客户端的工作例。
图15示出了实施方式2的服务器以及客户端的工作例。
图16是实施方式2的三维数据编码装置的框图。
图17是实施方式2的编码处理的流程图。
图18是实施方式2的三维数据解码装置的框图。
图19是实施方式2的解码处理的流程图。
图20示出了实施方式2的WLD的构成例。
图21示出了实施方式2的WLD的八叉树结构的例子。
图22示出了实施方式2的SWLD的构成例。
图23示出了实施方式2的SWLD的八叉树结构的例子。
图24是实施方式3的三维数据制作装置的框图。
图25是实施方式3的三维数据发送装置的框图。
图26是实施方式4的三维信息处理装置的框图。
图27是实施方式5的三维数据制作装置的框图。
图28示出了实施方式6的系统的构成。
图29是实施方式6的客户端装置的框图。
图30是实施方式6的服务器的框图。
图31是由实施方式6的客户端装置进行的三维数据制作处理的流程图。
图32是由实施方式6的客户端装置进行的传感器信息发送处理的流程图。
图33是由实施方式6的服务器进行的三维数据制作处理的流程图。
图34是由实施方式6的服务器进行的三维地图发送处理的流程图。
图35示出了实施方式6的系统的变形例的构成。
图36示出了实施方式6的服务器以及客户端装置的构成。
图37是实施方式7的三维数据编码装置的框图。
图38示出了实施方式7的预测残差的例子。
图39示出了实施方式7的体积的例子。
图40示出了实施方式7的体积的八叉树表现的例子。
图41示出了实施方式7的体积的比特串的例子。
图42示出了实施方式7的体积的八叉树表现的例子。
图43示出了实施方式7的体积的例子。
图44是用于说明实施方式7的帧内预测处理的图。
图45是用于说明实施方式7的旋转以及平移处理的图。
图46示出了实施方式7的RT适用标志以及RT信息的句法的例子。
图47是用于说明实施方式7的帧间预测处理的图。
图48是实施方式7的三维数据解码装置的框图。
图49是由实施方式7的三维数据编码装置进行的三维数据编码处理的流程图。
图50是由实施方式7的三维数据解码装置进行的三维数据解码处理的流程图。
图51示出了实施方式8的分发系统的构成。
图52示出了实施方式8的编码三维地图的比特流的构成例。
图53是用于说明实施方式8的编码效率的改善效果的图。
图54是实施方式8的服务器进行的处理的流程图。
图55是实施方式8的客户端进行的处理的流程图。
图56示出了实施方式8的子地图的句法例子。
图57示意性地示出了实施方式8的编码类型的切换处理。
图58示出了实施方式8的子地图的句法例子。
图59是实施方式8的三维数据编码处理的流程图。
图60是实施方式8的三维数据解码处理的流程图。
图61示意性地示出了实施方式8的编码类型的切换处理的变形例的工作。
图62示意性地示出了实施方式8的编码类型的切换处理的变形例的工作。
图63示意性地示出了实施方式8的编码类型的切换处理的变形例的工作。
图64示意性地示出了实施方式8的差分值的算出处理的变形例的工作。
图65示意性地示出了实施方式8的差分值的算出处理的变形例的工作。
图66示意性地示出了实施方式8的差分值的算出处理的变形例的工作。
图67示意性地示出了实施方式8的差分值的算出处理的变形例的工作。
图68示出了实施方式8的体积的句法例子。
图69是表示实施方式9的重要区域的例子的图。
图70是表示实施方式9的占用率代码的一个例子的图。
图71是表示实施方式9的四叉树结构的一个例子的图。
图72是表示实施方式9的占用率代码及位置代码的一个例子的图。
图73是表示在实施方式9的LiDAR中得到的三维点的例子的图。
图74是表示实施方式9的八叉树结构的例子的图。
图75是表示实施方式9的混合编码的例子的图。
图76是用于说明实施方式9的位置编码和占用率编码的切换方法的图。
图77是表示实施方式9的位置编码的比特流的一个例子的图。
图78是表示实施方式9的混合编码的比特流的一个例子的图。
图79是表示实施方式9的重要三维点的占用率代码的树结构的图。
图80是表示实施方式9的非重要三维点的占用率代码的树结构的图。
图81是表示实施方式9的混合编码的比特流的一个例子的图。
图82是表示实施方式9的包含编码模式信息的比特流的一个例子的图。
图83是表示实施方式9的句法例的图。
图84是实施方式9的编码处理的流程图。
图85是实施方式9的节点编码处理的流程图。
图86是实施方式9的解码处理的流程图。
图87是实施方式9的节点解码处理的流程图。
图88是表示有关实施方式10的树结构的一例的图。
图89是表示有关实施方式10的各分支所具有的有效叶节点的数量的例子的图。
图90是表示有关实施方式10的编码方式的应用例的图。
图91是表示有关实施方式10的稠密的分支区域的例子的图。
图92是表示有关实施方式10的稠密的三维点群的例子的图。
图93是表示有关实施方式10的稀疏的三维点群的例子的图。
图94是有关实施方式10的编码处理的流程图。
图95是有关实施方式10的解码处理的流程图。
图96是有关实施方式10的编码处理的流程图。
图97是有关实施方式10的解码处理的流程图。
图98是有关实施方式10的编码处理的流程图。
图99是有关实施方式10的解码处理的流程图。
图100是表示有关实施方式10的三维点的分离处理的流程图。
图101是表示有关实施方式10的句法例的图。
图102是表示有关实施方式10的稠密的分支的例子的图。
图103是表示有关实施方式10的稀疏的分支的例子的图。
图104是有关实施方式10的变形例的编码处理的流程图。
图105是有关实施方式10的变形例的解码处理的流程图。
图106是有关实施方式10的变形例的三维点的分离处理的流程图。
图107是表示有关实施方式10的变形例的句法例的图。
图108是有关实施方式10的编码处理的流程图。
图109是有关实施方式10的解码处理的流程图。
图110是表示有关实施方式11的树结构的一例的图。
图111是表示有关实施方式11的占用率代码的一例的图。
图112是示意地表示有关实施方式11的三维数据编码装置的动作的图。
图113是表示有关实施方式11的几何信息的一例的图。
图114是表示有关实施方式11的使用几何信息的编码表的选择例的图。
图115是表示有关实施方式11的使用结构信息的编码表的选择例的图。
图116是表示有关实施方式11的使用属性信息的编码表的选择例的图。
图117是表示有关实施方式11的使用属性信息的编码表的选择例的图。
图118是表示有关实施方式11的比特流的结构例的图。
图119是表示有关实施方式11的编码表的一例的图。
图120是表示有关实施方式11的编码表的一例的图。
图121是表示有关实施方式11的比特流的结构例的图。
图122是表示有关实施方式11的编码表的一例的图。
图123是表示有关实施方式11的编码表的一例的图。
图124是表示有关实施方式11的占用率代码的比特号的一例的图。
图125是有关实施方式11的使用几何信息的编码处理的流程图。
图126是有关实施方式11的使用几何信息的解码处理的流程图。
图127是有关实施方式11的使用结构信息的编码处理的流程图。
图128是有关实施方式11的使用结构信息的解码处理的流程图。
图129是有关实施方式11的使用属性信息的编码处理的流程图。
图130是有关实施方式11的使用属性信息的解码处理的流程图。
图131是有关实施方式11的使用几何信息的编码表选择处理的流程图。
图132是有关实施方式11的使用结构信息的编码表选择处理的流程图。
图133是有关实施方式11的使用属性信息的编码表选择处理的流程图。
图134是有关实施方式11的三维数据编码装置的框图。
图135是有关实施方式11的三维数据解码装置的框图。
图136是表示实施方式12的八叉树结构中的参照关系的图。
图137是表示实施方式12的空间区域中的参照关系的图。
图138是表示实施方式12的相邻参照节点的例子的图。
图139是表示实施方式12的父节点和节点的关系的图。
图140是表示实施方式12的父节点的占用率代码的例子的图。
图141是表示实施方式12的三维数据编码装置的框图。
图142是表示实施方式12的三维数据解码装置的框图。
图143是表示实施方式12的三维数据编码处理的流程图。
图144是表示实施方式12的三维数据编码处理的流程图。
图145是表示实施方式12的编码表的切换例的图。
图146是表示实施方式12的变形例1的空间区域中的参照关系的图。
图147是表示实施方式12的变形例1的头部信息的句法例的图。
图148是表示实施方式12的变形例1的头部信息的句法例的图。
图149是表示实施方式12的变形例2的相邻参照节点的例子的图。
图150是表示实施方式12的变形例2的对象节点及相邻节点的例子的图。
图151是实施方式12的变形例3的八叉树结构中的参照关系的图。
图152是表示实施方式12的变形例3的空间区域中的参照关系的图。
图153是表示实施方式13的头部信息的句法例的图。
图154是表示实施方式13的模式信息为1的情况下的八叉树的结构例的图。
图155是表示实施方式13的模式信息为0的情况下的八叉树的结构例的图。
图156是表示实施方式13的节点的信息的句法例的图。
图157是实施方式13的三维数据编码处理的流程图。
图158是实施方式13的三维数据解码处理的流程图。
图159是实施方式13的三维数据编码装置的框图。
图160是实施方式13的三维数据解码装置的框图。
图161是实施方式13的三维数据编码处理的流程图。
图162是实施方式13的三维数据解码处理的流程图。
图163是表示实施方式14的1比特占有位置以及剩余比特的例子的图。
图164是用于说明实施方式14的是否应用占有位置编码的判定处理的图。
图165是表示实施方式14的节点的信息的句法例的图。
图166是实施方式14的三维数据编码处理的流程图。
图167是实施方式14的占有位置编码处理的流程图。
图168是实施方式14的三维数据解码处理的流程图。
图169是实施方式14的占有位置解码处理的流程图。
图170是实施方式14的三维数据编码装置的框图。
图171是实施方式14的三维数据解码装置的框图。
图172是实施方式14的三维数据编码处理的流程图。
图173是实施方式14的三维数据解码处理的流程图。
图174是用于说明实施方式15的重复点的图。
图175是用于说明实施方式15的针对重复点的处理的图。
图176是表示实施方式15的头部信息的句法例的图。
图177是表示实施方式15的节点的信息的句法例的图。
图178是实施方式15的三维数据编码处理的流程图。
图179是实施方式15的三维数据编码处理的流程图。
图180是实施方式15的三维数据解码处理的流程图。
图181是实施方式15的三维数据编码装置的框图。
图182是实施方式15的三维数据解码装置的框图。
图183是实施方式15的三维数据编码处理的变形例的流程图。
图184是用于说明实施方式15的针对重复点的处理的图。
图185是表示实施方式16的相邻节点的例子的图。
图186是表示实施方式16的成为搜索对象的节点的例子的图。
图187是用于说明实施方式16的相邻节点的搜索处理的图。
图188是用于说明实施方式16的相邻信息的更新处理的图。
图189是用于说明实施方式16的相邻信息的更新处理的图。
图190是用于说明设置了实施方式16的搜索阈值的搜索处理的图。
图191是表示实施方式16的使用了莫顿码的索引的例子的图。
图192是表示实施方式16的使用了莫顿码的队列的例子的图。
图193是实施方式16的三维数据编码装置的框图。
图194是实施方式16的三维数据解码装置的框图。
图195是实施方式16的三维数据编码处理的流程图。
图196是实施方式16的三维数据解码处理的流程图。
图197是表示实施方式16的头部信息的句法例的图。
图198是表示实施方式16的节点的信息的句法例的图。
图199是实施方式16的三维数据编码处理的流程图。
图200是实施方式16的三维数据解码处理的流程图。
图201是实施方式16的三维数据编码处理的流程图。
图202是实施方式16的三维数据解码处理的流程图。
具体实施方式
本公开的一个方式的三维数据编码方法对三维数据所包含的多个三维点的N(N为2以上的整数)叉树结构中包含的对象节点的信息进行编码，在所述编码中，对表示与所述对象节点在空间上相邻的多个相邻节点中的、可参照的相邻节点的范围的第1信息进行编码，参照所述范围内的相邻节点对所述对象节点进行编码。
由此，该三维数据编码方法能够限制可参照的相邻节点，因此能够降低处理量。
例如，也可以是，在所述编码中，基于在所述范围内的相邻节点中是否存在三维点，选择编码表，使用所选择的编码表，对所述对象节点的信息进行熵编码。
例如，也可以是，在所述编码中，搜索与所述对象节点在空间上相邻的所述多个相邻节点中的、所述可参照的相邻节点的信息，所述第1信息表示所述搜索的范围。
例如，也可以是，在所述搜索中，按照预先规定的顺序搜索多个节点的信息，所述第1信息表示进行所述搜索的节点的数量。
例如，也可以是，在所述搜索中，使用莫顿码的索引。
例如，也可以是，在所述编码中，对第2信息进行编码，所述第2信息表示是否对所述可参照的相邻节点的范围设置限制，在由所述第2信息表示对所述可参照的相邻节点的范围设置限制的情况下，对所述第1信息进行编码。
例如，也可以是，所述可参照的相邻节点的范围在所述N叉树结构中根据所述对象节点所属的层而不同。
本公开的一个方式的三维数据解码方法对三维数据所包含的多个三维点的N(N为2以上的整数)叉树结构中包含的对象节点的信息进行解码，在所述解码中，从比特流中解码表示与所述对象节点在空间上相邻的多个相邻节点中的、可参照的相邻节点的范围的第1信息，参照所述范围内的相邻节点对所述对象节点进行解码。
由此，该三维数据解码方法能够限制可参照的相邻节点，因此能够降低处理量。
例如，也可以是，在所述解码中，基于在所述范围内的相邻节点中是否存在三维点，选择编码表，使用所选择的编码表，对所述对象节点的信息进行熵解码。
例如，也可以是，在所述解码中，搜索与所述对象节点在空间上相邻的所述多个相邻节点中的、所述可参照的相邻节点的信息，所述第1信息表示所述搜索的范围。
例如，也可以是，在所述搜索中，按照预先规定的顺序搜索多个节点的信息，所述第1信息表示进行所述搜索的节点的数量。
例如，也可以是，在所述搜索中，使用莫顿码的索引。
例如，也可以是，在所述解码中，对表示是否对所述可参照的相邻节点的范围设置限制的第2信息进行解码，在由所述第2信息表示对所述可参照的相邻节点的范围设置限制的情况下，对所述第1信息进行解码。
例如，也可以是，所述可参照的相邻节点的范围在所述N叉树结构中根据所述对象节点所属的层而不同。
另外，本公开的一个方式的三维数据编码装置具备处理器和存储器，所述处理器使用所述存储器对三维数据所包含的多个三维点的N(N为2以上的整数)叉树结构中包含的对象节点的信息进行编码，在所述编码中，对表示与所述对象节点在空间上相邻的多个相邻节点中的、可参照的相邻节点的范围的第1信息进行编码，参照所述范围内的相邻节点对所述对象节点进行编码。
由此，该三维数据编码装置能够限制可参照的相邻节点，因此能够降低处理量。
另外，本公开的一个方式的三维数据解码装置具备处理器和存储器，所述处理器使用所述存储器，对三维数据所包含的多个三维点的N(N为2以上的整数)叉树结构所包含的对象节点的信息进行解码，在所述解码中，从比特流中解码表示与所述对象节点在空间上相邻的多个相邻节点中的、可参照的相邻节点的范围的第1信息，参照所述范围内的相邻节点对所述对象节点进行解码。
由此，该三维数据解码装置能够限制可参照的相邻节点，因此能够降低处理量。
另外，这些概括性的或具体的形态可以由系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，而且可以由系统、方法、集成电路、计算机程序以及记录介质的任意的组合来实现。
以下参照附图对实施方式进行具体说明。另外，以下将要说明的实施方式均为示出本公开的一个具体例子。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接形态、步骤、步骤的顺序等均为一个例子，其主旨并非是对本公开进行限定。并且，针对以下的实施方式的构成要素之中没有记载在示出最上位概念的技术方案中的构成要素，作为任意的构成要素来说明。
(实施方式1)
首先，对本实施方式所涉及的编码三维数据(以下也记作编码数据)的数据结构进行说明。图1示出了本实施方式所涉及的编码三维数据的构成。
在本实施方式中，三维空间被分割为相当于动态图像的编码中的图片的空间(SPC)，以空间为单位对三维数据进行编码。空间被进一步分割为相当于动态图像编码中的宏块等的体积(VLM)，以VLM为单位进行预测以及转换。体积包括与位置坐标相对应的最小单位即多个体素(VXL)。另外，预测是指，与二维图像中进行的预测相同，参照其他的处理单位，生成与处理对象的处理单位类似的预测三维数据，并对该预测三维数据与处理对象的处理单位的差异进行编码。并且，该预测不仅包括参照同一时刻的其他的预测单位的空间预测，而且包括参照不同时刻的预测单位的时间预测。
例如，三维数据编码装置(以下也记作编码装置)在对由点云等的点群数据来表现的三维空间进行编码时，按照体素的大小，对点群的各个点或体素内所包含的多个点一并进行编码。若将体素细分，则能够对点群的三维形状进行高精确度的表现，若将体素的大小增大，则能够对点群的三维形状进行粗略的表现。
另外，以下虽然以三维数据为点云的情况为例进行说明，但是，三维数据并非受点云所限，也可以是任意形式的三维数据。
并且，可以利用阶层结构的体素。在这种情况下，在n次的阶层中，可以按顺序示出在n-1次以下的阶层(n次的阶层的下层)中是否存在采样点。例如，在仅对n次的阶层进行解码时，当在n-1次以下的阶层存在采样点的情况下，能够视为n次阶层的体素的中心存在采样点来进行解码。
并且，编码装置通过距离传感器、立体摄影机、单眼相机、回转仪、或惯性传感器等来获得点群数据。
关于空间，与动态图像的编码同样，至少被分类为以下3个预测结构的任一个，这3个预测结构为：能够单独解码的帧内空间(I-SPC)、仅能单向参照的预测空间(P-SPC)、以及能够双向参照的双向空间(B-SPC)。并且，空间具有解码时刻和显示时刻这两种时刻信息。
并且，如图1所示，作为包括多个空间的处理单位，有作为随机存取单位的GOS(Group Of Space：空间群)。而且，作为包括多个GOS的处理单位，存在世界空间(WLD)。
世界空间所占的空间区域通过GPS或纬度以及经度信息等，与地球上的绝对位置建立了对应。该位置信息作为元信息而被存放。另外，元信息可以包含在编码数据中，也可以与编码数据分开来传输。
并且，在GOS内，所有的SPC可以是三维上的邻接，也可以存在与其他的SPC不是三维上邻接的SPC。
另外，以下将与GOS、SPC或VLM等处理单位中包含的三维数据所对应的编码、解码或参照等处理，也简单地记作对处理单位进行编码、解码或参照等。并且，处理单位中所包含的三维数据例如包括三维坐标等空间位置与颜色信息等特性值的至少一个组。
接着，对GOS中的SPC的预测结构进行说明。同一GOS内的多个SPC、或同一SPC内的多个VLM虽然彼此占有不同的空间，却持有相同的时刻信息(解码时刻以及显示时刻)。
并且，在GOS内，在解码顺序上为开头的SPC是I-SPC。并且，GOS中存在封闭式GOS和开放式GOS这两种。封闭式GOS是从开头I-SPC开始解码时，能够对GOS内的所有的SPC进行解码的GOS。在开放式GOS中，在GOS内，比开头I-SPC的显示时刻早的一部分SPC参照不同的GOS，只能在该GOS进行解码。
另外，在地图信息等的编码数据中，有从与编码顺序相反的方向对WLD进行解码的情况，若在GOS间存在依存性，则难以进行逆方向再生。因此，在这种情况下，基本上采用封闭式GOS。
并且，GOS在高度方向上具有层结构，从底下的层的SPC开始顺序进行编码或解码。
图2示出了属于GOS的最下层的层的SPC间的预测结构的一个例子。图3示出了层间的预测结构的一个例子。
在GOS内中存在一个以上的I-SPC。在三维空间内虽然存在人、动物、汽车、自行车、信号灯、或成为陆上标志的建筑物等对象，但是，尤其是将尺寸小的对象作为I-SPC来编码时有效。例如，三维数据解码装置(以下也记作解码装置)在对GOS以低处理量或高速进行解码时，仅对GOS内的I-SPC进行解码。
并且，编码装置可以按照WLD内的对象的疏密程度，对I-SPC的编码间隔或出现频率进行切换。
并且，在图3所示的构成中，编码装置或解码装置针对多个层从下层(层1)开始依次进行编码或解码。据此，例如针对自动行走的车辆等而言，能够提高信息量多的地面附近的数据的优先级。
另外，在无人机(drone)等使用的编码数据中，在GOS内，可以从高度方向的上方的层的SPC开始依次进行编码或解码。
并且，编码装置或解码装置也可以是以解码装置大致掌握GOS并能够逐渐提高分辨率的方式，来对多个层进行编码或解码。例如，编码装置或解码装置可以按照层3、8、1、9……的顺序进行编码或解码。
接着，对静态对象以及动态对象的对应方法进行说明。
在三维空间中存在建筑物或道路等静态对象或场景(以后统一称为静态对象)、以及车辆或人等动态对象(以后称为动态对象)。对象的检测可以通过从点云的数据、或立体摄影机等拍摄影像等中提取特征点来另外执行。在此，对动态对象的编码方法的例子进行说明。
第1方法是不区别静态对象与动态对象而进行编码的方法。第2方法是通过识别信息来区别静态对象与动态对象的方法。
例如，GOS被用作识别单位。在这种情况下，包括构成静态对象的SPC的GOS、与包括构成动态对象的SPC的GOS在编码数据内、或由与编码数据分开存放的识别信息来区別。
或者，SPC被用作识别单位。在这种情况下，仅包括构成静态对象的VLM的SPC、与包括构成动态对象的VLM的SPC，由上述的识别信息来区別。
或者，可以将VLM或VXL用作识别单位。在这种情况下，包括静态对象的VLM或VXL、与包括动态对象的VLM或VXL由上述的识别信息来区別。
并且，编码装置可以将动态对象作为一个以上的VLM或SPC来进行编码，将包括静态对象的VLM或SPC、与包括动态对象的SPC作为彼此不同的GOS来进行编码。并且，编码装置在按照动态对象的大小而GOS的大小成为可变的情况下，将GOS的大小作为元信息来另外存放。
并且，编码装置使静态对象与动态对象彼此独立地编码，针对由静态对象构成的世界空间，可以重叠动态对象。此时，动态对象由一个以上的SPC构成，各SPC与构成重叠了该SPC的静态对象一个以上的SPC对应。另外，动态对象可以不由SPC来表现，可以由一个以上的VLM或VXL来表现。
并且，编码装置可以将静态对象与动态对象作为彼此不同的流来编码。
并且，编码装置也可以生成包括构成动态对象的一个以上的SPC的GOS。而且，编码装置可以将包括动态对象的GOS(GOS_M)、与和GOS_M的空间区域对应的静态对象的GOS设定为大小相同(占有相同的空间区域)。这样，能够以GOS为单位来进行重叠处理。
构成动态对象的P-SPC或B-SPC也可以参照编码完毕的不同的GOS中包含的SPC。动态对象的位置随着时间发生变化，同一动态对象作为不同时刻的GOS而被编码的情况中，跨越GOS的参照从压缩率的观点来看是有效的。
并且，也可以按照编码数据的用途，来对上述的第1方法与第2方法进行切换。例如，在编码三维数据作为地图而被应用的情况下，由于希望与动态对象分离，因此，编码装置采用第2方法。另外，编码装置在对音乐会或体育等活动的三维数据进行编码的情况下，若无需对动态对象进行分离，则采用第1方法。
并且，GOS或SPC的解码时刻与显示时刻能够存放在编码数据内、或作为元信息存放。并且，静态对象的时刻信息可以全部相同。此时，实际的解码时刻与显示时刻可以由解码装置来决定。或者，作为解码时刻，按照每个GOS或SPC来赋予不同的值，作为显示时刻，也可以全被赋予同一个值。而且，如HEVC的HRD(Hypothetical Reference Decoder)等动态图像编码中的解码器模式所示，解码器具有规定的大小的缓冲器，只要按照解码时刻，以规定的比特率读取比特流，就可以导入不会被破坏且保证能够解码的模型。
接着，对世界空间内的GOS的配置进行说明。世界空间中的三维空间的坐标由彼此正交的3个坐标轴(x轴、y轴、z轴)来表现。通过在GOS的编码顺序中设定规定的规则，从而在空间上邻接的GOS能够在编码数据内进行连续的编码。例如在图4所示的例子中，对xz平面内的GOS进行连续的编码。在一个xz平面内的所有的GOS的编码结束后，对y轴的值进行更新。即，随着不断地编码，世界空间向y轴方向延伸。并且，GOS的索引编号被设定为编码顺序。
在此，世界空间的三维空间与GPS、或纬度以及经度等地理上的绝对坐标一一对应。或者，可以由相对于预先设定的基准位置的相对位置来表现三维空间。三维空间的x轴、y轴、z轴的方向作为基于纬度以及经度等而被决定的方向矢量来表现，该方向矢量作为元信息与编码数据一同存放。
并且，GOS的大小被设定为固定，编码装置将该大小作为元信息来存放。并且，GOS的大小例如可以根据是否为市内或者室内、室外等来进行切换。即，GOS的大小可以按照具有作为信息的价值的对象的量或性质来进行切换。或者，编码装置可以在同一世界空间内，按照对象的密度等，对GOS的大小、或GOS内的I-SPC的间隔进行恰当地切换。例如，编码装置在对象的密度越高的情况下，就越将GOS的大小设定为小、将GOS内的I-SPC的间隔设定为短。
在图5的例子中，在从第3至第10个GOS的区域中，由于对象的密度高，因此，为了实现微小粒度的随机存取，则GOS被细分。并且，从第7到第10个GOS分别存在于第3至第6个GOS的背面。
接着，对本实施方式所涉及的三维数据编码装置的构成以及工作的流程进行说明。图6是本实施方式所涉及的三维数据编码装置100的方框图。图7是示出三维数据编码装置100的工作例子的流程图。
图6所示的三维数据编码装置100通过对三维数据111进行编码，来生成编码三维数据112。该三维数据编码装置100具备：获得部101、编码区域决定部102、分割部103、以及编码部104。
如图7所示，首先，获得部101获得作为点群数据的三维数据111(S101)。
接着，编码区域决定部102从获得的点群数据所对应的空间区域中，决定编码对象的区域(S102)。例如，编码区域决定部102按照用户或车辆的位置，将该位置的周边的空间区域决定为编码对象的区域。
接着，分割部103将编码对象的区域中包含的点群数据分割为各个处理单位。在此，处理单位是上述的GOS以及SPC等。并且，该编码对象的区域例如与上述的世界空间对应。具体而言，分割部103根据预先设定的GOS的大小、动态对象的有无或大小，将点群数据分割为处理单位(S103)。并且，分割部103在各个GOS中决定在编码顺序中成为开头的SPC的开始位置。
接着，编码部104通过对各个GOS内的多个SPC进行依次编码，来生成编码三维数据112(S104)。
另外，在此，在将编码对象的区域分割为GOS以及SPC之后，虽然示出了对各个GOS进行编码的例子，不过，处理的顺序并非受上述所限。例如，可以在决定了一个GOS的构成之后，对该GOS进行编码，在此之后决定GOS的构成等顺序。
这样，三维数据编码装置100通过对三维数据111进行编码，来生成编码三维数据112。具体而言，三维数据编码装置100将三维数据分割为随机存取单位，即分割为分别与三维坐标对应的第1处理单位(GOS)，将第1处理单位(GOS)分割为多个第2处理单位(SPC)，将第2处理单位(SPC)分割为多个第3处理单位(VLM)。并且，第3处理单位(VLM)包括一个以上的体素(VXL)，体素(VXL)是与位置信息对应的最小单位。
接着，三维数据编码装置100通过对多个第1处理单位(GOS)的每一个进行编码，来生成编码三维数据112。具体而言，三维数据编码装置100在各个第1处理单位(GOS)，对多个第2处理单位(SPC)的每一个进行编码。并且，三维数据编码装置100在各个第2处理单位(SPC)，对多个第3处理单位(VLM)的每一个进行编码。
例如，三维数据编码装置100在处理对象的第1处理单位(GOS)为封闭式GOS的情况下，针对处理对象的第1处理单位(GOS)中包含的处理对象的第2处理单位(SPC)，参照处理对象的第1处理单位(GOS)中包含的其他的第2处理单位(SPC)进行编码。即，三维数据编码装置100不参照与处理对象的第1处理单位(GOS)不同的第1处理单位(GOS)中包含的第2处理单位(SPC)。
并且，在处理对象的第1处理单位(GOS)为开放式GOS的情况下，针对处理对象的第1处理单位(GOS)中包含的处理对象的第2处理单位(SPC)，参照处理对象的第1处理单位(GOS)中包含的其他的第2处理单位(SPC)、或与处理对象的第1处理单位(GOS)不同的第1处理单位(GOS)中包含的第2处理单位(SPC)进行编码。
并且，三维数据编码装置100，作为处理对象的第2处理单位(SPC)的类型，从不参照其他的第2处理单位(SPC)的第1类型(I-SPC)、参照其他的一个第2处理单位(SPC)的第2类型(P-SPC)、以及参照其他的两个第2处理单位(SPC)的第3类型中选择一个，并按照选择的类型，对处理对象的第2处理单位(SPC)进行编码。
接着，对本实施方式所涉及的三维数据解码装置的构成以及工作的流程进行说明。图8是本实施方式所涉及的三维数据解码装置200的方框图。图9是示出三维数据解码装置200的工作例子的流程图。
图8所示的三维数据解码装置200通过对编码三维数据211进行解码，来生成解码三维数据212。在此，编码三维数据211例如是在三维数据编码装置100生成的编码三维数据112。该三维数据解码装置200具备：获得部201、解码开始GOS决定部202、解码SPC决定部203、以及解码部204。
首先，获得部201获得编码三维数据211(S201)。接着，解码开始GOS决定部202决定为解码对象的GOS(S202)。具体而言，解码开始GOS决定部202参照编码三维数据211内或与编码三维数据分别存放的元信息，将包括开始解码的空间位置、对象、或与时刻对应的SPC的GOS决定为解码对象的GOS。
接着，解码SPC决定部203决定在GOS内进行解码的SPC的类型(I、P、B)(S203)。例如，解码SPC决定部203对(1)是否仅解码I-SPC、(2)是否解码I-SPC以及P-SPC、(3)是否解码所有的类型进行决定。另外，在解码所有的SPC等预先规定了将要解码的SPC的类型的情况下，也可以不进行本步骤。
接着，解码部204获得在GOS内的解码顺序(与编码顺序相同)中为开头的SPC，在编码三维数据211内开始的地址位置，从该地址位置获得开头SPC的编码数据，从该开头SPC依次对各个SPC进行解码(S204)。并且，上述地址位置被存放在元信息等中。
这样，三维数据解码装置200对解码三维数据212进行解码。具体而言，三维数据解码装置200通过对分别与三维坐标对应的第1处理单位(GOS)的编码三维数据211的每一个进行解码，来生成作为随机存取单位的第1处理单位(GOS)的解码三维数据212。更具体而言，三维数据解码装置200在各个第1处理单位(GOS)对多个第2处理单位(SPC)的每一个进行解码。并且，三维数据解码装置200在各个第2处理单位(SPC)对多个第3处理单位(VLM)的每一个进行解码。
以下对随机存取用的元信息进行说明。该元信息由三维数据编码装置100生成，包含在编码三维数据112(211)中。
在以往的二维的动态图像的随机存取中，解码是从指定的时刻的附近的随机存取单位的开头帧开始的。然而，在世界空间中，除了时刻以外还设想了针对(坐标或对象等)的随机存取。
因此，为了至少实现对坐标、对象、以及时刻这3个要素的随机存取，准备了对各个要素与GOS的索引编号建立了对应的表。而且，将GOS的索引编号与成为GOS的开头的I-SPC的地址建立对应。图10示出了元信息中包含的表的一个例子。另外，无需使用图10所示的所有的表，至少使用一个表即可。
以下作为一个例子，对以坐标为起点的随机存取进行说明。在针对坐标(x2、y2、z2)进行存取时，首先参照坐标-GOS表，可以知道坐标为(x2、y2、z2)的地点包含在第2个GOS中。接着，参照GOS地址表，由于可以知道第2个GOS中开头的I-SPC的地址为addr(2)，因此解码部204从该地址获得数据，并开始解码。
另外，地址可以是逻辑格式中的地址，也可以是HDD或存储器的物理地址。并且，也可以取代地址而采用对文件段进行确定的信息。例如，文件段是对一个以上的GOS等进行分段后的单位。
并且，在对象为跨越多个GOS的情况下，在对象GOS表中也可以示出多个对象所属的GOS。若该多个GOS为封闭式GOS，编码装置以及解码装置能够并行进行编码或解码。另外，若该多个GOS为开放式GOS，则通过多个GOS彼此相互参照，从而能够进一步提高压缩效率。
作为对象的例子有人、动物、汽车、自行车、信号灯、或成为陆上标志的建筑物等。例如，三维数据编码装置100在世界空间的编码时，从三维的点云等中提取对象所特有的特征点，根据该特征点来检测对象，并能够将检测的对象设定为随机存取点。
这样，三维数据编码装置100生成第1信息，该第1信息示出多个第1处理单位(GOS)、以及与多个第1处理单位(GOS)的每一个对应的三维坐标。并且，编码三维数据112(211)包括该第1信息。并且，第1信息进一步示出与多个第1处理单位(GOS)的每一个对应的对象、时刻以及数据存放目的地之中的至少一个。
三维数据解码装置200从编码三维数据211中获得第1信息，利用第1信息来确定与被指定的三维坐标、对象或时刻对应的第1处理单位的编码三维数据211，并对该编码三维数据211进行解码。
以下对其他的元信息的例子进行说明。除了随机存取用的元信息以外，三维数据编码装置100还可以生成并存放以下的元信息。并且，三维数据解码装置200也可以将该元信息在解码时利用。
在将三维数据作为地图信息来利用的情况下等，按照用途来规定档次(profile)，示出该档次的信息可以包含在元信息内。例如规定了面向市区或郊外的档次、或者规定了面向飞行物的档次，并且分别定义了世界空间、SPC或VLM的最大或最小的大小等。例如，在面向市区的档次中，需要比郊外更详细的信息，因此VLM的最小尺寸被设定得较小。
元信息也可以包括示出对象的种类的标签值。该标签值与构成对象的VLM、SPC、或GOS对应。可以按照对象的种类等来设定标签值，例如标签值“0”表示“人”、标签值“1”表示“汽车”、标签值“2”表示“信号灯”。或者，在对象的种类难以判断或不需要判断的情况下，也可以使用表示大小、或是动态对象还是静态对象等性质的标签值。
并且，元信息也可以包括示出世界空间所占的空间区域的范围的信息。
并且，元信息也可以作为编码数据的流全体、或GOS内的SPC等多个SPC所共用的头部信息，来存放SPC或VXL的大小。
并且，元信息也可以包括点云的生成中所使用的距离传感器或摄像机等识别信息，或者包括示出点云内的点群的位置精确度的信息。
并且，元信息可以包括示出世界空间是仅由静态对象构成还是含有动态对象的信息。
以下对本实施方式的变形例进行说明。
编码装置或解码装置可以对彼此不同的两个以上的SPC或GOS并行进行编码或解码。并行进行编码或解码的GOS能够根据示出GOS的空间位置的元信息等来决定。
在将三维数据作为车辆或飞行物体等移动时的空间地图来使用、或者生成这种空间地图的情况等中，编码装置或解码装置可以对基于GPS、路径信息、或缩放倍率等而被确定的空间中包含的GOS或SPC进行编码或解码。
并且，解码装置也可以从离自身位置或行走路径近的空间开始依次进行解码。编码装置或解码装置也可以使离自身位置或行走路径远的空间的优先级比近的空间的优先级低，来进行编码或解码。在此，使优先级降低是指，降低处理顺序、降低分辨率(筛选后处理)、或降低画质(提高编码效率。例如加大量化步长)等。
并且，解码装置在对空间内被分阶层编码的编码数据进行解码时，也可以仅解码低阶层。
并且，解码装置也可以按照地图的缩放倍率或用途，先从低阶层开始进行解码。
并且，在汽车或机器人的自动走行时所进行的自身位置估计或物体识别等用途中，编码装置或解码装置也可以将距离路面规定高度以内的区域(进行识别的区域)之外的区域的分辨率降低来进行编码或解码。
并且，编码装置也可以对表现室内和室外的空间形状的点云分别独立地进行编码。例如通过将表现室内的GOS(室内GOS)与表现室外的GOS(室外GOS)分开，从而解码装置在利用编码数据时，能够按照视点位置来选择将要解码的GOS。
并且，编码装置可以使坐标近的室内GOS和室外GOS在编码流中邻接，来进行编码。例如，编码装置将两者的标识符对应起来，对示出在编码流内、或另外存放的元信息内建立了对应的标识符的信息进行存放。据此，解码装置能够参照元信息内的信息，来识别坐标近的室内GOS与室外GOS。
并且，编码装置也可以在室内GOS与室外GOS对GOS或SPC的大小进行切换。例如，编码装置在室内与室外相比，将GOS的大小设定得较小。并且，编码装置也可以在室内GOS和室外GOS，对从点云提取特征点时的精确度或对象检测的精确度等进行变更。
并且，编码装置可以将用于解码装置将动态对象与静态对象进行区分显示的信息附加到编码数据。据此，解码装置能够对动态对象与红色框或说明用的文字等进行组合来表示。另外，解码装置也可以取代动态对象而仅用红色框或说明用文字来表示。并且，解码装置可以表示更详细的对象类别。例如，汽车可以采用红色框，人可以采用黄色框。
并且，编码装置或解码装置可以按照动态对象的出现频度、或静态对象与动态对象的比例等，将动态对象与静态对象作为不同的SPC或GOS，来决定是否进行编码或解码。例如，在动态对象的出现频度或比例超过阈值的情况下，动态对象与静态对象混在的SPC或GOS则被允许，在动态对象的出现频度或比例没有超过阈值的情况下，动态对象与静态对象混在的SPC或GOS则不会被允许。
在动态对象不是从点云而是从摄像机的二维图像信息检测时，编码装置可以对用于识别检测结果的信息(框或文字等)与对象位置分别获得，将这些信息作为三维的编码数据的一部分来编码。在这种情况下，解码装置针对静态对象的解码结果，使表示动态对象的辅助信息(框或文字)重叠显示。
并且，编码装置可以按照静态对象的形状的复杂程度等，对VXL或VLM的疏密程度进行变更。例如，编码装置在静态对象的形状越复杂的情况下，就越将VXL或VLM设定成密。而且，编码装置可以按照VXL或VLM的疏密程度，来决定在对空间位置或颜色信息进行量化时的量化步长等。例如，编码装置在VXL或VLM越密的情况下，就越将量化步长设定为小。
如以上所示，本实施方式所涉及的编码装置或解码装置以具有坐标信息的空间单位，来进行空间的编码或解码。
并且，编码装置以及解码装置在空间内以体积单位来进行编码或解码。体积包括与位置信息对应的最小单位即体素。
并且，编码装置以及解码装置通过将包括坐标、对象、以及时间等的空间信息的各个要素与GOP建立了对应的表、或在各个要素间对应的表，使任意的要素之间建立对应来进行编码或解码。并且，解码装置利用被选择的要素的值来判断坐标，并根据坐标来确定体积、体素或空间，对包括该体积或体素的空间、或被确定的空间进行解码。
并且，编码装置通过特征点提取或对象识别，来判断能够由要素选择的体积、体素或空间，并作为能够随机存取的体积、体素或空间来编码。
空间被分为三种类型，即：以该空间单体能够编码或解码的I-SPC、参照任意的一个处理完毕的空间来编码或解码的P-SPC、参照任意的两个处理完毕的空间来编码或解码的B-SPC。
一个以上的体积与静态对象或动态对象对应。包含静态对象的空间与包含动态对象的空间彼此作为不同的GOS而被编码或解码。即，包含静态对象的SPC与包含动态对象的SPC被分配到不同的GOS。
动态对象按每个对象来编码或解码，与仅包含静态对象的一个以上的空间对应。即，多个动态对象被分别编码，得到的多个动态对象的编码数据与仅包含静态对象的SPC对应。
编码装置以及解码装置提高GOS内的I-SPC的优先级，来进行编码或解码。例如，编码装置以使I-SPC的劣化减少的方式(解码后，原本的三维数据能够更忠实地被再现)来进行编码。并且，解码装置例如仅对I-SPC进行解码。
编码装置可以按照世界空间内的对象的疎密程度或数值(数量)，改变利用I-SPC的频度，来进行编码。即，编码装置按照三维数据中包含的对象的数量或疏密程度，来变更对I-SPC进行选择的频度。例如，编码装置在世界空间内的对象的密度越大的情况下，就越提高I空间的使用频度。
并且，编码装置以GOS为单位对随机存取点进行设定，将示出与GOS对应的空间区域的信息存放到头部信息。
编码装置例如采用默认值来作为GOS的空间大小。另外，编码装置也可以按照对象或动态对象的数值(数量)或疏密程度来变更GOS的大小。例如，编码装置在对象或动态对象越密或数量越多的情况下，就越将GOS的空间大小设定为小。
并且，空间或体积包括利用深度传感器、回转仪、或摄像机等传感器得到的信息而被导出的特征点群。特征点的坐标被设定为体素的中心位置。并且，通过体素的细分化，能够实现位置信息的高精确度化。
特征点群利用多个图片而被导出。多个图片至少具有以下的两种时刻信息，即：实际的时刻信息、以及与空间对应的在多个图片中的同一个时刻信息(例如，用于速率控制等的编码时刻)。
并且，以包括一个以上的空间的GOS为单位来进行编码或解码。
编码装置以及解码装置参照处理完毕的GOS内的空间，对处理对象的GOS内的P空间或B空间进行预测。
或者，编码装置以及解码装置不参照不同的GOS，利用处理对象的GOS内的处理完毕的空间，对处理对象的GOS内的P空间或B空间进行预测。
并且，编码装置以及解码装置以包括一个以上的GOS的世界空间为单位，来发送或接收编码流。
并且，GOS至少在世界空间内的一个方向上具有层结构，编码装置以及解码装置从下位层开始进行编码或解码。例如，能够随机存取的GOS属于最下位层。属于上位层的GOS仅参照属于同一层以下的层的GOS。即，GOS在预先规定的方向上被空间分割，包括分别具有一个以上的SPC的多个层。编码装置以及解码装置针对各个SPC，通过参照与该SPC为同一层或比该SPC下层的层中包含的SPC来进行编码或解码。
并且，编码装置以及解码装置在包括多个GOS的世界空间单位内，连续地对GOS进行编码或解码。编码装置以及解码装置将示出编码或解码的顺序(方向)的信息作为元数据进行写入或读取。即，编码数据包括示出多个GOS的编码顺序的信息。
并且，编码装置以及解码装置对彼此不同的两个以上的空间或GOS并行进行编码或解码。
并且，编码装置以及解码装置对空间或GOS的空间信息(坐标、大小等)进行编码或解码。
并且，编码装置以及解码装置对根据GPS、路径信息或倍率等与自己的位置或/以及区域大小有关的外部信息，而被确定的特定空间中包含的空间或GOS进行编码或解码。
编码装置或解码装置使离自己的位置远的空间的优先级低于离自己近的空间，来进行编码或解码。
编码装置按照倍率或用途，对世界空间中的一个方向进行设定，对在该方向上具有层结构的GOS进行编码。并且，解码装置针对按照倍率或用途而被设定的在世界空间的一个方向具有层结构的GOS，从下位层开始优先进行解码。
编码装置使室内和室外的空间中所包含的特征点提取、对象识别的精确度、或空间区域大小等发生变化。但是，编码装置以及解码装置将坐标近的室内GOS与室外GOS在世界空间内相邻来进行编码或解码，将这些标识符也对应起来进行编码或解码。
(实施方式2)
在将点云的编码数据用于实际的装置或服务时，为了抑制网络带宽，而希望按照用途来对所需要的信息进行收发。然而，至今的三维数据的编码结构中不存在这样的功能，因此也没有与此相对的编码方法。
在本实施方式中将要说明的是，用于提供在三维的点云的编码数据中，按照用途来对所需要的信息进行收发的功能的三维数据编码方法以及三维数据编码装置、还有对该编码数据进行解码的三维数据解码方法以及三维数据解码装置。
将具有一定以上的特征量的体素(VXL)定义为特征体素(FVXL)，将以FVXL构成的世界空间(WLD)定义为稀疏世界空间(SWLD)。图11示出了稀疏世界空间以及世界空间的构成例。在SWLD中包括：FGOS，是以FVXL构成的GOS；FSPC，是以FVXL构成的SPC；以及FVLM，是以FVXL构成的VLM。FGOS、FSPC以及FVLM的数据结构以及预测结构可以与GOS、SPC以及VLM相同。
特征量是指，对VXL的三维位置信息、或VXL位置的可见光信息进行表现的特征量，尤其是立体物的角部以及边缘等能够检测到较多的特征量。具体而言，该特征量虽然是以下所述的三维特征量或可见光的特征量，除此之外，只要是表示VXL的位置、亮度、或颜色信息等的特征量，可以是任意的特征量。
作为三维特征量，采用SHOT特征量(Signature of Histograms ofOrienTations：方位直方图特征)、PFH特征量(Point Feature Histograms：点特征直方图)、或PPF特征量(Point Pair Feature：点对特征)。
SHOT特征量通过对VXL周边进行分割，并对基准点与被分割的区域的法线向量的内积进行计算，进行直方图化而得到的。该SHOT特征量具有维数高、特征表现力高的特征。
PFH特征量是通过在VXL附近选择多个2点组，根据这2点算出法线向量等，并进行直方图化而得到的。该PFH特征量由于是直方图特征，针对少量干扰具有橹棒性，而且具有特征表现力高的特征。
PPF特征量是按照2点的VXL，利用法线向量等而算出的特征量。在该PPF特征量中，由于使用所有的VXL，因此针对遮蔽具有橹棒性。
并且，作为可见光的特征量，能够使用采用了图像的亮度梯度信息等信息的SIFT(Scale-Invariant Feature Transform：尺度不变特征转换)、SURF(Speeded Up RobustFeatures：加速稳健特征)、或HOG(Histogram of Oriented Gradients：方向梯度直方图)等。
SWLD是通过从WLD的各VXL算出上述特征量，并提取FVXL而生成的。在此，SWLD可以在WLD每次被更新时来更新，也可以是与WLD的更新定时无关，在一定时间经过后定期地进行更新。
SWLD可以按照每个特征量来生成。例如基于SHOT特征量的SWLD1和基于SIFT特征量的SWLD2所示，可以按照每个特征量来分别生成SWLD，并按照用途来区分使用SWLD。并且，也可以将算出的各FVXL的特征量作为特征量信息来保持到各FVXL。
接着，对稀疏世界空间(SWLD)的利用方法进行说明。由于SWLD仅包含特征体素(FVXL)，因此，与包括所有的VXL的WLD相比，数据大小一般比较小。
在利用特征量来实现某种目的的应用中，通过取代WLD而利用SWLD的信息，能够抑制从硬盘的读出时间，并且能够抑制网络传输时的频带以及传输时间。例如，作为地图信息，事先将WLD和SWLD保持到服务器，通过按照来自客户端的需求来将发送的地图信息切换为WLD或SWLD，从而能够抑制网络带宽以及传输时间。以下示出具体的例子。
图12以及图13示出了SWLD以及WLD的利用例。如图12所示，在作为车载装置的客户端1需要作为自身位置判断用途的地图信息的情况下，客户端1向服务器发送自身位置估计用的地图数据的获取需求(S301)。服务器按照该获取需求将SWLD发送给客户端1(S302)。客户端1利用接收的SWLD进行自身位置判断(S303)。此时，客户端1通过测距仪等距离传感器、立体摄像机、或多个单眼相机的组合等各种方法，来获取客户端1的周边的VXL信息，根据得到的VXL信息和SWLD来估计自身位置信息。在此，自身位置信息包括客户端1的三维位置信息以及朝向等。
如图13所示，在作为车载装置的客户端2需要作为三维地图等地图描绘的用途的地图信息的情况下，客户端2将地图描绘用的地图数据的获取需求发送给服务器(S311)。服务器按照该获取需求，将WLD发送给客户端2(S312)。客户端2利用接收的WLD来进行地图描绘(S313)。此时，客户端2例如使用自己用可见光摄像机等拍摄的图像、以及从服务器获取的WLD，来制成构思图像，将制成的图像描绘到汽车导航等画面。
如以上所示，服务器在主要需要自身位置估计这种各VXL的特征量的用途中，将SWLD发送给客户端，像地图描绘那样，在需要详细的VXL信息的情况下，将WLD发送给客户端。据此，能够高效地对地图数据进行收发。
另外，客户端可以判断自己需要SWLD和WLD的哪一个，并向服务器请求SWLD或WLD的发送。并且，服务器可以根据客户端或网络的状况，来判断应该发送SWLD或WLD的哪一个。
接着，将要说明的是对稀疏世界空间(SWLD)与世界空间(WLD)的收发进行切换的方法。
可以按照网络带宽来对WLD或SWLD的接收进行切换。图14示出了这种情况下的工作例。例如，在能够使用LTE(Long Term Evolution：长期演进)环境下等的网络带宽的低速网络被使用的情况下，客户端经由低速网络来向服务器进行存取时(S321)，从服务器获取作为地图信息的SWLD(S322)。另外在使用WiFi环境下等网络带宽有富余的高速网络的情况下，客户端经由高速网络来向服务器进行存取(S323)，从服务器获取WLD(S324)。据此，客户端能够按照该客户端的网络带宽来获取恰当的地图信息。
具体而言，客户端在室外经由LTE来接收SWLD，在进入到设施等室内的情况下，经由WiFi来获取WLD。据此，客户端能够获取室内的更加详细的地图信息。
这样，客户端可以按照自身所使用的网络的频带，向服务器请求WLD或SWLD。或者，客户端可以将示出自身所使用的网络的频带的信息发送给服务器，服务器按照该信息，向该客户端发送恰当的数据(WLD或SWLD)。或者，服务器可以判别客户端的网络带宽，向该客户端发送恰当的数据(WLD或SWLD)。
并且，可以按照移动速度来对WLD或SWLD的接收进行切换。图15示出了这种情况下的工作例。例如，在客户端高速移动的情况下(S331)，客户端从服务器接收SWLD(S332)。另外，在客户端低速移动的情况下(S333)，客户端从服务器接收WLD(S334)。据此，客户端既能够抑制网络带宽，又能够按照速度来获得地图信息。具体而言，客户端在高速公路行驶中，通过接收数据量少的SWLD，从而大致能够以恰当的速度来更新地图信息。另外，在客户端在一般道路行驶时，通过接收WLD，从而能够获取更加详细的地图信息。
这样，客户端可以按照自身的移动速度向服务器请求WLD或SWLD。或者，客户端可以将示出自身的移动速度的信息发送给服务器，服务器按照该信息，向该客户端发送恰当的数据(WLD或SWLD)。或者，服务器可以判别客户端的移动速度，向该客户端发送恰当的数据(WLD或SWLD)。
并且，也可以是，客户端先从服务器获取SWLD，而后获取其中的重要区域的WLD。例如，客户端在获取地图数据时，首先以SWLD获取概略的地图信息，从中筛选建筑物、标识、或人物等的特征出现较多的区域，之后再获得筛选后的区域的WLD。据此，客户端既能够抑制来自服务器的接收数据量，又能够获取所需要的区域的详细信息。
并且，也可以是，服务器根据WLD按照每个物体来分别制作SWLD，客户端按照用途来分别进行接收。据此，能够抑制网络带宽。例如，服务器从WLD中预先识别人或车，制作出人的SWLD和车的SWLD。客户端在想获取周围的人的信息的情况下，接收人的SWLD，在想获取车的信息的情况下，接收车的SWLD。并且，这种SWLD的种类可以根据被附加在头等的信息(标志或类型等)来区別。
接着，对本实施方式所涉及的三维数据编码装置(例如服务器)的构成以及工作的流程进行说明。图16是本实施方式所涉及的三维数据编码装置400的方框图。图17是由三维数据编码装置400进行三维数据编码处理的流程图。
图16所示的三维数据编码装置400，通过对输入三维数据411进行编码，从而生成作为编码流的编码三维数据413以及414。在此，编码三维数据413是与WLD对应的编码三维数据，编码三维数据414是与SWLD对应的编码三维数据。该三维数据编码装置400具备：获得部401、编码区域决定部402、SWLD提取部403、WLD编码部404、以及SWLD编码部405。
如图17所示，首先，获得部401获得作为三维空间内的点群数据的输入三维数据411(S401)。
接着，编码区域决定部402根据点群数据所存在的空间区域，来决定编码对象的空间区域(S402)。
接着，SWLD提取部403将编码对象的空间区域定义为WLD，根据WLD中包含的各VXL算出特征量。并且，SWLD提取部403提取特征量为预先规定的阈值以上的VXL，将提取的VXL定义为FVXL，通过将该FVXL追加到SWLD，从而生成提取三维数据412(S403)。即，从输入三维数据411提取特征量为阈值以上的提取三维数据412。
接着，WLD编码部404通过对与WLD对应的输入三维数据411进行编码，从而生成与WLD对应的编码三维数据413(S404)。此时，WLD编码部404将用于区别该编码三维数据413是包含WLD的流的信息附加到编码三维数据413的头。
并且，SWLD编码部405通过对与SWLD对应的提取三维数据412进行编码，从而生成与SWLD对应的编码三维数据414(S405)。此时，SWLD编码部405将用于区别该编码三维数据414是包含SWLD的流的信息附加到编码三维数据414的头。
并且，生成编码三维数据413的处理与生成编码三维数据414的处理的处理顺序也可以与上述相反。并且，上述的处理的一部分或全部也可以并行执行。
作为被赋予到编码三维数据413以及414的头的信息例如被定义为“world_type”这种参数。在world_type＝0的情况下，表示流包含WLD，在world_type＝1的情况下，表示流包含SWLD。在定义其他的更多的类别的情况下，可以如world_type＝2这样，增加分配的数值。并且，在编码三维数据413以及414的一方中可以包含特定的标志。例如，在编码三维数据414可以被赋予包括示出该流包含SWLD的标志。在这种情况下，解码装置可以根据标志的有无，来判别是包含WLD的流、还是包含SWLD的流。
并且，WLD编码部404对WLD进行编码时使用的编码方法可以与SWLD编码部405对SWLD进行编码时使用的编码方法不同。
例如，由于在SWLD数据被抽选，这与WLD相比，与周边的数据的相关有可能变低。因此，在用于SWLD的编码方法中，与用于WLD的编码方法相比，帧内预测以及帧间预测之中的帧间预测被优先。
并且，也可以是在用于SWLD的编码方法与用于WLD的编码方法中，三维位置的表现手法不同。例如，可以是，在FWLD由三维坐标来表现FVXL的三维位置，在WLD通过后述的八叉树来表现三维位置，并且可以是相反的。
并且，SWLD编码部405以SWLD的编码三维数据414的数据大小比WLD的编码三维数据413的数据大小小的方式进行编码。例如以上所述，SWLD与WLD相比，数据间的相关有可能降低。据此，编码効率降低，编码三维数据414的数据大小有可能比WLD的编码三维数据413的数据大小大。因此，SWLD编码部405在得到的编码三维数据414的数据大小比WLD的编码三维数据413的数据大小大的情况下，通过进行再编码，从而再次生成降低了数据大小的编码三维数据414。
例如，SWLD提取部403再次生成提取的特征点的数量减少了的提取三维数据412，SWLD编码部405对该提取三维数据412进行编码。或者，可以将SWLD编码部405中的量化程度变得粗糙。例如，在后述的八叉树结构中，通过对最下层的数据进行舍入，从而能够使量化的程度变得粗糙。
并且，SWLD编码部405在不能将SWLD的编码三维数据414的数据大小比WLD的编码三维数据413的数据大小小的情况下，也可以不生成SWLD的编码三维数据414。或者，可以将WLD的编码三维数据413复制到SWLD的编码三维数据414。即，作为SWLD的编码三维数据414，可以直接使用WLD的编码三维数据413。
接着，对本实施方式所涉及的三维数据解码装置(例如客户端)的构成以及工作的流程进行说明。图18是本实施方式所涉及的三维数据解码装置500的方框图。图19是三维数据解码装置500进行三维数据解码处理的流程图。
图18所示的三维数据解码装置500通过对编码三维数据511进行解码，从而生成解码三维数据512或513。在此，编码三维数据511例如是在三维数据编码装置400生成的编码三维数据413或414。
该三维数据解码装置500具备：获得部501、头解析部502、WLD解码部503、以及SWLD解码部504。
如图19所示，首先，获得部501获得编码三维数据511(S501)。接着，头解析部502对编码三维数据511的头进行解析，判别编码三维数据511是包含WLD的流、还是包含SWLD的流(S502)。例如，参照上述的world_type的参数来进行判别。
在编码三维数据511是包含WLD的流的情况下(S503的“是”)，WLD解码部503对编码三维数据511进行解码，从而生成WLD的解码三维数据512(S504)。另外，在编码三维数据511是包含SWLD的流的情况下(S503的“否”)，SWLD解码部504对编码三维数据511进行解码，从而生成SWLD的解码三维数据513(S505)。
并且，与编码装置同样，WLD解码部503在对WLD进行解码时使用的解码方法、与SWLD解码部504对SWLD进行解码时使用的解码方法可以不同。例如，在用于SWLD的解码方法中，与用于WLD的解码方法相比，可以使帧内预测以及帧间预测中的帧间预测优先。
并且，在用于SWLD的解码方法与用于WLD的解码方法中，三维位置的表现手法可以不同。例如，在SWLD可以通过三维坐标来表现FVXL的三维位置，在WLD可以通过后述的八叉树来表现三维位置，并且也可以相反。
接着，对作为三维位置的表现手法的八叉树表现进行说明。三维数据中包含的VXL数据被转换为八叉树结构后被编码。图20示出了WLD的VXL的一个例子。图21示出了图20所示的WLD的八叉树结构。在图20所示的例子中，存在作为包含点群的VXL(以下，有效VXL)的3个VXL1～3。如图21所示，八叉树结构由节点和叶节点构成。各节点最大具有8个节点或叶节点。各叶节点具有VXL信息。在此，图21所示的叶节点之中，叶节点1、2、3分别表示图20所示的VXL1、VXL2、VXL3。
具体而言，各节点以及叶节点与三维位置对应。节点1与图20所示的所有的块对应。与节点1对应的块被分割为8个块，8个块之中，包括有效VXL的块被设定为节点，除此以外的块被设定为叶节点。与节点对应的块进一步被分割为8个节点或叶节点，这种处理被重复的次数与树状结构中的阶层数相同。并且，最下层的块全被设定为叶节点。
并且，图22示出了从图20所示的WLD生成的SWLD的例子。图20所示的VXL1以及VXL2的特征量提取的结果被判断为FVXL1以及FVXL2，被加入到SWLD。另外，VXL3没有被判断为FVXL，因此不包含在SWLD中。图23示出了图22所示的SWLD的八叉树结构。在图23所示的八叉树结构中，图21所示的、相当于VXL3的叶节点3被删除。据此，图21所示的节点3没有有效VXL，而被变更为叶节点。这样，一般而言，SWLD的叶节点数比WLD的叶节点数少，SWLD的编码三维数据也比WLD的编码三维数据小。
以下对本实施方式的变形例进行说明。
例如也可以是，在车载装置等客户端在进行自身位置估计时，从服务器接收SWLD，利用SWLD进行自身位置估计，并进行障碍物检测的情况下，利用测距仪等距离传感器、立体摄像机、或多个单眼相机的组合等各种方法，根据自身获得的周边的三维信息来执行障碍物检测。
并且，一般而言，在SWLD中很难包含平坦区域的VXL数据。为此，服务器保持用于静止的障碍物的检测的对WLD进行了下采样的下采样世界空间(SubWLD)，并可以将SWLD与SubWLD发送给客户端。据此，既能够抑制网络带宽，又能够在客户端侧进行自身位置估计以及障碍物检测。
并且，在客户端快速描绘三维地图数据时，地图信息为网格结构则会有方便的情况。于是，服务器可以根据WLD生成网格，作为网格世界空间(MWLD)来事先保持。例如，在客户端需要进行粗糙的三维描绘时则接收MWLD，在需要进行详细的三维描绘时则接收WLD。据此，能够抑制网络带宽。
并且，服务器虽然从各VXL中，将特征量为阈值以上的VXL设定为FVXL，不过也可以通过不同的方法来算出FVXL。例如，服务器将构成信号或交叉点等的VXL、VLM、SPC、或GOS判断为在自身位置估计、驾驶辅助、或自动驾驶等中需要，则可以作为FVXL、FVLM、FSPC、FGOS而包含在SWLD。并且，上述判断可以通过手动进行。另外，可以在基于特征量而设定的FVXL等中加入由上述方法得到的FVXL等。即，SWLD提取部403进一步可以从输入三维数据411，将与具有预先规定的属性的物体对应的数据作为提取三维数据412来提取。
并且，可以针对需要用于这些用途的状况赋予与特征量不同的标签。服务器可以将信号或交叉点等自身位置估计、驾驶辅助、或自动驾驶等中所需要的FVXL，作为SWLD的上位层(例如车道(lane)世界空间)而另外保持。
并且，服务器也可以按照随机存取单位或规定的单位，将属性附加到WLD内的VXL。属性例如包括：示出自身位置估计中所需要的或不需要的信息、或示出作为信号或交叉点等交通信息是否重要等信息。并且，属性中也可以包括车道信息(GDF：Geographic DataFiles等)中的与Feature(交叉点或道路等)的对应关系。
并且，作为WLD或SWLD的更新方法，可以采用如下的方法。
示出人、施工、或街道树(面向轨迹)的变化等更新信息作为点群或元数据被加载到服务器。服务器根据该加载来更新WLD，在此之后，利用更新的WLD来更新SWLD。
并且，在客户端对自身位置估计时自身所生成的三维信息与从服务器接收的三维信息的不匹配进行检测的情况下，可以将自身所生成的三维信息与更新通知一起发送到服务器。在这种情况下，服务器利用WLD来更新SWLD。在SWLD没有被更新的情况下，服务器判断WLD自身是旧的。
并且，作为编码流的头部信息，虽然附加了用于区别是WLD还是SWLD的信息，例如在网格世界空间或车道世界空间等存在多种世界空间的情况下，用于对他们进行区別的信息可以被附加到头部信息。并且，在特征量不同的SWLD存在多个的情况下，用于对他们分别进行区別的信息也可以被附加到头部信息。
并且，SWLD虽然由FVXL来构成，不过也可以包括没有被判断为FVXL的VXL。例如，SWLD可以包括在算出FVXL的特征量时所使用的邻接VXL。据此，即使在SWLD的各FVXL没有附加特征量信息的情况下，客户端也能够在接收SWLD时来算出FVXL的特征量。另外，此时，SWLD可以包括用于区别各VXL是FVXL还是VXL的信息。
如以上所述，三维数据编码装置400从输入三维数据411(第1三维数据)提取特征量为阈值以上的提取三维数据412(第2三维数据)，通过对提取三维数据412进行编码，来生成编码三维数据414(第1编码三维数据)。
据此，三维数据编码装置400生成对特征量为阈值以上的数据进行编码而得到的编码三维数据414。这样，与直接对输入三维数据411进行编码的情况相比，能够减少数据量。因此，三维数据编码装置400能够减少传输时的数据量。
并且，三维数据编码装置400进一步通过对输入三维数据411进行编码，来生成编码三维数据413(第2编码三维数据)。
据此，三维数据编码装置400例如按照使用用途等，能够对编码三维数据413与编码三维数据414进行有选择地传输。
并且，提取三维数据412由第1编码方法而被编码，输入三维数据411由与第1编码方法不同的第2编码方法而被编码。
据此，三维数据编码装置400能够针对输入三维数据411与提取三维数据412分别采用恰当的编码方法。
并且，在第1编码方法中，与第2编码方法相比，帧内预测以及帧间预测之中的帧间预测被优先。
据此，三维数据编码装置400能够针对邻接的数据间的相关容易变低的提取三维数据412，来提高帧间预测的优先级。
并且，在第1编码方法与第2编码方法中，三维位置的表现手法不同。例如在第2编码方法中，由八叉树来表现三维位置，在第1编码方法中，由三维坐标来表现三维位置。
据此，三维数据编码装置400针对数据数(VXL或FVXL的数量)不同的三维数据，能够采用更加恰当的三维位置的表现手法。
并且，在编码三维数据413以及414的至少一方包括，示出该编码三维数据是通过对输入三维数据411进行编码而得到的编码三维数据、还是通过对输入三维数据411之中的一部分进行编码而得到的编码三维数据的标识符。即，该标识符示出编码三维数据是WLD的编码三维数据413、还是SWLD的编码三维数据414。
据此，解码装置能够容易地判断获取的编码三维数据是编码三维数据413还是编码三维数据414。
并且，三维数据编码装置400以编码三维数据414的数据量比编码三维数据413的数据量少的方式，对提取三维数据412进行编码。
据此，三维数据编码装置400能够使编码三维数据414的数据量比编码三维数据413的数据量少。
并且，三维数据编码装置400进一步，从输入三维数据411将与具有预先规定的属性的物体对应的数据，作为提取三维数据412来提取。例如，具有预先规定的属性的物体是指，自身位置估计、驾驶辅助、或自动驾驶等中所需要的物体，是信号或交叉点等。
据此，三维数据编码装置400能够生成包括解码装置所需要的数据的编码三维数据414。
并且，三维数据编码装置400(服务器)进一步按照客户端的状态，将编码三维数据413以及414的一方发送到客户端。
据此，三维数据编码装置400能够按照客户端的状态，来发送恰当的数据。
并且，客户端的状态包括客户端的通信状况(例如网络带宽)或客户端的移动速度。
并且，三维数据编码装置400进一步按照客户端的请求，将编码三维数据413以及414的一方发送到客户端。
据此，三维数据编码装置400能够按照客户端的请求，发送恰当的数据。
并且，本实施方式所涉及的三维数据解码装置500对由上述三维数据编码装置400生成的编码三维数据413或414进行解码。
即，三维数据解码装置500通过第1解码方法，对从输入三维数据411提取的特征量为阈值以上的提取三维数据412被编码而得到的编码三维数据414进行解码。并且，三维数据解码装置500对输入三维数据411被编码而得到的编码三维数据413，利用与第1解码方法不同的第2解码方法进行解码。
据此，三维数据解码装置500针对特征量为阈值以上的数据被编码而得到的编码三维数据414与编码三维数据413，例如能够按照使用用途等来有选择地接收。据此，三维数据解码装置500能够减少传输时的数据量。而且，三维数据解码装置500能够针对输入三维数据411与提取三维数据412分别采用恰当的解码方法。
并且，在第1解码方法中，与第2解码方法相比，帧内预测以及帧间预测之中的帧间预测被优先。
据此，三维数据解码装置500针对邻接的数据间的相关容易变低的提取三维数据，能够提高帧间预测的优先级。
并且，在第1解码方法与第2解码方法中，三维位置的表现手法不同。例如在第2解码方法中通过八叉树来表现三维位置，在第1解码方法中通过三维坐标来表现三维位置。
据此，三维数据解码装置500针对数据数(VXL或FVXL的数量)不同的三维数据，能够采用更恰当的三维位置的表现手法。
并且，编码三维数据413以及414的至少一方包括标识符，该标识符示出该编码三维数据是通过对输入三维数据411进行编码而得到的编码三维数据、还是通过对输入三维数据411中的一部分进行编码而得到的编码三维数据。三维数据解码装置500参照该标识符，来识别编码三维数据413以及414。
据此，三维数据解码装置500能够容易地判断获得的编码三维数据是编码三维数据413还是编码三维数据414。
并且，三维数据解码装置500进一步将客户端(三维数据解码装置500)的状态通知给服务器。三维数据解码装置500按照客户端的状态，来接收从服务器发送的编码三维数据413以及414的一方。
据此，三维数据解码装置500能够按照客户端的状态来接收恰当的数据。
并且，客户端的状态包括客户端的通信状况(例如网络带宽)或客户端的移动速度。
并且，三维数据解码装置500进一步向服务器请求编码三维数据413以及414的一方，并按照该请求，接收从服务器发送的编码三维数据413以及414的一方。
据此，三维数据解码装置500能够接收与用途对应的恰当的数据。
(实施方式3)
在本实施方式中，对车辆间的三维数据的收发方法进行说明。例如进行自身车辆与周围车辆之间的三维数据的收发。
图24是本实施方式所涉及的三维数据制作装置620的方框图。该三维数据制作装置620例如被包括在自身车辆，通过将接收的第2三维数据635与三维数据制作装置620所制作的第1三维数据632进行合成，从而制作更密的第3三维数据636。
该三维数据制作装置620具备：三维数据制作部621、请求范围决定部622、搜索部623、接收部624、解码部625、以及合成部626。
首先，三维数据制作部621利用由自身车辆具备的传感器检测的传感器信息631，制作第1三维数据632。接着，请求范围决定部622决定请求范围，该请求范围是指制作的第1三维数据632中的数据不够的三维空间范围。
接着，搜索部623对持有请求范围的三维数据的周围车辆进行搜索，将示出请求范围的请求范围信息633，发送到通过搜索而确定的周围车辆。接着，接收部624从周围车辆接收作为请求范围的编码流的编码三维数据634(S624)。另外，搜索部623可以针对确定的范围中存在的所有的车辆无差别地发出请求，从有应答的对方接收编码三维数据634。并且，搜索部623并非受限于车辆，也可以向信号机或标识等物体发出请求，并从该物体接收编码三维数据634。
接着，通过解码部625对接收的编码三维数据634进行解码，而获得第2三维数据635。接着，通过合成部626对第1三维数据632与第2三维数据635进行合成，来制作更密的第3三维数据636。
接着，对本实施方式所涉及的三维数据发送装置640的构成以及工作进行说明。图25是三维数据发送装置640的方框图。
三维数据发送装置640例如包括在上述的周围车辆中，将周围车辆制作的第5三维数据652加工为自身车辆所请求的第6三维数据654，并通过对第6三维数据654进行编码来生成编码三维数据634，将编码三维数据634发送到自身车辆。
三维数据发送装置640具备：三维数据制作部641、接收部642、提取部643、编码部644、以及发送部645。
首先，三维数据制作部641利用由周围车辆具备的传感器检测的传感器信息651，制作第5三维数据652。接着，接收部642接收从自身车辆发送的请求范围信息633。
接着，通过提取部643从第5三维数据652提取由请求范围信息633表示的请求范围的三维数据，将第5三维数据652加工成第6三维数据654。接着，通过编码部644对第6三维数据654进行编码，从而生成作为编码流的编码三维数据634。于是，发送部645向自身车辆发送编码三维数据634。
另外，在此，虽然对自身车辆具备三维数据制作装置620，周围车辆具备三维数据发送装置640的例子进行了说明，但是，各个车辆也可以具有三维数据制作装置620和三维数据发送装置640的功能。
(实施方式4)
在本实施方式中，对基于三维地图的自身位置估计中的有关异常状况的工作进行说明。
使机动车的自动驾驶、机器人、或者无人机等飞行物体等移动体自律的移动等用途今后将会扩大。作为实现这种自律的移动的方法的一个例子有，移动体一边估计自己在三维地图内的位置(自身位置估计)，一边按照地图来行驶的方法。
自身位置估计是通过对三维地图、与搭载于自身车辆的测距仪(LIDAR等)或立体相机等传感器所获得的自身车辆周边的三维信息(以后称为自身车辆检测三维数据)进行匹配，并对三维地图内的自身车辆位置进行估计而实现的。
三维地图如HERE公司提出的HD地图等所示，不仅是三维的点云，而且可以包括道路以及交叉路口的形状信息等二维的地图数据、或堵塞以及事故等以实际时间发生变化的信息。由三维数据、二维数据、实际时间中发生变化的元数据等多个层次构成三维地图，装置可以仅获得需要的数据，或者也可以参照所需要的数据。
点云的数据可以是上述的SWLD，也可以包括不是特征点的点群数据。并且，点云的数据的收发基本上以一个或多个随机存取单位来执行。
作为三维地图与自身车辆检测三维数据的匹配方法，能够采用以下的方法。例如，装置对彼此的点云中的点群的形状进行比较，将特征点间的类似度高的部位决定为同一位置。并且，在三维地图由SWLD构成的情况下，装置对构成SWLD的特征点、与从自身车辆检测三维数据提取的三维特征点进行比较并进行匹配。
在此，为了高精确度地进行自身位置估计，需要满足如下的(A)和(B)，(A)已经能够获得三维地图和自身车辆检测三维数据，(B)他们的精确度满足预先决定的基准。但是，在以下的这种异常情况中，(A)或(B)不能满足。
(1)通过通信路径不能获得三维地图。
(2)不存在三维地图，或者获得的三维地图被损坏。
(3)自身车辆的传感器出现故障，或者由于天气不好，自身车辆检测三维数据的生成精确度不够。
以下对为了应对这些异常情况的工作进行说明。以下虽然以车辆为例对其工作进行说明，以下的方法也能够适用于机器人或无人机等进行自律移动的所有的运动物体。
以下将要说明的是为了对应三维地图或自身车辆检测三维数据中的异常情况的本实施方式所涉及的三维信息处理装置的构成以及工作。图26是示出本实施方式所涉及的三维信息处理装置700的构成例的方框图。
三维信息处理装置700例如被搭载于机动车等移动物体。如图26所示，三维信息处理装置700具备：三维地图获得部701、自身车辆检测数据获得部702、异常情况判断部703、应对工作决定部704、以及工作控制部705。
另外，三维信息处理装置700也可以具备获得二维图像的相机，或者可以具备采用了超声波或激光的一维数据的传感器等用于检测自身车辆周边的结构物体或移动物体的未图示的二维或一维传感器。并且，三维信息处理装置700也可以具备通信部(未图示)，该通信部用于通过4G或5G等移动体通信网、或者车与车之间的通信、道路与车之间的通信，来获得三维地图。
三维地图获得部701获得行驶路径附近的三维地图711。例如，三维地图获得部701通过移动体通信网、或车与车之间的通信、道路与车之间的通信获得三维地图711。
接着，自身车辆检测数据获得部702根据传感器信息，获得自身车辆检测三维数据712。例如，自身车辆检测数据获得部702根据由自身车辆所具备的传感器获得的传感器信息，生成自身车辆检测三维数据712。
接着，异常情况判断部703通过针对获得的三维地图711以及自身车辆检测三维数据712的至少一方执行预先决定的检查，来检测异常情况。即，异常情况判断部703对获得的三维地图711以及自身车辆检测三维数据712的至少一方判断是否为异常。
在异常情况被检测出的情况下，应对工作决定部704决定针对异常情况的应对工作。接着，工作控制部705对三维地图获得部701等在应对工作的实施中所需要的各处理部的工作进行控制。
另外，在没有检测出异常情况的情况下，三维信息处理装置700结束处理。
并且，三维信息处理装置700利用三维地图711和自身车辆检测三维数据712，进行具有三维信息处理装置700的车辆的自身位置估计。接着，三维信息处理装置700利用自身位置估计的结果，使该车辆进行自动驾驶。
据此，三维信息处理装置700经由信道，获得包括第1三维位置信息的地图数据(三维地图711)。例如，第1三维位置信息以具有三维的坐标信息的部分空间为单位而被编码，第1三维位置信息包括多个随机存取单位，多个随机存取单位的每一个为一个以上的部分空间的集合体，且能够被独立解码。例如，第1三维位置信息是三维的特征量成为规定的阈值以上的特征点被编码的数据(SWLD)。
并且，三维信息处理装置700根据由传感器检测的信息，生成第2三维位置信息(自身车辆检测三维数据712)。接着，三维信息处理装置700通过针对第1三维位置信息或第2三维位置信息执行异常判断处理，来判断第1三维位置信息或所述第2三维位置信息是否为异常。
三维信息处理装置700在判断第1三维位置信息或第2三维位置信息为异常的情况下，决定针对该异常的应对工作。接着，三维信息处理装置700执行在应对工作的实施时所需要的控制。
据此，三维信息处理装置700能够检测第1三维位置信息或第2三维位置信息的异常，并能够进行应对工作。
(实施方式5)
在本实施方式中，对给后方车辆的三维数据发送方法等进行说明。
图27是示出本实施方式所涉及的三维数据制作装置810的构成例的方框图。该三维数据制作装置810例如被搭载于车辆。三维数据制作装置810与外部的交通云监控、前方车辆或后方车辆进行三维数据的收发，同时对三维数据进行制作并蓄积。
三维数据制作装置810具备：数据接收部811、通信部812、接收控制部813、格式转换部814、多个传感器815、三维数据制作部816、三维数据合成部817、三维数据蓄积部818、通信部819、发送控制部820、格式转换部821、以及数据发送部822。
数据接收部811从交通云监控或前方车辆接收三维数据831。三维数据831例如包括含有自身车辆的传感器815不能检测的区域的信息的点云、可见光影像、深度信息、传感器位置信息、或速度信息等。
通信部812与交通云监控或前方车辆进行通信，将数据发送请求等发送到交通云监控或前方车辆。
接收控制部813经由通信部812，将对应的格式等信息与通信对方交换，确立与通信对方的通信。
格式转换部814通过对数据接收部811接收的三维数据831进行格式转换等来生成三维数据832。并且，格式转换部814在三维数据831被压缩或编码的情况下，进行解压缩或解码处理。
多个传感器815是LiDAR、可见光相机或红外线相机等获得车辆的外部的信息的传感器群，生成传感器信息833。例如，在传感器815为LiDAR等激光传感器的情况下，传感器信息833是点云(点群数据)等三维数据。另外，传感器815也可以不是多个。
三维数据制作部816根据传感器信息833生成三维数据834。三维数据834例如包括点云、可见光影像、深度信息、传感器位置信息、或速度信息的信息。
三维数据合成部817通过将交通云监控或前方车辆等制作的三维数据832，合成到根据自身车辆的传感器信息833而制作的三维数据834，从而能够构筑自身车辆的传感器815不能检测的前方车辆的前方的空间也包括在内的三维数据835。
三维数据蓄积部818对生成的三维数据835等进行蓄积。
通信部819与交通云监控或后方车辆进行通信，将数据发送请求等发送到交通云监控或后方车辆。
发送控制部820经由通信部819，将对应的格式等信息与通信对方进行交换，确立与通信对方的通信。并且，发送控制部820根据在三维数据合成部817生成的三维数据832的三维数据构筑信息、以及来自通信对方的数据发送请求，来决定作为发送对象的三维数据的空间的发送区域。
具体而言，发送控制部820按照来自交通云监控或后方车辆的数据发送请求，来决定包括后方车辆的传感器不能检测的自身车辆的前方的空间的发送区域。并且，发送控制部820通过根据三维数据构筑信息来判断能够发送的空间或已发送空间的更新有无等，从而决定发送区域。例如，发送控制部820将既是由数据发送请求指定的区域、又是对应的三维数据835存在的区域决定为发送区域。并且，发送控制部820将通信对方所对应的格式、以及发送区域通知给格式转换部821。
格式转换部821通过将被蓄积在三维数据蓄积部818的三维数据835中的发送区域的三维数据836，转换为与接收侧对应的格式，来生成三维数据837。另外，也可以通过格式转换部821对三维数据837进行压缩或编码，来减少数据量。
数据发送部822将三维数据837发送到交通云监控或后方车辆。该三维数据837例如包括含有成为后方车辆的死角的区域的信息的自身车辆的前方的点云、可见光影像、深度信息、或传感器位置信息等。
另外，在此虽然以格式转换部814以及821进行格式转换等为例进行了说明，但是也可以不进行格式转换。
通过此构成，三维数据制作装置810从外部获得在自身车辆的传感器815不能检测的区域的三维数据831，并通过对三维数据831与基于自身车辆的传感器815检测到的传感器信息833的三维数据834进行合成，来生成三维数据835。据此，三维数据制作装置810能够生成自身车辆的传感器815不能检测的范围的三维数据。
并且，三维数据制作装置810能够按照来自交通云监控或后方车辆的数据发送请求，将包括后方车辆的传感器不能检测的自身车辆的前方的空间的三维数据发送到交通云监控或后方车辆等。
(实施方式6)
在实施方式5将要说明的例子是，车辆等客户端装置将三维数据发送到其他的车辆或交通云监控等服务器。在本实施方式中，客户端装置向服务器或其他的客户端装置发送由传感器得到的传感器信息。
首先，对本实施方式所涉及的系统的构成进行说明。图28示出了本实施方式所涉及的三维地图以及传感器信息的收发系统的构成。该系统包括服务器901、客户端装置902A以及902B。另外，在不对客户端装置902A以及902B进行特殊区分的情况下，也记作客户端装置902。
客户端装置902例如是被搭载在车辆等移动体的车载设备。服务器901例如是交通云监控等，能够与多个客户端装置902进行通信。
服务器901向客户端装置902发送由点云构成的三维地图。另外，三维地图的构成并非受点云所限，也可以通过网格结构等其他的三维数据来表现。
客户端装置902向服务器901发送由客户端装置902获得的传感器信息。传感器信息例如至少包括LiDAR获得信息、可见光图像、红外图像、深度图像、传感器位置信息以及速度信息之中的一个。
关于在服务器901与客户端装置902之间收发的数据，在想要减少数据的情况下可以被压缩，在想要维持数据的精确度的情况下可以不进行压缩。在对数据进行压缩的情况下，在点云中例如能够采用基于八叉树的三维压缩方式。并且，在可见光图像、红外图像、以及深度图像中可以采用二维的图像压缩方式。二维的图像压缩方式例如是以MPEG标准化的MPEG-4AVC或HEVC等。
并且，服务器901按照来自客户端装置902的三维地图的发送请求，将在服务器901进行管理的三维地图发送到客户端装置902。另外，服务器901也可以不等待来自客户端装置902的三维地图的发送请求，就对三维地图进行发送。例如，服务器901也可以将三维地图广播到预先规定的空间中的一个以上的客户端装置902。并且，服务器901也可以向接受过一次发送请求的客户端装置902，每隔一定的时间发送适于客户端装置902的位置的三维地图。并且，服务器901也可以在每当服务器901所管理的三维地图被更新时，向客户端装置902发送三维地图。
客户端装置902向服务器901发出三维地图的发送请求。例如，在客户端装置902在行驶时想要进行自身位置估计的情况下，客户端装置902将三维地图的发送请求发送到服务器901。
另外，在以下的情况下，客户端装置902也可以向服务器901发出三维地图的发送请求。在客户端装置902所持有的三维地图比较旧的情况下，客户端装置902也可以向服务器901发出三维地图的发送请求。例如，在客户端装置902获得三维地图并经过了一定期间的情况下，客户端装置902也可以向服务器901发出三维地图的发送请求。
也可以是，在客户端装置902将要从客户端装置902所保持的三维地图所示的空间出来的一定时刻之前，客户端装置902向服务器901发出三维地图的发送请求。例如也可以是，在客户端装置902存在于从客户端装置902所保持的三维地图所示的空间的边界预先规定的距离以内的情况下，客户端装置902向服务器901发出三维地图的发送请求。并且，在掌握到客户端装置902的移动路径以及移动速度的情况下，可以根据掌握到的移动路径和移动速度，来预测客户端装置902从客户端装置902所保持的三维地图示出的空间出来的时刻。
在客户端装置902根据传感器信息制作的三维数据与三维地图的位置对照时的误差在一定范围以上时，客户端装置902可以向服务器901发出三维地图的发送请求。
客户端装置902按照从服务器901发送来的传感器信息的发送请求，将传感器信息发送到服务器901。另外，客户端装置902也可以不等待来自服务器901的传感器信息的发送请求，就将传感器信息发送到服务器901。例如，客户端装置902在从服务器901得到过一次传感器信息的发送请求的情况下，可以在一定的期间之中，定期地将传感器信息发送到服务器901。并且也可以是，在客户端装置902根据传感器信息制作的三维数据、与从服务器901得到的三维地图的位置对照时的误差为一定范围以上的情况下，客户端装置902判断在客户端装置902的周边的三维地图有发生变化的可能性，并将这一判断结果和传感器信息一起发送到服务器901。
服务器901向客户端装置902发出传感器信息的发送请求。例如，服务器901从客户端装置902接收GPS等客户端装置902的位置信息。服务器901根据客户端装置902的位置信息，在判断为客户端装置902接近到服务器901所管理的三维地图中信息少的空间的情况下，为了重新生成三维地图，而将传感器信息的发送请求发出到客户端装置902。并且也可以是，服务器901在想要更新三维地图的情况、在想要确认积雪时或灾害时等道路状况的情况、在想要确认堵塞状况或事件事故状况等情况下，也可以发出传感器信息的发送请求。
并且也可以是，客户端装置902按照从服务器901接受的传感器信息的发送请求的接收时的通信状态或频带，来设定发送到服务器901的传感器信息的数据量。对发送到服务器901的传感器信息的数据量进行设定例如是指，对该数据本身进行增减、或者选择适宜的压缩方式。
图29是示出客户端装置902的构成例的方框图。客户端装置902从服务器901接收以点云等构成的三维地图，根据基于客户端装置902的传感器信息而制作的三维数据，来估计客户端装置902的自身位置。并且，客户端装置902将获得的传感器信息发送到服务器901。
客户端装置902具备：数据接收部1011、通信部1012、接收控制部1013、格式转换部1014、多个传感器1015、三维数据制作部1016、三维图像处理部1017、三维数据蓄积部1018、格式转换部1019、通信部1020、发送控制部1021、以及数据发送部1022。
数据接收部1011从服务器901接收三维地图1031。三维地图1031是包括WLD或SWLD等点云的数据。三维地图1031也可以包括压缩数据、以及非压缩数据的任一方。
通信部1012与服务器901进行通信，将数据发送请求(例如，三维地图的发送请求)等发送到服务器901。
接收控制部1013经由通信部1012，与通信对方交换对应格式等信息，确立与通信对方的通信。
格式转换部1014通过对数据接收部1011所接收的三维地图1031进行格式转换等，来生成三维地图1032。并且，格式转换部1014在三维地图1031被压缩或编码的情况下，进行解压缩或解码处理。另外，格式转换部1014在三维地图1031为非压缩数据的情况下，不进行解压缩或解码处理。
多个传感器1015是LiDAR、可见光相机、红外线相机、或深度传感器等客户端装置902所搭载的用于获得车辆的外部的信息的传感器群，生成传感器信息1033。例如，在传感器1015为LiDAR等激光传感器的情况下，传感器信息1033是点云(点群数据)等三维数据。另外，传感器1015也可以不是多个。
三维数据制作部1016根据传感器信息1033，制作自身车辆的周边的三维数据1034。例如，三维数据制作部1016利用由LiDAR获得的信息、以及由可见光相机得到的可见光影像，来制作自身车辆的周边的具有颜色信息的点云数据。
三维图像处理部1017利用接收的点云等三维地图1032、以及根据传感器信息1033生成的自身车辆的周边的三维数据1034，来进行自身车辆的自身位置估计处理等。另外，也可以是，三维图像处理部1017对三维地图1032与三维数据1034进行合成，来制作自身车辆的周边的三维数据1035，利用制作的三维数据1035，来进行自身位置估计处理。
三维数据蓄积部1018对三维地图1032、三维数据1034以及三维数据1035等进行蓄积。
格式转换部1019通过将传感器信息1033转换为接收侧所对应的格式，来生成传感器信息1037。另外，格式转换部1019可以通过对传感器信息1037进行压缩或编码来减少数据量。并且，在不需要格式转换的情况下，格式转换部1019可以省略处理。并且，格式转换部1019可以对按照发送范围的指定来发送的数据量进行控制。
通信部1020与服务器901进行通信，从服务器901接收数据发送请求(传感器信息的发送请求)等。
发送控制部1021经由通信部1020，与通信对方交换对应格式等信息，从而确立通信。
数据发送部1022将传感器信息1037发送到服务器901。传感器信息1037例如包括通过LiDAR获得的信息、通过可见光相机获得的亮度图像(可见光图像)、通过红外线相机获得的红外图像、通过深度传感器获得的深度图像、传感器位置信息、以及速度信息等由多个传感器1015获得的信息。
接着，对服务器901的构成进行说明。图30是示出服务器901的构成例的方框图。服务器901接收从客户端装置902发送来的传感器信息，根据接收的传感器信息，来制作三维数据。服务器901利用制作的三维数据，对服务器901管理的三维地图进行更新。并且，服务器901按照来自客户端装置902的三维地图的发送请求，将更新的三维地图发送到客户端装置902。
服务器901具备：数据接收部1111、通信部1112、接收控制部1113、格式转换部1114、三维数据制作部1116、三维数据合成部1117、三维数据蓄积部1118、格式转换部1119、通信部1120、发送控制部1121、以及数据发送部1122。
数据接收部1111从客户端装置902接收传感器信息1037。传感器信息1037例如包括通过LiDAR获得的信息、通过可见光相机获得的亮度图像(可见光图像)、通过红外线相机获得的红外图像、通过深度传感器获得的深度图像、传感器位置信息、以及速度信息等。
通信部1112与客户端装置902进行通信，将数据发送请求(例如，传感器信息的发送请求)等发送到客户端装置902。
接收控制部1113经由通信部1112，与通信对方交换对应格式等信息，从而确立通信。
格式转换部1114在接收的传感器信息1037被压缩或编码的情况下，通过进行解压缩或解码处理，来生成传感器信息1132。另外，在传感器信息1037是非压缩数据的情况下，格式转换部1114不进行解压缩或解码处理。
三维数据制作部1116根据传感器信息1132，制作客户端装置902的周边的三维数据1134。例如，三维数据制作部1116利用通过LiDAR获得的信息、以及通过可见光相机得到的可见光影像，来制作客户端装置902的周边具有颜色信息的点云数据。
三维数据合成部1117将基于传感器信息1132而制作的三维数据1134，与服务器901管理的三维地图1135进行合成，据此来更新三维地图1135。
三维数据蓄积部1118对三维地图1135等进行蓄积。
格式转换部1119通过将三维地图1135转换为接收侧对应的格式，来生成三维地图1031。另外，格式转换部1119也可以通过对三维地图1135进行压缩或编码，来减少数据量。并且，在不需要格式转换的情况下，格式转换部1119也可以省略处理。并且，格式转换部1119可以对按照发送范围的指定来发送的数据量进行控制。
通信部1120与客户端装置902进行通信，从客户端装置902接收数据发送请求(三维地图的发送请求)等。
发送控制部1121经由通信部1120，与通信对方交换对应格式等信息，从而确立通信。
数据发送部1122将三维地图1031发送到客户端装置902。三维地图1031是包括WLD或SWLD等点云的数据。在三维地图1031中也可以包括压缩数据以及非压缩数据的任一方。
接着，对客户端装置902的工作流程进行说明。图31是示出客户端装置902进行的三维地图获得时的工作的流程图。
首先，客户端装置902向服务器901请求三维地图(点云等)的发送(S1001)。此时，客户端装置902也将通过GPS等得到的客户端装置902的位置信息一起发送，据此，可以向服务器901请求与该位置信息相关的三维地图的发送。
接着，客户端装置902从服务器901接收三维地图(S1002)。若接收的三维地图是压缩数据，客户端装置902对接收的三维地图进行解码，生成非压缩的三维地图(S1003)。
接着，客户端装置902根据从多个传感器1015得到的传感器信息1033，来制作客户端装置902的周边的三维数据1034(S1004)。接着，客户端装置902利用从服务器901接收的三维地图1032、以及根据传感器信息1033制作的三维数据1034，来估计客户端装置902的自身位置(S1005)。
图32是示出客户端装置902进行的传感器信息的发送时的工作的流程图。首先，客户端装置902从服务器901接收传感器信息的发送请求(S1011)。接收了发送请求的客户端装置902将传感器信息1037发送到服务器901(S1012)。另外，在传感器信息1033包括通过多个传感器1015得到的多个信息的情况下，客户端装置902针对各信息，以适于各信息的压缩方式来进行压缩，从而生成传感器信息1037。
接着，对服务器901的工作流程进行说明。图33是示出服务器901进行传感器信息的获得时的工作的流程图。首先，服务器901向客户端装置902请求传感器信息的发送(S1021)。接着，服务器901接收按照该请求而从客户端装置902发送的传感器信息1037(S1022)。接着，服务器901利用接收的传感器信息1037，来制作三维数据1134(S1023)。接着，服务器901将制作的三维数据1134反映到三维地图1135(S1024)。
图34是示出服务器901进行的三维地图的发送时的工作的流程图。首先，服务器901从客户端装置902接收三维地图的发送请求(S1031)。接收了三维地图的发送请求的服务器901向客户端装置902发送三维地图1031(S1032)。此时，服务器901可以与客户端装置902的位置信息相对应地提取其附近的三维地图，并发送提取的三维地图。并且可以是，服务器901针对由点云构成的三维地图，例如利用通过八叉树的压缩方式等来进行压缩，并发送压缩后的三维地图。
以下，对本实施方式的变形例进行说明。
服务器901利用从客户端装置902接收的传感器信息1037，来制作客户端装置902的位置附近的三维数据1134。接着，服务器901对制作的三维数据1134、与服务器901所管理的相同区域的三维地图1135进行匹配，算出三维数据1134与三维地图1135的差分。服务器901在差分为预先决定的阈值以上的情况下，判断在客户端装置902的周边发生了某种异常。例如，在因地震等自然灾害而发生了地表下沉等时，可以考虑到在服务器901所管理的三维地图1135、与基于传感器信息1037而制作的三维数据1134之间会产生较大的差。
传感器信息1037也可以包括传感器的种类、传感器的性能、以及传感器的型号之中的至少一个。并且也可以是，传感器信息1037中被附加与传感器的性能相对应的类别ID等。例如，在传感器信息1037是由LiDAR获得的信息的情况下，可以考虑到针对传感器的性能来分配标识符，例如，针对能够以几mm单位的精确度来获得信息的传感器分配类别1、针对能够以几Cm单位的精确度来获得信息的传感器分配类别2、针对能够以几m单位的精确度来获得信息的传感器分配类别3。并且，服务器901也可以从客户端装置902的型号来估计传感器的性能信息等。例如，在客户端装置902搭载于车辆的情况下，服务器901可以根据该车辆的车型来判断传感器的规格信息。在这种情况下，服务器901可以事前获得车辆的车型的信息，也可以使该信息包括在传感器信息中。并且也可以是，服务器901利用获得的传感器信息1037，来切换针对利用传感器信息1037而制作的三维数据1134的校正的程度。例如，在传感器性能为高精确度(类别1)的情况下，服务器901不进行针对三维数据1134的校正。在传感器性能为低精确度(类别3)的情况下，服务器901将适于传感器的精确度的校正适用到三维数据1134。例如，服务器901在传感器的精确度越低的情况下就越增强校正的程度(强度)。
服务器901也可以向存在于某个空间的多个客户端装置902同时发出传感器信息的发送请求。服务器901在从多个客户端装置902接收到多个传感器信息的情况下，没有必要将所有的传感器信息都利用到三维数据1134的制作，例如可以按照传感器的性能，来选择将要利用的传感器信息。例如，服务器901在对三维地图1135进行更新的情况下，可以从接收的多个传感器信息中选择高精确度的传感器信息(类别1)，利用选择的传感器信息来制作三维数据1134。
服务器901并非受交通云监控等服务器所限，也可以是其他的客户端装置(车载)。图35示出了这种情况下的系统构成。
例如，客户端装置902C向附近存在的客户端装置902A发出传感器信息的发送请求，并从客户端装置902A获得传感器信息。于是，客户端装置902C利用获得的客户端装置902A的传感器信息，来制作三维数据，并更新对客户端装置902C的三维地图进行更新。这样，客户端装置902C能够活用客户端装置902C的性能，来生成能够从客户端装置902A获得的空间的三维地图。例如，在客户端装置902C的性能高的情况下，可以考虑发生这种情况。
并且，在这种情况下，提供了传感器信息的客户端装置902A被给予获得由客户端装置902C生成的高精确度的三维地图的权利。客户端装置902A按照该权利，从客户端装置902C接收高精确度的三维地图。
并且也可以是，客户端装置902C向附近存在的多个客户端装置902(客户端装置902A以及客户端装置902B)发出传感器信息的发送请求。在客户端装置902A或客户端装置902B的传感器为高性能的情况下，客户端装置902C能够利用通过该高性能的传感器得到的传感器信息来制作三维数据。
图36是示出服务器901以及客户端装置902的功能构成的方框图。服务器901例如具备：对三维地图进行压缩以及解码的三维地图压缩/解码处理部1201、对传感器信息进行压缩以及解码的传感器信息压缩/解码处理部1202。
客户端装置902具备：三维地图解码处理部1211、以及传感器信息压缩处理部1212。三维地图解码处理部1211接收压缩后的三维地图的编码数据，对编码数据进行解码并获得三维地图。传感器信息压缩处理部1212不对通过获得的传感器信息而制作的三维数据进行压缩，而是对传感器信息本身进行压缩，将压缩后的传感器信息的编码数据发送到服务器901。根据此构成，客户端装置902可以将用于对三维地图(点云等)进行解码处理的处理部(装置或LSI)保持在内部，而不必将用于对三维地图(点云等)的三维数据进行压缩处理的处理部保持在内部。这样，能够抑制客户端装置902的成本以及耗电量等。
如以上所述，本实施方式所涉及的客户端装置902被搭载在移动体，根据通过被搭载在移动体的传感器1015得到的、示出移动体的周边状况的传感器信息1033，来制作移动体的周边的三维数据1034。客户端装置902利用制作的三维数据1034，来估计移动体的自身位置。客户端装置902将获得的传感器信息1033发送到服务器901或者其他的移动体902。
据此，客户端装置902将传感器信息1033发送到服务器901等。这样，与发送三维数据的情况相比，将会有能够减少发送数据的数据量的可能性。并且，由于没有必要在客户端装置902执行三维数据的压缩或编码等处理，因此能够减少客户端装置902的处理的量。因此，客户端装置902能够实现传输的数据量的减少或装置的构成的简略化。
并且，客户端装置902进一步向服务器901发送三维地图的发送请求，从服务器901接收三维地图1031。客户端装置902在自身位置的估计中，利用三维数据1034和三维地图1032，来对自身位置进行估计。
并且，传感器信息1033至少包括通过激光传感器得到的信息、亮度图像(可见光图像)、红外图像、深度图像、传感器的位置信息、以及传感器的速度信息之中的一个。
并且，传感器信息1033包括示出传感器的性能的信息。
并且，客户端装置902对传感器信息1033进行编码或压缩，在传感器信息的发送中，将编码或压缩后的传感器信息1037发送到服务器901或者其他的移动体902。据此，客户端装置902能够减少传输的数据量。
例如，客户端装置902具备处理器以及存储器，处理器利用存储器进行上述的处理。
并且，本实施方式所涉及的服务器901能够与搭载在移动体的客户端装置902进行通信，从客户端装置902接收通过被搭载在移动体的传感器1015得到的、示出移动体的周边状况的传感器信息1037。服务器901根据接收的传感器信息1037，来制作移动体的周边的三维数据1134。
据此，服务器901利用从客户端装置902发送来的传感器信息1037，来制作三维数据1134。这样，与客户端装置902发送三维数据的情况相比，将会有能够减少发送数据的数据量的可能性。并且，由于可以不必在客户端装置902进行三维数据的压缩或编码等处理，因此能够减少客户端装置902的处理量。这样，服务器901能够实现传输的数据量的减少、或装置的构成的简略化。
并且，服务器901进一步向客户端装置902发送传感器信息的发送请求。
并且，服务器901进一步利用制作的三维数据1134，来更新三维地图1135，按照来自客户端装置902的三维地图1135的发送请求，将三维地图1135发送到客户端装置902。
并且，传感器信息1037至少包括通过激光传感器得到的信息、亮度图像(可见光图像)、红外图像、深度图像、传感器的位置信息、以及传感器的速度信息之中的一个。
并且，传感器信息1037包括示出传感器的性能的信息。
并且，服务器901进一步按照传感器的性能，对三维数据进行校正。据此，该三维数据制作方法能够提高三维数据的品质。
并且，服务器901在传感器信息的接收中，从多个客户端装置902接收多个传感器信息1037，根据多个传感器信息1037中包括的示出传感器的性能的多个信息，来选择三维数据1134的制作中使用的传感器信息1037。据此，服务器901能够提高三维数据1134的品质。
并且，服务器901对接收的传感器信息1037进行解码或解压缩，根据解码或解压缩后的传感器信息1132，制作三维数据1134。据此，服务器901能够减少传输的数据量。
例如，服务器901具备处理器和存储器，处理器利用存储器进行上述的处理。
(实施方式7)
在本实施方式，对利用了帧间预测处理的三维数据的编码方法以及解码方法进行说明。
图37是本实施方式所涉及的三维数据编码装置1300的方框图。该三维数据编码装置1300通过对三维数据进行编码，从而生成作为编码信号的编码比特流(以下也简单记作比特流)。如图37所示，三维数据编码装置1300具备：分割部1301、减法部1302、变换部1303、量化部1304、逆量化部1305、逆变换部1306、加法部1307、参照体积存储器1308、帧内预测部1309、参照空间存储器1310、帧间预测部1311、预测控制部1312、以及熵编码部1313。
分割部1301将三维数据中包含的各空间(SPC)分割为作为编码单位的多个体积(VLM)。并且，分割部1301对各体积内的体素进行八叉树表现(Octree化)。另外，分割部1301也可以使空间与体积成为相同的大小，对空间进行八叉树表现。并且，分割部1301也可以将八叉树化所需要的信息(深度信息等)附加到比特流的头等。
减法部1302算出从分割部1301输出的体积(编码对象体积)、与由后述的帧内预测或帧间预测生成的预测体积的差分，将算出的差分作为预测残差输出到变换部1303。图38示出了预测残差的算出例。另外，在此示出的编码对象体积以及预测体积的比特串例如是，示出体积中包含的三维点(例如点云)的位置的位置信息。
以下，对八叉树表现与体素的扫描顺序进行说明。体积被变换为八叉树结构(八叉树化)后，被编码。八叉树结构由节点和叶节点(leaf node)构成。各节点具有8个节点或叶节点，各叶节点具有体素(VXL)信息。图39示出了包括多个体素的体积的构成例。图40示出了将图39所示的体积变换为八叉树结构的例子。在此，图40所示的叶节点之中的叶节点1、2、3，分别表示图39所示的体素VXL1、VXL2、VXL3，表现了包括点群的VXL(以下记作有效VXL)。
八叉树例如以0、1的二值序列来表现。例如在将节点或有效VXL设为值1，除此以外的设为值0时，在各节点以及叶节点被分配图40所示的二值序列。于是，按照宽度优先或深度优先的扫描顺序，该二值序列被扫描。例如在以宽度优先进行了扫描的情况下，得到图41的A所示的二值序列。在以深度优先进行了扫描的情况下，得到图41的B所示的二值序列。通过该扫描得到的二值序列由熵编码来编码，从而信息量减少。
接着，对八叉树表现中的深度信息进行说明。八叉树表现中的深度用于将体积内所包含的点云信息保持到哪一个粒度为止的控制中。若将深度设定得大，则能够以更加细小的级别来再现点云信息，但是用于表现节点以及叶节点的数据量就会增加。相反，若将深度设定得小，虽然可以减少数据量，但是多个不同位置以及颜色不同的点云信息会被视为同一位置且同一颜色，因此会失去本来的点云信息所具有的信息。
例如，图42示出了将图40所示的深度＝2的八叉树，以深度＝1的八叉树来表现的例子。图42所示的八叉树比图40所示的八叉树的数据量少。即，图42所示的八叉树与图42所示的八叉树相比，二值序列化后的比特数少。在此，图40所示的叶节点1和叶节点2成为，以图41所示的叶节点1来表现。即，失去了图40所示的叶节点1与叶节点2为不同的位置这一信息。
图43示出了与图42所示的八叉树对应的体积。图39所示的VXL1和VXL2与图43所示的VXL12对应。在这种情况下,三维数据编码装置1300根据图39所示的VXL1和VXL2的颜色信息，生成图43所示的VXL12的颜色信息。例如，三维数据编码装置1300将VXL1和VXL2的颜色信息的平均值、中间值、或权重平均值等作为VXL12的颜色信息来算出。这样，三维数据编码装置1300通过改变八叉树的深度，从而能够对数据量的减少进行控制。
三维数据编码装置1300也可以利用世界空间单位、空间单位、以及体积单位中的任一个单位来设定八叉树的深度信息。并且，此时，三维数据编码装置1300也可以将深度信息附加到世界空间的头部信息、空间的头部信息、或体积的头部信息。并且，也可以在时间不同的所有的世界空间、空间、以及体积中，作为深度信息而使用相同的值。在这种情况下，三维数据编码装置1300也可以将深度信息附加到对所有时间的世界空间进行管理的头部信息。
在体素中包含颜色信息的情况下，变换部1303针对体积内的体素的颜色信息的预测残差，适用正交变换等频率变换。例如，变换部1303以某个扫描顺序对预测残差进行扫描，来制作一维排列。在此之后，变换部1303通过对制作的一维排列适用一维的正交变换，从而将一维排列变换为频域。据此，在体积内的预测残差的值近的情况下，低频带的频率成分的值变大，高频带的频率成分的值变小。因此，在量化部1304能够更有效地使代码量减少。
并且，变换部1303也可以不利用一维的正交变换而可以利用二维以上的正交变换。例如，变换部1303以某个扫描顺序，将预测残差映射为二维排列，对得到的二维排列适用二维正交变换。并且，变换部1303也可以从多个正交变换方式中选择将要使用的正交变换方式。在这种情况下，三维数据编码装置1300将示出利用了哪一个正交变换方式的信息附加到比特流。并且可以是，变换部1303从维数不同的多个正交变换方式中选择将要使用的正交变换方式。在这种情况下，三维数据编码装置1300将示出利用了哪一个维数的正交变换方式的信息附加到比特流。
例如，变换部1303将预测残差的扫描顺序与体积内的八叉树中的扫描顺序(宽度优先或深度优先等)吻合。据此，由于不必将示出预测残差的扫描顺序的信息附加到比特流，从而能够减少额外开销。并且，变换部1303也可以适用与八叉树的扫描顺序不同的扫描顺序。在这种情况下，三维数据编码装置1300将示出预测残差的扫描顺序的信息附加到比特流。据此，三维数据编码装置1300能够高效地对预测残差进行编码。并且也可以是，三维数据编码装置1300将示出是否适用八叉树的扫描顺序的信息(标志等)附加到比特流，在不适用八叉树的扫描顺序的情况下，将示出预测残差的扫描顺序的信息附加到比特流。
变换部1303不仅是颜色信息的预测残差，也可以对体素所具有的其他的属性信息进行变换。例如可以是，变换部1303对通过LiDAR等获得点云时得到的反射率等信息进行变换并编码。
变换部1303在空间不具有颜色信息等的属性信息的情况下，可以跳过处理。并且，三维数据编码装置1300可以将是否跳过变换部1303的处理的信息(标志)附加到比特流。
量化部1304针对在变换部1303生成的预测残差的频率成分，利用量化控制参数进行量化，从而生成量化系数。据此来减少信息量。生成的量化系数被输出到熵编码部1313。量化部1304可以按照世界空间单位、空间单位、或体积单位，对量化控制参数进行控制。此时，三维数据编码装置1300将量化控制参数附加到各自的头部信息等。并且，量化部1304也可以按照每个预测残差的频率成分，改变权重来进行量化控制。例如，量化部1304可以对低频率成分进行细致的量化，对高频率成分进行粗略的量化。在这种情况下，三维数据编码装置1300可以将表示各频率成分的权重的参数附加到头。
量化部1304在空间不具有颜色信息等的属性信息的情况下，可以跳过处理。并且，三维数据编码装置1300也可以将示出是否跳过量化部1304的处理的信息(标志)附加到比特流。
逆量化部1305利用量化控制参数，对量化部1304生成的量化系数进行逆量化，据此，生成预测残差的逆量化系数，将生成的逆量化系数输出到逆变换部1306。
逆变换部1306针对在逆量化部1305生成的逆量化系数适用逆变换，从而生成逆变换适用后预测残差。由于该逆变换适用后预测残差是量化后生成的预测残差，因此可以与由变换部1303输出的预测残差不完全一致。
加法部1307对由逆变换部1306生成的逆变换适用后预测残差、与量化前的预测残差的生成中所使用的并且由后述的帧内预测或帧间预测生成的预测体积进行相加，来生成重构体积。该重构体积被存放在参照体积存储器1308或参照空间存储器1310。
帧内预测部1309利用被存放在参照体积存储器1308的相邻体积的属性信息，生成编码对象体积的预测体积。属性信息中包括体素的颜色信息或反射率。帧内预测部1309生成编码对象体积的颜色信息或反射率的预测值。
图44是用于说明帧内预测部1309的工作的图。例如，图44所示，帧内预测部1309根据相邻体积(体积idx＝0)，生成编码对象体积(体积idx＝3)的预测体积。在此，体积idx是针对空间内的体积附加的标识符信息，在各体积被分配不同的值。体积idx的分配的顺序可以与编码顺序相同，也可以与编码顺序不同。例如，作为图44所示的编码对象体积的颜色信息的预测值，帧内预测部1309使用作为相邻体积的体积idx＝0内包含的体素的颜色信息的平均值。在这种情况下，通过从编码对象体积内包含的各体素的颜色信息减去颜色信息的预测值，从而生成预测残差。针对该预测残差执行变换部1303以后的处理。并且，在这种情况下，三维数据编码装置1300将相邻体积信息和预测模式信息附加到比特流。在此，相邻体积信息是示出在预测中使用的相邻体积的信息，例如示出在预测中使用的相邻体积的体积idx。并且，预测模式信息示出预测体积的生成中所使用的模式。模式例如是指，根据相邻体积内的体素的平均值来生成预测值的平均值模式、或根据相邻体积内的体素的中间值来生成预测值的中间值模式等。
帧内预测部1309也可以根据多个相邻体积来生成预测体积。例如在图44所示的构成中，帧内预测部1309根据体积idx＝0的体积来生成预测体积0，根据体积idx＝1的体积来生成预测体积1。于是，帧内预测部1309将预测体积0与预测体积1的平均作为最终的预测体积来生成。在这种情况下，三维数据编码装置1300也可以将预测体积的生成中所使用的多个体积的多个体积idx附加到比特流。
图45在模式上示出了本实施方式所涉及的帧间预测处理。帧间预测部1311针对某个时刻T_Cur的空间(SPC)，使用不同时刻T_LX的已编码空间来进行编码(帧间预测)。在这种情况下，帧间预测部1311针对不同时刻T_LX的已编码空间适用旋转以及平移处理，来进行编码处理。
并且，三维数据编码装置1300将与适用了不同时刻T_LX的空间的旋转以及平移处理有关的RT信息附加到比特流。不同时刻T_LX例如是在所述某个时刻T_Cur之前的时刻T_L0。此时，三维数据编码装置1300也可以将与适用了时刻T_L0的空间的旋转以及平移处理有关的RT信息RT_L0附加到比特流。
或者，不同时刻T_LX例如是在所述某个时刻T_Cur之后的时刻T_L1。此时，三维数据编码装置1300可以将与适用了时刻T_L1的空间的旋转以及平移处理有关的RT信息RT_L1附加到比特流。
或者，帧间预测部1311参照不同时刻T_L0以及时刻T_L1这双方的空间来进行编码(双预测)。在这种情况下，三维数据编码装置1300可以将与分别适用了空间的旋转以及平移有关的RT信息RT_L0以及RT_L1这双方附加到比特流。
另外，以上虽然将T_L0设为T_Cur之前的时刻、将T_L1设为T_Cur之后的时刻，但是并非受此所限。例如，T_L0与T_L1可以均为T_Cur之前的时刻。或者，T_L0与T_L1可以均为T_Cur之后的时刻。
并且也可以是，三维数据编码装置1300在参照多个不同时刻的空间来进行编码的情况下，将与适用了各个空间的旋转以及平移有关的RT信息附加到比特流。例如，三维数据编码装置1300将参照的多个已编码空间，通过两个参照列表(L0列表以及L1列表)来管理。在将L0列表内的第1参照空间设为L0R0，将L0列表内的第2参照空间设为L0R1，将L1列表内的第1参照空间设为L1R0，将L1列表内的第2参照空间设为L1R1的情况下，三维数据编码装置1300将L0R0的RT信息RT_L0R0、L0R1的RT信息RT_L0R1、L1R0的RT信息RT_L1R0、L1R1的RT信息RT_L1R1附加到比特流。例如，三维数据编码装置1300将这些RT信息附加到比特流的头等。
并且也可以是，三维数据编码装置1300在参照多个不同时刻的参照空间来进行编码的情况下，判断是否按照每个参照空间适用旋转以及平移。此时，三维数据编码装置1300可以将示出是否按照每个参照空间毎适用旋转以及平移的信息(RT适用标志等)附加到比特流的头部信息等。例如，三维数据编码装置1300根据编码对象空间，按照将要参照的每个参照空间，利用ICP(Interactive Closest Point)算法，算出RT信息以及ICP错误值。三维数据编码装置1300在ICP错误值为预先规定的一定值以下的情况下，判断为不需要进行旋转以及平移，将RT适用标志设定为OFF(无效)。另外，三维数据编码装置1300在ICP错误值比上述的一定值大的情况下，将RT适用标志设定为ON(有效)，将RT信息附加到比特流。
图46示出了将RT信息以及RT适用标志附加到头的句法例子。另外，分配到各句法的比特数可以根据该句法能够取的范围来决定。例如，在参照列表L0内包含的参照空间数为8的情况下，可以在MaxRefSpc_l0中分配3bit。可以按照各句法能取的值来改变分配的比特数，也可以不受可取的值的影响，而使分配的比特数固定。在使分配的比特数固定的情况下，三维数据编码装置1300可以将该固定比特数附加到其他的头部信息。
在此，图46所示的MaxRefSpc_l0示出参照列表L0内包含的参照空间数。RT_flag_l0[i]是参照列表L0内的参照空间i的RT适用标志。在RT_flag_l0[i]为1的情况下，对参照空间i适用旋转以及平移。在RT_flag_l0[i]为0的情况下，对参照空间i不适用旋转以及平移。
R_l0[i]以及T_l0[i]是参照列表L0内的参照空间i的RT信息。R_l0[i]是参照列表L0内的参照空间i的旋转信息。旋转信息示出被适用的旋转处理的内容，例如是旋转矩阵或四元数等。T_l0[i]是参照列表L0内的参照空间i的平移信息。平移信息示出被适用的平移处理的内容，例如是平移向量等。
MaxRefSpc_l1示出参照列表L1内包含的参照空间数。RT_flag_l1[i]是参照列表L1内的参照空间i的RT适用标志。在RT_flag_l1[i]为1的情况下，对参照空间i适用旋转以及平移。在RT_flag_l1[i]为0的情况下，对参照空间i不适用旋转以及平移。
R_l1[i]以及T_l1[i]是参照列表L1内的参照空间i的RT信息。R_l1[i]是参照列表L1内的参照空间i的旋转信息。旋转信息示出被适用的旋转处理的内容，例如是旋转矩阵或四元数等。T_l1[i]是参照列表L1内的参照空间i的平移信息。平移信息示出被适用的平移处理的内容，例如是平移向量等。
帧间预测部1311利用被存放在参照空间存储器1310的已编码的参照空间的信息，生成编码对象体积的预测体积。如以上所述，帧间预测部1311在生成编码对象体积的预测体积之前，为了使编码对象空间与参照空间的全体的位置关系接近，而在编码对象空间和参照空间利用ICP(Interactive Closest Point：迭代最近点)算法来求出RT信息。于是，帧间预测部1311利用求出的RT信息，对参照空间适用旋转以及平移处理，从而得到参照空间B。在此之后，帧间预测部1311利用参照空间B内的信息，生成编码对象空间内的编码对象体积的预测体积。在此，三维数据编码装置1300将为了得到参照空间B而使用的RT信息附加到编码对象空间的头部信息等。
这样，帧间预测部1311通过对参照空间适用旋转以及平移处理，从而在使编码对象空间与参照空间的整体上的位置关系接近后，利用参照空间的信息来生成预测体积，这样，能够提高预测体积的精确度。并且，由于能够抑制预测残差，因此能够减少代码量。另外，在此虽然示出了利用编码对象空间和参照空间来进行ICP的例子，但是并非受此所限。例如，帧间预测部1311为了减少处理量，也可以利用抽取了体素或点云数的编码对象空间、以及抽取了体素或点云数的参照空间的至少一方来进行ICP，从而求出RT信息。
并且，帧间预测部1311在从ICP的结果得到的ICP错误值比预先规定的第1阈值小的情况下，即例如编码对象空间与参照空间的位置关系接近的情况下，可以判断为不需要旋转以及平移处理，而不执行旋转以及平移。在这种情况下，三维数据编码装置1300可以不将RT信息附加到比特流，从而能够抑制额外开销。
并且，帧间预测部1311在ICP错误值比预先规定的第2阈值大的情况下，判断为在空间上的形状变化大，可以对编码对象空间的所有的体积适用帧内预测。以下，将适用帧内预测的空间称为帧内空间。并且，第2阈值是比上述的第1阈值大的值。并且，并非受限于ICP，只要从两个体素集合、或两个点云集合来求RT信息的方法，可以适用任意的方法。
并且，在三维数据中含有形状或颜色等属性信息的情况下，作为编码对象空间内的编码对象体积的预测体积，帧间预测部1311例如搜索在参照空间内与编码对象体积的形状或颜色属性信息最近的体积。并且，该参照空间例如是进行了上述的旋转以及平移处理后的参照空间。帧间预测部1311根据通过搜索而得到的体积(参照体积)，来生成预测体积。图47是用于说明预测体积的生成工作的图。帧间预测部1311在针对图47所示的编码对象体积(体积idx＝0)，利用帧间预测来进行编码的情况下，一边依次扫描参照空间内的参照体积，一边搜索编码对象体积与参照体积的差分即预测残差为最小的体积。帧间预测部1311将预测残差最小的体积作为预测体积来选择。编码对象体积与预测体积的预测残差，由变换部1303以后的处理来编码。在此，预测残差是指，编码对象体积的属性信息与预测体积的属性信息的差分。并且，三维数据编码装置1300将作为预测体积而参照的参照空间内的参照体积的体积idx附加到比特流的头等。
在图47所示的例子中，参照空间L0R0的体积idx＝4的参照体积，作为编码对象体积的预测体积而被选择。于是，编码对象体积与参照体积的预测残差以及参照体积idx＝4被编码，并被附加到比特流。
另外，在此虽然以生成属性信息的预测体积为例进行了说明，针对位置信息的预测体积也可以执行同样的处理。
预测控制部1312对采用帧内预测以及帧间预测的哪一个来编码编码对象体积进行控制。在此，将包括帧内预测以及帧间预测的模式称为预测模式。例如，预测控制部1312将通过帧内预测而预测了编码对象体积的情况下的预测残差、与通过帧间预测而预测了的情况下的预测残差，作为评价值来算出，选择评价值小的一方的预测模式。另外可以是，预测控制部1312针对帧内预测的预测残差以及帧间预测的预测残差，分别适用正交变换、量化、以及、熵编码，来算出实际的代码量，将算出的代码量作为评价值，来选择预测模式。并且，也可以将预测残差以外的额外开销信息(参照体积idx信息等)加到评价值中。并且，预测控制部1312在编码对象空间被预先决定为在帧内空间进行编码的情况下，也可以通常选择帧内预测。
熵编码部1313通过对来自量化部1304的输入即量化系数进行可变长编码，来生成编码信号(编码比特流)。具体而言，熵编码部1313例如对量化系数进行二值化，对得到的二值信号进行算术编码。
接着，对解码由三维数据编码装置1300生成的编码信号的三维数据解码装置进行说明。图48是本实施方式所涉及的三维数据解码装置1400的方框图。该三维数据解码装置1400具备：熵解码部1401、逆量化部1402、逆变换部1403、加法部1404、参照体积存储器1405、帧内预测部1406、参照空间存储器1407、帧间预测部1408、以及预测控制部1409。
熵解码部1401对编码信号(编码比特流)进行可变长解码。例如，熵解码部1401对编码信号进行算术解码，生成二值信号，根据生成的二值信号来生成量化系数。
逆量化部1402针对从熵解码部1401输入的量化系数，利用被附加到比特流等的量化参数来进行逆量化，从而生成逆量化系数。
逆变换部1403针对从逆量化部1402输入的逆量化系数进行逆变换，从而生成预测残差。例如，逆变换部1403根据被附加到比特流的信息，对逆量化系数进行逆正交变换，从而生成预测残差。
加法部1404对由逆变换部1403生成的预测残差、与通过帧内预测或帧间预测而生成的预测体积进行相加，来生成重构体积。该重构体积作为解码三维数据被输出，并且被存放到参照体积存储器1405或参照空间存储器1407。
帧内预测部1406利用参照体积存储器1405内的参照体积以及被附加到比特流的信息，通过帧内预测来生成预测体积。具体而言，帧内预测部1406获得预测模式信息以及被附加到比特流的相邻体积信息(例如体积idx)，利用相邻体积信息所示的相邻体积，通过以预测模式信息示出的模式来生成预测体积。另外，关于这些处理的详细，除了采用被附加到比特流的信息之外，与上述的帧内预测部1309的处理相同。
帧间预测部1408利用参照空间存储器1407内的参照空间以及被附加到比特流的信息，通过帧间预测来生成预测体积。具体而言，帧间预测部1408利用被附加到比特流的每个参照空间的RT信息，针对参照空间适用旋转以及平移处理，利用适用后的参照空间来生成预测体积。另外，在每个参照空间的RT适用标志存在于比特流内的情况下，帧间预测部1408按照RT适用标志，对参照空间适用旋转以及平移处理。另外，关于上述的处理的详细，除了使用被附加到比特流的信息之外，与上述的帧间预测部1311的处理相同。
关于是以帧内预测来对解码对象体积进行解码还是以帧间预测来进行解码，将由预测控制部1409来控制。例如，预测控制部1409按照被附加到比特流的且示出将要使用的预测模式的信息，选择帧内预测或帧间预测。另外，预测控制部1409在解码对象空间以帧内空间来进行解码被预先决定的情况下，也可以通常选择帧内预测。
以下对本实施方式的变形例进行说明。在本实施方式中，虽然以空间单位来适用旋转以及平移为例进行了说明，不过也可以适用更细小的单位来适用旋转以及平移。例如，三维数据编码装置1300可以将空间分割为子空间，以子空间单位来适用旋转以及平移。在这种情况下，三维数据编码装置1300按照每个子空间来生成RT信息，将生成的RT信息附加到比特流的头等。并且，三维数据编码装置1300可以采用作为编码单位的体积单位来适用旋转以及平移。在这种情况下，三维数据编码装置1300以编码体积单位来生成RT信息，将生成的RT信息附加到比特流的头等。而且，可以对上述进行组合。即，三维数据编码装置1300可以在以大的单位适用旋转以及平移之后，再以细小的单位来适用旋转以及平移。例如可以是，三维数据编码装置1300以空间单位来适用旋转以及平移，针对得到的空间中所包含的多个体积的每一个，适用彼此不同的旋转以及平移。
并且，在本实施方式中虽然以对参照空间适用旋转以及平移为例进行了说明，但是并非受此所限。例如可以是，三维数据编码装置1300适用缩放处理，来使三维数据的大小发生变化。并且，三维数据编码装置1300也可以适用旋转、平移以及缩放中的任一个或两个。并且，如以上所述，在分多阶段以不同的单位来适用处理的情况下，各单位中所适用的处理种类可以不同。例如可以是，在空间单位中适用旋转以及平移，在体积单位中适用平移。
另外，关于这些变形例，能够同样适用于三维数据解码装置1400。
如以上所述，本实施方式所涉及的三维数据编码装置1300进行以下的处理。图48是三维数据编码装置1300进行的帧间预测处理的流程图。
首先，三维数据编码装置1300利用对象三维数据(例如编码对象空间)以及不同时刻的参照三维数据(例如参照空间)中包含的三维点的位置信息，来生成预测位置信息(例如预测体积)(S1301)。具体而言，三维数据编码装置1300通过针对参照三维数据中包含的三维点的位置信息适用旋转以及平移处理，从而生成预测位置信息。
另外，三维数据编码装置1300以第1单位(例如空间)进行旋转以及平移处理，以比第1单位更细小的第2单位(例如体积)进行预测位置信息的生成。例如可以是，三维数据编码装置1300从旋转以及平移处理后的参照空间中包含的多个体积中，搜索编码对象空间中包含的编码对象体积与位置信息的差为最小的体积，将得到的体积作为预测体积来使用。另外，三维数据编码装置1300也可以对旋转以及平移处理、和预测位置信息的生成以相同的单位来进行。
并且可以是，三维数据编码装置1300对参照三维数据中包含的三维点的位置信息，以第1单位(例如空间)来适用第1旋转以及平移处理，对通过第1旋转以及平移处理而得到的三维点的位置信息，以比第1单位细小的第2单位(例如体积)来适用第2旋转以及平移处理，据此生成预测位置信息。
在此，三维点的位置信息以及预测位置信息如图41所示，以八叉树结构来表现。例如，三维点的位置信息以及预测位置信息以使八叉树结构中的深度与宽度中的宽度优先的扫描顺序而被表示。或者，三维点的位置信息以及预测位置信息以使八叉树结构中的深度与宽度之中的深度优先的扫描顺序而被表示。
并且，如图46所示，三维数据编码装置1300对示出是否针对参照三维数据中包含的三维点的位置信息适用旋转以及平移处理的RT适用标志进行编码。即，三维数据编码装置1300生成包括RT适用标志的编码信号(编码比特流)。并且，三维数据编码装置1300对示出旋转以及平移处理的内容的RT信息进行编码。即，三维数据编码装置1300生成包括RT信息的编码信号(编码比特流)。另外可以是，三维数据编码装置1300在由RT适用标志示出适用旋转以及平移处理的情况下，对RT信息进行编码，在由RT适用标志示出不适用旋转以及平移处理的情况下，不对RT信息进行编码。
并且，三维数据例如包括三维点的位置信息、以及各三维点的属性信息(颜色信息等)。三维数据编码装置1300利用参照三维数据中包含的三维点的属性信息，生成预测属性信息(S1302)。
接着，三维数据编码装置1300利用预测位置信息，来编码对象三维数据中包含的三维点的位置信息。例如，三维数据编码装置1300如图38所示，算出对象三维数据中包含的三维点的位置信息与预测位置信息的差分即差分位置信息(S1303)。
并且，三维数据编码装置1300利用预测属性信息，编码对象三维数据中包含的三维点的属性信息。例如，三维数据编码装置1300算出对象三维数据中包含的三维点的属性信息与预测属性信息的差分即差分属性信息(S1304)。接着，三维数据编码装置1300针对算出的差分属性信息进行变换以及量化(S1305)。
最后，三维数据编码装置1300对差分位置信息与量化后的差分属性信息进行编码(例如熵编码)(S1306)。即，三维数据编码装置1300生成包括差分位置信息和差分属性信息的编码信号(编码比特流)。
另外，在三维数据中不包括属性信息的情况下，三维数据编码装置1300也可以不进行步骤S1302、S1304以及S1305。并且，三维数据编码装置1300也可以仅进行三维点的位置信息的编码与三维点的属性信息的编码之中的一方。
并且，图49所示的处理的顺序仅为一个例子，并非受此限。例如，由于针对位置信息的处理(S1301、S1303)、与针对属性信息的处理(S1302、S1304、S1305)彼此是独立的，因此可以通过任意的顺序来执行，也可以是其中的一部分进行并行处理。
如以上所述，在本实施方式中，三维数据编码装置1300利用对象三维数据与不同时刻的参照三维数据中包含的三维点的位置信息，来生成预测位置信息，对对象三维数据中包含的三维点的位置信息与预测位置信息的差分即差分位置信息进行编码。据此，由于能够减少编码信号的数据量，因此能够提高编码效率。
并且，在本实施方式中，三维数据编码装置1300利用参照三维数据中包含的三维点的属性信息来生成预测属性信息，对对象三维数据中包含的三维点的属性信息与预测属性信息的差分即差分属性信息进行编码。据此，由于能够减少编码信号的数据量，因此能够提高编码效率。
例如，三维数据编码装置1300具备处理器和存储器，处理器利用存储器来进行上述的处理。
图48是三维数据解码装置1400进行的帧间预测处理的流程图。
首先，三维数据解码装置1400根据编码信号(编码比特流)，对差分位置信息与差分属性信息进行解码(例如熵解码)(S1401)。
并且，三维数据解码装置1400根据编码信号，对示出是否针对参照三维数据中包含的三维点的位置信息适用旋转以及平移处理的RT适用标志进行解码。并且，三维数据解码装置1400对示出旋转以及平移处理的内容的RT信息进行解码。另外，三维数据解码装置1400在由RT适用标志示出适用旋转以及平移处理的情况下，对RT信息进行解码，在由RT适用标志示出不适用旋转以及平移处理的情况下，对RT信息不进行解码。
接着，三维数据解码装置1400针对被解码的差分属性信息进行逆量化以及逆变换(S1402)。
接着，三维数据解码装置1400利用对象三维数据(例如解码对象空间)和不同时刻的参照三维数据(例如参照空间)中包含的三维点的位置信息，生成预测位置信息(例如预测体积)(S1403)。具体而言，三维数据解码装置1400通过针对参照三维数据中包含的三维点的位置信息适用旋转以及平移处理，来生成预测位置信息。
更具体而言，三维数据解码装置1400在由RT适用标志示出适用旋转以及平移处理的情况下，针对RT信息所示的参照三维数据中包含的三维点的位置信息适用旋转以及平移处理。并且，在由RT适用标志示出不适用旋转以及平移处理的情况下，三维数据解码装置1400针对参照三维数据中包含的三维点的位置信息不适用旋转以及平移处理。
另外，三维数据解码装置1400可以以第1单位(例如空间)来进行旋转以及平移处理，并且可以以比第1单位细小的第2单位(例如体积)来进行预测位置信息的生成。另外，三维数据解码装置1400也可以针对旋转以及平移处理、以及预测位置信息的生成，以相同的单位来执行。
并且可以是，三维数据解码装置1400针对参照三维数据中包含的三维点的位置信息，以第1单位(例如空间)来适用第1旋转以及平移处理，针对通过第1旋转以及平移处理而得到的三维点的位置信息，以比第1单位细小的第2单位(例如体积)来适用第2旋转以及平移处理，据此，生成预测位置信息。
在此，三维点的位置信息以及预测位置信息例如图41所示，以八叉树结构来表现。例如，三维点的位置信息以及预测位置信息以使八叉树结构中的深度与宽度之中的宽度优先的扫描顺序而被表示。或者，三维点的位置信息以及预测位置信息以使八叉树结构中的深度与宽度之中的深度优先的扫描顺序而被表示。
三维数据解码装置1400利用参照三维数据中包含的三维点的属性信息，来生成预测属性信息(S1404)。
接着，三维数据解码装置1400通过利用预测位置信息，对编码信号中包含的编码位置信息进行解码，从而使对象三维数据中包含的三维点的位置信息复原。在此，编码位置信息例如是差分位置信息，三维数据解码装置1400通过对差分位置信息与预测位置信息相加，来使对象三维数据中包含的三维点的位置信息复原(S1405)。
并且，三维数据解码装置1400通过利用预测属性信息，对编码信号中包含的编码属性信息进行解码，从而使对象三维数据中包含的三维点的属性信息复原。在此，编码属性信息例如是差分属性信息，三维数据解码装置1400通过对差分属性信息与预测属性信息相加，从而使对象三维数据中包含的三维点的属性信息复原(S1406)。
另外可以是，在三维数据中不包含属性信息的情况下，三维数据解码装置1400也可以不执行步骤S1402、S1404以及S1406。并且，三维数据解码装置1400也可以仅进行三维点的位置信息的解码、以及三维点的属性信息的解码中的一方。
并且，图50所示的处理的顺序为一个例子，并非受此所限。例如，由于针对位置信息的处理(S1403、S1405)、与针对属性信息的处理(S1402、S1404、S1406)彼此是独立的，因此能够以任意的顺序进行，还可以使其中的一部分进行并行处理。
(实施方式8)
在本实施方式中，对三维数据的编码中的三维点(点云)的表现方法进行说明。
图51是示出本实施方式所涉及的三维数据的分发系统的构成的方框图。图51所示的分发系统包括服务器1501以及多个客户端1502。
服务器1501包括存储部1511以及控制部1512。存储部1511存放被编码的三维数据即编码三维地图1513。
图52示出了编码三维地图1513的比特流的构成例。三维地图被分割为多个子地图(sub-map)，各子地图被编码。在各子地图中被附加包括子坐标信息的随机存取头(RA)。子坐标信息被用于提高子地图的编码效率。该子坐标信息示出子地图的子坐标(sub-coordinate)。子坐标是以基准坐标(reference coordinate)为基准的子地图的坐标。另外，将包括多个子地图的三维地图称为全体地图。并且，在全体地图中，将成为基准的坐标(例如原点)称为基准坐标。即，子坐标是全体地图的坐标系中的子地图的坐标。换而言之，子坐标示出全体地图的坐标系与子地图的坐标系的偏差。并且，将以基准坐标为基准的全体地图的坐标系中的坐标称为全体坐标。将以子坐标为基准的子地图的坐标系中的坐标称为差分坐标。
客户端1502将消息发送到服务器1501。该消息包括客户端1502的位置信息。服务器1501中包含的控制部1512根据接收的消息中包含的位置信息，获得离客户端1502的位置最近的位置的子地图的比特流。子地图的比特流包括子坐标信息，被发送到客户端1502。客户端1502中包含的解码器1521利用该子坐标信息，得到以基准坐标为基准的子地图的全体坐标。客户端1502中包含的应用程序1522利用得到的子地图的全体坐标，执行与自身位置相关的应用程序。
并且，子地图示出全体地图的一部分区域。子坐标是在全体地图的基准坐标空间中，子地图所处的位置的坐标。例如，视为在A的全体地图中存在AA的子地图A、以及AB的子地图B。车辆在想要参照AA的地图的情况下，从子地图A开始解码，在想要参照AB的地图的情况下，从子地图B开始解码。在此，子地图是随机接入点。具体而言，A为大阪府，AA为大阪市，AB为高规市等。
各子地图与子坐标信息一起被发送到客户端。子坐标信息包含在各子地图的头部信息、或发送数据包等中。
成为各子地图的子坐标信息的基准的坐标的基准坐标，也可以被附加到全体地图的头部信息等比子地图更上位的空间的头部信息。
子地图可以由一个空间(SPC)构成。并且，子地图也可以由多个SPC构成。
并且，子地图也可以包括GOS(Group of Space：空间群)。并且，子地图也可以由世界空间构成。例如，在子地图中有多个对象的情况下，若将多个对象分配到不同的SPC，则子地图由多个SPC构成。并且，若将多个对象分配到一个SPC，子地图由一个SPC构成。
接着，对采用了子坐标信息的情况下的编码效率的改善效果进行说明。图53是用于说明该效果的图。例如，要想对图53所示的离基准坐标远的位置的三维点A进行编码，则需要较多的比特数。在此，子坐标与三维点A的距离，比基准坐标与三维点A的距离短。因此，与编码以基准坐标为基准的三维点A的坐标的情况相比，在编码以子坐标为基准的三维点A的坐标的情况下，能够改善编码效率。并且，子地图的比特流包括子坐标信息。通过将子地图的比特流与基准坐标送出到解码侧(客户端)，从而能够在解码侧对子地图的全体坐标进行复原。
图54是子地图的发送侧即服务器1501进行的处理的流程图。
首先，服务器1501从客户端1502接收包括客户端1502的位置信息的消息(S1501)。控制部1512从存储部1511，获得基于客户端的位置信息的子地图的编码比特流(S1502)。于是，服务器1501将子地图的编码比特流和基准坐标发送到客户端1502(S1503)。
图55是子地图的接收侧即客户端1502进行的处理的流程图。
首先，客户端1502接收从服务器1501发送的子地图的编码比特流和基准坐标(S1511)。接着，客户端1502通过对编码比特流进行解码，从而获得子地图和子坐标信息(S1512)。接着，客户端1502利用基准坐标和子坐标，将子地图内的差分坐标复原为全体坐标(S1513)。
接着，对与子地图相关的信息的句法例子进行说明。在子地图的编码中，三维数据编码装置通过从各点云(三维点)的坐标减去子坐标，从而算出差分坐标。于是，三维数据编码装置将差分坐标编码为比特流，以作为各点云的值。并且，编码装置将示出子坐标的子坐标信息作为比特流的头部信息来编码。据此，三维数据解码装置能够得到各点云的全体坐标。例如，三维数据编码装置包括在服务器1501中，三维数据解码装置包括在客户端1502中。
图56示出了子地图的句法例子。图56所示的NumOfPoint表示子地图中包含的点云数。sub_coordinate_x、sub_coordinate_y、以及sub_coordinate_z是子坐标信息。sub_coordinate_x表示子坐标的x坐标。sub_coordinate_y表示子坐标的y坐标。sub_coordinate_z表示子坐标的z坐标。
并且，diff_x[i]、diff_y[i]、以及diff_z[i]是子地图内的第i个点云的差分坐标。diff_x[i]表示子地图内的第i个点云的x坐标与子坐标的x坐标的差分值。diff_y[i]表示子地图内的第i个点云的y坐标与子坐标的y坐标的差分值。diff_z[i]表示子地图内的第i个点云的z坐标与子坐标的z坐标的差分值。
三维数据解码装置针对作为第i个的点云的全体坐标的point_cloud[i]_x、point_cloud[i]_y、以及point_cloud[i]_z，利用下式进行解码。point_cloud[i]_x是第i个的点云的全体坐标的x坐标。point_cloud[i]_y是第i个的点云的全体坐标的y坐标。point_cloud[i]_z是第i个的点云的全体坐标的z坐标。
point_cloud[i]_x＝sub_coordinate_x+diff_x[i]
point_cloud[i]_y＝sub_coordinate_y+diff_y[i]
point_cloud[i]_z＝sub_coordinate_z+diff_z[i]
接着，对八叉树编码的适用切换处理进行说明。三维数据编码装置在进行子地图编码时，或者选择八叉树表现来编码各点云(以下称为八叉树编码(octree编码))，或者选择对与子坐标的差分值进行编码(以下称为非八叉树编码(non-octree编码))。图57在模式上示出了该工作。例如，三维数据编码装置在子地图内的点云数为预先规定的阈值以上的情况下，对子地图适用八叉树编码。三维数据编码装置在子地图内的点云数比上述阈值小的情况下，对子地图适用非八叉树编码。据此，三维数据编码装置按照子地图内包含的对象的形状以及密度，恰当地选择是采用八叉树编码、还是非八叉树编码，这样，能够提高编码效率。
并且，三维数据编码装置将示出针对子地图适用八叉树编码和非八叉树编码的哪一个的信息(以下称为八叉树编码适用信息)，附加到子地图的头等。据此，三维数据解码装置能够判别比特流是子地图被八叉树编码而得到的比特流、还是子地图被非八叉树编码而得到的比特流。
并且，三维数据编码装置可以算出将八叉树编码与非八叉树编码分别适用于同一个点云时的编码效率，将编码效率高的编码方式适用于子地图。
图58示出了进行这种切换的情况下的子地图的句法例子。图58所示的coding_type是示出编码类型的信息，是上述的八叉树编码适用信息。coding_type＝00表示适用了八叉树编码。coding_type＝01表示适用了非八叉树编码。coding_type＝10或11表示适用了除上述以外的其他的编码方式等。
在编码类型是非八叉树编码(non_octree)的情况下，子地图包括NumOfPoint、和子坐标信息(sub_coordinate_x、sub_coordinate_y、以及sub_coordinate_z)。
在编码类型是八叉树编码(octree)的情况下，子地图包括octree_info。octree_info是八叉树编码中所需要的信息，例如包括depth信息等。
在编码类型是非八叉树编码(non_octree)的情况下，子地图包括差分坐标(diff_x[i]、diff_y[i]、以及diff_z[i])。
在编码类型是八叉树编码(octree)的情况下，子地图包括与八叉树编码相关的编码数据即octree_data。
另外，在此，作为点云的坐标系虽然示出了采用xyz坐标系的例子，不过也可以采用极坐标系。
图59是三维数据编码装置进行的三维数据编码处理的流程图。首先，三维数据编码装置算出处理对象的子地图即对象子地图内的点云数(S1521)。接着，三维数据编码装置判断算出的点云数是否为预先规定的阈值以上(S1522)。
在点云数为阈值以上的情况下(S1522的“是”)，三维数据编码装置针对对象子地图适用八叉树编码(S1523)。并且，三维点数据编码装置将表示针对对象子地图适用了八叉树编码的八叉树编码适用信息附加到比特流的头(S1525)。
另外，在点云数低于阈值的情况下(S1522的“否”)，三维数据编码装置针对对象子地图适用非八叉树编码(S1524)。并且，三维点数据编码装置将表示针对对象子地图适用了非八叉树编码的八叉树编码适用信息附加到比特流的头(S1525)。
图60是三维数据解码装置进行的三维数据解码处理的流程图。首先，三维数据解码装置从比特流的头解码八叉树编码适用信息(S1531)。接着，三维数据解码装置根据解码的八叉树编码适用信息，判断被适用到对象子地图的编码类型是否为八叉树编码(S1532)。
在八叉树编码适用信息示出的编码类型是八叉树编码的情况下(S1532的“是”)，三维数据解码装置利用八叉树解码来解码对象子地图(S1533)。另外，在八叉树编码适用信息示出的编码类型是非八叉树编码的情况下(S1532的“否”)，三维数据解码装置利用非八叉树解码来解码对象子地图(S1534)。
以下对本实施方式的变形例进行说明。图61至图63在模式上示出了编码类型的切换处理的变形例的工作。
如图61所示，三维数据编码装置可以按照每个空间，来选择是适用八叉树编码、还是适用非八叉树编码。在这种情况下，三维数据编码装置将八叉树编码适用信息附加到空间的头。据此，三维数据解码装置能够按照每个空间来判断是否适用八叉树编码。并且，在这种情况下，三维数据编码装置按照每个空间设定子坐标，对从空间内的各点云的坐标中减去子坐标的值之后的差分值进行编码。
据此，由于三维数据编码装置能够按照空间内的对象的形状或点云数来恰当地切换是否适用八叉树编码，因此能够提高编码效率。
并且，如图62所示，三维数据编码装置可以按照每个体积来选择是适用八叉树编码、还是适用非八叉树编码。在这种情况下，三维数据编码装置将八叉树编码适用信息附加到体积的头。据此，三维数据解码装置能够按照每个体积来判断是否适用八叉树编码。并且，在这种情况下，三维数据编码装置按照每个体积设定子坐标，对从体积内的各点云的坐标减去子坐标的值后的差分值进行编码。
据此，由于三维数据编码装置能够按照体积内的对象的形状或点云数，恰当地切换是否适用八叉树编码，因此能够提高编码效率。
并且，在上述的说明中，作为非八叉树编码，示出了对从各点云的坐标减去子坐标之后的差分进行编码的例子，但是并非受此所限，也可以利用八叉树编码以外的任意的编码方法来编码。例如图63所示，三维数据编码装置也可以不利用与子坐标差分，而是可以利用对子地图、空间、或体积内的点云的值本身进行编码的方式(以下称为原坐标编码)，以作为非八叉树编码。
在这种情况下，三维数据编码装置将示出针对对象空间(子地图、空间、或体积)适用了原坐标编码的信息存放到头。据此，三维数据解码装置能够判断针对对象空间是否适用了原坐标编码。
并且，在适用原坐标编码的情况下，三维数据编码装置针对原坐标可以不适用量化以及算术编码而进行编码。并且，三维数据编码装置可以针对原坐标以预先规定的固定的比特长来编码。据此，三维数据编码装置能够在某个定时来生成具有一定的比特长的流。
并且，在上述的说明中，虽然作为非八叉树编码，示出了对从各点云的坐标减去子坐标的差分进行编码的例子，不过并非受此所限。
例如，三维数据编码装置可以依次对各点云的坐标间的差分值进行编码。图64是用于说明这种情况的工作的图。例如在图64所示的例子中，三维数据编码装置在对点云PA进行编码时，将子坐标用作预测坐标，对点云PA的坐标与预测坐标的差分值进行编码。并且，三维数据编码装置在对点云PB进行编码时，将点云PA的坐标用作预测坐标，对点云PB与预测坐标的差分值进行编码。并且，在三维数据编码装置对点云PC进行编码时，将点云PB用作预测坐标，对点云PB与预测坐标的差分值进行编码。这样，三维数据编码装置可以针对多个点云设定扫描顺序，对处理对象的对象点云的坐标、与相对于对象点云在扫描顺序上为前一个点云的坐标的差分值进行编码。
并且，在上述的说明中，子坐标虽然是子地图的左下前方的角落的坐标，不过，子坐标的位置并非受此所限。图65至图67示出了子坐标的位置的其他的例子。关于子坐标的设定位置，可以设定为对象空间(子地图、空间、或体积)内任意的坐标。即，如以上所述，子坐标可以是左下前方的角落的坐标。如图65所示，子坐标也可以是对象空间的中心的坐标。如图66所示，子坐标也可以是对象空间的右上后方的角落的坐标。并且，子坐标并非受限于对象空间的左下前方或右上后方的角落的坐标，可以是对象空间中的任意的角落的坐标。
并且，子坐标的设定位置也可以与对象空间(子地图、空间、或体积)内的某个点云的坐标相同。例如，在图67所示的例子中，子坐标的坐标与点云PD的坐标一致。
并且，在本实施方式中虽然示出了是适用八叉树编码、还是适用非八叉树编码的切换例子，但是并非受此所限。例如，三维数据编码装置也可以对是适用八叉树以外的其他的树结构、还是适用该树结构以外的非树结构进行切换。例如，其他的树结构是指，利用与坐标轴的其中之一垂直的平面，来进行分割的kd树等。另外，作为其他的树结构，可以采用任意的方式。
并且，在本实施方式中虽然示出了对点云所具有的坐标信息进行编码的例子，但是并非受此所限。三维数据编码装置例如也可以对颜色信息、三维特征量、或可见光的特征量等，以与坐标信息相同的方法进行编码。例如，三维数据编码装置也可以将子地图内的各点云所具有的颜色信息的平均值设定为子颜色信息(sub-color)，对各点云的颜色信息与子颜色信息的差分进行编码。
并且，在本实施方式中虽然示出了按照点云的数量等来选择编码效率高的编码方式(八叉树编码或非八叉树编码)的例子，但是并非受此所限。例如，作为服务器侧的三维数据编码装置可以事先保持通过八叉树编码而编码的点云的比特流、通过非八叉树编码而编码的点云的比特流、以及通过这两种方式而编码的点云的比特流，按照通信环境或三维数据解码装置的处理能力，对发送到三维数据解码装置比特流进行切换。
图68示出了对八叉树编码的适用进行切换的情况下的体积的句法例子。图68所示的句法与图58所示的句法基本相同，各信息为体积单位的信息之处不同。具体而言，NumOfPoint示出体积中包含的点云数。sub_coordinate_x、sub_coordinate_y、以及sub_coordinate_z是体积的子坐标信息。
并且，diff_x[i]、diff_y[i]、以及diff_z[i]是体积内的第i个点云的差分坐标。diff_x[i]表示体积内的第i个点云的x坐标与子坐标的x坐标的差分值。diff_y[i]表示体积内的第i个点云的y坐标与子坐标的y坐标的差分值。diff_z[i]表示体积内的第i个点云的z坐标与子坐标的z坐标的差分值。
另外，在空间中的体积的相对位置能够计算的情况下，三维数据编码装置也可以不使子坐标信息包含在体积的头。即，三维数据编码装置可以不使子坐标信息包含在头，而计算空间中的体积的相对位置，将计算的位置作为各体积的子坐标。
如以上所述，本实施方式所涉及的三维数据编码装置判断是否以八叉树结构来对三维数据中包含的多个空间单位(例如子地图、空间或体积)中的对象空间单位进行编码(例如，图59的S1522)。例如，三维数据编码装置在对象空间单位中包含的三维点的数量比预先规定的阈值多的情况下，判断为以八叉树结构对对象空间单位进行编码。并且，三维数据编码装置在对象空间单位中包含的三维点的数量为上述阈值以下的情况下，判断为不以八叉树结构对对象空间单位进行编码。
在判断为以八叉树结构对对象空间单位进行编码的情况下(S1522的“是”)，三维数据编码装置以八叉树结构来编码对象空间单位(S1523)。并且，在判断为不以八叉树结构对对象空间单位进行的编码的情况下(S1522的“否”)，三维数据编码装置针对对象空间单位，以与八叉树结构不同的方式来进行编码(S1524)。例如，作为不同的方式，三维数据编码装置对对象空间单位中包含的三维点的坐标进行编码。具体而言，作为不同的方式，三维数据编码装置对对象空间单位的基准坐标、与对象空间单位中包含的三维点的坐标的差分进行编码。
接着，三维数据编码装置将示出是否以八叉树结构来编码对象空间单位的信息附加到比特流(S1525)。
据此，该三维数据编码装置能够减少编码信号的数据量，从而能够提高编码效率。
例如，三维数据编码装置具备处理器和存储器，处理器利用存储器，进行上述的处理。
并且，本实施方式所涉及的三维数据解码装置从比特流中，解码示出是否以八叉树结构来解码三维数据中包含的多个对象空间单位(例如，子地图、空间或体积)中的对象空间单位的信息(例如，图60的S1531)。在由上述信息示出以八叉树结构来解码对象空间单位的情况下(S1532的“是”)，三维数据解码装置以八叉树结构来解码对象空间单位(S1533)。
在由上述信息示出不以八叉树结构对所述对象空间单位进行解码的情况下(S1532的“否”)，三维数据解码装置以与八叉树结构不同的方式来解码对象空间单位(S1534)。例如，三维数据解码装置在不同的方式中，对对象空间单位中包含的三维点的坐标进行解码。具体而言，三维数据解码装置在不同的方式中，对对象空间单位的基准坐标与对象空间单位中包含的三维点的坐标的差分进行解码。
由此，该三维数据解码装置能够减少编码信号的数据量，因此能够提高编码效率。
例如，三维数据解码装置具备处理器和存储器，处理器使用存储器进行上述的处理。
(实施方式9)
在本实施方式中，对八叉树结构等树结构的编码方法进行说明。
通过识别重要区域(important area)，优先解码重要区域的三维数据，能够提高效率。
图69是表示三维地图中的重要区域的例子的图。重要区域是例如包含一定数量以上的三维地图中的三维点中的特征量的值大的三维点的区域。或者，重要区域例如也可以是包含一定数量以上的车载等客户端进行自身位置估计的情况下所需的三维点的区域。或者，重要区域也可以是人的三维模型中的脸的区域。这样，重要区域能够针对每个应用程序定义，也可以根据应用程序来切换重要区域。
在本实施方式中，作为表现八叉树结构等的方式，使用占用率编码(OccupancyCoding)和位置编码(Location Coding)。另外，将通过占用率编码得到的比特串称为占用率代码(Occupancy code)。将通过位置编码得到的比特串称为位置代码(Location code)。
图70是表示占用率代码的一个例子的图。图70表示四叉树结构的占用率代码的例子。在图70中，对各节点分配占用率代码。各占用率代码表示在各节点的子节点或叶节点中是否包含三维点。例如在四叉树的情况下，表示各节点所具有的四个子节点或叶节点是否分别包含三维点的信息用4比特的占用率代码来表示。另外，在八叉树的情况下，表示各节点所具有的8个子节点或叶节点是否分别包含三维点的信息用8比特的占用率代码来表示。另外，在此，为了说明的简略化而以四叉树结构为例进行说明，但对于八叉树结构也能够同样地适用。例如，如图70所示，占用率代码是以图40等中说明的宽度优先对节点和叶节点进行了扫描的比特例。在占用率代码中，由于按照固定顺序对多个三维点的信息进行解码，所以不能对任意的三维点的信息进行优先解码。另外，占用率代码也可以是以图40等中说明的深度优先对节点和叶节点进行了扫描的比特串。
以下，对位置编码进行说明。通过使用位置代码，能够直接对八叉树结构中的重要的部分进行解码。另外，能够高效地对处于深层的重要三维点进行编码。
图71是用于说明位置编码的图，是表示四叉树结构的一个例子的图。在图71所示的例子中，通过四叉树结构来表示三维点A～I。另外，三维点A以及C是重要区域中包含的重要三维点。
图72是表示图71所示的四叉树结构中的表示重要三维点A及C的占用率代码以及位置代码的图。
在位置编码中，在树结构中，对到作为编码对象的三维点的对象三维点所属的叶节点为止的路径中存在的节点的索引和叶节点的索引进行编码。在此，索引是分配给各节点以及叶节点的数值。换言之，索引是指，用于识别对象节点的多个子节点的标识符。如图71所示，在四叉树的情况下，索引表示0～3中的任一个。
例如，在图71所示的四叉树结构中，在叶节点A是对象三维点的情况下，叶节点A表现为0→2→1→0→1→2→1。在此，在各索引的最大值为右图的情况下为4(能够以2bit表现)，因此叶节点A的位置代码所需的比特数为7×2bit＝14bit。在叶节点C为编码对象的情况下，同样所需比特数为14比特。另外，在八叉树的情况下，由于各索引的最大值为8(能够以3bit表现)，所以能够以3bit×叶节点的深度计算所需比特数。另外，三维数据编码装置也可以在对各索引进行二进制化后，进行熵编码来减少数据量。
另外，如图72所示，在占用率代码中，为了对叶节点A以及C进行解码，需要对其上层的所有节点进行解码。另一方面，在位置代码中，能够仅对叶节点A以及C的数据进行解码。由此，如图72所示，通过使用位置代码，与占用率代码相比，能够减少比特数。
另外，如图72所示，通过对位置代码的一部分或全部进行LZ77等词典式压缩，能够进一步减少代码量。
接着，说明对通过LiDAR得到的三维点(点云)适用位置编码的例子。图73是表示通过LiDAR得到的三维点的例子的图。通过LiDAR得到的三维点稀疏。即，在以占用率代码表示该三维点的情况下，值零的数量变多。另外，对该三维点请求高的三维精度。即，八叉树结构的阶层变深。
图74是表示这样的稀疏的深八叉树结构的例子的图。图74所示的八叉树结构的占用率代码是136比特(＝8比特×17节点)。另外，由于深度为6，存在6个三维点，因此位置代码为3比特×6×6＝108比特。即，位置代码能够相对于占用率代码减少20％的代码量。这样，通过对稀疏的深八叉树结构适用位置编码，能够降低代码量。
以下，对占用率代码和位置代码的代码量进行说明。在八叉树结构的深度为10的情况下，三维点的最大数量为810＝1073741824个。另外，八叉树结构的占用率代码的比特数Lo由以下表示。
Lo＝8+82+…+810＝127133512比特
因此，每个三维点的比特数是1.143比特。另外，在占用率代码中，该比特数即使八叉树结构中包含的三维点的数量变化也不变化。
另一方面，在位置代码中，每个三维点的比特数直接影响八叉树结构的深度。具体地，每个三维点的位置代码的比特数是3比特×深度10＝30比特。
因此，八叉树结构的位置代码的比特数Ll由以下表示。
Ll＝30×N
在此，N是八叉树结构中包含的三维点的数量。
因此，在N＜Lo/30＝40904450.4的情况下，即，在三维点的数量少于40904450个的情况下，位置代码的代码量变得比占用率代码的代码量少(Ll＜Lo)。
这样，在三维点少的情况下，位置代码的代码量比占用率代码的代码量少，在三维点多的情况下，位置代码的代码量比占用率代码的代码量多。
因此，三维数据编码装置也可以根据所输入的三维点的数量，来切换使用位置编码和占用率编码中的哪一个。在该情况下，三维数据编码装置也可以将表示以位置编码和占用率编码中的哪一个进行了编码的信息附加在比特流的头部信息等中。
以下，对组合了位置编码和占用率编码的混合编码进行说明。在对密集的重要区域进行编码的情况下，将位置编码和占用率编码组合的混合编码是有效的。图75是表示该例的图。在图75所示的例子中，重要三维点被密集地配置。在该情况下，三维数据编码装置对深度浅的上层进行位置编码，对于下层使用占用率编码。具体而言，直到最深共用节点为止使用位置编码，在比最深共用节点靠深层的位置使用占用率编码。在此，最深共用节点是指，成为多个重要三维点的共用的祖先的节点中的最深层的节点。
接着，对优先压缩效率的混合编码进行说明。三维数据编码装置也可以按照在八叉树的编码中预先规定的规则，来切换位置编码和占用率编码。
图76是表示该规则的一个例子的图。首先，三维数据编码装置确认各级别(深度)中的包含三维点的节点的比例。在该比例比预先规定的阈值高的情况下，三维数据编码装置对对象级别的上层的几个节点进行占用率编码。例如，三维数据编码装置对从对象级别到最深共用节点的级别适用占用率编码。
例如，在图76所示的例子中，在第3级别中包含三维点的节点的比例比阈值高。因此，三维数据编码装置对从该第3级别到最深共用节点的第2级别以及第3级别适用占用率编码，对于除此以外的第1级别以及第4级别适用位置编码。
对上述阈值的计算方法进行说明。在八叉树结构的一层中，存在一个根节点和8个子节点。因此，在占用率编码中，为了对八叉树结构的1层进行编码而需要8比特。另一方面，在位置编码中，对于包含三维点的每个子节点需要3比特。因此，在包含三维点的节点的数量大于2的情况下，占用率编码比位置编码有效。即，在该情况下，阈值为2。
以下，对通过上述的位置编码、占用率编码或混合编码而生成的比特流的构成例进行说明。
图77是表示通过位置编码生成的比特流的一个例子的图。如图77所示，通过位置编码生成的比特流包含头和多个位置代码。各位置编码针对一个三维点。
通过该构成，三维数据解码装置能够分别高精度地对多个三维点进行解码。另外，图77表示四叉树结构的情况下的比特流的例子。在八叉树结构的情况下，各索引可以取0～7的值。
另外，三维数据编码装置也可以在对表示一个三维点的索引的列(串)进行二进制化之后进行熵编码。例如，在索引的列为0121的情况下，三维数据编码装置可以将0121二进制化为00011001，对该比特串进行算术编码。
图78是表示通过包含重要三维点的情况下的混合编码而生成的比特流的一个例子的图。如图78所示，依次配置上层的位置代码、下层的重要三维点的占用率代码、下层的重要三维点以外的非重要三维点的占用率代码。另外，图78所示的位置代码长表示之后接下来的位置代码的代码量。另外，占用率代码量表示之后接下来的占用率代码的代码量。
通过该构成，三维数据解码装置能够根据应用程序选择不同的解码计划。
另外，重要三维点的编码数据存放在比特流的开头附近，不包含于重要区域中的非重要三维点的编码数据被存放在重要三维点的编码数据之后。
图79是表示由图78所示的重要三维点的占用率代码表示的树结构的图。图80是表示由图78所示的非重要三维点的占用率代码表示的树结构的图。如图79所示，在重要三维点的占用率代码中，排除与非重要三维点相关的信息。具体而言，在深度5的节点0以及节点3中不包含重要三维点，因此对节点0以及节点3分配表示不包含三维点的值0。
另一方面，如图80所示，在非重要三维点的占用率代码中，排除了与重要三维点相关的信息。具体而言，在深度5的节点1中不包含非重要三维点，因此对节点1分配表示不包含三维点的值0。
这样，三维数据编码装置将原本的树结构分割为包含重要三维点的第1树结构和包含非重要三维点的第2树结构，将第1树结构和第2树结构独立地进行占用率编码。由此，三维数据解码装置能够优先对重要三维点进行解码。
接下来，对通过重视效率的混合编码而生成的比特流的构成例进行说明。图81是表示通过重视效率的混合编码而生成的比特流的构成例的图。如图81所示，针对每个子树，依序配置子树根节点位置、占用率代码量和占用率代码。图81所示的子树位置是子树的根节点的位置代码。
在上述的构成中，在对八叉树结构仅适用位置编码以及占用率编码中的一方的情况下，以下成立。
在子树的根节点的位置编码的长度与八叉树结构的深度相等的情况下，子树不具有子节点。即，对树结构的整体适用位置编码。
在子树的根节点与八叉树结构的根节点相等的情况下，对树结构的整体适用占用率编码。
例如，基于上述规则，三维数据解码装置能够判别在比特流中是包含位置代码还是包含占用率编码。
另外，比特流也可以包含表示使用了位置编码、占用率编码以及混合编码中的哪一个的编码模式信息。图82是表示该情况下的比特流的例子的图。例如，如图82所示，表示编码模式的2比特编码模式信息被附加到比特流。
另外，(1)位置编码中的“三维点数”表示之后接下来的三维点的数量。另外，(2)占用率编码中的“占用率代码量”表示之后接下来的占用率代码的代码量。另外，(3)混合编码(重要三维点)中的“重要子树数”表示包含重要三维点的子树的数量。此外，(4)混合编码(重视效率)中的“占用率子树数”表示占用率编码后的子树的数量。
接着，对为了切换占用率编码和位置编码的适用而使用的句法例进行说明。图83是表示该句法例的图。
图83所示的isleaf是表示对象节点是否为叶节点的标志。isleaf＝1表示对象节点是叶节点，isleaf＝0表示对象节点不是叶节点而是节点。
在对象节点是叶节点的情况下，对比特流附加point_flag。point_flag是表示对象节点(叶节点)是否包含三维点的标志。point_flag＝1表示对象节点包含三维点，point_flag＝0表示对象节点不包含三维点。
在对象节点不是叶节点的情况下，对比特流附加coding_type。coding_type是表示所适用的编码类型的编码类型信息。coding_type＝00表示适用了位置编码，coding_type＝01表示适用了占用率编码，coding_type＝10或11表示适用了其他编码方式等。
在编码类型是位置编码的情况下，对比特流附加numPoint、num_idx[i]和idx[i][j]。
numPoint表示进行位置编码的三维点的数量。num_idx[i]表示从对象节点到三维点i的索引的数量(深度)。在进行位置编码的三维点全部位于相同深度的情况下，num_idx[i]全部为相同的值。因此，也可以是，在图83所示的for语句(for(i＝0；i<numPoint；i++){)之前，将num_idx定义为共用的值。
idx[i][j]表示从对象节点到三维点i的索引中第j个索引的值。在八叉树的情况下，idx[i][j]的比特数是3比特。
此外，如以上所述，索引是指，用于识别对象节点的多个子节点的标识符。在八叉树的情况下，idx[i][j]表示0～7中的任一个。此外，在八叉树的情况下，存在8个子节点，各子节点与通过将与对象节点对应的对象块在空间上进行8分割而得到的8个子块的每一个对应。因此，idx[i][j]也可以是表示与子节点对应的子块的三维位置的信息。例如，idx[i][j]也可以是包含表示子块的x、y、z的每一个的位置的各1比特的信息的合计3比特信息。
在编码类型是占用率编码的情况下，对比特流附加occupancy_code。occupancy_code是对象节点的占用率代码。在八叉树的情况下，occupancy_code是例如比特串“00101000”等8比特的比特串。
在occupancy_code的第(i+1)比特的值为1的情况下，转移到子节点的处理。即，子节点被设定为下一个对象节点，递归地生成比特串。
在本实施方式中，示出了通过将叶节点信息(isleaf、point_flag)附加于比特流而表示八叉树的末端的例子，但不一定限于此。例如，三维数据编码装置可以将从占用率代码的开始节点(根节点)到存在三维点的末端(叶节点)的最大深度(depth)附加到开始节点的头。然后，三维数据编码装置也可以一边从开始节点增加深度一边递归地对子节点的信息进行比特串化，在深度成为最大深度的时间点判断为到达了叶节点。此外，三维数据编码装置可以将表示最大深度的信息附加在coding_type成为占用率编码的最初的节点，也可以附加在八叉树的开始节点(根节点)上。
如以上所述，三维数据编码装置也可以在比特流中附加用于切换占用率编码和位置编码的信息作为各节点的头部信息。
此外，三维数据编码装置也可以对通过上述方法生成的各节点的coding_type、numPoint、num_idx、idx、occupancy_code进行熵编码。例如，三维数据编码装置在将各值二值化之后进行算术编码。
另外，在上述句法中，例示了使用八叉树结构的深度优先的比特串作为占用率代码的情况，但并不一定限于此。三维数据编码装置也可以使用八叉树结构的宽度优先的比特串作为占用率代码。三维数据编码装置在使用宽度优先的比特串的情况下，也可以在比特流中附加用于切换占用率编码和位置编码的信息作为各节点的头部信息。
在本实施方式中，以八叉树结构为例进行了表示，但不一定限于此，也可以对四叉树以及十六叉树等N叉树(N为2以上的整数)或者其他的树结构适用上述方法。
以下，说明对占用率编码和位置编码的适用进行切换的编码处理的流程例。图84是本实施方式的编码处理的流程图。
首先，三维数据编码装置用八叉树结构表现三维数据中包含的多个三维点(S1601)。接着，三维数据编码装置将八叉树结构中的根节点设定为对象节点(S1602)。接着，三维数据编码装置通过对对象节点进行节点编码处理，生成八叉树结构的比特串(S1603)。接着，三维数据编码装置通过对所生成的比特串进行熵编码而生成比特流(S1604)。
图85是节点编码处理(S1603)的流程图。首先，三维数据编码装置判断对象节点是否是叶节点(S1611)。在对象节点不是叶节点的情况下(S1611的“否”)，三维数据编码装置将叶节点标志(isleaf)设定为0，将该叶节点标志附加于比特串(S1612)。
接下来，三维数据编码装置判断包含三维点的子节点的数量是否比预先规定的阈值多(S1613)。另外，三维数据编码装置也可以将该阈值附加到比特串。
在包含三维点的子节点的数量比预先规定的阈值多的情况下(S1613的“是”)，三维数据编码装置将编码类型(coding_type)设定为占用率编码，并将该编码类型附加到比特串(S1614)。
接着，三维数据编码装置设定占用率编码信息，将该占用率编码信息附加到比特串。具体而言，三维数据编码装置生成对象节点的占用率代码，并将该占用率代码附加到比特串(S1615)。
接着，三维数据编码装置按照占用率代码，设定下一个对象节点(S1616)。具体而言，三维数据编码装置根据占用率代码为“1”的未处理的子节点设定为下一个对象节点。
接着，三维数据编码装置对新设定的对象节点进行节点编码处理(S1617)。即，对新设定的对象节点进行图85所示的处理。
在未完成所有子节点的处理的情况下(S1618的“否”)，再次进行步骤S1616以后的处理。另一方面，在所有子节点的处理完成的情况下(S1618的“是”)，三维数据编码装置结束节点编码处理。
另外，在步骤S1613中，在包含三维点的子节点的数量为预先规定的阈值以下的情况下(S1613的“否”)，三维数据编码装置将编码类型设定为位置编码，并将该编码类型附加到比特串(S1619)。
接着，三维数据编码装置设定位置编码信息，将该位置编码信息附加到比特串。具体而言，三维数据编码装置生成位置代码，并将该位置编码附加到比特串(S1620)。位置代码包含numPoint、num_idx以及idx。
另外，在步骤S1611中，在对象节点是叶节点的情况下(S1611的“是”)，三维数据编码装置将叶节点标志设定为1，将该叶节点标志附加到比特串(S1621)。另外，三维数据编码装置设定表示叶节点是否包含三维点的信息即点标志(point_flag)，将该点标志附加到比特串(S1622)。
接着，说明对占用率编码和位置编码的适用进行切换的解码处理的流程例。图85是本实施方式的解码处理的流程图。
三维数据解码装置通过对比特流进行熵解码而生成比特串(S1631)。接着，三维数据解码装置通过对得到的比特串进行节点解码处理，复原八叉树结构(S1632)。接着，三维数据解码装置根据复原的八叉树结构生成三维点(S1633)。
图87是节点解码处理(S1632)的流程图。首先，三维数据解码装置从比特串获得(解码)叶节点标志(isleaf)(S1641)。接着，三维数据解码装置基于叶节点标志判断对象节点是否为叶节点(S1642)。
在对象节点不是叶节点的情况下(S1642的“否”)，三维数据解码装置从比特串获得编码类型(coding_type)(S1643)。三维数据解码装置判断编码类型是否为占用率编码(S1644)。
在编码类型是占用率编码的情况下(S1644的“是”)，三维数据解码装置从比特串获得占用率编码信息。具体而言，三维数据解码装置从比特串获得占用率代码(S1645)。
接着，三维数据解码装置按照占用率编码，设定下一个对象节点(S1646)。具体而言，三维数据解码装置根据占用率代码为“1”的未处理的子节点设定为下一个对象节点。
接着，三维数据解码装置对新设定的对象节点进行节点解码处理(S1647)。即，对新设定的对象节点进行图87所示的处理。
在未完成所有子节点的处理的情况下(S1648的“否”)，再次进行步骤S1646以后的处理。另一方面，在所有子节点的处理完成的情况下(S1648的“是”)，三维数据解码装置结束节点解码处理。
此外，在步骤S1644中编码类型是位置编码的情况下(S1644的“否”)，三维数据解码装置从比特串获得位置编码信息。具体而言，三维数据解码装置从比特串获得位置代码(S1649)。位置代码包含numPoint、num_idx以及idx。
另外，在步骤S1642中对象节点是叶节点的情况下(S1642的“是”)，三维数据解码装置从比特串获得表示叶节点是否包含三维点的信息即点标志(point_flag)(S1650)。
另外，在本实施方式中，示出了按每个节点切换编码类型的例子，但不一定限于此。编码类型也可以以体积、空间或世界空间单位固定。在该情况下，三维数据编码装置也可以将编码类型信息附加到体积、空间或世界空间的头部信息。
如以上所述，本实施方式的三维数据编码装置生成以第1方式(位置编码)表示三维数据中包含的多个三维点的N(N为2以上的整数)叉树结构的第1信息，生成包含第1信息的比特流。第1信息包含与多个三维点的每一个对应的三维点信息(位置代码)。各三维点信息包含与N叉树结构中的多个层的每一个对应的索引(idx)。各索引表示属于对应的层的N个子块中的、对应的三维点所属的子块。
换言之，各三维点信息表示在N叉树结构中到与对应的三维点为止的路径。各索引表示属于对应的层(节点)的N个子节点中的、上述路径中包含的子节点。
由此，该三维数据编码方法能够生成能够选择性地对三维点进行解码的比特流。
例如，三维点信息(位置代码)包含表示该三维点信息中包含的索引的数量的信息(num_idx)。换言之，该信息表示N叉树结构中的到对应的三维点为止的深度(层数)。
例如，第1信息包含表示该第1信息中包含的三维点信息的数量的信息(numPoint)。换言之，该信息表示在N叉树结构中包含的三维点的数量。
例如，N为8，索引为3比特。
例如，三维数据编码装置具有：第1编码模式，生成第1信息；以及第2编码模式，生成以第2方式(占用率编码)表示N叉树结构的第2信息(占用率代码)，生成包含第2信息的比特流。第2信息包含多个与属于N叉树结构中的多个层的多个子块的每一个对应，并表示在对应的子块中是否存在三维点的1比特的信息。
例如，三维数据编码装置在多个三维点的数量为预先规定的阈值以下的情况下，使用第1编码模式，在多个三维点的数量比阈值多的情况下，使用第2编码模式。由此，该三维数据编码装置能够降低比特流的代码量。
例如，第1信息以及第2信息包含表示该信息是以第1方式表示N叉树结构的信息还是以第2方式表示N叉树结构的信息的信息(编码模式信息)。
例如，如图75等所示，三维数据编码装置在N叉树结构的一部分中使用第1编码模式，在N叉树结构的另一部分中使用第2编码模式。
例如，三维数据编码装置具备处理器和存储器，处理器使用存储器进行上述的处理。
另外，本实施方式的三维数据解码装置从比特流获得以第1方式(位置编码)表示三维数据中包含的多个三维点的N(N为2以上的整数)叉树结构的第1信息(位置代码)。第1信息包含与多个三维点的每一个对应的三维点信息(位置代码)。各三维点信息包含与N叉树结构中的多个层的每一个对应的索引(idx)。各索引表示属于对应的层的N个子块中的、对应的三维点所属的子块。
换言之，各三维点信息表示在N叉树结构中到对应的三维点为止的路径。各索引表示属于对应的层(节点)的N个子节点中的、上述路径中包含的子节点。
三维数据解码装置进一步使用三维点信息来复原与该三维点信息对应的三维点。
由此，该三维数据解码装置能够从比特流中选择性地对三维点进行解码。
例如，三维点信息(位置代码)包含表示该三维点信息中包含的索引的数量的信息(num_idx)。换言之，该信息表示N叉树结构中的到对应的三维点为止的深度(层数)。
例如，第1信息包含表示该第1信息中包含的三维点信息的数量的信息(numPoint)。换言之，该信息表示在N叉树结构中包含的三维点的数量。
例如，N为8，索引为3比特。
例如，三维数据解码装置进一步从比特流获得以第2方式(占用率编码)表示N叉树结构的第2信息(占用率代码)。三维数据解码装置使用第2信息来复原多个三维点。第2信息包含多个与属于N叉树结构中的多个层的多个子块的每一个对应，并表示在对应的子块中是否存在三维点的1比特的信息。
例如，第1信息以及第2信息包含表示该信息是以第1方式表示N叉树结构的信息还是以第2方式表示N叉树结构的信息的信息(编码模式信息)。
例如，如图75等所示，N叉树结构的一部分用第1方式表示，N叉树结构的另一部分用第2方式表示。
例如，三维数据解码装置具备处理器和存储器，处理器使用存储器，进行上述的处理。
(实施方式10)
在本实施方式中，对八叉树结构等的树结构的编码方法的另一例进行说明。图88是表示有关本实施方式的树结构的一例的图。另外，图88表示四叉树结构的例子。
将包含三维点的叶节点称作有效叶节点，将不包含三维点的叶节点称作无效叶节点。将有效叶节点的数量是阈值以上的分支(branch)称作稠密的分支(dense branch)。将有效叶节点的数量比阈值小的分支称作稀疏的分支(sparse branch)。
三维数据编码装置在树结构的某层(layer)中，计算各分支中包含的三维点的数量(即有效叶节点的数量)。图88表示阈值是5的情况下的例子。在该例中，在层1中存在两个分支。由于在左侧的分支中包含7个三维点，所以左侧的分支被判定为稠密的分支。由于在右侧的分支中包含两个三维点，所以右侧的分支被判定为稀疏的分支。
图89例如是表示层5的各分支所具有的有效叶节点的数量(3D points)的例子的图。图89的横轴表示层5的分支的识别号即索引。如图89所示，在特定的分支中，包含比其他分支明显多的三维点。在这样的稠密的分支中，与稀疏的分支相比，占用率编码更为有效。
以下，对占用率编码和位置编码的应用方法进行说明。图90是表示层5的各分支中包含的三维点的数量(有效叶节点的数量)与所应用的编码方式的关系的图。如图90所示，三维数据编码装置对于稠密的分支应用占用率编码，对于稀疏的分支应用位置编码。由此，能够提高编码效率。
图91是表示LiDAR数据中的稠密的分支区域的例子的图。如图91所示，根据区域，基于各分支中包含的三维点的数量计算的三维点的密度不同。
此外，通过将稠密的三维点(分支)与稀疏的三维点(分支)分离，有以下的优点。距LiDAR传感器越近，三维点的密度越高。因此，通过对应于疎密而将分支分离，能够进行距离方向的划区。这样的划区在特定的应用中是有效的。此外，对于稀疏的分支，使用占用率编码以外的方法是有效的。
在本实施方式中，三维数据编码装置将被输入的三维点群分离为两个以上的子三维点群，对各子三维点群应用不同的编码方法。
例如，三维数据编码装置将被输入的三维点群分离为包括稠密的分支的子三维点群A(稠密的三维点群：dense cloud)、和包括稀疏的分支的子三维点群B(稀疏的三维点群：sparse cloud)。图92是表示从图88所示的树结构分离出的、包括稠密的分支的子三维点群A(稠密的三维点群)的例子的图。图93是表示从图88所示的树结构分离出的、包括稀疏的分支的子三维点群B(稀疏的三维点群)的例子的图。
接着，三维数据编码装置将子三维点群A通过占用率编码进行编码，将子三维点群B通过位置编码进行编码。
另外，这里表示了作为不同的编码方法而应用不同的编码方式(占用率编码和位置编码)的例子，但例如三维数据编码装置也可以对子三维点群A和子三维点群B使用相同的编码方式，并且在子三维点群A和子三维点群B间使在编码中使用的参数不同。
以下，对由三维数据编码装置进行的三维数据编码处理的流程进行说明。图94是由有关本实施方式的三维数据编码装置进行的三维数据编码处理的流程图。
首先，三维数据编码装置将被输入的三维点群分离为子三维点群(S1701)。三维数据编码装置既可以自动地进行该分离，也可以基于由用户输入的信息来进行。例如，也可以由用户指定子三维点群的范围等。此外，作为自动进行的例子，例如在输入数据是LiDAR数据的情况下，三维数据编码装置使用到各点群的距离信息进行分离。具体而言，三维数据编码装置将距计测地点处于一定范围内的点群与处于范围外的点群分离。此外，三维数据编码装置也可以使用重要的区域和不重要的区域的信息进行分离。
接着，三维数据编码装置将子三维点群A通过方法A进行编码，从而生成编码数据(编码比特流)(S1702)。此外，三维数据编码装置将子三维点群B通过手法B进行编码，从而生成编码数据(S1703)。另外，三维数据编码装置也可以将子三维点群B通过手法A进行编码。在此情况下，三维数据编码装置使用与在子三维点群A的编码中使用的编码参数不同的参数将子三维点群B进行编码。例如，该参数也可以是量化参数。例如，三维数据编码装置使用比在子三维点群A的编码中使用的量化参数大的量化参数，将子三维点群B进行编码。在此情况下，三维数据编码装置也可以对各子三维点群的编码数据的头附加表示在该子三维点群的编码中使用的量化参数的信息。
接着，三维数据编码装置通过将在步骤S1702中得到的编码数据与在步骤S1703中得到的编码数据结合而生成比特流(S1704)。
此外，三维数据编码装置也可以作为比特流的头部信息而将用来将各子三维点群解码的信息编码。例如，三维数据编码装置也可以将下述这样的信息编码。
头部信息也可以包含表示被编码的子三维点的数量的信息。在该例中，该信息表示2。
头部信息也可以包含表示各子三维点群中包含的三维点的数量和编码方法的信息。在该例中，该信息表示子三维点群A中包含的三维点的数量、对子三维点群A应用的编码方法(手法A)、子三维点群B中包含的三维点的数量和对子三维点群B应用的编码方法(手法B)。
头部信息也可以包含用来识别各子三维点群的编码数据的开始位置或末端位置的信息。
此外，三维数据编码装置也可以将子三维点群A和子三维点群B并行地编码。或者，三维数据编码装置也可以将子三维点群A和子三维点群B依次编码。
此外，向子三维点群的分离的方法并不限于上述。例如，三维数据编码装置使改变分离方法，使用多个分离方法的每一个进行编码，计算使用各分离方法得到的编码数据的编码效率。并且，三维数据编码装置选择编码效率最高的分离方法。例如，三维数据编码装置也可以在多个层的每一个中将三维点群分离，计算各个情况下的编码效率，选择编码效率最高的分离方法(即进行分离的层)，用所选择的分离方法生成子三维点群而进行编码。
此外，三维数据编码装置也可以在将编码数据结合时，越是重要的子三维点群的编码信息，则配置在距比特流的开头越近的位置。由此，三维数据解码装置仅通过将开头的比特流解码就能够获得重要的信息，所以能够较早地获得重要的信息。
接着，对由三维数据解码装置进行的三维数据解码处理的流程进行说明。图95是由有关本实施方式的三维数据解码装置进行的三维数据解码处理的流程图。
首先，三维数据解码装置例如获得由上述三维数据编码装置生成的比特流。接着，三维数据解码装置从所获得的比特流中将子三维点群A的编码数据与子三维点群B的编码数据分离(S1711)。具体而言，三维数据解码装置从比特流的头部信息中将用来解码各子三维点群的信息进行解码，使用该信息将各子三维点群的编码数据分离。
接着，三维数据解码装置通过将子三维点群A的编码数据用手法A解码而得到子三维点群A(S1712)。此外，三维数据解码装置通过将子三维点群B的编码数据用手法B解码，得到子三维点群B(S1713)。接着，三维数据解码装置将子三维点群A与子三维点群B结合(S1714)。
另外，三维数据解码装置也可以将子三维点群A和子三维点群B并行地解码。或者，三维数据解码装置也可以将子三维点群A和子三维点群B依次解码。
此外，三维数据解码装置也可以将需要的子三维点群解码。例如，三维数据解码装置也可以将子三维点群A解码，而不解码子三维点群B。例如，在子三维点群A是LiDAR数据的重要区域中包含的三维点群的情况下，三维数据解码装置将该重要区域的三维点群进行解码。使用该重要区域的三维点群进行车等的自我位置估计等。
接着，说明有关本实施方式的编码处理的具体例。图96是由有关本实施方式的三维数据编码装置进行的三维数据编码处理的流程图。
首先，三维数据编码装置将被输入的三维点分离为稀疏的三维点群和稠密的三维点群(S1721)。具体而言，三维数据编码装置将八叉树结构的某个层的分支所具有的有效叶节点的数量进行计数。三维数据编码装置根据各分支的有效叶节点数，将各分支设定为稠密的分支或稀疏的分支。并且，三维数据编码装置生成将稠密的分支汇集的子三维点群(稠密的三维点群)和将稀疏的分支汇集的子三维点群(稀疏的三维点群)。
接着，三维数据编码装置通过将稀疏的三维点群编码而生成编码数据(S1722)。例如，三维数据编码装置使用位置编码将稀疏的三维点群编码。
此外，三维数据编码装置通过将稠密的三维点群编码而生成编码数据(S1723)。例如，三维数据编码装置使用占用率编码将稠密的三维点群编码。
接着，三维数据编码装置通过将在步骤S1722中得到的稀疏的三维点群的编码数据与在步骤S1723中得到的稠密的三维点群的编码数据结合而生成比特流(S1724)。
此外，三维数据编码装置也可以作为比特流的头部信息而将用来解码稀疏的三维点群和稠密的三维点群的信息进行编码。例如，三维数据编码装置也可以将下述那样的信息编码。
头部信息也可以包含表示被编码的子三维点群的数量的信息。在该例中，该信息表示2。
头部信息也可以包含表示各子三维点群中包含的三维点的数量和编码方法的信息。在该例中，该信息表示稀疏的三维点群中包含的三维点的数量、应用于稀疏的三维点群的编码方法(位置编码)、稠密的三维点群中包含的三维点的数量和应用于稠密的三维点群应用的编码方法(占用率编码)。
头部信息也可以包含用来识别各子三维点群的编码数据的开始位置或末端位置的信息。在该例中，该信息表示稀疏的三维点群的编码数据的开始位置及末端位置、以及稠密的三维点群的编码数据的开始位置及末端位置中的至少一个。
此外，三维数据编码装置也可以将稀疏的三维点群和稠密的三维点群并行地编码。或者，三维数据编码装置也可以将稀疏的三维点群和稠密的三维点群依次编码。
接着，对三维数据解码处理的具体例进行说明。图97是由有关本实施方式的三维数据解码装置进行的三维数据解码处理的流程图。
首先，三维数据解码装置例如获得由上述三维数据编码装置生成的比特流。接着，三维数据解码装置从所获得的比特流分离为稀疏的三维点群的编码数据和稠密的三维点群的编码数据(S1731)。具体而言，三维数据解码装置从比特流的头部信息将用来解码各子三维点群的信息进行解码，使用该信息将各子三维点群的编码数据分离。在该例中，三维数据解码装置使用头部信息从比特流分离稀疏的三维点群和稠密的三维点群的编码数据。
接着，三维数据解码装置通过将稀疏的三维点群的编码数据解码而得到稀疏的三维点群(S1732)。例如，三维数据解码装置利用用来将被位置编码的编码数据解码的位置解码将稀疏的三维点群解码。
此外，三维数据解码装置通过将稠密的三维点群的编码数据解码而得到稠密的三维点群(S1733)。例如，三维数据解码装置利用用来将被占用率编码的编码数据解码的占用率解码将稠密的三维点群解码。
接着，三维数据解码装置将在步骤S1732中得到的稀疏的三维点群与在步骤S1733中得到的稠密的三维点群结合(S1734)。
另外，三维数据解码装置也可以将稀疏的三维点群和稠密的三维点群并行地解码。或者，三维数据解码装置也可以将稀疏的三维点群和稠密的三维点群依次解码。
此外，三维数据解码装置也可以将一部分的需要的子三维点群解码。例如，三维数据解码装置也可以将稠密的三维点群解码，而不解码稀疏的三维数据。例如，在稠密的三维点群是LiDAR数据的重要区域中包含的三维点群的情况下，三维数据解码装置将该重要区域的三维点群解码。使用该重要区域的三维点群进行车等的自我位置估计等。
图98是有关本实施方式的编码处理的流程图。首先，三维数据编码装置通过将被输入的三维点群分离为稀疏的三维点群和稠密的三维点群，生成稀疏的三维点群和稠密的三维点群(S1741)。
接着，三维数据编码装置通过将稠密的三维点群编码而生成编码数据(S1742)。此外，三维数据编码装置通过将稀疏的三维点群编码而生成编码数据(S1743)。最后，三维数据编码装置通过将在步骤S1742中得到的稀疏的三维点群的编码数据与在步骤S1743中得到的稠密的三维点群的编码数据结合而生成比特流(S1744)。
图99是有关本实施方式的解码处理的流程图。首先，三维数据解码装置从比特流中提取稠密的三维点群的编码数据和稀疏的三维点群的编码数据(S1751)。接着，三维数据解码装置通过将稠密的三维点群的编码数据解码而得到稠密的三维点群的解码数据(S1752)。此外，三维数据解码装置通过将稀疏的三维点群的编码数据解码而得到稀疏的三维点群的解码数据(S1753)。接着，三维数据解码装置通过将在步骤S1752中得到的稠密的三维点群的解码数据与在步骤S1753中得到的稀疏的三维点群的解码数据结合而生成三维点群(S1754)。
另外，三维数据编码装置及三维数据解码装置将稠密的三维点群和稀疏的三维点群中的哪一个先编码或解码都可以。此外，也可以由多个处理器等并行地进行编码处理或解码处理。
此外，三维数据编码装置也可以将稠密的三维点群和稀疏的三维点群的一方编码。例如，在稠密的三维点群中包含重要的信息的情况下，三维数据编码装置从被输入的三维点群中提取稠密的三维点群和稀疏的三维点群，将稠密的三维点群编码，而不编码稀疏的三维点群。由此，三维数据编码装置能够在抑制比特量的同时，将重要的信息附加到流中。例如，在服务器与客户端之间，在从客户端对服务器有客户端周围的三维点群信息的发送请求的情况下，服务器将客户端周围的重要的信息作为稠密的三维点群进行编码并向客户端发送。由此，服务器能够在抑制网络带宽的同时发送客户端所请求的信息。
此外，三维数据解码装置也可以将稠密的三维点群和稀疏的三维点群的一方解码。例如，在稠密的三维点群中包含重要的信息的情况下，三维数据解码装置将稠密的三维点群解码，而不解码稀疏的三维点群。由此，三维数据解码装置能够在抑制解码处理的处理负荷的同时获得需要的信息。
图100是图98所示的三维点的分离处理(S1741)的流程图。首先，三维数据编码装置设定层L和阈值TH(S1761)。另外，三维数据编码装置也可以将表示所设定的层L和阈值TH的信息附加到比特流中。即，三维数据编码装置也可以生成包含表示所设定的层L和阈值TH的信息的比特流。
接着，三维数据编码装置将处理对象的位置从八叉树的根节点移动到层L的开头的分支。即，三维数据编码装置选择层L的开头的分支作为处理对象的分支(S1762)。
接着，三维数据编码装置将层L的处理对象的分支的有效叶节点数进行计数(S1763)。在处理对象的分支的有效叶节点数比阈值TH多的情况下(S1764的“是”)，三维数据编码装置将处理对象的分支作为稠密的分支，向稠密的三维点群登记(S1765)。另一方面，在处理对象的分支的有效叶节点数为阈值TH以下的情况下(S1764的“否”)，三维数据编码装置将处理对象的分支作为稀疏的分支，向稀疏的三维点群登记(S1766)。
在没有完成层L的全部的分支的处理的情况下(S1767的“否”)，三维数据编码装置将处理对象的位置移动至层L的下一分支。即，三维数据编码装置选择层L的下一分支作为处理对象的分支(S1768)。并且，三维数据编码装置对所选择的下一个处理对象的分支进行步骤S1763以后的处理。
将上述的处理反复进行，直到完成层L的全部的分支的处理(S1767的“是”)。
另外，在上述说明中预先设定了层L和阈值TH，但并不一定限定于此。例如，三维数据编码装置将层L和阈值TH的组设定多个样式，使用各组生成稠密的三维点群和稀疏的三维点群，并分别进行编码。三维数据编码装置用多个组中的所生成的编码数据的编码效率最高的层L和阈值TH的组，最终将稠密的三维点群和稀疏的三维点群编码。由此能够提高编码效率。此外，三维数据编码装置例如也可以计算层L及阈值TH。例如，三维数据编码装置也可以对层L设定树结构中包含的层的最大值的一半的值。此外，三维数据编码装置也可以将树结构中包含的多个三维点的总数的一半的值设定为阈值TH。
此外，在上述说明中，叙述了将输入三维点群分类为稠密的三维点群和稀疏的三维点群这两种的例子，但三维数据编码装置也可以将输入三维点群分类为3种以上的三维点群。例如，三维数据编码装置在处理对象的分支的有效叶节点数是阈值TH1以上的情况下，将处理对象的分支分类为第1稠密的三维点群，在处理对象的分支的有效叶节点数小于第1阈值TH1且为第2阈值TH2以上的情况下，将处理对象的分支分类为第2稠密的三维点群。三维数据编码装置在处理对象的分支的有效叶节点数小于第2阈值TH2且为第3阈值TH3以上的情况下，将处理对象的分支分类为第1稀疏的三维点群，在处理对象的分支的有效叶节点数小于阈值TH3的情况下，将处理对象的分支分类为第2稀疏的三维点群。
以下，对有关本实施方式的三维点群的编码数据的句法例进行说明。图101是表示该句法例的图。pc_header()例如是被输入的多个三维点的头部信息。
图101所示的num_sub_pc表示子三维点群的数量。numPoint[i]表示第i个子三维点群之中包含的三维点的数量。coding_type[i]是表示应用于第i个子三维点群的编码类型(编码方式)的编码类型信息。例如，coding_type＝00表示应用了位置编码。coding_type＝01表示应用了占用率编码。coding_type＝10或11表示应用了其他的编码方式。
data_sub_cloud()是第i个子三维点群的编码数据。coding_type_00_data是应用了coding_type为00的编码类型的编码数据，例如是应用了位置编码的编码数据。coding_type_01_data是应用了coding_type为01的编码类型的编码数据，例如是应用了占用率编码的编码数据。
end_of_data是表示编码数据的末端的末端信息。例如，对于该end_of_data，分配没有用于编码数据的固定的比特串。由此，三维数据解码装置通过从比特流中搜索例如end_of_data的比特串，能够跳过不需要解码的编码数据的解码处理。
另外，三维数据编码装置也可以将通过上述方法生成的编码数据进行熵编码。例如，三维数据编码装置在将各值进行二值化后进行计算编码。
此外，在本实施方式中，表示了四叉树结构或八叉树结构的例子，但并不一定限定于此，也可以对二叉树、16叉树等N叉树(N为2以上的整数)或其他的树结构应用上述手法。
[变形例]
在上述说明中，如图93及图94所示，将包括稠密的分支和其上层(从整体的树结构的根节点到稠密的分支的根节点的树结构)的树结构编码，将包括稀疏的分支和其上层(从整体的树结构的根节点到稀疏的分支的根节点的树结构)的树结构编码。在本变形例中，三维数据编码装置将稠密的分支与稀疏的分支分离，将稠密的分支和稀疏的分支编码。即，在编码的树结构中，不包含上层的树结构。例如，三维数据编码装置对稠密的分支应用占用率编码，对稀疏的分支应用位置编码。
图102是表示从图88所示的树结构分离的稠密的分支的例子的图。图103是表示从图88所示的树结构分离的稀疏的分支的例子的图。本变形例将图102及图103所示的树结构分别编码。
此外，三维数据编码装置代替不编码上层的树结构，而将表示分支的位置的信息进行编码。例如，该信息表示分支的根节点的位置。
例如，三维数据编码装置将表示生成了稠密的分支的层的层信息和表示稠密的分支是该层的第几个分支的分支信息编码为该稠密的分支的编码数据。由此，三维数据解码装置能够从比特流解码层信息及分支信息，并使用这些层信息及分支信息掌握解码后的稠密的分支是哪个层的第几个分支的三维点群。此外同样，三维数据编码装置将表示生成了稀疏的分支的层的层信息和表示稀疏的分支是该层的第几个分支的分支信息编码为稀疏的分支的编码数据。
由此，三维数据解码装置能够从比特流解码层信息及分支信息，并使用这些层信息及分支信息掌握解码后的稀疏的分支是哪个层的第几个分支的三维点群。由此，能够削减因将比稠密的分支及稀疏的分支上位的层的信息编码而带来的开销，所以能够提高编码效率。
另外，分支信息也可以表示被分配给由层信息表示的层内的各分支的值。此外，分支信息也可以表示以八叉树的根节点为起点而分配给各节点的值。在此情况下，也可以不编码层信息。此外，三维数据编码装置也可以分别生成多个稠密的分支和多个稀疏的分支。
图104是本变形例的编码处理的流程图。首先，三维数据编码装置根据被输入的三维点群生成1个以上的稀疏的分支和1个以上的稠密的分支(S1771)。
接着，三维数据编码装置通过将稠密的分支编码而生成编码数据(S1772)。接着，三维数据编码装置判定是否在步骤S1771中生成的全部的稠密的分支的编码已完成(S1773)。
在全部的稠密的分支的编码没有完成的情况下(S1773的“否”)，三维数据编码装置选择下一个稠密的分支(S1774)，通过将所选择的稠密的分支编码而生成编码数据(S1772)。
另一方面，在全部的稠密的分支的编码完成的情况下(S1773的“是”)，三维数据编码装置通过将稀疏的分支编码而生成编码数据(S1775)。接着，三维数据编码装置判定是否在步骤S1771中生成的全部的稀疏的分支的编码已完成(S1776)。
在全部的稀疏的分支的编码没有完成的情况下(S1776的“否”)，三维数据编码装置选择下一个稀疏的分支(S1777)，通过将所选择的稀疏的分支编码而生成编码数据(S1775)。
另一方面，在全部的稀疏的分支的编码完成的情况下(S1776的“是”)，三维数据编码装置将在步骤S1772及S1775中生成的编码数据结合而生成比特流(S1778)。
图104是本变形例的解码处理的流程图。首先，三维数据解码装置从比特流中提取稠密的分支的1个以上的编码数据和稀疏的分支的1个以上的编码数据(S1781)。接着，三维数据解码装置通过将稠密的分支的编码数据解码，得到稠密的分支的解码数据(S1782)。
接着，三维数据解码装置判定是否在步骤S1781中提取出的全部的稠密的分支的编码数据的解码已完成(S1783)。在全部的稠密的分支的编码数据的解码没有完成的情况下(S1783的“否”)，三维数据解码装置选择下一个稠密的分支的编码数据(S1784)，通过将所选择的稠密的分支的编码数据解码，得到稠密的分支的解码数据(S1782)。
另一方面，在全部的稠密的分支的编码数据的解码完成的情况下(S1783的“是”)，三维数据解码装置通过将稀疏的分支的编码数据解码，得到稀疏的分支的解码数据(S1785)。
接着，三维数据解码装置判定是否在步骤S1781中提取出的全部的稀疏的分支的编码数据的解码已完成(S1786)。在全部的稀疏的分支的编码数据的解码没有完成的情况下(S1786的“否”)，三维数据解码装置选择下一个稀疏的分支的编码数据(S1787)，通过将所选择的稀疏的分支的编码数据解码，得到稀疏的分支的解码数据(S1785)。
另一方面，在全部的稀疏的分支的编码数据的解码已完成的情况下(S1786的“是”)，三维数据解码装置通过将在步骤S1782及S1785中得到的解码数据结合而生成三维点群(S1788)。
另外，三维数据编码装置及三维数据解码装置将稠密的分支和稀疏的分支的哪一方先编码或解码都可以。此外，也可以由多个处理器等并行地进行编码处理或解码处理。
此外，三维数据编码装置也可以将稠密的分支和稀疏的分支的一方编码。此外，三维数据编码装置也可以将多个稠密的分支的一部分编码。例如，在特定的稠密的分支中包含重要的信息的情况下，三维数据编码装置从被输入的三维点群中提取稠密的分支和稀疏的分支，将包含重要的信息的稠密的分支编码，不编码其他稠密的分支及稀疏的分支。由此，三维数据编码装置能够在抑制比特量的同时将重要的信息附加到流中。例如，在服务器与客户端之间从客户端向服务器有客户端周围的三维点群信息的发送请求的情况下，服务器将客户端周围的重要的信息作为稠密的分支编码并发送给客户端。由此，服务器能够在抑制网络带宽的同时发送客户端请求的信息。
此外，三维数据解码装置也可以将稠密的分支和稀疏的分支的一方解码。此外，三维数据解码装置也可以将多个稠密的分支的一部分解码。例如，在特定的稠密的分支中包含重要的信息的情况下，三维数据解码装置将该特定的稠密的分支解码，而不解码其他稠密的分支及稀疏的分支。由此，三维数据解码装置能够在抑制解码处理的处理负荷的同时获得需要的信息。
图106是图104所示的三维点的分离处理(S1771)的流程图。首先，三维数据编码装置设定层L和阈值TH(S1761)。另外，三维数据编码装置也可以将表示所设定的层L和阈值TH的信息附加到比特流中。
接着，三维数据编码装置选择层L的开头的分支作为处理对象的分支(S1762)。接着，三维数据编码装置将层L的处理对象的分支的有效叶节点数计数(S1763)。在处理对象的分支的有效叶节点数比阈值TH多的情况下(S1764的“是”)，三维数据编码装置将处理对象的分支设定为稠密的分支，对比特流附加层信息和分支信息(S1765A)。另一方面，在处理对象的分支的有效叶节点数为阈值TH以下的情况下(S1764的“否”)，三维数据编码装置将处理对象的分支设定为稀疏的分支，对比特流附加层信息和分支信息(S1766A)。
在没有完成层L的全部的分支的处理的情况下(S1767的“否”)，三维数据编码装置选择层L的下一个分支作为处理对象的分支(S1768)。并且，三维数据编码装置对所选择的下一个处理对象的分支进行步骤S1763以后的处理。反复进行上述的处理，直到完成层L的全部的分支的处理(S1767的“是”)。
另外，在上述说明中预先设定了层L和阈值TH，但并不一定限于此。例如，三维数据编码装置设定多个样式的层L和阈值TH的组，使用各组生成稠密的分支和稀疏的分支，并分别进行编码。三维数据编码装置用多个组中的、所生成的编码数据的编码效率最高的层L和阈值TH的组最终将稠密的分支和稀疏的分支编码。由此能够提高编码效率。此外，三维数据编码装置例如也可以计算层L及阈值TH。例如，三维数据编码装置也可以将树结构中包含的层的最大值的一半的值设定为层L。此外，三维数据编码装置也可以将树结构中包含的多个三维点的总数的一半的值设定为阈值TH。
以下，对有关本变形例的三维点群的编码数据的句法例进行说明。图107是表示该句法例的图。在图107所示的句法例中，相对于图101所示的句法例，追加了作为层信息的layer_id[i]和作为分支信息的branch_id[i]。
layer_id[i]表示第i个子三维点群所属的层号。branch_id[i]表示第i个子三维点群的layer_id[i]内的分支号。
layer_id[i]及branch_id[i]是表示例如八叉树的分支的场所的层信息及分支信息。例如，layer_id[i]＝2，branch_id[i]＝5表示第i个分支是层2的第5个分支。
另外，三维数据编码装置也可以将通过上述方法生成的编码数据进行熵编码。例如，三维数据编码装置在将各值二值化后进行计算编码。
此外，在本变形例中表示了四叉树结构或八叉树结构的例子，但并不一定限于此，也可以对二叉树、16叉树等的N叉树(N为2以上的整数)或其他的树结构应用上述手法。
如以上这样，有关本实施方式的三维数据编码装置进行图108所示的处理。
首先，三维数据编码装置生成三维数据中包含的多个三维点的N(N为2以上的整数)叉树结构(S1801)。
接着，三维数据编码装置将以第1层中包含的第1节点为根节点的第1分支通过第1编码处理进行编码，从而生成第1编码数据，第1层是N叉树结构中包含的多个层的某一个(S1802)。
此外，三维数据编码装置将以第1层中包含的与第1节点不同的第2节点为根节点的第2分支通过与第1编码处理不同的第2编码处理进行编码，从而生成第2编码数据(S1803)。
接着，三维数据编码装置生成包括第1编码数据和第2编码数据的比特流(S1804)。
由此，三维数据编码装置能够应用适合于N叉树结构中包含的各个分支的编码处理，所以能够提高编码效率。
例如，第1分支中包含的三维点的数量比预先设定的阈值少，第2分支中包含的三维点的数量比阈值多。即，三维数据编码装置在处理对象的分支中包含的三维点的数量比阈值少的情况下，将处理对象的分支设定为第1分支，在处理对象的分支中包含的三维点的数量比阈值多的情况下，将处理对象的分支设定为第2分支。
例如，第1编码数据包含以第1方式表示第1分支中包含的多个第1三维点的第一N叉树结构的第1信息。第2编码数据包含以第2方式表示第2分支中包含的多个第2三维点的第二N叉树结构的第2信息。即，第1编码处理和第2编码处理的编码方式不同。
例如，在第1编码处理中使用位置编码，在第2编码处理中使用占用率编码。即，第1信息包含与多个第1三维点的每一个对应的三维点信息。各三维点信息包含与第一N叉树结构中的多个层的每一个对应的索引。各索引表示属于对应的层的N个子块中的、对应的第1三维点所属的子块。第2信息包含多个与属于第二N叉树结构中的多个层的多个子块的每一个对应、且表示在对应的子块中是否存在三维点的1比特的信息。
例如，在第2编码处理中使用的量化参数与在第1编码处理中使用的量化参数不同。即，第1编码处理和第2编码处理的编码方式相同，使用的参数不同。
例如，如图92及图93所示，三维数据编码装置在第1分支的编码中，将包括从N叉树结构的根节点到第1节点的树结构和第1分支的树结构通过第1编码处理进行编码，在第2分支的编码中，将包括从N叉树结构的根节点到第2节点的树结构和第2分支的树结构通过第2编码处理进行编码。
例如，第1编码数据包含第1分支的编码数据、和表示N叉树结构中的第1节点的位置的第3信息。第2编码数据包括第2分支的编码数据、和表示N叉树结构中的第2节点的位置的第4信息。
例如，第3信息包括表示第1层的信息(层信息)、和表示第1节点是第1层中包含的节点中的哪一个节点的信息(分支信息)。第4信息包括表示第1层的信息(层信息)、和表示第2节点是第1层中包含的节点中的哪一个节点的信息(分支信息)。
例如，第1编码数据包括第1分支中包含的三维点的数量的信息(numPoint)，第2编码数据包含表示第2分支中包含的三维点的数量的信息(numPoint)。
例如，三维数据解码装置具备处理器和存储器，处理器使用存储器，进行上述的处理。
此外，有关实施方式的三维数据解码装置进行图109所示的处理。
首先，三维数据解码装置从比特流获得：第1编码数据，其是以第1层中包含的第1节点为根节点的第1分支被编码而得到的，所述第1层是多个三维点的N(N为2以上的整数)叉树结构中包含的多个层中的某一个；以及第2编码数据，其是以第1层中包含的与第1节点不同的第2节点为根节点的第2分支被编码而得到的(S1811)。
接着，三维数据解码装置通过将第1编码数据用第1解码处理进行解码，生成第1分支的第1解码数据(S1812)。
此外，三维数据解码装置通过将第2编码数据用与第1解码处理不同的第2解码处理进行解码，生成第2分支的第2解码数据(S1813)。
接着，三维数据解码装置使用第1解码数据和第2解码数据，复原多个三维点(S1814)。例如，该三维点包括由第1解码数据表示的多个三维点和由第2解码数据表示的多个三维点。
由此，三维数据解码装置能够将提高了编码效率的比特流解码。
例如，第1分支中包含的三维点的数量比预先设定的阈值少，第2分支中包含的三维点的数量比阈值多。
例如，第1编码数据包含以第1方式表示第1分支中包含的多个第1三维点的第一N叉树结构的第1信息。第2编码数据包含以第2方式表示第2分支中包含的多个第2三维点的第二N叉树结构的第2信息。即，第1解码处理和第2解码处理的编码方式(解码方式)不同。
例如，在第1编码数据中使用位置编码，在第2编码数据中使用占用率编码。即，第1信息包含与多个第1三维点的每一个对应的三维点信息。各三维点信息包含与第一N叉树结构中的多个层的每一个对应的索引。各索引表示属于对应的层的N个子块中的、对应的第1三维点所属的子块。第2信息包含多个与属于第二N叉树结构中的属于多个层的多个子块的每一个对应、且表示在对应的子块中是否存在三维点的1比特的信息。
例如，在第2解码处理中使用的量化参数与在第1解码处理中使用的量化参数不同。即，第1解码处理和第2解码处理的编码方式(解码方式)相同，使用的参数不同。
例如，如图92及图93所示，三维数据解码装置在第1分支的解码中，将包括从N叉树结构的根节点到第1节点的树结构和第1分支的树结构通过第1解码处理进行解码，在第2分支的解码中，将包括从N叉树结构的根节点到第2节点的树结构和第2分支的树结构通过第2解码处理进行解码。
例如，第1编码数据包含第1分支的编码数据、和表示N叉树结构中的第1节点的位置的第3信息。第2编码数据包含第2分支的编码数据、和表示N叉树结构中的第2节点的位置的第4信息。
例如，第3信息包含表示第1层的信息(层信息)、和表示第1节点是第1层中包含的节点中的哪一个节点的信息(分支信息)。第4信息包含表示第1层的信息(层信息)、和表示第2节点是第1层中包含的节点中的哪一个节点的信息(分支信息)。
例如，第1编码数据包括第1分支中包含的三维点的数量的信息(numPoint)，第2编码数据包含表示第2分支中包含的三维点的数量的信息(numPoint)。
例如，三维数据解码装置具备处理器和存储器，处理器使用存储器进行上述的处理。
(实施方式11)
在本实施方式中，说明对八叉树的占用率代码的自适应熵编码(算术编码)。
图110是表示四叉树的树结构的一例的图。图111是表示图110所示的树结构的占用率代码的图。图112是示意地表示有关本实施方式的三维数据编码装置的动作的图。
有关本实施方式的三维数据编码装置将八叉树的8比特的占用率代码进行熵编码。此外，三维数据编码装置在占用率代码的熵编码处理中，将编码表更新。此外，三维数据编码装置不是使用单一的编码表，而是为了利用三维点的类似性信息而使用自适应的编码表。即，三维数据编码装置使用多个编码表。
此外，类似性信息例如是三维点的几何信息、八叉树的结构信息或三维点的属性信息。
另外，在图110～图112中表示了四叉树作为例子，但在二叉树、八叉树、16叉树等N叉树的情况下也可以应用同样的手法。例如，三维数据编码装置在八叉树的情况下对8比特的占用率代码、在四叉树的情况下对4比特的占用率代码、在16叉树的情况下对16比特的占用率代码，使用自适应表(adaptive table：也称作编码表)进行熵编码。
以下，对使用三维点(点云)的几何信息(geometry information)的自适应的熵编码处理进行说明。
在树结构内的两个节点中，在各节点的周边的几何学上的配置类似的情况下，子节点的占有状态(即，是否包含三维点的状态)有可能类似。因此，三维数据编码装置使用父节点的周边的几何学上的配置进行分组。由此，三维数据编码装置能够将子节点的占有状态分组，按每个组使用不同的编码表。由此，能够提高熵编码的编码效率。
图113是表示几何信息的一例的图。几何信息包括对象节点的多个相邻节点各自是否被占有(即是否包含三维点)的信息。例如，三维数据编码装置使用在相邻节点中是否包含三维点(occupied or non-occupied)的信息来计算对象节点的周边的几何学上的配置(Local geometry)。相邻节点例如是在对象节点的空间上的周围存在的节点，或在与对象节点不同的时间的相同位置或其空间上的周围存在的节点。
在图113中，阴影的立方体表示编码对象的对象节点。白色的立方体是相邻节点，并且表示包含三维点的节点。在图113中，(2)所示的几何样式表示将(1)所示的几何样式旋转后的形状。因此，三维数据编码装置判断为这些几何样式的几何类似性(geometrysimilarity)高，对这些几何样式使用相同的编码表进行熵编码。此外，三维数据编码装置对于(3)及(4)的几何样式判断为几何类似性低，使用不同的编码表进行熵编码。
图114是表示图113所示的(1)～(4)的几何样式中的对象节点的占用率代码和在熵编码中使用的编码表的例子的图。三维数据编码装置如上述那样关于几何样式(1)和(2)判断为包含于相同的几何组中，使用相同的编码表A。此外，三维数据编码装置对几何样式(3)及(4)分别使用编码表B及编码表C。
此外，如图114所示，有相同的几何组中包含的几何样式(1)和(2)的对象节点的占用率代码相同的情况。
接着，对使用树结构的结构信息(structure information)的自适应的熵编码处理进行说明。例如，结构信息包含表示对象节点所属的层的信息。
图115是表示树结构的一例的图。通常，局部的物体的形状依赖于搜索的尺度。例如，在树结构中，有下层相比上层更稀疏的趋势。因此，三维数据编码装置通过如图115所示在上层和下层间使用不同的编码表，能够提高熵编码的编码效率。
即，三维数据编码装置在将各层的占用率代码编码时，也可以按每个层使用不同的编码表。例如，对于图115所示的树结构，三维数据编码装置也可以在层N(N＝0～6)的占用率代码的编码中使用层N用的编码表进行熵编码。由此，三维数据编码装置能够根据每层的占用率代码的出现样式而切换编码表，所以能够提高编码效率。
此外，三维数据编码装置如图115所示，也可以对从层0到层2的占用率代码使用编码表A，对从层3到层6的占用率代码使用编码表B。由此，三维数据编码装置能够根据各层群的占用率代码的出现样式而切换编码表，所以能够提高编码效率。此外，三维数据编码装置也可以对比特流的头附加各层中使用的编码表的信息。或者，也可以通过规格等预先设定各层中使用的编码表。
接着，对使用三维点的属性信息(property information)的自适应的熵编码处理进行说明。例如，属性信息包括包含对象节点的物体的信息、或对象节点所保持的法线向量的信息。
使用三维点的属性信息，能够将具有类似的几何学上的配置的三维点进行分组。例如，作为三维点所具有的共通的属性信息，可以使用表示各三维点的方向的法线向量(normal vector)。通过使用法线向量，能够找到与树结构内的类似的占用率代码关联的几何学上的配置。
此外，作为属性信息，也可以使用颜色或反射率(反射度)。例如，三维数据编码装置也可以进行使用三维点的颜色或反射度将具有类似的几何学上的配置的三维点分组、并按每个组切换编码表等的处理。
图116是用来说明基于法线向量的编码表的切换的图。如图116所示，在对象节点的法线向量所属的法线向量群不同的情况下，使用不同的编码表。例如，将预先设定的范围中包含的法线向量被分类为1个法线向量群。
此外，在对象物的分类不同的情况下，占用率代码也不同的可能性高。因此，三维数据编码装置也可以根据对象节点所属的对象物的分类来选择编码表。图117是用来说明基于对象物的分类的编码表的切换的图。如图117所示，在对象物的分类不同的情况下，使用不同的编码表。
以下，对有关本实施方式的比特流的结构例进行说明。图118是表示由有关本实施方式的三维数据编码装置生成的比特流的结构例的图。如图118所示，比特流包括编码表群、表索引和编码占用率。编码表群包括多个编码表。
表索引是表示在后续的编码占用率的熵编码中使用的编码表的索引。编码占用率是熵编码后的占用率代码。此外，如图118所示，比特流包括多个由表索引和编码占用率构成的组。
例如，在图118所示的例子的情况下，编码占用率0是使用由表索引0表示的上下文模型(以下也称作上下文)进行熵编码而得到的数据。此外，编码占用率1是使用由表索引1表示的上下文进行熵编码而得到的数据。此外，也可以预先由规格等规定用来将编码占用率0编码的上下文，三维数据解码装置在编码占用率0的解码时使用该上下文。由此，不需要将表索引附加到比特流中，所以能够削减开销。
此外，三维数据编码装置也可以在头内附加用来将各上下文初始化的信息。
三维数据编码装置使用对象节点的几何信息、结构信息或属性信息决定编码表，使用所决定的编码表将占用率代码编码。三维数据编码装置将编码结果和在编码中使用的编码表的信息(表索引等)附加到比特流中，将该比特流发送给三维数据解码装置。由此，三维数据解码装置能够使用附加在头中的编码表的信息将占用率代码解码。
此外，也可以是，三维数据编码装置不将在编码中使用的编码表的信息附加到比特流中，三维数据解码装置使用解码后的对象节点的几何信息、结构信息或属性信息通过与三维数据编码装置相同的方法决定编码表，使用所决定的编码表将占用率代码解码。由此，不需要对比特流附加编码表的信息，所以能够削减开销。
图119及图120是表示编码表的例子的图。如图119及图120所示，1个编码表按8比特的占用率代码的每个值，表示与该值对应的上下文模型及上下文模型类型。
如图119所示的编码表那样，也可以对多个占用率代码应用相同的上下文模型(上下文)。此外，也可以对各占用率代码分配不同的上下文模型。由此，能够根据占用率代码的出现概率而分配上下文模型，所以能够提高编码效率。
此外，上下文模型类型例如表示上下文模型是根据占用率代码的出现频度将概率表更新的上下文模型、还是将概率表固定的上下文模型等。
接着，表示比特流及编码表的其他例。图121是表示比特流的变形例的结构例的图。如图121所示，比特流包括编码表群和编码占用率。编码表群包括多个编码表。
图122及图123是表示编码表的例子的图。如图122及图123所示，1个编码表按占用率代码中包含的每1个比特表示与该1个比特对应的上下文模型及上下文模型类型。
图124是表示占用率代码与占用率代码的比特号的关系的一例的图。
这样，三维数据编码装置也可以将占用率代码作为二进制数据处置，按每个比特分配不同的上下文模型而将占用率代码进行熵编码。由此，能够根据占用率代码的各比特的出现概率而分配上下文模型，所以能够提高编码效率。
具体而言，占用率代码的各比特与将对应于对象节点的空间块分割后的子块对应。因此，在块内的相同空间位置的子块有同样的趋势的情况下能够提高编码效率。例如，在地面或道路的表面横穿块内的情况下，在八叉树中，下方的4个块中包含三维点，上方的4个块中不包含三维点。此外，在沿水平方向排列的多个块中出现同样的样式。因此，通过如上述那样按每个比特切换上下文，能够提高编码效率。
此外，也可以使用根据占用率代码的各比特的出现频度将概率表更新的上下文模型。此外，也可以使用将概率表固定的上下文模型。
接着，说明有关本实施方式的三维数据编码处理及三维数据解码处理的流程。
图125是包括使用几何信息的自适应的熵编码处理的三维数据编码处理的流程图。
在分解处理中，根据三维点的初始边界框(bounding box)生成八叉树。根据边界框内的三维点的位置，将边界框分割。具体而言，将不为空的子空间进一步分割。接着，将表示在子空间中是否包含三维点的信息编码为占用率代码。另外，在图127及图129所示的处理中也进行同样的处理。
首先，三维数据编码装置获得被输入的三维点(S1901)。接着，三维数据编码装置判定单位长度的分解处理是否已完成(S1902)。
在单位长度的分解处理没有完成的情况下(S1902的“否”)，三维数据编码装置通过对对象节点进行分解处理，生成八叉树(S1903)。
接着，三维数据编码装置获得几何信息(S1904)，基于所获得的几何信息而选择编码表(S1905)。这里，几何信息例如如上述那样，是表示对象节点的周边块的占有状态的几何学上的配置等的信息。
接着，三维数据编码装置使用被选择的编码表，将对象节点的占用率代码进行熵编码(S1906)。
反复进行上述步骤S1903～S1906的处理，直到单位长度的分解处理完成。在单位长度的分解处理完成的情况下(S1902的“是”)，三维数据编码装置输出包含所生成的信息的比特流(S1907)。
三维数据编码装置使用对象节点的几何信息、结构信息或属性信息决定编码表，并使用所决定的编码表将占用率代码的比特串编码。三维数据编码装置将编码结果和在编码中使用的编码表的信息(表索引等)附加到比特流中，将该比特流发送给三维数据解码装置。由此，三维数据解码装置能够使用附加在头中的编码表的信息将占用率代码解码。
此外，也可以是，三维数据编码装置不将编码中使用的编码表的信息附加到比特流中，三维数据解码装置使用解码后的对象节点的几何信息、结构信息或属性信息通过与三维数据编码装置相同的方法决定编码表，使用所决定的编码表将占用率代码解码。由此，不需要对比特流附加编码表的信息，所以能够削减开销。
图126是包括使用几何信息的自适应的熵解码处理的三维数据解码处理的流程图。
解码处理中包含的分解处理与在上述的编码处理中包含的分解处理是同样的，但以下的点不同。三维数据解码装置使用所解码的占用率代码，将初始边界框分割。三维数据解码装置在结束了单位长度的处理的情况下，将边界框的位置作为三维点和位置来保存。另外，在图128及图130所示的处理中也进行同样的处理。
首先，三维数据解码装置获得被输入的比特流(S1911)。接着，三维数据解码装置判定单位长度的分解处理是否完成(S1912)。
在单位长度的分解处理没有完成的情况下(S1912的“否”)，三维数据解码装置通过对对象节点进行分解处理而生成八叉树(S1913)。
接着，三维数据解码装置获得几何信息(S1914)，基于所获得的几何信息，选择编码表(S1915)。这里，几何信息例如是如上述那样表示对象节点的周边块的占有状态的几何学上的配置等的信息。
接着，三维数据解码装置使用被选择的编码表，将对象节点的占用率代码进行熵解码(S1916)。
反复进行上述步骤S1913～S1916的处理，直到单位长度的分解处理完成。在单位长度的分解处理已完成的情况下(S1912的“是”)，三维数据解码装置输出三维点(S1917)。
图127是包括使用结构信息的自适应的熵编码处理的三维数据编码处理的流程图。
首先，三维数据编码装置获得被输入的三维点(S1921)。接着，三维数据编码装置判断单位长度的分解处理是否完成(S1922)。
在单位长度的分解处理没有完成的情况下(S1922的“否”)，三维数据编码装置通过对对象节点进行分解处理而生成八叉树(S1923)。
接着，三维数据编码装置获得结构信息(S1924)，基于所获得的结构信息选择编码表(S1925)。这里，结构信息例如是如上述那样表示对象节点所属的层等的信息。
接着，三维数据编码装置使用被选择的编码表，将对象节点的占用率代码进行熵编码(S1926)。
反复进行上述步骤S1923～S1926的处理直到单位长度的分解处理完成。在单位长度的分解处理已完成的情况下(S1922的“是”)，三维数据编码装置输出包含所生成的信息的比特流(S1927)。
图128是包括使用结构信息的自适应的熵解码处理的三维数据解码处理的流程图。
首先，三维数据解码装置获得被输入的比特流(S1931)。接着，三维数据解码装置判定单位长度的分解处理是否完成(S1932)。
在单位长度的分解处理没有完成的情况下(S1932的“否”)，三维数据解码装置通过对对象节点进行分解处理而生成八叉树(S1933)。
接着，三维数据解码装置获得结构信息(S1934)，基于所获得的结构信息选择编码表(S1935)。这里，结构信息例如是如上述那样表示对象节点所属的层等的信息。
接着，三维数据解码装置使用被选择的编码表，将对象节点的占用率代码进行熵解码(S1936)。
反复进行上述步骤S1933～S1936的处理直到单位长度的分解处理完成。在单位长度的分解处理已完成的情况下(S1932的“是”)，三维数据解码装置输出三维点(S1937)。
图129是包括使用属性信息的自适应的熵编码处理的三维数据编码处理的流程图。
首先，三维数据编码装置获得被输入的三维点(S1941)。接着，三维数据编码装置判定单位长度的分解处理是否完成(S1942)。
在单位长度的分解处理没有完成的情况下(S1942的“否”)，三维数据编码装置通过对对象节点进行分解处理而生成八叉树(S1943)。
接着，三维数据编码装置获得属性信息(S1944)，基于所获得的属性信息，选择编码表(S1945)。这里，属性信息例如是如上述那样表示对象节点的法线向量等的信息。
接着，三维数据编码装置使用被选择的编码表，将对象节点的占用率代码进行熵编码(S1946)。
反复进行上述步骤S1943～S1946的处理，直到单位长度的分解处理完成。在单位长度的分解处理已完成的情况下(S1942的“是”)，三维数据编码装置输出包含所生成的信息的比特流(S1947)。
图130是包括使用属性信息的自适应的熵解码处理的三维数据解码处理的流程图。
首先，三维数据解码装置获得被输入的比特流(S1951)。接着，三维数据解码装置判定单位长度的分解处理是否完成(S1952)。
在单位长度的分解处理没有完成的情况下(S1952的“否”)，三维数据解码装置通过对对象节点进行分解处理而生成八叉树(S1953)。
接着，三维数据解码装置获得属性信息(S1954)，基于所获得的属性信息，选择编码表(S1955)。这里，属性信息例如是如上述那样表示对象节点的法线向量等的信息。
接着，三维数据解码装置使用被选择的编码表，将对象节点的占用率代码进行熵解码(S1956)。
反复进行上述步骤S1953～S1956的处理直到单位长度的分解处理完成。在单位长度的分解处理已完成的情况下(S1952的“是”)，三维数据解码装置输出三维点(S1957)。
图131是使用几何信息的编码表的选择处理(S1905)的流程图。
三维数据编码装置也可以作为几何信息而使用例如树结构的几何组的信息来切换在占用率代码的熵编码中使用的编码表。这里，几何组的信息是表示包括对象节点的几何样式的几何组的信息。
如图131所示，在由几何信息表示的几何组是几何组0的情况下(S1961的“是”)，三维数据编码装置选择编码表0(S1962)。在由几何信息表示的几何组是几何组1的情况下(S1963的“是”)，三维数据编码装置选择编码表1(S1964)。在其以外的情况下(S1963的“否”)，三维数据编码装置选择编码表2(S1965)。
另外，编码表的选择方法并不限于上述。例如，三维数据编码装置也可以在由几何信息表示的几何组是几何组2的情况下使用编码表2等，根据几何组的值进一步切换编码表。
例如，使用表示在与对象节点相邻的节点中是否包含点群的占有信息来决定几何组。此外，通过应用旋转等的变换而成为相同形状的几何样式也可以包含在相同的几何组中。此外，三维数据编码装置也可以使用与对象节点相邻的或位于对象节点的周围的属于与对象节点相同层的节点的占有信息来选择几何组。此外，三维数据编码装置也可以使用属于与对象节点不同的层的节点的占有信息来选择几何组。例如，三维数据编码装置也可以使用父节点、或与父节点相邻的或位于父节点的周围的节点的占有信息来选择几何组。
另外，三维数据解码装置中的使用几何信息的编码表的选择处理(S1915)也与上述同样。
图132是使用结构信息的编码表的选择处理(S1925)的流程图。
三维数据编码装置也可以作为结构信息而使用例如树结构的层的信息来切换在占用率代码的熵编码中使用的编码表。这里，层的信息例如表示对象节点所属的层。
如图132所示，在对象节点属于层0的情况下(S1971的“是”)，三维数据编码装置选择编码表0(S1972)。在对象节点属于层1的情况下(S1973的“是”)，三维数据编码装置选择编码表1(S1974)。在其以外的情况下(S1973的“否”)，三维数据编码装置选择编码表2(S1975)。
另外，编码表的选择方法并不限于上述。例如，三维数据编码装置也可以在对象节点属于层2的情况下使用编码表2等，根据对象节点所属的层进一步切换编码表。
此外，三维数据解码装置中的使用结构信息的编码表的选择处理(S1935)也与上述同样。
图133是使用属性信息的编码表的选择处理(S1945)的流程图。
三维数据编码装置也可以作为属性信息而使用例如对象节点所属的对象物的信息或对象节点的法线向量的信息，来切换在占用率代码的熵编码中使用的编码表。
如图133所示，在对象节点的法线向量属于法线向量群0的情况下(S1981的“是”)，三维数据编码装置选择编码表0(S1982)。在对象节点的法线向量属于法线向量群1的情况下(S1983的“是”)，三维数据编码装置选择编码表1(S1984)。在其以外的情况下(S1983的“否”)，三维数据编码装置选择编码表2(S1985)。
另外，编码表的选择方法并不限于上述。例如，三维数据编码装置也可以在对象节点的法线向量属于法线向量群2的情况下使用编码表2等，根据对象节点的法线向量所属的法线向量群进一步切换编码表。
例如，三维数据编码装置使用对象节点所具有的法线向量的信息来选择法线向量群。例如，三维数据编码装置将法线向量间的距离是预先设定的阈值以下的法线向量判定为相同的法线向量群。
此外，对象节点所属的对象物的信息例如也可以是人物、车或建筑物等的信息。
以下，说明有关本实施方式的三维数据编码装置1900及三维数据解码装置1910的结构。图134是有关本实施方式的三维数据编码装置1900的框图。图134所示的三维数据编码装置1900具备八叉树生成部1901、类似性信息计算部1902、编码表选择部1903和熵编码部1904。
八叉树生成部1901根据被输入的三维点，例如生成八叉树，生成八叉树中包含的各节点的占用率代码。类似性信息计算部1902例如获得对象节点的作为几何信息、结构信息或属性信息的类似性信息。编码表选择部1903根据对象节点的类似性信息，选择在占用率代码的熵编码中使用的上下文。熵编码部1904通过使用所选择的上下文将占用率代码进行熵编码而生成比特流。另外，熵编码部1904也可以将表示所选择的上下文的信息附加到比特流中。
图135是有关本实施方式的三维数据解码装置1910的框图。图135所示的三维数据解码装置1910具备八叉树生成部1911、类似性信息计算部1912、编码表选择部1913和熵解码部1914。
八叉树生成部1911使用从熵解码部1914得到的信息，例如从下层向上层依次生成八叉树。类似性信息计算部1912获得对象节点的作为几何信息、结构信息、或属性信息的类似性信息。编码表选择部1913根据对象节点的类似性信息，选择在占用率代码的熵解码中使用的上下文。熵解码部1914通过使用所选择的上下文将占用率代码进行熵解码而生成三维点。另外，熵解码部1914也可以解码而获得附加在比特流中的所选择的上下文的信息，使用由该信息表示的上下文。
以上，如图122～图124所示，对占用率代码的各比特设置多个上下文。即，三维数据编码装置使用从多个编码表中选择的编码表将表示三维数据中包含的多个三维点的N(N为2以上的整数)叉树结构的比特串进行熵编码。比特串按N叉树结构中的每个节点而包括N比特的信息。N比特的信息包括N个表示在对应的节点的N个子节点各自中是否存在三维点的1比特的信息。在多个编码表各自中，对N比特的信息的各比特设有上下文。三维数据编码装置在熵编码中，使用在所选择的编码表中对该比特设置的上下文将N比特的信息的各比特进行熵编码。
由此，三维数据编码装置通过按每个比特切换上下文，能够提高编码效率。
例如，三维数据编码装置在熵编码中，基于在与对象节点相邻的多个相邻节点各自中是否存在三维点，从多个编码表中选择要使用的编码表。由此，三维数据编码装置通过基于在相邻节点中是否存在三维点来切换编码表，能够提高编码效率。
例如，三维数据编码装置在熵编码中，基于表示多个相邻节点中的存在三维点的相邻节点的配置位置的配置样式选择编码表，对于配置样式中的通过旋转成为相同的配置样式的配置样式，选择相同的编码表。由此，三维数据编码装置能够抑制编码表的增加。
例如，三维数据编码装置在熵编码中，基于对象节点所属的层，从多个编码表中选择要使用的编码表。由此，三维数据编码装置通过基于对象节点所属的层来切换编码表，能够提高编码效率。
例如，三维数据编码装置在熵编码中，基于对象节点的法线向量，从多个编码表中选择要使用的编码表。由此，三维数据编码装置通过基于法线向量来切换编码表，能够提高编码效率。
例如，三维数据编码装置具备处理器和存储器，处理器使用存储器进行上述的处理。
此外，三维数据解码装置使用从多个编码表中选择的编码表将表示三维数据中包含的多个三维点的N(N为2以上的整数)叉树结构的比特串进行熵解码。比特串按N叉树结构中的每个节点包含N比特的信息。N比特的信息包含N个表示在对应的节点的N个子节点各自中是否存在三维点的1比特的信息。在多个编码表各自中，对N比特的信息的各比特设有上下文。三维数据解码装置在熵解码中，使用在所选择的编码表中对该比特设置的上下文将N比特的信息的各比特进行熵解码。
由此，三维数据解码装置通过按每个比特来切换上下文，能够提高编码效率。
例如，三维数据解码装置在熵解码中，基于在与对象节点相邻的多个相邻节点各自中是否存在三维点，从多个编码表中选择要使用的编码表。由此，三维数据解码装置通过基于在相邻节点中是否存在三维点来切换编码表，能够提高编码效率。
例如，三维数据解码装置在熵解码中，基于表示多个相邻节点中的存在三维点的相邻节点的配置位置的配置样式选择编码表，对于配置样式中的通过旋转成为相同的配置样式的配置样式，选择相同的编码表。由此，三维数据解码装置能够抑制编码表的增加。
例如，三维数据解码装置在熵解码中，基于对象节点所属的层，从多个编码表中选择要使用的编码表。由此，三维数据解码装置通过基于对象节点所属的层来切换编码表，能够提高编码效率。
例如，三维数据解码装置在熵解码中，基于对象节点的法线向量，从多个编码表中选择要使用的编码表。由此，三维数据解码装置通过基于法线向量来切换编码表，能够提高编码效率。
例如，三维数据解码装置具备处理器和存储器，处理器使用存储器进行上述的处理。
(实施方式12)
对本实施方式中占用率代码的编码时的参照的控制方法进行说明。此外，以下，主要说明三维数据编码装置的动作，但三维数据解码装置中也可以进行同样的处理。
图136以及图137是表示本实施方式所涉及的参照关系的图，图136是在八叉树结构上表示参照关系的图，图137是在空间区域上表示参照关系的图。
在本实施方式中，三维数据编码装置对编码对象的节点(以下，称为对象节点)的编码信息进行编码时，参照对象节点所属的父节点(parent node)内的各节点的编码信息。但是，不参照与父节点同一层的其他的节点(以下，父相邻节点)内的各节点的编码信息。即，三维数据编码装置将父相邻节点设定为不能参照，或者禁止参照。
此外，三维数据编码装置也可以许可参照父节点所属的父节点(以下，称为祖父节点(grandparent node))内的编码信息。即，三维数据编码装置也可以参照对象节点所属的父节点以及祖父节点的编码信息，对对象节点的编码信息进行编码。
在此，编码信息是例如占用率代码。三维数据编码装置在对对象节点的占用率代码进行编码时，参照表示对象节点所属的父节点内的各节点中是否包含点群的信息(以下，占有信息)。换言之，三维数据编码装置在对对象节点的占用率代码进行编码时，参照父节点的占用率代码。另一方面，三维数据编码装置不参照父相邻节点内的各节点的占有信息。即，三维数据编码装置不参照父相邻节点的占用率代码。另外，三维数据编码装置也可以参照祖父节点内的各节点的占有信息。即，三维数据编码装置也可以参照父节点以及父相邻节点的占有信息。
例如，三维数据编码装置在对对象节点的占用率代码进行编码时，使用对象节点所属的父节点或者祖父节点的占用率代码，切换对对象节点的占用率代码进行熵编码时使用的编码表。此外，其详细情况后述。此时，三维数据编码装置也可以不参照父相邻节点的占用率代码。由此，三维数据编码装置能够在对对象节点的占用率代码进行编码时，根据父节点或者祖父节点的占用率代码的信息适当地切换编码表，因此能够提高编码效率。另外，三维数据编码装置不参照父相邻节点，从而能够抑制父相邻节点的信息的确认处理以及用于存储该处理的存储器容量。另外，以深度优先顺序扫描八叉树的各节点的占用率代码并进行编码变得容易。
以下，对使用了父节点的占用率代码的编码表切换例进行说明。图138是表示对象节点和相邻参照节点的例子的图。图139是表示父节点和节点的关系图。图140是表示父节点的占用率代码的例子的图。在此，相邻参照节点是指，对象节点在空间上相邻的节点中的、对象节点的编码时被参照的节点。在图138所示的例子中，相邻节点是与对象节点属于同一层的节点。另外，作为参照相邻节点使用在对象块的x方向上相邻的节点X、在y方向上相邻的节点Y、在z方向上相邻的节点Z。即，x、y、z的各方向上分别设定1个相邻块为参照相邻块。
此外，图139所示的节点编号是一例，节点编号和节点的位置的关系不限于此。另外，在图140中，在下位比特分配有节点0，在上位比特分配有节点7，但也可以按相反的顺序进行分配。另外，各节点可以分配给任意的比特。
三维数据编码装置通过例如下式，决定对对象节点的占用率代码进行熵编码时的编码表。
CodingTable＝(FlagX<<2)+(FlagY<<1)+(FlagZ)
在此，CodingTable表示对象节点的占用率代码用的编码表，表示值0～7的任一个。FlagX是相邻节点X的占有信息，如果相邻节点X包含(占有)点群则表示1，如果并非如此则表示0。FlagY是相邻节点Y的占有信息，如果相邻节点Y包含(占有)点群则表示1，如果并非如此则表示0。FlagZ是相邻节点Z的占有信息，如果相邻节点Z包含(占有)点群则表示1，如果并非如此则表示0。
此外，表示相邻节点是否为占有的信息包含在父节点的占用率代码中，因此三维数据编码装置也可以使用父节点的占用率代码中所示的值来选择编码表。
由以上可知，三维数据编码装置使用表示对象节点的相邻节点中是否包含点群的信息来切换编码表，从而能够提高编码效率。
另外，如图138所示，三维数据编码装置也可以根据父节点内的对象节点的空间位置切换相邻参照节点。即，三维数据编码装置也可以根据对象节点的父节点内的空间位置，切换多个相邻节点中的、进行参照的相邻节点。
接着，说明三维数据编码装置以及三维数据解码装置的结构例。图141是本实施方式所涉及的三维数据编码装置2100的框图。图141所示的三维数据编码装置2100具备八叉树生成部2101、几何信息计算部2102、编码表选择部2103、以及熵编码部2104。
八叉树生成部2101根据输入的三维点(点云)，生成例如八叉树，并生成八叉树所包含的各节点的占用率代码。几何信息计算部2102获得表示对象节点的相邻参照节点是否为占有的占有信息。例如，几何信息计算部2102从对象节点所属的父节点的占用率代码获得相邻参照节点的占有信息。此外，如图138所示，几何信息计算部2102也可以根据对象节点的父节点内的位置切换相邻参照节点。另外，几何信息计算部2102不参照父相邻节点内的各节点的占有信息。
编码表选择部2103使用由几何信息计算部2102算出的相邻参照节点的占有信息，选择对象节点的占用率代码的熵编码中使用的编码表。熵编码部2104使用所选择的编码表，通过对占用率代码进行熵编码来生成比特流。此外，熵编码部2104也可以将表示所选择的编码表的信息附加于比特流。
图142是本实施方式所涉及的三维数据解码装置2110的框图。图142所示的三维数据解码装置2110具备八叉树生成部2111、几何信息计算部2112、编码表选择部2113、以及熵解码部2114。
八叉树生成部2111使用比特流的头部信息等，生成某空间(节点)的八叉树。八叉树生成部2111使用例如附加于头部信息的某空间的x轴、y轴、z轴方向的大小而生成大空间(根节点)，通过将该空间在x轴、y轴、z轴方向上分别2分割，生成8个小空间A(节点A0～A7)而生成八叉树。另外，作为对象节点依次设定节点A0～A7。
几何信息计算部2112获得表示对象节点的相邻参照节点是否为占有的占有信息。例如，几何信息计算部2112从对象节点所属的父节点的占用率代码获得相邻参照节点的占有信息。此外，如图138所示，几何信息计算部2112也可以根据对象节点的父节点内的位置切换相邻参照节点。另外，几何信息计算部2112不参照父相邻节点内的各节点的占有信息。
编码表选择部2113使用由几何信息计算部2112算出的相邻参照节点的占有信息，选择对象节点的占用率代码的熵解码中使用的编码表(解码表)。熵解码部2114通过使用所选择的编码表对占用率代码进行熵解码，生成三维点。此外，编码表选择部2113解码并获得附加在比特流的所选择的编码表的信息，熵解码部2114也可以使用由所获得的信息所示的编码表。
比特流中包含的占用率代码(8比特)的各比特表示在8个小空间A(节点A0～节点A7)中分别是否包含点群。另外，进而，三维数据解码装置将小空间节点A0分割为8个小空间B(节点B0～节点B7)并生成八叉树，解码占用率代码并获得表示小空间B的各节点中是否包含点群的信息。这样，三维数据解码装置在从大空间向小空间生成八叉树的同时对各节点的占用率代码进行解码。
以下，说明三维数据编码装置以及三维数据解码装置的处理的流程。图143是三维数据编码装置中的三维数据编码处理的流程图。首先，三维数据编码装置决定(定义)包含输入的三维点群的一部分或者全部的空间(对象节点)(S2101)。接着，三维数据编码装置将对象节点8分割而生成8个小空间(节点)(S2102)。接着，三维数据编码装置根据各节点中是否包含点群而生成对象节点的占用率代码(S2103)。
接着，三维数据编码装置从对象节点的父节点的占用率代码算出(获得)对象节点的相邻参照节点的占有信息(S2104)。接着，三维数据编码装置基于所决定的对象节点的相邻参照节点的占有信息，选择熵编码中使用的编码表(S2105)。接着，三维数据编码装置使用所选择的编码表对对象节点的占用率代码进行熵编码(S2106)。
此外，三维数据编码装置反复进行分别将各节点8分割，并对各节点的占用率代码进行编码这样的处理直至节点不能分割(S2107)。即，递归地重复步骤S2102～S2106的处理。
图144是三维数据解码装置中的三维数据解码方法的流程图。首先，三维数据解码装置使用比特流的头部信息决定(定义)进行解码的空间(对象节点)(S2111)。接着，三维数据解码装置将对象节点8分割而生成8个小空间(节点)(S2112)。接着，三维数据解码装置从对象节点的父节点的占用率代码算出(获得)对象节点的相邻参照节点的占有信息(S2113)。
接着，三维数据解码装置基于相邻参照节点的占有信息，选择熵解码中使用的编码表(S2114)。接着，三维数据解码装置使用所选择的编码表对对象节点的占用率代码进行熵解码(S2115)。
此外，三维数据解码装置反复进行分别将各节点8分割，并对各节点的占用率代码进行解码这样的处理，直至节点不能分割(S2116)。即，递归地重复步骤S2112～S2115的处理。
接着，说明编码表的切换的例子。图145是表示编码表的切换的例子的图。例如，如图145所示的编码表0那样，多个占用率代码中也可以适用同一上下文模型。另外，各占用率代码也可以分配有不同的上下文模型。由此，能够根据占用率代码的出现概率分配上下文模型，因此能够提高编码效率。另外，也可以使用根据占用率代码的出现频率来更新概率表的上下文模型。另外也可以使用将概率表固定的上下文模型。
此外，在图145中，示出了使用图119以及图120所示的编码表的例子，但也可以使用图122以及图123所示的编码表。
以下，对本实施方式的变形例1进行说明。图146是表示本变形例中的参照关系的图。在上述实施方式中，三维数据编码装置不参照父相邻节点的占用率代码，但也可以根据特定的条件切换是否参照父相邻节点的占用率代码。
例如，三维数据编码装置在对八叉树以宽度优先扫描的同时进行编码时，参照父相邻节点内的节点的占有信息，对对象节点的占用率代码进行编码。另一方面，三维数据编码装置在对八叉树以深度优先扫描的同时进行编码时，禁止参照父相邻节点内的节点的占有信息。这样根据八叉树的节点的扫描顺序(编码顺序)，适当地切换能够参照的节点，从而能够实现编码效率的提高和处理负荷的抑制。
此外，三维数据编码装置可以将以宽度优先编码八叉树，还是以深度优先进行编码等信息附加于比特流的头部。图147是表示这种情况的头部信息的句法例的图。图147所示的octree_scan_order是表示八叉树的编码顺序的编码顺序信息(编码顺序标志)。例如，octree_scan_order为0的情况表示宽度优先，为1的情况表示深度优先。由此，三维数据解码装置通过参照octree_scan_order，能够知道比特流以宽度优先以及深度优先的哪一个被编码，能够适当地解码比特流。
另外，三维数据编码装置也可以将表示是否禁止参照父相邻节点的信息附加于比特流的头部信息。图148是表示这种情况的头部信息的句法例的图。limit_refer_flag是表示是否禁止参照父相邻节点的禁止切换信息(禁止切换标志)。例如，limit_refer_flag为1的情况表示禁止参照父相邻节点，0的情况表示无参照限制(许可参照父相邻节点)。
即，三维数据编码装置决定是否禁止参照父相邻节点，基于上述决定的结果，切换是禁止还是许可参照父相邻节点。另外，三维数据编码装置生成包含禁止切换信息的比特流，所述禁止切换信息是上述决定的结果，且表示是否禁止参照父相邻节点。
另外，三维数据解码装置是从比特流获得表示是否禁止参照父相邻节点的禁止切换信息，基于禁止切换信息，切换是禁止还是许可参照父相邻节点。
由此三维数据编码装置能够控制父相邻节点的参照并生成比特流。另外，三维数据解码装置能够从比特流的头部获得表示是否禁止参照父相邻节点的信息。
另外，在本实施方式中，作为禁止参照父相邻节点的编码处理的例子，记载了占用率代码的编码处理为例子，但不一定限于此。例如，对八叉树的节点的其他信息进行编码时也能够适用同样的手法。例如，在对附加于节点的颜色、法线向量、或者反射率等的其他属性信息进行编码时，本实施方式的手法也可以适用。另外，对编码表或者预测值进行编码时也能够适用同样的手法。
接着，对本实施方式的变形例2进行说明。在上述说明中，如图138所示，示出了使用了3个参照相邻节点的例子，但也可以使用4个以上的参照相邻节点。图149是表示对象节点以及参照相邻节点的例子的图。
例如，三维数据编码装置通过例如下式，算出对图149所示的对象节点的占用率代码进行熵编码时的编码表。
CodingTable＝(FlagX0<<3)+(FlagX1<<2)+(FlagY<<1)+(FlagZ)
在此，CodingTable表示对象节点的占用率代码用的编码表，表示值0～15的任一个。FlagXN是相邻节点XN(N＝0…1)的占有信息，如果相邻节点XN包含(占有)点群则表示1，如果并非如此则表示0。FlagY是相邻节点Y的占有信息，如果相邻节点Y包含(占有)点群则表示1，如果并非如此则表示0。FlagZ是相邻节点Z的占有信息，如果相邻节点Z包含(占有)点群则表示1，如果并非如此则表示0。
此时，假如相邻节点是例如图149的相邻节点X0那样为不能参照(禁止参照)的情况下，三维数据编码装置也可以使用如1(占有)或者0(非占有)这样的固定值作为代替值。
图150是表示对象节点以及相邻节点的例子的图。如图150所示，在不能参照(禁止参照)相邻节点的情况下，也可以参照对象节点的祖父节点的占用率代码，算出相邻节点的占有信息。例如，代替图150所示的相邻节点X0，三维数据编码装置也可以使用相邻节点G0的占有信息算出上式的FlagX0，使用算出的FlagX0决定编码表的值。此外，图150所示的相邻节点G0是能够以祖父节点的占用率代码判別是否占有的相邻节点。相邻节点X1是能够以父节点的占用率代码判別是否占有的相邻节点。
以下，对本实施方式的变形例3进行说明。图151以及图152是表示本变形例所涉及的参照关系的图，图151是在八叉树结构上表示参照关系的图，图152是在空间区域上表示参照关系的图。
在本变形例中，三维数据编码装置在对编码对象的节点(以下，称为对象节点2)的编码信息进行编码时，参照对象节点2所属的父节点内的各节点的编码信息。即，三维数据编码装置许可参照多个相邻节点中的、父节点与对象节点的父节点相同的第1节点的子节点的信息(例如占有信息)。例如，三维数据编码装置在对图151所示的对象节点2的占用率代码进行编码时，参照存在于对象节点2所属的父节点内的节点，例如，图151所示的对象节点的占用率代码。如图152所示，图151所示的对象节点的占用率代码表示例如与对象节点2相邻的对象节点内的各节点是否为占有。因此，三维数据编码装置能够根据对象节点的更细的形状来切换对象节点2的占用率代码的编码表，因此能够提高编码效率。
三维数据编码装置也可以通过例如下式算出对对象节点2的占用率代码进行熵编码时的编码表。
CodingTable＝(FlagX1<<5)+(FlagX2<<4)+(FlagX3<<3)+(FlagX4<<2)+(FlagY<<1)+(FlagZ)
在此，CodingTable表示对象节点2的占用率代码用的编码表，表示值0～63的任一个。FlagXN是相邻节点XN(N＝1…4)的占有信息，如果相邻节点XN包含(占有)点群则表示1，如果并非如此则表示0。FlagY是相邻节点Y的占有信息，如果相邻节点Y包含(占有)点群则表示1，如果并非如此则表示0。FlagZ是相邻节点Y的占有信息，如果相邻节点Z包含(占有)点群则表示1，如果并非如此则表示0。
此外，三维数据编码装置也可以根据父节点内的对象节点2的节点位置来变更编码表的计算方法。
另外，在不是禁止参照父相邻节点的情况下，三维数据编码装置可以参照父相邻节点内的各节点的编码信息。例如，在不是禁止参照父相邻节点的情况下，许可参照父节点与对象节点的父节点不同的第3节点的子节点的信息(例如占有信息)。例如，在图150所示的例子中，三维数据编码装置参照父节点与对象节点的父节点不同的相邻节点X0的占用率代码，获得相邻节点X0的子节点的占有信息。三维数据编码装置基于所获得的相邻节点X0的子节点的占有信息，切换对象节点的占用率代码的熵编码中使用的编码表。
如上所述，本实施方式所涉及的三维数据编码装置对三维数据中包含的多个三维点的N(N为2以上的整数)叉树结构中包含的对象节点的信息(例如占用率代码)进行编码。如图136以及图137所示，三维数据编码装置在上述编码中，许可参照与对象节点在空间上相邻的多个相邻节点中的、父节点与对象节点的父节点相同的第1节点的信息(例如占有信息)，禁止参照父节点与对象节点的父节点不同的第2节点的信息(例如占有信息)。换言之，在上述编码中，三维数据编码装置许可参照父节点的信息(例如占用率代码)，禁止参照与父节点同一层的其他节点(父相邻节点)的信息(例如占用率代码)。
由此，该三维数据编码装置通过参照与对象节点在空间上相邻的多个相邻节点中的、父节点与对象节点的父节点相同的第1节点的信息，能够提高编码效率。另外，该三维数据编码装置由于不参照多个相邻节点中的、父节点与对象节点的父节点不同的第2节点的信息，能够降低处理量。这样，该三维数据编码装置能够提高编码效率并且能够降低处理量。
例如，三维数据编码装置进一步决定是否禁止参照第2节点的信息，在上述编码中，基于上述决定的结果，切换是禁止还是许可参照第2节点的信息。三维数据编码装置进一步生成包含禁止切换信息(例如，图148所示的limit_refer_flag)的比特流，所述禁止切换信息为上述决定的结果，且表示是否禁止参照第2节点的信息。
由此，该三维数据编码装置能够切换是否禁止参照第2节点的信息。另外，三维数据解码装置能够使用禁止切换信息适当地进行解码处理。
例如，对象节点的信息是表示属于对象节点的子节点的各自是否存在三维点的信息(例如占用率代码)，第1节点的信息是表示在第1节点是否存在三维点的信息(第1节点的占有信息)，第2节点的信息是表示在第2节点是否存在三维点的信息(第2节点的占有信息)。
例如，三维数据编码装置在上述编码中，基于在第1节点是否存在三维点来选择编码表，使用所选择的编码表，对对象节点的信息(例如占用率代码)进行熵编码。
例如，如图151以及图152所示，三维数据编码装置在上述编码中，许可参照多个相邻节点中的、第1节点的子节点的信息(例如占有信息)。
由此，该三维数据编码装置由于能够参照相邻节点的更详细的信息，因此能够提高编码效率。
例如，如图138所示，三维数据编码装置在上述编码中，根据对象节点的父节点内的空间位置，切换多个相邻节点中的、进行参照的相邻节点。
由此，该三维数据编码装置根据对象节点的父节点内的空间位置，能够参照适当的相邻节点。
例如，三维数据编码装置具备处理器和存储器，处理器使用存储器进行上述的处理。
另外，本实施方式所涉及的三维数据解码装置对包含在三维数据中的多个三维点的N(N为2以上的整数)叉树结构中包含的对象节点的信息(例如占用率代码)进行解码。如图136以及图137所示，三维数据解码装置在上述解码中，许可参照与对象节点在空间上相邻多个相邻节点中的、父节点与对象节点的父节点相同的第1节点的信息(例如占有信息)，禁止参照父节点与对象节点的父节点不同的第2节点的信息(例如占有信息)。换言之，三维数据解码装置在上述解码中，许可参照父节点的信息(例如占用率代码)，禁止参照与父节点同一层的其他的节点(父相邻节点)的信息(例如占用率代码)。
由此，该三维数据解码装置通过参照与对象节点在空间上相邻的多个相邻节点中的、父节点与对象节点的父节点相同的第1节点的信息，能够提高编码效率。另外，该三维数据解码装置由于不参照多个相邻节点中的、父节点与对象节点的父节点不同的第2节点的信息，能够降低处理量。这样，该三维数据解码装置能够提高编码效率并且能够降低处理量。
例如，三维数据解码装置进一步从比特流获得表示是否禁止参照第2节点的信息的禁止切换信息(例如，图148所示的limit_refer_flag)，在上述解码中，基于禁止切换信息，切换是禁止还是许可参照第2节点的信息。
由此，该三维数据解码装置能够使用禁止切换信息适当地进行解码处理。
例如，对象节点的信息是表示属于对象节点的子节点的各自是否存在三维点的信息(例如占用率代码)，第1节点的信息是表示在第1节点是否存在三维点的信息(第1节点的占有信息)，第2节点的信息是表示在第2节点是否存在三维点的信息(第2节点的占有信息)。
例如，三维数据解码装置在上述解码中，基于在第1节点是否存在三维点来选择编码表，使用所选择的编码表，对对象节点的信息(例如占用率代码)进行熵解码。
例如，如图151以及图152所示，三维数据解码装置在上述解码中，许可参照多个相邻节点中的、第1节点的子节点的信息(例如占有信息)。
由此，该三维数据解码装置能够参照相邻节点的更详细的信息，因此能够提高编码效率。
例如，如图138所示，三维数据解码装置在上述解码中，根据对象节点的父节点内的空间位置，切换多个相邻节点中的、进行参照的相邻节点。
由此，该三维数据解码装置能够根据对象节点的父节点内的空间位置，参照适当的相邻节点。
例如，三维数据解码装置具备处理器和存储器，处理器使用存储器进行上述的处理。
(实施方式13)
以下，主要说明三维数据编码装置的动作，但在三维数据解码装置中也可以进行同样的处理。
在本实施方式中，三维数据编码装置在以八叉树结构对输入的三维点群(PointCloud)进行编码的情况下，反复分割并进行编码直到八叉树中包含的叶节点具有1个三维点为止的情况下，将表示八叉树的各叶节点包含1个三维点，还是包含1个以上的三维点的模式信息附加到比特流。另外，三维数据编码装置在模式信息为真的情况下(八叉树的各叶节点包含1个三维点的情况下)，不对与叶节点相关的叶节点信息进行编码，在模式信息为假的情况下(八叉树的各叶节点包含1个以上的三维点的情况下)，对与叶节点相关的叶节点信息进行编码。
在此，所谓叶节点信息，例如包含表示在叶节点内包含几个三维点的信息、或者如图61～图67所记载的那样表示叶节点所包含的三维点的相对坐标等的信息、或者这两者。由此，在八叉树的各叶节点包含1个三维点的情况下，不需要按每个叶节点对叶节点信息进行编码，因此能够提高编码效率。另外，在八叉树的各叶节点包含1个以上的三维点的情况下，三维数据编码装置适当地对叶节点信息进行编码并附加到比特流。由此，三维数据解码装置能够使用叶节点信息正确地复原叶节点内的三维点。
图153是表示本实施方式的比特流的头部信息的句法例的图。该头部信息例如是WLD、SPC或VLM等头部信息。图153所示的single_point_per_leaf是表示八叉树的各叶节点包含1个三维点，还是包含1个以上的三维点的信息。在此，八叉树的各叶节点包含1个三维点是指八叉树中包含的所有叶节点包含1个三维点(即，不存在包含2个以上的三维点的叶节点)。另外，这里的八叉树例如是附加有模式信息的单位的八叉树，例如是与WLD、SPC或VLM等对应的八叉树。
另外，八叉树的各叶节点包含1个以上的三维点意味着八叉树中包含的多个叶节点中的至少一个包含2个以上的三维点。即，也可以是，多个叶节点中的一部分叶节点包含2个以上的三维点，剩余的叶节点包含1个三维点。
例如，在模式信息的值为1的情况下，表示各叶节点包含1个三维点，在模式信息的值为0的情况下，表示各叶节点包含1个以上的三维点。此外，即使在八叉树中包含的所有叶节点包含1个三维点的情况下，三维数据编码装置也可以将模式信息(single_point_per_leaf)设定为0。
图154是表示模式信息为1的情况下的八叉树的结构例的图。如图154所示，在模式信息为1的情况下，各叶节点包含1个三维点。图155是表示模式信息为0的情况下的八叉树的结构例的图。如图155所示，在模式信息为0的情况下，各叶节点包含1个或2个以上的三维点。
另外，在叶节点中包含2个以上的三维点的情况下，例如，叶节点内的三维点的坐标分别不同。或者，叶节点内的三维点的坐标相同，颜色或反射率等属性信息(即信息的种类)不同。或者，也可以是，叶节点内的三维点的坐标和属性信息双方不同。
接着，说明叶节点信息的句法例。另外，在上述中，叙述了将模式信息附加到比特流的头部的例子，但也可以不将模式信息附加到头部，而是根据标准或标准的档次(profile)或者级别等规定八叉树的各叶节点包含1个三维点，还是包含1个以上的三维点。在该情况下，三维数据解码装置例如参照比特流中包含的标准信息，判定八叉树的各叶节点包含1个三维点，还是包含1个以上的三维点，由此能够正确地复原比特流。
图156是表示八叉树中包含的各节点的信息的句法例的图。图156所示的isleaf是表示节点是否是叶节点的标志。isleaf为1时，表示节点为叶节点。isleaf为0时，表示节点不是叶节点。
另外，表示节点是否是叶节点的信息也可以不附加在头部中。在该情况下，三维数据解码装置通过其他方法判定节点是否是叶节点。例如，三维数据解码装置也可以判定是否将八叉树的各节点分割为不能再分割的大小，如果是真，则判定为节点是叶节点。由此，不需要对表示节点是否是叶节点的标志进行编码，能够削减头部的编码量。
图156所示的num_point_per_leaf是叶节点信息，表示叶节点中包含的三维点的数量。该num_point_per_leaf在single_point_per_leaf＝＝0的情况下被编码，在single_point_per_leaf＝＝1的情况下不被编码。
此外，三维数据编码装置也可以通过熵编码对num_point_per_leaf进行编码。另外，此时，三维数据编码装置也可以一边切换多个编码表一边进行编码。例如，三维数据编码装置也可以使用编码表A对num_point_per_leaf的开头比特进行算术编码，使用编码表B对剩余的比特进行算术编码。
如上所述，三维数据编码装置也可以对比特流的头部附加表示八叉树的各叶节点包含1个三维点、还是包含1个以上的三维点的模式信息，根据模式信息的值切换是否对叶节点信息(表示叶节点所包含的三维点的数量的信息)进行编码。另外，三维数据编码装置也可以将叶节点所包含的三维点的位置信息作为叶节点信息进行编码。
此外，三维数据编码装置也可以对通过上述方法生成的single_point_per_leaf、isleaf以及num_point_per_leaf进行熵编码。例如，三维数据编码装置在对各值进行二值化之后进行算术编码。
另外，在本实施方式中，以八叉树结构为例进行了表示，但不限于此，也可以对四叉树、16叉树等N叉树结构应用上述手法。
另外，在将同一叶节点内的2个以上的三维点的位置信息作为叶节点信息分别编码的情况下，三维数据编码装置也可以对各三维点所具有的属性信息(颜色或反射率等)也分别进行编码。在该情况下，也可以将各三维点的位置信息与各三维点的属性信息关联起来。例如，在将同一叶节点内的2点A、B的位置信息作为叶节点信息分别编码的情况下，三维数据编码装置也可以对2点A、B双方的属性信息进行编码，并附加到比特流。即，叶节点信息也可以包含点A的位置信息、点A的属性信息、点B的位置信息、点B的属性信息。另外，也可以用2点A、B的位置信息将各属性信息关联起来。
另外，三维数据编码装置也可以将同一叶节点内的M个以上的三维点的位置信息舍入(日文：丸める)而作为N个(N＜M)三维点的位置信息进行编码。在该情况下，三维数据编码装置也可以通过例如平均化等将M个以上的三维点的M个以上的属性信息舍入而生成N个属性信息，对所生成的N个属性信息进行编码。例如，三维数据编码装置也可以将同一叶节点内的2点A、B的位置信息舍入而作为1点进行编码。在该情况下，三维数据编码装置也可以通过例如平均化等将2点A、B的属性信息舍入而计算出1点的属性信息，并对计算出的属性信息进行编码。
以下，对本实施方式的三维数据编码装置以及三维数据解码装置的处理流程进行说明。图157是本实施方式的三维数据编码装置的三维数据编码处理的流程图。首先，三维数据编码装置决定是以八叉树的各叶节点包含1个三维点的方式进行编码，还是以八叉树的各叶节点包含1个以上的三维点的方式进行编码(S2201)。例如，三维数据编码装置也可以根据是否对输入的三维点群进行无损(lossless)编码，决定是以八叉树的各叶节点包含1个三维点的方式进行编码，还是以八叉树的各叶节点包含1个以上的三维点的方式进行编码。例如，在对输入的三维点群进行无损编码的情况下，三维数据编码装置决定为以八叉树的各叶节点包含1个三维点的方式进行编码。或者，三维数据编码装置也可以基于是否所输入的三维点的全部坐标不同、且以三维点分别包含于不同的叶节点的方式进行编码，决定是以八叉树的各叶节点包含1个三维点的方式进行编码，还是以八叉树的各叶节点包含1个以上的三维点的方式进行编码。例如，三维数据编码装置也可以在多个三维点中包含坐标相同的三维点的情况下，决定为以八叉树的各叶节点包含1个以上的三维点的方式进行编码。
三维数据编码装置在决定为以八叉树的各叶节点包含1个三维点的方式进行编码的情况下(S2201的“是”)，将模式信息设定为表示八叉树的各叶节点包含1个三维点的值(single_point_per_leaf＝1)，将该模式信息附加到头部(S2202)。
在决定以八叉树的各叶节点包含1个以上的三维点的方式进行编码的情况下(S2201的“否”)，三维数据编码装置将模式信息设定为表示八叉树的各叶节点包含1个以上的三维点的值(single_point_per_leaf＝0)，并将该模式信息附加到头部(S2203)。
接着，三维数据编码装置通过将根节点分割为八叉树来生成八叉树结构(S2204)。此时，三维数据编码装置在根据模式信息表示八叉树的各叶节点包含1个三维点的情况下，以八叉树的各叶节点包含1个三维点的方式生成八叉树，在根据模式信息表示八叉树的各叶节点包含1个以上的三维点的情况下，以八叉树的各叶节点包含1个以上的三维点的方式生成八叉树。
接着，三维数据编码装置选择处理对象的对象节点，判定对象节点是否是叶节点(S2205)。在对象节点是叶节点(S2205的“是”)、且模式信息表示八叉树的各叶节点包含1个以上的三维点(single_point_per_leaf＝0)的情况下(S2206的“是”)，三维数据编码装置对表示叶节点所包含的三维点的数量等的叶节点信息进行编码(S2207)。
另一方面，在对象节点是叶节点(S2205的“是”)、且模式信息表示八叉树的各叶节点包含1个三维点(single_point_per_leaf＝1)的情况下(S2206的“否”)，三维数据编码装置不对表示叶节点所包含的三维点的数量等的叶节点信息进行编码。
另外，在对象节点不是叶节点的情况下(S2205的“否”)，三维数据编码装置对对象节点的占用率代码进行编码(S2208)。
在所有节点的处理未完成的情况下(S2209的“否”)，三维数据编码装置选择下一个对象节点，对所选择的对象节点进行步骤S2205以后的处理。在所有节点的处理完成的情况下(S2209的“是”)，三维数据编码装置结束处理。
图158是本实施方式的三维数据解码装置的三维数据解码处理的流程图。首先，三维数据解码装置对比特流中包含的头部内的模式信息(single_point_per_leaf)进行解码(S2211)。
接着，三维数据解码装置使用比特流中包含的头部信息等，生成某个空间(节点)的八叉树(S2212)。例如，三维数据解码装置使用附加在头部信息中的某个空间的x轴、y轴、z轴方向的大小来生成大空间(根节点)。接着，三维数据解码装置通过将该空间在x轴、y轴、z轴方向上分别进行2分割而生成8个小空间A(节点A0～A7)，由此生成八叉树。三维数据解码装置同样将节点A0～A7进一步分割为8个小空间。另外，三维数据解码装置通过图158所示的处理，依次进行各节点的占用率代码的解码和叶节点信息的解码。
具体而言，三维数据解码装置选择处理对象的对象节点，判定对象节点是否是叶节点(S2213)。在对象节点是叶节点(S2213的“是”)、且模式信息表示八叉树的各叶节点包含1个以上的三维点(single_point_per_leaf＝0)的情况下(S2214的“是”)，三维数据解码装置对表示叶节点所包含的三维点的数量等的叶节点信息进行解码(S2215)。
另一方面，在对象节点是叶节点(S2213的“是”)、且模式信息表示八叉树的各叶节点包含1个三维点(single_point_per_leaf＝1)的情况下(S2214的“否”)，三维数据解码装置不对表示叶节点所包含的三维点的数量等的叶节点信息进行解码。
另外，在对象节点不是叶节点的情况下(S2213的“否”)，三维数据解码装置对对象节点的占用率代码进行解码(S2216)。
在所有节点的处理未完成的情况下(S2217的“否”)，三维数据解码装置选择下一个对象节点，对所选择的对象节点进行步骤S2213以后的处理。在所有节点的处理完成的情况下(S2217的“是”)，三维数据解码装置结束处理。
以下，对本实施方式的三维数据编码装置以及三维数据解码装置的结构进行说明。图159是表示本实施方式的三维数据编码装置2200的结构的框图。图159所示的三维数据编码装置2200具备八叉树生成部2201、模式决定部2202以及熵编码部2203。
八叉树生成部2201根据所输入的三维点(点云)，生成例如八叉树，生成八叉树中包含的各节点的占用率代码以及叶节点信息。模式决定部2202决定是以八叉树的各叶节点包含1个三维点的方式进行编码的方式，还是以八叉树的各叶节点包含1个以上的三维点的方式进行编码，并生成表示决定的结果的模式信息。即，模式决定部2202设定single_point_per_leaf的值。
熵编码部2203根据模式信息对叶节点信息进行编码以生成比特流。此外，熵编码部2203将叶节点信息(single_point_per_leaf)附加到比特流。
图160是表示本实施方式的三维数据解码装置2210的结构的框图。图160所示的三维数据解码装置2210具备八叉树生成部2211、模式信息解码部2212和熵解码部2213。
八叉树生成部2211使用比特流的头部信息等，生成某个空间(节点)的八叉树。例如，八叉树生成部2211使用附加在头部信息中的某个空间的x轴、y轴、z轴方向的大小来生成大空间(根节点)，将该空间分别在x轴、y轴、z轴方向上进行2分割，从而生成8个小空间A(节点A0～A7)而生成八叉树。另外，八叉树生成部2211同样地将节点A0～A7分别进一步分割为8个小空间。这样，八叉树生成部2211反复生成八叉树。
模式信息解码部2212根据比特流的头部信息对模式信息(single_point_per_leaf)进行解码。此外，模式信息解码部2212也可以包含在熵解码部2213中。
熵解码部2213根据解码后的模式信息来对占用率代码和叶节点信息进行解码，并且使用解码后的占用率代码和叶节点信息来生成三维点。
如上所述，根据本实施方式的三维数据编码装置执行图161所示的处理。首先，三维数据编码装置将第1信息(模式信息)附加到比特流中(S2221)，所述第1信息表示三维数据所包含的多个三维点的N(N为2以上的整数)叉树结构所包含的叶节点包含1个三维点，还是包含2个以上的三维点。即，三维数据编码装置对第1信息进行编码。
在由第1信息表示叶节点包含1个三维点的情况下(S2222的“是”)，三维数据编码装置以叶节点包含1个三维点的方式生成N叉树结构(S2223)，对该N叉树结构进行编码(S2224)。
另一方面，在由第1信息表示叶节点包含2个以上的三维点的情况下，以叶节点包含2个以上的三维点的方式生成N叉树结构(S2225)，对该N叉树结构进行编码(S2226)。
由此，三维数据编码装置能够选择性地使用叶节点包含1个三维点的树结构和叶节点包含2个以上的三维点的树结构。由此，三维数据编码装置能够提高编码效率。
例如，在由第1信息表示叶节点包含2个以上的三维点的情况下，三维数据编码装置将与叶节点相关的第2信息(叶节点信息)附加到比特流，在由第1信息表示叶节点包含1个三维点的情况下，不将叶节点信息附加到比特流。
由此，三维数据编码装置在叶节点包含1个三维点的情况下不对比特流附加第2信息，由此能够提高编码效率。
例如，第2信息表示叶节点中包含的三维点的个数。
例如，第1信息由多个叶节点共同使用。例如，第1信息由包含在N叉树结构中的全部或一部分的叶节点共同使用。即，第1信息表示N叉树结构中包含的多个叶节点包含1个三维点，还是包含2个以上的三维点。三维数据编码装置在由第1信息表示多个叶节点包含1个三维点的情况下，以多个叶节点包含1个三维点的方式生成N叉树结构，对该N叉树结构进行编码。三维数据编码装置在由第1信息表示多个叶节点包含2个以上的三维点的情况下，以多个叶节点包含2个以上的三维点的方式生成N叉树结构，对该N叉树结构进行编码。
由此，三维数据编码装置能够通过单一的第1信息来控制多个叶节点的形式，因此能够提高编码效率。
例如，叶节点所包含的2个以上的三维点具有不同的空间坐标。即，第2信息也可以表示叶节点所包含的2个以上的三维点各自的坐标。
例如，叶节点所包含的2个以上的三维点具有相同的空间坐标，具有不同的属性信息。即，第2信息也可以表示叶节点所包含的2个以上的三维点各自的属性信息。
例如，叶节点所包含的2个以上的三维点分别具有坐标信息和属性信息。即，第2信息也可以表示叶节点所包含的2个以上的三维点各自的坐标以及属性信息。
例如，三维数据编码装置具备处理器和存储器，处理器使用存储器进行上述处理。
另外，本实施方式的三维数据解码装置进行图162所示的处理。首先，三维数据解码装置从比特流中解码第1信息，所述第1信息表示三维数据所包含的多个三维点的N(N为2以上的整数)叉树结构中包含的叶节点包含1个三维点，还是包含2个以上的三维点(模式信息)(S2231)。即，三维数据解码装置从比特流获得第1信息。
在由第1信息表示叶节点包含1个三维点的情况下(S2232的“是”)，三维数据解码装置以叶节点包含1个三维点的方式对N叉树结构进行解码(S2233)。另一方面，在由第1信息表示叶节点包含2个以上的三维点的情况下(S2232的“否”)，以叶节点包含2个以上的三维点的方式对N叉树结构进行解码(S2234)。在此，以叶节点包含1个三维点的方式对N叉树结构进行解码是指例如基于根据在叶节点中仅包含1个三维点这样的前提而生成的规则，对比特流中包含的信息进行解析。同样地，以叶节点包含2个以上的三维点的方式对N叉树结构进行解码是指例如基于根据有时在叶节点中包含2个以上的三维点的前提而生成的规则，解析比特流中包含的信息。
由此，三维数据解码装置能够选择性地使用叶节点包含1个三维点的树结构和叶节点包含2个以上的三维点的树结构。由此，三维数据解码装置能够提高编码效率。
例如，在由第1信息表示叶节点包含2个以上的三维点的情况下，三维数据解码装置从比特流中解码(获得)与叶节点相关的第2信息(叶节点信息)，在由第1信息表示叶节点包含1个三维点的情况下，不从比特流中解码(获得)叶节点信息。
由此，在叶节点包含1个三维点的情况下，第2信息也可以不附加到比特流，因此能够提高编码效率。
例如，第2信息表示叶节点中包含的三维点的个数。
例如，第1信息由多个叶节点共同使用。例如，第1信息由包含在N叉树结构中的全部或一部分的叶节点共同使用。即，第1信息表示N叉树结构中包含的多个叶节点包含1个三维点，还是包含2个以上的三维点。三维数据解码装置在由第1信息表示多个叶节点包含1个三维点的情况下，以多个叶节点包含1个三维点的方式对N叉树结构进行解码。三维数据解码装置在由第1信息表示多个叶节点包含2个以上的三维点的情况下，以多个叶节点包含2个以上的三维点的方式对N叉树结构进行解码。
由此，三维数据解码装置能够通过单一的第1信息来控制多个叶节点的形式，因此能够提高编码效率。
例如，叶节点所包含的2个以上的三维点具有不同的空间坐标。即，第2信息也可以表示叶节点所包含的2个以上的三维点各自的坐标。
例如，叶节点所包含的2个以上的三维点具有相同的空间坐标，具有不同的属性信息。即，第2信息也可以表示叶节点所包含的2个以上的三维点各自的属性信息。
例如，叶节点所包含的2个以上的三维点分别具有坐标信息和属性信息。即，第2信息也可以表示叶节点所包含的2个以上的三维点各自的坐标以及属性信息。
例如，三维数据解码装置具备处理器和存储器，处理器使用存储器进行上述的处理。
(实施方式14)
在本实施方式中，三维数据编码装置用1比特占有位置(1bit occupiedposition)和剩余比特(remaining bit)来表现占用率代码，分别用不同的方法对1比特占有位置和剩余比特进行编码。
1比特占有位置表示在从左扫描了包含在占用率代码中的各比特的情况下最初出现1的比特的位置。例如，1比特占有位置在八叉树的情况下取0～7的范围的值，在16叉树的情况下取0～15的范围的值。
剩余比特表示与占用率代码的1比特占有位置相比靠右侧的比特串。剩余比特是根据1比特占有位置，0～7比特中的任意比特。
图163是表示由占用率代码生成的1比特占有位置和剩余比特的例子的图。在图163的(a)所示的例子中，占用率代码是01000010。在从左扫描该占用率代码的情况下，由于在第6比特处最初出现1，所以1比特占有位置是6，剩余比特是000010。在图163的(b)所示的例子中，占用率代码为00000010。在从左扫描该占用率代码的情况下，由于在第1比特处最初出现1，所以1比特占有位置为1，剩余比特为0。在图163的(c)所示的例子中，占用率代码为00000001。在从左扫描该占用率代码的情况下，由于在第0比特中最初出现1，所以1比特占有位置为0，不存在剩余比特。
以下，说明1比特占有位置的编码方法的例子。三维数据编码装置在八叉树的情况下，将1比特占有位置作为3比特的值(0～7)进行熵编码。三维数据编码装置对1比特占有位置应用例如使用了1个编码表的算术编码。此外，三维数据编码装置也可以对作为3比特的比特串的1比特占有位置1比特1比特地进行二进制编码(二值的算术编码)。三维数据编码装置也可以将该情况下的编码表中的0和1的发生概率分别固定为50％。例如，三维数据编码装置也可以应用二值的算术编码中的旁路模式。
接着，说明剩余比特的编码方法的例子。例如，三维数据编码装置将剩余比特看作二值的比特串，从左侧的比特开始依次应用二进制编码。例如，在剩余比特为000010的情况下，三维数据编码装置也可以按照0→0→0→0→1→0的顺序对0和1的值进行算术编码来进行编码。
例如，在图163的(a)所示的例子中，三维数据编码装置对1比特占有位置的值6进行算术编码。例如，三维数据编码装置也可以将表示值6的比特串110以旁路模式进行算术编码。另外，三维数据编码装置对剩余比特的比特串000010进行算术编码。
另外，在图163的(b)所示的例子中，三维数据编码装置对1比特占有位置的值1进行算术编码。例如，三维数据编码装置也可以将表示值1的比特串1以旁路模式进行算术编码。另外，三维数据编码装置对剩余比特的比特串0进行算术编码。
另外，在图163的(c)所示的例子中，三维数据编码装置对1比特占有位置的值0进行算术编码。例如，三维数据编码装置也可以将表示值0的比特串0以旁路模式进行算术编码。另外，由于三维数据编码装置不存在剩余比特，所以不对剩余比特进行编码。
此外，1比特占有位置的定义也可以是在从右扫描占用率代码的各比特的情况下最初出现1的比特的位置。在该情况下，剩余比特表示比占用率代码的1比特占有位置靠左侧的比特串。另外，在该情况下，三维数据编码装置也可以从右侧的比特起按顺序对剩余比特进行二进制编码。另外，三维数据编码装置也可以对切换标志进行编码，该切换标志用于切换从左扫描还是从右扫描占用率代码的各比特。在三维数据编码装置中，切换标志也可以按每个占用率代码进行编码。由此，能够针对每个占用率代码切换扫描顺序。另外，三维数据编码装置也可以将切换标志附加于世界空间、空间或者体积等的头部，以世界空间、空间、或者体积为单位切换扫描顺序。
另外，扫描顺序也可以是预先规定的任意的顺序。另外，也可以代替按照扫描顺序最初出现1的比特的位置，使用最初出现0的比特的位置。
此外，将在占用率代码中包含的多个比特中的仅1比特为值1的占用率代码定义为1比特占有代码(1bit occupied code)。例如，在八叉树的情况下，占用率代码“00100000”是1比特占有代码，“00100001”不是1比特占有代码。
也可以是，三维数据编码装置判定编码对象的对象占用率代码是1比特占有代码的可能性是否高，如果判定为真，则用1比特占有位置+剩余比特这样的表现来对对象占用率代码进行编码(以下，称为占有位置编码)，如果是假，则直接对占用率代码的值进行编码(以下，称为直接编码)。
例如，三维数据编码装置使用对象占用率代码所属的编码节点的父节点的占用率代码的值，判定对象占用率代码是1比特占有代码的可能性是否高。例如，三维数据编码装置判定父节点的占用率代码是否是1比特占有代码，并且如果是真，则对对象节点的占用率代码应用占有位置编码，如果是假，则对对象节点的占用率代码应用直接编码。
在此，在对象节点的对象占用率代码为1比特占有代码的可能性高的情况下，在使用了占有位置编码的情况下，剩余比特的各比特的值容易成为0。因此，通过对剩余比特进行二值算术编码，能够提高编码效率。此外，三维数据编码装置能够通过使用父节点的占用率代码是否是1比特占有代码来高效地判定对象占用率代码是1比特占有代码的可能性是否高。另外，通过参照父节点的占用率代码，即使在不是宽度优先而是深度优先的编码顺序的情况下也能够应用同样的判定方法。
图164是示意性地表示上述处理的图。如图164所示，在父节点的占用率代码是1比特占有代码的情况下，三维数据编码装置将占有位置编码应用于对象节点。此外，在父节点的占用率代码为不是1比特占有代码的非1比特占有代码的情况下，三维数据编码装置将直接编码应用于对象节点。
接着，说明节点的信息的句法例。图165是表示节点的信息的句法例的图。
如图165所示，节点信息包括1bit_occupied_position和remaining_bit。1bit_occupied_position是上述的1比特占有位置，表示在从左扫描了占用率代码的各比特的情况下最初出现1的比特的位置。例如，1比特占有位置在八叉树的情况下取0～7的范围的值，在16叉树的情况下取0～15的范围的值。
remaining_bit是上述的剩余比特，表示比占用率代码的1比特占有位置靠右侧的比特串。在1比特占有位置(1bit_occupied_position)为0的情况下，由于不存在剩余比特，所以如图165所示，remaining_bit也可以不被编码。另外，三维数据编码装置也可以将remaining_bit视为二值的比特串，从左侧的比特起依次应用二进制编码。另外，三维数据编码装置也可以使用编码表来对根据remaining_bit的比特串计算出的十进制数的值进行算术编码。例如，在剩余比特的比特串为000010的情况下，三维数据编码装置也可以对值2进行算术编码。
此外，在父节点的占用率代码(parent_occupancy_code)不是1比特占有代码的情况下，三维数据编码装置可以对占用率代码进行直接编码。例如，三维数据编码装置也可以使用1个编码表来对占用率代码进行算术编码。
另外，在本实施方式中，以八叉树结构为例进行了表示，但不限于此，也可以对四叉树以及16叉树等N叉树(N为2以上的整数)、或者其他的树结构应用上述手法。例如，在四叉树的情况下，1bit_occupied_position的值为0～3、在16叉树的情况下，1bit_occupied_position的值取0～15的范围的值。此外，也可以是，三维数据编码装置除了1比特占有位置之外，还将扫描比特串而第2个占1的位置作为例如2比特占有位置(2bit_occupied_position)进行编码，将比2比特占有位置靠后的比特串作为剩余比特进行编码。进而，也可以是，三维数据编码装置将扫描比特串而第N个占1的位置作为例如N比特占有位置(Nbit_occupied_position)进行编码，将比N比特占有位置靠后的比特串作为剩余比特进行编码。
在本实施方式中，三维数据编码装置在对象节点的占用率代码为1比特占有代码的可能性高的情况下，应用占有位置编码。即，三维数据编码装置将以随机的概率成为值1的比特位置作为1比特占有位置，使用例如编码表A进行算术编码，将值容易成为0的剩余的比特串作为剩余比特，例如使用编码表B进行算术编码。这样，通过不同的表现来表示占用率代码，通过分开用于算术编码的编码表来提高编码效率。例如，三维数据编码装置能够在将值0发生的概率保持得较高的状态下通过编码表B对剩余比特的比特串进行算术编码。另外，即使剩余比特的原来的比特串的长度长，三维数据编码装置也能够结果以少的比特数进行编码。
另外，1比特占有代码的各比特以随机的概率容易成为值1。因此，三维数据编码装置也可以在通过将0和1的发生概率固定为50％而跳过发生概率的计算的旁路模式下对1比特占有代码进行算术编码。由此，能够削减处理量。
此外，三维数据解码装置也可以通过与三维数据编码装置同样的处理，判断应用了占有位置编码以及直接编码中的哪一个。或者，也可以是，三维数据编码装置生成包含表示应用了占有位置编码还是应用了直接编码的信息的比特流，三维数据解码装置基于比特流中包含的所述信息，判断应用了占有位置编码还是应用了直接编码。另外，在该情况下，三维数据编码装置也可以不参照父节点的占用率代码，而是参照对象占用率代码，在对象占用率代码是1比特占有代码的情况下应用占有位置编码，否则应用直接编码。
另外，在本实施方式中，说明了以节点为单位来切换占有位置编码和直接编码的例子，但未必限于此。例如，三维数据编码装置也可以将表示是否应用占有位置编码的标志附加于世界空间或空间等的头部，以世界空间或空间等的单位来切换是否应用占有位置编码。例如，三维数据编码装置也可以在包含大量稀疏的三维点群的世界空间或空间的情况下，将所述标志设定为ON(有效)，对世界空间或空间内的三维点群的所有的占用率代码应用占有位置编码。另外，三维数据编码装置在包含大量稠密的三维点群的世界空间或空间的情况下，也可以将所述标志设定为OFF(无效)，对世界空间、或空间内的三维点群的所有的占用率代码应用直接编码。由此，不需要对每个节点进行切换的判定，能够削减处理量。
另外，三维数据解码装置通过对世界空间或空间等的头部所包含的所述标志进行解码，能够判断在世界空间或空间内的占用率代码中应用了占有位置编码以及直接编码中的哪一个，因此能够适当地对占用率代码进行解码。
另外，三维数据编码装置也可以在对象节点的占用率代码中包含的值1的比特数为N(任意的整数)个以下的N比特占有代码的可能性高的情况下，应用占有位置编码，否则应用直接编码。例如，三维数据编码装置也可以在父节点的占用率代码是N比特占有代码的情况下，应用占有位置编码，否则应用直接编码。
以下，说明三维数据编码装置中的处理的流程。图166是本实施方式的三维数据编码装置的三维数据编码处理的流程图。
首先，三维数据编码装置判定对象节点的父节点的占用率代码是否是1比特占有代码(S2301)。在父节点的占用率代码是1比特占有代码的情况下(S2301的“是”)，三维数据编码装置将占有位置编码应用于对象节点的对象占用率代码(S2302)。
具体地，三维数据编码装置搜索对象占用率代码中的1比特占有位置(S2304)。对得到的1比特占有位置进行编码(S2305)。接着，三维数据编码装置计算剩余比特(S2306)，对得到的剩余比特进行编码(S2307)。
另一方面，在父节点的占用率代码不是1比特占有代码的情况下(S2301的“否”)，三维数据编码装置对对象占用率代码进行直接编码(S2303)。
此外，也可以调换占有位置编码(S2302)所包含的步骤的顺序。例如，三维数据编码装置也可以搜索1比特占有位置(S2304)，计算剩余比特(S2306)，之后对1比特占有位置和剩余比特进行编码(S2305、S2307)。
图167是表示占有位置编码(S2302)的具体例的流程图。首先，三维数据编码装置计算1比特占有位置(S2304)。具体而言，三维数据编码装置对变量a设定7(S2311)。接着，三维数据编码装置对变量Diff设定占用率代码-2a(S2312)。接着，三维数据编码装置判定是否满足Diff＞-1(S2313)。
在不满足Diff＞-1的情况下(S2313的“否”)，三维数据编码装置对a设定a-1(S2314)。在满足Diff＞-1的情况下(S2313的“是”)，三维数据编码装置对1比特占有位置设定a，对剩余比特设定Diff(S2315)。
接着，三维数据编码装置对计算出的1比特占有位置进行编码(S2305)。
接着，三维数据编码装置计算剩余比特(S2306)，对剩余比特进行二进制编码(S2307)。具体而言，三维数据编码装置对变量b设定1比特占有位置-1(S2321)。接着，三维数据编码装置对变量Diff设定剩余比特-2b(S2322)。接着，三维数据编码装置判定是否满足Diff＞-1(S2323)。
在满足Diff＞-1的情况下(S2323的“是”)，三维数据编码装置对“1”进行编码，对剩余比特设定Diff(S2324)，对变量b设定b-1(S2326)。另一方面，在不满足Diff＞-1的情况下(S2323的“否”)，三维数据编码装置对“0”进行编码(S2325)，对变量b设定b-1(S2326)。
接着，三维数据编码装置判定是否满足b＜0(S2327)。在不满足b＜0的情况下(S2327的“否”)，三维数据编码装置再次进行步骤S2322以后的处理。在满足b＜0的情况下(S2327的“是”)，三维数据编码装置结束处理。
接着，说明三维数据解码装置中的处理的流程。图168是本实施方式的三维数据解码装置的三维数据解码处理的流程图。
首先，三维数据解码装置判定父节点的占用率代码是否是1比特占有代码(S2331)。在父节点的占用率代码是1比特占有代码的情况下(S2331的“是”)，三维数据解码装置进行对通过占有位置编码而被编码的编码数据进行解码的占有位置解码(S2332)。
具体而言，三维数据解码装置从比特流中对1比特占有位置进行解码(S2334)，基于1比特占有位置来计算占用率代码的一部分(从占用率代码的左端到1比特占有位置)(S2335)，在对剩余比特进行解码的同时更新占用率代码(S2336)。
另一方面，在父节点的占用率代码不是1比特占有代码的情况下(S2331的“否”)，三维数据解码装置使用对通过直接编码而被编码的占用率代码进行解码的直接解码，从比特流中解码占用率代码(S2333)。
此外，也可以调换占有位置解码(S2332)所包含的步骤的顺序。例如，也可以是，三维数据解码装置对1比特占有位置进行解码(S2334)，之后，在对剩余比特进行解码的同时更新占用率代码(S2336)，最后，对更新后的占用率代码加上根据1比特占有位置计算出的占用率代码(S2335)。
图169是表示占有位置解码(S2332)的具体例的流程图。首先，三维数据解码装置从比特流中解码1比特占有位置(S2334)，使用1比特占有位置来计算占用率代码的一部分(S2335)。
具体而言，三维数据解码装置对变量a设定1比特占有位置(S2341)。接着，三维数据解码装置对占用率代码设定2a(S2342)。
接着，三维数据解码装置在对剩余比特进行解码的同时更新占用率代码(S2336)。具体而言，三维数据解码装置对变量b设定a-1(S2351)。接着，三维数据解码装置对1比特进行解码，对变量c设定解码后的1比特(S2352)。接着，三维数据解码装置判定是否满足c＝＝1(S2353)。
在满足c＝＝1的情况下(S2353的“是”)，三维数据解码装置将2b加到占用率代码(S2354)，对变量b设定b-1(S2355)。在不满足c＝＝1的情况下(S2353的“否”)，三维数据解码装置对变量b设定b-1(S2355)。
接着，三维数据解码装置判定是否满足b＜0(S2356)。在不满足b＜0的情况下(S2356的“否”)，三维数据解码装置再次进行步骤S2352以后的处理。在满足b＜0的情况下(S2356的“是”)，三维数据解码装置结束处理。
接着，对三维数据编码装置的结构例进行说明。图170是本实施方式的三维数据编码装置2300的框图。三维数据编码装置2300具备八叉树生成部2301和熵编码部2302。
八叉树生成部2301根据所输入的三维点(点云)生成例如八叉树，生成八叉树的各节点的占用率代码以及叶节点信息。
熵编码部2302对各节点的占用率代码进行编码。熵编码部2302根据父节点的占用率代码是否为1比特占有代码来切换占用率代码的编码方法。例如，在父节点是1比特占有代码的情况下，熵编码部2302对占用率代码应用占有位置编码，否则使用编码表来对占用率代码的值进行算术编码。
接着，说明三维数据解码装置的结构例。图171是本实施方式的三维数据解码装置2310的框图。三维数据解码装置2310具有八叉树生成部2311和熵解码部2312。
八叉树生成部2311使用比特流的头部信息等，生成某个空间(节点)的八叉树。例如，八叉树生成部2311使用附加在头部信息中的某个空间的x轴、y轴、z轴方向的大小生成大空间(根节点)，将该空间在x轴、y轴、z轴方向上分别进行2分割，由此生成8个小空间A(节点A0～A7)而生成八叉树。另外，八叉树生成部2311同样地将节点A0～A7分别进一步分割为8个小空间。这样，八叉树生成部2311反复生成八叉树。
熵解码部2312对各节点的占用率代码进行解码。熵解码部2312根据已解码的父节点的占用率代码是否为1比特占有代码来切换占用率代码的解码方法。例如，在父节点为1比特占有代码的情况下，熵解码部2312在占有位置解码中对占用率代码进行解码，否则使用编码表来对占用率代码的值进行算术解码。
如上所述，本实施方式的三维数据编码装置进行图172所示的处理。首先，三维数据编码装置生成比特串(例如，占用率代码)，所述比特串包含在三维数据中包含的多个三维点的N(N是2以上的整数)叉树结构中包含的对象节点的信息、即表示属于对象节点的子节点各自是否存在三维点的N比特的信息(S2361)。
接着，三维数据编码装置，生成(i)在以预先规定的扫描顺序对所述比特串进行了扫描的情况下，表示最初出现预先规定的代码的比特串中的位置即开头位置(例如1比特占有位置)的位置信息，和(ii)所述比特串中的所述扫描顺序中的比所述开头位置靠后的比特串即剩余比特(S2362)。在此，例如，所述预先规定的代码为1。
接着，三维数据编码装置对所述位置信息和所述剩余比特进行编码，作为对象节点的信息(S2363)。即，三维数据编码装置生成包含所述位置信息和所述剩余比特的比特流作为对象节点的信息。
由此，该三维数据编码装置能够提高编码效率。
例如，三维数据编码装置具有对所述位置信息和所述剩余比特进行编码的第1模式(例如占有位置编码)和对所述比特串进行编码的第2模式(例如直接编码)，根据对象节点的周边节点中是否包含三维点，选择所述第1模式以及所述第2模式中的一方。
由此，该三维数据编码装置通过选择与周边的三维点的状态相应的模式，能够提高编码效率。
例如，三维数据编码装置在所述对象节点的多个周边节点中的包含三维点的周边节点的数量或比例比预先规定的阈值少的情况下，选择所述第1模式，在所述数量或比例比所述阈值多的情况下，选择所述第2模式。
例如，三维数据编码装置基于所述对象节点的父节点的比特串，选择所述第1模式以及所述第2模式中的一方。
例如，三维数据编码装置在由所述父节点的比特串表示的、属于所述父节点的子节点中存在三维点的子节点的数量比预先规定的阈值少的情况下，选择所述第1模式，在所述数量比所述阈值多的情况下，选择所述第2模式。
例如，三维数据编码装置具备处理器和存储器，处理器使用存储器进行上述处理。
另外，本实施方式的三维数据解码装置进行图173所示的处理。首先，三维数据解码装置从比特流中解码三维数据所包含的多个三维点的N(N为2以上的整数)叉树结构所包含的对象节点的信息，即(i)在以预先规定的扫描顺序对表示属于所述对象节点的子节点各自是否存在三维点的N比特的信息的比特串(例如占用率代码)进行了扫描的情况下，表示最初出现预先规定的代码的所述比特串中的位置即开头位置(例如1比特占有位置)的位置信息，和(ii)所述比特串中的所述扫描顺序中的比所述开头位置靠后的比特串即剩余比特(S2371)。即，三维数据解码装置从比特流获得所述位置信息和所述剩余比特。另外，例如，所述预先规定的代码为1。
接着，三维数据解码装置根据所述位置信息和所述剩余比特复原所述对象节点的所述比特串(S2372)，使用所述比特串，复原所述N叉树结构(S2373)。即，三维数据解码装置复原多个三维点的位置信息。
由此，该三维数据解码装置能够提高编码效率。
例如，三维数据解码装置具有从所述比特流中解码所述位置信息和所述剩余比特的第1模式(占有位置解码)和从所述比特流中解码所述比特串的第2模式(直接解码)，基于在所述对象节点的周边节点中是否包含三维点，选择所述第1模式以及所述第2模式中的一方。
由此，该三维数据编码装置通过选择与周边的三维点的状态相应的模式，能够提高编码效率。
例如，三维数据解码装置在所述对象节点的多个周边节点中的包含三维点的周边节点的数量或比例比预先规定的阈值少的情况下，选择所述第1模式，在所述数量或比例比所述阈值多的情况下，选择所述第2模式。
例如，三维数据解码装置基于所述对象节点的父节点的比特串，选择所述第1模式以及所述第2模式中的一方。
例如，在由所述父节点的比特串表示的、属于所述父节点的子节点中存在三维点的子节点的数量比预定的阈值少的情况下，选择所述第1模式，在所述数量比所述阈值多的情况下，选择所述第2模式。
例如，三维数据解码装置具备处理器和存储器，处理器使用存储器进行上述的处理。
(实施方式15)
在本实施方式中，三维数据编码装置对所输入的三维点群(Point Cloud)的三维位置信息应用量化而以八叉树结构进行编码。此时，通过量化产生三维位置相同但颜色或反射率等属性信息不同的点群(以下，称为重复点(duplicated point))。三维数据编码装置将用于控制将该重复点作为八叉树的叶节点信息如何进行编码的信息附加到头部。由此，三维数据解码装置能够正确地对叶节点信息进行解码。在此，通过量化而三维位置相同包括如图174所示的点A以及点B那样原本的三维位置处于接近的位置，三维位置的信息被量化从而三维位置的值相同的情况。
例如，三维数据编码装置将作为控制是否合并重复点的标志的重复点合并标志(MergeDuplicatedPointFlag)附加到头部信息。图175是示意性地表示与重复点合并标志相应的处理的图。
在重复点合并标志为1的情况下，三维数据编码装置将重复点合并为1个点进行编码。在此，所谓合并，例如在点A和点B为重复点的情况下，留下点A而删除点B，或者相反。此外，此时，三维数据编码装置也可以根据点A和点B的颜色或反射率等属性信息计算新的属性信息，并将计算出的属性信息分配给合并后的点。例如，三维数据编码装置可以将点A和点B的属性信息的平均值分配给合并后的点。
另外，在重复点合并标志为1的情况下，以八叉树进行编码时的各叶节点仅包含1个点，因此，三维数据编码装置也可以不对表示叶节点包含几个三维点的信息作为叶节点信息进行编码。另外，三维数据编码装置也可以对叶节点内的1个点的三维位置信息和与颜色或反射率等属性信息相关的信息进行编码。
这样，在解码后不需要重复点的情况下，三维数据编码装置将重复点合并标志设定为1并附加到流中，合并重复点并进行编码。由此，能够削减不需要的重复点的数据量，能够提高编码效率。
在重复点合并标志为0的情况下，三维数据编码装置将重复点的信息作为叶节点信息进行编码。例如，由于各叶节点可能包含1个以上的重复点，因此三维数据编码装置对表示叶节点包含几个三维点的信息进行编码。另外，三维数据编码装置也可以对重复点的各属性信息分别进行编码。例如在叶节点内存在点A和点B作为重复点的情况下，三维数据编码装置也可以对表示2个点存在于叶节点内的信息进行编码。另外，三维数据编码装置也可以对点A和点B各自的属性信息进行编码。
这样，在解码后需要重复点的情况下，三维数据编码装置将重复点合并标志设定为0并附加到流中，对重复点进行编码。由此，三维数据解码装置能够正确地对与重复点相关的信息进行解码。
例如，作为三维位置的量化，例如，三维数据编码装置通过将三维位置(x，y，z)除以量化参数(qx，qy，qz)来计算量化位置(x/qx，y/qy，z/qz)。
重复点合并标志也可以包含在比特流的头部信息中。例如，重复点合并标志包含在WLD、SPC或VLM等的比特流的头部中。
另外，在上述中，作为属性信息列举了颜色或反射率的例子，但属性信息不一定限于此。例如，属性信息也可以包含点的法线向量、表示点的重要度的信息、点所具有的三维特征量、或者点的纬度、经度以及高度等位置信息等。
另外，合并表示将2个以上的点整合为1个点。另外，合并也可以表示将M个以上的点整合为N个(M＞N)点。
如上所述，通过量化，三维点群的坐标相同，但产生颜色或反射率等属性信息不同的重复点。例如，在量化前，点A和点B的三维位置不同，但通过量化，产生点A和点B的三维位置变得相同，而属性信息不同的情况。即，点A和点B是重复点。
此外，不限于量化，也存在通过利用LiDAR等传感器改变时间或方向来获得同一物体的点群的三维位置及属性信息，从而产生重复点的情况。
另外，三维位置相同，不仅限于三维位置完全一致的情况。例如，三维数据编码装置也可以在点A与点B的三维位置之差为预先规定的阈值α以下的情况下，将点A与点B视为三维位置相同，将点A与点B判定为重复点。另外，三维数据编码装置也可以将阈值α附加到流中，向三维数据解码装置传递将阈值α以下的点作为重复点处理的信息。
另外，三维数据编码装置也可以使用点A的三维位置作为重复点的三维位置。或者，三维数据编码装置也可以使用点B的三维位置作为重复点的三维位置。或者，三维数据编码装置也可以使用根据点A的三维位置和点B的三维位置计算出的三维位置作为重复点的三维位置。例如，三维数据编码装置也可以使用点A的三维位置与点B的三维位置的平均值。
另外，三维数据编码装置，关于重复点中的三维位置相同且属性信息也一致的点，与重复点合并标志的值无关，可以进行合并，也可以削除任一方的点。
另外，在重复点合并标志为1的情况下，三维数据编码装置也可以将叶节点内的M点合并为N点(M＞N)。在该情况下，三维数据编码装置也可以将N点的三维位置信息和属性信息分别作为叶节点信息进行编码。另外，三维数据编码装置也可以使用M个属性信息来计算N个属性信息。
另外，三维数据编码装置也可以将合并后的叶节点内的点的数量(N)附加到头部并通知给三维数据解码装置。另外，也可以通过标准等将N的值预先设定为固定值。由此，不需要对每个叶节点附加N个这样的信息，能够抑制产生编码量。由此，三维数据解码装置能够正确地对N个点进行解码。
在重复点合并标志为1的情况下，重复点合并为1个点。例如，三维数据编码装置可以将点A和点B合并到具有相同的三维位置信息的点C。此外，三维数据编码装置也可以将点A和点B的颜色或反射率等属性信息的平均值分配给点C。另外，三维数据编码装置可以将点B合并到点A，也可以将点A合并到点B。
接着，对重复点合并标志的句法例进行说明。图176是表示头部信息的句法例的图。图177是表示节点的信息的句法例的图。
如图176所示，头部信息包括重复点合并标志(MergeDuplicatedPointFlag)。重复点合并标志是表示是否合并重复点的信息。例如，重复点合并标志的值1表示合并重复点，值0表示不合并重复点。
此外，三维数据编码装置也可以不将重复点合并标志附加到头部，而是以标准、或者标准的档次或者级别等规定是否合并重复点。由此，三维数据解码装置参照标准信息，判定重复点是否包含在流中，从而能够正确地复原比特流。
如图177所示，节点的信息包括isleaf和num_point_per_leaf。isleaf是表示对象节点是否是叶节点的标志。值1表示对象节点是叶节点，值0表示对象节点不是叶节点而是节点。另外，表示节点是否是叶节点的信息也可以不附加在头部中。在该情况下，三维数据解码装置通过其他方法判定节点是否是叶节点。例如，三维数据解码装置也可以判定是否将八叉树的各节点分割成无法进一步分割的大小，如果是真，则判定为节点是叶节点。由此，不需要对表示节点是否是叶节点的标志进行编码，能够削减头部的编码量。
num_point_per_leaf是叶节点信息，表示叶节点中包含的三维点的数量。在重复点合并标志为0的情况下对该num_point_per_leaf进行编码。另外，在重复点合并标志为1的情况下，叶节点内的点的数量为1，因此num_point_per_leaf不被编码。由此，能够削减编码量。
另外，在此，示出了根据重复点合并标志直接地切换是否对叶节点信息进行编码的例子，但也可以间接地切换是否对叶节点信息进行编码。例如，三维数据编码装置也可以根据重复点合并标志来切换图156所示的single_point_per_leaf，并基于图156所示的句法来切换是否对叶节点信息进行编码。即，三维数据编码装置也可以在重复点合并标志为1的情况下，将single_point_per_leaf设定为1，在重复点合并标志为0的情况下，将single_point_per_leaf设定为0。另外，在该情况下，三维数据编码装置也可以不对比特流附加重复点合并标志。
此外，三维数据编码装置也可以通过熵编码对num_point_per_leaf进行编码。另外，此时，三维数据编码装置也可以在切换多个编码表的同时进行编码。例如，三维数据编码装置也可以使用编码表A对开头比特进行算术编码，使用编码表B对剩余比特进行算术编码。
如上所述，三维数据编码装置在比特流的头部附加表示是否合并重复点的信息，根据该值切换是否合并重复点。另外，三维数据编码装置在合并重复点的情况下，也可以不对包含在叶节点内的点的数量作为叶节点信息进行编码。另外，在不合并重复点的情况下，三维数据编码装置也可以将叶节点内所包含的点的数量作为叶节点信息进行编码。
此外，三维数据编码装置也可以对通过上述方法生成的isleaf、MergeDuplicatedPointFlag以及num_point_per_leaf进行熵编码。例如，三维数据编码装置也可以对各值进行二值化而进行算术编码。
另外，本实施方式以八叉树结构为例进行了表示，但不限于此，也可以对四叉树以及16叉树等N叉树(N为2以上的整数)、或者其他的树结构应用上述手法。
在设为重复点合并标志＝1进行了编码的情况下，在原来的输入三维点群或量化后的三维点群中包含重复点的情况下，成为不可逆编码(lossy coding，有损编码)，能够削减代码量。另外，三维数据编码装置也可以在原来的输入三维点群中不包含重复点，且以可逆编码(lossless coding，无损编码)进行编码(跳过量化而进行编码)的情况下，设为重复点合并标志＝1进行编码。由此，能够在维持可逆编码的同时削减不对num_point_per_leaf进行编码的量的编码量。
另外，在将同一叶节点内的2个以上的重复点作为叶节点信息分别编码的情况下，三维数据编码装置也可以对各点具有的属性信息(颜色或反射率等)也分别进行编码。在该情况下，也可以按照各点的编码顺序将各点的属性信息关联起来。例如，在将同一叶节点内的2点A、B作为叶节点信息分别编码的情况下，三维数据编码装置也可以对2点A、B双方的属性信息进行编码，并附加到比特流。另外，也可以按照2点A、B的编码顺序将各属性信息关联起来。例如，在按照点A、点B的顺序对各三维位置进行了编码的情况下，考虑按照点A、点B的顺序对各自的属性信息进行编码、关联。
另外，三维数据编码装置在合并同一叶节点内的M个以上的点群而作为N点(M＞N)进行编码的情况下，例如也可以通过平均化等对M个以上的点群的M个以上的属性信息进行平滑化来生成N点的属性信息，并对它们进行编码。例如，在将同一叶节点内的2点A、B合并而作为1点进行编码的情况下，三维数据编码装置例如也可以通过平均化等对2点A、B的属性信息进行平滑化来计算1点的属性信息，对计算出的属性信息进行编码。
另外，三维数据编码装置也可以根据点的重要度或特征量来切换属性信息的计算方法。例如，三维数据编码装置可以对重要度高的点、或者特征量大的点的属性信息赋予高的权重来计算加权平均值，并将计算出的值用作合并后的属性信息。另外，三维数据编码装置也可以根据量化前后的三维位置的变化量来改变权重。例如，也可以使变化量越小则赋予越高的权重来计算加权平均值，并将计算出的值用作合并后的属性信息。
接着，对由三维数据编码装置进行的三维数据编码处理的流程进行说明。图178和图179是由三维数据编码装置进行的三维数据编码处理的流程图。
首先，三维数据编码装置决定是否对重复点进行合并来进行编码(S2401)。例如，在编码效率优先的情况下，三维数据编码装置也可以判断为合并重复点。另外，如果在三维数据解码装置中需要重复点，则三维数据编码装置也可以判断为不合并。另外，三维数据编码装置也可以在输入三维点群中没有重复点，且无损编码(可逆编码)、即不应用量化的情况下，将重复点合并标志设定为1。由此，不对作为叶节点信息的叶节点内的点的数量进行编码，因此能够削减编码量。
在合并重复点并进行编码的情况下(S2401的“是”)，三维数据编码装置将重复点合并标志设定为1，将该重复点合并标志附加到头部中(S2402)。
在不合并重复点并进行编码的情况下(S2401的“否”)，三维数据编码装置将重复点合并标志设定为0，将该重复点合并标志附加到头部中(S2403)。
接着，三维数据编码装置对输入三维点群的三维位置进行量化(S2404)。作为三维位置的量化，三维数据编码装置通过将例如三维位置(x，y，z)除以量化参数(qx，qy，qz)来计算量化位置(x/qx，y/qy，z/qz)。另外，也可以是，三维数据编码装置将量化参数附加在头部中，三维数据解码装置使用该量化参数进行逆量化。另外，三维数据编码装置也可以在无损编码时跳过量化处理。
接着，三维数据编码装置判定重复点合并标志是否为1(S2405)。在重复点合并标志为1的情况下(S2405的“是”)，三维数据编码装置合并量化后的三维点群中的重复点(S2406)。此外，在无损编码且输入三维点群不包含重复点的情况下，三维数据编码装置也可以跳过本处理。
另外，在重复点合并标志为0的情况下(S2405的“否”)，三维数据编码装置不对重复点进行合并处理。
接着，三维数据编码装置将节点分割为八叉树(S2411)。例如，三维数据编码装置可以在从包含量化后的三维点群的大空间(根节点)起进行八叉树分割的同时，依次计算八叉树的各节点的占用率代码，并对计算出的占用率代码进行编码。另外，三维数据编码装置也可以反复应用八叉树分割，在不能应用八叉树分割的时间点对叶节点信息进行编码。此外，三维数据编码装置也可以事先计算所有节点的占用率代码以及叶节点信息，然后对这些信息进行编码。
接着，三维数据编码装置判定下一个节点(对象节点)是否是叶节点(S2412)。例如，三维数据编码装置也可以判定是否将八叉树分割成不能再分割的大小，如果是真，则判定为节点是叶节点。
在对象节点是叶节点的情况下(S2412的“是”)，三维数据编码装置判定重复点合并标志是否为0(S2413)。在重复点合并标志为0的情况下(S2413的“是”)，三维数据编码装置对叶节点所包含的三维点的数量(num_point_per_leaf)进行编码(S2414)。在重复点合并标志为1的情况下(S2413的“否”)，三维数据编码装置不对叶节点所包含的三维点的数量(num_point_per_leaf)进行编码。
另外，在对象节点不是叶节点的情况下(S2412的“否”)，三维数据编码装置对对象节点的占用率代码进行编码(S2415)。
接着，三维数据编码装置判定所有节点的处理是否完成(S2416)。在所有节点的处理未完成的情况下(S2416的“否”)，三维数据编码装置对下一个节点进行步骤S2412以后的处理。
在所有节点的处理完成的情况下(S2416的“是”)，三维数据编码装置对与编码后的三维点相关的属性信息进行编码(S2417)。
此外，三维数据编码装置也可以将大空间(根节点)的x轴、y轴或者z轴的大小调整为2的取幂的大小，使得能够对各轴始终均等地进行2分割。另外，三维数据编码装置也可以调整大空间的大小，使得分割后的节点始终为立方体。例如，在三维点群的三维位置在x轴为0～256、y轴为0～120、z轴为0～62的值的范围的情况下，首先，三维数据编码装置对各轴的最小值和最大值进行比较，计算所有点群的坐标的最小值和最大值。在该情况下，最小值为0，最大值为256。接着，对包括计算出的最小值和最大值且大空间的大小为2的取幂的值进行计算。在该情况下，大小为512，空间内的坐标的最小值为0，最大值为511。由此，能够包括0～256的范围的点群。另外，在该情况下，三维数据编码装置从512×512×512的大小的大空间开始八叉树的分割。
接着，说明三维数据解码装置的三维数据解码处理的流程。图180是由三维数据解码装置进行的三维数据解码处理的流程图。首先，三维数据解码装置对比特流的头部内的重复点合并标志进行解码(S2421)。
接着，三维数据解码装置将节点分割为八叉树(S2422)。例如，三维数据解码装置使用比特流的头部信息等，生成某个空间(节点)的八叉树。例如，三维数据解码装置使用附加在头部信息中的某个空间的x轴、y轴、z轴方向的大小来生成大空间(根节点)，将该空间分别在x轴、y轴、z轴方向上进行2分割，由此生成8个小空间A(节点A0～A7)而生成八叉树。另外，三维数据解码装置同样地将节点A0～A7分别进一步分割为8个小空间。这样，三维数据解码装置通过本流程的处理，依次进行各节点的占用率代码的解码和叶节点信息的解码。
接着，三维数据解码装置判定下一个节点(对象节点)是否是叶节点(S2423)。在对象节点是叶节点的情况下(S2423的“是”)，三维数据解码装置判定重复点合并标志是否为0(S2424)。在重复点合并标志为0的情况下(S2424的“是”)，三维数据解码装置从比特流中对叶节点所包含的三维点的数量(num_point_per_leaf)进行解码(S2425)。另一方面，在重复点合并标志为1的情况下(S2424的“否”)，三维数据解码装置不从比特流中对叶节点所包含的三维点的数量(num_point_per_leaf)进行解码。
另外，在下一个节点不是叶节点的情况下(S2423的“否”)，三维数据解码装置从比特流中对对象节点的占用率代码进行解码(S2426)。
接着，三维数据解码装置使用解码出的占用率代码以及八叉树的分割数等信息来计算叶节点的三维位置(S2427)。例如在大空间的大小为8×8×8的情况下，当应用3次八叉树分割时，节点的大小为1×1×1。该大小(1×1×1)是能够分割的最小单位(叶节点)。此外，三维数据解码装置根据叶节点的父节点的解码后的占用率代码，判定在各叶节点中是否包含点。由此，三维数据解码装置能够计算各叶节点的三维位置。
接着，三维数据解码装置对计算出的三维位置进行逆量化(S2428)。具体而言，三维数据解码装置通过使用从头部解码的量化参数进行逆量化，计算点群的三维位置。例如，作为三维位置的逆量化，三维数据解码装置通过对例如逆量化前的三维位置(x，y，z)乘以量化参数(qx，qy，qz)来计算逆量化位置(x×qx，y×qy，z×qz)。此外，三维数据解码装置也可以在无损编码时跳过逆量化处理。另外，三维数据解码装置即使在非无损编码(不可逆编码)时，在不需要使比例尺返回原来的比例尺的情况下，也可以跳过逆量化处理。例如，在三维数据解码装置不需要三维点的绝对位置关系而是需要相对的位置关系的情况下，也可以跳过逆量化处理。
接着，三维数据解码装置判定所有节点的处理是否完成(S2429)。在所有节点的处理未完成的情况下(S2429的“否”)，三维数据解码装置对下一个节点进行步骤S2423以后的处理。
在所有节点的处理完成的情况下(S2429的“是”)，三维数据解码装置从比特流中解码与解码后的三维点相关的属性信息(S2430)。另外，在重复点合并标志为1的情况下，对解码后的具有不同的三维位置的各点在解码后与1个属性信息关联起来。另外，在重复点合并标志为0的情况下，对解码后的具有相同的三维位置的多个点，对多个不同的属性信息进行解码并关联起来。
接着，说明三维数据编码装置的结构例。图181是本实施方式的三维数据编码装置2400的框图。三维数据编码装置2400包括量化部2401、八叉树生成部2402、合并决定部2403和熵编码部2404。
量化部2401对输入的三维点(点云)进行量化。此外，在可逆编码的情况下，可以省略量化处理。
八叉树生成部2402根据所输入的三维点(点云)，生成例如八叉树，生成八叉树的各节点的占用率代码以及叶节点信息。
合并决定部2403判定是否合并重复点并进行编码，并基于判定结果来设定重复点合并标志的值。例如，合并决定部2403使用量化后的三维点群的信息，决定重复点合并标志的值。例如，合并决定部2403基于量化后的三维点群中是否包含重复点，决定重复点合并标志的值。
熵编码部2404通过根据重复点合并标志进行叶节点信息的编码来生成比特流。熵编码部2404可以将重复点合并标志附加到比特流。此外，熵编码部2404可以对占用率代码进行编码。另外，熵编码部2404也可以对与编码后的三维点相关的属性信息进行编码。
接着，说明三维数据解码装置的结构例。图182是本实施方式的三维数据解码装置2410的框图。三维数据解码装置2410具备八叉树生成部2411、合并信息解码部2412、熵解码部2413和逆量化部2414。
八叉树生成部2411使用比特流的头部信息等，生成某个空间(节点)的八叉树。例如，八叉树生成部2411使用附加在头部信息中的某个空间的x轴、y轴、z轴方向的大小生成大空间(根节点)，将该空间在x轴、y轴、z轴方向上分别进行2分割，由此生成8个小空间A(节点A0～A7)而生成八叉树。另外，八叉树生成部2411同样地将节点A0～A7分别进一步分割为8个小空间。这样，八叉树生成部2411重复八叉树的生成。
合并信息解码部2412根据比特流的头部信息解码重复点合并标志。此外，合并信息解码部2412也可以包含在熵解码部2413中。
熵解码部2413根据解码后的重复点合并标志的信息对叶节点信息进行解码，生成三维点群(三维位置)。此外，熵解码部2413也可以对与解码后的三维点相关的属性信息进行解码。
逆量化部2414对解码后的点群的三维位置应用逆量化，生成输出三维点群。此外，在可逆编码的情况下，可以省略逆量化处理。另外，三维数据解码装置即使在不可逆编码的情况下，在不需要使比例尺返回原来的比例尺的情况下，也可以省略逆量化处理。例如，在不需要三维点的绝对位置关系而需要相对的位置关系的情况下，也可以省略逆量化处理。
接着，说明三维数据编码装置的三维数据编码处理的变形例。图183是三维数据编码处理的变形例的流程图。
首先，三维数据编码装置对输入的三维点群的三维位置进行量化(S2441)。例如，作为三维位置的量化，例如，三维数据编码装置通过将三维位置(x，y，z)除以量化参数(qx，qy，qz)来计算量化位置(x/qx，y/qy，z/qz)。此外，也可以是，三维数据编码装置将量化参数附加到头部，并且三维数据解码装置使用该量化参数进行逆量化。另外，三维数据编码装置也可以在无损编码时跳过量化处理。
接着，三维数据编码装置判定量化后的三维点群中是否包含重复点(S2442)。例如，三维数据编码装置对所有的三维点群的三维位置信息进行比较，根据是否存在相同的值进行判定。或者，也可以是，三维数据编码装置计算全部的三维位置信息的差分，在该差分的绝对值比预先规定的阈值大的情况下，判定为不包含重复点。
在三维点群中包含重复点的情况下(S2442的“是”)，三维数据编码装置判定是否合并重复点并进行编码(S2443)。例如，在编码效率优先的情况下，三维数据编码装置也可以判断为合并重复点。另外，如果在三维数据解码装置中需要重复点，则三维数据编码装置也可以判断为不合并。
在三维点群中不包含重复点的情况下(S2442的“否”)，或者合并重复点的情况下(S2443的“是”)，三维数据编码装置将重复点合并标志设定为1，将该重复点合并标志附加到头部(S2444)。另一方面，在不合并重复点的情况下(S2443的“否”)，三维数据编码装置将重复点合并标志设定为0，将该重复点合并标志附加到头部(S2445)。
接着，三维数据编码装置判定重复点合并标志是否为1(S2446)。在重复点合并标志为1的情况下(S2446的“是”)，三维数据编码装置合并量化后的三维点群中包含的重复点(S2447)。另外，三维数据编码装置在无损编码且在输入三维点群中不包含重复点的情况下，也可以跳过本处理。另外，在重复点合并标志为0的情况下(S2446的“否”)，三维数据编码装置不合并量化后的三维点群中包含的重复点。之后的处理与图179所示的处理相同。
如上所述，本实施方式的三维数据编码装置在三维数据所包含的多个三维点的N(N为2以上的整数)叉树结构所包含的叶节点包含2个三维点、且该2个三维点的三维位置的差小于预先规定的阈值的情况下，将表示是否合并该2个三维点的第1信息(例如重复点合并标志)附加到比特流，在由所述第1信息表示合并所述2个三维点的情况下，合并所述2个三维点，并对合并后的三维点进行编码，在由所述第1信息表示不合并所述2个三维点的情况下，对所述2个三维点分别进行编码。
由此，该三维数据编码装置能够切换是否合并三维点，并且能够将三维点是否合并传达给三维数据解码装置。
例如，在由所述第1信息表示不合并所述2个三维点的情况下，三维数据编码装置将与所述叶节点相关的第2信息(例如叶节点信息)附加到所述比特流，在由所述第1信息表示合并所述2个三维点的情况下，不将所述叶节点信息附加到所述比特流。
例如，所述第2信息表示所述叶节点所包含的三维点的个数。
例如，所述三维数据编码装置通过对输入的多个三维点的三维位置进行量化来生成所述多个三维点的三维位置。
例如，三维数据编码装置具备处理器和存储器，处理器使用存储器进行上述处理。
另外，本实施方式的三维数据解码装置在三维数据所包含的多个三维点的N(N为2以上的整数)叉树结构所包含的叶节点包含2个三维点、且该2个三维点的三维位置的差小于预先规定的阈值的情况下，从比特流中对表示是否合并了该2个三维点的第1信息(例如重复点合并标志)进行解码，在由所述第1信息表示没有合并所述2个三维点的情况下，从所述比特流中解码与所述叶节点相关的第2信息(例如叶节点信息)，在由所述第1信息表示合并了所述2个三维点的情况下，不从所述比特流中解码所述叶节点信息。
例如，所述第2信息表示所述叶节点所包含的三维点的个数。
例如，所述三维数据解码装置使用所述叶节点信息复原所述多个三维点的三维位置，对复原后的三维位置进行逆量化。
例如，三维数据解码装置具备处理器和存储器，处理器使用存储器进行上述的处理。
此外，在量化后的叶节点内存在重复点和不是重复点的点的情况下，也可以应用本实施方式的方法。图184是用于说明该处理的图。例如，如图184所示，在量化前的状态下点A、点B、点D存在于叶节点内。通过量化，点A和点B的三维位置相同，点A和点B成为重复点。另一方面，点D与其他点的三维位置不同，因此不成为重复点。这样的情况发生在八叉树的分割不进行到分割的最小单位，而将中途的节点作为叶节点进行编码的情况。
在这样的情况下，在重复点合并标志(MergeDuplicatedPointsFlag)为0的情况下，三维数据编码装置对表示各叶节点包含几个点群的信息、各点群的位置信息、以及属性信息进行编码。在此，所谓位置信息，可以是各点群的距某基准位置的绝对坐标，也可以如上述那样包含叶节点所包含的点的相对坐标。例如，三维数据编码装置也可以对在叶节点中包含点A、点B、点D共计3个这样的信息、各自的位置信息、以及各自的属性信息进行编码。
另外，在重复点合并标志为1的情况下，三维数据编码装置合并叶节点内的重复点。例如，三维数据编码装置对将点A和点B合并的合并后的位置信息和属性信息进行编码。此时，点D没有被合并，因此，三维数据编码装置对点D的位置信息以及属性信息另外进行编码。
另外，三维数据编码装置也可以对表示包含在叶节点内的合并后的点的数量的信息进行编码。在图184所示的例子中，三维数据编码装置将点A和点B合并为1点，不对点D进行合并，因此将叶节点内的点数作为2个进行编码。
在重复点合并标志为1的情况下，三维数据编码装置也可以将叶节点内的M点的重复点合并为N点(M＞N)。在该情况下，三维数据编码装置也可以将N点的三维位置信息以及属性信息和未被合并的点的位置信息以及属性信息分别作为叶节点信息进行编码。另外，三维数据编码装置也可以使用M个属性信息来计算N个属性信息。
另外，三维数据编码装置也可以对表示包含在叶节点内的点的数量的信息进行编码。在图184所示的例子中，三维数据编码装置也可以对表示叶节点内所包含的点的数量为3个的信息进行编码。此外，三维数据编码装置可以对所有点的位置信息和属性信息进行编码。
(实施方式16)
在本实施方式中，三维数据编码装置通过搜索已编码的节点来得到父节点不同的相邻节点的信息。图185是表示相邻节点的例子的图。在图185所示的例子中，3个相邻节点属于与对象节点相同的父节点。三维数据编码装置通过确认父节点的占用率代码来获得该3个相邻节点的相邻信息。
另外，剩余的3个相邻节点属于与对象节点不同的父节点。三维数据编码装置通过确认已编码节点的信息来获得这些3个相邻节点的相邻信息。在此，相邻信息包括表示该节点是否包含点群(占有(occupied))的信息。另外，已编码节点例如是在八叉树中属于与对象节点相同的层的节点。
图186是表示成为搜索对象的节点的例子的图。三维数据编码装置将图186所示的已编码节点作为搜索范围，搜索相邻节点的信息。图187是用于说明相邻节点的搜索处理的图。如图187所示，已编码节点的信息被存放在队列中。三维数据编码装置从开头起搜索多个队列，获得相邻节点的信息。例如，要搜索的队列的顺序是编码顺序。
三维数据编码装置通过计算表示子节点是否占有的信息来计算对象节点的占用率代码。此时，三维数据编码装置更新各子节点的相邻信息。例如，三维数据编码装置根据占用率代码判定父节点与对象节点的父节点相同的相邻节点是否占有。此外，三维数据编码装置对于父节点与对象节点的父节点不同的相邻节点是否占有，从存放已编码的节点的信息的队列中搜索相邻节点的信息，并根据表示找到的相邻节点是否占有的信息来进行判定。另外，三维数据编码装置更新各子节点的相邻信息，为了计算下一个节点的子节点的相邻节点而将更新后的相邻信息存放在队列中。
三维数据编码装置在各搜索中更新对象节点和搜索到的节点双方的相邻信息。图188和图189是用于说明该更新处理的图。如图188所示，三维数据编码装置在各搜索中更新对象节点和搜索到的节点双方的相邻信息。即，相邻信息双向传递。在对象节点的信息中追加搜索到的节点是相邻节点的信息，在相邻节点的信息中追加对象节点是相邻节点的信息。
另外，如图189所示，在搜索处理中，紧前的对象节点可能成为搜索到的节点。在该情况下，更新紧前的对象节点的相邻信息。
此外，为了保证用于硬件安装的最长处理时间，三维数据编码装置可以在找到相邻节点之前结束搜索处理。图190是用于说明该动作的图。
如图190所示，预先规定作为停止搜索的阈值的搜索阈值。该搜索阈值例如表示从队列的开头起的搜索次数。
在图190的(1)所示的例子中，为了搜索相邻节点的队列，需要比搜索阈值多的搜索步骤。在该例子中，三维数据编码装置进行达到搜索阈值的搜索，结束搜索处理。
在图190的(2)所示的例子中，能够在比搜索阈值少的搜索步骤中搜索相邻节点的队列。在该例子中，三维数据编码装置搜索相邻节点，并且结束搜索处理。
这样，三维数据编码装置也可以准备用于限制搜索次数的参数(搜索阈值)。通过限制搜索次数，能够将搜索的处理时间抑制在一定时间内，并且找到相邻节点。另外，三维数据编码装置也可以将表示搜索次数的限制值(搜索阈值)的信息附加到比特流的头部等。或者，搜索次数也可以由标准等规定。由此，三维数据解码装置能够根据头部或者标准的规定来决定搜索次数的限制值，因此能够正确地对流进行解码。
接着，对已编码节点的队列的结构的具体例进行说明。为了识别对象节点的附近，已编码节点的队列的各要素具有三维空间中的索引。例如，该索引使用莫顿码(Mortoncode)。
图191是表示使用了莫顿码的索引的例子的图。图192是表示使用了莫顿码的队列的例子的图。在图191所示的例子中，对象节点的索引是3，左节点的索引是2，下节点的索引是1。这样，通过使用莫顿码的索引，能够判定相邻节点。
另外，通过使用莫顿码，具有以下的效果。作为第一个效果，能够使搜索处理高速化。在此，使用x、y、z坐标的搜索处理比找到作为单一的整数的莫顿码的处理复杂。
作为第二个效果，通过使用莫顿码能够削减所保持的数据量。具体而言，在使用了x、y、z的情况下，需要3个32比特的数据。另一方面，通过使用莫顿码，能够用1个64比特的数据来识别节点。
另外，作为将三维位置变换为整数的手法，也可以使用莫顿码以外的手法。例如，也可以使用希尔伯特曲线(Hilbert curve)等能够将三维位置变换为整数的空间填充曲线(space filling curve)。
接着，说明本实施方式的三维数据编码装置的结构例。图193是本实施方式的三维数据编码装置2500的框图。该三维数据编码装置2500具备八叉树生成部2501、父节点信息获得部2502、编码模式选择部2503、搜索部2504、几何信息计算部2505、编码表选择部2506、以及熵编码部2507。
八叉树生成部2501根据输入的三维点(点云)生成例如八叉树，生成八叉树的各节点的占用率代码。
父节点信息获得部2502从对象节点的父节点的占用率代码获得相邻节点的相邻信息。即，父节点信息获得部2502获得多个相邻节点中的例如与对象节点属于相同的父节点的相邻节点、即相当于多个相邻节点的一半的相邻节点的相邻信息。
编码模式选择部2503选择编码模式。例如，该编码模式包括进行根据父节点的占用率代码获得相邻信息的处理和搜索处理中的一方的模式、以及进行双方的模式。
搜索部2504通过搜索处理使用已编码节点的信息来获得相邻节点的相邻信息。该搜索处理具有处理时间，但通过该搜索处理能够获得所有相邻节点的相邻信息。
几何信息计算部2505通过使用由父节点信息获得部2502得到的相邻信息和由搜索部2504得到的相邻信息中的一方或者将双方整合来生成用于选择编码表的相邻信息(相邻节点的占有信息)。
编码表选择部2506使用由几何信息计算部2505生成的相邻节点的占有信息来选择用于熵编码的编码表。
熵编码部2507通过使用所选择的编码表对对象节点的占用率代码进行熵编码来生成比特流。此外，熵编码部2507可以将表示所选择的编码表的信息附加到比特流。
接着，说明本实施方式的三维数据解码装置的结构例。图194是本实施方式的三维数据解码装置2510的框图。该三维数据解码装置2510具备八叉树生成部2511、父节点信息获得部2512、解码模式选择部2513、搜索部2514、几何信息计算部2515、编码表选择部2516、以及熵解码部2517。
八叉树生成部2511使用比特流的头部信息等，生成某个空间(节点)的八叉树。例如，八叉树生成部2511使用附加在头部信息中的某个空间的x轴、y轴、z轴方向的大小生成大空间(根节点)，将该空间在x轴、y轴、z轴方向上分别进行2分割，由此生成8个小空间A(节点A0～A7)而生成八叉树。另外，作为对象节点，依次设定节点A0～A7。
父节点信息获得部2512根据对象节点的父节点的占用率代码获得相邻节点的相邻信息。即，父节点信息获得部2512获得与多个相邻节点中的例如与对象节点属于相同的父节点的相邻节点、即相当于多个相邻节点的一半的相邻节点的相邻信息。
解码模式选择部2513选择解码模式。例如，该解码模式包括与上述编码模式对应地，进行从父节点的占用率代码获得相邻信息的处理、搜索处理中的一方的模式以及进行双方的模式。
搜索部2514通过搜索处理使用已解码节点的信息来获得相邻节点的相邻信息。该搜索处理具有处理时间，但通过该搜索处理能够获得所有相邻节点的相邻信息。
几何信息计算部2515通过使用由父节点信息获得部2512得到的相邻信息和由搜索部2514得到的相邻信息中的一方或者整合双方来生成用于选择编码表的相邻信息(相邻节点的占有信息)。
编码表选择部2516使用由几何信息计算部2515计算的相邻节点的占有信息来选择用于熵解码的编码表。
熵解码部2517通过使用所选择的编码表来进行占用率代码的熵解码，从而生成三维点(点云)。此外，熵解码部2517也可以从比特流获得所选择的编码表的信息，使用由该信息表示的编码表，对对象节点的占用率代码进行熵解码。
另外，比特流中包含的占用率代码(8比特)的各比特表示在8个小空间A(节点A0～节点A7)中是否分别包含点群。另外，进而，三维数据解码装置将小空间节点A0分割为8个小空间B(节点B0～节点B7)而生成八叉树，通过解码占用率代码来计算表示在小空间B的各节点中是否包含点群的信息。这样，三维数据解码装置一边从大空间向小空间生成八叉树一边对各节点的占用率代码进行解码。
以下，对本实施方式的三维数据编码处理以及三维数据解码处理的流程进行说明。图195是由三维数据编码装置进行的三维数据编码处理的流程图。
首先，三维数据编码装置定义包含输入三维点群的一部分或全部的空间(对象节点)(S2501)。接着，三维数据编码装置对对象节点进行8分割而生成8个小空间(节点)(S2502)。接着，三维数据编码装置根据在各节点中是否包含点群而生成对象节点的占用率代码(S2503)。接着，三维数据编码装置根据对象节点的父节点的占用率代码计算对象节点的相邻节点的相邻信息(S2504)。
接着，三维数据编码装置选择编码模式(S2505)。例如，三维数据编码装置选择进行搜索处理的编码模式。接下来，三维数据编码装置通过搜索已编码节点的信息来获得剩余的相邻信息。另外，三维数据编码装置通过将在步骤S2504中计算出的相邻信息和通过搜索处理获得的相邻信息整合，生成用于选择编码表的相邻信息(S2506)。
接着，三维数据编码装置基于在步骤S2506中生成的相邻信息，选择用于熵编码的编码表(S2507)。接着，三维数据编码装置使用所选择的编码表来对对象节点的占用率代码进行熵编码(S2508)。接着，三维数据编码装置反复进行将各节点分别进行8分割并对各节点的占用率代码进行编码的处理，直到节点无法分割为止(S2509)。即，递归地反复步骤S2502至S2508的处理。
图196是由三维数据解码装置进行的三维数据解码处理的流程图。
首先，三维数据解码装置使用比特流的头部信息来定义进行解码的空间(对象节点)(S2511)。接着，三维数据解码装置对对象节点进行8分割而生成8个小空间(节点)(S2512)。接着，三维数据解码装置根据对象节点的父节点的占用率代码计算对象节点的相邻节点的相邻信息(S2513)。
接着，三维数据解码装置选择与上述编码模式对应的解码模式(S2514)。例如，三维数据解码装置选择进行搜索处理的解码模式。接着，三维数据解码装置通过搜索已解码节点的信息，获得剩余的相邻信息。另外，三维数据解码装置通过将在步骤S2513中计算出的相邻信息和通过搜索处理获得的相邻信息整合，生成用于选择编码表的相邻信息(S2515)。
接着，三维数据解码装置基于在步骤S2515中生成的相邻信息，选择用于熵解码的编码表(S2516)。接着，三维数据解码装置使用所选择的编码表来对对象节点的占用率代码进行熵解码(S2517)。接着，三维数据解码装置反复进行将各节点分别进行8分割，并对各节点的占用率代码进行解码的处理，直到节点无法分割为止(S2518)。即，递归地反复步骤S2512～S2517的处理。
接着，对编码模式(解码模式)进行说明。编码模式包括如下模式中的至少一个：(1)跳过搜索处理的第1模式；(2)进行搜索处理，并且以上述搜索阈值停止处理的第2模式；以及(3)进行搜索处理，并且搜索全部的已编码(已解码)节点的第3模式。
即，三维数据解码装置也可以切换是跳过相邻节点的搜索还是进行相邻节点的搜索作为编码模式。进而，三维数据编码装置在进行相邻节点的搜索的情况下，也可以将搜索次数限制为预先规定的阈值以下。另外，三维数据编码装置也可以将表示该阈值的信息附加到比特流的头部。或者，该阈值也可以由标准等规定。另外，三维数据编码装置也可以对每个节点切换该阈值的值。例如，八叉树的层的值越大(越深)，相邻节点的候选越增加。因此，三维数据编码装置也可以是八叉树的层的值越大(越深)，阈值越大。另外，对于节点所属的每个层，可参照的范围也可以变化。即，与对象节点在空间上相邻的多个相邻节点中，可参照的相邻节点的范围在树结构中也可以根据对象节点所属的层而不同。在此，即使表示在头部等中设定的可参照的范围的参数的值相同，层越深，节点所表示的空间越小。即，层越深，则节点能够参照的空间的范围也可以绝对地变窄。
此外，三维数据编码装置可以将表示编码模式的信息附加到比特流的头部。此外，编码模式也可以由标准等规定。由此，三维数据解码装置能够根据解码出的头部或者标准的规定来决定解码模式(编码模式)，因此能够正确地对流进行解码。
另外，三维数据编码装置也可以按每个节点对编码模式进行编码，按每个节点切换编码模式。例如，三维数据编码装置从如果以所有的编码模式进行编码，对于三维数据解码装置而言利于编码效率和处理时间的观点出发，决定最佳的编码模式。而且，三维数据编码装置也可以按每个节点对表示所决定的编码模式的信息进行编码。由此，三维数据解码装置通过对按每个节点进行了编码的编码模式进行解码，能够正确地对比特流进行解码。
另外，三维数据编码装置也可以按预先规定的节点的每个集合对编码模式进行编码，以该集合单位切换编码模式。另外，节点的集合例如是八叉树的同一层所包含的多个节点的集合。
此外，在三维数据解码装置中，也可以通过同样的方法来决定解码模式(编码模式)。即，三维数据编码装置和三维数据解码装置也可以通过同一方法按每个节点估计编码模式，对每个节点切换是否进行相邻节点的搜索。由此，三维数据编码装置以及三维数据解码装置对需要搜索相邻节点的节点进行判定，在判定为真的情况下进行相邻节点的搜索，在判定为假时能够跳过相邻节点的搜索。此外，不需要传输表示编码模式的信息。因此，能够在提高编码效率的同时抑制处理量。
例如，三维数据编码装置以及三维数据解码装置例如根据父节点的占用率代码来判定是否为需要搜索相邻节点的节点。在此，在根据父节点的占用率代码计算出的3个相邻节点的占有信息全部为1的情况下，其他相邻节点也占有的可能性高。因此，在这种情况下，三维数据编码装置和三维数据解码装置判定为需要搜索相邻节点。
另外，三维数据编码装置以及三维数据解码装置也可以根据八叉树的层的值来判定是否是需要搜索相邻节点的节点。例如，在层的值小(接近根节点)的情况下，不能充分地进行八叉树的分割的可能性高。因此，三维数据编码装置以及三维数据解码装置也可以判断为相邻节点占有的可能性高，判定为需要相邻节点的搜索。这样，通过在三维数据编码装置和三维数据解码装置中以相同的方法估计编码模式，能够抑制编码量，并且能够正确地进行编码和解码。
此外，三维数据编码装置和三维数据解码装置可以用相同的方法按预先规定的节点的每个集合估计编码模式(解码模式)，并以该集合单位切换编码模式。由此，三维数据编码装置以及三维数据解码装置能够判定是否是需要搜索相邻节点的节点的集合，在判定为真时进行相邻节点的搜索，在判定为假时跳过相邻节点的搜索。因此，能够在提高编码效率的同时抑制处理量。
另外，节点的集合例如是八叉树的同一层所包含的多个节点的集合。由此，三维数据编码装置以及三维数据解码装置能够对每个层切换是否进行相邻节点的搜索，因此能够抑制处理时间并且提高编码效率。例如，例如在层的值小(接近根节点)的情况下，无法充分地进行八叉树的分割的可能性高。因此，三维数据编码装置以及三维数据解码装置也可以判断为相邻节点占有的可能性高，判定为需要相邻节点的搜索。
接着，说明表示编码模式的信息等的句法例。图197是表示头部信息的句法例的图。图198是表示节点的信息的句法例的图。
如图197所示，头部信息包括coding_mode1和limit_num_of_search。coding_model1是表示是否进行相邻节点的搜索的信息。例如，值0表示不进行相邻节点的搜索，值1表示在所有的节点进行相邻节点的搜索，值2表示对每个节点切换相邻节点的搜索。
此外，三维数据编码装置也可以不将coding_mode1附加到头部，而以标准或标准的档次或级别等规定是否进行相邻节点的搜索。由此，三维数据解码装置通过参照标准信息，判定是否进行相邻节点的搜索，从而能够正确地复原比特流。
limit_num_of_search是表示上述的相邻阈值的信息，例如表示搜索相邻节点的情况下的搜索的限制数(搜索阈值)。例如，值0表示无限制，值1以上表示限制次数。
该limit_num_of_search在coding_mode1的值为1以上的情况下包含在头部信息中。此外，三维数据编码装置在不总是需要搜索的限制的情况下，也可以不将limit_num_of_search包含在头部中。另外，三维数据编码装置也可以针对八叉树的每个层设置limit_num_of_search，并包含在头部中。
另外，limit_num_of_search的值也可以在编码前决定。例如，在以高性能的设备进行编码或解码的情况下，设定为无限制，在用低性能的设备进行编码或解码的情况下，设定限制。
如图198所示，节点的信息包括coding_mode2和occupancy_code。在coding_mode1的值为2的情况下，该coding_mode2包含在节点的信息中。coding_mode2是表示是否对每个节点进行相邻节点的搜索的信息。例如，值0表示不进行相邻节点的搜索，值1表示进行相邻节点的搜索。
此外，在coding_mode2为1时，三维数据编码装置以及三维数据解码装置也可以将搜索的限制数设定为附加到头部的limit_num_of_search。另外，三维数据编码装置也可以按每个节点对搜索的限制数进行编码。
另外，也可以是，三维数据编码装置不对coding_mode2的值进行编码，三维数据解码装置估计coding_mode2的值。例如，三维数据解码装置根据父节点的占用率代码或八叉树的层信息来估计coding_mode2的值。
occupancy_code是对象节点的占用率代码，并且是表示对象节点的子节点是否占有的信息。三维数据编码装置和三维数据解码装置根据coding_mode2的值计算相邻节点的占有信息，并在基于该值切换编码表的同时对occupancy_code进行编码或解码。
此外，三维数据编码装置也可以对通过上述方法生成的coding_mode1、limit_num_of_search或者coding_mode2进行熵编码。例如，三维数据编码装置在对各值进行二值化后进行算术编码。
另外，在本实施方式中，以八叉树结构为例进行了表示，但不限于此，也可以对二叉树、四叉树、16叉树等N叉树(N为2以上的整数)、或者其他的树结构应用上述手法。
接着，说明三维数据编码处理的详细内容。图199是本实施方式的三维数据编码处理的流程图。首先，三维数据编码装置定义包含输入三维点群的一部分或全部的空间(对象节点)(S2521)。接着，三维数据编码装置对对象节点进行8分割而生成8个小空间(节点)(S2522)。接着，三维数据编码装置根据在各节点中是否包含点群而生成对象节点的占用率代码(S2523)。接着，三维数据编码装置根据对象节点的父节点的占用率代码计算对象节点的相邻节点的相邻信息(S2524)。
接着，三维数据编码装置通过确认编码模式来判定是否进行搜索处理(S2525)。例如，三维数据编码装置在(1)coding_mode1为1的情况下，或者(2)coding_mode1为2且coding_mode2为1的情况下，判定为进行搜索处理(S2525的“是”)，在除此以外的情况下，判定为不进行搜索处理(S2525的“否”)。另外，三维数据编码装置通过上述的方法等来决定是否在所有的节点进行相邻节点的搜索(coding_mode1的值)、以及是否按每个节点进行相邻节点的搜索(coding_mode2的值)。
例如，三维数据编码装置根据父节点的占用率代码来估计是否是需要搜索相邻节点的节点(coding_mode2的值)。例如，在根据父节点的占用率代码计算出的3个相邻节点的占有信息全部为1的情况下，其他相邻节点也占有的可能性高。因此，三维数据编码装置判定为需要搜索相邻节点(coding_mode2的值为1)。另外，在三维数据解码装置中估计coding_mode2的情况下，三维数据编码装置也可以不对coding_mode2进行编码。
在进行搜索处理的情况下(S2525的“是”)，三维数据编码装置通过搜索已编码节点的信息，获得剩余的相邻信息。例如，在limit_num_of_search的值不是0(无搜索次数限制)的情况下，三维数据编码装置在根据该值限制搜索次数的同时搜索相邻节点。另外，三维数据编码装置使用上述的方法等设定limit_num_of_search的值。另外，三维数据编码装置将根据父节点的占用率代码计算出的相邻信息和在搜索处理中获得的相邻信息进行整合(S2526)。接着，三维数据编码装置基于在步骤S2526中生成的相邻信息，选择用于熵编码的编码表(S2527)。
另一方面，在不进行搜索处理的情况下(S2525的“否”)，三维数据编码装置基于在步骤S2524中根据父节点的占用率代码计算出的相邻信息，选择用于熵编码的编码表(S2527)。
接着，三维数据编码装置使用所选择的编码表来对对象节点的占用率代码进行熵编码(S2528)。此外，三维数据编码装置，作为头部信息对coding_mode1和limit_num_of_search进行编码。另外，三维数据编码装置按每个节点对coding_mode2进行编码。
接着，三维数据编码装置反复进行将各节点分别进行8分割，并对各节点的占用率代码进行编码的处理，直到节点无法分割为止(S2529)。即，递归地反复步骤S2522～S2528的处理。
接着，说明三维数据解码处理的详细内容。图200是本实施方式的三维数据解码处理的流程图。首先，三维数据解码装置使用比特流的头部信息来定义进行解码的空间(对象节点)(S2531)。此时，三维数据解码装置对头部信息的coding_mode1和limit_num_of_search进行解码。
接着，三维数据解码装置对对象节点进行8分割而生成8个小空间(节点)(S2532)。接着，三维数据解码装置根据对象节点的父节点的占用率代码计算对象节点的相邻节点的相邻信息(S2533)。
接着，三维数据解码装置通过确认与编码模式对应的解码模式来判定是否进行搜索处理(S2534)。例如，三维数据解码装置在(1)coding_mode1为1的情况下，或者(2)coding_mode1为2且coding_mode2为1的情况下，判定为进行搜索处理(S2534的“是”)，在除此以外的情况下，判定为不进行搜索处理(S2534的“否”)。另外，三维数据解码装置例如按每个节点对coding_mode2进行解码。
此外，三维数据解码装置也可以使用与三维数据编码装置中的处理相同的处理来判定是否是需要搜索相邻节点的节点(coding_mode2的值)。例如，三维数据解码装置根据父节点的占用率代码来估计是否是需要搜索相邻节点的节点。例如，在根据父节点的占用率代码计算出的3个相邻节点的占有信息全部为1的情况下，其他相邻节点也占有的可能性高。因此，三维数据解码装置判定为需要搜索相邻节点(coding_mode2的值为1)。另外，三维数据解码装置在估计coding_mode2的情况下，也可以不对coding_mode2进行解码。
在进行搜索处理的情况下(S2534的“是”)，三维数据解码装置通过搜索已解码节点的信息，获得剩余的相邻信息。例如，在limit_num_of_search的值不是0(无搜索次数限制)的情况下，三维数据解码装置在根据该值限制搜索次数的同时搜索相邻节点。另外，三维数据解码装置将根据父节点的占用率代码计算出的相邻信息和在搜索处理中获得的相邻信息进行整合(S2535)。接着，三维数据解码装置基于在步骤S2535中生成的相邻信息，选择用于熵解码的编码表(S2536)。
另一方面，在不进行搜索处理的情况下(S2534的“否”)，三维数据解码装置基于在步骤S2533中根据父节点的占用率代码计算出的相邻信息和在搜索处理中获得的相邻信息，选择在熵解码中使用的编码表(S2536)。
接着，三维数据解码装置使用所选择的编码表来对对象节点的占用率代码进行熵解码(S2537)。接着，三维数据解码装置反复进行将各节点分别进行8分割，并对各节点的占用率代码进行解码的处理，直到节点无法分割为止(S2538)。即，递归地反复步骤S2532至S2537的处理。
此外，在上述说明中，示出了搜索对象的节点是已编码节点的例子，但搜索对象的节点未必限定于此。例如，三维数据编码装置也可以通过利用本实施方式所记载的方法进行搜索来获得属于相同层的全部节点的相邻节点的信息，然后，使用所获得的相邻节点的信息对各节点的占用率代码进行编码。
如上所述，本实施方式的三维数据编码装置进行图201所示的处理。三维数据编码装置对三维数据所包含的多个三维点的N(N为2以上的整数)叉树结构所包含的对象节点的信息进行编码。在所述编码中，三维数据编码装置对表示与对象节点在空间上相邻的多个相邻节点中的可参照的相邻节点的范围的第1信息(例如limit_num_of_search)进行编码(S2541)，参照所述范围内的相邻节点对对象节点进行编码(S2542)。
由此，该三维数据编码装置能够限制可参照的相邻节点，因此能够降低处理量。
例如，在所述编码中，三维数据编码装置基于在所述范围内的相邻节点中是否存在三维点，选择编码表，并使用所选择的编码表，对对象节点的信息(例如，占用率代码)进行熵编码。
例如，在所述编码中，三维数据编码装置搜索与对象节点在空间上相邻的多个相邻节点中可参照的相邻节点的信息，所述第1信息表示所述搜索的范围。
例如，三维数据编码装置在所述搜索中，以预先规定的顺序搜索多个节点的信息，第1信息表示进行所述搜索的节点的数量(例如搜索阈值)。
例如，在所述搜索中，使用莫顿码的索引。
例如，在所述编码中，三维数据编码装置对表示是否对可参照的相邻节点的范围设置限制的第2信息(coding_mode1)进行编码，在由第2信息表示对可参照的相邻节点的范围设置限制的情况下，对第1信息进行编码。
例如，所述可参照的相邻节点的范围在所述N叉树结构中根据所述对象节点所属的层而不同。
例如，三维数据编码装置具备处理器和存储器，处理器使用存储器进行上述处理。
另外，本实施方式的三维数据解码装置进行图202所示的处理。三维数据解码装置对三维数据所包含的多个三维点的N(N为2以上的整数)叉树结构所包含的对象节点的信息进行解码。在所述解码中，三维数据解码装置从比特流中解码表示与对象节点在空间上相邻的多个相邻节点中的可参照的相邻节点的范围的第1信息(例如limit_num_of_search)(S2551)，参照所述范围内的相邻节点对对象节点进行解码(S2552)。
由此，该三维数据解码装置能够限制可参照的相邻节点，因此能够降低处理量。
例如，在所述解码中，三维数据解码装置基于在所述范围内的相邻节点中是否存在三维点，选择编码表，使用所选择的编码表，对对象节点的信息(例如，占用率代码)进行熵解码。
例如，在所述解码中，三维数据解码装置搜索与对象节点在空间上相邻的多个相邻节点中可参照的相邻节点的信息，所述第1信息表示所述搜索的范围。
例如，在所述搜索中，三维数据解码装置以预先规定的顺序搜索多个节点的信息，第1信息表示进行所述搜索的节点的数量(例如搜索阈值)。
例如，在所述搜索中，使用莫顿码的索引。
例如，在所述解码中，三维数据解码装置对表示是否对可参照的相邻节点的范围设置限制的第2信息(coding_mode1)进行解码，在由第2信息表示对可参照的相邻节点的范围设置限制的情况下，对第1信息进行解码。
例如，所述可参照的相邻节点的范围在所述N叉树结构中根据所述对象节点所属的层而不同。
例如，三维数据解码装置具备处理器和存储器，处理器使用存储器进行上述的处理。
以上，对本公开的实施方式的三维数据编码装置以及三维数据解码装置等进行了说明，但本公开并不限定于该实施方式。
并且，上述的实施方式的三维数据编码装置以及三维数据解码装置等中包含的各处理部典型的能够作为集成电路的LSI来实现。这些可以分别地制成一个芯片，也可以是其中的一部分或全部被制成一个芯片。
并且，集成电路化并非受LSI所限，也可以由专用电路或通用处理器来实现。也可以利用在LSI制造后可编程的FPGA(Field Programmable Gate Array：现场可编程门阵列)、或能够重构LSI内部的电路部的连接或设定的可重构处理器。
并且，在上述的各实施方式中，各构成要素可以由专用的硬件来构成，或者可以通过执行适于各构成要素的软件程序来实现。各构成要素也可以通过CPU或处理器等程序执行部读出被记录在硬盘或半导体存储器等记录介质的软件程序并执行来实现。
并且，本公开能够作为由三维数据编码装置以及三维数据解码装置等来执行的三维数据编码方法或三维数据解码方法等来实现。
并且，框图中的功能块的划分为一个例子，多个功能块可以作为一个功能块来实现，一个功能块也可以划分为多个，一部分的功能也可以移动到其他的功能块。并且，具有类似的功能的多个功能块的功能也可以由单一的硬件或软件进行并行处理或者进行时间划分处理。
并且，关于流程图中的各步骤的执行顺序，是为了对本公开进行具体说明而举出的例子，也可以是上述以外的顺序。并且，上述步骤的一部分也可以与其他的步骤同时(并行)执行。
以上基于实施方式对一个或多个形态的三维数据编码装置以及三维数据解码装置等进行了说明，但是，本公开并非受这些实施方式所限。在不脱离本公开的主旨的范围内，将本领域技术人员能够想到的各种变形执行于本实施方式而得到的形态、以及对不同的实施方式中的构成要素进行组合而得到的形态均包含在一个或多个形态的范围内。
产业上的可利用性
本公开能够适用于三维数据编码装置以及三维数据解码装置。
附图标记说明
100、400 三维数据编码装置
101、201、401、501 获得部
102、402 编码区域决定部
103 分割部
104、644 编码部
111 三维数据
112、211、413、414、511、634 编码三维数据
200、500 三维数据解码装置
202 解码开始GOS决定部
203 解码SPC决定部
204、625 解码部
212、512、513 解码三维数据
403 SWLD提取部
404 WLD编码部
405 SWLD编码部
411 输入三维数据
412 提取三维数据
502 头部解析部
503 WLD解码部
504 SWLD解码部
620、620A 三维数据制作装置
621、641 三维数据制作部
622 请求范围决定部
623 搜索部
624、642 接收部
626 合成部
631、651 传感器信息
632 第1三维数据
633 请求范围信息
635 第2三维数据
636 第3三维数据
640 三维数据发送装置
643 提取部
645 发送部
652 第5三维数据
654 第6三维数据
700 三维信息处理装置
701 三维地图获得部
702 自身车辆检测数据获得部
703 异常情况判断部
704 应对工作决定部
705 工作控制部
711 三维地图
712 自身车辆检测三维数据
810 三维数据制作装置
811 数据接收部
812、819 通信部
813 接收控制部
814、821 格式转换部
815 传感器
816 三维数据制作部
817 三维数据合成部
818 三维数据蓄积部
820 发送控制部
822 数据发送部
831、832、834、835、836、837 三维数据
833 传感器信息
901 服务器
902、902A、902B、902C 客户端装置
1011、1111 数据接收部
1012、1020、1112、1120 通信部
1013、1113 接收控制部
1014、1019、1114、1119 格式转换部
1015 传感器
1016、1116 三维数据制作部
1017 三维图像处理部
1018、1118 三维数据蓄积部
1021、1121 发送控制部
1022、1122 数据发送部
1031、1032、1135 三维地图
1033、1037、1132 传感器信息
1034、1035、1134 三维数据
1117 三维数据合成部
1201 三维地图压缩/解码处理部
1202 传感器信息压缩/解码处理部
1211 三维地图解码处理部
1212 传感器信息压缩处理部
1300 三维数据编码装置
1301 分割部
1302 减法部
1303 变换部
1304 量化部
1305、1402 逆量化部
1306、1403 逆变换部
1307、1404 加法部
1308、1405 参照体积存储器
1309、1406 帧内预测部
1310、1407 参照空间存储器
1311、1408 帧间预测部
1312、1409 预测控制部
1313 熵编码部
1400 三维数据解码装置
1401 熵解码部
1501 服务器
1502 客户端
1511 存储部
1512 控制部
1513 编码三维地图
1521 解码器
1522应用程序(Application)
1900 三维数据编码装置
1901、1911 八叉树生成部
1902、1912 类似性信息计算部
1903、1913 编码表选择部
1904 熵编码部
1910 三维数据解码装置
1914 熵解码部
2100 三维数据编码装置
2101、2111 八叉树生成部
2102、2112 几何信息计算部
2103、2113 编码表选择部
2104 熵编码部
2110 三维数据解码装置
2114 熵解码部
2200 三维数据编码装置
2201、2211 八叉树生成部
2202 模式决定部
2203 熵编码部
2210 三维数据解码装置
2212 模式信息解码部
2213 熵解码部
2300 三维数据编码装置
2301、2311 八叉树生成部
2302 熵编码部
2310 三维数据解码装置
2312 熵解码部
2400 三维数据编码装置
2401 量化部
2402、2411 八叉树生成部
2403 合并决定部
2404 熵编码部
2410 三维数据解码装置
2412 合并信息解码部
2413 熵解码部
2414 逆量化部
2500 三维数据编码装置
2501、2511 八叉树生成部
2502、2512 父节点信息获得部
2503 编码模式选择部
2504、2514 搜索部
2505、2515 几何信息计算部
2506、2516 编码表选择部
2507 熵编码部
2510 三维数据解码装置
2513 解码模式选择部
2517 熵解码部

Claims (16)

1.一种三维数据编码方法，其中，
对三维数据所包含的多个三维点的N叉树结构所包含的对象节点的信息进行编码，N为2以上的整数，
在所述编码中，
对表示与所述对象节点在空间上相邻的多个相邻节点中的、可参照的相邻节点的范围的第1信息进行编码，
参照所述范围内的相邻节点，对所述对象节点进行编码。
2.根据权利要求1所述的三维数据编码方法，其中，
在所述编码中，基于在所述范围内的相邻节点中是否存在三维点，选择编码表，使用所选择的编码表，对所述对象节点的信息进行熵编码。
3.根据权利要求1或2所述的三维数据编码方法，其中，
在所述编码中，搜索与所述对象节点在空间上相邻的所述多个相邻节点中的、所述可参照的相邻节点的信息，
所述第1信息表示所述搜索的范围。
4.根据权利要求3所述的三维数据编码方法，其中，
在所述搜索中，按照预先规定的顺序搜索多个节点的信息，
所述第1信息表示进行所述搜索的节点的数量。
5.根据权利要求4所述的三维数据编码方法，其中，
在所述搜索中，使用莫顿码的索引。
6.根据权利要求1至5中任一项所述的三维数据编码方法，其中，
在所述编码中，
对表示是否对所述可参照的相邻节点的范围设置限制的第2信息进行编码，
在由所述第2信息表示对所述可参照的相邻节点的范围设置限制的情况下，对所述第1信息进行编码。
7.根据权利要求1至6中任一项所述的三维数据编码方法，其中，
所述可参照的相邻节点的范围在所述N叉树结构中根据所述对象节点所属的层而不同。
8.一种三维数据解码方法，其中，
对三维数据所包含的多个三维点的N叉树结构所包含的对象节点的信息进行解码，N为2以上的整数，
在所述解码中，
从比特流中解码表示与所述对象节点在空间上相邻的多个相邻节点中的、可参照的相邻节点的范围的第1信息，
参照所述范围内的相邻节点，对所述对象节点进行解码。
9.根据权利要求8所述的三维数据解码方法，其中，
在所述解码中，基于在所述范围内的相邻节点中是否存在三维点，选择编码表，使用所选择的编码表，对所述对象节点的信息进行熵解码。
10.根据权利要求8或9所述的三维数据解码方法，其中，
在所述解码中，搜索与所述对象节点在空间上相邻的所述多个相邻节点中的、所述可参照的相邻节点的信息，
所述第1信息表示所述搜索的范围。
11.根据权利要求10所述的三维数据解码方法，其中，
在所述搜索中，按照预先规定的顺序搜索多个节点的信息，
所述第1信息表示进行所述搜索的节点的数量。
12.根据权利要求11所述的三维数据解码方法，其中，
在所述搜索中，使用莫顿码的索引。
13.根据权利要求8至12中任一项所述的三维数据解码方法，其中，
在所述解码中，
对表示是否对所述可参照的相邻节点的范围设置限制的第2信息进行解码，
在由所述第2信息表示对所述可参照的相邻节点的范围设置限制的情况下，对所述第1信息进行解码。
14.根据权利要求8至12中任一项所述的三维数据解码方法，其中，
所述可参照的相邻节点的范围在所述N叉树结构中根据所述对象节点所属的层而不同。
15.一种三维数据编码装置，其中，具备：
处理器；以及
存储器，
所述处理器使用所述存储器，
对三维数据所包含的多个三维点的N叉树结构所包含的对象节点的信息进行编码，N为2以上的整数，
在所述编码中，
对表示与所述对象节点在空间上相邻的多个相邻节点中的、可参照的相邻节点的范围的第1信息进行编码，
参照所述范围内的相邻节点，对所述对象节点进行编码。
16.一种三维数据解码装置，其中，具备：
处理器；以及
存储器，
所述处理器使用所述存储器，
对三维数据所包含的多个三维点的N叉树结构所包含的对象节点的信息进行解码，N为2以上的整数，
在所述解码中，
从比特流中解码表示与所述对象节点在空间上相邻的多个相邻节点中的、可参照的相邻节点的范围的第1信息，
参照所述范围内的相邻节点，对所述对象节点进行解码。
CN201980024063.1A 2018-04-10 2019-04-05 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置 Pending CN111989713A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862655525P 2018-04-10 2018-04-10
US62/655,525 2018-04-10
PCT/JP2019/015122 WO2019198636A1 (ja) 2018-04-10 2019-04-05 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置

Publications (1)

Publication Number Publication Date
CN111989713A true CN111989713A (zh) 2020-11-24

Family

ID=68163158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980024063.1A Pending CN111989713A (zh) 2018-04-10 2019-04-05 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置

Country Status (6)

Country Link
US (2) US11575936B2 (zh)
EP (1) EP3779886A4 (zh)
JP (1) JP7273029B2 (zh)
CN (1) CN111989713A (zh)
CA (1) CA3096184A1 (zh)
WO (1) WO2019198636A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699223A (zh) * 2021-01-13 2021-04-23 腾讯科技（深圳）有限公司 数据搜索方法、装置、电子设备及存储介质
WO2022252337A1 (zh) * 2021-06-04 2022-12-08 华为技术有限公司 3d地图的编解码方法及装置

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10861196B2 (en) 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US10897269B2 (en) 2017-09-14 2021-01-19 Apple Inc. Hierarchical point cloud compression
US11818401B2 (en) 2017-09-14 2023-11-14 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
US11113845B2 (en) 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
US10909725B2 (en) 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
US10607373B2 (en) 2017-11-22 2020-03-31 Apple Inc. Point cloud compression with closed-loop color conversion
US10939129B2 (en) 2018-04-10 2021-03-02 Apple Inc. Point cloud compression
US11010928B2 (en) 2018-04-10 2021-05-18 Apple Inc. Adaptive distance based point cloud compression
US10909727B2 (en) 2018-04-10 2021-02-02 Apple Inc. Hierarchical point cloud compression with smoothing
US10909726B2 (en) 2018-04-10 2021-02-02 Apple Inc. Point cloud compression
WO2019198520A1 (ja) * 2018-04-11 2019-10-17 ソニー株式会社 情報処理装置および方法
US11017566B1 (en) 2018-07-02 2021-05-25 Apple Inc. Point cloud compression with adaptive filtering
US11202098B2 (en) 2018-07-05 2021-12-14 Apple Inc. Point cloud compression with multi-resolution video encoding
US11012713B2 (en) 2018-07-12 2021-05-18 Apple Inc. Bit stream structure for compressed point cloud data
US11367224B2 (en) 2018-10-02 2022-06-21 Apple Inc. Occupancy map block-to-patch information compression
JPWO2020075861A1 (ja) * 2018-10-12 2021-09-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US11956478B2 (en) * 2019-01-09 2024-04-09 Tencent America LLC Method and apparatus for point cloud chunking for improved patch packing and coding efficiency
MX2021008753A (es) * 2019-02-28 2021-08-24 Panasonic Ip Corp America Metodo de codificacion de datos tridimensionales, metodo de decodificacion de datos tridimensionales, dispositivo de codificacion de datos tridimensionales y dispositivo de decodificacion de datos tridimensionales.
US11057564B2 (en) 2019-03-28 2021-07-06 Apple Inc. Multiple layer flexure for supporting a moving image sensor
GB2584119B (en) * 2019-05-22 2022-11-02 Sony Interactive Entertainment Inc Content coding system and method
US11711544B2 (en) 2019-07-02 2023-07-25 Apple Inc. Point cloud compression with supplemental information messages
US11627314B2 (en) 2019-09-27 2023-04-11 Apple Inc. Video-based point cloud compression with non-normative smoothing
US11562507B2 (en) 2019-09-27 2023-01-24 Apple Inc. Point cloud compression using video encoding with time consistent patches
US11538196B2 (en) 2019-10-02 2022-12-27 Apple Inc. Predictive coding for point cloud compression
US11895307B2 (en) 2019-10-04 2024-02-06 Apple Inc. Block-based predictive coding for point cloud compression
WO2021075537A1 (ja) * 2019-10-18 2021-04-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ復号方法、及び三次元データ復号装置
US11798196B2 (en) 2020-01-08 2023-10-24 Apple Inc. Video-based point cloud compression with predicted patches
WO2021141117A1 (ja) * 2020-01-09 2021-07-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US11475605B2 (en) * 2020-01-09 2022-10-18 Apple Inc. Geometry encoding of duplicate points
JP2021162923A (ja) * 2020-03-30 2021-10-11 Kddi株式会社 点群復号装置、点群復号方法及びプログラム
US11620768B2 (en) * 2020-06-24 2023-04-04 Apple Inc. Point cloud geometry compression using octrees with multiple scan orders
US11615557B2 (en) 2020-06-24 2023-03-28 Apple Inc. Point cloud compression using octrees with slicing
US11941856B2 (en) * 2020-08-18 2024-03-26 Tencent America LLC Predictive tree-based geometry coding for a point cloud
WO2022097279A1 (ja) * 2020-11-06 2022-05-12 日本電信電話株式会社 マージ領域検出方法、マージ領域検出装置及びプログラム
US11948338B1 (en) 2021-03-29 2024-04-02 Apple Inc. 3D volumetric content encoding using 2D videos and simplified 3D meshes

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1321893B1 (en) 2001-11-27 2011-11-09 Samsung Electronics Co., Ltd. Node structure for representing 3-dimensional objects using depth image
KR100450823B1 (ko) 2001-11-27 2004-10-01 삼성전자주식회사 깊이 이미지 기반 3차원 물체의 표현을 위한 노드 구조
KR100695142B1 (ko) 2004-03-08 2007-03-14 삼성전자주식회사 적응적 ２의 ｎ 제곱 진트리 생성방법 및 이를 이용한 3차원 체적 데이터 부호화/복호화 방법 및 장치
JP2006108792A (ja) * 2004-09-30 2006-04-20 Fukuoka Pref Gov Sangyo Kagaku Gijutsu Shinko Zaidan 画像信号の符号化方法および装置
GB2491688B (en) * 2011-05-05 2014-08-27 Advanced Risc Mach Ltd Method of and apparatus for encoding and decoding data
DE112012006746T5 (de) 2012-07-30 2015-05-21 Mitsubishi Electric Corporation Kartenanzeigevorrichtung
US9177415B2 (en) * 2013-01-30 2015-11-03 Arm Limited Methods of and apparatus for encoding and decoding data
US9948915B2 (en) * 2013-07-24 2018-04-17 Qualcomm Incorporated Sub-PU motion prediction for texture and depth coding
DK3047639T3 (en) * 2013-09-20 2018-10-15 Vid Scale Inc Video Codes and Methods to Provide 3D Lookup Table Encoding for Color Game Scalability
EP3101899A4 (en) * 2014-03-11 2017-09-20 Samsung Electronics Co., Ltd. Disparity vector predicting method and apparatus for encoding inter-layer video, and disparity vector predicting method and apparatus for decoding inter-layer video
US9772848B2 (en) * 2014-11-14 2017-09-26 Intel Corporation Three-dimensional morton coordinate conversion processors, methods, systems, and instructions
JP6826368B2 (ja) 2016-01-14 2021-02-03 キヤノン株式会社 符号化装置及びその制御方法
US10778989B2 (en) * 2016-02-05 2020-09-15 Blackberry Limited Rolling intra prediction for image and video coding
WO2017168472A1 (ja) 2016-03-30 2017-10-05 パナソニックＩｐマネジメント株式会社 位置推定装置、位置推定方法及び制御プログラム
JP6711913B2 (ja) 2016-06-14 2020-06-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置及び三次元データ復号装置
KR20180069461A (ko) * 2016-12-15 2018-06-25 삼성전자주식회사 가속 구조를 생성하는 방법 및 장치
EP3467778A1 (en) * 2017-10-06 2019-04-10 Thomson Licensing A method and apparatus for encoding/decoding the geometry of a point cloud representing a 3d object

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699223A (zh) * 2021-01-13 2021-04-23 腾讯科技（深圳）有限公司 数据搜索方法、装置、电子设备及存储介质
CN112699223B (zh) * 2021-01-13 2023-09-01 腾讯科技（深圳）有限公司 数据搜索方法、装置、电子设备及存储介质
WO2022252337A1 (zh) * 2021-06-04 2022-12-08 华为技术有限公司 3d地图的编解码方法及装置

Also Published As

Publication number Publication date
JP7273029B2 (ja) 2023-05-12
US11936910B2 (en) 2024-03-19
EP3779886A4 (en) 2021-06-16
JPWO2019198636A1 (ja) 2021-05-13
EP3779886A1 (en) 2021-02-17
US20210021869A1 (en) 2021-01-21
WO2019198636A1 (ja) 2019-10-17
CA3096184A1 (en) 2019-10-17
US20230141458A1 (en) 2023-05-11
US11575936B2 (en) 2023-02-07

Similar Documents

Publication Publication Date Title
JP7434148B2 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JP7273029B2 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JP7348078B2 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JP7418531B2 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2019216434A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
CN111373447A (zh) 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置
CN112424833A (zh) 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置
JP7381444B2 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2019182102A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
CN111727463A (zh) 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置
RU2791241C2 (ru) Способ кодирования трехмерных данных, способ декодирования трехмерных данных, устройство кодирования трехмерных данных и устройство декодирования трехмерных данных

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination