CN113906477A - 信息处理装置和方法 - Google Patents

Abstract

本公开内容涉及使得能够实现点云中的点的数量的可缩放性的信息处理装置和方法。对将三维对象表示为点群的点云的编码数据进行解码，生成使用了构成点云的每个点的位置信息的树结构，并且针对构成树结构的层次中的所有层次或一些层次，选择与该层次的深度对应的数量的节点。本公开内容适用于信息处理装置、电子装置、图像处理方法、程序等。

Description

信息处理装置和方法

技术领域

本公开内容涉及信息处理装置和方法，并且更具体地，涉及被设计成能够实现点云数据中的点的数量的可缩放性的信息处理装置和方法。

背景技术

例如，作为对表示诸如点云的三维结构的3D数据进行编码的方法，例如，已经存在使用八叉树的编码(例如，参见非专利文献1)。八叉树的使用使得能够在分辨率方面对几何数据进行可缩放解码。例如，由于解码处理可以在任何期望的层次(LoD)处终止，因此可以容易地生成任何期望的分辨率的几何数据。

此外，当点密集时，通过使用八叉树，不仅变得可以实现分辨率的可缩放性，而且还可以实现要输出的点的数量的可缩放性。例如，通过使要解码的层次(LoD)更浅(通过在较高层次处终止解码处理)，可以进一步减少要输出的点的数量。即，可以减少点云的信息量，并且可以减轻诸如显示的输出处理的负荷。

相反，通过使要解码的层次(LoD)更深(通过执行解码处理直到达到较低层次)，可以进一步增加要输出的点的数量。即，点云可以更准确地表示三维结构。

当点密集时，可以通过使用八叉树容易地实现点的数量的这种可缩放性。因此，可以在较广泛的各种情况下执行更适当的解码。

引文列表

非专利文献

非专利文献1：R.Mekuria,Student Member IEEE,and K.Blom and P.Cesar,Members IEEE,“Design,Implementation and Evaluation of a Point Cloud Codec forTele-Immersive Video”,tcsvt_paper_submitted_february.pdf

发明内容

本发明要解决的问题

然而，在主要由稀疏点形成的数据例如光检测和测距(LiDAR)数据的情况下，例如，即使解码处理在任何层次(LoD)处终止，点的数量也不会有很大改变。因此，在这种情况下，难以通过常规方法来实现点的数量的可缩放性。

本公开内容是鉴于这样的情况而提出的，并且旨在实现点云数据中的点的数量的可缩放性。

问题的解决方案

本技术的一个方面的信息处理装置是一种信息处理装置，该信息处理装置包括：位置信息解码单元，其对将三维对象表示为点群的点云的编码数据进行解码，并且生成使用了构成点云的各个点的位置信息的树结构；以及选择单元，其针对构成树结构的层次中的一些层次或所有层次，选择与该层次的深度对应的数量的节点。

本技术的一个方面的信息处理方法是一种信息处理方法，该信息处理方法包括：对将三维对象表示为点群的点云的编码数据进行解码，并且生成使用了构成点云的各个点的位置信息的树结构；以及针对构成树结构的层次中的一些层次或所有层次，选择与该层次的深度对应的数量的节点。

在本技术的一个方面的信息处理装置和方法中，对将三维对象表示为点群的点云的编码数据进行解码，生成使用了构成点云的各个点的位置信息的树结构，并且针对构成树结构的层次中的一些层次或所有层次，选择与该层次的深度对应的数量的节点。

附图说明

图1是用于说明稀疏点的八叉树的图。

图2是用于说明点的数量的可缩放性的图。

图3是概述用于实现点的数量的可缩放性的各种方法的图表。

图4是示出点选择设备的典型示例配置的框图。

图5是用于说明点选择处理中的示例流程的流程图。

图6是示出编码设备的典型示例配置的框图。

图7是用于说明编码处理中的示例流程的流程图。

图8是示出解码设备的典型示例配置的框图。

图9是用于说明解码处理中的示例流程的流程图。

图10是示出计算机的典型示例配置的框图。

具体实施方式

以下是用于执行本公开内容的模式的描述(这些模式在下文中将被称为实施方式)。注意，将按以下顺序进行说明。

1.点的数量的可缩放性

2.第一实施方式(点选择设备)

3.第二实施方式(编码设备)

4.第三实施方式(解码设备)

5.附注

<1.点的数量的可缩放性>

<支持技术内容和术语的文献等>

本技术中公开的范围不仅包括实施方式中公开的内容，而且包括在提交时已知的以下非专利文献中公开的内容。

非专利文献1：(以上提及)

非专利文献2：(以上提及)

非专利文献3：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(International Telecommunication Union),“Advanced video coding for genericaudiovisual services”,H.264,04/2017

非专利文献4：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(International Telecommunication Union),“High efficiency video coding”,H.265,12/2016

非专利文献5：Jianle Chen,Elena Alshina,Gary J.Sullivan,Jens-Rainer,andJill Boyce,“Algorithm Description of Joint Exploration Test Model 4”,JVET-G1001_v1,Joint Video Exploration Team(JVET)of ITU-T SG 16WP3and ISO/IEC JTC1/SC 29/WG 11 7th Meeting:Torino,IT,13-21July 2017

非专利文献6：Ohji Nakagami,Satoru Kuma,“[G-PCC]Spatial scalabilitysupport for G-PCC”,ISO/IEC JTC1/SC29/WG11MPEG2019/m47352,March 2019,Geneva,CH

即，上面列出的非专利文献中公开的内容也是用于确定支持要求的基础。例如，即使当在实施方式中未直接公开非专利文献4中公开的四叉树块结构和非专利文献5中公开的四叉树加二叉树(QTBT)块结构时，这些结构也在本技术的范围内，并且满足权利要求的支持要求。此外，例如，诸如解析、语法和语义的技术术语——即使在没有直接描述这些技术术语的情况下——也在本技术的公开内容的范围内，并且满足权利要求的支持要求。

<点云>

已经存在诸如点云和网格的3D数据，点云利用关于点云的位置信息、属性信息等表示三维结构，网格由顶点、边和平面形成并且使用多边形表示来限定三维形状。

例如，在点云的情况下，三维结构(三维对象)被表示为大量圆点(也被称为点)的集合(点云)。点云的数据(也被称为点云数据)由关于各个圆点(各个点)的位置信息和属性信息(例如，颜色等)形成。位置信息(也被称为几何数据)是指示点的位置(例如坐标)的信息。例如，属性信息(也被称为属性数据)包括关于点的任何适当信息，例如点的颜色、反射率和法线方向。如上所述，点云的数据结构相对简单，并且可以通过使用足够大的数量的点以足够高的准确性表示任何期望的三维结构。

<使用体素来量化位置信息>

由于这样的点云数据的数据量相对大，因此已经提出了使用体素的编码方法以通过编码等来减少数据量。体素是用于对位置信息进行量化的三维区域。

即，将包含点云的三维区域划分为被称为体素的小的三维区域，并且每个体素指示其中是否包含点。利用这种布置，以体素为单位量化各个点的位置。因此，将点云数据变换为这样的体素的数据(也称为体素数据)，使得能够防止信息量的增加(通常能够减少信息量)。

<八叉树>

此外，已经提出了使用这样的体素数据来构造八叉树。八叉树是体素数据的树结构版本。该八叉树的最低节点的每个位的值指示在每个体素中点的存在或不存在。例如，值“1”指示体素包含点，而值“0”指示体素不包含点。在八叉树中，一个节点对应于八个体素。即，八叉树的每个节点由8位的数据形成，并且八个位指示八个体素中的点的存在或不存在。

此外，八叉树的较高节点指示在与属于该节点的较低节点对应的八个体素被组合成一个体素的区域中点的存在或不存在。即，通过收集关于较低节点的体素信息来生成较高节点。注意，当节点的值为“0”时，或在对应的全部8个体素都不包含点时，删除该节点。

以这种方式，构造了由其值不为“0”的节点形成的树结构(八叉树)。即，八叉树可以指示在每个分辨率下体素中点的存在或不存在。因此，体素数据被变换为八叉树，然后被编码，使得在解码时可以更容易地恢复各种分辨率下的体素数据。即，可以更容易地实现体素可缩放性。

此外，由于如上所述省略了具有值“0”的节点，因此可以降低没有点的区域中的体素的分辨率。因此，可以进一步防止信息量的增加(通常可以减少信息量)。

<点的数量的可缩放性>

如上所述，八叉树的使用使得能够在分辨率方面对几何数据进行可缩放解码。例如，由于解码处理可以在任何期望的层次(LoD)处终止，因此可以容易地生成任何期望的分辨率的几何数据。

此外，如果点密集(或者当附近存在许多点时)，则在八叉树中点的数量在较高层次处减少并在较低层次处增加。即，在采用八叉树时，要输出的点的数量的可缩放性也成为可能。例如，通过使要解码的层次(LoD)更浅(通过在较高层次处终止解码处理)，可以进一步减少要输出的点的数量。

点的数量影响与点云数据的输出(例如显示)有关的处理负荷。例如，当在屏幕上呈现点云时，将点云数据从中央处理单元(CPU)传输至图形处理单元(GPU)。随着点的数量的增加，信息量增加。即，从CPU传输至GPU的成本增加。

因此，通过实现如上所述的点的数量的可缩放性，可以控制传输成本。即，可以控制诸如显示的输出处理的负荷。

然而，在主要由稀疏点形成的数据例如光检测和测距(LiDAR)数据的情况下，例如，即使解码处理在任何层次(LoD)处终止，点的数量也不会有很大改变。例如，当点云由稀疏点形成时，八叉树具有如图1所示的配置。在图1的情况下，黑色圆圈表示八叉树的节点。最下层次处的每个黑色圆圈表示叶子。黑色圆圈之间的每条线表示父子关系。

由于在这种情况下每个点是稀疏的，因此点的数量N在从顶部起的第三层次或更低层次处不改变(在任何层次处，N＝7)。因此，在这种情况下，难以通过常规方法来实现点的数量的可缩放性。即，难以通过控制要解码的层次来控制诸如显示的输出处理的负荷。

<要输出的点的选择>

鉴于以上情况，根据当前层次的深度来限制要输出的点的数量。例如，对将三维对象表示为点群的点云的编码数据进行解码，生成使用了构成点云的各个点的位置信息的树结构，并且针对构成树结构的层次中的一些层次或所有层次，选择与该层次的深度对应的数量的节点。

例如，一种信息处理装置包括：位置信息解码单元，其对将三维对象表示为点群的点云的编码数据进行解码，并且生成使用了构成点云的各个点的位置信息的树结构；以及选择单元，其针对构成树结构的层次中的一些层次或所有层次，选择与每个层次的深度对应的数量的节点。

例如，对于图1所示的八叉树，如图2所示的那样选择要输出的点(换言之，要输出的点减少)。在这种情况下，图中由用虚线绘制的白色圆圈指示的节点表示消除的节点。即，在图2的情况下，每个层次处的输出点的数量N从最高层次起按顺序为N＝1、3、4、5和7。因此，通过控制要解码的层次，可以实现要输出的点的数量的可缩放性。

<点选择方法的特定示例>

即，如图3的表中最上面一行所示的方法1中那样，根据要针对几何数据解码的层次(LoD)来控制要输出的点的数量。以这种方式，可以实现如上所述的点的数量的可缩放性。例如，如图2所示的示例中那样，可以在当前层次处选择节点，使得在八叉树中的第一层次的情况下要选择的节点的数量变得大于在第二层次的情况下要选择的节点的数量，该第二层次比第一层次浅。即，可以在八叉树中的更深的层次处选择更多数量的节点。换言之，要选择的节点的数量可以在八叉树中从较浅的层次朝向较深的层次的方向上单调增加。

注意，用于选择要输出的点的方法是任何适当的方法，如从图3的表的顶部起的第二行所示的方法1-1。例如，如从图3的表的顶部起的第三行所示的方法1-1-1中那样，可以通过使用伪随机数来选择点。通过使用伪随机数，可以执行各种(几乎是随机的)选择，并且可以在编码侧和解码侧两者执行相似的点选择(或者可以选择相同的点)。

此外，如从图3的表的顶部起的第四行所示的方法1-1-2中那样，可以选择预定大小的附近区域内的点的数量等于或大于阈值的点，而不使用伪随机数。即，可以优先选择处于更密集状态的点。在该方法的情况下，也可以在编码侧和解码侧两者执行相似的点选择(可以选择相同的点)。

此外，当如方法1-1-1中那样利用伪随机数执行点选择时，例如，可以设置要输出的点的数量的目标值(目标输出点数量)，并且可以执行点选择(使用伪随机数)，直到输出点的数量达到目标值，如从图3的表的顶部起的第五行所示的方法1-2中那样。

如从图3的表的顶部起的第六行所示的方法1-2-1中那样，用于在这种情况下设置目标输出点数量的方法是任何适当的方法。例如，如从图3的表的顶部起的第七行所示的方法1-2-1-1中那样，可以事先针对各个层次设置目标输出点数量。即，可以设置各个层次的预定目标输出点数量中的与当前层次对应的目标输出点数量，并且可以执行使用伪随机数的点选择，直到达到目标输出点数量。

此外，如从图3的表的顶部起的第八行所示的方法1-2-1-2中那样，例如，可以由用户、应用等针对各个层次指定目标输出点数量。即，可以设置各个层次的指定目标输出点数量中的与当前层次对应的目标输出点数量，并且可以执行使用伪随机数的点选择，直到达到目标输出点数量。

此外，如从图3的表的顶部起的第九行所示的方法1-2-1-3中那样，例如，可以由用户、应用等利用函数来指定目标输出点数量。即，可以通过使用指定的函数得出与当前层次对应的目标输出点数量，并且可以执行使用伪随机数的点选择，直到达到目标输出点数量。

注意，当通过使用伪随机数选择点时，用于控制输出点的数量的方法是任何适当的方法，并且不限于这些示例。例如，可以根据层次的深度对发生概率进行加权，并且可以在点的选择中反映根据当前层次加权的发生概率。

注意，当在伪随机数的生成中使用种子信息时，用于设置种子信息的方法可以是任何适当的方法，如从图3的表的顶部起的第十行所示的方法1-2-2中那样。例如，可以预先设置种子信息，如方法1-2-1-1的情况那样。此外，如方法1-2-1-2的情况那样，种子信息可以由用户、应用等设置。此外，如方法1-2-1-3中那样，可以由用户、应用等指定用于得出种子信息的预定函数。

此外，当如方法1-1-2中那样选择附近区域内的点的数量等于或大于阈值的点时，例如，可以控制阈值，使得与层次的深度对应的点数量被选择，如从图3的表的顶部起的第十一行所示的方法1-3中那样。

在这种情况下，用于设置阈值的方法是任何适当的方法，如从图3的表的顶部起的第十二行所示的方法1-3-1中那样。例如，如从图3的表的顶部起的第十三行所示的方法1-3-1-1中那样，可以事先针对各个层次设置阈值。即，可以设置各个层次的预定阈值中的与当前层次对应的阈值，并且可以选择在附近区域内点的数量等于或大于阈值的点。

此外，如从图3的表的顶部起的第十四行所示的方法1-3-1-2中那样，例如，可以由用户、应用等针对各个层次指定阈值。即，可以设置各个层次的指定阈值中的与当前层次对应的阈值，并且可以选择在附近区域内点的数量等于或大于阈值的点。

此外，如从图3的表的顶部起的第十五行所示的方法1-3-1-3中那样，例如，可以由用户、应用等利用函数来指定阈值。即，可以通过使用指定的函数得出与当前层次对应的阈值，并且可以选择在附近区域内点的数量等于或大于阈值的点。

此外，如从图3的表的顶部起的第十六行所示的方法1-3-2中那样，用于设置附近区域的范围(半径)的方法是任何适当的方法。例如，如方法1-3-1-1的情况那样，该半径可以预先设置。此外，如方法1-3-1-2的情况那样，该半径可以由用户、应用等设置。此外，如在方法1-3-1-3中那样，可以由用户、应用等指定用于得出半径的预定函数。

注意，如从图3的表的顶部起的第十七行所示的方法1-4中那样，与点选择有关的参数可以从编码侧被发送至解码侧。

例如，当通过使用伪随机数执行点选择时，要在伪随机数的生成中使用的种子信息例如可以作为元数据并入比特流中，并且从编码侧被发送至解码侧。即，在这种情况下，解码侧使用从编码侧提供的种子信息来得出伪随机数。

替选地，上述输出点的数量的目标值例如可以作为元数据并入比特流中，并从编码侧被发送至解码侧。即，在这种情况下，解码侧选择要输出的点，直到达到从编码侧提供的输出点的数量的目标值。

此外，例如，当选择附近区域内的点的数量等于或大于阈值的点时，该阈值例如可以作为元数据并入比特流中，并且从编码侧被发送至解码侧。即，在这种情况下，解码侧使用从编码侧提供的阈值来执行点选择。

替选地，例如，当选择附近区域内的点的数量等于或大于阈值的点时，附近区域的范围(半径)例如可以作为元数据并入比特流中，并且从编码侧被发送至解码侧。即，在这种情况下，解码侧根据从编码侧提供的半径来设置附近区域。

如上所述，允许使用各种方法来选择要输出的点，使得可以在更广泛的各种点云数据中实现点的数量的可缩放性。

<2.第一实施方式>

<点选择设备>

图4是示出作为应用本技术的信号处理设备的实施方式的点选择设备的典型示例配置的框图。图4所示的点选择设备100是根据要解码的层次(LoD)来针对几何数据控制要输出的点的数量的设备。通过这样做，点选择设备100可以实现如上所述的点的数量的可缩放性。

注意，本文中描述了点选择设备100使用伪随机数选择点的情况。

图4示出了主要部件和方面，例如处理单元和数据流，但图4不一定示出所有部件和方面。即，在点选择设备100中，可以存在未在图4中示出为块的处理单元，或者可以存在未在图4中示出为箭头等的处理或数据流。

如图4所示，点选择设备100包括点数量设置单元101、伪随机数生成单元102和点选择单元103。

点数量设置单元101执行与要输出的点的数量的设置有关的处理。例如，点数量设置单元101获取输入至点选择设备100的几何数据(变换成八叉树的几何数据)。点数量设置单元101根据当前层次(LoD)针对几何数据设置要输出的点的数量。

例如，点数量设置单元101使用图3所示的方法1-2-1、方法1-2-1-1、方法1-2-1-2、方法1-2-1-3等来设置与当前层次对应的目标输出点数量。

点数量设置单元101将设置的目标输出点数量与几何数据一起提供给点选择单元103。

伪随机数生成单元102执行与伪随机数的生成有关的处理。例如，伪随机数生成单元102生成要在点选择中使用的伪随机数。

例如，伪随机数生成单元102使用图3所示的方法1-2-2等(即，使用种子信息)来设置伪随机数。用于设置该种子信息的方法如以上参照图3所描述的那样。

伪随机数生成单元102将生成的伪随机数提供给点选择单元103。

点选择单元103执行与要输出的点的选择有关的处理。例如，点选择单元103获取从点数量设置单元101提供的几何数据和目标输出点数量。点选择单元103还获取从伪随机数生成单元102提供的伪随机数。

点选择单元103使用这些信息来选择要输出的点。例如，点选择单元103使用伪随机数(即，使用图3所示的方法1-1-1)从几何数据中选择点，直到达到目标输出点数量。即，点选择单元103从几何数据的八叉树中的层次中的一些层次或所有层次中选择构成八叉树的与该层次的深度对应的数量的节点。

点选择单元103输出所选择的点(的几何数据)。通过这样做，点选择单元103可以选择并输出与当前层次(的深度)对应的数量的点。即，可以实现点的数量的可缩放性。

注意，点选择设备100当然可以使用图3所示的方法1-1-2执行点选择。即，点选择设备100可以选择附近区域内的点的数量等于或大于(与当前层次对应的)阈值的点。

在这种情况下，仅需要提供设置附近区域、阈值等的处理单元，代替点数量设置单元101和伪随机数生成单元102。

注意，点选择设备100的这些处理单元(从点数量设置单元101至点选择单元103)中的每一个具有任何适当的配置。例如，每个处理单元可以由执行上述处理的逻辑电路形成。此外，每个处理单元还可以例如包括CPU、ROM、RAM等，并且使用它们执行程序，以执行上述处理。每个处理单元当然可以具有这两种配置，并且通过逻辑电路执行上述处理中的一些处理，并且通过执行程序来执行其他处理。各个处理单元的配置可以彼此独立。例如，一个处理单元可以通过逻辑电路执行上述处理中的一些处理，而其他处理单元通过执行程序来执行上述处理。此外，某个其他处理单元可以通过逻辑电路并且通过执行程序来执行上述处理。

<点选择处理中的流程>

点选择设备100通过执行点选择处理来选择点。现在参照图5所示的流程图描述该点选择处理中的示例流程。

当点选择处理开始时，在步骤S101中，点数量设置单元101获取当前层次(LoD)的几何数据(变换成八叉树的几何数据)。

在步骤S102中，点数量设置单元101根据当前层次(LoD)设置要输出的点的数量(的目标值)。

在步骤S103中，伪随机数生成单元102设置伪随机数。

在步骤S104中，点选择单元103使用在步骤S103中生成的伪随机数来选择要输出的点。在该阶段，点选择单元103将在步骤S102中设置的点的数量设置为目标值，并且选择要输出的点，直到达到目标值。

在步骤S105中，点选择单元103输出在步骤S104中选择的点。当完成步骤S105中的处理时，点选择处理结束。

通过执行如上所述的点选择处理，点选择设备100可以选择和输出与当前层次对应的数量的点。因此，可以更容易地实现点的数量的可缩放性。

<3.第二实施方式>

<编码设备>

本技术可以应用于任何适当的设备。例如，本技术还可以应用于除了以上参照图4描述的点选择设备100之外的设备。

图6是示出作为应用本技术的信号处理设备的实施方式的编码设备的典型示例配置的框图。该编码设备200是使用体素和八叉树对诸如点云的3D数据进行编码的设备。

注意，图6示出了主要部件和方面，例如处理单元和数据流，但图6不一定示出了所有部件和方面。即，在编码设备200中，可以存在未在图6中示出为块的处理单元，或者可以存在未在图6中示出为箭头等的处理或数据流。

如图6所示，编码设备200包括几何编码单元201、几何解码单元202、点云生成单元203、输出点选择单元204、属性编码单元205和比特流生成单元206。

几何编码单元201执行与几何数据的编码有关的处理。例如，几何编码单元201获取输入至编码设备200的点云数据的几何数据。几何编码单元201对几何数据进行编码，以生成编码数据。即，几何编码单元201使用构成点云的每个点的几何数据对八叉树进行编码，并且生成编码数据。几何编码单元201将生成的编码数据提供给几何解码单元202和比特流生成单元206。

几何解码单元202执行与对几何数据的编码数据的解码有关的处理。例如，几何解码单元202获取从几何编码单元201提供的几何数据的编码数据。几何解码单元202通过与几何编码单元201中使用的编码方法兼容的解码方法对编码数据进行解码，并且生成(恢复)几何数据。即，几何解码单元202对点云的编码数据进行解码，并且生成使用了构成点云的各个点的几何数据的树结构(八叉树)。几何解码单元202将生成的几何数据(八叉树)提供给点云生成单元203。

点云生成单元203执行与点云数据的生成有关的处理。例如，点云生成单元203获取输入至编码设备200的点云数据的属性数据。点云生成单元203还获取从几何解码单元202提供的几何数据。

存在几何数据由于诸如编码和解码的处理而改变的情况(例如，在一些情况下，点可能增加或减少，或移动)。即，在一些情况下，从几何解码单元202提供的几何数据可能与几何编码单元201编码之前的几何数据不同。

因此，点云生成单元203执行将属性数据与几何数据(解码结果)匹配的处理(该处理也被称为重新着色处理)。即，点云生成单元203更新属性数据以对应于几何数据的更新。点云生成单元203将几何数据和更新后的属性数据(与几何数据(解码结果)对应的属性数据)提供给输出点选择单元204。

输出点选择单元204执行与要输出的点的选择有关的处理。例如，输出点选择单元204获取从点云生成单元203提供的几何数据和属性数据。

输出点选择单元204针对几何数据选择与当前层次对应的数量的点。即，输出点选择单元204在几何数据的八叉树中的层次中的一些层次或所有层次中选择与该层次的深度对应的数量的节点。

输出点选择单元204基本上具有与点选择设备100(图4)的配置类似的配置，并且执行与由点选择设备100执行的处理(图5)类似的处理。输出点选择单元204可以使用以上参照图3描述的各种方法。因此，输出点选择单元204可以实现点的数量的可缩放性。

注意，输出点选择单元204不仅针对几何数据选择点，而且还选择属性数据。即，输出点选择单元204如上述点选择设备100一样针对几何数据执行点选择，并且还选择与所选择的点(几何数据)对应的属性数据。

输出点选择单元204将与以这种方式选择的点对应的属性数据提供给属性编码单元205。

属性编码单元205执行与属性的编码有关的处理。例如，属性编码单元205获取从输出点选择单元204提供的属性数据。属性编码单元205还通过预定方法对属性数据进行编码，并生成属性数据的编码数据。本文中使用的编码方法可以是任何适当的方法。属性编码单元205将生成的属性数据的编码数据提供给比特流生成单元206。

比特流生成单元206执行与比特流的生成有关的处理。例如，比特流生成单元206获取从几何编码单元201提供的几何的编码数据。比特流生成单元206还获取从属性编码单元205提供的属性数据的编码数据。比特流生成单元206生成包含这些编码数据的比特流。注意，比特流生成单元206还可以根据需要将任何期望的信息作为元数据并入到比特流中。比特流生成单元206将生成的比特流输出到编码设备200的外部。

注意，编码设备200的这些处理单元(从几何编码单元201至比特流生成单元206)中的每一个具有任何适当的配置。例如，每个处理单元可以由执行上述处理的逻辑电路形成。此外，每个处理单元还可以例如包括CPU、ROM、RAM等，并且使用它们执行程序，以执行上述处理。每个处理单元当然可以具有这两种配置，并且通过逻辑电路执行上述处理中的一些处理，并且通过执行程序来执行其他处理。各个处理单元的配置可以彼此独立。例如，一个处理单元可以通过逻辑电路执行上述处理中的一些处理，而其他处理单元通过执行程序来执行上述处理。此外，某个其他处理单元可以通过逻辑电路并且通过执行程序来执行上述处理。

<编码处理中的流程>

该编码设备200通过执行编码处理对点云数据进行编码。现在参照图7所示的流程图描述该编码处理中的示例流程。

当编码处理开始时，在步骤S201中，几何编码单元201对几何数据进行编码，以生成几何数据的编码数据。

在步骤S202中，几何解码单元202对在步骤S201中生成的编码数据进行解码，以生成(恢复)几何数据。

在步骤S203中，点云生成单元203执行重新着色处理，以使属性数据与步骤S202中生成的几何数据对应。

在步骤S204中，输出点选择单元204执行点选择处理，以选择与当前层次(LoD)对应的数量的点。注意，该点选择处理例如可以在与图5中所示的流程图类似的流程中执行。

此外，当针对几何数据选择点时，输出点选择单元204还选择与所选择的点(几何数据)对应的属性数据。

在步骤S205中，属性编码单元205对经受步骤S203中的重新着色处理的属性数据进行编码。

在步骤S206中，比特流生成单元206生成并输出包含在步骤S201中生成的几何数据的编码数据和在步骤S205中生成的属性数据的编码数据的比特流。

当步骤S206中的处理完成时，编码处理结束。

通过执行如上所述的编码处理，编码设备200可以选择与当前层次(LoD)对应的数量的点。因此，编码设备200可以实现点的数量的可缩放性。

<4.第三实施方式>

<解码设备>

例如，本技术还可以应用于解码设备。图8是示出作为应用本技术的信号处理设备的实施方式的解码设备的典型示例配置的框图。该解码设备300是对通过使用体素和八叉树对诸如点云的3D数据进行编码而获得的编码数据进行解码的设备。例如，该解码设备300与编码设备200(图6)兼容，并且可以正确地对由编码设备200生成的编码数据进行解码。

注意，图8示出了主要部件和方面，例如处理单元和数据流，但图8不一定示出了所有部件和方面。即，在解码设备300中，可以存在在图8中未示出为块的处理单元，或者可以存在在图8中未由箭头等指示的处理或数据流。

如图8所示，解码设备300包括几何解码单元301、输出点选择单元302、属性解码单元303和点云生成单元304。

几何解码单元301执行与几何数据的解码有关的处理。例如，几何解码单元301获取输入至解码设备300的点云数据的编码数据。该编码数据包括几何数据和属性数据两者。

几何解码单元301对几何数据的编码数据进行解码，以生成几何数据。即，几何解码单元301对点云的编码数据进行解码，并生成使用了构成点云的各个点的几何数据的八叉树。几何解码单元301将生成的几何数据和属性数据的编码数据提供给输出点选择单元302。

输出点选择单元302执行与输出点的选择有关的处理。例如，输出点选择单元302获取从几何解码单元301提供的几何数据以及属性数据的编码数据。

输出点选择单元302还针对几何数据选择与当前层次对应的数量的点。即，输出点选择单元302在八叉树中的层次中的一些层次或所有层次中选择与该层次的深度对应的数量的节点。输出点选择单元302基本上具有与点选择设备100(图4)的配置类似的配置，并且执行与由点选择设备100执行的处理(图5)类似的处理。即，输出点选择单元302可以使用以上参照图3描述的各种方法。因此，输出点选择单元302可以实现点的数量的可缩放性。

注意，针对属性数据，在编码设备200中已选择要输出的点。因此，输出点选择单元302跳过针对属性数据的点的选择。输出点选择单元302将与所选择的点对应的几何数据以及属性数据的编码数据提供给属性解码单元303。

属性解码单元303执行与属性解码有关的处理。例如，属性解码单元303获取从输出点选择单元302提供的属性的编码数据。属性解码单元303还获取从输出点选择单元302提供的几何数据。

属性解码单元303对所获取的编码数据进行解码，并生成(恢复)属性数据。如上所述，针对由属性解码单元303生成的属性数据，在编码设备200中已经选择要输出的点。即，属性数据与从输出点选择单元302提供的几何数据(从其已选择要输出的点的几何数据)对应。因此，属性解码单元303将与所选择的点对应的几何数据和属性数据提供给点云生成单元304。

点云生成单元304执行与点云的生成有关的处理。例如，点云生成单元304获取从属性解码单元303提供的几何数据和属性数据。点云生成单元304将几何数据与属性数据相关联，以生成点云数据。

如上所述，从属性解码单元303提供的属性数据和几何数据与由输出点选择单元302选择的点对应。即，点云生成单元304生成与要输出的点对应的点云数据。

点云生成单元304将生成的点云数据输出至解码设备300的外部。

注意，解码设备300的这些处理单元(从几何解码单元301至点云生成单元304)中的每一个具有任何适当的配置。例如，每个处理单元可以由执行上述处理的逻辑电路形成。此外，每个处理单元还可以例如包括CPU、ROM、RAM等，并且使用它们执行程序，以执行上述处理。每个处理单元当然可以具有这两种配置，并且通过逻辑电路执行上述处理中的一些处理，并且通过执行程序来执行其他处理。各个处理单元的配置可以彼此独立。例如，一个处理单元可以通过逻辑电路执行上述处理中的一些处理，而其他处理单元通过执行程序来执行上述处理。此外，某个其他处理单元可以通过逻辑电路并且通过执行程序来执行上述处理。

<解码处理中的流程>

该解码设备300通过执行解码处理对编码数据进行解码。现在参照图9所示的流程图描述该解码处理中的示例流程。

当解码处理开始时，在步骤S301中，几何解码单元301对几何数据的编码数据进行解码，以生成(恢复)几何数据。

在步骤S302中，输出点选择单元302执行点选择处理，以针对在步骤S301中生成的几何数据选择与当前层次(LoD)对应的数量的点。例如，可以在与图5所示的流程图类似的流程中执行该点选择处理。

在步骤S303中，属性解码单元303对属性数据的编码数据进行解码，以生成(恢复)属性数据。该属性数据是与在编码时选择的点对应的数据。因此，该属性数据与通过步骤S302中的处理获得的几何数据对应。换言之，几何数据和属性数据与要输出的点对应。

在步骤S304中，点云生成单元304通过将与在步骤S302中选择的点对应的几何数据与在步骤S303中生成的属性数据相关联来生成点云数据。即，点云生成单元304生成与要输出的点对应的点云数据。

当步骤S304中的处理完成时，解码处理结束。

通过执行如上所述的解码处理，解码设备300可以选择与当前层次(LoD)对应的数量的点。因此，解码设备300可以实现点的数量的可缩放性。

<属性数据的可缩放性>

注意，用于对属性数据进行编码/解码的方法是任何适当的方法。例如，可以通过使用通用的提升(Lifting)等对属性数据进行编码。同样，可以通过使用类似的提升等对属性数据的编码数据进行解码。

此外，可以以可缩放的方式对属性数据进行可缩放的编码/解码。例如，通过采用非专利文献6中公开的技术，可以对属性数据进行可缩放的编码/解码。

<5.附注>

<计算机>

上述一系列处理可以由硬件来执行或者可以由软件来执行。当一系列处理要由软件执行时，将形成软件的程序安装到计算机中。此处，例如，计算机可以是结合到专用硬件中的计算机，或者可以是当在其中安装各种程序时可以执行各种功能的通用个人计算机等。

图10是示出根据程序执行上述一系列处理的计算机的硬件的示例配置的框图。

在图10中示出的计算机900中，中央处理单元(CPU)901、只读存储器(ROM)902和随机存取存储器(RAM)903通过总线904彼此连接。

输入/输出接口910也连接至总线904。输入单元911、输出单元912、存储单元913、通信单元914和驱动器915连接至输入/输出接口910。

输入单元911例如由键盘、鼠标、麦克风、触摸面板、输入终端等形成。输出单元912例如由显示器、扬声器、输出终端等形成。存储单元913例如由硬盘、RAM盘、非易失性存储器等形成。通信单元914例如由网络接口形成。驱动器915驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质921。

在具有上述配置的计算机中，CPU 901例如经由输入/输出接口910和总线904将存储在存储单元913中的程序加载到RAM 903中，并且执行程序，使得上述一系列处理被执行。RAM 903还根据需要存储CPU 901执行各种处理等所需的数据。

例如，要由计算机(CPU 901)执行的程序可以被记录在作为要使用的封装介质等的可移除介质921上。在这种情况下，当可移除介质921被安装在驱动器915上时，程序可以经由输入/输出接口910安装到存储单元913中。

替选地，可以经由有线或无线传输介质如局域网、因特网或数字卫星广播来提供该程序。在这种情况下，可以通过通信单元914来接收程序，并且可以将程序安装到存储单元913中。

此外，可以将该程序预先安装到ROM 902或存储单元913中。

<应用本技术的目标>

尽管到目前为止已经描述了将本技术应用于点云数据的编码和解码的情况，但是本技术不限于这些示例，而是可以应用于任何标准的3D数据的编码和解码。即，可以采用诸如编码和解码处理的各种处理以及诸如3D数据和元数据的各种数据的任何规范，只要上述本技术不矛盾即可。此外，只要本技术不矛盾，可以省略上述一些处理和规范。

本技术可以应用于任何适当的配置。例如，本技术可以应用于各种电子装置例如卫星广播、诸如有线电视的有线广播、经由因特网的分发、经由蜂窝通信向终端的分发等中的发送器和接收器(例如，电视接收器或便携式电话设备)；以及例如在诸如光盘、磁盘和闪存的介质上记录图像并从这些存储介质再现图像的装置(例如，硬盘记录器或相机)。

此外，本技术还可以实现为装置的部件，例如用作系统LSI(大规模集成)等的处理器(例如，视频处理器)、使用多个处理器等的模块(例如，视频模块)、使用多个模块等的单元(例如，视频单元)、或具有添加到单元的其他功能的集合(例如，视频集合)。

此外，本技术还可以应用于例如由多个设备形成的网络系统。例如，本技术可以实现为经由网络由多个设备共享和联合处理的云计算。例如，本技术可以在云服务中实现，该云服务向诸如计算机、视听(AV)设备、便携式信息处理终端和IoT(物联网)设备的任何种类的终端提供与图像(视频图像)有关的服务。

注意，在本说明书中，系统是指多个部件(设备、模块(零件)等)的组件，并且并非所有部件均需要设置在同一壳体中。鉴于此，容纳在不同壳体中并且经由网络彼此连接的多个设备形成系统，并且具有容纳在一个壳体中的多个模块的一个设备也是系统。

<可以应用本技术的领域和用途>

例如，应用本技术的系统、装置、处理单元等可以用在任何适当的领域中，例如用在运输、医疗、犯罪预防、农业、畜牧业、采矿、美容护理、工厂、家用电器、气象学或自然观察中。此外，本技术也可以用于任何适当的目的。

<其他方面>

注意，在本说明书中，“标志”是用于标识多个状态的信息，并且其不仅包括要用于标识真(1)或假(0)这两个状态的信息，而且还包括用于标识三个或更多个状态的信息。因此，该“标志”可以具有的值可以是例如“1”和“0”这两个值，或者三个或更多个值。即，该“标志”可以由任何数目的位形成，并且可以由一个位或多个位形成。此外，关于标识信息(包括标志)，不仅标识信息而且标识信息相对于参考信息的差异信息均可以被包括在比特流中。因此，在本说明书中，“标志”和“标识信息”不仅包括该信息，而且还包括相对于参考信息的差异信息。

此外，可以以与编码数据相关联的任何模式来发送或记录关于编码数据(比特流)的各种信息(例如元数据)。此处，术语“关联”是指例如在处理数据时能够使用其他数据(或链接到其他数据)。即，彼此相关联的多条数据可以被整合为一条数据，或者可以被视为单独的多条数据。例如，可以通过与编码数据(图像)的传输路径不同的传输路径传输与编码数据(图像)相关联的信息。此外，例如，与编码数据(图像)相关联的信息可以记录在与编码数据(图像)的记录介质不同的记录介质中(或者记录在同一记录介质的不同记录区域中)。注意，该“关联”可以适用于数据中的一部分，而不是整个数据。例如，对于任何适当的单元，例如对于多个帧、每个帧或每个帧中的某个部分，图像和与图像对应的信息可以彼此相关联。

注意，在本说明书中，例如，术语“组合”、“复用”、“添加”、“整合”、“包括”、“存储”、“包含”、“并入”、“插入”等是指将多个对象组合成一个对象，例如将编码数据和元数据组合成一条数据，并且是指上述“关联”的方法。

此外，本技术的实施方式不限于上述实施方式，并且可以在不脱离本技术的范围的情况下对实施方式进行各种修改。

例如，以上描述为一个设备(或一个处理单元)的任何配置可以被划分成多个设备(或处理单元)。相反，以上描述为多个设备(或处理单元)的任何配置可以被组合成一个设备(或一个处理单元)。此外，当然可以将除了上述部件之外的部件添加到每个设备(或每个处理单元)的配置中。此外，设备(或处理单元)的一些部件可以并入另一设备(或处理单元)的配置中，只要整个系统的配置和功能保持基本相同即可。

此外，例如，上述程序可以在任何设备中执行。在这种情况下，仅要求设备具有必要的功能(功能块等)，使得可以获得必要的信息。

此外，例如，一个设备可以执行一个流程图中的每个步骤，或者多个设备可以执行每个步骤。此外，当一个步骤包括多个处理时，多个处理可以由一个设备执行或者可以由多个设备执行。换言之，一个步骤中包括的多个处理可以作为多个步骤中的处理来执行。相反，被描述为多个步骤的处理可以作为一个步骤共同执行。

此外，例如，由计算机执行的程序可以是用于根据本说明书中描述的顺序按时间顺序根据程序执行步骤中的处理的程序，或者可以是用于并行执行处理或在必要时(例如，存在调用时)执行处理的程序。即，只要不存在矛盾，则可以以与上述顺序不同的顺序执行各个步骤中的处理。此外，根据该程序的步骤中的处理可以与根据另一程序的处理并行执行，或者可以与根据另一程序的处理组合执行。

此外，例如，只要不存在矛盾，则可以独立地实现根据本技术的多种技术中的每一种。当然也可以实现根据本技术的多种技术中的一些技术的组合。例如，在实施方式之一中描述的本技术的部分或全部可以与在实施方式中的另一实施方式中描述的本技术的部分或全部组合实现。此外，上述本技术的部分或全部可以与以上未描述的一些其他技术组合实现。

注意，本技术还可以以下面描述的配置实现。

(1)一种信息处理装置，包括：

位置信息解码单元，其对将三维对象表示为点群的点云的编码数据进行解码，并且生成使用了构成所述点云的每个点的位置信息的树结构；以及

选择单元，其针对构成所述树结构的层次中的一些层次或所有层次，选择与所述层次的深度对应的数量的节点。

(2)根据(1)所述的信息处理装置，其中，

所述选择单元选择所述节点，使得在所述树结构中的第一层次的情况下要选择的节点的数量变得大于在比所述第一层次浅的第二层次的情况下要选择的节点的数量。

(3)根据(2)所述的信息处理装置，其中，

所述选择单元使用伪随机数来选择所述节点。

(4)根据(3)所述的信息处理装置，其中，

所述选择单元使用所述伪随机数来选择所述节点，直到达到取决于所述层次的深度的预定目标数量。

(5)根据(4)所述的信息处理装置，其中，

所述选择单元使用所述伪随机数来选择所述节点，直到达到各个层次的预定目标数量中的与当前层次对应的目标数量。

(6)根据(4)所述的信息处理装置，其中，

所述选择单元使用所述伪随机数来选择所述节点，直到达到各个层次的指定目标数量中的与当前层次对应的目标数量。

(7)根据(4)所述的信息处理装置，其中，

所述选择单元使用所述伪随机数来选择所述节点，直到达到基于指定的函数确定的与当前层次对应的目标数量。

(8)根据(2)所述的信息处理装置，其中，

所述选择单元选择附近区域内的节点的数量等于或大于预定阈值的节点。

(9)根据(8)所述的信息处理装置，其中，

所述选择单元选择附近区域内的节点的数量等于或大于各个层次的预定阈值中的与当前层次对应的阈值的节点。

(10)根据(8)所述的信息处理装置，其中，

所述选择单元选择附近区域内的节点的数量等于或大于各个层次的指定阈值中的与当前层次对应的阈值的节点。

(11)根据(8)所述的信息处理装置，其中，

所述选择单元选择附近区域内的节点的数量等于或大于基于指定的函数确定的与当前层次对应的阈值的节点。

(12)根据(1)至(11)中任一项所述的信息处理装置，还包括：

属性信息解码单元，其对所述点云的编码数据进行解码，并且生成与所述位置信息对应的点的属性信息，由所述选择单元根据所述位置信息来选择节点。

(13)根据(1)至(11)中任一项所述的信息处理装置，还包括：

位置信息编码单元，其对使用了构成所述点云的各个点的位置信息的树结构进行编码，并且生成编码数据，

其中，所述位置信息解码单元对由所述位置信息编码单元生成的编码数据进行解码，并且生成所述树结构。

(14)根据(13)所述的信息处理装置，其中，

所述选择单元还从构成所述点云的各个点的属性信息中选择与所选择的节点对应的属性信息。

(15)根据(14)所述的信息处理装置，还包括：

属性信息编码单元，其对由所述选择单元选择的属性信息进行编码，并且生成编码数据。

(16)根据(13)至(15)中任一项所述的信息处理装置，还包括：

比特流生成单元，其生成比特流，所述比特流包含由所述位置信息编码单元生成的编码数据以及要在由所述选择单元选择所述节点时使用的伪随机数的种子信息。

(17)根据(13)至(15)中任一项所述的信息处理装置，还包括：

比特流生成单元，其生成比特流，所述比特流包含由所述位置信息编码单元生成的编码数据以及关于由所述选择单元使用伪随机数选择的节点的目标数量的信息。

(18)根据(13)至(15)中任一项所述的信息处理装置，还包括：

比特流生成单元，其生成比特流，所述比特流包含由所述位置信息编码单元生成的编码数据以及关于要在由所述选择单元选择所述节点时使用的附近区域内的节点的数量的阈值的信息。

(19)根据(13)至(15)中任一项所述的信息处理装置，还包括：

比特流生成单元，其生成比特流，所述比特流包含由所述位置信息编码单元生成的编码数据以及关于要在由所述选择单元选择所述节点时使用的附近区域的信息。

(20)一种信息处理方法，包括：

对将三维对象表示为点群的点云的编码数据进行解码，并且生成使用了构成所述点云的每个点的位置信息的树结构；以及

针对构成所述树结构的层次中的一些层次或所有层次，选择与所述层次的深度对应的数量的节点。

附图标记列表

100 点选择设备

101 点数量设置单元

102 伪随机数生成单元

103 点选择单元

200 编码设备

201 几何编码单元

202 几何解码单元

203 点云生成单元

204 输出点选择单元

205 属性编码单元

206 比特流生成单元

300 解码设备

301 几何解码单元

302 输出点选择单元

303 属性解码单元

304 点云生成单元。

Claims (20)

1.一种信息处理装置，包括：

位置信息解码单元，其对将三维对象表示为点群的点云的编码数据进行解码，并且生成使用了构成所述点云的每个点的位置信息的树结构；以及

选择单元，其针对构成所述树结构的层次中的一些层次或所有层次，选择与所述层次的深度对应的数量的节点。

2.根据权利要求1所述的信息处理装置，其中，

所述选择单元选择所述节点，使得在所述树结构中的第一层次的情况下要选择的节点的数量变得大于在比所述第一层次浅的第二层次的情况下要选择的节点的数量。

3.根据权利要求2所述的信息处理装置，其中，

所述选择单元使用伪随机数来选择所述节点。

4.根据权利要求3所述的信息处理装置，其中，

所述选择单元使用所述伪随机数来选择所述节点，直到达到取决于所述层次的深度的预定目标数量。

5.根据权利要求4所述的信息处理装置，其中，

所述选择单元使用所述伪随机数来选择所述节点，直到达到各个层次的预定目标数量中的与当前层次对应的目标数量。

6.根据权利要求4所述的信息处理装置，其中，

所述选择单元使用所述伪随机数来选择所述节点，直到达到各个层次的指定目标数量中的与当前层次对应的目标数量。

7.根据权利要求4所述的信息处理装置，其中，

所述选择单元使用所述伪随机数来选择所述节点，直到达到基于指定的函数确定的与当前层次对应的目标数量。

8.根据权利要求2所述的信息处理装置，其中，

所述选择单元选择附近区域内的节点的数量等于或大于预定阈值的节点。

9.根据权利要求8所述的信息处理装置，其中，

所述选择单元选择附近区域内的节点的数量等于或大于各个层次的预定阈值中的与当前层次对应的阈值的节点。

10.根据权利要求8所述的信息处理装置，其中，

所述选择单元选择附近区域内的节点的数量等于或大于各个层次的指定阈值中的与当前层次对应的阈值的节点。

11.根据权利要求8所述的信息处理装置，其中，

所述选择单元选择附近区域内的节点的数量等于或大于基于指定的函数确定的与当前层次对应的阈值的节点。

12.根据权利要求1所述的信息处理装置，还包括：

属性信息解码单元，其对所述点云的编码数据进行解码，并且生成与所述位置信息对应的点的属性信息，由所述选择单元根据所述位置信息来选择节点。

13.根据权利要求1所述的信息处理装置，还包括：

位置信息编码单元，其对使用了构成所述点云的各个点的位置信息的树结构进行编码，并且生成编码数据，

其中，所述位置信息解码单元对由所述位置信息编码单元生成的编码数据进行解码，并且生成所述树结构。

14.根据权利要求13所述的信息处理装置，其中，

所述选择单元还从构成所述点云的各个点的属性信息中选择与所选择的节点对应的属性信息。

15.根据权利要求14所述的信息处理装置，还包括：

属性信息编码单元，其对由所述选择单元选择的属性信息进行编码，并且生成编码数据。

16.根据权利要求13所述的信息处理装置，还包括：

比特流生成单元，其生成比特流，所述比特流包含由所述位置信息编码单元生成的编码数据以及要在由所述选择单元选择所述节点时使用的伪随机数的种子信息。

17.根据权利要求13所述的信息处理装置，还包括：

比特流生成单元，其生成比特流，所述比特流包含由所述位置信息编码单元生成的编码数据以及关于由所述选择单元使用伪随机数选择的节点的目标数量的信息。

18.根据权利要求13所述的信息处理装置，还包括：

比特流生成单元，其生成比特流，所述比特流包含由所述位置信息编码单元生成的编码数据以及关于要在由所述选择单元选择所述节点时使用的附近区域内的节点的数量的阈值的信息。

19.根据权利要求13所述的信息处理装置，还包括：

比特流生成单元，其生成比特流，所述比特流包含由所述位置信息编码单元生成的编码数据以及关于要在由所述选择单元选择所述节点时使用的附近区域的信息。

20.一种信息处理方法，包括：

对将三维对象表示为点群的点云的编码数据进行解码，并且生成使用了构成所述点云的每个点的位置信息的树结构；以及

针对构成所述树结构的层次中的一些层次或所有层次，选择与所述层次的深度对应的数量的节点。

Images