CN111108529A - 信息处理设备和方法 - Google Patents

Abstract

本公开内容涉及能够抑制编码效率的降低的信息处理设备和方法。在比较对点云数据进行量化而得到的体素数据时，基于体素数据值的分布图案的主观特征，计算被比较的体素数据的分布图案之间的相关度。例如，本公开内容可以应用于信息处理设备、图像处理设备、电子设备、信息处理方法、程序等。

Description

信息处理设备和方法

技术领域

本公开内容涉及信息处理设备和方法，并且具体地，涉及能够抑制主观图像质量的降低的信息处理设备和方法。

背景技术

作为压缩基于点组的位置信息、属性信息等来表示三维结构的点云或者包括顶点、边和面并且使用多边形表示来定义三维形状的网格的顶点数据的方法，例如，存在使用八叉树(Octree)等体素(Voxel)来进行编码的方法。另外，还考虑了通过使用自相关来对八叉树编码数据进行可逆编码的方法(例如，参见非专利文献1)。

非专利文献1中描述的DAG(有向无环图)(也称为有效定向图)可以通过对八叉树编码数据的具有相同树结构(八叉树图案)的节点进行组合来减少冗余，从而减少信息量。

另外，作为用于评估数据之间的相似度(相关度)的指标，已经提出了例如PSNR(峰值信噪比)等。

引用列表

非专利文献

非专利文献1：V.Kampe的“High Resolution Sparse Voxel DAGs”，ACM 2013

发明内容

本发明要解决的问题

然而，由于诸如PSNR的一般评价指标执行作为一般数据的评价，因此该指标不一定对应于主观图像质量(良好的外观)。因此，在评价点云数据(体素数据)的相关度时，如果仅使用这样的一般评价指标仅执行考虑RD最优的节点的合并，则主观劣化可能在经解码的点云数据中是明显的。

有鉴于这种情况作出了本公开内容，并且本公开内容用于抑制主观图像质量的降低。

解决问题的方案

本技术的一个方面的信息处理设备是一种包括相关度计算单元的信息处理设备，该相关度计算单元在比较对点云数据量化而得到的体素数据时，基于体素数据的值的分布图案的主观特征来计算要比较的体素数据之间的分布图案的相关度。

本技术的一个方面的信息处理方法是一种信息处理方法，该方法包括：在比较将点云数据量化而得到的体素数据时，基于体素数据的值的分布图案的主观特征来计算要比较的体素数据之间的分布图案的相关度。

在本技术的一个方面的信息处理设备和方法中，在比较对点云数据量化而得到的体素数据时，基于体素数据的值的分布图案的主观特征来计算要比较的体素数据之间的分布图案的相关度。

本发明的效果

根据本公开内容，可以处理信息。具体地，可以抑制主观图像质量的降低。

附图说明

图1是描述点云的示例的图。

图2是描述DAG的示例的图。

图3是描述八叉树编码的示例的图。

图4是描述DAG的示例的图。

图5是描述DAG的示例的图。

图6是描述体素数据编码的示例的图。

图7是示出编码设备的主要配置示例的框图。

图8是描述编码的概要的示例的图。

图9是描述体素数据编码的示例的图。

图10是描述使用索引的体素数据编码的示例的图。

图11是示出信号串生成单元的主要配置示例的框图。

图12是描述编码处理的流程的示例的流程图。

图13是示出信号串生成处理的流程的示例的流程图。

图14是示出信号串生成单元的主要配置示例的框图。

图15是示出信号串生成处理的流程的示例的流程图。

图16是示出信号串生成单元的主要配置示例的框图。

图17是示出信号串生成处理的流程的示例的流程图。

图18是示出信号串生成单元的主要配置示例的框图。

图19是示出信号串生成处理的流程的示例的流程图。

图20是示出信号串生成单元的主要配置示例的框图。

图21是示出信号串生成处理的流程的示例的流程图。

图22是示出解码设备的主要配置示例的框图。

图23是描述解码处理的流程的示例的流程图。

图24是示出解码设备的主要配置示例的框图。

图25是描述解码处理的流程的示例的流程图。

图26是示出解码设备的主要配置示例的框图。

图27是描述解码处理的流程的示例的流程图。

图28是示出解码设备的主要配置示例的框图。

图29是描述解码处理的流程的示例的流程图。

图30是示出解码设备的主要配置示例的框图。

图31是描述解码处理的流程的示例的流程图。

图32是示出相关算术运算单元的主要配置示例的框图。

图33是描述相关算术运算处理的流程的示例的流程图。

图34是示出搜索范围的示例的图。

图35是描述成本计算处理的流程的示例的流程图。

图36是示出成本函数的示例的图。

图37是示出索引的示例的图。

图38是示出唯一图案的设置示例的图。

图39是描述成本计算处理的流程的示例的流程图。

图40是示出配准的示例的图。

图41是示出图像处理设备的主要配置示例的框图。

图42是描述配准处理的流程的示例的流程图。

图43是示出计算机的主要配置示例的框图。

具体实施方式

在下文中，将描述用于执行本公开内容的模式(在下文中称为实施方式)。要注意的是，将按照以下顺序给出描述。

1.体素数据编码

2.第一实施方式(编码设备)

3.第二实施方式(解码设备)

4.第三实施方式(相关算术运算处理)

5.其他

<1.体素数据编码>

<点云>

存在诸如点云或网格的数据，点云通过点组的位置信息、属性信息等表示三维结构，网格包括顶点、边和平面并且使用多边形表示来定义三维形状。

例如，在点云的情况下，如图1的A中所示的三维结构被表示为如图1的B中所示的多个点(点数据)的集合(点组)。换言之，点云的数据包括点组的各个点的位置信息、属性信息(例如，颜色等)等。因此，数据结构相对简单，并且通过使用足够大量的点，可以以足够的精度表示任何三维结构。

然而，由于诸如点云或网格的数据量相对大，因此需要通过编码等来压缩数据量。例如，考虑过使用诸如八叉树或KD树(KDtree)的体素(Voxel)的编码方法。体素是用于对编码对象的位置信息进行量化的数据结构。

<有效定向图>

另外，例如，还考虑过使用自相关来对八叉树编码数据进行可逆编码的方法，例如非专利文献1中描述的DAG(有向无环图)(也称为有效定向图)。DAG(有效定向图)可以通过组合八叉树编码数据的具有相同树结构(八叉树图案)的节点来减少冗余，从而减少信息量。

将参照图2描述通过DAG减少冗余的状态的示例。例如，考虑如图2的A所示的二叉树结构。二叉树结构的正方形均指示节点。节点之间的箭头指示将节点彼此连接的指针。在图2的A中的二叉树结构中，存在三种类型的节点：白色、黑色和灰色。每种颜色表示一个值。即，在图2的A中的二叉树结构中，存在三种类型的值的节点。

关注二叉树结构的图中的最低节点(最低层节点)，存在两种类型的节点：白色和黑色。即，在黑色节点之间和白色节点之间出现冗余。因此，如图2的B所示，留下一个黑色节点和一个白色节点，并且删除其他重复节点。

此外，高一层的节点与剩余的黑色节点或白色节点相关联。即，倒数第二低层的节点中的已经与最低层的黑色节点相关联的节点与剩余的黑色节点重新关联，并且已经与最低层的白色节点相关联的节点与剩余的白色节点重新关联。更具体地，在倒数第二低层的每个节点的指针(箭头)的尖端被更新成指定剩余的黑色或白色节点。

这样的操作将最低层的节点减少到两个，如图2的C所示。由于节点的值不变，因此图2的C中的二叉树结构基本上等效于图2的A中的二叉树结构。即，二叉树结构被可逆地压缩。

接下来，如图2的C所示，对倒数第二低层以类似的方式将节点进行集中。通过对二叉树结构的每层执行类似的处理，二叉树结构最终可以如图2的D所示。即，图2的D中的二叉树结构等效于图2的A中的二叉树结构。如上所述，二叉树结构的信息可以通过DAG可逆地压缩。

<八叉树和DAG>

DAG(有效定向图)还可以应用于八叉树图案，八叉树图案是经八叉树编码的体素数据的结构。在八叉树图案中，如图3的A所示，点数据存在于上层的2×2×2个体素中的体素在低一层的层处被进一步划分为2×2×2。在图3的A中，变灰的体素指示存在点数据的体素。在较高层的节点10的体素中，两个是灰色体素。因此，这两个体素被设置成低一层的层处的节点11和节点12，并且被进一步划分为2×2×2个体素。

图3的B示出了这种八叉树图案的数据结构的概要。在图3的B中，节点20指示较上层节点，并且节点21和节点22指示属于节点20的、在低一层的层处的节点。

每个节点中的正方形指示每个体素的数据。一个体素的数据具有例如1个字节(byte)。即，一个数据的节点具有8个字节。这里，为了便于描述，假设存在两种类型的数据：白色的和阴影的。白色数据指示不存在点数据的体素的数据，而阴影数据指示存在点数据的数据。

指示存在低一层的层处的节点的数据的地址的指针被给予每个阴影数据。即，仅在存在点数据的体素中，形成低一层的层处的节点。节点的数据结构在每个层上是类似的。最低层数据未设置有指示存在较低层数据的地址的指针。要注意的是，在本说明书中，仅描述位置信息，而省略对属性信息的描述。

在图3的B的情况下，节点21和节点22在每个体素的数据模式中彼此一致。即，两个节点中的体素数据的值的分布图案是相同的。即，由于相同的数据存在于多个地址处，因此是冗余的。因此，通过执行DAG，两个节点合并为一个节点，如图4所示。例如，节点21被删除，并且从节点20的左边起的第二个体素的数据的指针被更新成指示节点22的地址。通过这样做，可以减少该层处的数据的冗余。

以类似的方式，可以在每个层处减少冗余。即，如图5所示，可以以类似的方式针对多个层合并具有相同数据结构的部分。

<DAG的特性>

DAG主要旨在减少根据计算机模型生成的庞大CG数据(具有数亿条顶点信息的数据)中的信息量。即，旨在以高压缩率对作为目标的低噪声海量数据进行压缩。

然而，在诸如自然图像的点云数据的情况下，由于噪声、包括在数据中的详情信息等，相同八叉树图案的出现概率降低。因此，存在不能获得足够的压缩效率的可能性。即，存在编码效率降低的可能性。

另外，即使在分辨率相对低的情况下(例如，当顶点信息为大约一百万个点时)，出现相同八叉树图案的概率也降低。因此，存在不能获得足够的压缩效率的可能性。即，存在编码效率降低的可能性。

要注意的是，DAG是旨在当在GPU等中处理数据时将数据存储在记录介质中或存储在存储器中的情况下减少容量的处理，而并不考虑数据传输。因此，没有定义传输时的数据结构等。

<体素数据编码>

因此，例如，如图6所示，在体素数据60(体素化三维数据)中，不仅在体素数据的值的分布图案(如与DAG)彼此一致的情况下，如在包括预定数目的体素的块61和块62的情况下，而且在体素数据的值的分布彼此近似的情况下，如在块61(块62)和块63的情况下，(两个块的分布图案被认为是相同的，并且)执行合并。

换言之，仅在体素数据的值的分布彼此不一致或不相似的情况下，诸如在块61至块63和块64的情况下，(两个块的体素数据的值的分布图案被认为彼此不同)不执行合并。

即，对于体素数据60，获得块之间的体素数据的值的分布图案的相关性的强度，并且基于相关性的强度对每个块进行如上所述的合并。通过这样做，可以减少信息量。由于在如上所述分布图案彼此近似的情况下也可以执行合并，因此与DAG的情况相比，可以更多地减少信息量。换言之，可以抑制编码效率的降低。

要注意的是，在图6中，针对包括4×4×4个体素的块比较体素数据的值的分布图案，但是要比较的块的尺寸(体素的数目)可以是任何尺寸，而不限于4×4×4。

要注意的是，虽然以下以点云作为编码对象数据的示例来描述本技术，但是本技术不限于点云，而是可以适用于任何编码对象，只要是表示三维结构并且可以使用例如网格等体素进行编码的数据。此外，编码对象可以是运动图像或静止图像。

<2.第一实施方式>

<编码设备>

图7是示出作为应用了本技术的信息处理设备的实施方式的编码设备的主要配置示例的框图。图7所示的编码设备100使用体素对作为编码对象而输入的点云数据进行编码，并且输出所获得的编码数据等。在这种情况下，编码设备100通过应用了本技术的方法来执行该编码，如下所述。

如图7所示，编码设备100包括控制器101、预处理单元111、边界框设置单元112、体素设置单元113、信号串生成单元114和编码单元115。

控制器101执行与编码设备100中的每个处理单元的控制相关的处理。例如，控制器101控制每个处理单元的处理的执行或跳过。例如，控制器101基于预定控制信息来执行这样的控制。通过这样做，控制器101可以抑制不必要执行的处理，并且可以抑制负荷的增加。

控制器101可以具有任何配置。例如，控制器101可以包括CPU(中央处理单元)、ROM(只读存储器)、RAM(随机存取存储器)等，并且CPU可以将存储在ROM等中的程序、数据等加载到RAM中，并且执行这些程序、数据，从而执行该处理。

预处理单元111由控制器101控制，对输入到编码设备100的编码对象(点云数据)执行作为预处理的预定处理，并且将经处理的数据提供给边界框设置单元112。

例如，控制器101根据允许或禁止执行预处理的控制信息在允许(不禁止)执行预处理的情况下使预处理单元111执行预处理。此外，例如，控制器101根据指示允许或禁止执行预处理的编码对象的范围的控制信息，使预处理单元111对允许(不禁止)执行预处理的编码对象执行预处理。此外，例如，控制器101根据指定允许或禁止执行的处理内容的控制信息，使预处理单元111执行允许(不禁止)执行的处理。通过这样做，可以抑制预处理的不必要执行，并且抑制负荷的增加。

要注意的是，预处理的内容可以是任何内容。例如，预处理单元111可以执行作为预处理的降低噪声的处理，或者可以执行作为预处理的改变分辨率(点数)的处理。此外，例如，可以更新每个点的布置，使得点组的密度是均匀的或者提供期望的偏差。此外，例如，可以将诸如具有深度信息的图像信息的、不是点云的数据输入到编码设备100，并且预处理单元111可以将输入的数据转换成点云数据作为预处理。

预处理单元111可以具有任何配置。例如，预处理单元111可以包括CPU、ROM、RAM等，并且CPU可以将存储在ROM等中的程序、数据等加载到RAM中，并且执行这些程序、数据，从而执行预处理。

边界框设置单元112由控制器101控制，并且执行与针对编码对象的位置信息的归一化的边界框的设置相关的处理。

例如，控制器101根据允许或禁止边界框设置的控制信息，在允许(不禁止)边界框设置的情况下，使边界框设置单元112设置边界框。此外，例如，控制器101根据指示其边界框设置被允许或禁止的编码对象的范围的控制信息，使边界框设置单元112设置允许(不禁止)设置其边界框的编码对象的边界框。此外，例如，控制器101根据与允许或禁止用于设置边界框的参数相关的控制信息，使边界框设置单元112使用允许(不禁止)使用的参数来设置边界框。通过这样做，可以抑制边界框的不必要设置和参数的不必要使用，并且可以抑制负荷的增加。

例如，边界框设置单元112针对要编码的每个对象设置边界框。例如，如图8的A所示，在由点云数据表示对象131、对象132等的情况下，边界框设置单元112如图8的B所示地设置边界框141、边界框142等，使得边界框141、边界框142分别包括对象131、对象132等。返回到图7，当设置了边界框时，边界框设置单元112将与边界框相关的信息提供给体素设置单元113。

要注意的是，边界框设置单元112可以具有任何配置。例如，边界框设置单元112可以包括CPU、ROM、RAM等，并且CPU可以将存储在ROM等中的程序、数据等加载到RAM中，并且执行这些程序、数据，从而执行与边界框的设置相关的处理。

体素设置单元113由控制器101控制，并且执行与旨在将编码对象的位置信息量化的体素的设置相关的处理。

例如，控制器101根据允许或禁止设置体素的控制信息，在允许(不禁止)设置体素的情况下，使体素设置单元113设置体素。另外，例如，控制器101根据指示允许或禁止设置体素的编码对象的范围的控制信息，使体素设置单元113对允许(不禁止)设置体素的编码对象设置体素。此外，例如，控制器101根据与允许或禁止用于设置体素的参数的有关的控制信息，使体素设置单元113使用允许(不禁止)使用的参数来设置体素。通过这样做，可以抑制体素的不必要设置和参数的不必要使用，并且可以抑制负荷的增加。

例如，体素设置单元113在由边界框设置单元112设置的边界框中设置体素。例如，如图8的C所示，体素设置单元113划分边界框141，并且设置体素151。即，体素设置单元113通过体素将边界框中的点云数据量化(即，体素化)。要注意的是，在存在多个边界框的情况下，体素设置单元113针对每个边界框使点云数据体素化。即，在图8的B中的示例的情况下，体素设置单元113对边界框142执行类似的处理。当如上所述设置体素时，体素设置单元113将体素化的点云数据(也称为体素数据)(与旨在将位置信息量化的数据结构相关的信息)、属性信息等提供给信号串生成单元114。

要注意的是，体素设置单元113可以是任何配置。例如，体素设置单元113可以包括CPU、ROM、RAM等，并且CPU可以将ROM等中存储的程序、数据等加载到RAM中，并且执行这些程序、数据，从而执行与体素的设置相关的处理。

信号串生成单元114由控制器101控制，并且执行与信号串的生成相关的处理。

例如，控制器101根据允许或禁止生成信号串的控制信息，在允许(不禁止)生成信号串的情况下，使信号串生成单元114生成信号串。此外，例如，控制器101根据指示允许或禁止信号串的生成的编码对象的范围的控制信息，使信号串生成单元114生成允许(不禁止)生成信号串的编码对象的信号串。通过这样做，可以抑制信号串的不必要生成，并且抑制负载的增加。

例如，信号串生成单元114使用体素数据的值的值分布图案的相关性，对通过将点云数据量化而获得的体素数据(例如，如图8的C中所示的由体素设置单元113生成的体素数据)进行编码(生成相关信息)。例如，信号串生成单元114对作为由体素数据表示的空间的部分区域的每个块的体素数据进行编码，以生成相关信息。信号串生成单元114将所生成的相关信息和其他信息转换成信号串，并且将该信号串提供给编码单元115。

要注意的是，信号串生成单元114可以具有任何配置。例如，信号串生成单元114可以包括CPU、ROM、RAM等，并且CPU可以将存储在ROM等中的程序、数据等加载到RAM中，并且执行这些程序、数据，从而执行与信号串的生成相关的处理。

编码单元115由控制器101控制，并且执行与所提供的信号串的编码相关的处理。

例如，控制器101根据允许或禁止信号串的编码的控制信息，在允许(不禁止)信号串的编码的情况下，使编码单元115对信号串进行编码。此外，例如，控制器101根据指示允许或禁止信号串的编码的编码对象的范围的控制信息，使编码单元115对允许(不禁止)信号串的编码的编码对象的信号串进行编码。通过这样做，可以抑制对信号串的不必要的编码，并且可以抑制负载的增加。

例如，编码单元115对所提供的信号串进行编码，并且生成编码数据(比特流)。即，编码单元115对由信号串生成单元114生成的相关信息进行编码，并且生成包括相关信息的比特流。

这种对信号串进行编码的方法可以是任何方法。例如，编码单元115可以通过可变长度编码(VLC(可变长度编码))来对信号串进行编码。图8的D示出了对信号串进行编码的状态的示例。要注意的是，编码单元115不仅对位置信息进行编码，而且对属性信息(例如，颜色信息、α通道、法线矢量等)进行编码。

此外，编码单元115还适当地对除了点云数据之外的相关信息(诸如控制信息)进行编码，并且将该信息存储在报头、参数集等中。例如，编码单元115可以对指示唯一图案与索引之间的对应关系的信息进行编码，并且将该信息存储在报头、参数集等中。唯一图案是基于作为由体素数据表示的空间的部分区域的块之间的体素数据的值的分布图案的相关性的强度而设置的体素数据的值的分布图案。索引涉及对唯一图案的识别。

编码单元115使上述各种类型的信息的比特流彼此相关联。这里，术语“关联”表示例如一个数据可以用来(链接到)处理其他数据。换言之，彼此相关联的数据可以被分组在一起作为一个数据，或者可以是不同的数据。例如，与编码数据相关联的控制信息可以在与编码数据的传输路径不同的传输路径上传输。此外，例如，与编码数据相关联的控制信息可以被记录在与用于编码数据的记录介质不同的记录介质中(或者在同一记录介质的不同记录区域中)。要注意的是，可以对一部分数据而不是整个数据执行“关联”。例如，可以以诸如多个帧、一个帧或帧内的一部分的任何单位执行彼此的关联。

编码单元115将通过这种编码而获得的编码数据(比特流)输出到编码设备100的外部。从编码设备100输出的数据(编码数据、控制信息等)可以由未示出的后级处理器解码，例如，以恢复点云的数据，可以由未示出的通信单元发送以经由预定传输路径发送到诸如解码设备的另一设备，或者可以被记录在未示出的记录介质中。

要注意的是，编码单元115可以具有任何配置。例如，编码单元115可以包括CPU、ROM、RAM等，并且CPU可以将存储在ROM等中的程序、数据等加载到RAM中，并且执行这些程序、数据，从而执行与编码相关的处理。

<体素数据编码方法的示例1>

由信号串生成单元114使用上述相关性的强度的体素数据编码方法可以是任何方法。该方法的示例如图9的表所示。例如，信号串生成单元114可以通过图9所示的表中的id＝1的行中描述的方法对体素数据进行编码。在这种情况下，唯一索引(Index)被分配给画面内的节点(Node)，并且用于对块进行编码。即，使用唯一图案和索引(Index)对体素数据进行编码。

在这种情况下，如图10的A所示，信号串生成单元114从画面中的所有节点(Node)中减少冗余节点，检测唯一图案Ui，并且向各个检测到的唯一图案Ui分配不同的索引(Idx)。然后，如图10的B所示，信号串生成单元114将体素数据60的每个块的体素数据替换成分配给其体素数据的值的分布图案与该块一致或近似的唯一图案Ui的索引。换言之，所有节点都使用索引来表示。

然后，编码单元115对指示如图10的A中所示的唯一图案与索引之间的对应关系的信息、如图10的B中所示的替换各个块的体素图案的索引的列表(IdxLst)等进行编码，并且生成比特流。

<信号串生成单元>

图11是示出在这种情况下信号串生成单元114(图7)的主要配置示例的框图。如图11所示，在这种情况下，信号串生成单元114包括相关算术运算单元201、唯一图案设置单元202、索引分配单元203和相关信息生成单元204。

相关算术运算单元201执行与体素数据的值的分布图案的相关性的强度(也称为相关度)的计算相关的处理。例如，相关算术运算单元201针对从体素设置单元113提供的体素数据，计算作为由体素数据表示的空间的部分区域的块之间的体素数据的值的分布图案的相关度。

要注意的是，可以在任何块之间(即，在任何体素组之间)进行比较。例如，相关算术运算单元201可以使用八叉树图案的节点作为块，并且计算节点之间的相关度，可以计算节点与不是节点的块之间的相关度，或者可以计算不是节点的块之间的相关度。此外，这种计算相关度的方法可以是任何方法。

相关算术运算单元201将指示计算出的相关度的信息与所提供的体素数据一起提供给唯一图案设置单元202。

要注意的是，相关算术运算单元201可以具有任何配置。例如，相关算术运算单元201可以包括CPU、ROM、RAM等，并且CPU可以将存储在ROM等中的程序、数据等加载到RAM中，并且执行这些程序、数据，从而执行与相关度的计算相关的处理。

唯一图案设置单元202执行与唯一图案的设置相关的处理。例如，唯一图案设置单元202使用从相关算术运算单元201提供的相关度，以根据分布图案是否彼此一致或近似来对块进行分类(例如，执行合并)。

然后，唯一图案设置单元202根据分类结果设置唯一图案Ui。唯一图案Ui是被选择作为唯一图案Ui的块(例如图10A的A中的块61和块64)中的具有彼此不同的分布图案的体素数据。即，一个唯一图案Ui的体素数据的值的分布图案与另一个唯一图案Ui的体素数据的值的分布图案不同。

在设置了这样的唯一图案Ui时，如上所述，唯一图案设置单元202不仅在被比较的块的体素数据的值的分布图案彼此一致的情况下，而且在被比较的块的体素数据的值的分布图案彼此近似的情况下，认为两个块的分布图案相同，并且执行合并。换言之，唯一图案设置单元202仅在被比较的块中的分布图案彼此不一致或不近似的情况下，确定两个块的分布图案彼此不同。要注意的是，用于判断分布图案彼此近似的基准可以是任何基准。

通过这样做，唯一图案设置单元202能够设置分布图案彼此不同的(即，分布图案不彼此一致或近似的)唯一图案Ui。唯一图案设置单元202将所设置的唯一图案Ui与所提供的体素数据一起提供给索引分配单元203。

要注意的是，唯一图案设置单元202可以具有任何配置。例如，唯一图案设置单元202可以包括CPU、ROM、RAM等，CPU可以将ROM等中存储的程序、数据等加载到RAM中并且执行，从而执行与唯一图案的设置相关的处理。

索引分配单元203执行与索引的分配相关的处理。例如，索引分配单元203向从唯一图案设置单元202提供的唯一图案分配索引。

此时，索引分配单元203将不同的索引分配给各个唯一图案，如图10的A所示。要注意的是，分配索引的方式可以是任何方式。即，只要不同的索引被分配给相应的唯一图案，则任何索引值都可以被分配给每个唯一图案。例如，索引分配单元203可以对要编码的体素数据中的出现频率较高的唯一图案分配信息量较小的索引。通过这样做，可以进一步减少相关信息的信息量，并且可以进一步抑制编码效率的降低。

当如上所述将索引分配给所有的唯一图案Ui时，索引分配单元203将指示唯一图案与索引之间的对应关系的信息(即分配结果)与所提供的体素数据一起提供给相关信息生成单元204。指示唯一图案与索引的对应关系的信息是指示所每个设置的唯一图案Ui和分配给每个唯一图案Ui的索引的信息。例如，该信息包括被配置成指示唯一图案与索引之间的对应关系的唯一图案的列表和索引的列表。

要注意的是，索引分配单元203可以具有任何配置。例如，索引分配单元203可以包括CPU、ROM、RAM等，并且CPU可以将存储在ROM等中的程序、数据等加载到RAM中并且执行这些程序、数据，从而执行与索引的分配相关的处理。

相关信息生成单元204执行与相关数据的生成有关的处理。例如，相关信息生成单元204将作为要处理的块的当前块的体素数据转换成被分配给与当前块的体素数据的值的分布图案一致或近似的唯一图案的索引，并且生成包括该索引的相关信息。

相关信息是通过使用体素数据的值的分布图案的相关性对体素数据进行编码而获得的信息。相关信息生成单元204通过将要编码的体素数据的每个块替换成上述唯一图案Ui(的索引)来对要编码的体素数据进行编码。即，在这种情况下，相关信息包括唯一图案Ui的索引。

更具体地，相关信息生成单元204保存指示从索引分配单元203提供的唯一图案与索引之间的对应关系的信息。相关信息生成单元204基于在由唯一图案设置单元202设置唯一图案时已执行了的每个块的体素数据的值的分布图案的分类(合并)，指定与每个块的分布图案对应的唯一图案Ui。即，指定其分布图案与每个块的分布图案一致或近似的唯一图案Ui。然后，相关信息生成单元204基于所保存的信息来指定与所指定的唯一图案Ui对应的索引。然后，相关信息生成单元204将每个块的体素数据替换成所指定的索引(执行转换)。

通过这样做，作为编码的结果，获得了如图10的B中所示的索引列表(IdxLst)。相关信息生成单元204将相关信息(索引)作为信号串提供给编码单元115，以代替所提供的每个块的体素数据。此外，相关信息生成单元204还将所保存的指示唯一图案与索引之间的对应关系的信息作为信号串提供给编码单元115。即，这些信息如上所述由编码单元115编码，被包括在比特流中，并且被发送到解码侧或记录在记录介质上。

如上所述，通过使用图10的A所示的分配给唯一图案Ui的索引将每个块的体素数据转换成图10的B所示的索引，从而将具有相同分布图案的体素数据进行合并。因此，相关信息生成单元204可以减少比特流的冗余。此外，如上所述，通过不仅合并具有彼此一致的体素数据的值的分布图案的块，而且合并具有彼此近似的分布图案的块，来设置唯一图案Ui。因此，相关信息生成单元204可以进一步减少比特流的冗余。因此，信号串生成单元114可以抑制编码效率的降低。

要注意的是，相关信息生成单元204可以具有任何配置。例如，相关信息生成单元204可以包括CPU、ROM、RAM等，并且CPU可以将存储在ROM等中的程序、数据等加载到RAM中并且执行这些程序、数据，从而执行与相关信息的生成有关的处理。

<编码处理的流程>

参照图12中的流程图描述由具有上述配置的编码设备100执行的编码处理的流程的示例。

当编码处理开始时，预处理单元111在步骤S101中对输入的数据执行预处理。

在步骤S102中，边界框设置单元112针对预处理后的数据设置边界框。

在步骤S103中，体素设置单元113设置在步骤S102中设置的边界框组中的体素。

在步骤S104中，信号串生成单元114基于数据结构来生成信号串。

在步骤S105中，编码单元115对通过步骤S104中的处理生成的信号串进行编码。

在步骤S106中，编码单元115将通过编码而获得的比特流输出到编码设备100的外部。该比特流被发送到例如解码侧(解码设备等)，或者被记录在记录介质上。

当步骤S106中的处理完成时，编码处理完成。例如，在编码对象是运动图像的情况下，针对每个帧执行该系列处理。

<信号串生成处理的流程>

接下来，将参照图13的流程图描述在图12的步骤S104中执行的信号串生成处理的流程的示例。

当信号串生成处理开始时，在步骤S121中，相关算术运算单元201获得块之间的体素数据的值的分布图案的相关性的强度(相关度)。

在步骤S122中，唯一图案设置单元202基于在步骤S121中获得的相关度来设置唯一图案Ui。此时，如上所述，唯一图案设置单元202不仅在被比较的块之间的体素数据的值的分布图案彼此一致的情况下，而且在被比较的块之间的体素数据的值的分布图案彼此近似的情况下，认为两个块的分布图案相同。

在步骤S123中，索引分配单元203将不同的索引分配给在步骤S122中设置的各个唯一图案Ui。

在步骤S124中，相关信息生成单元204基于在步骤S123中向唯一图案Ui分配索引的结果，将要编码的每个块的体素数据替换成与该块的体素数据的值的分布图案一致或近似的唯一图案Ui的索引，并且生成相关信息的信号串。此外，相关信息生成单元204还生成指示唯一图案与索引之间的对应关系的信息的信号串。

当步骤S124中的处理完成时，信号串生成处理完成，并且处理返回到图12。

通过执行如上所述的每个处理，编码设备100可以抑制如上所述的编码效率的降低。

<体素数据编码方法的示例2>

另外，例如，信号串生成单元114可以通过在图9所示的表中的id＝2的行中描述的方法对体素数据进行编码。在这种情况下，指定要参考的块(节点(Node))的空间坐标信息(也称为参考空间坐标信息)被用于编码块。即，信号串生成单元114例如从编码块(节点)中搜索与当前块高度相关的块，并且编码单元115对诸如该块的绝对位置或相对位置(矢量)的信号串进行编码。

参考空间坐标信息是指示在位于作为要处理的块的当前块(参考的目标块)的周围的周围块中体素数据的值的分布图案与当前块的值的分布图案一致或近似的周围块(要参考的块)的位置的信息。信号串生成单元114通过将当前块的体素数据转换成参考空间坐标信息来对前块的体素数据进行编码。即，信号串生成单元114生成包括参考空间坐标信息的相关信息。

参考空间坐标信息可以包括通过绝对位置来指示要参考的块的位置的信息(例如，要参考的块的空间坐标(也称为要参考的空间坐标信息))，或者可以包括通过参考目标块(当前块)的相对位置来指示要参考的块的位置的信息(例如，从参考目标到要参考的块的矢量(也称为参考矢量))。

然后，编码单元115对这种包括参考空间坐标信息的相关信息进行编码以生成比特流。

<信号串生成单元>

图14是示出在这种情况下信号串生成单元114(图7)的主要配置示例的框图。如图14所示，在这种情况下，信号串生成单元114包括相关算术运算单元221、参考空间坐标信息设置单元222和相关信息生成单元223。

相关算术运算单元221是与相关算术运算单元201类似的处理单元，并且执行与相关算术运算单元201类似的处理。即，相关算术运算单元221执行与体素数据的值的分布图案的相关性的强度(相关度)的计算有关的处理。例如，相关算术运算单元221针对从体素设置单元113提供的体素数据，计算作为由该体素数据表示的空间的部分区域的块之间的体素数据的值的分布图案的相关度。要注意的是，可以在任何块之间进行这种比较。此外，这种计算相关度的方法可以是任何方法。

相关算术运算单元221将指示计算出的相关度的信息与所提供的体素数据一起提供给参考空间坐标信息设置单元222。

要注意的是，相关算术运算单元221可以具有任何配置。例如，相关算术运算单元221可以包括CPU、ROM、RAM等，并且CPU可以将存储在ROM等中的程序、数据等加载到RAM中并且执行这些程序、数据，从而执行与相关度的计算有关的处理。

参考空间坐标信息设置单元222执行与参考空间坐标信息的设置有关的处理。例如，参考空间坐标信息设置单元222基于从相关算术运算单元201提供的相关度，将与当前块高度相关的周围块指定为要参考的块，并且设置指示周围块的位置的参考空间坐标信息。更具体地，基于从相关算术运算单元201提供的相关度，参考空间坐标信息设置单元222针对每个候选周围块确定体素数据的分布图案是否与当前块的分布图案一致或近似。要注意的是，用于判断分布图案彼此近似的基准可以是任何基准。例如，参考空间坐标信息设置单元222确定与当前块具有最高相关度的周围块是具有近似于当前块的分布图案的周围块。此外，例如，参考空间坐标信息设置单元222确定与当前块的相关度高于预定基准的周围块是其分布图案近似于当前块的分布图案的周围块。

要注意的是，周围块可以是位于当前块的空间周围的块。即，周围块可以是与当前块的帧相同的帧中的块。此外，周围块可以是位于当前块的时间周围的块。即，周围块可以是与当前块的帧不同的帧中的块。例如，周围块可以是在与当前块的帧不同的帧中的与当前块的位置相同位置的块(并置块)，或者位于并置块的周围的块。此外，周围块可以是序列(视图、层、部件等)之间的位于周围的块。即，周围块可以是与当前块的序列不同的序列中的块。例如，周围块可以是在与当前块的序列不同的序列中的与当前块的帧相同的帧中的相同位置处的块(并置块)，或者是位于并置块的周围的块。此外，例如，周围块可以是在与当前块的序列不同的序列中的与当前块的帧不同的帧中的块。

参考空间坐标信息设置单元222将所设置的参考空间坐标信息与所提供的体素数据一起提供给相关信息生成单元223。

要注意的是，在无法检测出其分布图案与当前块的分布图案一致或近似的周围块的情况下(在不存在这样的周围块的情况下)，参考空间坐标信息设置单元222不对当前块的体素数据进行编码(不将当前块的体素数据替换成相关信息)。即，在这种情况下，参考空间坐标信息设置单元222省略与块对应的参考空间坐标的设置。

要注意的是，参考空间坐标信息设置单元222可以具有任何配置。例如，参考空间坐标信息设置单元222可以包括CPU、ROM、RAM等，CPU将存储在ROM等中的程序、数据等加载到RAM中并且执行这些程序、数据，从而执行与唯一图案的设置有关的处理。

相关信息生成单元223执行与相关信息的生成有关的处理。例如，相关信息生成单元223将作为要处理的块的当前块中的体素数据转换成参考空间坐标信息，该参考空间坐标信息是指示在位于当前块的周围的周围块中的、其体素数据的值的分布图案与当前块的值的分布图案一致或近似的周围块的位置的信息。相关信息生成单元223生成包括参考空间坐标信息的相关信息。

即，相关信息生成单元223通过将要编码的体素数据的每个块替换成从参考空间坐标信息设置单元222提供的参考空间坐标信息来对要编码的体素数据进行编码。即，在这种情况下，相关信息包括参考空间坐标信息(要参考的空间坐标或参考矢量)。

然而，对于没有由参考空间坐标信息设置单元222设置参考空间坐标信息的块(即，没有找到要参考的块的块)，省略相关信息的生成。

相关信息生成单元223针对已生成了相关信息的块，将相关信息(参考空间坐标信息)作为信号串提供给编码单元115，以代替所提供的每个块的体素数据。另外，相关信息生成单元223针对未生成相关信息的块，将所提供的体素数据的信号串提供给编码单元115。

这些信号串由编码单元115如上所述地编码，被包括在比特流中，并且被发送到解码侧或被记录在记录介质上。

通过以这种方式将每个块的体素数据转换成参考空间坐标信息，能够减少信息量。此外，当设置块之间的参考关系时，例如，如果仅将其体素数据的值的分布图案与当前块的值的分布图案一致的周围块用作要参考的候选，则在不存在要参考的块的情况下存在增加的可能性，并且存在无法充分减少信息量的可能性。

相比之下，如上所述，相关信息生成单元223不仅将其体素数据的值的分布图案与当前块的值的分布图案一致的周围块，而且将其体素数据的值的分布图案近似于当前块的值的分布图案的周围块也设置成要参考的候选。结果，可以增加存在可以是当前块要参考的周围块的可能性。因此，可以将更多的块转换成参考空间坐标信息，并且可以进一步减少信息量。因此，信号串生成单元114可以抑制编码效率的降低。

要注意的是，相关信息生成单元223可以具有任何配置。例如，相关信息生成单元223可以包括CPU、ROM、RAM等，并且CPU可以将存储在ROM等中的程序、数据等加载到RAM中并且执行这些程序、数据，从而执行与关联信息的生成有关的处理。

<信号串生成处理的流程>

接下来，将参照图15的流程图描述在这种情况下在图12的步骤S104中执行的信号串生成处理的流程的示例。

当开始信号串生成处理时，在步骤S141中，相关算术运算单元221获得块之间的体素数据的值的分布图案的相关性的强度(相关度)。

在步骤S142中，参考空间坐标信息设置单元222将与当前块高度相关的周围块设置成要参考的块，并且设置参考空间坐标信息。

在步骤S143中，相关信息生成单元223使用在步骤S142中设置的参考空间坐标信息来生成相关信息，并且将该相关信息替换成体素数据。然后，相关信息生成单元223生成包括相关信息的信号串。即，相关信息生成单元223生成存在要参考的块的块相关信息的信号串，并且生成不存在要参考的块的块相关信息的信号串。

当完成步骤S143中的处理时，完成信号串生成处理，并且处理返回到图12。

通过执行如上所述的每个处理，编码设备100可以抑制如上所述的编码效率的降低。

要注意的是，在上述图9中所示的表中的id＝2的行中描述的方法可以与在图9中所示的表中的id＝1的行中描述的方法组合使用。即，包括唯一图案的索引的相关信息和包括参考空间坐标信息的相关信息可以以混合方式存在。

<体素数据编码方法的示例3>

另外，例如，信号串生成单元114可以通过在图9所示的表中的id＝3的行中描述的方法对体素数据进行编码。在这种情况下，索引(Index)被分配给具有预先定义的分布图案的块(节点(Node))，并且将该索引用于编码块。即，信号串生成单元114例如从预定义块中搜索与当前块高度相关的块，并且编码单元115对该块的索引进行编码。

即，在这种情况下，预先准备了预定唯一图案(也称为预定义唯一图案)，并且将彼此不同的索引(也称为预定义索引)分配给各个唯一图案。代替在<体素数据编码方式的示例1>中如上述那样根据要编码的体素数据生成的唯一图案，信号串生成单元114使用预定义唯一图案将每个块转换成索引。

更具体地，信号串生成单元114将当前块的体素数据转换成其分布图案与当前块的分布图案一致或近似的预定义唯一图案中的分配给预定义唯一图案的预定义索引，并且生成包括预定义索引的相关信息。

要注意的是，与上述<体素数据编码方法的示例1>中描述的唯一图案类似，预定义唯一图案在分布图案上彼此不同。即，一个预定义唯一图案的体素数据的值的分布图案不同于另一个预定义唯一图案的体素数据的值的分布图案。

<信号串生成单元>

图16是示出在这种情况下信号串生成单元114(图7)的主要配置示例的框图。如图16所示，在这种情况下，信号串生成单元114包括相关算术运算单元241和相关信息生成单元242。

相关算术运算单元241执行与体素数据的值的分布图案的相关性的强度(相关度)的计算有关的处理。例如，相关算术运算单元241获取并保存预定义唯一图案(的体素数据)。相关算术运算单元241针对从体素设置单元113提供的体素数据的每个块，计算体素数据的值的分布图案与预定义唯一图案中的每一个的相关度。要注意的是，这种计算相关度的方法可以是任何方法。相关算术运算单元241将指示所计算的相关度的信息与所提供的体素数据一起提供给相关信息生成单元242。

要注意的是，相关算术运算单元241可以具有任何配置。例如，相关算术运算单元241可以包括CPU、ROM、RAM等，并且CPU可以将存储在ROM等中的程序、数据等加载到RAM中并且执行这些程序、数据，从而执行与相关度的计算有关的处理。

相关信息生成单元242执行与相关信息的生成相关的处理。例如，相关信息生成单元242将作为要处理的块的当前块的体素数据转换成分配给与当前块的体素数据的值的分布图案一致或近似的预定义唯一图案的预定义索引，并且生成包括预定义索引的相关信息。

更具体地，相关信息生成单元242获取并保存指示预定义唯一图案与预定义索引之间的对应关系的信息。指示预定义唯一图案与预定义索引之间的对应关系的信息是指示每个预定义唯一图案和每个预定义索引的信息。例如，该信息包括被配置成指示预定义唯一图案与预定义索引之间的对应关系的预定义唯一图案的列表和预定义索引的列表。

然后，相关信息生成单元242基于从相关算术运算单元241提供的相关度，针对每个块指定其分布图案与该块的分布图案一致或近似的预定义唯一图案。换言之，相关信息生成单元242仅在分布图案不彼此一致或近似的情况下确定分布图案不同，并且不指定预定义唯一图案。要注意的是，用于判断分布图案彼此近似的基准可以是任何基准。

然后，相关信息生成单元242基于所保存的信息来指定与所指定的预定义唯一图案对应的预定义索引。此外，相关信息生成单元242将每个块的体素数据替换成所指定的预定义索引(执行转换)。

通过这样做，作为编码的结果，获得了预定义索引的列表。相关信息生成单元242向编码单元115提供相关信息(预定义索引)作为信号串，以代替所提供的每个块的体素数据。该信号串如上所述由编码单元115编码，被包括在比特流中，并且被发送到解码侧或被记录在记录介质上。

要注意的是，相关信息生成单元242可以具有任何配置。例如，相关信息生成单元242可以包括CPU、ROM、RAM等，并且CPU可以将存储在ROM等中的程序、数据等加载到RAM中并且执行这些程序、数据，从而执行与关联信息的生成有关的处理。

如上所述，通过使用预定义索引将每个块的体素数据转换成索引，合并具有相同分布图案的体素数据。因此，相关信息生成单元242可以减少比特流的冗余。

要注意的是，如果仅在当前块的体素数据的值的分布图案与预定义唯一图案一致的情况下将当前块的体素数据替换成预定义索引，则不能将其分布图案与预定义唯一图案不一致的块的体素数据替换成预定义索引。

相比之下，相关信息生成单元242还可以用预定义索引替换存在其分布图案与块的分布图案近似的预定义唯一图案的块中的体素数据。因此，可以进一步减少信息量。换言之，信号串生成单元114可以抑制编码效率的降低。

<信号串生成处理的流程>

接下来，将参照图17的流程图描述在这种情况下在图12的步骤S104中执行的信号串生成处理的流程的示例。

当开始信号串生成处理时，在步骤S161中，相关算术运算单元241获得每个块的体素数据的值的分布图案与预定义唯一图案之间的相关性的强度(相关度)。

在步骤S162中，相关信息生成单元242基于相关度来指定与每个块高度相关的预定义索引，使用所指定的预定义索引生成相关信息，并且用体素数据替换该相关信息。然后，相关信息生成单元242生成包括相关信息的信号串。

当完成步骤S162中的处理时，完成信号串生成处理，并且处理返回到图12。

通过执行如上所述的每个处理，编码设备100可以抑制如上所述的编码效率的降低。

要注意的是，对于其分布图案与预定义唯一图案不一致或不近似的块，体素数据的信号串可以被提供给编码单元115。此外，可以将这种块的分布图案设置成唯一图案，或者可以参考周围块。即，在上述图9中示出的表中的id＝3的行中描述的方法可以与在图9中示出的表中的id＝1或2的行中描述的方法组合使用。即，包括唯一图案的索引的相关信息、包括参考空间坐标信息的相关信息和包括预定义索引的相关信息可以以混合方式存在。

<体素数据编码方法的示例4>

此外，例如，在要编码的体素数据是运动图像的情况下(在要编码的体素数据包括多个帧的情况下)，可以应用在图9中所示的表中的id＝4的行中描述的方法。即，可以使用不同帧之间的相关性。在这种情况下，指定要参考的块(节点(Node))的时间信息被用于编码块。例如，信号串生成单元114保存编码帧，并且从该帧内搜索高度相关的块。如果发现高度相关的块，则编码单元115对指定该帧的信息(与当前帧的时间差等)进行编码和发送。

即，在这种情况下，信号串生成单元114生成相关信息，该相关信息包括指示与在获得与作为要处理的块的当前块的体素数据的值的分布图案的相关性的强度时要参考的帧对应的帧的时间信息。

该方法可以与图9所示的表中的id＝1至3的行中描述的方法中的每一个组合使用。例如，在与图9所示的表的id＝1的行中描述的方法结合的情况下，可以使用由相关信息生成单元204在已经处理的帧中设置的唯一图案的索引来将当前块的体素数据转换成索引。此外，例如，相关算术运算单元201可以计算当前块与除当前块的帧(当前帧)之外的帧的块之间的相关度，并且唯一图案设置单元202可以基于该相关度来设置唯一图案。

此外，例如，在与图9所示的表中的id＝2的行中描述的方法组合的情况下，相关算术运算单元221可以计算当前块与除当前帧之外的帧的块之间的相关度，并且参考空间坐标信息设置单元222可以基于相关度将除当前帧之外的帧的块设置成要参考的块。

此外，例如，在与图9所示的表中的id＝3的行中描述的方法组合的情况下，可以针对每一帧等设置预定义唯一图案(和预定义索引)(在时间方向上更新)，相关算术运算单元241可以计算当前块与和除当前帧之外的帧对应的预定义唯一图案之间的相关度，并且相关信息生成单元242可以基于相关度，用与除当前帧之外的帧对应的预定义索引来替换当前块的体素数据。

通过这样做，可以扩大作为相关信息的索引的范围和要参考的索引的范围。因此，信号串生成单元114可以进一步减少比特流的冗余，并且抑制编码效率的降低。

<体素数据编码方法的示例5>

此外，例如，可以应用在图9中所示的表中的id＝5的行中描述的方法。即，在获得了块之间的相关性的情况下，可以允许将要比较的体素数据的值的分布图案旋转或反转。在这种情况下，与旋转相关的信息(旋转信息)、与反转相关的信息(反转信息)等可以被包括在相关信息中。例如，当计算相关性时，信号串生成单元114还针对相对于参考块(节点(Node))点对称或线对称的分布图案，执行与当前块的匹配。在发现高度相关的模式的情况下，编码单元115对旋转信息、反转信息等进行编码和发送。

换言之，在这种情况下，信号串生成单元114在获得与作为要处理的块的当前块的体素数据的值的分布图案的相关性的强度时，生成包括下述的相关信息：与要参考的体素数据的值的分布图案的旋转相关的信息、与要参考的分布图案的反转相关的信息、或者两者。

该方法可以与图9所示的表中的id＝1至4的行中描述的方法中的每一个组合使用。例如，相关算术运算单元201、相关算术运算单元221或相关算术运算单元241还可以在计算与当前块的相关度时与相对于要参考的分布图案呈线对称或点对称的分布图案(另一个块的分布图案或预定义唯一图案)进行比较。此外，相关信息生成单元204、相关信息生成单元223或相关信息生成单元242可以生成包括旋转信息(指示存在或不存在旋转、如何执行旋转等的信息)或反转信息(指示存在或不存在反转、如何执行反转等的信息)的相关信息。

通过这样做，可以增加要参考的分布图案与当前块的分布图案一致或近似的可能性。此外，还可以增加相关度将更高的可能性。因此，信号串生成单元114可以进一步减少比特流的冗余，并且抑制编码效率的降低。<体素数据编码方法的示例6>

此外，例如，可以应用在图9中所示的表中的id＝6的行中描述的方法。即，用于邻近块的相关信息可以被重新用于当前块。例如，信号串生成单元114在用于邻近块(节点(Node))的相关信息被重新用于当前块的情况下计算相关度。在相关性高的情况下，编码单元115对指示重新使用的信息(例如，标志等)进行编码和发送。

即，在这种情况下，信号串生成单元114使用位于作为要处理的块的当前块的周围的周围块的相关信息来生成当前块的相关信息。

该方法可以与图9所示的表中的id＝1至5的行中描述的方法中的每一个组合使用。例如，在计算与当前块的相关度时，在将周围块的相关信息应用于当前块的情况下，相关算术运算单元201、相关算术运算单元221或相关算术运算单元241可以计算相关度。此外，在应用了重新使用的相关度的情况下(在相关度高的情况下)，相关信息生成单元204、相关信息生成单元223或相关信息生成单元242可以生成包括指示重新使用相关度的信息(标志等)的相关信息。要注意的是，此时，指定要重新使用的相关度的信息、指定模式的信息等可以被包括在相关信息中。此外，可以在相关信息中恒定地包括指示是否重新使用相关度的标志信息。

在重新使用周围块的相关信息的情况下，由于在解码侧也重新使用周围块的相关信息，所以可以省略当前块的相关信息的传输。因此，由于可以减少要发送的信息量，所以可以抑制编码效率的降低。

<与八叉树编码的组合>

可以与八叉树编码组合地使用上述使用相关信息的体素数据编码方法。例如，在体素数据由LoD＝G的八叉树编码的情况下，在Level＝l(l＝0,1,...,G-1)处的节点n(l,i)的子掩码(Childmask)(8位)被编码。这里，在k＝4的情况下，其对应于三层的八叉树(4＝1<<(3-1))。因此，n(G-1,i)、n(G-2,i)和n(G-3,i)的节点可以由唯一图案Ui共同表示。即，例如，如下所述，可以将使用相关信息的编码方法与八叉树编码相结合。

Level＝0,...,G-4：使用八叉树编码

Level＝G-((log2k)+1),...,G-2：使用DAG

Level＝G-1:使用提出的编码

这使得可以处理例如诸如部分解码、从低分辨率解码等的可伸缩性(可伸缩性)。另外，由于与仅执行八叉树编码的情况、仅应用DAG处理的情况等相比可以减少比特流的冗余，所以可以抑制编码效率的降低。

要注意的是，尽管使用相关信息的编码可以应用于八叉树图案的多个层，但是由于在使用相关信息的编码中也合并了近似节点，因此处理可能变得复杂。因此，如上所述，使用相关信息的编码可以仅应用于最低层，并且DAG(有效定向图)可以应用于最低层上方的层。要注意的是，DAG可以应用于比八叉树图案的最低层高的所有层，或者如上所述，DAG可以仅应用于从比最低层高一层的层到中间层，并且仅八叉树编码可以应用于较上侧的层的部分。

<信号串生成单元>

图18是示出在这种情况下信号串生成单元114(图7)的主要配置示例的框图。如图18所示，除了从相关算术运算单元201至相关信息生成单元204的单元之外，信号串生成单元114在这种情况下还包括八叉树编码单元261和DAG处理单元262。

八叉树编码单元261执行与八叉树编码有关的处理。例如，八叉树编码单元261对从体素设置单元113提供的体素数据执行八叉树编码，生成如参照图3所述的八叉树图案，并且生成每个节点的ChildMask(8比特)。八叉树编码单元261将生成的Childmask数据提供给DAG处理单元262。

要注意的是，八叉树编码单元261可以具有任何配置。例如，八叉树编码单元261可以包括例如CPU、ROM、RAM等，并且CPU可以将存储在ROM等中的程序、数据等加载到RAM中并且执行这些程序、数据，从而执行与八叉树编码有关的处理。

DAG处理单元262执行与DAG相关的处理。例如，DAG处理单元262对高于从八叉树编码单元261提供的Childmask数据的最低层的层执行DAG处理，并且使用自相关来合并相同的节点。DAG处理单元262将这样生成的DAG数据的信号串提供给编码单元115。

从相关算术运算单元201至相关信息生成单元204的单元以与图11的情况类似的方式来执行处理，并且使用相关数据对体素数据进行编码。即，对八叉树图案的最低层进行编码。相关信息生成单元204将信号串提供给编码单元115，如参照图11所述。

要注意的是，DAG处理单元262可以具有任何配置。例如，DAG处理单元262可以包括CPU、ROM、RAM等，并且CPU可以将存储在ROM等中的程序、数据等加载到RAM中并且执行这些程序、数据，从而执行与DAG有关的处理。

编码单元115对这些信号串进行编码。即，编码单元115生成包括相关数据、DAG数据等的比特流。

通过以这种方式应用八叉树编码，可以使得使用相关信息的编码应对可伸缩性。换言之，通过将使用相关信息的编码应用于八叉树图案，可以抑制编码效率的降低。

<信号串生成处理的流程>

接下来，将参照图19的流程图描述在这种情况下在图12的步骤S104中执行的信号串生成处理的流程的示例。

当开始信号串生成处理时，在步骤S181中八叉树编码单元261执行八叉树编码。

在步骤S182中，DAG处理单元262对高于八叉树图案的最低层的层的节点执行DAG处理。

以与图13中的步骤S121至步骤S124中的处理类似的方式执行步骤S183至步骤S186中的处理。

当完成步骤S186中的处理时，完成信号串生成处理，并且处理返回到图12。

通过执行如上所述的每个处理，编码设备100可以允许使用相关信息的编码处理应对可伸缩性或者抑制编码效率的降低，如上所述。

要注意的是，在上文中，描述了把八叉树编码应用于在图9所示的表中id＝1的行中描述的方法的情况，但是也类似于把八叉树编码应用于在图9所示的表中的其他行中描述的方法的情况。即，信号串生成单元114可以如在图18的情况中那样设置有八叉树编码单元261和DAG处理单元262，并且在信号串生成处理中可以执行与图19的步骤S181和步骤S182中的处理类似的处理。

<预测残差的传输>

在使用上述相关信息的体素数据的编码中，相关信息也可以被认为是体素数据的预测值。即，在使用上述相关信息的编码中，仅对预测值进行编码和发送。因此，还可以发送体素数据的预测残差。此外，可以对预测残差进行编码(减少信息量)和发送。

例如，信号串生成单元114可以获得从体素设置单元113提供的体素数据与和相关信息对应的体素数据的预测值之间的差(预测残差)，对预测残差进行分别进行编码，并且进行发送。该编码方法可以是任何方法。例如，预测残差可以被正交变换。此外，预测残差可以被链式编码。此外，可以执行量化。

通过以这种方式发送预测残差，可以在解码侧获得更准确(接近编码前的状态)的解码图像(经解码的点云数据)。即，可以提高被解码的点云数据(也称为经解码的点云数据)的主观图像质量。另外，通过如上所述对预测残差进行编码和发送，能够抑制编码效率的降低。

<信号串生成单元>

图20是示出在这种情况下信号串生成单元114(图7)的主要配置示例的框图。如图20所示，与图11的情况相同，信号串生成单元114在这种情况下包括从相关算术运算单元201至索引分配单元203的单元。此外，信号串生成单元114在这种情况下包括相关信息生成单元281，以代替相关信息生成单元204。另外，信号串生成单元114在这种情况下包括算术运算单元282和预测残差编码单元283。

相关信息生成单元281基本上执行与相关信息生成单元204的处理类似的处理，但是此外，将与包括在相关信息中的每个块的索引对应的唯一图案提供给算术运算单元282。

要注意的是，相关信息生成单元281可以具有任何配置。例如，相关信息生成单元281可以包括CPU、ROM、RAM等，并且CPU可以将存储在ROM等中的程序、数据等加载到RAM中并且执行这些程序、数据，从而执行与关联信息的生成有关的处理。

算术运算单元282执行与预测残差的生成有关的处理。例如，运算单元282针对每个块从由体素设置单元113提供的体素数据中减去由相关信息生成单元281提供的唯一图案，从而生成预测残差。算术运算单元282将生成的预测残差提供给预测残差编码单元283。

要注意的是，算术运算单元282可以具有任何配置。例如，算术运算单元282可以包括CPU、ROM、RAM等，并且CPU可以将存储在ROM等中的程序、数据等加载到RAM中并且执行这些程序、数据，从而执行与预测残差的生成有关的处理。

预测残差编码单元283执行与预测残差的编码有关的处理。例如，预测残差编码单元283对从算数运算单元282提供的每个块的体素数据的预测残差进行编码，并进行转换。这种对预测残差进行编码的方法可以是任何方法。例如，可以应用如上所述的正交变换或链编码等。此外，可以执行量化。预测残差编码单元283将所生成的系数数据的信号串提供给编码单元115。

要注意的是，预测残差编码单元283可以具有任何配置。例如，预测残差编码单元283可以包括CPU、ROM、RAM等，并且CPU可以将存储在ROM等中的程序、数据等加载到RAM中并且执行这些程序、数据，从而执行与预测残差的编码有关的处理。

编码单元115对从相关信息生成单元281、预测残差编码单元283等提供的信号串进行编码。即，编码单元115生成包括相关信息、预测残差等的比特流。

通过这样做，可以在解码侧获得更准确经解码的点云数据。即，可以提高经解码的点云数据的主观图像质量。另外，通过如上所述对预测残差进行编码和发送，能够抑制编码效率的降低。

<信号串生成处理的流程>

接下来，将参照图21的流程图描述在这种情况下在图12的步骤S104中执行的信号串生成处理的流程的示例。

同样，在这种情况下的信号串生成处理中，以与图13中的步骤S121至步骤S124中的处理类似的方式执行步骤S201至步骤S204中的处理。

在步骤S205中，算术运算单元282确定预测残差，该预测残差是体素数据与唯一图案(体素数据的预测值)之间的差。

在步骤S206中，预测残差编码单元283对通过步骤S205的处理而获得的预测残差进行编码。

当完成步骤S206中的处理时，完成信号串生成处理，并且处理返回到图12。

通过执行如上所述的各个处理，编码设备100可以如上所述地提高经解码的点云数据的主观图像质量或者抑制编码效率的降低。

要注意的是，在上文中，描述了将发送预测残差应用于图9所示的表中的id＝1的行所描述的方法的情况，然而，如上所述的发送预测残差也可以应用于图9所示的表中的其他行所描述的方法。在这种情况下，同样基本上可以以类似的方式应用于上述示例中的情况。即，可以以与图20的情况类似的方式向信号串生成单元114提供从相关信息生成单元281至预测残差编码单元283的单元，并且在信号串生成处理中，可以执行与图20中的步骤S205和步骤S206中的处理类似的处理。

<属性信息>

除了位置信息(x,y,z)之外，点云的每个点具有属性信息，例如颜色信息((R,G,B),(Y,U,V))、α通道、法线矢量等。因此，当对上述位置信息进行编码时，还可以以类似的方式使用相关信息对属性信息进行编码。即，编码单元115可以省略对针对其生成相关信息的块的属性信息的编码。

此时合并属性信息的方法可以是任何方法。例如，位置信息(结构信息)与当前块合并的、要参考的块的属性信息(例如，在对颜色信息进行解码之后的RGB/YUV像素值)也可以用于当前块中。

另外，例如，位置信息(结构信息)与当前块合并的、要参考的块的属性信息的编码方法(例如，颜色预测模式等)也可以用于当前块。即，编码单元115可以通过与针对对应于相关信息的要参考的块的属性信息的编码方法相同的编码方法，对由信号串生成单元114针对其生成相关信息的块的属性信息进行编码。

此外，例如，位置信息(结构信息)与当前块合并的、要参考的块的属性信息的滤波方法(诸如颜色格式转换、色度子采样方法、诸如去块的去噪声方法等)也可以用于当前块。即，编码单元115可以通过与用于与相关信息对应的要参考的块的属性信息的滤波方法相同的滤波方法，对由信号串生成单元114针对其生成相关信息的块的属性信息进行滤波。

通过这样做，可以减少比特流的冗余，并且抑制编码效率的降低。

<3.第二实施方式>

<解码方法的示例1>

接下来，将描述与上述编码设备100对应的解码设备。例如，通过在图9中示出的表中的id＝1的行中描述的方法进行编码的体素数据的比特流可以通过在同一行中描述的方法解码。

即，在这种情况下，通过对指示唯一图案与索引的对应关系的信息进行解码，并且基于该信息将每个块的索引转换成唯一图案，能够对每个块的相关信息进行解码。

<解码设备>

图22是示出作为应用了本技术的信息处理设备的实施方式的解码设备的主要配置示例的框图。图22所示的解码设备300是与图7的编码设备100对应的解码设备。解码设备300对由编码设备100生成的点云的编码数据进行解码，例如，以恢复点云的数据。编码设备100的信号串生成单元114通过如上所述的图9所示的表中的id＝1的行中描述的方法对体素数据进行编码。图22的解码设备300通过在图9所示的表中的id＝1的行中描述的方法对由编码设备100获得的比特流进行解码。

如图22所示，在这种情况下，解码设备300包括解码单元301、体素数据生成单元302和点云处理单元303。

解码单元301执行与比特流的解码相关的处理。例如，解码单元301通过与编码单元115的编码方法对应的解码方法来对比特流进行解码，并且从比特流中提取相关信息。针对作为由体素数据表示的空间的部分区域的每个块来设置相关信息，并且解码单元301提取每个块的相关信息。

相关信息包括通过转换每个块的体素数据而获得的索引。将该索引分配给被确定为与块的体素数据的分布图案一致或近似的唯一图案。此外，比特流包括指示唯一图案与索引之间的对应关系的信息。解码单元301还从比特流中提取指示唯一图案与索引之间的对应关系的信息。

解码单元301将从比特流中提取的信息(相关信息、指示唯一图案与索引的对应关系的信息等)提供给体素数据生成单元302。

要注意的是，解码单元301可以具有任何配置。例如，解码单元301可以包括CPU、ROM、RAM等，并且CPU可以将存储在ROM等中的程序、数据等加载到RAM中并且执行这些程序、数据，从而执行与解码有关的处理。

体素数据生成单元302执行与体素数据的生成有关的处理。例如，体素数据生成单元302生成与从解码单元301提供的相关信息对应的体素数据。即，在对每个体素设置了相关信息的情况下，体素数据生成单元302将每个块的相关信息转换成体素数据。

例如，体素数据生成单元302使用指示从解码单元301提供的唯一图案与索引的对应关系的信息，将从解码单元301提供的每个块的相关信息转换成唯一图案，从而生成每个块的体素数据。

体素数据生成单元302将生成的体素数据提供给点云处理单元303。

要注意的是，体素数据生成单元302可以具有任何配置。例如，体素数据生成单元302可以包括CPU、ROM、RAM等，CPU将ROM等中存储的程序、数据等加载到RAM中并且执行，从而执行与体素数据的生成有关的处理。

点云处理单元303执行与点云数据的恢复有关的处理。例如，点云处理单元303将提供的体素数据转换成点云数据(生成经解码的点云数据)。要注意的是，点云处理单元303还可以将经解码的点云数据转换成网格数据。

点云处理单元303将生成的经解码的点云数据(或网格数据)输出到解码设备300的外部。输出的经解码的点云数据(或网格数据)可以由例如未示出的后级处理单元进行图像处理，并且作为图像信息显示在监视器等上。输出的经解码的点云数据(或网格数据)可以由未示出的通信单元发送，并且经由预定传输路径被发送到另一设备。输出的经解码的点云数据(或网格数据)可以记录在未示出的记录介质上。

要注意的是，点云处理单元303可以具有任何配置。例如，点云处理单元303可以包括CPU、ROM、RAM等，CPU将ROM等中存储的程序、数据等加载到RAM中并且执行，从而执行与点云数据的恢复有关的处理。

如上所述，在这种情况下，解码设备300通过在图9所示的表中的id＝1的行中描述的方法执行解码。因此，在这种情况下，解码设备300可以通过在图9所示的表中的id＝1的行中描述的编码方法来实现对编码效率的降低的抑制。

<解码处理的流程>

参照图23的流程图，将描述在这种情况下由解码设备300执行的解码处理的流程的示例。

当解码处理开始时，在步骤S301中，解码单元301对比特流进行解码，并且提取指示唯一图案与索引之间的对应关系的信息以及包括该索引的每个块的相关信息。

在步骤S302中，体素数据生成单元302基于在步骤S301中提取的指示唯一图案与索引之间的对应关系的信息，通过将每个块的相关信息的索引转换成与该索引对应的唯一图案来生成每个块的体素数据。

在步骤S303中，点云处理单元303根据通过步骤S302的处理而获得的体素数据来恢复点云数据。

在步骤S304中，点云处理单元303将恢复的点云数据(经解码的点云数据)输出到解码设备300的外部。

当完成步骤S304中的处理时，解码处理完成。

通过执行如上所述的解码处理，在这种情况下，解码设备300可以通过在图9中所示的表中的id＝1的行中描述的编码方法来实现对编码效率的降低的抑制。

<解码方法的示例2>

此外，例如，通过在图9所示的表中的id＝2的行中描述的方法编码的体素数据的比特流可以通过在同一行中描述的方法解码。

即，在这种情况下，通过对每个块所参考的块的绝对位置(空间坐标)或相对位置(矢量)等信息进行解码，并且使用所参考的块的体素数据来生成当前块的体素数据，可以对每个块的相关信息进行解码。

<解码设备>

图24是示出作为应用了本技术的信息处理设备的实施方式的解码设备的主要配置示例的框图。图24所示的解码设备300是与图7的编码设备100对应的解码设备。解码设备300对由编码设备100生成的点云的编码数据进行解码，例如，以恢复点云的数据。编码设备100的信号串生成单元114通过如上所述的图9所示的表中的id＝2的行中描述的方法对体素数据进行编码。图24的解码设备300通过在图9所示的表中的id＝2的行中描述的方法对由编码设备100获得的比特流进行解码。

如图24所示，在这种情况下，解码设备300包括解码单元321、体素数据生成单元322和点云处理单元303。

解码单元321执行与比特流的解码相关的处理。例如，解码单元321通过与编码单元115的编码方法对应的解码方法来对比特流进行解码，并且从比特流中提取相关信息。针对作为由体素数据表示的空间的部分区域的每个块来设置相关信息，并且解码单元321提取每个块的相关信息。

相关信息包括参考空间坐标信息。参考空间坐标信息是指示其体素数据的值的分布图案与当前块的体素数据的值的分布图案一致或近似并且被指定为体素数据的要参考的块的周围块的位置的信息。解码单元321将从比特流中提取的信息(相关信息等)提供给体素数据生成单元322。

要注意的是，解码单元321可以具有任何配置。例如，解码单元321可以包括CPU、ROM、RAM等，并且CPU可以将存储在ROM等中的程序、数据等加载到RAM中并且执行这些程序、数据，从而执行与解码有关的处理。

体素数据生成单元322执行与体素数据的生成有关的处理。例如，体素数据生成单元322生成与从解码单元321提供的相关信息对应的体素数据。即，在对每个体素设置了相关信息的情况下，体素数据生成单元322将每个块的相关信息转换成体素数据。

例如，体素数据生成单元322基于从解码单元321提供的当前块的相关信息中包括的参考空间坐标信息来指定要参考的块，并且使用该块的体素数据生成当前块的体素数据。体素数据生成单元322对每个块的相关信息执行这样的处理，从而生成每个块的体素数据。

体素数据生成单元322将生成的体素数据提供给点云处理单元303。由于点云处理单元303的处理与图22的情况类似，所以省略其说明。

要注意的是，体素数据生成单元322可以具有任何配置。例如，体素数据生成单元322可以包括CPU、ROM、RAM等，CPU将ROM等中存储的程序、数据等加载到RAM中并且执行，从而执行与体素数据的生成有关的处理。

如上所述，在这种情况下，解码设备300通过在图9所示的表中的id＝2的行中描述的方法来执行解码。因此，在这种情况下，解码设备300可以通过在图9所示的表中的id＝2的行中描述的编码方法来实现对编码效率的降低的抑制。

<解码处理的流程>

参照图25的流程图，将描述在这种情况下由解码设备300执行的解码处理的流程的示例。

当解码处理开始时，在步骤S321中，解码单元321对比特流进行解码，并且提取包括参考空间坐标信息的每个块的相关信息。

在步骤S322中，体素数据生成单元322基于在步骤S321中提取的每个块的相关信息的参考空间坐标信息来指定要参考的块，并且使用要参考的每个块的体素数据生成每个块的体素数据。

步骤S323和步骤S324中的处理以与图23中的步骤S303和步骤S304中的处理类似的方式执行。当完成步骤S324中的处理时，完成解码处理。

通过执行如上所述的解码处理，在这种情况下，解码设备300可以通过在图9中所示的表中的id＝2的行中描述的编码方法来实现对编码效率的降低的抑制。

<解码方法的示例3>

此外，例如，通过在图9所示的表中的id＝3的行中描述的方法编码的体素数据的比特流可以通过在同一行中描述的方法进行解码。

即，在这种情况下，可以基于指示预定义唯一图案与预定义索引之间的对应关系的信息，通过将每个块的预定义索引转换成预定义唯一图案来对每个块的相关信息进行解码。

<解码设备>

图26是示出作为应用了本技术的信息处理设备的实施方式的解码设备的主要配置示例的框图。图26所示的解码设备300是与图7的编码设备100对应的解码设备。解码设备300对由编码设备100生成的点云的编码数据进行解码，例如，以恢复点云的数据。编码设备100的信号串生成单元114通过如上所述的图9所示的表中的id＝3的行中描述的方法对体素数据进行编码。图26的解码设备300通过在图9所示的表中的id＝3的行中描述的方法对由编码设备100获得的比特流进行解码。

如图26所示，在这种情况下，解码设备300包括解码单元341、体素数据生成单元342和点云处理单元303。

解码单元341执行与比特流的解码相关的处理。例如，解码单元341通过与编码单元115的编码方法对应的解码方法来对比特流进行解码，并且从比特流中提取相关信息。针对作为由体素数据表示的空间的部分区域的每个块设置相关信息，并且解码单元321提取每个块的相关信息。

相关信息包括通过转换每个块的体素数据而获得的预定索引。将预定义索引分配给预定义唯一图案。要注意的是，图26的解码设备300预先具有指示预定义唯一图案与预定义索引之间的对应关系的信息。解码单元341将从比特流中提取的信息(相关信息等)提供给体素数据生成单元342。

要注意的是，解码单元341可以具有任何配置。例如，解码单元341可以包括CPU、ROM、RAM等，并且CPU可以将存储在ROM等中的程序、数据等加载到RAM中并且执行这些程序、数据，从而执行与解码有关的处理。

体素数据生成单元342执行与体素数据的生成有关的处理。例如，体素数据生成单元342生成与从解码单元341提供的相关信息对应的体素数据。即，在对每个体素设置了相关信息的情况下，体素数据生成单元342将每个块的相关信息转换成体素数据。

例如，体素数据生成单元342基于指示预定义唯一图案与预定义索引之间的对应关系的信息，将从解码单元341提供的每个块的相关信息中包括的预定义索引转换成预定义唯一图案，从而生成每个块的体素数据。

体素数据生成单元322将生成的体素数据提供给点云处理单元303。由于点云处理单元303执行的处理与图22的情况类似，所以省略其说明。

要注意的是，体素数据生成单元342可以具有任何配置。例如，体素数据生成单元342可以包括CPU、ROM、RAM等，CPU将ROM等中存储的程序、数据等加载到RAM中并且执行，从而执行与体素数据的生成有关的处理。

如上所述，在这种情况下，解码设备300通过在图9所示的表中的id＝3的行中描述的方法执行解码。因此，在这种情况下，解码设备300可以通过在图9所示的表中的id＝3的行中描述的编码方法来实现对编码效率的降低的抑制。

<解码处理的流程>

参照图27的流程图，将描述在这种情况下由解码设备300执行的解码处理的流程的示例。

当解码处理开始时，在步骤S341中，解码单元341对比特流进行解码，并且提取包括预定义索引的每个块的相关信息。

在步骤S342中，体素数据生成单元342基于指示基于指示预定义唯一图案与预定义索引之间的对应关系的信息，将在步骤S341中提取的每个块的相关信息的预定义索引转换成预定义唯一图案，从而生成每个块的体素数据。

步骤S343和步骤S334中的处理以与图23中的步骤S303和步骤S304中的处理类似的方式执行。当完成步骤S344中的处理时，解码处理完成。

通过执行如上所述的解码处理，在这种情况下，解码设备300可以通过在图9中所示的表中的id＝3的行中描述的编码方法来实现对编码效率的降低的抑制。

<解码方法的示例4>

此外，例如，通过在图9所示的表中的id＝4的行中描述的方法编码的体素数据的比特流可以通过在同一行中描述的方法进行解码。即，在这种情况下，可以通过对指定帧的信息进行解码来指定解码帧，并且可以通过附加信息根据帧中的块对分布图案进行解码。

例如，相关信息可以包括时间信息，该时间信息指示与在获得与当前块的体素数据的值的分布图案的相关性的强度时要参考的帧对应的帧。此外，可以基于从比特流提取的当前块的相关信息中包括的时间信息来指定与要参考的帧对应的帧。

通过这样做，可以扩大作为相关信息的索引的范围、要参考的范围等。因此，可以进一步减少比特流的冗余，并且抑制编码效率的降低。

<解码方法的示例5>

此外，例如，通过在图9所示的表中的id＝5的行中描述的方法编码的体素数据的比特流可以通过在同一行中描述的方法解码。即，在这种情况下，可以通过对诸如旋转或反转的信息进行解码，并且执行与要参考的块对应的操作，来对当前块的分布图案进行解码。

例如，相关信息可以包括在确定与当前块的体素数据的值的分布图案的相关性的强度时与要参考的体素数据的值的分布图案的旋转相关的信息(旋转信息)、与要参考的体素数据的值的分布图案的反转相关的信息(反转信息)、或者旋转信息和反转信息两者。此外，当从每个块的相关信息生成体素数据时，可以基于从比特流提取的当前块的相关信息中包括的旋转信息、反转信息或两者来对要参考的体素数据的值的分布图案执行旋转、反转或两者。

通过这样做，可以增加要参考的分布图案与当前块的分布图案一致或近似的可能性。此外，还可以增加相关度将更高的可能性。因此，可以进一步减少比特流的冗余，并且抑制编码效率的降低。

<解码方法的示例6>

此外，例如，通过在图9所示的表中的id＝6的行中描述的方法编码的体素数据的比特流可以通过在同一行中描述的方法进行解码。即，在这种情况下，可以重新使用周围块的相关信息来生成当前块的体素数据。

在重新使用周围块的相关信息的情况下，当前块的相关信息可以不包括在比特流中。相反，例如，在块中，指示要重新使用周围块的相关信息的信息(标志等)可以被包括在比特流中。此外，在针对当前块获得这样的信息的情况下，可以使用周围块的相关信息来生成当前块的相关信息，并且可以使用所生成的相关信息来生成当前块的体素数据。

通过这样做，可以省略重新使用周围块的相关信息的块的相关信息的传输。因此，由于可以减少要发送的信息量，所以可以抑制编码效率的降低。

要注意的是，如在编码的情况下，可以适当地组合在上述图9中所示的表中的id＝1至6的行中描述的解码方法。

<八叉树解码的组合>

要注意的是，要解码的比特流可以是通过使用组合使用相关信息的编码和八叉树编码而生成的比特流，如<经八叉树编码的组合>中所描述的。例如，比特流可以是这样的比特流：其中，对体素数据进行八叉树编码，并且使用相关信息对八叉树图案的最低层的节点进行编码。此外，比特流可以是这样的比特流：其中，使用相关信息对包括八叉树图案的最低层的多个层的节点进行编码。

另外，比特流还可以是使用DAG处理组合生成的。例如，比特流可以是这样的比特流：其中，对体素数据进行八叉树编码，使用相关信息对八叉树图案的最低层的节点进行编码，并且对比最低层高的层的节点进行DAG处理。此外，比特流可以是这样的比特流：其中，使用相关信息对八叉树图案的最低层的节点进行编码，对从比最低层高一层的层到中间层的节点可以进行DAG处理，并且对比这些层高的层的节点可以仅应用八叉树编码。

<解码设备>

图28是示出在这种情况下的解码设备300的主要配置示例的框图。如图28所示，在这种情况下的解码设备300包括解码单元361、DAG反向处理单元362、八叉树解码单元363、体素数据生成单元364和点云处理单元303。

解码单元361执行与比特流的解码有关的处理。例如，解码单元361通过与编码单元115的编码方法对应的解码方法来对比特流进行解码，并且从比特流中提取包括索引的每个块的相关信息、指示唯一图案与索引之间的对应关系的信息、以及作为经过DAG处理的八叉树图案的DAG数据。解码单元361将提取的每个块的相关信息以及指示唯一图案与索引的对应关系的信息提供给体素数据生成单元364，并且将DAG数据提供给DAG反向处理单元362。

要注意的是，解码单元361可以具有任何配置。例如，解码单元361可以包括CPU、ROM、RAM等，并且CPU可以将存储在ROM等中的程序、数据等加载到RAM中并且执行这些程序、数据，从而执行与解码有关的处理。

DAG反向处理单元362执行与DAG反向处理相关的处理，该DAG反向处理是由DAG处理单元262执行的DAG处理的反向处理。即，DAG反向处理是从DAG数据生成八叉树图案的每个节点的Childmask的处理。DAG反向处理单元362对从解码单元361提供的DAG数据执行该DAG反向处理，以生成八叉树图案的每个节点的Childmask，并且将Childmask提供给八叉树解码单元363。

要注意的是，DAG反向处理单元362可以具有任何配置。例如，DAG反向处理单元362可以包括CPU、ROM、RAM等，并且CPU可以将存储在ROM等中的程序、数据等加载到RAM中并且执行这些程序、数据，从而执行与DAG反向处理有关的处理。

八叉树解码单元363执行与八叉树图案的解码有关的处理。例如，八叉树解码单元363对八叉树图案的每个节点的Childmask进行解码以生成体素数据。八叉树解码单元363将生成的体素数据提供给体素数据生成单元364。

要注意的是，八叉树解码单元363可以具有任何配置。例如，八叉树解码单元363可以包括CPU、ROM、RAM等，并且CPU可以将存储在ROM等中的程序、数据等加载到RAM中并且执行这些程序、数据，从而执行与八叉树解码有关的处理。

体素数据生成单元364执行与体素数据的生成有关的处理。例如，体素数据生成单元364使用指示从解码单元361提供的唯一图案与索引的对应关系的信息，将从解码单元361提供的每个块的相关信息转换成唯一图案，由此生成每个块的体素数据。

体素数据生成单元364将生成的体素数据以及从八叉树解码单元363提供的体素数据提供给点云处理单元303。由于点云处理单元303执行的处理与图22的情况类似，所以省略其说明。

要注意的是，体素数据生成单元364可以具有与体素数据生成相关的任何配置。例如，体素数据生成单元364可以包括CPU、ROM、RAM等，CPU将ROM等中存储的程序、数据等加载到RAM中并且执行，从而执行与体素数据的生成有关的处理。

通过以这种方式应用八叉树编码，可以使得使用相关信息的编码应对可伸缩性。换言之，通过将使用相关信息的编码应用于八叉树图案，可以抑制编码效率的降低。

<解码处理的流程>

参照图29的流程图，将描述在这种情况下由解码设备300执行的解码处理的流程的示例。

当解码处理开始时，在步骤S361中，解码单元361对比特流进行解码，并且提取指示唯一图案与索引之间的对应关系的信息、包括索引的每个块的相关信息、以及DAG数据。

在步骤S362中，体素数据生成单元364基于指示在步骤S361中提取的唯一图案与索引的对应关系的信息，通过将每个块的相关信息的索引转换成与该索引对应的唯一图案，生成每个块的体素数据。

在步骤S363中，DAG反向处理单元362对在步骤S361中提取的DAG数据执行DAG反向处理，以生成八叉树图案的每个节点的Childmask。

在步骤S364中，八叉树解码单元363对通过步骤S363中的处理获得的八叉树图案的每个节点的ChildMask执行八叉树解码，以生成体素数据。

在步骤S365中，点云处理单元303根据通过步骤S362的处理获得的体素数据和通过步骤S364的处理获得的体素数据来恢复点云数据。

在步骤S366中，点云处理单元303将恢复的点云数据(解码的点云数据)输出到解码设备300的外部。

当完成步骤S366中的处理时，完成解码处理。

通过执行如上所述的解码处理，在这种情况下，解码设备300可以使得使用相关信息的编码应对可伸缩性，并且抑制编码效率的降低。

要注意的是，在上文中，描述了将八叉树解码应用于在图9所示的表中的id＝1的行中描述的解码方法的情况，但是这同样适用于将八叉树解码应用于在图9所示的表中的其他行中描述的解码方法的情况。

<预测残差的解码>

要注意的是，可以如<预测残差的发送>中描述的那样，将体素数据的预测残差包括在要解码的比特流中。此外，预测残差可以是经编码的预测残差(信息量减少)。即，比特流可以包括其中编码了预测残差的系数数据。这种对预测残差进行编码的方法可以是任何方法。例如，预测残差可以被正交变换。替选地，预测残差可以被链式编码。此外，可以执行量化。

通过以这种方式发送预测残差，解码设备300可以获得更准确(更接近编码前的状态)的解码图像(经解码的点云数据)。即，可以提高经解码的点云数据的主观图像质量。另外，通过发送如上所述编码的预测残差，能够抑制编码效率的降低。

<解码设备>

图30是示出在这种情况下的解码设备300的主要配置示例的框图。如图30所示，在这种情况下，解码设备300包括解码单元381、预测残差解码单元382、体素数据生成单元383和点云处理单元303。体素数据生成单元383包括唯一图案生成单元391和运算单元392。

解码单元381执行与比特流的解码有关的处理。例如，解码单元381通过与编码单元115的编码方法对应的解码方法来对比特流进行解码，并且从比特流中提取包括索引的每个块的相关信息、指示唯一图案与索引之间的对应关系的信息、以及其中对预测残差进行了编码的系数数据。解码单元381将提取的每个块的相关信息以及指示唯一图案与索引的对应关系的信息提供给体素数据生成单元383(唯一图案生成单元391)，并且将系数数据提供给预测残差解码单元382。

要注意的是，解码单元381可以具有任何配置。例如，解码单元381可以包括CPU、ROM、RAM等，并且CPU可以将存储在ROM等中的程序、数据等加载到RAM中，并且执行这些程序、数据，从而执行与解码有关的处理。

预测残差解码单元382执行与系数数据的解码相关的处理。例如，预测残差解码单元382通过与预测残差编码单元283(图20)执行的编码方法对应的解码方法，对从解码单元381提供的系数数据进行解码，以恢复预测残差。预测残差解码单元382将恢复的预测残差提供给体素数据生成单元383(运算单元392)。

要注意的是，预测残差解码单元382可以具有任何配置。例如，预测残差解码单元382可以包括CPU、ROM、RAM等，并且CPU可以将存储在ROM等中的程序、数据等加载到RAM中并且执行这些程序、数据，从而执行与预测残差的解码有关的处理。

体素数据生成单元383执行与体素数据的生成有关的处理。例如，体素数据生成单元383的唯一图案生成单元391执行与唯一图案的生成有关的处理。例如，唯一图案生成单元391使用从解码单元381提供的指示唯一图案与索引的对应关系的信息，将从解码单元381提供的每个块的相关信息转换成唯一图案(体素数据)。唯一图案生成单元391将所生成的每个块的唯一图案提供给算术运算单元392。

要注意的是，唯一图案生成单元391可以具有任何配置。例如，唯一图案生成单元391可以包括CPU、ROM、RAM等，CPU将存储在ROM等中的程序、数据等加载到RAM中并且执行这些程序、数据，从而执行与唯一图案的生成有关的处理。

运算单元392执行与体素数据的生成有关的处理。例如，运算单元392将从预测残差解码单元382提供的预测残差和从唯一图案生成单元391提供的每个块的唯一图案(体素数据)相加，以生成每个块的体素数据。算术运算单元392将生成的体素数据提供给点云处理单元303。由于点云处理单元303执行的处理与图22的情况类似，所以省略其说明。

要注意的是，算术运算单元392可以具有任何配置。例如，运算单元392可以包括CPU、ROM、RAM等，并且CPU将ROM等中存储的程序、数据等加载到RAM中并且执行这些程序、数据，从而执行与体素数据的生成有关的处理。

通过这样做，解码设备300可以获得更准确(更接近编码之前的状态)的解码图像(经解码的点云数据)。即，可以提高经解码的点云数据的主观图像质量。另外，通过发送如上所述编码的预测残差，能够抑制编码效率的降低。

<解码处理的流程>

参照图31的流程图，将描述在这种情况下由解码设备300执行的解码处理的流程的示例。

当解码处理开始时，在步骤S381中，解码单元381对比特流进行解码，并且提取指示唯一图案与索引之间的对应关系的信息、包括索引的每个块的相关信息、以及每个块的系数数据。

在步骤S382中，预测残差解码单元382针对每个块对在步骤S381中提取的系数数据执行预测残差解码，以获得预测残差。

在步骤S383中，唯一图案生成单元391基于在步骤S381中提取的指示唯一图案与索引之间的对应关系的信息，将每个块的相关信息的索引转换成与该索引对应的唯一图案。

在步骤S384中，运算单元392针对每个块将在步骤S382中获得的预测残差和在步骤S383中获得的唯一图案相加，以生成体素数据。

在步骤S385中，点云处理单元303根据通过步骤S384的处理获得的体素数据来恢复点云数据。

在步骤S386中，点云处理单元303将经解码的点云数据输出到解码设备300的外部。

当完成步骤S386中的处理时，完成解码处理。

通过执行如上所述的解码处理，解码设备300可以获得更准确的解码图像(经解码的点云数据)。即，可以提高经解码的点云数据的主观图像质量。另外，通过发送如上所述编码的预测残差，能够抑制编码效率的降低。

要注意的是，在上文中，描述了将预测残差的发送应用于图9所示的表中的id＝1的行描述的解码方法的情况，但同样也能够适用于将预测残差的发送应用于图9所示的表中的其他行描述的解码方法的情况。

<属性信息的参考>

此外，当对上述位置信息进行编码时，还可以以类似的方式使用相关信息对属性信息进行编码。例如，对于位置信息(结构信息)、唯一图案或预定义唯一图案所参考的块的属性信息(例如，对颜色信息进行解码之后的RGB/YUV像素值)也可以用于当前块。在这种情况下，比特流不包括重新使用要参考的块的属性信息的块的属性信息。因此，解码设备300使用与从比特流提取的相关信息对应的、要参考的块的属性信息来恢复当前块的属性信息。

另外，例如，对于当前块，还可以使用对于位置信息(结构信息)、唯一图案或预定义唯一图案要参考的块的属性信息的编码方法(例如，颜色预测模式等)。在这种情况下，解码设备300通过使用与要参考的属性信息的编码方法对应的解码方法来对当前块的属性信息进行解码，其中，将被参考的属性信息与从比特流提取的相关信息对应。

此外，例如，对于当前块，也可以使用针对位置信息(结构信息)、唯一图案或预定义唯一图案要参考的块的属性信息的滤波方法(颜色格式转换、色度子采样方法、诸如去块的去噪声方法等)。在这种情况下，解码设备300通过使用与从比特流提取的相关信息对应的、要参考的属性信息的滤波方法来对当前块的属性信息进行滤波。

通过这样做，可以减少比特流的属性信息的冗余，并且抑制编码效率的降低。

<4.第三实施方式>

<考虑主观图像质量的相关度计算>

作为用于评价数据间的相似度(相关度)的指标，例如提出了PSNR(峰值信噪比)等。然而，由于诸如PSNR的一般评价指标作为一般数据进行评价，因此该指标不一定对应于主观图像质量(良好的外观)。因此，在评价点云数据(体素数据)的相关度时，如果仅使用这样的一般评价指标仅执行考虑RD最优的节点的合并，则在经解码的点云数据中主观劣化可能是显著的。

此外，在这种一般评价指标中，计算的处理成本非常大，并且存在处理时间随着难以实现实时处理而增加的可能性。

因此，在比较将点云数据量化了的体素数据时，基于体素数据的值的分布图案的主观特征来计算要比较的体素数据之间的分布图案的相关度。

例如，在信息处理设备中，在比较将点云数据量化而得到的体素数据时，设置了相关度计算单元，该相关度计算单元基于体素数据的值的分布图案的主观特征来计算要比较的体素数据之间的分布图案的相关度。

通过这样做，可以抑制经解码的点云数据的主观图像质量的降低。

<相关算术运算单元>

图32是示出编码设备100的相关算术运算单元201(图11)的主要配置示例的框图。如图32所示，在这种情况下，相关算术运算单元201包括特征量计算单元411、相关算术运算组设置单元412和成本计算单元413。

特征量计算单元411执行与特征量的计算有关的处理。例如，特征量计算单元411基于体素数据及其纹理，计算点云数据的主观特征量(影响外观的特征量)。特征量计算单元411将计算的特征量提供给相关算术运算组设置单元412和成本计算单元413。

要注意的是，特征量计算单元411可以具有任何配置。例如，特征量计算单元411可以包括CPU、ROM、RAM等，并且CPU可以将存储在ROM等中的程序、数据等加载到RAM中并且执行这些程序、数据，从而执行与特征量的计算有关的处理。

相关算术运算组设置单元412执行与要执行相关算数运算的体素数据组的设置有关的处理。例如，相关算术运算组设置单元412基于从特征量计算单元411提供的特征量来设置要将其分布图案的相关性与当前块进行比较的体素数据。即，相关算术运算组设置单元412针对每个块设置要比较的体素数据。相关算术运算组设置单元412将指示所设置的组的信息(组信息)和体素数据提供给成本计算单元413。

要注意的是，相关算术运算组设置单元412可以具有任何配置。例如，相关算术运算组设置单元412可以包括CPU、ROM、RAM等，并且CPU可以将存储在ROM等中的程序、数据等加载到RAM中并且执行这些程序、数据，从而执行与组的设置有关的处理。

成本计算单元413执行与成本计算相关的处理。例如，成本计算单元413针对由相关算术运算组设置单元412设置的体素数据的每个组，计算相关度(成本)。例如，成本计算单元413计算当前块的体素数据与由相关算术运算组设置单元412设置的所有体素数据之间的相关度。即，成本计算单元413针对每个块计算被设置为要比较的目标的所有体素数据的相关度。要注意的是，成本计算单元413还使用由特征量计算单元411计算的特征量来计算相关度(成本值)。

另外，成本计算单元413指定每个组中成本值最小的组(并且还获得最小成本值)。成本计算单元413将这种成本值的计算结果作为相关度提供给唯一图案设置单元202(图11)。

要注意的是，成本计算单元413可以具有任何配置。例如，成本计算单元413可以包括CPU、ROM、RAM等，并且CPU可以将存储在ROM等中的程序、数据等加载到RAM中并且执行这些程序、数据，从而执行与成本计算有关的处理。

<相关算术运算处理的流程>

接下来，将参照图33的流程图描述在图13的步骤S121中执行的相关算术运算处理的流程的示例。

当开始相关算术运算处理时，在步骤S401中，特征量计算单元411基于体素数据和纹理来计算点云数据的主观特征量。

在步骤S402中，相关算术运算组设置单元412设置要对其执行相关算术运算的一组块。

此时，相关算术运算组设置单元412可以例如将要比较的目标限制为一部分块。通过这样做，相关算术运算组设置单元412可以抑制要对其执行相关算术运算的组的数目的增加，并且可以抑制相关算术运算处理量(处理时间)的增加。

例如，相关算术运算组设置单元412可以将要对其执行相关算术运算的块的组设置成使得仅针对在空间上接近当前块(当前节点)的地方的块(节点)计算相关性。例如，相关算术运算组设置单元412可以在预定空间范围内设置要与当前块进行比较的体素数据。通常，在空间上接近的位置的块具有相对高的相关度。因此，通过以这种方式将要比较的块限制在空间上接近的地方，可以更容易地检测具有较高相关度的组，同时抑制相关算术运算的处理量(处理时间)的增加。

此外，例如，相关算术运算组设置单元412可以将要对其执行相关算术运算的组块设置成使得在八叉树图案中在高一层的层处执行相关性计算。例如，相关算术运算组设置单元412可以在比分层的体素数据的要处理的层级更高的层级中设置要与当前块进行比较的体素数据。

例如，如果要处理包括图34的A中所示的4×4×4个体素的块421，则块421包括2×2×2个体素，如同图34的B中所示的块422一样，处于高一层的层处。即，层越高，体素的数目变得越小。因此，在较高层处计算相关性可以抑制相关算术运算处理量(处理时间)的增加。

此外，例如，相关算术运算组设置单元412可以将要对其执行相关算术运算的一组块设置成使得仅针对代表性图案来计算相关度。此外，代表性图案可以是预先确定的固定图案(不会被更新的图案)。例如，相关算术运算组设置单元412可以将预定固定代表性分布图案的体素数据设置成与当前的分布块进行比较的体素数据。

当然，该代表性图案可以是可更新的。例如，可以针对每个帧更新代表性图案。例如，可以基于帧中的统计信息将代表性图案更新(为根据统计信息的图案)。此外，例如，可以基于过去的处理的统计信息将代表性图案更新(为根据统计信息的图案)。例如，相关算术运算组设置单元412可以将可更新的代表性分布图案t的体素数据设置成与当前块进行比较的体素数据。

通过以这种方式限制要比较的图案，可以抑制相关算术运算的处理量(处理时间)的增加。

返回图33，在步骤S403中，成本计算单元413计算在步骤S402中设置的每个组的相关性的成本值。要注意的是，这种计算成本值的方法可以是任何方法。例如，成本计算单元413可以通过多种方法计算每个组的成本值。例如，成本计算单元413可以通过不同的方法针对个组计算多个成本值，并且选择成本值中最小的成本值作为该组的成本值。

当完成步骤S403中的处理时，完成相关算术运算处理，并且处理返回到图13。

<成本计算处理的流程>

接下来，将参照图35的流程图描述在图33的步骤S403中执行的成本计算处理的流程的示例。

当开始成本计算处理时，在步骤S421中，成本计算单元413使用基本成本函数来计算要处理的组的成本值。作为基本成本函数，使用一般成本函数。该成本函数可以是任何函数。例如，成本函数可以是图36中的表中描述的成本函数。

在图36的表中，Hausdorff距离是用于通过从两个方向获得最大值来评估两个点组之间的最短距离的最大值的函数。通过将体素数据(点云数据)作为点组来考虑并且使用该评价函数来评价两个点组之间的距离，可以评价体素数据之间的相关性的强度。

此外，PSNR点到点是用于评估两点之间的最短距离的PSNR的函数。通过使用该评价函数来评价体素数据之间的点间距离，可以评价体素数据之间的相关性的强度。

此外，PSNR点到表面是用于评估点与平面之间的最短距离的PSNR的函数。通过使用该评价函数来评价一个体素数据的每个点与垂直于其他体素数据的每个点的法线矢量的平面之间的距离，可以评价体素数据之间的相关性的强度。

此外，Hamming距离是用于比较位串并且评估具有彼此不同的值的位的数目的函数。将体素数据视为位串，并且使用该评价函数来比较和评价两个位串，由此可以评价体素数据之间的相关性的强度。

在步骤S421中，成本计算单元413通过这些成本函数(评价函数)中的任何一个或任何组合来计算成本值。

然而，这些成本函数(评价函数)不考虑主观图像质量。因此，返回图35，在步骤S422中，成本计算单元413使用校正指标来计算要处理的组的惩罚值。惩罚值是指示相关性在主观上较弱的值。通过将该值与成本值相加，成本值增加(即，相关度被评估为更低)。

例如，如图37所示，惩罚值通过指标0至指标3来计算。在图37的A中所示的指标0的情况下，在要评估其相关性的体素数据中，在包括4×4×4个体素的块431中的2×2×2个体素(以灰色示出的体素)中X个点(0＜X≤8)或更多个点减少的情况下，设置惩罚值。

此外，例如，在图37的B中所示的指标1的情况下，在要评估其相关性的体素数据中，在包括4×4×4个体素的块431中，在4×1×1个体素(以灰色示出的体素)中X个点(0＜X≤4)或更多个点减少的情况下，设置惩罚值。

此外，例如，在图37的C中所示的指标2的情况下，在要评估其相关性的体素数据中，在包括4×4×4个体素的块431中，在4×2×1个体素(以灰色示出的体素)中X个点(0＜X≤8)或更多个点减少的情况下，设置惩罚值。

此外，例如，在图37的D中所示的指标3的情况下，在要评估其相关性的体素数据中，在包括4×4×4个体素的块431中，在4×4×1个体素(以灰色示出的体素)中X个点(0＜X≤16)或更多个点减少的情况下，设置惩罚值。

这里设置的惩罚值可以是任何值，只要该值是正值即可。该值可以根据点的减少量而变化。

即，这些指标(校正指标)分别限定了要计算相关性的强度的体素数据中的预定形状的范围。在分布图案在范围上彼此相差预定基准或更多的情况下，评价出体素数据之间的相关性(比使用基本成本函数计算的相关性的强度)较弱。

范围的形状是具有主观特征的分布图案(主观上可识别的分布图案)。例如，范围的形状可以是线、平面等。即，该校正指标是用于在要比较的体素数据中的任一个不具有明显的预定形状的分布图案的情况下将体素数据之间的相关度计算得较低的指标。换言之，该校正指标是在所有要比较的体素数据都具有有着明显形状的分布图案的情况下将体素数据之间的相关度评价得较高的指标。

例如，即使在主观分布图案(分布图案的外观形状)完全不同的情况下，在一些情况下，在上述基本成本函数中也可以将相关特性评估为强。在这种情况下，体素数据以块为单位进行合并。因此，当主观地观看时，经解码的点云数据可能具有差别很大的结构。相比之下，上述校正指标通过考虑主观特征来评估相关度。因此，可以抑制这种主观偏差的发生。因此，可以抑制经解码的点云数据的主观图像质量的降低。

要注意的是，以上描述了指标0至指标3；然而，要应用的校正指标的数目可以是任何数目。另外，每个指标的范围的形状可以是任何形状，而不限于上述示例，只要该形状具有(明显的)主观特征即可。

返回到图35，在步骤S423中，成本计算单元413基于在步骤S401中(图33)计算的主观特征量来计算要处理的组的校正值。

即，根据在整个点云数据中的要进行相关计算的块所位于的部分中包括哪个主观特征来评估相关度。

例如，在要计算相关性的块的纹理比预定基准更精细的情况下，分布图案的差异具有较大的主观影响(具有明显的外观变化)的可能性较高。因此，成本计算单元413可以将校正值计算成使得相关度值被计算得更低。例如，在这种情况下，成本计算单元413可以将正的校正值设置成使得成本值变得更大。

此外，例如，在要计算其相关性的块具有颜色峰值点的情况下，分布图案的差异具有较大主观影响(具有明显的外观变化)的可能性较高。因此，成本计算单元413可以将校正值计算成使得相关度被计算得更低。例如，在要计算其相关性的块包括具有相对于周围体素将成为峰值的颜色分量的体素的情况下，成本计算单元413可以将正的校正值设置成使得成本值变得更大。

此外，例如，在要计算其相关性的块是具有较高关注度的区域中的块的情况下，分布图案的差异具有较大主观影响的可能性较高(变化更明显)。因此，成本计算单元413可以将校正值计算成使得校正值被计算得更低。例如，在这种情况下，成本计算单元413可以将正的校正值设置成使得成本值变得更大。

此外，例如，在要计算其相关性的块是与由点云绘制的三维结构中的人脸部分对应的块的情况下，分布图案的差异具有较大的主观影响(变化更明显)的可能性较高。因此，成本计算单元413可以将校正值计算成使得相关度被计算得更低。例如，在这种情况下，成本计算单元413可以将正的校正值设置成使得成本值变得更大。

此外，例如，在要计算其相关性的块是与由点云绘制的三维结构中的边缘部分对应的块的情况下，分布图案的差异具有较大主观影响(变化更明显)的可能性高。因此，成本计算单元413可以将校正值计算成使得相关度被计算得更低。例如，在这种情况下，成本计算单元413可以将正校正值设置成使得成本值变得更大。

此外，例如，在计算相关性的块是包括由点云绘制的三维结构中的表面中包括的四个点中的至少一个点的块的情况下，成本计算单元413可以将校正值计算成使得校正值被计算得更低。例如，如果在由点云绘制的三维结构中的表面中留下四个点，则可以使用这四个点来恢复该表面。因此，成本计算单元413可以将正的校正值设置成使得在由点云绘制的三维结构的表面部分中保留至少四个点。

通过这样做，可以基于块的主观特征来校正成本值。因此，可以抑制主观变化的发生。因此，可以抑制经解码的点云数据的主观图像质量的降低。

要注意的是，由成本计算单元413设置了校正值的主观特征可以是任何特征，而不限定于上述示例。此外，由成本计算单元413设置校正值的主观特征的数目可以是任何数目。此外，由成本计算单元413针对上述主观特征设置的校正值的每个值可以是任何值。例如，可以设置与主观特征对应的值。

返回图35，在步骤S424中，成本计算单元413使用在各个步骤S421至S423中计算的值来计算与要处理的组对应的最终成本值(最终成本值)。即，成本计算单元413通过考虑主观特征来计算最终成本值。因此，可以抑制经解码的点云数据的主观图像质量的降低。

在步骤S425中，成本计算单元413确定是否存在与当前块对应的未处理组。在确定存在未处理组的情况下，将未处理组设置成新的处理目标，并且处理返回到步骤S421。即，针对与当前块对应的每个组来执行步骤S421至S425中的处理。

此外，在步骤S425中确定已经处理了与当前块对应的所有组的情况下，处理进行到步骤S426。

在步骤S426中，成本计算单元413获得如上所述计算的各组的最终成本值中的最小值(最小成本值)，并且指定与最小成本值对应的组。

当步骤S426中的处理完成时，成本计算处理完成，并且处理返回到图33。

<唯一图案的设置>

例如，如参照图11所述，如上所述计算的成本值被提供给唯一图案设置单元202，并且该成本值用于设置唯一图案。例如，在确定成本值足够小(分布图案彼此一致或近似)的情况下，唯一图案设置单元202使用体素数据的组的分布图案来设置唯一图案。

此时，唯一图案的设置方法可以是任何方法。例如，唯一图案设置单元202可以使用存在频率高的分布图案作为唯一图案。例如，如图38的A中所示，假设块451和块452被确定为具有近似分布图案。这里，假设块452的分布图案具有比块451的分布图案更高的出现频率，则唯一图案设置单元202采用块452的分布图案作为唯一图案，如图38的B所示。

另外，例如，唯一图案设置单元202可以基于预定基准来评价分布图案，并且可以使用具有较高评价值(得分)的分布图案作为唯一图案。例如，可以预先确定用作模型的分布图案，并且可以使用与模型的分布图案最接近的分布图案作为唯一图案。例如，假设块451的分布图案最接近模型的分布图案，则唯一图案设置单元202采用块451的分布图案作为唯一图案，如图38的C所示。

另外，例如，唯一图案设置单元202可以使用每个分布图案将通过预定方法得到的新的分布图案设置成唯一图案。例如，唯一图案设置单元202采用通过将块451的分布图案和块452的分布图案进行混合而获得的新的分布图案作为唯一图案，如图38的D中所示的块453所示。

通过使用以这种方式计算的相关度的分布图案来设置唯一图案，可以抑制经解码的点云数据的主观图像质量的降低。

<早终止>

上述成本值计算处理可以在根据所计算的成本值的一部分来计算所有成本值之前终止。

例如，在使用基本成本函数计算的成本值等于或大于预定基准的情况下，可以确定该组的分布图案的相关特性低(分布图案彼此不一致或不近似)，并且可以省略惩罚值、校正值等的计算。此外，例如，在所计算的惩罚值等于或大于预定基准的情况下，可以确定该组的分布图案的相关特性低(分布图案彼此不一致或不近似)，并且可以省略校正值的计算。

此外，例如，在当前块的某一组的计算的最终成本值等于或小于预定基准的情况下，可以确定该组的分布图案的相关特性足够高(该组是具有彼此一致或近似的分布图案的组)，并且可以省略当前块的其他组的成本值的计算。

<成本值计算处理的流程>

参照图39的流程图，将描述在这种情况下在图33的步骤S403中执行的成本计算处理的流程的示例。

当开始成本计算处理时，在步骤S441中，成本计算单元413使用基本成本函数来计算要处理的组的成本值。

在步骤S442中，成本计算单元413确定成本值是否小于预先确定的预定阈值TH_MAX_0。在确定成本值小于预先确定的预定阈值TH_MAX_0的情况下，处理进行到步骤S443。

在步骤S443中，成本计算单元413使用校正指标来计算要处理的组的惩罚值。

在步骤S444中，成本计算单元413确定惩罚值是否小于预先确定的预定阈值TH_MAX_1。在确定成本值小于预先确定的预定阈值TH_MAX_1的情况下，处理进行到步骤S445。

在步骤S445中，成本计算单元413基于在步骤S401(图33)中计算出的主观特征量来计算要处理的组的校正值。

在步骤S446中，成本计算单元413使用在各个步骤S441、S443和S445中计算的值来计算与要处理的组对应的最终成本值(最终成本值)。即，成本计算单元413通过考虑主观特征来计算最终成本值。因此，可以抑制经解码的点云数据的主观图像质量的降低。

在步骤S447中，成本计算单元413确定最终成本值是否大于预先确定的预定阈值TH_MIN。在确定最终成本值小于预先确定的预定阈值TH_MIN的情况下，处理进行到步骤S449。

此外，在步骤S442中确定在步骤S441中计算的成本值等于或大于阈值TH_MAX_0的情况下，处理进行到步骤S448。此外，在步骤S444中确定在步骤S443中计算的惩罚值等于或大于阈值TH_MAX_1的情况下，处理进行到步骤S448。

在步骤S448中，成本计算单元413确定在要处理的组的分布图案之间没有相关特性(分布图案彼此不一致或不近似)。当完成步骤S448中的处理时，处理进行到步骤S449。

在步骤S449中，成本计算单元413确定是否存在与当前块对应的未处理组。在确定存在未处理组的情况下，将未处理组设置成新的处理目标，并且处理返回到步骤S441。即，针对与当前块对应的每个组执行步骤S441至S449中的处理。

此外，在步骤S449中确定已经处理了与当前块对应的所有组的情况下，处理进行到步骤S450。

在步骤S450中，成本计算单元413获得如上所述计算的各组的最终成本值中的最小值(最小成本值)，并且指定与最小成本值对应的组。

当步骤S450中的处理完成时，成本计算处理完成，并且处理返回到图33。

此外，在步骤S447中确定了最终成本值等于或小于阈值TH_MIN的情况下，处理进行到步骤S451。

在步骤S451中，成本计算单元413确定针对与最终成本值对应的组分布图案的相关特性足够高(分布图案彼此一致或近似)，并且(在计算所有组的最终成本值之前)将成本值设置成最小成本值。当完成步骤S451中的处理时，完成成本计算处理，并且处理返回到图33。

通过以上述方式根据计算的成本值适当省略具有低有用性的处理，可以抑制成本值计算处理的处理量(处理时间)的增加。

<相关算术运算的应用示例>

在上文中，描述了信号串生成单元114通过在图9中所示的表中的id＝1的行中描述的方法来对体素数据进行编码的情况；然而，应用了本技术的相关算术运算也可以应用于通过任何方法对体素数据进行编码的情况，只要该方法执行相关算术运算即可。

例如，应用了本技术的相关算数运算可以以与上述示例中的方式类似的方式应用于在通过图9所示的表中的id＝1至6的行中的任何一行中描述的方法对体素数据进行编码的情况。另外，应用了本技术的相关算数运算还可以以与上述示例中的方式类似的方式应用于组合使用八叉树编码、DAG处理等的情况。此外，应用了本技术的相关算数运算还可以与上述示例中的方式类似的方式应用于发送预测残差的情况。

此外，在上文中，给出了应用本技术的相关算术运算被应用于点云数据的编码的描述；然而，应用本技术的上述相关算术运算可以应用于使用相关算术运算的任何处理。

例如，应用本技术的相关算术运算还可以应用于在点云的配准中执行的相关算术运算。点云的配准(Registration)例如用于合成从多个视点捕获的点云(Point clouds)、合成在时间方向上连续的点云数据等。

对于点云的配准(registration)，使用搜索算法来确定位移量，使得每个点云的位置信息的误差最小化。作为此时使用的误差的指标，可以应用应用了本技术的相关算术运算。

例如，如图40的A所示，在如图40的B的示例那样进行配准以使点云471和点云472移动以对准其位置的情况下，通过应用应用了本技术的相关算术运算并且使用允许保持兔子的身体的表面形状的指标，可以抑制主观图像质量的降低。

<图像处理设备>

图41是示出作为应用了本技术的信息处理设备的实施方式的图像处理设备的主要配置示例的框图。图41中所示的图像处理设备500执行点云数据(或体素数据)之间的配准(Registration)。此时，编码设备100执行应用了本技术的相关算术运算。

如图41所示，图像处理设备包括位置设置单元501、相关算术运算单元502和确定单元503。

位置设置单元501设置要进行配准的每个点云数据的位置。

相关算术运算单元502计算在由位置设置单元501设置的位置关系中要进行配准的每个点云数据的分布图案的相关特性的强度(相关度)作为成本值。

确定单元503基于由相关算术运算单元502计算的成本值来确定使每个点云数据变得最接近的位置。

位置设置单元501更新点云数据(或体素数据)的位置，并且相关算术运算单元502再次计算成本值。位置设置单元501和相关算术运算单元502对点云数据移动到的所有位置重复上述处理。之后，确定单元503从各个位置的成本值中获得最小成本值(即，点云彼此最接近的位置)。

在这样的图像处理设备500中，相关算术运算单元502执行应用了上述本技术的相关算数运算，并且根据体素数据的值的分布图案的主观特征，计算要比较的体素数据之间的分布图案的相关度。由此，可以在抑制主观图像质量的降低的同时执行配准。

<配准处理的流程>

将参照图42的流程图描述由如上所述的图像处理设备500执行的配准处理的流程的示例。

当配准处理开始时，在步骤S501中，位置设置单元501设置要进行配准的每个点云的位置。

在步骤S502中，相关算术运算单元502以与上面参照图32至39描述的情况类似的方式针对要比较的点云之间的误差(位置偏差的大小)计算成本值。

在步骤S503中，位置设置单元501确定是否已经针对点云可以移动到的所有位置计算了成本值。在确定存在未处理位置的情况下，处理返回到步骤S501。即，对于点云可以移动到的所有位置执行步骤S501到步骤S503中的处理。

此外，在步骤S503中确定已经针对所有位置计算了成本值的情况下，处理进行到步骤S504。

在步骤S504中，确定单元503从由相关算术运算单元502计算的成本值中获得最小成本值，并且指定点云变得彼此最接近的位置。

当完成步骤S504中的处理时，完成配准处理。

如上所述，通过应用应用了本技术的相关算术运算，可以通过考虑体素数据的值的分布图案的主观特征来计算成本值。因此，可以在抑制主观图像质量的降低的同时执行配准。

<5.其他>

<软件>

上述一系列处理可以通过硬件或软件来执行。此外，还可以使一部分处理由硬件执行，而另一部分处理由软件执行。在通过软件执行一系列处理的情况下，将配置软件的程序安装在计算机中。此处，计算机包括例如并入专用硬件中的计算机、能够通过安装各种程序来执行各种功能的通用个人计算机等。

图43是示出借助于程序执行上面描述的一系列处理的计算机的硬件的配置示例的框图。

在图43所示的计算机900中，通过总线904将CPU(中央处理单元)901、ROM(只读存储器)902和RAM(随机存取存储器)903彼此耦接。

输入-输出接口910还耦接至总线904。输入单元911、输出单元912、存储单元913、通信单元914和驱动器915耦接至输入-输出接口910。

输入单元911包括例如键盘、鼠标、麦克风、触摸板、输入终端等。输出单元912包括例如显示器、扬声器、输出终端等。存储单元913包括例如硬盘、RAM盘、非易失性存储器等。通信单元914包括例如网络接口。驱动器915驱动可移除介质921如磁盘、光盘、磁光盘或半导体存储器。

在如上所述配置的计算机中，例如，CPU 901经由输入-输出接口910和总线904将存储在存储单元913中的程序加载到RAM 903中，并且执行该程序，从而执行上述一系列处理。RAM 903还适当地保存CPU 901执行各种处理所需的数据等。

例如，要由计算机(CPU 901)执行的程序可以被记录在例如作为封装介质等的可移除介质921中并且被应用。在这种情况下，通过将可移除介质921安装在驱动器915中，可以经由输入-输出接口910将程序安装在存储单元913中。此外，还可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供程序。在这种情况下，程序可以由通信单元914接收并且被安装在存储单元913上。替选地，程序可以被预先安装在ROM 902、存储单元913等上。

<补充>

本技术的实施方式不限于上述实施方式，并且在不脱离本技术的范围的情况下可以进行各种修改。

例如，本技术可以实现为配置设备或系统的任何配置，例如，作为系统LSI(大规模集成)等的处理器、使用多个处理器等的模块、使用多个模块等的单元、其中还向单元添加另一功能的集合等(即，一部分设备的配置)。

要注意的是，在本说明书中，系统是指一组多个部件(装置、模块(部件)等)，并且所有部件是否在同一外壳中是无关紧要的。因此，容纳在单独的壳体中并且经由网络耦接的多个设备以及包括容纳在单个壳体中的多个模块的设备都是系统。

此外，上述处理单元可以由任何配置来实现，只要该配置具有针对处理单元描述的功能即可。例如，处理单元可以包括任何电路、LSI、系统LSI、处理器、模块、单元、集合、设备、装置、系统等。另外，可以对上述中的多个进行组合。例如，可以对诸如多个电路、多个处理器等的相同类型的配置进行组合。例如，可以对诸如电路和LSI等的不同类型的配置进行组合。

此外，例如，被描述为一个设备(或处理单元)的配置可以被划分并且被配置成多个设备(或处理单元)。相反，以上被描述为多个设备(或处理单元)的配置可以被共同配置成一个设备(处理单元)。此外，不言而喻，可以将除了上述配置之外的配置添加到每个设备(或每个处理单元)的配置中。此外，如果系统整体的配置、操作等基本相同，则一个设备(或处理单元)的配置的一部分可以被包括在另一设备(或另一处理单元)的配置中。

另外，例如，本技术可以采用云计算的配置，在该配置中，一个功能经由网络由多个设备共享，并且处理被相关联地执行。

此外，例如，上述程序可以由任何设备执行。在这种情况下，该设备可以具有必要的功能(功能块等)，从而可以获得必要的信息。

此外，可以使用一个装置执行上述流程图中描述的各个步骤，并且还可以将各个步骤分配给多个设备以用于执行。此外，在一个步骤中包括多个处理的情况下，可以使用一个设备来执行一个步骤中包括的多个处理，并且还可以将多个处理分配给多个设备以用于执行。换言之，包括在一个步骤中的多个处理可以作为多个步骤的处理而执行。相反，被描述为多个步骤的处理可以作为一个步骤来共同执行。

由计算机执行的程序可以被执行，使得描述程序的步骤中的处理根据本说明书中描述的顺序以时间顺序的方式被执行，或者可以在诸如进行调用时的所需定时处被并行地或单独地执行。即，只要不存在不一致性，则可以以与上述顺序不同的顺序执行各个步骤的处理。此外，描述该程序的步骤中的处理可以与另一程序的处理并行执行，或者可以与另一程序的处理组合执行。

只要不引起不一致，本说明书中描述的多个本技术中可以独立地和单独地实现。不言而喻，本技术中的任何两个或更多个可以组合地实现。例如，在任何实施方式中描述的本技术的一部分或全部可以与在另一实施方式中描述的本技术的一部分或全部组合地实现。此外，上述本技术中的任何技术的一部分或全部可以与未在以上描述的另一技术组合地实现。

要注意的是，本技术也可以按如下配置。

(1)一种信息处理设备，包括：

相关信息生成单元，其使用体素数据的值的分布图案的相关性来生成对所述体素数据进行编码而得到的相关信息，所述体素数据是将点云数据量化而得到的；以及

编码单元，其对由所述相关信息生成单元生成的相关信息进行编码，并且生成包括所述相关信息的比特流。

(2)根据(1)所述的信息处理设备，其中，所述相关信息生成单元对作为由所述体素数据表示的空间的部分区域的每个块的体素数据进行编码，以生成所述相关信息。

(3)根据(2)所述的信息处理设备，其中，

所述相关信息生成单元将作为要处理的块的当前块的体素数据转换成索引，所述索引被分配给与所述当前块的体素数据的值的分布图案一致或近似的唯一图案，所述唯一图案被包括在作为使用通过将点云数据量化而得到的体素数据生成的并且作为体素数据的值的分布图案的唯一图案中，并且，

所述相关信息生成单元生成包括所述索引的相关信息。

(4)根据(3)所述的信息处理设备，其中，

所述相关信息生成单元保存指示所述唯一图案与所述索引之间的对应关系的信息，

所述相关信息生成单元基于所述信息来指定分配给与所述当前块的体素数据的值的分布图案一致或近似的唯一图案的索引，并且

所述相关信息生成单元将所述当前块的体素数据转换成所指定的索引。

(5)根据(4)所述的信息处理设备，其中，所述编码单元对由所述相关信息生成单元保存的信息进行编码，并且将所述信息包括在所述比特流中。

(6)根据(4)或(5)所述的信息处理设备，还包括：

索引分配单元，其向使用将所述点云数据量化而得到的体素数据生成的唯一图案分配索引，其中，

所述相关信息生成单元被配置成保存指示由所述索引分配单元分配的唯一图案与所述索引之间的对应关系的信息。

(7)根据(6)所述的信息处理设备，还包括：

唯一图案设置单元，其使用块之间的体素数据的值的分布图案的相关性的强度，根据所述分布图案是彼此否一致或近似来对所述块进行分类，并且基于分类结果来设置唯一图案，其中，

所述索引分配单元被配置成将所述索引分配给由所述唯一图案设置单元设置的唯一图案。

(8)根据(7)所述的信息处理设备，还包括：

相关算术运算单元，其计算块之间的体素数据的值的分布图案的相关性的强度，其中，

所述唯一图案设置单元被配置成使用由所述相关算术运算单元计算的块之间的分布图案的相关性的强度来对所述块进行分类，并且基于分类结果来设置所述唯一图案，以及

所述相关信息生成单元被配置成基于所述分类结果来指定与所述当前块的体素数据的值的分布图案一致或近似的唯一图案。

(9)根据(2)至(8)中任一项所述的信息处理设备，其中，

所述相关信息生成单元将作为要处理的块的当前块的体素数据转换成参考空间坐标信息，所述参考空间坐标信息是指示位于当前块的周围的周围块中的、其体素数据的值的分布图案与所述当前块的值的分布图案一致或近似的周围块的位置的信息，并且

所述相关信息生成单元生成包括所述参考空间坐标信息的相关信息。

(10)根据(9)所述的信息处理设备，其中，所述参考空间坐标信息包括要参考的空间坐标信息，所述要参考的空间坐标信息是指示所述周围块的绝对位置的信息。

(11)根据(9)所述的信息处理设备，其中，所述参考空间坐标信息包括参考矢量，所述参考矢量是指示所述周围块相对于所述当前块的相对位置的信息。

(12)根据(9)至(11)中任一项所述的信息处理设备，还包括：

参考空间坐标信息设置单元，其基于块之间的体素数据的值的分布图案的相关性的强度来指定其分布图案与所述当前块的分布图案一致或近似的周围块，并且设置与所指定的周围块对应的参考空间坐标信息，其中，

所述相关信息生成单元被配置成将所述当前块的体素数据转换成由所述参考空间坐标信息设置单元设置的参考空间坐标信息，并且生成所述相关信息。

(13)根据(12)所述的信息处理设备，还包括：

相关算术运算单元，其计算块之间的体素数据的值的分布图案的相关性的强度，其中，

所述参考空间坐标信息设置单元被配置成基于由所述相关算术运算单元计算的块之间的分布图案的相关性的强度来设置所述参考空间坐标信息。

(14)根据(2)至(13)中任一项所述的信息处理设备，其中，

所述相关信息生成单元将作为要处理的块的当前块的体素数据转换成被分配给作为预先准备的体素数据的值的分布图案的唯一图案中的、与所述当前块的体素数据的值的分布图案一致或近似的唯一图案的索引，并且

所述相关信息生成单元生成包括所述索引的相关信息。

(15)根据(14)所述的信息处理设备，其中，

所述相关信息生成单元保存指示唯一图案与索引之间的对应关系的信息，

所述相关信息生成单元基于所述信息来指定被分配给与所述当前块的体素数据的值的分布图案一致或近似的唯一图案的索引，并且

所述相关信息生成单元将所述当前块的体素数据转换成所指定的索引。

(16)根据(15)所述的信息处理设备，还包括：

相关算术运算单元，其计算所述当前块的体素数据的值的分布图案与唯一图案之间的相关性的强度，其中，

所述相关信息生成单元被配置成基于所述当前块的分布图案与由所述相关算术运算单元计算的唯一图案之间的相关性的强度来指定与所述当前块的体素数据的值的分布图案一致或近似的唯一图案。

(17)根据(2)至(16)中任一项所述的信息处理设备，其中，所述相关信息生成单元生成包括时间信息的相关信息，所述时间信息指示与在获得与作为要处理的块的当前块的体素数据的值的分布图案的相关性的强度时要参考的帧对应的帧。

(18)根据(2)至(17)中任一项所述的信息处理设备，其中，所述相关信息生成单元生成所述相关信息，所述相关信息包括与在确定与作为要处理的块的当前块的体素数据的值的分布图案的相关性的强度时要参考的体素数据的值的分布图案的旋转相关的信息、与要参考的体素数据的值的分布图案的反转相关的信息、或者两者。

(19)根据(2)至(18)中任一项所述的信息处理设备，其中，所述相关信息生成单元使用位于作为要处理的块的当前块的周围的周围块的相关信息来生成所述当前块的相关信息。

(20)根据(2)至(19)中任一项所述的信息处理设备，还包括：

八叉树编码单元，其对将所述点云数据量化而得到的体素数据进行八叉树编码和分层，其中，

所述相关信息生成单元被配置成针对由所述八叉树编码单元分层的体素数据的最低层处的节点生成相关信息，并且

所述编码单元被配置成对包括由所述八叉树编码单元分层的体素数据的每个节点以及由所述相关信息生成单元生成的相关信息的信号串进行编码。

(21)根据(20)所述的信息处理设备，还包括：

有效定向图处理单元，其执行有效定向图处理，所述有效定向图处理使用自相关对由所述八叉树编码单元分层的体素数据中的、从比最低层高一层的层到预定层处的节点进行编码，其中，

所述编码单元被配置成对还包括经过所述有效定向图处理的节点的信号串进行编码。

(22)根据(2)至(21)中任一项所述的信息处理设备，还包括：

预测残差编码单元，其对预测残差进行编码，所述预测残差是作为要处理的块的当前块的体素数据的值的分布图案与和所述当前块的相关信息对应的体素数据的值的分布图案之间的差，其中，

所述编码单元被配置成对包括由所述相关信息生成单元生成的相关信息以及由所述预测残差编码单元对所述预测残差进行编码而获得的系数数据的信号串进行编码。

(23)根据(2)至(22)中任一项所述的信息处理设备，其中，所述编码单元省略对由所述相关信息生成单元针对其生成相关信息的块的属性信息的编码。

(24)根据(2)至(23)中任一项所述的信息处理设备，其中，所述编码单元通过与和所述相关信息对应的、要参考的块的属性信息的编码方法相同的编码方法，对由所述相关信息生成单元针对其生成相关信息的块的属性信息进行编码。

(25)根据(2)至(24)中任一项所述的信息处理设备，其中，所述编码单元通过与和所述相关信息对应的、要参考的块的属性信息的滤波方法相同的滤波方法，对由所述相关信息生成单元针对其生成相关信息的块的属性信息进行滤波。

(26)一种信息处理方法，包括：

使用体素数据的值的分布图案的相关性对所述体素数据进行编码来生成相关信息，所述体素数据通过将点云数据量化而得到；以及

对所生成的相关信息进行编码，并且生成包括所述相关信息的比特流。

(31)一种信息处理设备，包括：

解码单元，其对包括相关信息的比特流进行解码，并且提取所述相关信息，所述相关信息是通过使用体素数据的值的分布图案的相关性、从将点云数据量化而得到的体素数据进行编码而得到的；以及

体素数据生成单元，其生成与由所述解码单元从所述比特流中提取的所述相关信息对应的体素数据。

(32)根据(31)所述的信息处理设备，其中，

所述解码单元提取针对由所述体素数据表示的空间的部分区域的每个块而设置的相关信息，并且

所述体素数据生成单元基于每个块的相关信息，生成每个块的体素数据。

(33)根据(32)所述的信息处理设备，其中，

所述相关信息包括被分配给唯一图案中的、与作为要处理的块的当前块的体素数据的值的分布图案一致或近似的唯一图案的索引，所唯一图案是体素数据的值的分布图案并且是使用将所述点云数据量化而得到的体素数据生成的，

所述比特流还包括指示所述唯一图案与所述索引之间的对应关系的信息，

所述解码单元被配置成对所述比特流进行解码，并且提取所述相关信息以及指示所述唯一图案与所述索引之间的对应关系的信息，并且

所述体素数据生成单元被配置成使用指示所述唯一图案与所述索引之间的对应关系的信息来指定与由所述解码单元从所述比特流中提取的当前块的相关信息的索引对应的唯一图案，并且使用所指定的唯一图案来生成所述当前块的体素数据。

(34)根据(32)或(33)所述的信息处理设备，其中，

所述相关信息包括参考空间坐标信息，所述参考空间坐标信息是指示位于作为要处理的块的当前块的周围的周围块中的、其体素数据的值的分布图案与所述当前块的体素数据的值的分布图案一致或近似的周围块的位置的信息，并且

所述数据生成单元被配置成使用与包括在由所述解码单元从所述比特流中提取的当前块的相关信息中的参考空间坐标信息对应的位置处的块的体素数据来生成所述块的体素数据。

(35)根据(32)至(34)中任一项所述的信息处理设备，其中，

所述相关信息包括被分配给作为预先准备的体素数据的值的分布图案的唯一图案中的、与作为要处理的块的当前块的体素数据的值的分布图案一致或近似的唯一图案的索引，并且

所述数据生成单元被配置成指定与包括在由所述解码单元从所述比特流中提取的当前块的相关信息中的索引对应的唯一图案，并且使用所指定的唯一图案来生成所述当前块的体素数据。

(36)根据(32)至(35)中任一项所述的信息处理设备，其中，

所述相关信息包括时间信息，所述时间信息指示与当获得与作为要处理的块的当前块的体素数据的值的分布图案的相关性的强度时要参考的帧对应的帧，以及

所述体素数据生成单元被配置成基于包括在由所述解码单元从所述比特流中提取的当前块的相关信息中的时间信息来指定与要参考的帧对应的帧。

(37)根据(32)至(36)中任一项所述的信息处理设备，其中，

所述相关信息包括在获得在与作为要处理的块的当前块的体素数据的值的分布图案的相关性的强度时与要参考的体素数据的值的分布图案的旋转相关的信息、与要参考的体素数据的值的分布图案的反转相关的信息、或者两者，

所述体素数据生成单元被配置成基于由所述解码单元从所述比特流中提取的当前块的相关信息中包括的与旋转相关的信息、与反转相关的信息、或者两者，对要参考的体素数据的值的分布图案进行旋转、反转、或者旋转并反转。

(38)根据(32)至(37)中的任何一项的信息处理设备，其中，所述体素数据生成单元使用位于作为要被处理的块的当前块的周围处的周围块的相关信息来生成所述当前块的相关信息，并且使用所生成的相关信息来生成所述当前块的体素数据。

(39)根据(32)至(38)中任一项所述的信息处理设备，其中，

所述比特流还包括对体素数据进行八叉树编码而得到的分层的体素数据的每个节点的系数数据，所述体素数据是将点云数据量化而得到的，

所述解码单元被配置成对所述比特流进行解码，并且还提取所述分层的体素数据的每个节点的系数数据，并且

还设置有八叉树解码单元，其对由所述解码单元从所述比特流中提取的分层的体素数据的每个节点执行八叉树解码。

(40)根据(39)所述的信息处理设备，其中，

所述比特流还包括通过执行有效定向图处理而获得的有效定向图数据，所述有效定向图处理使用自相关对从所述分层的体素数据的比最低层高一层的层到预定层的节点进行编码，

所述解码单元被配置成对所述比特流进行解码，并且进一步提取所述有效定向图数据，并且

还设置有有效定向图反向处理单元，其执行有效定向图反向处理，所述有效定向图反向处理使用自相关对由所述解码单元从所述比特流中提取的有效定向图数据执行解码。

(41)根据(32)至(40)中任一项所述的信息处理设备，其中，

所述比特流还包括对预测残差进行编码而得到的系数数据，所述预测残差是将所述点云数据量化而得到的体素数据的值的分布图案与和所述相关信息对应的体素数据的值的分布图案之间的差，

所述解码单元被配置成对所述比特流进行解码并且进一步提取所述系数数据，

还设置有预测残差解码单元，其对由所述解码单元从所述比特流中提取的系数数据进行解码，并且

所述体素数据生成单元使用与由所述解码单元从所述比特流中提取的相关信息对应的体素数据的值的分布图案以及由所述预测残差解码单元从所述系数数据解码并恢复的预测残差，生成体素数据。

(42)根据(32)至(41)中任一项所述的信息处理设备，其中，所述体素数据生成单元使用与由所述解码单元从所述比特流中提取的相关信息对应的要参考的块的属性信息，恢复作为要被处理的块的当前块的属性信息。

(43)根据(32)至(42)中任一项所述的信息处理设备，其中，所述体素数据生成单元使用与由所述解码单元从所述比特流中提取的相关信息对应的、要参考的块的属性信息的编码方法，对作为要被处理的块的当前块的属性信息进行解码。

(44)根据(32)至(43)中任一项所述的信息处理设备，其中，所述体素数据生成单元使用与由所述解码单元从所述比特流中提取的相关信息对应的、要参考的块的属性信息的滤波方法，对作为要被处理的块的当前块的属性信息进行滤波。

(45)一种信息处理方法，包括：

使用体素数据的值的分布图案的相关性对包括相关信息的比特流进行解码并且提取所述相关信息，所述相关信息是通过对将点云数据量化而得到的体素数据进行编码而获得的；以及

生成与从所述比特流中提取的相关信息对应的体素数据。

(101)一种信息处理设备，包括相关度计算单元，所述相关度计算单元在比较将点云数据量化而得到的体素数据时，基于所述体素数据的值的分布图案的主观特征来计算要比较的体素数据之间的分布图案的相关度。

(102)根据(101)所述的信息处理设备，其中，所述相关度计算单元针对作为由所述体素数据表示的空间的部分区域的每个块计算所述相关度。

(103)根据(102)所述的信息处理设备，其中，

所述相关度计算单元在所有要比较的体素数据都具有预定形状的分布图案的情况下，将所述相关度计算得较高，并且

所述相关度计算单元在要比较的体素数据中的一个或更多个不具有所述预定形状的分布图案的情况下，将所述相关度计算得较低。

(104)根据(103)所述的信息处理设备，其中，所述预定形状是线或平面。

(105)根据(102)至(104)中任一项所述的信息处理设备，还包括：

特征量计算单元，其计算由点云绘制的三维结构的特征量，其中，

所述相关度计算单元基于由所述特征量计算单元计算的特征量来计算所述相关度。

(106)根据(105)所述的信息处理设备，其中，所述相关度计算单元基于由所述特征量计算单元计算的特征量，针对具有比预定基准更精细的纹理的块，将所述相关度计算得较低。

(107)根据(105)或(106)所述的信息处理设备，其中，所述相关度计算单元基于由所述特征量计算单元计算的特征量，针对包括具有作为相对于周围体素的峰值的颜色分量的体素的块，将所述相关度计算得较低。

(108)根据(105)至(107)中任何一项所述的信息处理设备，其中，所述相关度计算单元基于由所述特征量计算单元计算的特征量，针对具有较高关注度的区域中的块，将所述相关度计算得较低。

(109)根据(105)至(108)中任一项所述的信息处理设备，其中，所述相关度计算单元基于由所述特征量计算单元计算的特征量，针对与由点云绘制的三维结构中的人脸部分对应的块，将所述相关度计算得较低。

(110)根据(105)至(109)中任一项所述的信息处理设备，其中，所述相关度计算单元基于由所述特征量计算单元计算的特征量，针对与由点云绘制的三维结构中的边缘部分对应的块，将所述相关度计算得较低。

(111)根据(105)至(110)中任一项所述的信息处理设备，其中，所述相关度计算单元基于由所述特征量计算单元计算的特征量，针对包括构成由点云绘制的三维结构中的表面的四个点中的一个或更多个点的块，将所述相关度计算得较低。

(112)根据(102)至(111)中任一项所述的信息处理设备，其中，所述相关度计算单元使用成本函数针对要比较的体素数据之间的相关性g来计算成本值，并且基于所述分布图案的主观特征来校正所计算的成本值，以计算要比较的体素数据之间的相关度。

(113)根据(112)所述的信息处理设备，其中，所述成本函数是Hausdorff距离。

(114)根据(112)或(113)所述的信息处理设备，其中，所述成本函数是PSNR点到点。

(115)根据(112)至(114)中任一项所述的信息处理设备，其中，所述成本函数是PSNR点到表面。

(116)根据(112)至(115)中任一项所述的信息处理设备，其中，所述成本函数是Hamming距离。

(117)根据(102)至(116)中任一项所述的信息处理设备，还包括：

设置单元，其设置要与作为要处理的块的当前块进行比较的体素数据，其中，

所述相关度计算单元计算所述当前块的体素数据与由所述设置单元设置的所有体素数据之间的相关度。

(118)根据(117)所述的信息处理设备，其中，所述设置单元在预定空间范围内设置要与所述当前块进行比较的体素数据。

(119)根据(117)或(118)所述的信息处理设备，其中，所述设置单元在比分层的体素数据中的要处理的层级更高的层级中设置要与所述当前块进行比较的体素数据。

(120)根据(117)至(119)中任一项所述的信息处理设备，其中，所述设置单元将具有预定固定代表性模式的分布图案的体素数据设置成要与所述当前块进行比较的体素数据。

(121)根据(117)至(120)中任一项所述的信息处理设备，其中，所述设置单元将作为可更新的代表性图案的体素数据设置成要与所述当前块进行比较的体素数据。

(122)根据(117)至(121)中任一项所述的信息处理设备，其中，所述相关度计算单元针对由所述设置单元设置的每个体素数据通过多种方法顺序地计算所述相关度，并且在确定通过所述方法中的任何一种计算的相关度低于预定基准的情况下，所述相关度计算单元确定被比较的体素数据的分布图案与所述当前块的分布图案不一致或不近似，并且停止对所述体素数据的相关度的计算。

(123)根据(117)至(122)中任一项所述的信息处理设备，其中，所述相关度计算单元针对由所述设置单元设置的每个体素数据通过多种方法顺序地计算所述相关度，并且在确定通过所述方法中的任何一种计算的相关度高于预定基准的情况下，所述相关度计算单元确定被比较的体素数据的分布图案与所述当前块的分布图案一致或近似，并且停止对所述当前块的相关度的计算。

(124)根据(102)至(123)中任一项所述的信息处理设备，还包括唯一图案设置单元，所述唯一图案设置单元基于由所述相关度计算单元计算的相关度来确定要比较的体素数据的分布图案是否彼此一致或近似，并且在要比较的体素数据的分布图案被确定为彼此一致或近似的情况下，所述唯一图案设置单元设置唯一图案，所述唯一图案是与要比较的体素数据中的每一个的分布图案一致或近似的分布图案。

(125)根据(124)所述的信息处理设备，其中，所述唯一图案设置单元将要比较的体素数据中的、具有最高出现频率的体素数据的分布图案设置成所述唯一图案。

(126)根据(124)或(125)所述的信息处理设备，其中，所述唯一图案设置单元将要比较的体素数据中的、最接近预先确定的预定分布图案的体素数据的分布图案设置成所述唯一图案。

(127)根据(124)至(126)中任一项所述的信息处理设备，其中，所述唯一图案设置单元将使用要比较的体素数据中的每一个的分布图案通过预定方法得到的新的分布图案设置成所述唯一图案。

(128)根据(102)至(127)中任一项所述的信息处理设备，还包括位置设置单元，所述位置设置单元基于由所述相关度计算单元计算的相关度设置要比较的体素数据的位置，以使所述位置彼此更接近。

(129)一种信息处理方法，包括：在比较将点云数据量化而得到的体素数据时，基于所述体素数据的值的分布图案的主观特征来计算要比较的体素数据之间的分布图案的相关度。

附图标记的描述

100编码设备，101控制器，111预处理单元，112边界框设置单元，113体素设置单元，114信号串生成单元，115编码单元，201相关算术运算单元，202唯一图案设置单元，203索引分配单元，204相关信息生成单元，221相关算术运算单元，222参考空间坐标信息设置单元，223相关信息生成单元，241相关算术运算单元，242相关信息生成单元，261八叉树编码单元，262DAG处理单元，281相关信息生成单元，282算术运算单元，283预测残差编码单元，300解码设备，301解码单元，302体素数据生成单元，303点云处理单元，321解码单元，322体素数据生成单元，341解码单元，342体素数据生成单元，361解码单元，362DAG反向处理单元，363八叉树解码单元，364体素数据生成单元，381解码单元，382预测残差解码单元，383体素数据生成单元，391唯一图案生成单元，392算术运算单元，411特征量计算单元，412相关算术运算组设置单元，413成本计算单元，500图像处理设备，501位置设置单元，502成本计算单元，503确定单元，900计算机。

Claims (20)

1.一种信息处理设备，其包括相关度计算单元，所述相关度计算单元在比较对点云数据进行量化而产生的体素数据时，基于所述体素数据的值的分布图案的主观特征来计算要比较的体素数据之间的分布图案的相关度。

2.根据权利要求1所述的信息处理设备，其中，所述相关度计算单元针对作为由所述体素数据表示的空间的部分区域的每个块来计算所述相关度。

3.根据权利要求2所述的信息处理设备，其中，

在所有要比较的体素数据都具有预定形状的分布图案的情况下，所述相关度计算单元计算出的所述相关度较高，并且

在要比较的体素数据中的一个或更多个不具有所述预定形状的分布图案的情况下，所述相关度计算单元计算出的所述相关度较低。

4.根据权利要求3所述的信息处理设备，其中，所述预定形状是线或面。

5.根据权利要求2所述的信息处理设备，还包括：

特征量计算单元，其计算由点云绘制的三维结构的特征量，其中，

所述相关度计算单元基于由所述特征量计算单元计算的特征量来计算所述相关度。

6.根据权利要求5所述的信息处理设备，其中，所述相关度计算单元基于由所述特征量计算单元计算的特征量，针对具有比预定基准更精细的纹理的块，计算出的所述相关度较低。

7.根据权利要求5所述的信息处理设备，其中，所述相关度计算单元基于由所述特征量计算单元计算的特征量，针对包括其颜色分量相对于周围体素为峰值的体素的块，计算出的所述相关度较低。

8.根据权利要求5所述的信息处理设备，其中，所述相关度计算单元基于由所述特征量计算单元计算的特征量，针对具有较高关注度的区域中的块，计算出的所述相关度较低。

9.根据权利要求5所述的信息处理设备，其中，所述相关度计算单元基于由所述特征量计算单元计算的特征量，针对与点云绘制的三维结构中的人脸部分对应的块，计算出的所述相关度较低。

10.根据权利要求5所述的信息处理设备，其中，所述相关度计算单元基于由所述特征量计算单元计算的特征量，针对与点云绘制的三维结构中的边缘部分对应的块，计算出的所述相关度较低。

11.根据权利要求5所述的信息处理设备，其中，所述相关度计算单元基于由所述特征量计算单元计算的特征量，针对包括构成点云绘制的三维结构中的表面的四个点中的一个或更多个点的块，计算出的所述相关度较低。

12.根据权利要求2所述的信息处理设备，其中，所述相关度计算单元使用成本函数针对要比较的体素数据之间的相关性来计算成本值，并且基于所述分布图案的主观特征来校正所计算的成本值，以计算要比较的体素数据之间的相关度。

13.根据权利要求2所述的信息处理设备，还包括：

设置单元，其设置要与当前块进行比较的体素数据，所述当前块为要处理的块，其中，

所述相关度计算单元计算所述当前块的体素数据与由所述设置单元设置的所有体素数据之间的相关度。

14.根据权利要求13所述的信息处理设备，其中，所述设置单元在预定空间范围内设置要与所述当前块进行比较的体素数据。

15.根据权利要求13所述的信息处理设备，其中，所述设置单元在比要处理的分层的体素数据的层级更高的层级中设置要与所述当前块进行比较的体素数据。

16.根据权利要求2所述的信息处理设备，还包括唯一图案设置单元，所述唯一图案设置单元基于由所述相关度计算单元计算的相关度来确定要比较的体素数据的分布图案是否彼此一致或近似，并且在被确定为彼此一致或近似的情况下，所述唯一图案设置单元设置唯一图案，所述唯一图案是与要比较的体素数据中的每一个的分布图案一致或近似的分布图案。

17.根据权利要求16所述的信息处理设备，其中，所述唯一图案设置单元将要比较的体素数据中的具有最高出现频率的体素数据的分布图案设置为所述唯一图案。

18.根据权利要求16所述的信息处理设备，其中，所述唯一图案设置单元将要比较的体素数据中的最接近预先确定的预定分布图案的体素数据的分布图案设置为所述唯一图案。

19.根据权利要求16所述的信息处理设备，其中，所述唯一图案设置单元将使用要比较的体素数据中的每一个的分布图案通过预定方法得到的新的分布图案设置为所述唯一图案。

20.一种信息处理方法，包括：在比较对点云数据进行量化而产生的体素数据时，基于所述体素数据的值的分布图案的主观特征来计算要比较的体素数据之间的分布图案的相关度。

Images