CN116670721A - 信息处理装置和方法 - Google Patents

信息处理装置和方法 Download PDF

Info

Publication number
CN116670721A
CN116670721A CN202180086127.8A CN202180086127A CN116670721A CN 116670721 A CN116670721 A CN 116670721A CN 202180086127 A CN202180086127 A CN 202180086127A CN 116670721 A CN116670721 A CN 116670721A
Authority
CN
China
Prior art keywords
node
attribute data
data
processing target
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180086127.8A
Other languages
English (en)
Inventor
隈智
中神央二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN116670721A publication Critical patent/CN116670721A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Generation (AREA)

Abstract

本公开内容涉及可以更可靠地解码属性数据的信息处理装置和方法。用于设置当得出经受处理的节点的属性数据的预测值时要参考的参考点的附近点搜索仅针对树结构的节点中在解码期间在经受处理的节点之前解码的节点执行，在树结构中，节点包括将三维形状的对象表示为点的集合的点云的每个点的属性数据，并且形成彼此独立地可编码的节点组的切片。本公开内容可以应用于例如信息处理装置、编码装置、解码装置、电子装置、信息处理方法或程序。

Description

信息处理装置和方法
技术领域
本公开内容涉及信息处理装置和方法，并且更具体地，涉及使得能够更可靠地解码属性数据的信息处理装置和方法。
背景技术
在相关技术中，例如，已经考虑了一种对表示诸如点云的三维结构的3D数据进行编码的方法(例如，参见NPL 1)。此外，已经考虑了一种例如对该点云的几何数据(位置信息)通过用信号通知通过将八叉树划分为节点组而获得的标志来实现解码并行化的方法，或者一种对一些节点组进行解码的方法(例如，参见NPL 2)。
此外，已经考虑了一种方法，该方法对于点云的属性数据(属性信息)，使用附近点的属性数据来得出处理目标点的预测值，并且对处理目标点的属性数据与预测值之间的差值进行编码。作为这种编码方案，例如，已经考虑了一种称为提升的方法(参见例如NPL 3)。在这种编码方案的情况下，执行附近点搜索以设置参考属性数据的点，以得出预测值。
[引文列表]
非专利文献
[NPL 1]
R.Mekuria,Student Member IEEE,K.Blom,P.Cesar.,IEEE成员,“Design,Implementation and Evaluation of a Point Cloud Codec for Tele-ImmersiveVideo”,tcsvt_paper_submitted_february.pdf
[NPL 2]
David Flynn,Khaled Mammou,“G-PCC:Ahierarchical geometry slicestructure”,ISO/IEC JCTC1/SC29/WG11 MPEG/m54677,2020年四月，在线
[NPL 3]
Khaled Mammou,Alexis Tourapis,Jungsun Kim,Fabrice Robinet,ValeryValentin,Yeping Su,“Lifting Scheme for Lossy Attribute Encoding in TMC1”,ISO/IEC JTC1/SC29/WG11 MPEG2018/m42640,2018年四月,San Diego,US
发明内容
[技术问题]
然而，在NPL 3中描述的方法中，作为搜索目标的点不受限制。因此，例如，当在属性数据的树结构中形成节点组时，担心属于未被解码的节点组的节点也可能成为搜索目标。因此，存在对属性数据的解码可能失败的担忧。
鉴于这样的情况做出了本公开内容，并且本公开内容旨在使得能够更可靠地解码属性数据。
[问题的解决方案]
根据本技术的一方面的信息处理装置是这样一种信息处理装置，其包括：附近点搜索单元，其被配置成仅针对树结构的节点中在解码时比处理目标节点更早解码的节点，执行附近点搜索，以设置当得出处理目标节点的属性数据的预测值时要参考的参考点，在树结构中，将具有三维形状的对象表达为点的集合的点云的每个点的属性数据是节点，并且形成用作可以独立于彼此编码的节点组的切片；以及编码单元，其被配置成对处理目标节点的属性数据与通过使用经由附近点搜索单元的附近点搜索而设置的参考点的属性数据而得出的预测值之间的差值进行编码。
根据本技术的一方面的信息处理方法是这样一种信息处理方法，其包括：仅针对树结构的节点中在解码时比处理目标节点更早解码的节点，执行附近点搜索，以设置当得出处理目标节点的属性数据的预测值时要参考的参考点，在树结构中，将具有三维形状的对象表达为点的集合的点云的每个点的属性数据是节点，并且形成用作可以独立于彼此编码的节点组的切片；以及对处理目标节点的属性数据与通过使用经由附近点搜索而设置的参考点的属性数据而得出的预测值之间的差值进行编码。
根据本技术的另一方面的信息处理装置是这样一种信息处理装置，其包括：解码单元，其被配置成对树结构的处理目标节点的编码数据进行解码以得出处理目标节点的差值，在编码数据中，属性数据与属性数据的预测值之间的差值已被编码，在树结构中，将具有三维形状的对象表达为点的集合的点云的每个点的属性数据是节点，并且形成用作可以独立于彼此编码的节点组的切片；附近点搜索单元，其被配置成仅针对树结构的节点中的由解码单元比处理目标节点更早解码的节点，执行附近点搜索，以设置当得出处理目标节点的预测值时要参考的参考点；以及恢复单元，其被配置成通过将由解码单元得出的差值添加到通过使用经由附近点搜索单元的附近点搜索设置的参考点的属性数据得出的预测值，来恢复处理目标节点的属性数据；以及关联单元，被配置成将由恢复单元恢复的解码目标区域中的点的属性数据与点的几何数据相关联。
根据本技术的另一方面的信息处理方法是这样一种信息处理方法，其包括：对树结构的处理目标节点的编码数据进行解码以得出处理目标节点的差值，在编码数据中，属性数据与属性数据的预测值之间的差值已被编码，在树结构中，将具有三维形状的对象表达为点的集合的点云的每个点的属性数据是节点，并且形成用作可以独立于彼此编码的节点组的切片；仅针对树结构的节点中比处理目标节点更早解码的节点，执行附近点搜索，以设置当得出处理目标节点的预测值时要参考的参考点；以及通过将所得出的差值添加到通过使用经由附近点搜索设置的参考点的属性数据得出的预测值，来恢复处理目标节点的属性数据；并且将解码目标区域中的点的恢复的属性数据与点的几何数据相关联。
在根据本技术的一方面的信息处理装置和方法中，仅针对树结构的节点中在解码时比处理目标节点更早解码的节点，执行附近点搜索，附近点搜索用于设置当得出处理目标节点的属性数据的预测值时要参考的参考点，在树结构中，将具有三维形状的对象表达为点的集合的点云的每个点的属性数据是节点，并且形成用作可以独立于彼此编码的节点组的切片；以及对处理目标节点的属性数据与通过使用经由附近点搜索单元的附近点搜索设置的参考点的属性数据而得出的预测值之间的差值进行编码。
在根据本技术的另一方面的信息处理装置和方法中，对树结构的处理目标节点的编码数据进行解码以得出处理目标节点的差值，在编码数据中，属性数据与属性数据的预测值之间的差值已被编码，在树结构中，将具有三维形状的对象表达为点的集合的点云的每个点的属性数据是节点，并且形成用作可以独立于彼此编码的节点组的切片；仅针对树结构的节点中比处理目标节点更早解码的节点，执行附近点搜索，附近点搜索用于设置当得出处理目标节点的预测值时要参考的参考点；通过将所得出的差值添加到通过使用经由附近点搜索设置的参考点的属性数据得出的预测值，来恢复处理目标节点的属性数据；并且将解码目标区域中的点的恢复的属性数据与点的几何数据相关联。
附图说明
[图1]图1是示出树结构和切片结构的示例的图。
[图2]图2是示出对属性数据进行分层的方法的示例的图。
[图3]图3是示出几何数据的切片结构的示例的图。
[图4]图4是示出属性数据的参考目标的示例的图。
[图5]图5是示出附近点搜索方法的示例的图。
[图6]图6是示出用于LoD间参考的搜索目标的示例的图。
[图7]图7是示出用于LoD间参考的搜索目标的示例的图。
[图8]图8是示出用于LoD内参考的搜索目标的示例的图。
[图9]图9是示出对几何数据的一部分的切片进行解码的情况的示例的图。
[图10]图10是示出对属性数据的一部分的切片进行解码的情况的示例的图。
[图11]图11是示出关联方法的示例的图。
[图12]图12是示出关联方法的示例的图。
[图13]图13是示出关联方法的示例的图。
[图14]图14是示出编码装置的主要配置示例的框图。
[图15]图15是示出属性数据编码单元的主要配置示例的框图。
[图16]图16是示出编码处理的流程的示例的流程图。
[图17]图17是示出属性数据编码处理的流程的示例的流程图。
[图18]图18是示出解码装置的主要配置示例的框图。
[图19]图19是示出属性数据解码单元的主要配置示例的框图。
[图20]图20是描述解码处理的流程的示例的流程图。
[图21]图21是描述属性信息解码处理的流程的示例的流程图。
[图22]图22是示出点云生成处理的流程的示例的流程图。
[图23]图23是示出点云生成处理的流程的示例的流程图。
[图24]图24是示出计算机的主要配置示例的框图。
具体实施方式
在下文中，将描述用于执行本公开内容的形式(在下文中，被称为实施方式)。将按照以下顺序来给出描述。
1.附近点搜索的限制
2.关联的限制
3.第一实施方式(编码装置)
4.第二实施方式(解码装置)
5.补充
<1.附近点搜索的限制>
<支持技术内容和技术术语的文献等>
本技术中公开的范围不仅包括实施方式中描述的内容，而且包括在提交时已知的以下非专利文献中描述的内容。
NPL 1：(以上描述的)
NPL 2：(以上描述的)
NPL 3：(以上描述的)
也就是说，上述非专利文献中描述的内容、上述非专利文献中参考的其他文献的内容等也是用于确定支持要求的基础。
<点云>
在相关技术中，作为3D数据，存在将三维结构(具有三维形状的对象)表示为许多点的集合的点云。点云的数据(也称为点云数据)包括每个点的位置信息(也称为几何结构)和属性信息(也称为属性)。属性可以包括任意信息。例如，属性可以包括每个点的颜色信息、反射率信息、法线信息等。因此，点云具有相对简单的数据结构，并且可以通过使用足够多数目的点以足够的精度表示任意三维结构。
点云数据具有相对大的数据量。此外，数据量与点数目的增加成比例地增加。例如，当发送或存储点云数据时，这增加了负载。因此，为了减少数据量，考虑体素转换。体素是用于量化几何结构(位置信息)的三维区域。
也就是说，包括点云的三维区域(也称为边界框)被分成称为体素的小三维区域，并且指示每个体素是否包含点。通过这样做，以体素为单位量化每个点的位置。因此，还可以抑制信息量的增加(通常可以减少信息量)。
几何结构的分辨率(即，点的数目)取决于体素的尺寸(换言之，体素的数目)。当体素尺寸较小时(存在更多的体素)，点的数目增加，因此几何结构的分辨率变得更高。
可以想到的是，使用这样的特征递归地划分体素，并且将几何结构转换成树结构。这种方法使得几何结构的分辨率是可变的。也就是说，几何结构不仅可以以与树结构的底层对应的最高分辨率表示，而且可以以与树结构的中间层对应的低分辨率表示。
此外，已经考虑了一种编码或解码点云数据，以在发送或存储点云数据时抑制负载的增加的方法。例如，当发送点云数据时，发送侧对点云数据进行编码以生成比特流并且发送该比特流，并且接收侧对该比特流进行解码以生成点云数据。通过这样做，可以减少发送时的数据量，并且抑制负载的增加。这同样适用于存储点云数据的情况。
如上所述，点云包括几何结构和属性。也就是说，对几何结构和属性的每块数据进行编码或解码。
通过根据上述树结构对几何结构的数据(也称为几何数据)进行编码，可以以相对于分辨率可缩放的方式对几何结构的编码数据进行解码。也就是说，可以在解码处理中实现分辨率可缩放性。例如，可以实现部分解码，例如，仅解码从树结构的顶层到任意层的节点(不解码较低层中的节点)。也就是说，可以通过仅解码必要部分而不解码几何结构的所有编码数据来获得具有期望分辨率的几何结构。
<节点分组>
顺便提及，NPL 2公开了一种用信号通知用于将该点云的树结构(八叉树)划分为节点组的标志的方法。该方法使得能够针对每个节点组独立地解码。因此，例如，可以针对每个节点组划分解码处理并且并行化。也可以只解码一些节点组。例如，可以通过将节点组划分为三维区域的部分区域来仅解码部分区域的几何结构。也就是说，在解码处理中，可以实现区域的可缩放性。也就是说，可以通过仅解码必要部分而不解码几何结构的所有编码数据来获得期望区域的几何结构。
该节点组也称为切片。也就是说，切片是几何结构的树结构中的一组节点。可以针对每个切片独立地编码几何数据。换言之，可以针对每个切片独立地解码几何数据的编码数据。几何结构的树结构可以是任何树结构。例如，树结构可以是八叉树或KD树，或者可以是另一种结构。
图1示出了在几何数据中设置的切片结构的另一示例。在图1中，细实线指示树结构，实线的分支点指示节点。由粗线围绕的节点组形成一个切片。LoD指示树结构的分层。
也就是说，LoD0至LoD4的所有节点属于切片1。LoD5至LoD7的区域1(灰色背景区域)中的节点属于切片2。LoD5至LoD7的区域2(白色背景区域)中的节点属于切片3。LoD5至LoD7的区域3(灰色背景区域)中的节点属于切片4。LoD5至LoD7的区域4(白色背景区域)中的节点属于切片5。
虚线箭头指示编码和解码的顺序。例如，对于整个区域，按照从较高层到较低层的顺序为每个层编码LoD0至LoD4的各个节点。对于区域1至区域4中的每一个，按照从较高层到较低层的顺序，为每个层编码LoD5至LoD7的各个节点。解码顺序也是相同的。
当形成这样的切片结构时，可以仅解码切片中一些。例如，当需要LoD7的分辨率的区域3中的点的几何数据时，切片1和4中的节点可以被解码。换言之，在这种情况下，不需要对切片2、切片3和切片5的节点进行解码。通过这样做，与对LoD7的所有节点进行解码的情况相比，可以减少解码处理的量。
<提升>
另一方面，已经考虑了一种在已知包括由于编码而引起的劣化的几何结构的假设下使用点之间的位置关系来执行对属性的编码或解码的方法。如NPL 2中所述的使用区域自适应分层变换(RAHT)或称为提升(Lifting)的变换的方法被认为是编码属性的这种方法。还可以通过应用这些技术来对如几何结构的八叉树的属性进行分层。
例如，在提升的情况下，每个点的属性数据被编码为与通过参考其他点的属性数据得出的预测值的差值。例如，这将被描述为二维的。图2的A中的每个圆圈指示点。假设点组具有这种位置关系。每个点的属性数据被编码或解码为与通过参考其他点的属性数据得出的预测值的差值，如图2的B中所示的箭头所示。
如在几何数据的情况下，可以通过对每个点的属性数据进行分层(结构化为树结构)来实现属性数据的可缩放解码。此外，可以通过将属性的该树结构与几何结构的树结构相关联来实现点云数据的可缩放解码。在这种情况下，每个点的属性数据可以使用几何结构进行分层。
例如，如图2的C所示，选择预测点，使得属性信息保留在比存在点的体素所属的层更高一级的层(LoD)的体素中。在图2的C中，正方形指示体素，并且圆圈指示点。体素20被分成四块以形成一个较低层体素，右下体素被分成四块以形成一个较低层体素。最低层的体素的四个点(3个白点和一个灰点)中的任何一个体素的点(灰点)被留在一个较高层体素中。也就是说，在通过将体素20分成四块而获得的体素中留下一个黑点和三个灰点。类似地，这些点中的一个(黑点)留在一个较高层体素(即，体素20)中。通过以这种方式对属性数据进行分层，可以针对属性数据形成与几何数据的分层数据相同的分层结构(树结构)。
<附近点搜索>
为了通过参考如图2的B中所示的其他点(附近点)的属性数据来得出处理目标点的属性的预测值，执行对参考属性数据的附近点的搜索(也称为附近点搜索)。用于得出该预测值的参考方法的示例包括：帧间参考(inter reference)(也称为LoD间参考)，其参考属于与处理目标点所属的LoD不同的LoD的点；及帧内参考(intra reference)(也称为LoD内参考)，其参考属于与处理目标点相同的LoD的点。
<属性节点分组>
顺便提及，如上所述，几何数据可以是树结构中被节点分组(切片)的。图3示出了切片结构的示例。在图3的示例中，上部2个LoD的整个区域被切片成一个(切片#1)。另一方面，下部2个LoD被分成两个区域，并且每个区域被切片(切片#2和切片#3)。例如，最低层中的节点A至节点D属于切片#2，而节点E至节点G属于切片#3。
类似于这种切片,也可以为属性数据考虑节点分组(切片)。因此，期望属性数据可以被并行地编码或解码，并且只有切片中的一些可以被解码。在图4中，示出了这种情况下的属性数据的切片结构的示例。图4中的节点A至节点G对应于图3。在图4的示例中，如在图3的几何数据的情况下，上部2个LoD的整个区域都被切片成一个(切片#4)。另一方面，下部2个LoD被分成两个区域，并且每个区域被切片(切片#5和切片#6)。
然而，NPL 2中描述的属性编码方法和解码方法不支持这种切片结构。
例如，由于每个节点的属性数据针对每个LoD被解码，并且附近点搜索的目标不受限制，所以所有区域中的点的属性数据变成附近点搜索的目标。因此，存在这样的担忧：参考了在不是解码目标的区域中的点(即，属于不被解码的切片的节点)的属性数据。
例如，当节点F是图4的示例中的解码目标时，在帧间参考时的附近点搜索的目标是在NPL 2中描述的方法中由点划线指示的框内的节点。也就是说，节点A至节点G中的节点A、节点D、节点E和节点G是搜索目标。此外，在帧内参考时附近点搜索的目标是由双点划线指示的框内的节点。也就是说，节点A至节点G中的节点B和C是搜索目标。
当如图4所示执行切片时，至少切片#4和切片#6可以被解码以解码节点F。换言之，切片#5可以不被解码。然而，在NPL 2中描述的方法的情况下，担心切片#5的节点也如上所述被参考。在这种情况下，每个切片的独立解码变得不可能，并且担心属性数据不能被解码。
因此，在应用切片的属性数据的树结构(也称为属性树)中，仅对解码节点执行附近点搜索，如图5中的表的顶行所示(方法1)。该解码节点是在解码时比处理目标节点更早被解码的节点。此外，“仅对解码节点执行附近点搜索”指示“解码节点”被设置为附近点搜索的目标，并且树结构中的节点中的其他节点(未被解码的节点)不被设置为附近点搜索的目标。
例如，一种信息处理方法包括：仅针对树结构的节点中在解码时比处理目标节点更早解码的节点，执行附近点搜索，以设置当得出处理目标节点的属性数据的预测值时要参考的参考点，在树结构中，将具有三维形状的对象表达为点的集合的点云的每个点的属性数据是节点，并且形成用作可以独立于彼此编码的节点组的切片；以及对处理目标节点的属性数据与通过使用经由附近点搜索而设置的参考点的属性数据而得出的预测值之间的差值进行编码。
例如，一种信息处理装置包括：附近点搜索单元，其被配置成仅针对树结构的节点中在解码时比处理目标节点更早解码的节点，执行附近点搜索，以设置当得出处理目标节点的属性数据的预测值时要参考的参考点，在树结构中，将具有三维形状的对象表达为点的集合的点云的每个点的属性数据是节点，并且形成用作可以独立于彼此编码的节点组的切片；以及编码单元，其被配置成对处理目标节点的属性数据与通过使用经由附近点搜索单元的附近点搜索而设置的参考点的属性数据而得出的预测值之间的差值进行编码。
例如，一种信息处理方法包括：对树结构的处理目标节点的编码数据进行解码以得出处理目标节点的差值，在编码数据中，属性数据与属性数据的预测值之间的差值已被编码，在树结构中，将具有三维形状的对象表达为点的集合的点云的每个点的属性数据是节点，并且形成用作可以独立于彼此编码的节点组的切片；仅针对树结构的节点中比处理目标节点更早解码的节点，执行附近点搜索，以设置当得出处理目标节点的预测值时要参考的参考点；以及通过将所得出的差值添加到通过使用经由附近点搜索设置的参考点的属性数据得出的预测值，来恢复处理目标节点的属性数据。
例如，一种信息处理装置包括：解码单元，其被配置成对树结构的处理目标节点的编码数据进行解码以得出处理目标节点的差值，在编码数据中，属性数据与属性数据的预测值之间的差值已被编码，在树结构中，将具有三维形状的对象表达为点的集合的点云的每个点的属性数据是节点，并且形成用作可以独立于彼此编码的节点组的切片；附近点搜索单元，其被配置成仅针对树结构的节点中由解码单元比处理目标节点更早解码的节点，执行附近点搜索，以设置当得出处理目标节点的预测值时要参考的参考点；以及恢复单元，其被配置成通过将由解码单元得出的差值添加到通过使用经由附近点搜索单元的附近点搜索设置的参考点的属性数据得出的预测值，来恢复处理目标节点的属性数据。
“仅针对比处理目标节点更早被解码(或已被解码)的节点”和“执行附近点搜索”指示在“树结构的节点之间”和“比处理目标节点更早被解码(或已被解码)的节点”上执行附近点搜索，其中其他节点被排除在目标之外。通过如上所述限制附近点搜索的目标，可以针对每个切片独立地解码属性数据，并且更可靠地解码属性数据。
属性数据的树结构可以具有作为节点的在几何数据的基础上分层的每个点的属性数据将基于几何数据而分层的每个点的属性数据作为节点。
例如，属性数据的树结构可以将基于几何数据以在存在处理目标层的点的体素所属的一个较高层的体素处也存在点的方式分层的每个点的属性数据作为节点。
此外，几何数据可以在几何分辨率的基础上形成分层的树结构，属性数据的树结构的每个节点可以与几何数据的树结构的每个节点对应。此外，在几何数据的树结构中形成用作可以独立于彼此编码的节点组的切片，并且在属性数据的树结构中形成的切片的结构可以对应于在几何数据的树结构中形成的切片的结构。
通过以该方式将属性数据的树结构与几何数据的树结构相关联，可以实现点云数据的可缩放解码。此外，通过将属性数据的切片结构与几何数据的切片结构相关联，可以针对每个切片独立地恢复点云数据。
<帧间参考>
如图5中表的顶部的第二行所示，可以对解码节点执行LoD间参考(帧间参考)的附近点搜索(方法1-1)。例如，在信息处理装置中，附近点搜索单元可以仅对在属性数据的树结构的节点中在解码时比处理目标节点更早解码的、比处理目标节点更高的层上的节点执行附近点搜索。替选地，在信息处理装置中，附近点搜索单元可以仅对在属性数据的树结构的节点中由解码单元比处理目标节点更早解码的、比处理目标节点更高的层上的节点执行附近点搜索。
通过这样做，可以针对每个切片独立地解码在解码时应用了帧间参考的属性数据，并且可以更可靠地对属性数据进行解码。
<基于切片结构的用于帧间参考的附近点搜索目标限制>
作为用于帧间参考的附近点搜索，如图5中表的顶部的第三行所示，可以对属于解码切片的节点执行附近点搜索(方法1-1-1)。解码切片是在解码时比处理目标节点更早解码的切片(的节点)。
例如，在信息处理装置中，附近点搜索单元可以仅对属性数据的树结构的节点中的属于与处理目标节点相同的切片并且在比解码时比处理目标节点更早解码的处理目标节点更高的层上的节点，以及属于在解码时比处理目标节点所属的切片更早解码的切片的节点执行附近点搜索。此外，在信息处理装置中，附近点搜索单元可以仅对属性数据的树结构的节点中的属于与处理目标节点相同的切片并且在比由解码单元比处理目标节点更早解码的处理目标节点更高的层上的节点，以及属于由解码单元比处理目标节点所属的切片更早解码的切片的节点执行附近点搜索。
在这种情况下，例如，当图4的树结构中的节点F被设置为解码目标时，对图6所示的点划线的框内的节点执行用于帧间参考的附近点搜索。也就是说，节点A至节点G中的节点A、节点E和节点G是搜索目标。换言之，节点B至节点D，即属于切片#5的节点被从附近点搜索中排除(未被设置为参考属性数据的节点)。
因此，在这种情况下，可以针对每个切片独立地解码属性数据，并且更可靠地解码属性数据。
<基于树结构的用于帧间参考的附近点搜索目标限制>
此外，作为用于帧间参考的附近点搜索，可以对属性数据的树结构的祖先节点执行附近点搜索，如图5中的表的顶部的第四行所示(方法1-1-2)。此外，祖先节点是在属性数据的树结构中处理目标节点直接或间接属于的上层LoD节点。例如，在图7所示的树结构的情况下，节点之间的直线指示节点之间的父子关系。在从某个节点(参考节点)到上层LoD的方向上通过直线直接或间接连接至处理目标节点的节点被称为参考节点的祖先节点。
直接连接的节点指示通过直线连接至某个节点而不经过另一节点的节点。例如，节点E是直接连接至节点F的节点。间接连接的节点是通过直线经由另一节点连接至某个节点的节点。例如，节点G是间接连接至节点F(经由节点E等连接)的节点。也就是说，该节点E和节点G是节点F的祖先节点。
可以说，节点A至节点D等也间接连接至节点F(通过节点G等连接)，但是这些节点属于比节点G低的LoD。也就是说，节点不是节点F的祖先节点，因为当从节点F观察时，节点不是在朝向上层LoD的方向上(间接地)连接的节点。
例如，在信息处理装置中，附近点搜索单元可以仅对属性数据的树结构的节点中的处理目标节点的祖先节点执行附近点搜索。
也就是说，在这种情况下，例如，当图4的树结构中的节点F被设置为解码目标时，对图7所示的虚线的框内的节点执行用于帧间参考的附近点搜索。也就是说，节点A至节点G中的节点E和节点G是搜索目标。换言之，节点A至节点D被排除在附近点搜索目标之外(未被设置为参考属性数据的节点)。也就是说，在这种情况下，从附近点搜索目标中排除属于切片#5的节点。例如，当属于切片#5的节点C被设置为解码目标时，对由图7所示的双点划线指示的框内的节点执行用于帧间参考的附近点搜索。也就是说，节点A至节点G中的节点A、节点D和节点G成为搜索目标。换言之，节点B、节点E和节点F被排除在附近点搜索之外(未被设置为参考属性数据的节点)。也就是说，在这种情况下，从附近点搜索目标中排除属于切片#6的节点。
因此，在这种情况下，可以针对每个切片独立地解码属性数据，并且更可靠地解码属性数据。
<帧内参考>
如图5中表的顶部的第五行所示，可以对解码节点执行用于LoD内参考(帧内参考)的附近点搜索(方法1-2)。例如，在信息处理装置中，附近点搜索单元可以仅对在属性数据的树结构中与处理目标节点同一层的节点中，在解码时比处理目标节点更早解码的节点执行附近点搜索，如上面在<帧内参考>中所述。替选地，在信息处理装置中，附近点搜索单元可以仅对在属性数据的树结构的节点中与处理目标节点在同一层上的由解码单元比处理目标节点更早解码的节点执行附近点搜索。
通过这样做，可以针对每个切片独立地解码在解码时应用帧内参考的属性数据，并且更可靠地解码属性数据。
<基于切片结构的用于帧内参考的附近点搜索目标限制>
作为用于帧内参考的附近点搜索，可以对处理目标切片的处理目标LoD中的解码节点执行附近点搜索，如图5中的表的底部所示(方法1-2-1)。处理目标切片是处理目标节点所属的切片。处理目标LoD是处理目标节点所属的LoD。解码节点是指在解码时比处理目标节点更早解码的节点。
例如，在信息处理装置中，附近点搜索单元可以仅对属性数据的树结构的节点中属于与处理目标节点同一切片、并且与解码时比处理目标节点更早被解码的处理目标节点处于同一层上的节点执行附近点搜索。此外，在信息处理装置中，附近点搜索单元可以仅对在属性数据的树结构的节点中属于与处理目标节点同一切片、并且与由解码单元比处理目标节点更早解码的处理目标节点处于同一层的节点执行附近点搜索。
在这种情况下，例如，当图4的树结构中的节点F是解码目标时，对图8中所示的双点划线所指示的框内的节点执行用于帧内参考的附近点搜索。也就是说，在这种情况下，切片#6中最低LoD的节点是搜索目标。换言之，节点B和节点C，也就是说，属于切片#5的节点被排除在附近点搜索之外(未被设置为参考属性数据的节点)。
因此，在这种情况下，可以针对每个切片独立地解码属性数据，并且更可靠地解码属性数据。
<2.关联的限制>
<几何结构与属性之间的关联>
顺便提及，当几何数据被解码以及属性数据被解码时，几何数据和属性数据是彼此关联的。也就是说，对于每个点，几何结构和属性被分组(关联)以生成点云数据。
然而，当属性数据被划分为切片并且如上所述被解码时，担心没有取得与几何结构的关联。
例如，假设几何数据的切片#1和切片#3被解码，切片#2未被解码，如图9所示。在这种情况下，要解码的几何数据的片的数目从上层LoD到下层LoD为1个点、2个点、2个点、3个点，如图9所示。
另一方面，假设属性数据的切片#4和切片#6被解码，切片#5未被解码，如图10所示。在这种情况下，要解码的属性数据的片的数目从上层LoD到下层LoD为一种颜色、两种颜色、三种颜色和四种颜色，如图10所示。也就是说，在下层的2个LoD中，解码的几何数据的片的数目和解码的属性数据的片的数目并不匹配。因此，对于较低的2个LoD，担心几何数据和属性数据不能被关联，并且不能生成点云数据。
<基于切片结构的关联限制>。
因此，如图11中的表的顶部所示，在几何数据与属性数据之间的关联(即，点云数据的生成)中，解码目标区域的属性与几何结构相关联(方法2)。解码目标区域是与解码目标切片对应的区域(与属于该切片的节点对应的点位于其中的区域)。
例如，一种信息处理方法包括：对树结构的处理目标节点的编码数据进行解码以得出处理目标节点的差值，在编码数据中，属性数据与属性数据的预测值之间的差值已被编码，在树结构中，将具有三维形状的对象表达为点的集合的点云的每个点的属性数据是节点，并且形成用作可以独立于彼此编码的节点组的切片；仅针对树结构的节点中比处理目标节点更早解码的节点，执行附近点搜索，以设置当得出处理目标节点的预测值时要参考的参考点；以及通过将所得出的差值添加到通过使用经由附近点搜索设置的参考点的属性数据得出的预测值，来恢复处理目标节点的属性数据；并且将解码目标区域中的点的恢复的属性数据与点的几何数据相关联。
例如，一种信息处理装置包括：解码单元，其被配置成对树结构的处理目标节点的编码数据进行解码以得出处理目标节点的差值，在编码数据中，属性数据与属性数据的预测值之间的差值已被编码，在树结构中，将具有三维形状的对象表达为点的集合的点云的每个点的属性数据是节点，并且形成用作可以独立于彼此编码的节点组的切片；附近点搜索单元，其被配置成仅针对树结构的节点中由解码单元比处理目标节点更早解码的节点，执行附近点搜索，以设置当得出处理目标节点的预测值时要参考的参考点；以及恢复单元，其被配置成通过将由解码单元得出的差值添加到通过使用经由附近点搜索单元的附近点搜索设置的参考点的属性数据得出的预测值，来恢复处理目标节点的属性数据；以及关联单元，被配置成将由恢复单元恢复的解码目标区域中的点的属性数据与点的几何数据相关联。
通过这样做，可以更可靠地将几何数据与属性数据相关联，并且可以更可靠地生成点云数据。
<关联后的去除>
如图11中表的顶部的第二行所示，非解码目标区域的几何数据也可以被包括在关联中，然后可以基于几何结构去除非解码目标区域中的点(方法2-1)。此处，非解码目标区域指示与属于不是解码目标的切片的节点对应的点位于其中的区域。换言之，非解码目标区域指示与属于解码目标切片的节点对应的点不位于其中的区域。与属于解码目标切片的节点对应的点位于其中的区域被称为解码目标区域。
例如，如图11中表的顶部的第三行所示，在几何数据和属性数据彼此相关联之后，即，在生成点云数据之后，可以使用解码的几何结构来去除非解码目标区域中的点(方法2-1-1)。
例如，在信息处理装置中，关联单元可以将由恢复单元恢复的所有点的属性数据和几何数据彼此关联，并且从属性数据和几何数据彼此关联的点中去除非解码目标区域中的点。
在这种情况下，例如，如图10所示的具有解码切片#4和切片#6的属性数据与也包括节点A的几何数据相关联，如图12所示。通过这样做，如图12所示，由于几何数据和属性数据的片的数目即使在较低的2个LoD中也是相同的，因此几何数据和属性数据可以彼此关联。在关联之后，可以通过基于几何数据去除非解码目标区域中的点来去除该节点A。
也就是说，通过这样做，仅保留解码目标区域中的点。因此，可以更可靠地将几何数据与属性数据相关联，并且可以更可靠地生成点云数据。
<关联前的去除>
如图11中表的顶部的第四行所示，可以去除非解码目标区域的属性数据，然后可以将几何数据和属性数据彼此关联(方法2-2)。例如，如图11中表的底部所示，可以使用在LoD生成时与节点相关联的几何结构来去除非解码目标区域中的属性数据，然后，可以将几何数据和属性数据彼此关联(方法2-2-1)。
例如，在信息处理装置中，关联单元可以去除由恢复单元恢复的非解码目标区域中的点的属性数据，并且将解码目标区域中的点的属性数据与几何数据相关联。
在这种情况下，例如，当构造属性数据的树结构时，几何结构与属性数据的每个节点相关联。具有中等分辨率的几何数据(即，同一LoD的几何数据)与最低LoD的每个节点相关联。在将属性数据与几何数据相关联(即，生成点云数据)之前，使用每个节点的几何结构来去除非解码目标区域中的点的属性数据，如图13所示。在图13的示例的情况下，因为节点A的几何结构位于解码目标区域中，所以去除节点A。因此，最低层具有三种颜色，并且几何数据的片的数目与属性数据匹配。
另外，几何数据和属性数据可以彼此关联。也就是说，通过这样做，可以更可靠地将几何数据与属性数据相关联，并且更可靠地生成点云数据。
<3.第一实施方式>
<编码装置>
图14是示出作为应用本技术的信息处理装置的一方面的编码装置的配置的示例的框图。图14所示的编码装置100是对点云(3D数据)编码的装置。本技术(例如，参照图1至图13描述的各种方法等)可以应用于编码装置100。
在图14中，示出了诸如处理单元或数据流的主要部件，并且图14中示出的部件不一定是全部。也就是说，在编码装置100中，可能存在图14中未示出为框的处理单元，或者可能存在图14中未示出为箭头等的处理或数据流。
如图14所示，编码装置100包括几何数据编码单元101、几何数据解码单元102、点云生成单元103、属性数据编码单元104和比特流生成单元105。
几何数据编码单元101对输入至编码装置100的点云(3D数据)的位置信息进行编码，以生成编码的几何数据。该编码方法是任意的。例如，可以执行诸如用于抑制噪声(降噪)的滤波和量化的处理。几何数据编码单元101将所生成的编码数据提供给几何数据解码单元102和比特流生成单元105。
几何数据解码单元102获取从几何数据编码单元101提供的编码数据。几何数据解码单元102对编码数据进行解码以生成几何数据。该解码方法是任意的，只要该解码方法是与几何数据编码单元101中的编码对应的方法。例如，可以执行诸如用于降噪的滤波和逆量化的处理。几何数据解码单元102将生成的几何数据(解码结果)提供给点云生成单元103。
点云生成单元103获取输入至编码装置100的点云属性数据，以及从几何数据解码单元102提供的几何数据(解码结果)。点云生成单元103执行使属性数据与几何数据(解码结果)匹配的处理(重新着色处理)。点云生成单元103将与几何数据(解码结果)相关联的属性数据提供给属性数据编码单元104。
属性数据编码单元104获取从点云生成单元103提供的点云数据(几何数据(解码结果)和属性数据)。属性数据编码单元104使用几何数据(解码结果)来编码属性数据，以生成属性数据的编码数据。属性数据编码单元104将所生成的编码数据提供给比特流生成单元105。
比特流生成单元105获取从几何数据编码单元101提供的几何数据的编码数据。此外，比特流生成单元105获取从属性数据编码单元104提供的属性数据的编码数据。比特流生成单元105对编码数据进行复用以生成包括编码数据的比特流。比特流生成单元105将生成的比特流输出至编码装置100的外部。该比特流经由例如任何通信介质或任何存储介质被提供给解码侧装置(例如，将在下面描述的解码装置)。
在这样的编码装置100中，上面在<1.附近点搜索的限制>中描述的本技术可以应用于属性数据编码单元104。也就是说，在该情况下，属性数据编码单元104通过使用应用了上面在<1.附近点搜索的限制>中描述的本技术的方法来编码属性数据。
利用这种配置，编码装置100可以对属性数据进行编码，使得可以针对每个切片独立地解码属性数据。因此，可以更可靠地解码属性数据。
这些处理单元(几何数据编码单元101至比特流生成单元105)具有任意配置。例如，每个处理单元可以由实现上述处理的逻辑电路配置。此外，每个处理单元可以包括例如中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)等，并且使用这些执行程序以实现上面的处理。当然，每个处理单元可以具有两种配置，以使用逻辑电路实现上述处理中的一些，并且通过执行程序实现其他处理。各个处理单元的配置可以彼此独立，例如，处理单元中的一些可以使用逻辑电路实现上述处理中的一些，其他处理单元可以通过执行程序来实现上述处理，并且另外的处理单元可以使用逻辑电路和程序的执行二者来实现上述处理。
<属性数据编码单元>
图15是示出属性数据编码单元104(图14)的主要配置示例的框图。在图15中，示出了诸如处理单元或数据流的主要部件，并且图15中示出的部件不一定是全部。也就是说，在属性数据编码单元104中，可能存在图15中未示出为框的处理单元或者可能存在图15中未示出为箭头等的处理或数据流。
如图15所示，属性数据编码单元104包括分层单元131、切片结构生成单元132、附近点搜索单元133、预测处理单元134、量化单元135和编码单元136。
分层单元131执行关于属性数据的分层的处理(LoD生成)。例如，分层单元131获取从点云生成单元103提供的属性数据和几何数据(解码结果)。分层单元131使用几何数据对属性数据进行分层。例如，分层单元131对属性数据进行分层以生成与几何数据的树结构相同的树结构。分层单元131将分层的属性数据与几何数据一起提供给切片结构生成单元132。
切片结构生成单元132执行关于切片结构的生成的处理。例如，切片结构生成单元132获取从分层单元131提供的属性数据和几何数据。切片结构生成单元132对属性数据执行切片，以生成切片结构。也就是说，切片结构生成单元132将属性数据的树结构的节点分组，以形成节点组。在这种情况下，切片结构生成单元132使用几何数据(也就是说，在点的几何结构的基础上)执行切片，使每个节点被划分为区域。例如，切片结构生成单元132以与几何数据相同的切片结构生成属性数据的切片结构。切片结构生成单元132将针对其生成切片结构的属性数据与几何数据一起提供给附近点搜索单元133。
附近点搜索单元133执行关于搜索参考属性数据的附近点的处理以得出处理目标点的预测值。例如，附近点搜索单元133获取从切片结构生成单元132提供的属性数据和几何数据。此外，附近点搜索单元133在几何数据的基础上执行附近点搜索。
附近点搜索单元133通过应用上面在<1.附近点搜索的限制>中描述的本技术来执行附近点搜索。例如，附近点搜索单元133可以仅针对树结构的节点中在解码时比处理目标节点更早解码的节点执行附近点搜索，以设置当得出处理目标节点的属性数据的预测值时要参考的参考点，在树结构中，点云的每个点的属性数据是节点，并且形成用作可以独立于彼此编码的节点组的切片，如上面在<属性节点分组>中描述的。
属性数据的树结构可以将基于几何数据而分层的每个点的属性数据作为节点。例如，属性数据的树结构可以将基于几何数据以在存在处理目标层的点的体素所属的一个较高层的体素处也存在点的方式分层的每个点的属性数据作为节点。此外，几何数据可以在几何分辨率的基础上形成分层的树结构，属性数据的树结构的每个节点可以与几何数据的树结构的每个节点对应。此外，在几何数据的树结构中形成用作可以独立于彼此编码的节点组的切片，并且在属性数据的树结构中形成的切片的结构可以对应于在几何数据的树结构中形成的切片的结构。
此外，附近点搜索单元133可以仅针对属性数据的树结构中比处理目标节点更高层的节点中的解码时比处理目标节点更早解码的节点执行附近点搜索，如上面在＜帧间参考＞中所述。
作为用于帧间参考的附近点搜索，附近点搜索单元133可以仅针对属性数据的树结构的节点中的属于与处理目标节点相同的切片并且在比解码时比处理目标节点更早解码的处理目标节点更高的层上的节点，以及属于在解码时比处理目标节点所属的切片更早解码的切片的节点执行附近点搜索，如上面在<基于切片结构的用于帧间参考的附近点搜索目标限制>所描述的。
此外，作为用于帧间参考的附近点搜索，附近点搜索单元133可以仅针对属性数据的树结构的节点中的处理目标节点的祖先节点执行附近点搜索，如上面在＜基于树结构的用于帧间参考的附近点搜索目标限制＞中所描述的。
此外，附近点搜索单元133可以仅针对在属性数据的树结构中与处理目标节点同一层的节点中，在解码时比处理目标节点更早解码的节点执行附近点搜索，如上面在＜帧内参考＞中所描述的。
作为用于帧间参考的附近点搜索，附近点搜索单元133可以仅对属性数据的树结构的节点中属于与处理目标节点相同的切片、并且与解码时比处理目标节点更早解码的处理目标节点处于相同层上的节点执行附近点搜索，如上面在<基于切片结构的用于帧内参考的附近点搜索目标限制>中所描述的。
附近点搜索单元133将搜索结果与属性数据和几何数据一起提供给预测处理单元134。
预测处理单元134执行关于属性数据的预测的处理。例如，预测处理单元134获取从附近点搜索单元133提供的附近点搜索的搜索结果、属性数据和几何数据。预测处理单元134使用该信息得出处理目标节点的属性数据的预测值。例如，预测处理单元134将已搜索的附近点设置为父节点或祖父节点，并且使用这些节点的属性数据得出处理目标节点的属性数据的预测值。
此外，预测处理单元134得出处理目标节点的属性数据与得出的预测值之间的差值。预测处理单元134将得出的差值提供给量化单元135。
量化单元135获取从预测处理单元134提供的差值。量化单元135对差值进行量化。量化单元135将量化的差值提供给编码单元136。
编码单元136获取从量化单元135提供的量化的差值。编码单元136对量化的差值进行编码，以生成属性数据(差值)的编码数据。该编码方法是任意的。编码单元136将生成的编码数据提供给比特流生成单元105(图14)。
如上所述，附近点搜索单元133通过应用本技术来执行附近点搜索，使得编码装置100(属性数据编码单元104)可以对属性数据进行编码，使得可以针对每个切片独立地解码属性数据。因此，可以更可靠地解码属性数据。
这些处理单元(分层单元131至编码单元136)具有任意配置。例如，每个处理单元可以由实现上述处理的逻辑电路配置。此外，每个处理单元可以包括例如CPU、ROM、RAM等，并且可以通过使用这些部件执行程序来实现上述处理。当然，每个处理单元可以具有两种配置，以使用逻辑电路实现上述处理中的一些，并且通过执行程序实现其他处理。各个处理单元的配置可以彼此独立，例如，处理单元中的一些可以使用逻辑电路实现上述处理中的一些，其他处理单元可以通过执行程序来实现上述处理，并且另外的处理单元可以使用逻辑电路和程序的执行二者来实现上述处理。
<编码处理的流程>
接下来，将描述由该编码装置100执行的处理。编码装置100通过执行编码处理来对点云数据进行编码。将参照图16的流程图来描述编码处理的流程的示例。
当编码处理开始时，在步骤S101中，编码装置100的几何数据编码单元101对点云的输入几何数据进行编码，以生成几何数据的编码数据。
在步骤S102中，几何数据解码单元102对在步骤S101中生成的编码数据进行解码，以生成几何数据。
在步骤S103中，点云生成单元103使用输入点云的属性数据和在步骤S102中生成的几何数据(解码结果)来执行重新着色处理，以使属性数据与几何数据相关联。
在步骤S104中，属性数据编码单元104执行属性数据编码处理，以对在步骤S103中重新着色的属性数据进行编码，并且生成属性数据的编码数据。
在步骤S105中，比特流生成单元105生成并且输出包括在步骤S101中生成的几何数据的编码数据以及在步骤S104中生成的属性数据的编码数据的比特流。
当步骤S105的处理结束时，编码处理结束。
上面在<1.附近点搜索的限制>中描述的本技术可以应用于在这种编码处理的步骤S104中执行的属性数据编码处理。也就是说，在这种情况下，属性数据编码单元104通过使用应用了上面在<1.附近点搜索的限制>中描述的本技术的方法来执行属性数据编码处理。
通过以这种方式执行每个步骤的处理，编码装置100可以对属性数据进行编码，使得可以针对每个切片独立地解码属性数据。因此，可以更可靠地解码属性数据。
<属性数据编码处理的流程>
接下来，将参照图17的流程图描述在图16的步骤S104中执行的属性数据编码处理的流程的示例。
当开始属性数据编码处理时，在步骤S131中，属性数据编码单元104的分层单元131将属性数据分层以对应于几何数据的分层结构。
在步骤S132中，切片结构生成单元132生成属性数据的切片结构。
在步骤S133中，附近点搜索单元133基于几何数据搜索参考属性数据的附近点，以得出处理目标点的预测值。
在这种情况下，附近点搜索单元133通过应用上面在<1.附近点搜索的限制>中描述的本技术来执行附近点搜索。例如，附近点搜索单元133可以仅针对树结构的节点中在解码时比处理目标节点更早解码的节点执行附近点搜索，以设置当得出处理目标节点的属性数据的预测值时要参考的参考点，在树结构中，点云的每个点的属性数据是节点，并且形成用作可以独立于彼此编码的节点组的切片，如上面在<属性节点分组>中描述的。
属性数据的树结构可以将基于几何数据而分层的每个点的属性数据作为节点。例如，属性数据的树结构可以将基于几何数据以在存在处理目标层的点的体素所属的一个较高层的体素处也存在点的方式分层的每个点的属性数据作为节点。此外，几何数据可以在几何分辨率的基础上形成分层的树结构，属性数据的树结构的每个节点可以与几何数据的树结构的每个节点对应。此外，在几何数据的树结构中形成用作可以独立于彼此编码的节点组的切片，并且在属性数据的树结构中形成的切片的结构可以对应于在几何数据的树结构中形成的切片的结构。
此外，附近点搜索单元133可以仅针对属性数据的树结构中比处理目标节点更高层的节点中的解码时比处理目标节点更早解码的节点执行附近点搜索，如上面在＜帧间参考＞中所述。
作为用于帧间参考的附近点搜索，附近点搜索单元133可以仅针对属性数据的树结构的节点中的属于与处理目标节点相同的切片并且在比解码时比处理目标节点更早解码的处理目标节点更高的层上的节点，以及属于在解码时比处理目标节点所属的切片更早解码的切片的节点执行附近点搜索，如上面在<基于切片结构的用于帧间参考的附近点搜索目标限制>所描述的。
此外，作为用于帧间参考的附近点搜索，附近点搜索单元133可以仅针对属性数据的树结构的节点中的处理目标节点的祖先节点执行附近点搜索，如上面在＜基于树结构的用于帧间参考的附近点搜索目标限制＞中所描述的。
此外，附近点搜索单元133可以仅针对在属性数据的树结构中与处理目标节点同一层的节点中，在解码时比处理目标节点更早解码的节点执行附近点搜索，如上面在＜帧内参考＞中所描述的。
作为用于帧间参考的附近点搜索，附近点搜索单元133可以仅对属性数据的树结构的节点中属于与处理目标节点相同的切片、并且与解码时比处理目标节点更早解码的处理目标节点处于相同层上的节点执行附近点搜索，如上面在<基于切片结构的用于帧内参考的附近点搜索目标限制>中所描述的。
在步骤S134中，预测处理单元134基于与步骤S133中的附近点搜索的结果对应的节点之间的参考结构来得出处理目标节点的属性数据的预测值，并且得出属性数据与预测值之间的差值。
在步骤S135中，量化单元135对在步骤S134中得出的差值进行量化。
在步骤S136中，编码单元136对在步骤S135中量化的差值进行编码。
当步骤S136的处理结束时，属性数据编码处理结束。
通过以这种方式执行每个步骤的处理，编码装置100(属性数据编码单元104)可以对属性数据进行编码，使得可以针对每个切片独立地解码属性数据。因此，可以更可靠地解码属性数据。
<4.第二实施方式>
<解码装置>
图18是示出作为应用了本技术的信息处理装置的一方面的解码装置的配置的示例的框图。图18所示的解码装置200是对点云(3D数据)的编码数据进行解码的装置。本技术(例如，参照图1至图13描述的各种方法)可以应用于解码装置200。
在图18中，示出了诸如处理单元或数据流的主要部件，并且图18中示出的部件不一定是全部。也就是说，在解码装置200中，可能存在未在图18中示出为框的处理单元，或者可能存在未在图18中示出为箭头等的处理或数据流。
如图18所示，解码装置200包括解码目标设置单元201、编码数据提取单元202、几何数据解码单元203、属性数据解码单元204和点云生成单元205。
解码目标设置单元201执行关于作为解码目标的层(LoD)或切片(节点组)的设置的处理。例如，解码目标设置单元201针对保存在编码数据提取单元202中的点云的编码数据，设置诸如解码哪个层和解码哪个切片的作为解码目标的层或区域。设置作为解码目标的层或切片的方法是任意的。
例如，解码目标设置单元201可以基于从诸如用户或应用的外部提供的关于层或切片的指令来执行设置。此外，解码目标设置单元201可以基于诸如输出图像的任意信息来获得并且设置作为解码目标的层或切片。
例如，解码目标设置单元201可以基于从点云生成的二维图像的视点位置、方向、视角、视点的运动(移动、平移、倾斜或缩放)等来设置作为解码目标的层或切片。
用于设置解码目标的数据单元是任意的。例如，解码目标设置单元201还可以针对整个点云设置层或切片。解码目标设置单元201还可以针对每个对象设置层或切片。此外，解码目标设置单元201还可以针对对象中的每个部分区域设置层或切片。当然，除了这些示例之外，还可以针对数据单元设置层或切片。
编码数据提取单元202获取并且保存输入至解码装置200的比特流。编码数据提取单元202从保存的比特流中提取与解码目标设置单元201指定的解码目标范围对应的几何数据和属性数据的编码数据。编码数据提取单元202将所提取的几何数据的编码数据提供给几何数据解码单元203。编码数据提取单元202将所提取的属性数据的编码数据提供给属性数据解码单元204。
几何数据解码单元203获取从编码数据提取单元202提供的几何数据的编码数据。几何数据解码单元203对编码数据进行解码以生成几何数据(解码结果)。该解码方法可以是任何方法，只要该解码方法是与编码装置100的几何数据解码单元102中的方法相同。几何数据解码单元203将生成的几何数据(解码结果)提供给属性数据解码单元204和点云生成单元205。
属性数据解码单元204获取从编码数据提取单元202提供的属性数据的编码数据。属性数据解码单元204获取从几何数据解码单元203提供的几何数据(解码结果)。属性数据解码单元204使用几何数据(解码结果)对编码数据进行解码以生成属性数据(解码结果)。属性数据解码单元204将生成的属性数据(解码结果)提供给点云生成单元205。
点云生成单元205获取从几何数据解码单元203提供的几何数据(解码结果)。点云生成单元205获取从属性数据解码单元204提供的属性数据(解码结果)。点云生成单元205将几何数据(解码结果)与属性数据(解码结果)相关联以生成点云数据(解码结果)。点云生成单元205将生成的点云数据(解码结果)输出至解码装置200的外部。
在这样的解码装置200中，上面在<1.附近点搜索的限制>中描述的本技术可以应用于属性数据解码单元204。也就是说，在这种情况下，属性数据解码单元204通过使用应用了上面在<1.附近点搜索的限制>中所描述的本技术的方法来解码属性数据的编码数据。
通过这样的配置，解码装置200可以对属性数据进行编码，使得属性数据可以针对每个切片独立地解码。因此，可以更可靠地解码属性数据。
此外，上面在<2.关联的限制>中描述的本技术可以应用于点云生成单元205。也就是说，在这种情况下，点云生成单元205通过使用应用了上面在<2.关联的限制>中所述的本技术的方法来生成点云数据。
例如，点云生成单元205可以将由属性数据解码单元204(下面将描述的恢复单元236)恢复的解码目标区域中的点的属性数据与点的几何数据相关联，如上面在<基于切片结构的关联限制>中所述。
此外，点云生成单元205可以将由属性数据解码单元204(下面描述的恢复单元236)恢复的所有点的属性数据与几何数据相关联，并且在属性数据和几何数据彼此关联的点中去除非解码目标区域中的点，如上面<关联后的去除>中所述。
此外，点云生成单元205可以去除由属性数据解码单元204(下面描述的恢复单元236)恢复的非解码目标区域中的点的属性数据，并且将解码目标区域中的点的属性数据和几何数据彼此关联，如上面在＜关联后的去除＞中所述。
利用这样的配置，解码装置200可以将几何数据与属性数据相关联。也就是说，通过这样做，可以更可靠地将几何数据与属性数据相关联，并且更可靠地生成点云数据。
这些处理单元(解码目标设置单元201至点云生成单元205)具有任意配置。例如，每个处理单元可以由实现上述处理的逻辑电路配置。此外，每个处理单元可以包括例如CPU、ROM和RAM，并且通过使用这些部件执行程序来实现上述处理。当然，每个处理单元可以具有两种配置，使用逻辑电路实现上述处理中的一些，并且通过执行程序实现其他处理。各个处理单元的配置可以彼此独立，例如，处理单元中的一些可以使用逻辑电路实现上述处理中的一些，其他处理单元可以通过执行程序来实现上述处理，并且另外的处理单元可以使用逻辑电路和程序的执行二者来实现上述处理。
<属性数据解码单元>
图19是示出属性数据解码单元204(图18)的主要配置示例的框图。在图19中，示出了诸如处理单元或数据流的主要部件，并且图19中示出的部件不一定是全部。也就是说，在属性数据解码单元204中，可能存在图19中未示出为框的处理单元，或者可能存在图19中未示出为箭头等的处理或数据流。
如图19所示，属性数据解码单元204包括解码单元231、逆量化单元232、分层单元233、切片结构生成单元234、附近点搜索单元235和恢复单元236。
编码单元231执行关于解码的处理。例如，解码单元231获取从编码数据提取单元202(图18)提供的属性数据的编码数据。解码单元231对编码数据进行解码。通过这样做，获得属性数据与属性数据的预测值之间的差值。该差值被量化。此外，该解码方法是任意的，只要解码方法是与编码装置100的编码单元136(图15)中的编码方法对应的方法。解码单元231将生成的差值(量化的差值)提供给逆量化单元232。
逆量化单元232获取从解码单元231提供的量化的差值。逆量化单元232对量化的差值进行逆量化并且得出差值。逆量化单元232将差值提供给分层单元233。
分层单元233获取从逆量化单元232提供的差值。分层单元233基于从几何数据解码单元203提供的几何数据对属性数据进行分层(将属性数据转换为树结构)。因此，分层单元233形成与编码装置100相同的属性数据的树结构。分层单元233将分层的差值提供给切片结构生成单元234。
切片结构生成单元234获取从分层单元233提供的分层差值(属性数据)。像切片结构生成单元132一样，切片结构生成单元234对分层的差值(属性数据)执行切片，以生成切片结构。在这种情况下，切片结构生成单元234使用几何数据(也就是说，在点的几何结构的基础上)来执行切片，使每个节点被划分为区域。例如，切片结构生成单元234以与几何数据相同的切片结构生成差值(属性数据)的切片结构。切片结构生成单元234将已经生成切片结构的差值(属性数据)与几何数据一起提供给附近点搜索单元235。
附近点搜索单元235执行关于搜索参考属性数据的附近点的处理以得出处理目标点的预测值。例如，附近点搜索单元235获取从切片结构生成单元234提供的差值(属性数据)和几何数据。此外，附近点搜索单元235在几何数据的基础上执行附近点搜索。
附近点搜索单元235应用上面在<1.附近点搜索的限制>中描述的本技术以执行附近点搜索。例如，附近点搜索单元235可以仅针对树结构的节点中由解码单元231比处理目标点更早解码的节点执行附近点搜索，以设置当得出处理目标节点的预测值时要参考的参考点，在树结构中，点云的每个点的属性数据是节点，并且形成用作可以独立于彼此编码的节点组的切片，如上面在<属性节点分组>中所述。
属性数据的树结构可以将基于几何数据而分层的每个点的属性数据作为节点。例如，属性数据的树结构可以将基于几何数据以在存在处理目标层的点的体素所属的一个较高层的体素处也存在点的方式分层的每个点的属性数据作为节点。此外，几何数据可以在几何分辨率的基础上形成分层的树结构，属性数据的树结构的每个节点可以与几何数据的树结构的每个节点对应。此外，在几何数据的树结构中形成用作可以独立于彼此编码的节点组的切片，并且在属性数据的树结构中形成的切片的结构可以对应于在几何数据的树结构中形成的切片的结构。
通过以这种方式将属性数据的树结构与几何数据的树结构相关联，可以实现点云数据的可缩放解码。此外，通过将属性数据的切片结构与几何数据的切片结构相关联，可以针对每个切片独立地恢复点云数据。
此外，附近点搜索单元235可以仅针对属性数据的树结构的节点中由解码单元231比处理目标节点更早解码的、在比处理目标节点更高层上的节点执行附近点搜索，如上面在<帧间参考>中所述。
作为用于帧间参考的附近点搜索，附近点搜索单元235可以仅针对属性数据的树结构的节点中的属于与处理目标节点相同的切片并且在比由解码单元231比处理目标节点更早解码的处理目标节点更高的层上的节点执行附近点搜索，如上面在<基于切片结构的用于帧间参考的附近点搜索目标限制>所述，以及针对属于由解码单元231比处理目标节点所属的切片更早解码的切片的节点。
此外，作为用于帧间参考的附近点搜索，附近点搜索单元235可以仅针对属性数据的树结构的节点中的处理目标节点的祖先节点执行附近点搜索，如上面在＜基于树结构的用于帧间参考的附近点搜索目标限制＞中所描述的。
此外，附近点搜索单元235可以仅针对属性数据的树结构中与处理目标节点同一层的节点中由解码单元231比处理目标节点更早解码的节点执行附近点搜索，如上面在<帧内参考>所述。
作为用于帧间参考的附近点搜索，附近点搜索单元235可以仅针对属性数据的树结构中的节点中属于与处理目标节点相同的切片并且与由解码单元231比处理目标节点更早解码的处理目标节点处于相同层上的节点执行附近点搜索，如上面在<基于切片结构的用于帧内参考的附近点搜索目标限制>中所述。
附近点搜索单元235将搜索结果与属性数据和几何数据一起提供给恢复单元236。
恢复单元236执行关于恢复属性数据的处理。例如，恢复单元236获得从附近点搜索单元235提供的附近点搜索的搜索结果、差值(属性数据)以及几何数据。恢复单元236使用这些信息得出处理目标节点的属性数据的预测值。例如，恢复单元236将已搜索到的附近点设置为父节点或祖父节点，并且使用这些节点的属性数据得出处理目标节点的属性数据的预测值。
此外，恢复单元236将得出的预测值添加到处理目标节点的差值中，并且恢复属性数据。恢复单元236将得出的属性数据提供给点云生成单元205。
如上所述，附近点搜索单元235通过应用本技术来执行附近点搜索，使得解码装置200(属性数据解码单元204)可以针对每个切片独立地解码属性数据。因此，可以更可靠地解码属性数据。
这些处理单元(解码单元231至恢复单元236)具有任意配置。例如，每个处理单元可以由实现上述处理的逻辑电路配置。此外，每个处理单元可以包括例如CPU、ROM和RAM，并且通过使用这些部件执行程序来实现上述处理。当然，每个处理单元可以具有两种配置，使用逻辑电路实现上述处理中的一些，并且通过执行程序实现其他处理。各个处理单元的配置可以彼此独立，例如，处理单元中的一些可以使用逻辑电路实现上述处理中的一些，其他处理单元可以通过执行程序来实现上述处理，并且另外的处理单元可以使用逻辑电路和程序的执行二者来实现上述处理。
<解码处理的流程>
接下来，将描述由该解码装置200执行的处理。解码装置200通过执行解码处理对点云的编码数据进行解码。将参照图20的流程图描述该解码处理的流程的示例。
当解码处理开始时，在步骤S201中，解码装置200的解码目标设置单元201设置作为解码目标的LoD或切片。
在步骤S202中，编码数据提取单元202获取并且保存比特流，并且提取在步骤S201中设置的LoD或切片(即，解码目标)的几何数据和属性数据(差值)的编码数据。
在步骤S203中，几何数据解码单元203对在步骤S202中提取的编码数据进行解码，以生成几何数据(解码结果)。
在步骤S204中，属性数据解码单元204通过执行属性数据解码处理对在步骤S202中提取的编码数据进行解码，以生成差值(属性数据)。
在步骤S205中，点云生成单元205执行点云生成处理，并且将在步骤S203中生成的几何数据与在步骤S204中生成的差值(属性数据)相关联，以生成点云(解码结果)。
当步骤S205的处理结束时，解码处理结束。
上面在<1.附近点搜索的限制>中所述的本技术可以应用于在这样的解码处理的步骤S204中执行的属性数据解码处理。也就是说，在这种情况下，属性数据解码单元204通过使用应用了上面在<1.附近点搜索的限制>中所述的本技术的方法来执行属性数据解码处理，以解码差值(属性数据)的编码数据。
此外，上面在<2.关联的限制>中描述的本技术可以应用于步骤s205中执行的点云生成处理。也就是说，在这种情况下，点云生成单元205通过使用应用了上面在<1.附近点搜索的限制>中描述的本技术的方法来执行点云生成处理，将恢复的解码目标区域中的点的属性数据与点的几何数据关联，并且生成点云数据。
解码装置200可以通过以这种方式执行每个步骤的处理来针对每个切片独立地解码属性数据。此外，解码装置200可以将几何数据和属性数据彼此关联。因此，可以更可靠地解码属性数据。
<属性数据解码处理的流程>
接下来，将参照图21的流程图描述在图20的步骤S204中执行的属性数据解码处理的流程的示例。
当属性数据解码处理开始时，属性数据解码单元204的解码单元231对属性数据(差值)的编码数据进行解码以在步骤S231中生成差值。该差值被量化。
在步骤S232中，逆量化单元232对步骤S231中获得的量化的差值进行逆量化，以获得差值。
在步骤S233中，分层单元233对步骤S232中获得的差值(属性数据)进行分层。例如，分层单元233将差值分层以对应于几何数据的分层结构。
在步骤S234中，像切片结构生成单元132一样，切片结构生成单元234对步骤S233中分层的差值(属性数据)执行切片，以生成切片结构。在这种情况下，切片结构生成单元234使用几何数据(也就是说，在点的几何结构的基础上)来执行切片，使每个节点被划分为区域。例如，切片结构生成单元234以与几何数据相同的切片结构生成差值(属性数据)的切片结构。
在步骤S235中，附近点搜索单元235执行对参考属性数据的附近点的搜索，以得出处理目标点的预测值。
在这种情况下，附近点搜索单元235应用上面在<1.附近点搜索的限制>中描述的本技术以执行附近点搜索。例如，附近点搜索单元235可以仅针对树结构的节点中由解码单元231比处理目标点更早解码的节点执行附近点搜索，以设置当得出处理目标节点的预测值时要参考的参考点，在树结构中，点云的每个点的属性数据是节点，并且形成用作可以独立于彼此编码的节点组的切片，如上面在<属性节点分组>中所述。
属性数据的树结构可以将基于几何数据而分层的每个点的属性数据作为节点。例如，属性数据的树结构可以将基于几何数据以在存在处理目标层的点的体素所属的一个较高层的体素处也存在点的方式分层的每个点的属性数据作为节点。此外，几何数据可以在几何分辨率的基础上形成分层的树结构，属性数据的树结构的每个节点可以与几何数据的树结构的每个节点对应。此外，在几何数据的树结构中形成用作可以独立于彼此编码的节点组的切片，并且在属性数据的树结构中形成的切片的结构可以对应于在几何数据的树结构中形成的切片的结构。
此外，附近点搜索单元235可以仅针对属性数据的树结构中比处理目标节点更高层的节点中由解码单元231比处理目标节点更早解码的节点执行附近点搜索，如上面在<帧间参考>中所述。
作为用于帧间参考的附近点搜索，附近点搜索单元235可以仅针对属性数据的树结构的节点中的属于与处理目标节点相同的切片并且在比由解码单元231比处理目标节点更早解码的处理目标节点更高的层上的节点，以及针对属于由解码单元231比处理目标节点所属的切片更早解码的切片的节点执行附近点搜索，如上面在<基于切片结构的用于帧间参考的附近点搜索目标限制>所述。
此外，作为用于帧间参考的附近点搜索，附近点搜索单元235可以仅针对属性数据的树结构的节点中的处理目标节点的祖先节点执行附近点搜索，如上面在＜基于树结构的用于帧间参考的附近点搜索目标限制＞中所描述的。
此外，附近点搜索单元235可以仅针对属性数据的树结构中与处理目标节点同一层的节点中由解码单元231比处理目标节点更早解码的节点执行附近点搜索，如上面在<帧内参考>所述。
作为用于帧间参考的附近点搜索，附近点搜索单元235可以仅针对属性数据的树结构中的节点中属于与处理目标节点相同的切片并且与由解码单元231比处理目标节点更早解码的处理目标节点处于相同层上的节点执行附近点搜索，如上面在<基于切片结构的用于帧内参考的附近点搜索目标限制>中所述。
在步骤S236中，恢复单元236使用在步骤S235中执行的附近点搜索的搜索结果、在步骤S232中获得的差值(属性数据)和几何数据来得出处理目标节点的属性数据的预测值。例如，恢复单元236将已搜索到的附近点设置为父节点或祖父节点，并且使用这些节点的属性数据得出处理目标节点的属性数据的预测值。此外，恢复单元236将得出的预测值添加到处理目标节点的差值中，并且恢复属性数据。
当步骤S236的处理结束时，属性数据解码处理结束。
解码装置200(属性数据解码单元204)通过以这种方式执行每个步骤的处理，可以针对每个切片独立地解码属性数据。因此，可以更可靠地解码属性数据。
<点云生成处理流程1>
接下来，将参照图22的流程图描述在图20的步骤S205中执行的点云生成处理的流程的示例。该流程图对应于<2.关联的限制>中的<关联后的去除>中描述的示例。
当点云生成处理开始时，点云生成单元205将几何数据和属性数据(包括步骤S251中的非输出目标区域)彼此关联。
在步骤S252中，点云生成单元205在几何数据的基础上删除非输出目标区域中的点。
当步骤S252的处理结束时，处理返回至图20。
通过这样做，点云生成单元205可以去除非解码目标区域中的点，并且留下解码目标区域中的点，如上面在<关联后的去除>中所述。因此，解码装置200(点云生成单元205)可以更可靠地将几何数据与属性数据相关联，并且更可靠地生成点云数据。
<点云生成处理流程2>
接下来，将参照图23的流程图描述在图20的步骤S205中执行的点云生成处理的流程的另一示例。该流程图对应于在<2.关联的限制>中的<关联前的去除>中描述的示例。
当点云生成处理开始时，在步骤S271中，点云生成单元205基于低分辨率的几何数据删除非输出目标区域中的属性数据。
在步骤S272中，点云生成单元205将输出目标区域的几何数据与属性数据相关联。
当步骤S272的处理结束时，处理返回至图20。
通过这样做，点云生成单元205可以将几何数据和属性数据彼此关联，如上面在<关联前的去除>中所述。也就是说，通过这样做，解码装置200(点云生成单元205)可以更可靠地将几何数据与属性数据相关联，并且更可靠地生成点云数据。
<5.补充>
<计算机>
上述一系列处理可以通过硬件执行或者可以通过软件执行。在由软件执行一系列处理的情况下，将构成软件的程序安装在计算机中。此处，计算机包括例如内置在专用硬件中的计算机，或者能够通过安装的各种程序执行各种功能的通用个人计算机。
图24是示出使用程序执行上述一系列处理的计算机硬件的配置示例的框图。
在图24中示出的计算机900中，中央处理单元(CPU)901、只读存储器(ROM)902和随机存取存储器(RAM)903经由总线904相互连接。
输入和输出接口910也连接至总线904。输入单元911、输出单元912、存储单元913、通信单元914和驱动器915连接至输入和输出接口910。
输入单元911包括例如键盘、鼠标、麦克风、触摸板或输入终端。输出单元912包括例如显示器、扬声器或输出端子。存储单元913包括例如硬盘、RAM盘或非易失性存储器。通信单元914包括例如网络接口。驱动器915驱动诸如磁盘、光盘、磁光盘或半导体存储器之类的可移除介质921。
在如上所述配置的计算机中，CPU 901经由输入和输出接口910以及总线904将存储在存储单元913中的程序加载到RAM 903中并且执行程序，使得上述一系列处理被执行。RAM 903还适当地存储例如CPU 901执行各种处理所需的数据。
例如，要由计算机执行的程序可以记录在诸如封装介质的可移除介质921上并应用该程序。在这种情况下，可以通过安装在驱动器915中的可移除介质921，经由输入和输出接口910将程序安装在存储单元913中。
还可以经由诸如局域网、因特网和数字卫星广播的有线或无线传输介质提供该程序。在这种情况下，程序可以被通信单元914接收，并且安装在存储单元913中。
替选地，该程序可以被预先安装在ROM 902或存储单元913中。
<现有技术的应用目标>
尽管上面已经描述了将本技术应用于点云数据的编码和解码的情况，但是本技术不限于这些示例，并且可以应用于具有任何标准的3D数据的编码和解码。例如，在网格数据的编码和解码中，网格数据可以被转换为点云数据，并且可以通过应用本技术来执行编码和解码。即，诸如编码和解码方法的各种处理以及诸如3D数据或元数据的各种类型的数据的规范是任意的，只要这些不与上述本技术冲突即可。此外，可以省略上述的一些处理或规范，只要这不与本技术冲突。
可以将本技术应用于任何配置。例如，本技术可以应用于各种电子装置，例如卫星广播、诸如有线电视的有线广播、因特网上的分发以及通过蜂窝通信向终端的分发等的发射器和接收器(例如，电视接收器和移动电话)，或者将图像记录在诸如光盘、磁盘和闪存的介质上或从存储介质再现图像的装置(例如，硬盘录制器和相机)。
此外，例如，本技术还可以被实现为装置的配置的一部分，诸如：作为系统大规模集成(LSI)等的处理器(例如，视频处理器)；使用多个处理器等的模块(例如，视频模块)；使用多个模块等的单元(例如，视频单元)；或将其他功能添加至单元的集合(例如，视频集合)。
此外，例如，本技术还可以应用于由多个装置配置的网络系统。例如，本技术可以被实现为云计算，其中多个装置经由网络共享处理并且共同地执行处理。例如，可以在向诸如计算机、视听(AV)装置、便携式信息处理终端或物联网(IoT)装置的任意终端提供关于图像(运动图像)的服务的云服务中实现本技术。
在本说明书中，系统是指多个部件(装置、模块(部件)等)的集合，并且所有部件是否都在同一壳体中无关紧要。因此，容纳在不同壳体中并且经由网络连接的多个装置以及其中多个模块被容纳在一个壳体中的一个装置都是系统。
<可以应用本技术的领域和用途>
应用本技术的系统、装置、处理单元等可以用于任何领域，例如运输、医疗、犯罪预防、农业、畜牧业、采矿、美容、工厂、家用电器、天气和自然监测。此外，其使用是任意的。
<其他>
本技术的实施方式不限于上述实施方式，并且在不脱离本技术的要旨的情况下可以进行各种修改。
例如，描述为一个装置(或处理单元)的配置可以被划分并且配置成多个装置(或处理单元)。相反，上述作为多个装置(或多个处理单元)的配置可以被共同配置为一个装置(或处理单元)。此外，当然，可以将除上述之外的配置添加到每个装置(或每个处理单元)的配置。此外，只要作为整体的系统的配置或操作基本相同，则装置(或处理单元)的配置的一部分可以被包括在另一装置(或另一处理单元)的配置中。
此外，例如，可以在任何装置中执行上述程序。在这种情况下，装置仅需要具有必要的功能(功能块等)并且能够获得必要的信息。
此外，例如，一个流程图的每个步骤可以由一个装置执行，或者可以由多个装置共享并且执行。此外，当在一个步骤中包括多个处理时，一个装置可以执行多个处理，或者多个装置可以共享并执行多个处理。换言之，还可以执行一个步骤中包括的多个处理作为多个步骤的处理。另一方面，还可以将被描述为多个步骤的处理作为一个步骤来共同执行。
此外，例如，在由计算机执行的程序中，描述该程序的步骤的处理可以按照本说明书中描述的顺序按时间序列执行，或者可以并行执行或在诸如进行调用时的所需时刻处单独执行。即，只要不存在矛盾，就可以以与上述顺序不同的顺序执行各个步骤的处理。此外，描述该程序的步骤的处理可以与另一程序的处理并行地执行，或者可以与另一程序的处理组合执行。
此外，例如，与本技术有关的多种技术可以独立地实现为单个主体，只要不存在矛盾即可。当然，也可以组合地执行任何多个本技术。例如，还可以结合其他实施方式中描述的技术中的一些或全部来实现任一实施方式中描述的本技术中的一些或全部。此外，还可以结合以上未描述的其他技术来实现任何上述技术中的一些或全部。
本技术还可以采用以下配置。
(1)一种信息处理装置，包括：
附近点搜索单元，其被配置成仅针对树结构的节点中的在解码时比处理目标节点更早解码的节点，执行附近点搜索，以设置当得出所述处理目标节点的属性数据的预测值时要参考的参考点，在所述树结构中，将具有三维形状的对象表达为点的集合的点云的每个点的属性数据是节点，并且形成用作能够独立于彼此编码的节点组的切片；以及
编码单元，其被配置成对所述处理目标节点的所述属性数据与通过使用经由所述附近点搜索单元的所述附近点搜索而设置的所述参考点的属性数据而得出的所述预测值之间的差值进行编码。
(2)根据(1)所述的信息处理装置，其中，述附近点搜索单元仅针对所述树结构中的在比所述处理目标节点更高的层上的节点中的在解码时比所述处理目标节点更早解码的所述节点执行所述附近点搜索。
(3)根据(2)所述的信息处理装置，其中，所述附近点搜索单元仅针对所述树结构的节点中的以下节点执行所述附近点搜索：
属于与所述处理目标节点相同的切片并且在比解码时比所述处理目标节点更早解码的所述处理目标节点更高的层上的节点，以及、
属于在解码时比所述处理目标节点所属的切片更早解码的切片的节点。
(4)根据(2)所述的信息处理装置，其中，所述附近点搜索单元仅针对所述树结构的节点中的所述处理目标节点的祖先节点执行所述附近点搜索。
(5)根据(1)所述的信息处理装置，其中，所述附近点搜索单元仅针对所述树结构中的与所述处理目标节点相同的层上的节点中的在解码时比所述处理目标节点更早解码的节点执行所述附近点搜索。
(6)根据(5)所述的信息处理装置，其中，所述附近点搜索单元仅针对所述树结构的节点中的属于与所述处理目标节点相同的切片并且在与解码时比所述处理目标节点更早解码的所述处理目标节点相同层上的节点执行所述附近点搜索。
(7)根据(1)至(6)中任一项所述的信息处理装置，其中，所述树结构将基于几何数据而分层的每个点的属性数据作为所述节点。
(8)根据(7)所述的信息处理装置，其中，所述树结构将基于所述几何数据以在存在处理目标层的点的体素所属的一个较高层的体素处也存在所述点的方式分层的每个点的属性数据作为节点。
(9)根据(8)所述的信息处理装置，
其中，所述几何数据基于几何结构的分辨率形成分层的树结构，
所述属性数据的树结构的每个节点对应于所述几何数据的树结构的节点，
在所述几何数据的树结构中形成用作能够独立于彼此编码的节点组的切片，以及
在所述属性数据的树结构中形成的所述切片的结构对应于在所述几何数据的树结构中形成的所述切片的结构。
(10)一种信息处理方法，包括：
仅针对树结构的节点中在解码时比处理目标节点更早解码的节点，执行附近点搜索，以设置当得出所述处理目标节点的属性数据的预测值时要参考的参考点，在所述树结构中，将具有三维形状的对象表达为点的集合的点云的每个点的属性数据是节点，并且形成用作能够独立于彼此编码的节点组的切片；以及
对所述处理目标节点的所述属性数据与通过使用经由所述附近点搜索而设置的所述参考点的属性数据而得出的预测值之间的差值进行编码。
(11)一种信息处理装置，包括：
解码单元，其被配置成对树结构的处理目标节点的编码数据进行解码以得出所述处理目标节点的差值，在所述编码数据中，属性数据与所述属性数据的预测值之间的差值已被编码，在所述树结构中，将具有三维形状的对象表达为点的集合的点云的每个点的属性数据是节点，并且形成用作能够独立于彼此编码的节点组的切片；
附近点搜索单元，其被配置成仅针对所述树结构的所述节点中的由所述解码单元比所述处理目标节点更早解码的节点，执行附近点搜索，以设置当得出所述处理目标节点的所述预测值时要参考的参考点；
恢复单元，其被配置成通过将由所述解码单元得出的所述差值添加到通过使用经由所述附近点搜索单元的所述附近点搜索设置的所述参考点的属性数据得出的所述预测值，来恢复所述处理目标节点的所述属性数据；以及
关联单元，其被配置成将由所述恢复单元恢复的解码目标区域中的点的属性数据与所述点的几何数据相关联。
(12)根据(11)所述的信息处理装置，
其中，所述附近点搜索单元仅针对所述树结构的节点中的以下节点执行附近点搜索：
属于与所述处理目标节点相同的切片并且在比由所述解码单元比所述处理目标节点更早解码的所述处理目标节点更高的层上的节点，以及
属于由所述解码单元比所述处理目标节点所属的切片更早解码的切片的节点。
(13)根据(11)所述的信息处理装置，其中，所述附近点搜索单元仅针对所述树结构的节点中的所述处理目标节点的祖先节点执行所述附近点搜索。
(14)根据(11)所述的信息处理装置，其中，所述附近点搜索单元仅针对所述树结构的节点中属于与所述处理目标节点相同的切片并且在与由所述解码单元比所述处理目标节点更早解码的所述处理目标节点相同的层上的节点执行所述附近点搜索。
(15)根据(11)至(14)中任一项所述的信息处理装置，其中，所述树结构将基于所述几何数据而分层的每个点的属性数据作为节点。
(16)根据(15)所述的信息处理装置，其中，所述树结构将基于所述几何数据以在存在处理目标层的点的体素所属的一个较高层的体素处也存在点的方式分层的每个点的属性数据作为节点。
(17)根据(16)所述的信息处理装置，
其中，所述几何数据基于几何结构的分辨率形成分层的树结构，
所述属性数据的树结构的每个节点对应于所述几何数据的树结构的节点，
在所述几何数据的树结构中形成用作能够独立于彼此编码的节点组的切片，以及
在所述属性数据的树结构中形成的所述切片的结构对应于在所述几何数据的树结构中形成的所述切片的结构。
(18)根据(17)所述的信息处理装置，
其中，所述关联单元
将由所述恢复单元恢复的所有点的所述属性数据和所述几何数据彼此关联，以及
去除所述属性数据和所述几何数据彼此关联的非解码目标区域中的点。
(19)根据(17)所述的信息处理装置，
其中，所述关联单元
去除由所述恢复单元恢复的非解码目标区域中的点的属性数据，以及
将所述解码目标区域中的所述点的所述属性数据和所述几何数据彼此关联。
(20)一种信息处理方法，包括：
对树结构的处理目标节点的编码数据进行解码以得出所述处理目标节点的差值，在所述编码数据中，属性数据与所述属性数据的预测值之间的差值已被编码，在所述树结构中，将具有三维形状的对象表达为点的集合的点云的每个点的属性数据是节点，并且形成用作能够独立于彼此编码的节点组的切片；
仅针对所述树结构的节点中比所述处理目标节点更早解码的节点，执行附近点搜索，以设置当得出所述处理目标节点的所述预测值时要参考的参考点；
通过将所得出的差值添加到通过使用经由所述附近点搜索设置的所述参考点的所述属性数据得出的所述预测值，来恢复所述处理目标节点的所述属性数据；以及
将解码目标区域中的点的恢复的属性数据与所述点的几何数据相关联。
[附图标记列表]
100编码装置
101几何数据编码单元
102几何数据解码单元
103点云生成单元
104属性数据编码单元
105比特流生成单元
131分层单元
132切片结构生成单元
133附近点搜索单元
134预测处理单元
135量化单位
136编码单元
200解码装置
201解码目标设置单元
202编码数据提取单元
203几何数据解码单元
204属性数据解码单元
205点云生成单元
231解码单元
232逆量化单元
233分层单元
234切片结构生成单元
235附近点搜索单元
236恢复单元
900计算机

Claims (20)

1.一种信息处理装置，包括：
附近点搜索单元，其被配置成仅针对树结构的节点中的在解码时比处理目标节点更早解码的节点，执行附近点搜索，以设置当得出所述处理目标节点的属性数据的预测值时要参考的参考点，在所述树结构中，将具有三维形状的对象表达为点的集合的点云的每个点的属性数据是节点，并且形成用作能够独立于彼此编码的节点组的切片；以及
编码单元，其被配置成对所述处理目标节点的所述属性数据与通过使用经由所述附近点搜索单元的所述附近点搜索而设置的所述参考点的属性数据而得出的所述预测值之间的差值进行编码。
2.根据权利要求1所述的信息处理装置，其中，所述附近点搜索单元仅针对所述树结构中的在比所述处理目标节点更高的层上的节点中的在解码时比所述处理目标节点更早解码的所述节点执行所述附近点搜索。
3.根据权利要求2所述的信息处理装置，其中，所述附近点搜索单元仅针对所述树结构的节点中的以下节点执行所述附近点搜索：
属于与所述处理目标节点相同的切片并且在比解码时比所述处理目标节点更早解码的所述处理目标节点更高的层上的节点，以及、
属于在解码时比所述处理目标节点所属的切片更早解码的切片的节点。
4.根据权利要求2所述的信息处理装置，其中，所述附近点搜索单元仅针对所述树结构的节点中的所述处理目标节点的祖先节点执行所述附近点搜索。
5.根据权利要求1所述的信息处理装置，其中，所述附近点搜索单元仅针对所述树结构中的与所述处理目标节点相同的层上的节点中的在解码时比所述处理目标节点更早解码的节点执行所述附近点搜索。
6.根据权利要求5所述的信息处理装置，其中，所述附近点搜索单元仅针对所述树结构的节点中的属于与所述处理目标节点相同的切片并且在与解码时比所述处理目标节点更早解码的所述处理目标节点相同层上的节点执行所述附近点搜索。
7.根据权利要求1所述的信息处理装置，其中，所述树结构将基于几何数据而分层的每个点的属性数据作为所述节点。
8.根据权利要求7所述的信息处理装置，其中，所述树结构将基于所述几何数据以在存在处理目标层的点的体素所属的一个较高层的体素处也存在所述点的方式分层的每个点的属性数据作为节点。
9.根据权利要求8所述的信息处理装置，
其中，所述几何数据基于几何结构的分辨率形成分层的树结构，
所述属性数据的树结构的每个节点对应于所述几何数据的树结构的节点，
在所述几何数据的树结构中形成用作能够独立于彼此编码的节点组的切片，以及
在所述属性数据的树结构中形成的所述切片的结构对应于在所述几何数据的树结构中形成的所述切片的结构。
10.一种信息处理方法，包括：
仅针对树结构的节点中在解码时比处理目标节点更早解码的节点，执行附近点搜索，以设置当得出所述处理目标节点的属性数据的预测值时要参考的参考点，在所述树结构中，将具有三维形状的对象表达为点的集合的点云的每个点的属性数据是节点，并且形成用作能够独立于彼此编码的节点组的切片；以及
对所述处理目标节点的所述属性数据与通过使用经由所述附近点搜索而设置的所述参考点的属性数据而得出的预测值之间的差值进行编码。
11.一种信息处理装置，包括：
解码单元，其被配置成对树结构的处理目标节点的编码数据进行解码以得出所述处理目标节点的差值，在所述编码数据中，属性数据与所述属性数据的预测值之间的差值已被编码，在所述树结构中，将具有三维形状的对象表达为点的集合的点云的每个点的属性数据是节点，并且形成用作能够独立于彼此编码的节点组的切片；
附近点搜索单元，其被配置成仅针对所述树结构的所述节点中的由所述解码单元比所述处理目标节点更早解码的节点，执行附近点搜索，以设置当得出所述处理目标节点的所述预测值时要参考的参考点；
恢复单元，其被配置成通过将由所述解码单元得出的所述差值添加到通过使用经由所述附近点搜索单元的所述附近点搜索设置的所述参考点的属性数据得出的所述预测值，来恢复所述处理目标节点的所述属性数据；以及
关联单元，其被配置成将由所述恢复单元恢复的解码目标区域中的点的属性数据与所述点的几何数据相关联。
12.根据权利要求11所述的信息处理装置，
其中，所述附近点搜索单元仅针对所述树结构的节点中的以下节点执行附近点搜索：
属于与所述处理目标节点相同的切片并且在比由所述解码单元比所述处理目标节点更早解码的所述处理目标节点更高的层上的节点，以及
属于由所述解码单元比所述处理目标节点所属的切片更早解码的切片的节点。
13.根据权利要求11所述的信息处理装置，其中，所述附近点搜索单元仅针对所述树结构的节点中的所述处理目标节点的祖先节点执行所述附近点搜索。
14.根据权利要求11所述的信息处理装置，其中，所述附近点搜索单元仅针对所述树结构的节点中属于与所述处理目标节点相同的切片并且在与由所述解码单元比所述处理目标节点更早解码的所述处理目标节点相同的层上的节点执行所述附近点搜索。
15.根据权利要求11所述的信息处理装置，其中，所述树结构将基于所述几何数据而分层的每个点的属性数据作为节点。
16.根据权利要求15所述的信息处理装置，其中，所述树结构将基于所述几何数据以在存在处理目标层的点的体素所属的一个较高层的体素处也存在点的方式分层的每个点的属性数据作为节点。
17.根据权利要求16所述的信息处理装置，
其中，所述几何数据基于几何结构的分辨率形成分层的树结构，
所述属性数据的树结构的每个节点对应于所述几何数据的树结构的节点，
在所述几何数据的树结构中形成用作能够独立于彼此编码的节点组的切片，以及
在所述属性数据的树结构中形成的所述切片的结构对应于在所述几何数据的树结构中形成的所述切片的结构。
18.根据权利要求17所述的信息处理装置，
其中，所述关联单元
将由所述恢复单元恢复的所有点的所述属性数据和所述几何数据彼此关联，以及
去除所述属性数据和所述几何数据彼此关联的非解码目标区域中的点。
19.根据权利要求17所述的信息处理装置，
其中，所述关联单元
去除由所述恢复单元恢复的非解码目标区域中的点的属性数据，以及
将所述解码目标区域中的所述点的所述属性数据和所述几何数据彼此关联。
20.一种信息处理方法，包括：
对树结构的处理目标节点的编码数据进行解码以得出所述处理目标节点的差值，在所述编码数据中，属性数据与所述属性数据的预测值之间的差值已被编码，在所述树结构中，将具有三维形状的对象表达为点的集合的点云的每个点的属性数据是节点，并且形成用作能够独立于彼此编码的节点组的切片；
仅针对所述树结构的节点中比所述处理目标节点更早解码的节点，执行附近点搜索，以设置当得出所述处理目标节点的所述预测值时要参考的参考点；
通过将所得出的差值添加到通过使用经由所述附近点搜索设置的所述参考点的所述属性数据得出的所述预测值，来恢复所述处理目标节点的所述属性数据；以及
将解码目标区域中的点的恢复的属性数据与所述点的几何数据相关联。
CN202180086127.8A 2020-12-28 2021-12-14 信息处理装置和方法 Pending CN116670721A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-218500 2020-12-28
JP2020218500 2020-12-28
PCT/JP2021/045929 WO2022145214A1 (ja) 2020-12-28 2021-12-14 情報処理装置および方法

Publications (1)

Publication Number Publication Date
CN116670721A true CN116670721A (zh) 2023-08-29

Family

ID=82260464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180086127.8A Pending CN116670721A (zh) 2020-12-28 2021-12-14 信息处理装置和方法

Country Status (6)

Country Link
US (1) US20240056604A1 (zh)
EP (1) EP4270323A4 (zh)
JP (1) JPWO2022145214A1 (zh)
KR (1) KR20230125186A (zh)
CN (1) CN116670721A (zh)
WO (1) WO2022145214A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117213725B (zh) * 2023-09-12 2024-05-14 国能龙源环保有限公司 火电厂脱硫设备密封检测方法、系统、终端及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6817961B2 (ja) * 2015-12-14 2021-01-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置及び三次元データ復号装置
US10897269B2 (en) * 2017-09-14 2021-01-19 Apple Inc. Hierarchical point cloud compression
US10904564B2 (en) * 2018-07-10 2021-01-26 Tencent America LLC Method and apparatus for video coding
BR112021016832A2 (pt) * 2019-03-18 2021-10-19 Panasonic Intellectual Property Corporation Of America Método de codificação de dados tridimensionais, método de decodificação de dados tridimensionais, dispositivo de codificação de dados tridimensionais, e dispositivo de decodificação de dados tridimensionais
JP7480775B2 (ja) * 2019-03-19 2024-05-10 ソニーグループ株式会社 情報処理装置および方法

Also Published As

Publication number Publication date
KR20230125186A (ko) 2023-08-29
JPWO2022145214A1 (zh) 2022-07-07
WO2022145214A1 (ja) 2022-07-07
US20240056604A1 (en) 2024-02-15
EP4270323A4 (en) 2024-05-29
EP4270323A1 (en) 2023-11-01

Similar Documents

Publication Publication Date Title
US11910026B2 (en) Image processing apparatus and method
AU2019302074B2 (en) Image processing device and method
US11943457B2 (en) Information processing apparatus and method
CN111566702B (zh) 图像处理装置和方法
US11399189B2 (en) Image processing apparatus and method
US20230164353A1 (en) Point cloud data processing device and processing method
CN103404150A (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序及图像解码程序
KR20230131878A (ko) 포인트 클라우드 프로세싱을 위한 장치 및 방법
CN116670721A (zh) 信息处理装置和方法
US20230023219A1 (en) Information processing device and method
WO2021010200A1 (ja) 情報処理装置および方法
WO2020145143A1 (ja) 情報処理装置および方法
CN114598883A (zh) 点云属性的预测方法、编码器、解码器及存储介质
WO2020071115A1 (ja) 画像処理装置および方法
KR20210109538A (ko) 화상 처리 장치 및 방법
WO2021002214A1 (ja) 情報処理装置および方法
CN114097242A (zh) 信息处理装置和方法
US20230177735A1 (en) Information processing apparatus and method
US20230342981A1 (en) Information processing device and method
EP4325853A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN115914651A (zh) 点云编解码方法、装置、设备及存储介质
CN117119198A (zh) 一种视频处理方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination