CN114097242A - 信息处理装置和方法 - Google Patents

信息处理装置和方法 Download PDF

Info

Publication number
CN114097242A
CN114097242A CN202080049528.1A CN202080049528A CN114097242A CN 114097242 A CN114097242 A CN 114097242A CN 202080049528 A CN202080049528 A CN 202080049528A CN 114097242 A CN114097242 A CN 114097242A
Authority
CN
China
Prior art keywords
sub
unit
attribute information
information
layers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080049528.1A
Other languages
English (en)
Inventor
隈智
中神央二
矢野幸司
安田弘幸
加藤毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN114097242A publication Critical patent/CN114097242A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本公开涉及能够抑制编码效率降低的信息处理装置和方法。本发明对将三维形状的对象表达为点集的点云的属性信息进行层级化，生成层之间的属性信息的参考关系，在所生成的属性信息的层中对该层的属性信息进行子层级化，并且生成子层之间的属性信息的参考关系。本公开可以应用于例如信息处理装置、图像处理装置、编码装置、解码装置、电子装置、信息处理方法、程序等。

Description

信息处理装置和方法
技术领域
本公开涉及信息处理装置和方法，并且更具体地，涉及能够抑制编码效率劣化的信息处理装置和方法。
背景技术
在相关技术中，例如，已经构想了用于指示诸如点云的三维结构的3D数据的编码方法(例如，参见非专利文献1)。点云的数据包括每个点的几何数据(也称为位置信息)和属性数据(也称为属性信息)。因此，对几何数据和属性数据中的每一个执行点云的编码。已经提出了各种方法作为属性数据的编码方法。例如，已经提出了使用称为提升的技术执行的方法(例如，参见非专利文献2)。还提出了可以将属性数据解码为可伸缩数据的方法(例如，参见非专利文献3)。除了提升之外，还可以构想在LoD中可以参考经解码的属性数据的方法(例如，参见非专利文献4)。
[引用列表]
[非专利文献]
[非专利文献1]
R.Mekuria，Student Member IEEE，K.Blom，P.Cesar.，Member，IEEE，“Design,Implementation and Evaluation of a Point Cloud Codec for Tele-ImmersiveVideo”，tcsvt_paper_submitted_february.pdf
[非专利文献2]
Khaled Mammou，Alexis Tourapis，Jungsun Kim，Fabrice Robinet，ValeryValentin，Yeping Su，“Lifting Scheme for Lossy Attribute Encoding in TMC1”，ISO/IEC JTC1/SC29/WG11 MPEG2018/m42640，2018年4月，美国圣地亚哥
[非专利文献3]
Ohji Nakagami，Satoru Kuma，“[G-PCC]Spatial scalability support for G-PCC”，ISO/IEC JTC1/SC29/WG11 MPEG2019/m47352，2019年3月，瑞士日内瓦
[非专利文献4]
Toshiyasu Sugio，“[G-PCC]Reference structure modification on attributepredicting transform in TMC13”，ISO/IEC JTC1/SC29/WG11MPEG2018/m46107，2019年1月，马萨诸塞州马拉喀什
发明内容
[技术问题]
然而，在非专利文献4中公开的方案的情况下，属性数据在LoD中以莫顿顺序(Morton order)排列和编码。因此，可参考的经解码的属性数据限于以莫顿顺序位于解码目标属性数据之前的属性数据。即，担心经解码的属性数据限于在三维空间中位于从解码目标属性数据的点偏移的方向上的点处的属性数据。因此，参考经解码的属性数据执行的处理目标属性数据的预测的预测精度降低，因此担心编码效率劣化。
考虑到这样的情况设计了本公开，以抑制编码效率的劣化。
[问题的解决方案]
根据本技术的一个方面的信息处理装置是如下的信息处理装置，该信息处理装置包括：层级化单元，其被配置成对将三维形状的对象表达为点集的点云的属性信息进行层级化，并生成层之间的属性信息的参考关系；以及子层级化单元，其被配置成在由层级化单元生成的属性信息的层中对该层的属性信息进行子层级化，以生成子层之间的属性信息的参考关系。
根据本技术另一方面的信息处理方法是如下的信息处理方法，该信息处理方法包括：对将三维形状的对象表达为点集的点云的属性信息进行层级化，以生成层之间的属性信息的参考关系；以及在所生成的属性信息的层中对该层的属性信息进行子层级化，以生成子层之间的属性信息的参考关系。
根据本技术的又一方面的信息处理装置是如下的信息处理装置，该信息处理装置包括：层级化单元，其被配置成对将三维形状的对象表达为点集的点云的属性信息进行层级化，并生成层之间的属性信息的参考关系；子层级化单元，其被配置成在由层级化单元生成的属性信息的层中对该层的属性信息进行子层级化，以生成子层之间的属性信息的参考关系；以及逆层级化单元，其被配置成基于由层级化单元生成的层之间的属性信息的参考关系以及由子层级化单元生成的子层之间的属性信息的参考关系，对属性信息进行逆层级化。
根据本技术的又一方面的信息处理方法是如下的信息处理方法，该信息处理方法包括：对将三维形状的对象表达为点集的点云的属性信息进行层级化，以生成层之间的属性信息的参考关系；在所生成的属性信息的层中对该层的属性信息进行子层级化，以生成子层之间的属性信息的参考关系；以及基于所生成的层之间的属性信息的参考关系以及所生成的子层之间的属性信息的参考关系，对属性信息进行逆层级化。
在根据本技术的又一方面的信息处理装置和方法中，对将三维形状的对象表达为点集的点云的属性信息进行层级化，以生成层之间的属性信息的参考关系；并且在所生成的属性信息的层中对该层的属性信息进行子层级化，以生成子层之间的属性信息的参考关系。
在根据本技术的又一方面的信息处理装置和方法中，对将三维形状的对象表达为点集的点云的属性信息进行层级化，以生成层之间的属性信息的参考关系；在所生成的属性信息的层中对该层的属性信息进行子层级化，以生成子层之间的属性信息的参考关系；并且基于所生成的层之间的属性信息的参考关系以及所生成的子层之间的属性信息的参考关系，对属性信息进行逆层级化。
附图说明
[图1]
图1是示出相关技术的属性信息的参考关系的示例的图。
[图2]
图2是示出层中的莫顿顺序的参考关系的示例的图。
[图3]
图3是示出属性数据的层级化方案和逆层级化方案的图。
[图4]
图4是示出Sub LoD的生成状态的示例的图。
[图5]
图5是示出Sub LoD的生成状态的示例的图。
[图6]
图6是示出参考关系的状态的示例的图。
[图7]
图7是示出参考关系的状态的示例的图。
[图8]
图8是示出编码装置的示例性主要配置的框图。
[图9]
图9是示出属性信息编码单元的示例性主要配置的框图。
[图10]
图10是示出层级化处理单元的示例性主要配置的框图。
[图11]
图11是示出编码的流程的示例的流程图。
[图12]
图12是示出属性信息编码的流程的示例的流程图。
[图13]
图13是示出层级化处理的流程的示例的流程图。
[图14]
图14是示出解码装置的示例性主要配置的框图。
[图15]
图15是示出属性信息解码单元的示例性主要配置的框图。
[图16]
图16是示出逆层级化处理单元的示例性主要配置的框图。
[图17]
图17是示出解码的流程的示例的流程图。
[图18]
图18是示出属性信息解码的流程的示例的流程图。
[图19]
图19是示出逆层级化处理的流程的示例的流程图。
[图20]
图20是示出计算机的示例性主要配置的框图。
具体实施方式
在下文中，将描述用于实施本公开的方式(在下文中称为实施方式)。将按以下顺序进行描述。
1.Sub LoD的生成
2.第一实施方式(编码装置)
3.第二实施方式(解码装置)
4.补充
<1.Sub LoD的生成>
<支持描述性内容和术语的文献等>
本技术中公开的范围不仅包括实施方式中描述的内容，而且还包括在申请时已知的以下非专利申请中描述的内容。
非专利文献1：(如上所述)
非专利文献2：(如上所述)
非专利文献3：(如上所述)
非专利文献4：(如上所述)
即，前述非专利文献中描述的内容也是在确定支持条件时的依据。
<点云>
在相关技术中，存在3D数据，例如使用点群的位置信息、属性信息等指示三维结构的点云，以及由顶点、边和面配置而成并且使用多边形表示定义三维结构形状的网格。
例如，在点云的情况下，三维结构(三维形状的对象)被表示为许多点的集合(点群)。即，点云的数据(也称为点云数据)由点群中的每个点的几何数据(也称为位置信息)和属性数据(也称为属性信息)配置而成。属性数据可以包括任何信息。例如，颜色信息、反射率信息和法线信息可以被包括在属性数据中。因此，因为数据结构相对简单并且使用了足够多的点，所以可以足够精确地表示任何三维结构。
<使用体素来量化位置信息>
点云数据的量相对较大。因此，为了压缩用于编码等的数据量，构想了使用体素的编码方法。体素是用于量化几何数据(位置信息)的三维区域。
即，包含点云的三维区域被划分为称为体素的小三维区域。指示每个体素是否包含点。这样，以体素为单位对每个点的位置进行量化。因此，通过将点云数据变换为这样的体素的数据(也称为体素数据)，可以抑制信息量的增加(通常减少了信息量)。
<八叉树>
此外，对于几何数据，可以构想使用体素数据构建八叉树。八叉树是体素数据的树状结构。八叉树的最底部节点的每个位的值指示是否存在每个体素的点。例如，值“1”指示包含点的体素，值“0”指示不包含点的体素。在八叉树中，一个节点对应于八个体素。即，八叉树的每个节点由8位数据配置而成，并且8个位指示是否存在八个体素的点。
八叉树的上层节点指示在一个体素中汇总了与属于该节点的下层节点对应的八个体素的区域中是否存在点。即，通过汇总下层节点的体素的信息来生成上层节点。当节点的值为“0”时，即所有八个对应的体素都不包含点时，删除该节点。
这样，构建了由值不为“0”的节点形成的树结构(八叉树)。即八叉树可以指示每个分辨率的体素中是否有存在点。通过从最高分辨率(最高层)到期望层(分辨率)形成用于对位置信息进行编码和解码的八叉树，可以恢复该分辨率下的点云数据。即，可以容易地以任何分辨率执行解码，而无需对关于不必要层(分辨率)的信息进行解码。换言之，可以实现体素(分辨率)的可伸缩性。
如上所述，通过省略值为“0”的节点，可以使不存在点的区域的体素具有低分辨率。因此，可以进一步抑制信息量的增加(通常减少了信息量)。
<提升>
相比之下，当属性数据(属性信息)被编码时，假定由于编码而导致劣化的几何数据(位置信息)是已知的，因此使用点之间的位置关系来执行编码。作为属性数据的编码方法，构想了区域自适应分层变换(RAHT)或者如非专利文献2所述的使用称为提升的变换的方法。通过应用这样的技术，属性数据也可以像几何数据的八叉树中那样被层级化。
例如，在非专利文献2中描述的提升的情况下，每个点的属性数据被编码为与使用其他点的属性数据得到的预测值的差值。此时，将点进行层级化，并且根据分层结构得到差值。
即，对于每个点的属性数据，将点分类为预测点和参考点，使用参考点的属性数据得到预测点的属性数据的预测值，并且得到预测值与预测点的属性数据之间的差值。通过对参考点递归地重复这样的处理，点的属性数据被层级化。
这里，分层结构是独立于几何数据的分层结构(例如八叉树)生成的，并且基本上不对应于几何数据的分层结构。为了恢复点云数据，需要使几何数据与属性数据彼此对应。因此，需要将几何数据和属性数据恢复到最高分辨率(即最底层)。即，应用了非专利文献2中描述的提升的方案与针对分辨率的可伸缩解码不对应。
<可伸缩解码对应的层级化>
相比之下，非专利文献3中描述的层级化对应于针对分辨率的可伸缩解码。在非专利文献3中描述的方案的情况下，属性数据被层级化，以与几何数据的八叉树的分层结构相匹配。即，当与几何数据的体素对应的区域中存在点时(当存在与该点对应的属性数据时)，选择参考点和预测点，使得该体素正上方的层的体素中存在点(存在与该点对应的属性数据)。即，根据几何数据的八叉树的分层结构对属性信息进行层级化。
通过使属性数据的分层结构与几何数据的分层结构相关联，即使没有执行直到最底层的解码，也可以容易地以期望的分辨率恢复点云数据。这样，应用了非专利文献3中描述的技术的方案对应于针对分辨率的可伸缩解码。
<层中的参考关系>
根据上述方案，在层之间生成属性信息的参考关系。即，可以参考另一层的属性信息来预测处理目标层的属性信息。
相比之下，在非专利文献4中描述的方案的情况下，当属性信息被解码时，可以参考处理目标层中的属性信息。例如，图1的A所示的经层级化的属性数据(Attribute Lod)1是对每个点的属性数据2进行分类而层级化的数据，如图1的B所示。在图1的B中，竖直方向表示层(Level of Detail(LoD))，每个圆圈表示每个点的属性数据2。在图1的B中，仅给出了一个圆圈的附图标记，但是图1中的B所示的圆圈都是每个点的属性数据2。
解码从上层开始一次一层地依次执行。因此，当某个点的属性数据2A被解码时，由白色圆圈指示的上层的每个点的属性数据2被解码，因此可以被参考。
在层中，每个点的属性数据2按莫顿顺序排列并且按此顺序解码。在图1的B中，每层的每个点的属性数据2按莫顿顺序排列。在图中，在水平方向上从左向右取向的方向对应于莫顿顺序。
即，当某个点的属性数据2A被解码时，位于属性数据2A左侧的每个点的属性数据2B处于解码状态，因此可以被参考。
通过以莫顿顺序排列属性数据，针对通过划分三维空间而获得的每个三维局部区域扫描每个点的属性数据2。因此，三维空间位置的方向性(偏差)按处理顺序出现。
例如，假设点云数据的每个点都在图2的三维区域3中。如上所述，在图1的B中，每个点的经解码的属性数据2B位于莫顿顺序中的某个点的属性数据2A的前面。因此，在图2的三维区域3中，图1的B所示的每个点的经解码的属性数据2B位于从某个点的属性数据2A来看位于预定方向的部分区域3B内。即，当将某个点的属性数据2A的位置设置为基准时，在每个点的经解码的属性数据2B的相对位置(方向)处出现偏差。
当以莫顿顺序进行处理时，在预测时在参考方向上出现这样的偏差，预测精度由于偏差而降低，因此存在编码效率劣化的担忧。
<子层级化>
相应地，例如，如图3所示的表格的最上一级的“方法1”中所述，在属性数据(属性信息)的层级化中，在层(LoD)中进一步生成子层(Sub LoD)，并且生成子层之间的属性数据的参考关系(即生成层(LoD)中的属性数据的参考关系)。
例如，对三维形状的对象表示为点集的点云的属性数据(属性信息)进行层级化，以生成层之间的属性数据的参考关系，并且在生成的属性数据的层中对层的属性数据进行子层级化，以生成子层之间的属性数据的参考关系。
例如，信息处理装置包括：层级化单元，其对将三维形状的对象表示为点集的点云的属性数据(属性信息)进行层级化，以生成层之间的属性数据的参考关系；以及子层级化单元，其在由层级化单元生成的属性数据的层中对该层的属性数据进行子层级化，以生成子层之间的属性数据的参考关系。
这样，能够生成各层中的属性数据的参考关系，使得抑制预测方向的偏差，因此可以抑制编码效率的劣化。
在这种情况下，可以使用属性数据的任何层级化方案。例如，可以使用非专利文献2中描述的不对应于可伸缩解码的提升。例如，可以应用非专利文献3中描述的对应于可伸缩解码的层级化技术。当然，可以使用另一方案。
可以使用任何子层级化方案。例如，如图3所示的表格顶部起第二级中的“方法1-1”中所述，可以递归地重复进行对层中每个点的属性数据中的一些进行采样(选择)以及子层级化的处理。即，可以通过对来自属性数据的分层结构中的处理目标层(LoD)的节点组中的属性数据中的一些进行采样来生成子层。
例如，如图3所示的表格顶部起第三级中的“方法1-1-1”中所述，可以通过以莫顿顺序排列处理目标层的属性数据并且以等间隔对属性数据中的一些进行采样来生成子层。
例如，如图1的B中的情况，对于经层级化的属性数据，以莫顿顺序排列执行子层级化的层的每个点的属性数据。然后，对排列好的每个点的属性数据进行等间隔采样。图4示出了以每三条属性数据的间隔执行采样的示例，即，对四个数据中的一个进行采样(LodUniformQuant＝4)。LodUniformQuant是指示采样间隔的语法元素。LodUniformQuant＝4指示对以莫顿顺序排列的每个点的属性数据的一行中的四条属性数据中的一条进行采样。即，当对一条属性数据进行采样时，接下来对来自以莫顿顺序的属性数据中的第四条属性数据进行采样。
在图4的A中，由圆圈指示的每个点的属性数据12以莫顿顺序排列。对来自该属性数据的四条属性数据之一(由灰色圆圈指示的每个点的属性数据12)进行采样。即，如图4的B所示，生成由白色圆圈指示的每个点的未采样属性数据12形成的最底层子层(Sub LoD)。
在经采样的每个点的属性数据12的行中，类似地，对四条属性数据(由黑色圆圈指示的每个点的属性数据12)之一进行采样。即，如图4的C所示，生成由灰色圆圈指示的每个点的未采样属性数据12的最底部位置形成的第二子层(Sub LoD)。
在经采样的每个点的属性数据12的行中，类似地，生成四条属性数据(由画斜线的圆圈指示的每个点的属性数据12)之一。即，如图4的D所示，从由黑色圆圈指示的每个点的未采样的属性数据12的最底部位置生成第三子层。
在这种情况下，由于每个单个点的属性数据12被采样，所以也生成了由每个点的采样属性数据12形成的最底层子层(图4的D)。
生成这些子层之间的参考关系。即，较高子层的属性数据较早地被解码，使得可以参考较高子层的属性数据。
在这种情况下，由于对每个点的属性数据12的整行进行采样以生成子层，因此该点在三维空间中的位置偏差很小。即，与非专利文献4中描述的方法相比，可以抑制属性数据的参考方向的偏差。因此，可以抑制预测精度的降低并且抑制编码效率的劣化。
即使在这种情况下，由于每个点的属性数据12以莫顿顺序排列，因此可以参考在三维空间中相对近的属性数据。因此，与随机选择属性数据的情况相比，可以抑制预测精度的降低并且抑制编码效率的劣化。
不仅能够参考较高子层的属性数据，而且还能够参考与处理目标属性数据相同子层中的经解码的属性数据。
图5示出了其中某一层的每个点的属性数据12以解码顺序排列的状态。在这种情况下，当某个点的属性数据12A是解码目标时，双向箭头12B指示的范围内的每个点的属性数据12(即，位于某个点的属性数据12A的左侧的每个点的属性数据12)处于解码完成状态，因此可以被参考。这样，由于参考点的候选数目增加，因此可以抑制预测精度的降低并且抑制编码效率的劣化。
如上所述，在生成子层时以等间隔对属性数据进行采样。然而，本公开不限于此并且可以以不等间隔对属性数据进行采样。例如，如图3所示的表格顶部起的第四级中的“方法1-1-2”中所述，可以通过将处理目标层的属性数据按莫顿顺序排列并且以不等间隔对某些属性数据进行采样来生成子层。
例如，子层中的属性数据的采样间隔可以被设置为不等间隔(即间隔不固定)。例如，三条属性数据的间隔和两条属性数据的间隔可以交替重复(LodUniformQuant＝2或3)。
例如，可以针对每个子层改变采样间隔。例如，在最底层的子层中，以两条属性数据的间隔执行采样(LodUniformQuant＝2)。在更高的子层中，可以以四条属性数据的间隔执行采样(LodUniformQuant＝4)。即，采样间隔可以根据子层的深度而改变。
这样，可以根据例如分辨率来设置采样间隔。例如，可以抑制图像质量的降低或者抑制编码效率的劣化。
<加权值>
子层级化可以被反映在属性数据的加权值中。在相关技术的方法的情况下，基于层(LoD)之间的参考关系(例如，参考距离、参考编号等)对每个点的属性数据进行加权。如上所述，当执行子层级化时，子层之间的参考关系(例如，参考距离、参考编号等)可以被反映在加权值中。即，如图3所示的表格顶部起的第五级中的“方法1-2”中所述，可以使用子层(Sub LoD)之间的参考关系得到加权值。
例如，当使用非专利文献2中描述的提升来对属性数据进行层级化(LoD-ized)时，基于参考关系针对每条属性数据设置加权值。当对根据以这种方式设置加权值的方案层级化的属性数据进行子层级化时，与上述类似地，子层之间的参考关系被反映在每条属性数据中设置的加权值中。即，使用层之间以及子层之间构建的参考关系得到每条属性数据的加权值，如图6中的箭头所示。这样，子层之间的参考关系可以被反映在根据不对应于可伸缩解码的方案生成的层之间的加权值中。
例如，当使用非专利文献3中描述的与可伸缩解码对应的方案对属性数据进行层级化(LoD-ized)时，针对每个层(LoD)固定的加权值(每个层的加权值)被分配给每一条属性数据。当根据以这种方式设置加权值的方案层级化的属性数据被子层级化时，如上所述，如图3所示表格顶部起的第六级中的“方法1-2-1”所述，子层之间的参考关系被反映在每个层的加权值中。即，每条属性数据的加权值是通过使用子层之间的参考关系更新每个层的加权值得到的，如图7的A中的箭头所示。
例如，根据子层之间的参考编号设置系数α，将每个层的加权值w1乘以系数α，如图7的B所示，每个层的加权值w1可以被更新。
当某一层的加权值w1被更新时，另一层的加权值w2可以被更新以对应于加权值w1的更新。例如，如图7的C所示，当加权值w1乘以系数α时，加权值w2可以乘以(1-α)。
这样，子层之间的参考关系可以被反映在根据不对应于可伸缩解码的方案生成的层之间的加权值中。因此，可以进一步抑制编码效率的劣化。
<用信号通知控制信息>
如在图3所示的表顶部的第七级中的“方法1-3”中所述，可以执行用信号通知关于属性数据的子层级化的控制信息。可以使用任何控制内容。
<sub_lod_enable_flag>
例如，可以执行(从编码侧发送到解码侧)用信号通知指示是否允许对属性数据进行子层级化的控制信息。指示是否允许子层级化的控制信息是指示是否可以在目标的数据单元中执行子层级化的标志信息(例如，sub_lod_enable_flag)。例如，当sub_lod_enable_flag为真(例如“1”)时，sub_lod_enable_flag指示可以执行子层级化。反之，当sub_lod_enable_flag为假(例如“0”)时，sub_lod_enable_flag指示不能执行子层级化。
当未用信号通知(未发送)sub_lod_enable_flag时，解码侧可以认为sub_lod_enable_flag为假。当未用信号通知(未发送)sub_lod_enable_flag时，解码侧可以认为sub_lod_enable_flag为真。
当sub_lod_enable_flag为假时，不允许子层级化。因此，可以省略用信号通知关于数据单元中的子层级化的其他控制信息。因此，可以抑制编码效率的劣化。换言之，解码侧可以省略对关于数据单元中的子层级化的其他控制信息的解析。即，解码侧可以仅在sub_lod_enable_flag为真的数据单元中解析关于子层级化的其他控制信息。因此，可以抑制解码负荷的增加。
如上所述，指示是否允许子层级化的控制信息可以说是指示在数据单元中是否存在用信号通知关于子层级化的其他控制信息的控制信息。指示是否允许子层级化的控制信息可以说是指示子层级化是否被禁止的控制信息。
在指示是否允许子层级化的控制信息中，可以将任何数据单元设置为目标，因此可以在任何数据单元中执行用信号通知。例如，可以将一条属性数据设置为目标的数据单元，并且可以针对每条属性数据用信号通知sub_lod_enable_flag。例如，多条sub_lod_enable_flag可以在高于属性数据的每个数据单元中(例如，针对每个序列)共同发送。
<sub_lod_distance>
例如，可以用信号通知用于控制子层级化中的采样间隔(或采样周期)的控制信息。用于控制采样间隔的控制信息是指示在目标的数据单元中执行子层级化时以哪个间隔进行采样的信息(例如，sub_lod_distance)。例如，sub_lod_distance＝2的情况指示采样周期为2，即，对两个节点之一进行采样(每隔一个间隔执行一次采样)。即，当sub_lod_distance>2时，以等间隔以及由sub_lod_distance指示的间隔执行采样，以生成子层。
sub_lod_distance＝0指示执行子层级化(不形成子层(Sub LoD))。即，sub_lod_distance可以说是指示是否执行子层级化的控制信息。
当未用信号通知(未发送)sub_lod_distance时，解码端可以考虑sub_lod_distance＝0。
此外，采样间隔可以是不等间隔的。例如，对于相同的数据单元，可以用信号通知多条sub_lod_distance，并且能够分配多个间隔(周期)。例如，可以将sub_lod_distance的值设置为“2”和“3”，可以按照2→3→2→3的顺序采用间隔，并且实现不等间隔。采样间隔可以通过表格或函数的标识号等来指示。
作为控制子层级化中的采样间隔的控制信息，任意数据单元可以被设置为目标，并且可以在任意数据单元中执行用信号通知。例如，可以将属性数据的层(LoD)设置为目标的数据单元，并且可以针对属性数据的每个层用信号通知sub_lod_distance。
<sub_lod_mode>
例如，可以用信号通知指示子层级化中的采样方法的控制信息(例如，sub_lod_mode)。
例如，sub_lod_mode＝0指示在所有子层中以等间隔和相同间隔执行采样。即，在这种情况下，在所有子层中以一种类型的间隔执行采样。
sub_lod_mode＝1指示采样间隔为Pattern 1(不等间隔)。类似地，sub_lod_mode＝2指示采样间隔不同于Pattern 1的Pattern 2(不等间隔)。
通过以不等间隔执行采样，可以根据例如子层(Sub LoD)的深度来改变采样间隔。例如，在子层中也可以改变采样间隔。即，在上述Pattern1和Pattern 2中，示出了所有子层中的采样间隔的模式。获取模式距离的方法可以被头部等重载。
<其他>
关于子层级化的控制信息不限于上述示例。可以应用多条控制信息。例如，可以应用sub_lod_distance和sub_lod_mode两者。例如，sub_lod_enable_flag可以与sub_lod_distance、sub_lod_mode、或sub_lod_distance和sub_lod_mode两者一起应用。
<逆层级化>
以这种方式层级化和子层级化的属性数据可以使用子层(Sub LoD)之间的参考关系进行逆层级化，如图3所示的表格顶部起第八级中的“方法2”中所述。
例如，如图3所示的表格顶部起第九级中的“方法2-1”中所述，可以与上述“方法1”的情况类似地生成子层(Sub LoD)，并且可以使用生成的子层之间的参考关系来执行逆层级化。
例如，可以对三维形状的对象表示为点集的点云的属性数据(属性信息)进行层级化，以生成层之间的属性数据的参考关系，可以对层中的属性数据进行子层级化，以生成子层之间的属性数据的参考关系，并且可以基于所生成的层之间的属性数据的参考关系以及所生成的子层之间的属性数据的参考关系，对属性数据进行逆层级化。
例如，信息处理装置可以包括：层级化单元，其对将三维形状的对象表示为点集的点云的属性数据(属性信息)进行层级化，以生成层之间的属性数据的参考关系；子层级化单元，其在由层级化单元生成的层中对属性数据进行子层级化，以生成子层之间的属性数据的参考关系；以及逆层级化单元，其基于由层级化单元生成的层之间的属性数据的参考关系以及由子层级化单元生成的子层之间的属性数据的参考关系，对属性数据进行逆层级化。
这样，通过正确地应用上述“方法1”等，可以对被层级化和子层级化的属性数据进行逆层级化。因此，可以抑制编码效率的劣化。
例如，在子层级化中，可以应用图3所示的表格顶部起第三级中的“方法1-1-1”。即，可以通过将处理目标层的属性数据按莫顿顺序排列并且对属性数据中的一些进行等间隔采样来生成子层。
在子层级化中，例如，可以应用图3所示的表格顶部起第四级中的“方法1-1-2”。即，可以通过将处理目标层的属性数据按莫顿顺序排列并且以不等间隔对一些属性数据进行采样来生成子层。
在子层级化中，例如，如在图3所示的表格顶部起的第十级的“方法2-2”中所述，可以基于如上述“方法1-3”中用信号通知的关于属性数据的子层级化的控制信息来生成子层(Sub LoD)，并且可以使用所生成的子层之间的参考关系来执行逆层级化。
例如，可以基于指示是否允许属性数据的上述子层级化的控制信息(例如，sub_lod_enable_flag)对属性数据进行子层级化。
例如，可以基于指示属性数据的上述采样间隔的控制信息(例如，sub_lod_distance)对属性数据进行子层级化。
此外，例如，可以基于指示属性数据的上述采样方法的控制信息(例如，sub_lod_mode)对属性数据进行子层级化。
当然，可以基于其他控制信息对属性数据进行子层级化。可以基于多条控制信息对属性数据进行子层级化。
通过以这种方式执行逆层级化，可以更准确地对经子层级化的属性数据进行逆层级化。因此，可以抑制预测方向的偏差，并且可以抑制编码效率的劣化。
<2.第一实施方式>
<编码装置>
接下来，将描述应用了以上在<1.Sub LoD的生成>中描述的本技术的装置。图8是示出作为应用了本技术的一种类型的信息处理装置的编码装置的配置示例的框图。图8所示的编码装置100是对点云(3D数据)进行编码的装置。编码装置100通过应用以上在以上在<1.Sub LoD的生成>中描述的本技术对点云进行编码。
在图8中，主要示出了主要的处理单元、数据流等，并且本发明不限于图8所示的主要的处理单元、数据流等。即，在编码装置100中，可以包括图8中未示出为块的处理单元，或者可以包括在图8中未用箭头等指示的数据的处理或流。
如图8所示，编码装置100包括位置信息编码单元101、位置信息解码单元102、点云生成单元103、属性信息编码单元104和比特流生成单元105。
位置信息编码单元101对输入到编码装置100的点云(3D数据)的几何数据(位置信息)进行编码。可以使用任何编码方法，只要该方法是对应于可伸缩解码的方法即可。例如，位置信息编码单元101将几何数据层级化以生成八叉树，并且对八叉树进行编码。例如，可以执行诸如滤波或量化之类的处理以抑制噪声(执行去噪)。位置信息编码单元101将生成的几何数据的编码数据提供给位置信息解码单元102和比特流生成单元105。
位置信息解码单元102获取从位置信息编码单元101提供的几何数据的编码数据并且对编码数据进行解码。可以使用任何解码方法，只要该解码方法是与位置信息编码单元101的编码对应的方法。例如，可以执行诸如滤波或逆量化之类的处理以进行去噪。位置信息解码单元102将生成的几何数据(解码结果)提供给点云生成单元103。
点云生成单元103获取输入到编码装置100的点云的属性数据(属性信息)以及从位置信息解码单元102提供的几何数据(解码结果)。点云生成单元103执行将属性数据拟合到几何数据(解码结果)的处理(重新着色处理)。点云生成单元103将与几何数据(解码结果)对应的属性数据提供给属性信息编码单元104。
属性信息编码单元104获取从点云生成单元103提供的几何数据(解码结果)和属性数据。属性信息编码单元104使用几何数据(解码结果)对属性数据进行编码，以生成属性数据的编码数据。
此时，属性信息编码单元104通过应用以上在<1.Sub Lod的生成>中描述的本技术对属性数据进行编码。例如，属性信息编码单元104还在属性数据(属性信息)的层级化中的层(LoD)中生成子层(Sub LoD)，并且生成子层之间的属性数据的参考关系。属性信息编码单元104将生成的属性数据的编码数据提供给比特流生成单元105。
比特流生成单元105获取从位置信息编码单元101提供的几何数据的编码数据。比特流生成单元105获取从属性信息编码单元104提供的属性数据的编码数据。比特流生成单元105生成包括编码数据的比特流。比特流生成单元105将生成的比特流输出到编码装置100的外部。
在这样的配置中，编码装置100在层中生成子层，生成子层之间的属性数据的参考关系，并且使用参考关系执行属性数据的编码。因此，可以在层中生成属性数据的参考关系以抑制预测方向上的偏差，并且可以抑制编码效率的劣化。
编码装置100的处理单元(位置信息编码单元101至比特流生成单元105)均具有任何配置。例如，每个处理单元可以由实现上述处理的逻辑电路配置而成。每个处理单元可以包括例如中央处理单元(CPU)、只读存储器(ROM)和随机存取存储器(RAM)，并且通过使用它们执行程序来实现上述处理。当然，每个处理单元可以具有这两种配置，并且可以通过逻辑电路来实现上述处理中的一些，并且可以通过执行程序来实现该处理。每个处理单元的配置可以相互独立。例如，一些处理单元可以通过逻辑电路来实现上述处理中的一些，而其他处理单元可以通过执行程序来实现上述处理。此外，其他处理单元可以使用逻辑电路和程序两者来执行上述处理。
<属性信息编码单元>
图9是示出属性信息编码单元104(图8)的示例性主要配置的框图。在图9中，主要示出了主要的处理单元、数据流等，并且本发明不限于图9所示的主要的处理单元、数据流等。即，在属性信息编码单元104中，可以包括图9中未示出为块的处理单元，或者可以包括在图9中未用箭头等指示的数据的处理或流。
如图8所示，属性信息编码单元104包括层级化处理单元111、量化单元112和编码单元113。
层级化处理单元111执行与属性数据的层级化相关的处理。例如，层级化处理单元111获取从点云生成单元103提供的属性数据或几何数据(解码结果)。层级化处理单元111使用几何数据对属性数据进行层级化。此时，层级化处理单元111通过应用<1.Sub Lod的生成>中描述的本技术来执行层级化。例如，层级化处理单元111还在属性数据(属性信息)的层级化中在层(LoD)中生成子层(Sub LoD)，并且生成子层之间的属性数据的参考关系。层级化处理单元111将经层级化的属性数据(差值)提供给量化单元112。
此时，层级化处理单元111还可以生成关于子层级化的控制信息。在这种情况下，层级化处理单元111还将所生成的控制信息与属性数据(差值)一起提供给量化单元112。
量化单元112获取从层级化处理单元111提供的属性数据(当在层级化处理单元111中生成控制信息时，还获取控制信息)。量化单元112对属性数据进行量化。可以使用任何量化方法。量化单元112将经量化的属性数据(和控制信息)提供给编码单元113。
编码单元113获取从量化单元112提供的经量化的属性数据(和控制信息)。编码单元113对属性数据进行编码以生成属性数据的编码数据。可以使用任何编码方法。当提供了关于子层级化的控制信息时，编码单元113将控制信息包括在生成的编码数据中。换言之，编码单元113生成包括关于子层级化的控制信息的属性数据的编码数据。编码单元113将生成的编码数据提供给比特流生成单元105。
通过以这种方式执行层级化，属性信息编码单元104可以在层中生成子层，生成子层之间的属性数据的参考关系，并且使用参考关系对属性数据进行编码。因此，可以在层中生成属性数据的参考关系，以抑制预测方向上的偏差，并且可以抑制编码效率的劣化。
这些处理单元(层级化处理单元111至编码单元113)具有任何配置。例如，每个处理单元可以由实现上述处理的逻辑电路配置而成。每个处理单元可以包括例如CPU、ROM和RAM，并且通过使用它们执行程序来实现上述处理。当然，每个处理单元可以具有这两种配置，并且可以通过逻辑电路来实现上述处理中的一些，并且可以通过执行程序来实现该处理。每个处理单元的配置可以相互独立。例如，一些处理单元可以通过逻辑电路来实现上述处理中的一些，而其他处理单元可以通过执行程序来实现上述处理。此外，其他处理单元可以使用逻辑电路和程序两者来执行上述处理。
<层级化处理单元>
图10是示出层级化处理单元111(图9)的示例性主要配置的框图。在图10中，主要示出了主要的处理单元、数据流等，并且本发明不限于图10所示的主要的处理单元、数据流等。即，在层级化处理单元111中，可以包括图10中未示出为块的处理单元，或者可以包括在图10中未用箭头等指示的数据的处理或流。
如图10所示，层级化处理单元111包括控制单元121、层级化处理单元122、Sub LoD生成单元123、反转单元124和加权单元125。
控制单元121执行与层级化和子层级化的控制相关的处理。例如，控制单元121获取从点云生成单元103提供的属性数据或几何数据(解码结果)。控制单元121将获取的属性数据或几何数据(解码结果)提供给层级化处理单元122。
控制单元121控制层级化处理单元122或Sub LoD生成单元123，使得执行层级化或子层级化。例如，控制单元121通过应用<1.Sub Lod>中描述的本技术来执行层级化或子层级化。例如，控制单元121使得对期望的层执行子层级化。即，控制单元121可以使对一些层执行子层级化，或者还可以使对所有层执行子层级化。
控制单元121还可以生成关于属性数据的子层级化的控制信息。例如，控制单元121可以生成以上在<1.Sub Lod的生成>中描述的各种语法元素(例如，sub_lod_enable_flag、sub_lod_distance和sub_lod_mode)作为控制信息。控制单元121将以此方式生成的控制信息提供给量化单元112并且将控制信息发送到解码侧。
层级化处理单元122执行与属性数据的层级化相关的处理。例如，层级化处理单元122获取从控制单元121提供的属性数据或几何数据(解码结果)。
层级化处理单元122在控制单元121的控制下使用获取的几何数据对获取的属性数据进行层级化。可以使用任何层级化方案。例如，可以使用不对应于诸如非专利文献2中描述的提升的可伸缩解码的方案，或者可以使用对应于非专利文献3中描述的可伸缩解码的方案。层级化处理单元122将经层级化的属性数据或几何数据提供给Sub LoD生成单元123。
Sub LoD生成单元123执行与子层级化相关的处理。例如，Sub LoD生成单元123获取从层级化处理单元122提供的经层级化的属性数据或几何数据。
Sub LoD生成单元123在控制单元121的控制下在属性数据的层中生成子层。SubLoD生成单元123使用几何数据执行子层级化。即，Sub LoD生成单元123如以上在<1.SubLoD的生成>中描述的图3所示的表格的最上一级的“方法1”中那样生成层(LoD)中的属性数据的参考关系。
以这种方式，Sub LoD生成单元123可以生成层中的属性数据的参考关系，使得预测方向上的偏差被抑制，因此可以抑制编码效率的劣化。
可以使用任何生成方法。例如，Sub LoD生成单元123可以递归地重复其中层中每个点的一些属性数据被采样(选择)并且被子层级化的处理，如图3所示的表格顶部起的第二级中的“方法1-1”一样。
Sub LoD生成单元123可以通过以莫顿顺序排列处理目标层的属性数据并且以等间隔对一些属性数据进行采样来生成子层，如图3所示的表格顶部起的第三级中的“方法1-1-1”中所述。
Sub LoD生成单元123可以通过以莫顿顺序排列处理目标层的属性数据并且以不等间隔对一些属性数据进行采样来生成子层，如图3所示的表格顶部起第四级中的“方法1-1-2”中所述。
当然，可以使用任何其他方法。当控制单元121不允许子层级化时，Sub LoD生成单元123可以省略子层级化。即，Sub LoD生成单元123可以仅对控制单元121允许的层执行子层级化。
以这种方式，Sub LoD生成单元123在控制单元121的控制下将子层级化的属性数据提供给反转单元124。
反转单元124执行与层的反转相关的处理。例如，反转单元124获取从Sub LoD生成单元123提供的属性数据。在属性数据中，以生成顺序对关于每个层的信息进行层级化。
反转单元124反转属性数据的层。例如，反转单元124以与生成顺序相反的顺序将层编号附加到属性数据的每个层(用于识别层的编号，每当层从最上层0降低一层时，其值就加1，并且最底层具有最大编号)。即，通过将层编号附加到每个层的数据，以从最底层到最顶层顺序生成每个层。
反转单元124将其中层被反转的属性数据提供给加权单元125。
加权单元125执行与加权有关的处理。例如，加权单元125获取从反转单元124提供的属性数据。加权单元125得到所获取的属性数据的加权值。可以使用任何得到加权值的方法。
例如，加权单元125可以使用子层(Sub LoD)之间的参考关系来得到加权值，如以上在<1.Sub LoD的生成>中描述的图3所示的表格顶部起的第五级的“方法1-2”中那样。
当使用非专利文献2中描述的提升来执行属性数据的层级化(LoD-ization)时，加权单元125可以在层级化中将子层之间的属性数据的参考关系反映在每条属性数据中设置的加权值中。即，加权单元125可以根据层之间的属性数据的参考关系和子层之间的属性数据的参考关系二者得到加权值。
当使用非专利文献3中描述的与可伸缩解码对应的方案来执行属性数据的层级化(LoD-ization)时，加权单元125可以在层级化中将子层之间的属性数据的参考关系反映在生成的每个层的加权值中，如图3所示表格顶部起第六级中的“方法1-2-1”中所述。
当然，可以使用任何其他方法。加权单元125可以省略加权。
加权单元125通过使用如上所述得到的属性数据的参考关系和加权值对每个点的属性数据执行预测来得到预测值。加权单元125得到每个点的属性数据与预测值之间的差值。
加权单元125将得到的属性数据(差值)提供给量化单元112(图9)。加权单元125可以将得到的加权值作为控制信息提供给量化单元112并且将加权值发送到解码侧。
这些处理单元(控制单元121至加权单元125)具有任何配置。例如，每个处理单元可以由实现上述处理的逻辑电路配置而成。每个处理单元可以包括例如CPU、ROM和RAM，并且通过使用它们执行程序来实现上述处理。当然，每个处理单元可以具有这两种配置，并且可以通过逻辑电路来实现上述处理中的一些，并且可以通过执行程序来实现该处理。每个处理单元的配置可以相互独立。例如，一些处理单元可以通过逻辑电路来实现上述处理中的一些，而其他处理单元可以通过执行程序来实现上述处理。此外，其他处理单元可以使用逻辑电路和程序两者来执行上述处理。
<编码的流程>
接下来，将描述由编码装置100执行的处理。编码装置100通过执行编码对点云的数据进行编码。将参照图11的流程图描述编码的流程的示例。
当编码开始时，在步骤S101中，编码装置100的位置信息编码单元101对输入点云的几何数据(位置信息)进行编码以生成几何数据的编码数据。
在步骤S102中，位置信息解码单元102对在步骤S101中生成的几何数据的编码数据进行解码以生成位置信息。
在步骤S103中，点云生成单元103使用输入的点云的属性数据(属性信息)以及在步骤S102中生成的几何数据(解码结果)进行重新着色处理，以将属性数据与几何数据匹配。
在步骤S104中，属性信息编码单元104对在步骤S103中经过重新着色处理的属性数据进行编码，以通过执行属性信息编码来生成属性数据的编码数据。此时，属性信息编码单元104通过应用以上在<1.Sub LoD的生成>中描述的本技术来执行处理。下面将描述属性信息编码的细节。
在步骤S105中，比特流生成单元105生成并且输出包括在步骤S101中生成的几何数据的编码数据以及在步骤S104中生成的属性数据的编码数据的比特流。
当步骤S105的处理结束时，编码结束。
通过以这种方式执行每个步骤的处理，编码装置100可以在层中生成属性数据的参考关系，使得抑制预测方向上的偏差，并且可以抑制编码效率的劣化。
<属性信息编码的流程>
接下来，将参照图12的流程图描述在图11的步骤S104中执行的属性信息编码的流程的示例。
当属性信息编码开始时，在步骤S111中，属性信息编码单元104的层级化处理单元111通过执行层级化处理将属性数据层级化，并且得到每个点的属性数据的差值。此时，层级化处理单元111通过应用以上在<1.Sub LoD的生成>中描述的本技术来执行层级化。下面将描述层级化处理的细节。
在步骤S112中，量化单元112量化在步骤S111中得到的每个差值。
在步骤S113中，编码单元113对在步骤S112中量化的差值进行编码以生成属性数据的编码数据。当在步骤S111的层级化处理中生成控制信息时，编码单元113生成还包括控制信息的属性数据的编码数据。
当步骤S113的处理结束时，属性信息编码结束并且处理返回到图11。
通过以这种方式执行每个步骤的处理，属性信息编码单元104可以生成层中的属性数据的参考关系，使得抑制预测方向的偏差，并且可以抑制编码效率的劣化。
<层级化处理的流程>
接下来，将参照图13的流程图描述在图12的步骤S111中执行的层级化处理的流程的示例。
当层级化处理开始时，在步骤S121中，层级化处理单元111的控制单元121将所有点的属性数据设置为处理目标并且执行步骤S122至S126的每个处理，以生成第一层(LoD)。
通过后述的步骤S127的处理，第一层(首先生成的层)成为经层级化的属性数据中的最底层。即，也可以说控制单元121将最底层设置为处理目标LoD。
在步骤S122中，层级化处理单元122在处理目标点中设置参考点。参考点是在预测点的属性数据的预测时属性数据参考的点。预测点是预测层中的属性数据的点。即，也可以说层级化处理单元122将每个处理目标点设置为预测点或参考点。
在步骤S123中，控制单元121确定是否在该层中生成子层(Sub LoD)。例如，控制单元121基于关于用户或应用的设置等的任何信息来确定是否对该层进行子层级化。当确定执行子层级化时，处理进行到步骤S124。
在步骤S124中，Sub LoD生成单元123使用几何数据生成处理目标层中的子层。即，Sub LoD生成单元123在生成层(LoD)中的属性数据的参考关系，如在以上在<1.Sub LoD的生成>中描述的图3所示的表格的最上级的“方法1”中那样。
可以使用任何生成方法。例如，Sub LoD生成单元123可以应用从图3中所示的表格顶部起第二级的“方法1-1”，可以应用表格顶部起第三级的“方法1-1-1”，或者可以应用表格顶部起第四级的“方法1-1-2”。当然，Sub LoD生成单元123可以应用任何其他方法。
当生成子层时，处理进行到步骤S125。
当在步骤S123中确定不对处理目标层执行子层级化时，跳过步骤S124的处理并且处理进行到步骤S125。
在步骤S125中，控制单元121将在步骤S122中选择的参考点的属性数据设置为处理目标，并且执行步骤S122至S126的每个处理以生成后续层(LoD)。
作为新处理目标的后续层是通过将在下面描述的步骤S127的处理的经分层的属性数据中的前一处理目标层的紧接上层。即，也可以说控制单元121将处理目标LoD更新到紧接上层。
在步骤S126中，控制单元121确定是否处理了所有点。重复上述处理以将所有点设置为预测点(在某些情况下在最终点处不执行预测)。即，控制单元121确定是否生成了所有层。当确定存在未被选择为预测点的点并且层级化未完成时，处理返回到步骤S122。
即，对在步骤S125中被认为是新处理目标的后续层执行步骤S122至S126的每个处理。即，将被设置为前一参考点的点设置为预测点或参考点。这样，对被设置为参考点的点递归地重复步骤S122至S126的每个处理，以生成各层和各子层，并且生成层之间以及子层之间的参考关系。
当重复执行步骤S122至S126的每个处理以生成所有层(和所有子层)并且在步骤S126中确定处理了所有点时，处理进行到步骤S127。
在步骤S127中，反转单元124将所生成的属性数据的层进行反转，并且在与生成顺序相反的方向上将层编号附加到每个层。
在步骤S128中，加权单元125得到每个点的属性数据的加权值。此时，加权单元125得到反映子层之间的参考关系的加权值。
加权单元125使用得到的加权值以及属性数据的参考关系来预测每个点的属性数据，并且得到属性数据与预测值之间的差值。
在步骤S129中，控制单元121生成关于属性数据的子层级化的控制信息，并且将控制信息发送到解码侧。
当步骤S129的处理结束时，层级化处理结束并且处理返回到图12。
通过以这种方式执行每个步骤的处理，层级化处理单元111可以生成层中的属性数据的参考关系，从而抑制预测方向上的偏差。因此，编码装置100可以抑制编码效率的劣化。
<3.第二实施方式>
<解码装置>
接下来，将描述应用以上<1.Sub LoD的生成>描述的本技术的装置的另一个示例。图14是示出作为应用了本技术的一种类型的信息处理装置的解码装置的配置示例的框图。图14所示的解码装置200是对点云的编码数据(3D数据)进行解码的装置。解码装置200通过应用以上在<1.Sub LoD的生成>中描述的本技术对点云的编码数据进行解码。
在图14中，主要示出了主要的处理单元、数据流等，并且本发明不限于图14所示的主要的处理单元、数据流等。即，在解码装置200中，可以包括图14中未示出为块的处理单元，或者可以包括在图14中未用箭头等指示的数据的处理或流。
如图14所示，解码装置200包括解码目标LoD深度设置单元201、编码数据提取单元202、位置信息解码单元203、属性信息解码单元204和点云生成单元205。
解码目标LoD深度设置单元201执行与解码目标层(LoD)的深度的设置相关的处理。例如，解码目标LoD深度设置单元201针对在编码数据提取单元202中保持的点云的编码数据设置对其执行解码的层。设置解码目标层的深度的任何方法都可以使用。
例如，解码目标LoD深度设置单元201可以基于来自诸如用户或应用的外部的与层的深度相关的指令来设置深度。解码目标LoD深度设置单元201可以基于诸如输出图像之类的任何信息来获取并且设置解码目标层的深度。
例如，解码目标LoD深度设置单元201可以基于从点云生成的二维图像的视点的运动(移动、平移、倾斜和缩放)、视点位置、视场角和方向来设置解码目标层的深度。
可以使用用于设置解码目标层的深度的任何数据单元。例如，解码目标LoD深度设置单元201可以在整个点云中设置层的深度，可以针对每个对象设置层的深度，或者可以针对对象中的每个部分区域设置层的深度。当然，还可以以本示例以外的数据单元设置层的深度。
编码数据提取单元202获取并且保留输入到解码装置200的比特流。编码数据提取单元202从保留的比特流中从最顶层到由解码目标LoD深度设置单元201指定的层提取几何数据(位置信息)和属性数据(属性信息)的编码数据。编码数据提取单元202将所提取的几何数据的编码数据提供给位置信息解码单元203。编码数据提取单元202将所提取的属性数据的编码数据提供给属性信息解码单元204。
位置信息解码单元203获取从编码数据提取单元202提供的几何数据的编码数据。位置信息解码单元203对几何数据的编码数据进行解码以生成几何数据(解码结果)。可以使用任何解码方法，只要该解码方法是类似于编码装置100的位置信息解码单元102的情况的方法。位置信息解码单元203将所生成的几何数据(解码结果)提供给属性信息解码单元204和点云生成单元205。
属性信息解码单元204获取从编码数据提取单元202提供的属性数据的编码数据。属性信息解码单元204获取从位置信息解码单元203提供的几何数据(解码结果)。属性信息解码单元204根据应用了以上在<1.Sub LoD的生成>中描述的本技术的方法，使用位置信息(解码结果)对属性数据的编码数据进行解码以生成属性数据(解码结果)。属性信息解码单元204将所生成的属性数据(解码结果)提供给点云生成单元205。
点云生成单元205获取从位置信息解码单元203提供的几何数据(解码结果)。点云生成单元205获取从属性信息解码单元204提供的属性数据(解码结果)。点云生成单元205使用几何数据(解码结果)和属性数据(解码结果)生成点云(解码结果)。点云生成单元205将所生成的点云的数据(解码结果)输出到解码装置200的外部。
在这样的配置中，解码装置200可以执行应用多个层级化方案的逆层级化。因此，可以通过应用多个层级化方案正确地对经层级化的属性数据进行逆层级化。即，可以正确地对通过应用多个层级化方案编码的编码数据进行解码。因此，可以抑制编码效率的劣化。
这些处理单元(解码目标LoD深度设置单元201至点云生成单元205)具有任何配置。例如，每个处理单元可以由实现上述处理的逻辑电路配置而成。每个处理单元可以包括例如CPU、ROM和RAM，并且通过使用它们执行程序来实现上述处理。当然，每个处理单元可以具有这两种配置，并且可以通过逻辑电路来实现上述处理中的一些，并且可以通过执行程序来实现该处理。每个处理单元的配置可以相互独立。例如，一些处理单元可以通过逻辑电路来实现上述处理中的一些，而其他处理单元可以通过执行程序来实现上述处理。此外，其他处理单元可以使用逻辑电路和程序两者来执行上述处理。
<属性信息解码单元>
图15是示出属性信息解码单元204(图14)的示例性主要配置的框图。在图15中，主要示出了主要的处理单元、数据流等，并且本发明不限于图15所示的主要的处理单元、数据流等。即，在属性信息解码单元204中，可以包括图15中未示出为块的处理单元，或者可以包括在图15中未用箭头等指示的数据的处理或流。
如图15所示，属性信息解码单元204包括解码单元211、逆量化单元212和逆层级化处理单元213。
解码单元211执行与属性数据的编码数据的解码相关的处理。例如，解码单元211获取提供给属性信息解码单元204的属性数据的编码数据。
解码单元211对属性数据的编码数据进行解码以生成属性数据(解码结果)。可以使用任何解码方法，只要该解码方法是与编码装置100的编码单元113(图9)的编码方法对应的方法即可。生成的属性数据(解码结果)对应于编码之前的属性数据。如第一实施方式中所述，生成的属性数据是属性数据与预测值之间的差值并且被量化。解码单元211将生成的属性数据(解码结果)提供给逆量化单元212。
当属性数据的编码数据包括关于加权值的控制信息以及关于属性数据的层级化的控制信息时，解码单元211将控制信息提供给逆量化单元212。
逆量化单元212执行与属性数据的逆量化相关的处理。例如，逆量化单元212获取从解码单元211提供的属性数据(解码结果)。当从解码单元211提供控制信息时，逆量化单元212还获取控制信息。
逆量化单元212对属性数据(解码结果)进行逆量化。逆量化单元212根据与由编码装置100的量化单元112(图9)的量化对应的方法执行逆量化。逆量化单元212将经逆量化的属性数据提供给逆层级化处理单元213。当从解码单元211获取控制信息时，逆量化单元212还将控制信息提供给逆层级化处理单元213。
逆层级化处理单元213获取从逆量化单元212提供的经逆量化的属性数据。如上所述，属性数据是差值。逆层级化处理单元213获取从位置信息解码单元203提供的几何数据(解码结果)。逆层级化处理单元213使用几何数据对所获取的属性数据(差值)执行逆层级化。逆层级化是编码装置100的层级化处理单元111(图9)的层级化的逆处理。
此时，逆层级化处理单元213通过应用以上在<1.Sub LoD的生成>中描述的本技术来执行逆层级化。例如，逆层级化处理单元213在属性数据的层中生成子层(Sub LoD)，生成子层之间的属性数据的参考关系，使用参考关系对属性数据进行预测，并且执行逆层级化。逆层级化处理单元213将经逆层级化的属性数据作为解码结果提供给点云生成单元205(图14)。
通过以这种方式执行逆层级化，属性信息解码单元204可以通过正确地应用上述“方法1”来将经层级化和子层级化后的属性数据逆层级化。因此，属性信息解码单元204可以抑制编码效率的劣化。
这些处理单元(解码单元211至逆层级化处理单元213)具有任何配置。例如，每个处理单元可以由实现上述处理的逻辑电路配置而成。每个处理单元可以包括例如CPU、ROM和RAM，并且通过使用它们执行程序来实现上述处理。当然，每个处理单元可以具有这两种配置，并且可以通过逻辑电路来实现上述处理中的一些，并且可以通过执行程序来实现该处理。每个处理单元的配置可以相互独立。例如，一些处理单元可以通过逻辑电路来实现上述处理中的一些，而其他处理单元可以通过执行程序来实现上述处理。此外，其他处理单元可以使用逻辑电路和程序两者来执行上述处理。
<逆层级化处理单元>
图16是示出逆层级化处理单元213(图15)的示例性主要配置的框图。在图16中，主要示出了主要的处理单元、数据流等，并且本发明不限于图16所示的主要的处理单元、数据流等。即，在逆层级化处理单元213中，可以包括图16中未示出为块的处理单元，或者可以包括在图16中未用箭头等指示的数据的处理或流。
如图16所示，逆层级化处理单元213包括控制单元221、层级化处理单元222、SubLoD生成单元223、反转单元224和逆层级化处理单元225。
控制单元221执行与层级化的控制相关的处理。例如，控制单元221获取从逆量化单元212(图15)提供的经逆量化的属性数据。控制单元221获取从位置信息解码单元203提供的几何数据(解码结果)。控制单元221将所获取的属性数据或几何数据提供给层级化处理单元222。此外，当从逆量化单元212提供控制信息时，控制单元221还获取控制信息并且将控制信息提供给层级化处理单元222。
控制单元221控制层级化处理单元222或Sub LoD生成单元223，对属性数据进行层级化或子层级化，并且生成在编码时生成的层或者与子层类似结构的层或子层。例如，控制单元221通过应用<1.Sub LoD的生成>中描述的本技术来执行层级化和子层级化。例如，控制单元221对期望的层执行子层级化。即，控制单元221可以对一些层执行子层级化或者对所有层执行子层级化。
例如，控制单元221可以基于与属性数据的子层级化相关的控制信息来执行子层级化，如从图3所示的表格的顶部起第十级中的“方法2-2”那样。
例如，控制单元221可以基于指示是否允许属性数据的子层级化的控制信息(例如，sub_lod_enable_flag)来执行属性数据的子层级化。
控制单元221可以基于指示属性数据的采样间隔的控制信息(例如，sub_lod_distance)来执行属性数据的子层级化(采样)。
此外，控制单元221可以基于指示属性数据的采样方法的控制信息(例如，sub_lod_mode)来执行属性数据的子层级化(采样)。
通过使用从编码侧发送的控制信息，控制单元221可以更容易地执行类似于编码侧的子层级化的子层级化。
层级化处理单元222可以执行与属性数据的层级化相关的处理。例如，层级化处理单元222获取从控制单元221提供的属性数据或几何数据(解码结果)。
层级化处理单元222在控制单元221的控制下使用所获取的几何数据对所获取的属性数据进行层级化。层级化方案可以是类似于层级化处理单元122的层级化的方案。即，层级化处理单元222将属性数据层级化为类似于层级化处理单元122生成的结构的结构。换言之，再现了层级化处理单元122生成的属性数据的分层结构。层级化处理单元222将经层级化的属性数据或几何数据提供给Sub LoD生成单元223。
Sub LoD生成单元223执行与子层级化相关的处理。例如，Sub LoD生成单元223获取从层级化处理单元222提供的经层级化的属性数据或几何数据。
Sub LoD生成单元223在控制单元221的控制下在属性数据的层中生成子层(SubLoD)。Sub LoD生成单元223使用几何数据执行子层级化。
即，Sub LoD生成单元223在层(LoD)中生成属性数据的子层(Sub LoD)，如从图3所示的表格的顶部起第九级的“方法2-1”以及以上在<1.Sub LoD的生成>中所述，并且生成子层之间的参考关系。
以这种方式，Sub LoD生成单元223可以生成层中的属性数据的参考关系，使得预测方向上的偏差被抑制，并且可以抑制编码效率的劣化。
Sub LoD生成单元223根据与Sub LoD生成单元123的子层级化类似的方案来执行子层级化。即，Sub LoD生成单元223生成与Sub LoD生成单元123生成的结构类似的结构的子层。换言之，再现了由Sub LoD生成单元123生成的属性数据的子层的结构。
例如，Sub LoD生成单元223可以递归地重复进行对层中的每个点的一些属性数据采样(选择)和子层级化的处理，如图3所示的表格的顶部起第二级中的“方法1-1”那样。
Sub LoD生成单元223可以通过以莫顿顺序排列处理目标层的属性数据并且以等间隔对一些属性数据进行采样来生成子层，如图3所示的表格的顶部起第三级中的“方法1-1-1”中所述。
Sub LoD生成单元223可以通过以莫顿顺序排列处理目标层的属性数据并且以不等间隔对一些属性数据进行采样来生成子层，如图3所示的表格顶部起第四级中的“方法1-1-2”中所述。
当然，可以使用任何其他方法。当控制单元221不允许子层级化时，Sub LoD生成单元223可以省略子层级化。即，Sub LoD生成单元223可以仅对控制单元221允许的层执行子层级化。
以这种方式，Sub LoD生成单元223在控制单元221的控制下将经子层级化的属性数据提供给反转单元224。
反转单元224执行与层的反转相关的处理。例如，反转单元224获取从Sub LoD生成单元223提供的属性数据。
反转单元224如反转单元124的情况那样对属性数据的层进行反转。例如，反转单元224以与生成顺序相反的顺序将层编号附加到属性数据的每个层(用于识别层的编号，每当层从最上层0降低一层时，其值就加1，并且最底层具有最大编号)。
反转单元224将其中层被反转的属性数据提供给逆层级化处理单元225。
逆层级化处理单元225执行与逆层级化相关的处理。例如，逆层级化处理单元225获取从反转单元224提供的属性数据。该属性数据具有由属性数据与预测值之间的差值配置而成的并且由层级化处理单元222生成(再现)的层结构的结构、以及由Sub LoD生成单元223生成(再现)的子层的结构。逆层级化处理单元225将所获取的属性数据逆层级化以生成(恢复)每个点的属性数据。
即，逆层级化处理单元225执行每个点的属性数据的预测并且使用得到的预测值从差值得到(恢复)每个点的属性数据。此时，逆层级化处理单元225使用所再现的层或子层之间的参考关系来执行属性数据的预测(得到属性数据的预测值)，如图3所示的表格的顶部起第八级中的“方法2”中所述。
例如，逆层级化处理单元225按照从最上层到最下层的顺序(对于每个子层，从层中的最上子层到最下子层的顺序)得到每个层的每个点的属性数据的预测值。
然后，逆层级化处理单元225通过将得到的预测值与和点对应的差值相加来得到点的属性数据。以此方式，逆层级化处理单元225生成(恢复)每个点的属性数据。
逆层级化处理单元225将通过上述逆层级化生成(恢复)的属性数据(解码结果)提供给点云生成单元205(图14)。
通过以这种方式执行逆层级化，逆层级化处理单元225可以通过正确地应用上述“方法1”等将经层级化和子层级化的属性数据逆层级化。因此，解码装置200可以抑制编码效率的劣化。
这些处理单元(控制单元221至逆层级化处理单元225)具有任何配置。例如，每个处理单元可以由实现上述处理的逻辑电路配置而成。每个处理单元可以包括例如CPU、ROM和RAM，并且通过使用它们执行程序来实现上述处理。当然，每个处理单元可以具有这两种配置，并且可以通过逻辑电路来实现上述处理中的一些，并且可以通过执行程序来实现该处理。每个处理单元的配置可以相互独立。例如，一些处理单元可以通过逻辑电路来实现上述处理中的一些，而其他处理单元可以通过执行程序来实现上述处理。此外，其他处理单元可以使用逻辑电路和程序两者来执行上述处理。
<解码的流程>
接下来，将描述由解码装置200执行的处理。解码装置200通过执行解码对点云的编码数据进行解码。将参照图17的流程图描述解码的流程的示例。
当解码开始时，解码装置200的解码目标LoD深度设置单元201在步骤S201中设置要解码的LoD深度(即，解码目标层的范围)。
在步骤S202中，编码数据提取单元202获取并且保留比特流，并且从最顶层到在步骤S201中设置的LoD深度的层提取几何数据(位置信息)和属性数据(属性信息)的编码数据。所提取的几何数据的层与属性数据的层(层数)可能匹配，也可能不匹配。
在步骤S203中，位置信息解码单元203对在步骤S202中提取的几何数据的编码数据进行解码以生成几何数据(解码结果)。
在步骤S204中，属性信息解码单元204对在步骤S202中提取的属性数据的编码数据进行解码以生成属性数据(解码结果)。此时，属性信息解码单元204通过应用以上在<1.Sub LoD的生成>中描述的本技术来执行处理。下面将描述属性信息解码的细节。
在步骤S205中，点云生成单元205使用在步骤S203中生成的几何数据(解码结果)以及在步骤S204中生成的属性数据(解码结果)来生成并且输出点云数据(解码结果)。
当步骤S205的处理结束时，解码结束。
通过以这种方式执行每个步骤的处理，解码装置200通过正确地应用上述“方法1”等对将被层级化和子层级化的属性数据进行逆层级化。因此，解码装置200可以抑制编码效率的劣化。
<属性信息解码的流程>
接下来，将参照图18的流程图描述在图17的步骤S204中执行的属性信息解码的流程的示例。
当属性信息解码开始时，在步骤S211中，属性信息解码单元204的解码单元211对属性数据的编码数据进行解码以生成属性数据(解码结果)。如上所述，属性数据(解码结果)被量化。
在步骤S212中，逆量化单元212通过执行逆量化对在步骤S211中生成的属性数据(解码结果)进行逆量化。逆量化的属性数据是差值。
在步骤S213中，逆层级化处理单元213对在步骤S212中逆量化的属性数据进行逆层级化，并且通过执行逆层级化处理得到每个点的属性数据。此时，逆层级化处理单元213通过应用以上在<1.Sub LoD的生成>中描述的技术来执行逆层级化。下面将描述逆层级化处理的细节。
当步骤S213的处理结束时，属性信息解码结束，并且处理返回到图17。
通过以这种方式执行每个步骤的处理，属性信息解码单元204可以通过正确地应用上述“方法1”等来对被层级化和子层级化的属性数据进行逆层级化。因此，解码装置200可以抑制编码效率的劣化。
<逆层级化处理的流程>
接下来，将参照图19的流程图描述在图18的步骤S213中执行的逆层级化处理的流程的示例。
当逆层级化处理开始时，在步骤S221中，逆层级化处理单元213的控制单元221与步骤S121(图13)的情况一样，将所有点的属性数据(差值)设置为处理目标，并且执行步骤S222至S226中的每个处理，以生成第一层(LoD)。
通过下述的步骤S227的处理，第一层(首先生成的层)成为经层级化的属性数据中的最底层。即，也可以说控制单元221将最底层设置为处理目标LoD。
在步骤S222中，层级化处理单元222与在步骤S122(图13)的情况一样，在处理目标点中设置参考点。即，也可以说层级化处理单元222将每个处理目标点设置为预测点或参考点。
在步骤S223中，与步骤S123(图13)的情况一样，控制单元221确定在该层中是否生成子层(Sub LoD)。控制单元221可以基于任何信息等来执行该确定。例如，控制单元221基于从编码侧发送的控制信息来确定是否经对该层进行子层级化。当确定执行子层级化时，处理进行到步骤S224。
在步骤S224中，与步骤S124(图13)的情况一样，Sub LoD生成单元223使用几何数据在处理目标层中生成子层。即，与以上在<1.Sub LoD的生成>描述的图3中示出的表格的顶部起第九级的“方法2-1”中一样，Sub LoD生成单元223在层(LoD)中生成属性数据的子层(Sub LoD)，并且生成子层之间的参考关系。
即，在步骤S224中，Sub LoD生成单元223根据与在步骤S124中执行的子层级化类似的方案来执行子层级化。即，Sub LoD生成单元223生成具有与在步骤S124中生成的结构类似的结构的子层。换言之，再现了在步骤S124中生成的属性数据的子层的结构。
例如，Sub LoD生成单元223可以应用图3所示的表格顶部起第二级中的“方法1-1”，可以应用表格顶部起第三级中的“方法1-1-1”，或者可以应用表格顶部起第四级中的“方法1-1-2”。当然，Sub LoD生成单元223可以应用任何其他方法。
当生成子层时，处理进行到步骤S225。
当在步骤S223中确定不对处理目标层执行子层级化时，跳过步骤S224的处理，并且处理进行到步骤S225。
在步骤S225中，控制单元221如在步骤S125(图13)的情况一样，将在步骤S222中选择的参考点的属性数据设置为处理目标，并且执行步骤S222至S226的每个处理，以生成后续层(LoD)。
作为新处理目标的后续层是通过将在下面描述的步骤S227的处理的经层级化的属性数据中的前一处理目标的紧接上层。即，也可以说控制单元221将处理目标LoD更新到紧接上层。
在步骤S226中，控制单元221如步骤S126(图13)的情况一样，确定是否处理了所有点。重复上述处理以将所有点设置为预测点(在某些情况下在最终点处不执行预测)。即，控制单元221确定是否生成了所有层。当确定存在未被选择为预测点的点并且层级化未完成时，处理返回到步骤S222。
即，对在步骤S225中被认为是新处理目标的后续层执行步骤S222至S226的每个处理。即，设置为前一参考点的点被设置为预测点或参考点。这样，对被设置为参考点的点递归地重复步骤S222至S226的每个处理，以生成每个层和每个子层，并且生成(再现)层之间和子层之间的参考关系。
当重复执行步骤S222至S226的每个处理以生成(再现)所有层(和所有子层)并且在步骤S226中确定处理了所有点时，处理进行到步骤S227。
在步骤S227中，反转单元224将所生成的属性数据的层反转，并且如在步骤S127(图13)的情况中一样，将与生成顺序相反的方向上的层编号附加到每个层。因此，生成(再现)了具有由属性数据与预测值之间的差值配置的并且在步骤S222中生成(再现)的分层结构以及在步骤S224中生成(再现)的子层的结构的属性数据。
在步骤S228中，逆层级化处理单元225对所生成的属性数据进行逆层级化，并且生成(恢复)每个点的属性数据。
即，逆层级化处理单元225执行每个点的属性数据的预测并且使用得到的预测值根据差值得到(恢复)每个点的属性数据。此时，逆层级化处理单元225使用如上所述再现的层或子层之间的参考关系来执行属性数据的预测(得到属性数据的预测值)，如图3所示的表格顶部起第八级中的“方法2”所述。
例如，逆层级化处理单元225按照从最上层到最下层的顺序(对于每个子层，按照从最上子层到最下子层的顺序)得到每个层的每个点的属性数据的预测值。
然后，逆层级化处理单元225通过将得到的预测值与和点对应的差值相加来得到点的属性数据。以此方式，逆层级化处理单元225生成(恢复)每个点的属性数据。
当所有点的属性数据的生成(恢复)和逆层级化完成时，逆层级化处理结束，并且处理返回到图18。
通过以这种方式执行每个步骤的处理，逆层级化处理单元213可以通过正确地应用上述“方法1”等对经层级化和经子层级化的属性数据进行逆层级化。因此，解码装置200可以抑制编码效率的劣化。
<4.补充>
<层级化和逆层级化方法>
上面已经描述了提升作为属性信息的层级化和逆层级化方法的示例，但是本技术可以应用于用于对属性信息进行层级化的任何技术。即，属性信息的层级化和逆层级化方法可以是提升以外的方法。
<计算机>
上述一系列处理可以通过硬件或软件来执行。当一系列处理通过软件执行时，包括该软件的程序被安装在计算机中。这里，计算机包括嵌入专用硬件的计算机，或者例如能够通过安装各种程序来执行各种功能的通用个人计算机。
图20是示出根据程序执行上述一系列处理的计算机的示例性硬件配置的框图。
在图20所示的计算机900中，中央处理单元(CPU)901、只读存储器(ROM)902和随机存取存储器(RAM)903经由总线904相互连接。
输入/输出接口910也连接到总线904。输入单元911、输出单元912、存储单元913、通信单元914和驱动器915连接到输入/输出接口910。
输入单元911是例如键盘、鼠标、麦克风、触摸面板或输入端子。输出单元912是例如显示器、扬声器或输出端子。存储单元913是例如硬盘、RAM盘或非易失性存储器。通信单元914是例如网络接口。驱动器915驱动诸如磁盘、光盘、磁光盘或半导体存储器之类的可移动介质921。
在具有上述配置的计算机中，CPU 901例如通过经由输入/输出接口910和总线904将存储在存储单元913中的程序加载到RAM 903上并且执行程序来执行上述系列处理。在RAM 903中，还适当地存储了CPU 901执行各种类型的处理所需的数据等。
例如，由计算机执行的程序可以被记录在用作应用程序的封装介质的可移动介质921上。在这种情况下，可以通过将可移动介质921安装在驱动器915中，经由输入/输出接口910将程序安装到存储单元913。
程序还可以经由有线或无线传输介质，例如局域网、因特网或数字卫星广播来提供。在这种情况下，程序可以由通信单元914接收并且安装在存储单元913中。
此外，程序可以被预先安装在ROM 902或存储单元913中。
<现有技术的应用目标>
上面已经描述了将本技术应用于点云数据的编码和解码的情况。然而，本技术不限于这些情况并且可以应用于任何标准的对3D数据的编码和解码。即，可以使用诸如编码和解码方案之类的各种类型的处理中的任何一种以及诸如3D数据或元数据之类的各种数据的规范中的任何一种，只要该处理和规范与上述本技术不兼容即可。只要处理和规范与本技术不一致，就可以省略上述处理或规范中的一些。
上面已经描述了编码装置100和解码装置200作为本技术的应用示例，但是本技术可以应用于任何配置。
例如，本技术可以应用于各种电子装置，例如卫星广播、有线电视等的有线广播，通过因特网的传输，或者通过蜂窝通信传送到终端中的发送器或接收器(例如，电视接收器或移动电话)，或者将图像记录在诸如光盘、磁盘、闪存等介质上或者从存储介质再现图像的装置(如硬盘记录仪或摄像装置)。
例如，本技术可以被实现为诸如系统大规模集成(LSI)的处理器(例如，视频处理器)、使用多个处理器等的模块(例如，视频模块)、使用多个模块等的单元(例如，视频单元)、或者具有添加到该单元的其他功能的组(例如，视频组)之类的装置的一部分的配置。
例如，本技术还可以应用于由多个装置构成的网络系统。例如，本技术可以被实现为经由网络与多个装置协作共享或处理的云计算。例如，本技术可以被实现在向诸如计算机、视听(AV)装置、便携式信息处理终端或物联网(IoT)的任何终端提供与图像(运动图像)相关的服务的云服务中。
在本说明书中，系统是一组多个组成元件(装置、模块(部件)等)，并且所有组成元件可以不在同一外壳中。因此，容纳在不同外壳中并且经由网络连接的多个装置以及在单个外壳中容纳多个模块的单个装置都是系统。
<可以应用本技术的领域和目的>
应用本技术的系统、装置、处理单元等可以用于任何领域，例如交通、医疗、安全、农业、畜牧业、采矿业、美容、工厂、家用电器、天气和自然监视。可以设置任何目的。
<其他>
在本说明书中，“标志”是用于识别多个状态的信息，不仅包括用于识别真(1)和假(0)这两个状态的信息，而且还包括用于识别三个或更多个状态的信息。因此，“标志”的值可以是二进制值1/0，或者可以是例如三进制值等。即，可以使用“标志”中的任意数目的位并且可以是1位或多位。对于标识信息(也包括标志)，假设标识信息被包括在比特流中，并且标识信息相对于用作特定标准的信息的差分信息被包括在比特流中。因此，在本说明书中，“标志”或“识别信息”不仅包括该信息，而且还包括关于用作标准的信息的差分信息。
可以以任何形式传输或记录关于编码数据(比特流)的各种类型的信息(元数据等)，只要该信息与编码数据相关联即可。这里，术语“关联”是指例如当处理一条数据时，可以使用(可以链接)另一条数据。即，相关联的数据可以作为一条数据被收集，或者可以是分开的数据。例如，与编码数据(图像)相关联的信息可以在与编码数据(图像)的传输路径不同的传输路径上传输。例如，与编码数据(图像)相关联的信息可以被记录在与编码数据(图像)不同的记录介质上(或者同一记录介质的分开的记录区域)。“关联”可以不是整个数据，而是数据的一部分。例如，图像以及与图像对应的信息可以与多个帧、一个帧或者作为帧中的一部分的等任何单位相关联。
在本说明书中，诸如“组合”、“复用”、“添加”、“整合”、“包括”、“存储”、“推送”、“进入”或“插入”等术语是指多个事物作为一个来收集为，例如，编码数据和元数据作为一个数据来收集，并且意味着上述“关联”的一种方法。
本技术的实施方式不限于上述实施方式并且可以在不脱离本技术的主旨的情况下在本技术的范围内进行各种改变。
例如，被描述为一个装置(或处理单元)的配置可以被划分并且配置成多个装置(或处理单元)。相比之下，被描述为多个装置(或处理单元)的配置可以被收集并且配置成一个装置(或处理单元)。除了上述配置之外的配置可以被添加到每个装置(或每个处理单元)的配置中。此外，当整个系统中的配置或操作基本相同时，某个装置(或处理单元)的配置的一部分可以被包括在另一装置(或另一处理单元)的配置中。
例如，上述程序可以在任何装置中执行。在这种情况下，装置可以具有必要的功能(功能块等)并且可以能够获得必要的信息。
例如，一个流程图的每个步骤可以由一个装置执行，或者可以由多个装置共享并且执行。此外，当多个类型的处理被包括在一个步骤中时，该多个类型的处理可以由一个装置执行，或者可以由多个装置共享并且执行。换言之，也可以将一个步骤中包括的多个类型的处理作为多个步骤的处理来执行。相比之下，被描述为多个步骤的处理可以作为一个步骤共同执行。
例如，对于由计算机执行的程序，描述程序的步骤的处理可以按照本说明书中描述的顺序按时间顺序执行，或者可以在诸如调用时的必要定时处并行或单独执行。即，只要不发生不一致，就可以按照与上述顺序不同的顺序执行每个步骤的处理。此外，描述程序的步骤的处理可以与另一个程序的处理并行执行或者可以与另一个程序的处理结合执行。
例如，只要不发生不一致，与本技术相关的多种技术可以独立地单独实施。当然，可以一起实施任何多种技术。例如，几个实施方式中描述的本技术中的一些或全部可以与其他实施方式中描述的本技术中的一些或全部结合实施。任何上述本技术的一部分或全部也可以与上面没有描述的另一技术一起实施。
本技术还可以配置如下。
(1)一种信息处理装置，包括：
层级化单元，其被配置成对将三维形状的对象表达为点集的点云的属性信息进行层级化，并生成层之间的属性信息的参考关系；以及
子层级化单元，其被配置成在由所述层级化单元生成的属性信息的层中对所述层的属性信息进行子层级化，并生成子层之间的属性信息的参考关系。
(2)根据(1)所述的信息处理装置，其中，所述子层级化单元通过以莫顿顺序排列处理目标层的属性信息并且以等间隔对所述属性信息进行采样，来对所述属性信息进行子层级化。
(3)根据(1)所述的信息处理装置，其中，所述子层级化单元通过以莫顿顺序排列处理目标层的属性信息并且以不等间隔对所述属性信息进行采样，来对所述属性信息进行子层级化。
(4)根据(1)至(3)中任一项所述的信息处理装置，还包括加权单元，其被配置成通过根据由所述子层级化单元生成的所述子层之间的属性信息的参考关系更新每个层的每条属性信息的加权值，来得到所述加权值。
(5)根据(1)至(3)中任一项所述的信息处理装置，还包括加权单元，其被配置成根据由所述层级化单元生成的所述层之间的属性信息的参考关系以及由所述子层级化单元生成的所述子层之间的属性信息的参考关系，得到每条属性信息的加权值。
(6)根据(1)至(5)中任一项所述的信息处理装置，还包括编码单元，其被配置成对所述属性信息进行编码并且生成所述属性信息的编码数据。
(7)根据(6)所述的信息处理装置，还包括生成单元，其被配置成生成关于所述属性信息的子层级化的控制信息，
其中，所述编码单元生成包括由所述生成单元生成的所述控制信息的编码数据。
(8)根据(7)所述的信息处理装置，其中，所述生成单元生成指示是否允许对所述属性信息进行所述子层级化的控制信息。
(9)根据(7)或(8)所述的信息处理装置，其中，所述生成单元生成指示由所述子层级化单元对所述属性信息的采样间隔的控制信息。
(10)在根据(7)至(9)中任一项所述的信息处理装置中，其中，所述生成单元生成指示由所述子层级化单元对所述属性信息进行采样的方法的控制信息。
(11)一种信息处理方法，包括：
对将三维形状的对象表达为点集的点云的属性信息进行层级化，并生成层之间的属性信息的参考关系；以及
在所生成的属性信息的层中对所述层的属性信息进行子层级化，并生成子层之间的属性信息的参考关系。
(12)一种信息处理装置，包括：
层级化单元，其被配置成对将三维形状的对象表达为点集的点云的属性信息进行层级化，并生成层之间的属性信息的参考关系；
子层级化单元，其被配置成在由所述层级化单元生成的属性信息的层中对所述层的属性信息进行子层级化，并生成子层之间的属性信息的参考关系；以及
逆层级化单元，其被配置成基于由所述层级化单元生成的所述层之间的属性信息的参考关系以及由所述子层级化单元生成的所述子层之间的属性信息的参考关系，对所述属性信息进行逆层级化。
(13)根据(12)所述的信息处理装置，其中，所述子层级化单元通过以莫顿顺序排列处理目标层的属性信息并且以等间隔对所述属性信息进行采样，来对所述属性信息进行子层级化。
(14)根据(12)所述的信息处理装置，其中，所述子层级化单元通过以莫顿顺序排列处理目标层的属性信息并且以不等间隔对所述属性信息进行采样，来对所述属性信息进行子层级化。
(15)根据(12)至(14)中任一项所述的信息处理装置，还包括解码单元，其被配置成对所述属性信息的编码数据进行解码以恢复所述属性信息。
(16)根据(15)的信息处理装置，
其中，所述解码单元对所述编码数据进行解码以恢复关于所述属性信息的子层级化的控制信息，并且
其中，所述子层级化单元基于由所述解码单元恢复的控制信息对所述属性信息进行子层级化。
(17)根据(16)所述的信息处理装置，其中，所述子层级化单元基于由所述解码单元恢复的并且指示是否允许对所述属性信息进行所述子层级化的控制信息，对所述属性信息进行子层级化。
(18)根据(16)或(17)所述的信息处理装置，其中，所述子层级化单元基于由所述解码单元恢复的并且指示所述属性信息的采样间隔的控制信息，对所述属性信息进行子层级化。
(19)根据(16)至(18)中任一项所述的信息处理装置，其中，所述子层级化单元基于由所述解码单元恢复的并且指示对所述属性信息进行采样的方法的控制信息，对所述属性信息进行子层级化。
(20)一种信息处理方法，包括：
对将三维形状的对象表达为点集的点云的属性信息进行层级化，并生成层之间的属性信息的参考关系；
在所生成的属性信息的层中对所述层的属性信息进行子层级化，并生成子层之间的属性信息的参考关系；以及
基于所生成的所述层之间的属性信息的参考关系以及所生成的所述子层之间的属性信息的参考关系，对所述属性信息进行逆层级化。
[附图标记列表]
100 编码装置
101 位置信息编码单元
102 位置信息解码单元
103 点云生成单元
104 属性信息编码单元
105 比特流生成单元
111 层级化处理单元
112 量化单元
113 编码单元
121 控制单元
122 层级化处理单元
123 Sub LoD生成单元
124 反转单元
125 加权单元
200 解码装置
201 解码目标LoD深度设置单元
202 编码数据提取单元
203 位置信息解码单元
204 属性信息解码单元
205 点云生成单元
211 解码单元
212 逆量化单元
213 逆层级化处理单元
221 控制单元
222 层级化处理单元
223 Sub LoD生成单元
224 反转单元
225 逆层级化处理单元

Claims (20)

1.一种信息处理装置，包括：
层级化单元，其被配置成对将三维形状的对象表达为点集的点云的属性信息进行层级化，并生成层之间的属性信息的参考关系；以及
子层级化单元，其被配置成在由所述层级化单元生成的属性信息的层中对所述层的属性信息进行子层级化，并生成子层之间的属性信息的参考关系。
2.根据权利要求1所述的信息处理装置，其中，所述子层级化单元通过以莫顿顺序排列处理目标层的属性信息并且以等间隔对所述属性信息进行采样，来对所述属性信息进行子层级化。
3.根据权利要求1所述的信息处理装置，其中，所述子层级化单元通过以莫顿顺序排列处理目标层的属性信息并且以不等间隔对所述属性信息进行采样，来对所述属性信息进行子层级化。
4.根据权利要求1所述的信息处理装置，还包括加权单元，其被配置成通过根据由所述子层级化单元生成的所述子层之间的属性信息的参考关系更新每个层的每条属性信息的加权值，来得到所述加权值。
5.根据权利要求1所述的信息处理装置，还包括加权单元，其被配置成根据由所述层级化单元生成的所述层之间的属性信息的参考关系以及由所述子层级化单元生成的所述子层之间的属性信息的参考关系，得到每条属性信息的加权值。
6.根据权利要求1所述的信息处理装置，还包括编码单元，其被配置成对所述属性信息进行编码并且生成所述属性信息的编码数据。
7.根据权利要求6所述的信息处理装置，还包括生成单元，其被配置成生成关于所述属性信息的子层级化的控制信息，
其中，所述编码单元生成包括由所述生成单元生成的所述控制信息的编码数据。
8.根据权利要求7所述的信息处理装置，其中，所述生成单元生成指示是否允许对所述属性信息进行所述子层级化的控制信息。
9.根据权利要求7所述的信息处理装置，其中，所述生成单元生成指示由所述子层级化单元对所述属性信息进行采样的间隔的控制信息。
10.根据权利要求7所述的信息处理装置，其中，所述生成单元生成指示由所述子层级化单元对所述属性信息进行采样的方法的控制信息。
11.一种信息处理方法，包括：
对将三维形状的对象表达为点集的点云的属性信息进行层级化，并生成层之间的属性信息的参考关系；以及
在所生成的属性信息的层中对所述层的属性信息进行子层级化，并生成子层之间的属性信息的参考关系。
12.一种信息处理装置，包括：
层级化单元，其被配置成对将三维形状的对象表达为点集的点云的属性信息进行层级化，并生成层之间的属性信息的参考关系；
子层级化单元，其被配置成在由所述层级化单元生成的属性信息的层中对所述层的属性信息进行子层级化，并生成子层之间的属性信息的参考关系；以及
逆层级化单元，其被配置成基于由所述层级化单元生成的所述层之间的属性信息的参考关系以及由所述子层级化单元生成的所述子层之间的属性信息的参考关系，对所述属性信息进行逆层级化。
13.根据权利要求12所述的信息处理装置，其中，所述子层级化单元通过以莫顿顺序排列处理目标层的属性信息并且以等间隔对所述属性信息进行采样，来对所述属性信息进行子层级化。
14.根据权利要求12所述的信息处理装置，其中，所述子层级化单元通过以莫顿顺序排列处理目标层的属性信息并且以不等间隔对所述属性信息进行采样，来对所述属性信息进行子层级化。
15.根据权利要求12所述的信息处理装置，还包括解码单元，其被配置成对所述属性信息的编码数据进行解码以恢复所述属性信息。
16.根据权利要求15所述的信息处理装置，
其中，所述解码单元对所述编码数据进行解码以恢复关于所述属性信息的子层级化的控制信息，并且
其中，所述子层级化单元基于由所述解码单元恢复的控制信息对所述属性信息进行子层级化。
17.根据权利要求16所述的信息处理装置，其中，所述子层级化单元基于由所述解码单元恢复的并且指示是否允许对所述属性信息进行所述子层级化的控制信息，对所述属性信息进行子层级化。
18.根据权利要求16所述的信息处理装置，其中，所述子层级化单元基于由所述解码单元恢复的并且指示所述属性信息的采样间隔的控制信息，对所述属性信息进行子层级化。
19.根据权利要求16所述的信息处理装置，其中，所述子层级化单元基于由所述解码单元恢复的并且指示对所述属性信息进行采样的方法的控制信息，对所述属性信息进行子层级化。
20.一种信息处理方法，包括：
对将三维形状的对象表达为点集的点云的属性信息进行层级化，并生成层之间的属性信息的参考关系；
在所生成的属性信息的层中对所述层的属性信息进行子层级化，并生成子层之间的属性信息的参考关系；以及
基于所生成的所述层之间的属性信息的参考关系以及所生成的所述子层之间的属性信息的参考关系，对所述属性信息进行逆层级化。
CN202080049528.1A 2019-07-12 2020-06-26 信息处理装置和方法 Pending CN114097242A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-129875 2019-07-12
JP2019129875 2019-07-12
PCT/JP2020/025168 WO2021010134A1 (ja) 2019-07-12 2020-06-26 情報処理装置および方法

Publications (1)

Publication Number Publication Date
CN114097242A true CN114097242A (zh) 2022-02-25

Family

ID=74209824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080049528.1A Pending CN114097242A (zh) 2019-07-12 2020-06-26 信息处理装置和方法

Country Status (6)

Country Link
US (1) US20220286679A1 (zh)
EP (1) EP3985614A4 (zh)
JP (1) JPWO2021010134A1 (zh)
KR (1) KR20220034045A (zh)
CN (1) CN114097242A (zh)
WO (1) WO2021010134A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023039507A1 (en) * 2021-09-09 2023-03-16 Apple Inc. Encoding and decoding visual content including polygonal meshes

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2018006642A (es) * 2015-12-14 2018-08-01 Panasonic Ip Corp America Metodo de codificacion de datos tridimencionales, metodos de decodificacion de datos tridimensionales, dispositivo de codificacion de datos tridimensionales y dispositivo de decodificacion de datos tridimensionales.
JP7168581B2 (ja) * 2017-11-22 2022-11-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US10911787B2 (en) * 2018-07-10 2021-02-02 Apple Inc. Hierarchical point cloud compression
WO2020190093A1 (ko) * 2019-03-20 2020-09-24 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
EP3992910A4 (en) * 2019-06-28 2022-09-07 LG Electronics Inc. APPARATUS AND METHOD FOR PROCESSING POINT CLOUD DATA

Also Published As

Publication number Publication date
EP3985614A1 (en) 2022-04-20
US20220286679A1 (en) 2022-09-08
WO2021010134A1 (ja) 2021-01-21
JPWO2021010134A1 (zh) 2021-01-21
KR20220034045A (ko) 2022-03-17
EP3985614A4 (en) 2022-09-21

Similar Documents

Publication Publication Date Title
US20210314613A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US11328440B2 (en) Point cloud data transmission apparatus, point cloud data transmission method, point cloud data reception apparatus, and point cloud data reception method
US11943457B2 (en) Information processing apparatus and method
US11902348B2 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN113795870B (zh) 一种对点云属性编解码的方法、装置及存储介质
CN111727461A (zh) 信息处理装置和方法
EP4071715A1 (en) Information processing device and method
CN114128282A (zh) 信息处理装置和方法
CN114097242A (zh) 信息处理装置和方法
KR20210070282A (ko) 화상 처리 장치 및 방법
US20240056604A1 (en) Information processing apparatus and method
EP3996045A1 (en) Information processing device and method
US20230154052A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device and point cloud data reception method
US20230177735A1 (en) Information processing apparatus and method
WO2021140928A1 (ja) 情報処理装置および方法
EP4325853A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20240196012A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20230281878A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device and point cloud data reception method
EP4358519A1 (en) Point cloud data transmission device and method, and point cloud data reception device and method
US20220383553A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20220353493A1 (en) Information processing apparatus and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination