CN114902284A - 信息处理装置和方法 - Google Patents

信息处理装置和方法 Download PDF

Info

Publication number
CN114902284A
CN114902284A CN202080091116.4A CN202080091116A CN114902284A CN 114902284 A CN114902284 A CN 114902284A CN 202080091116 A CN202080091116 A CN 202080091116A CN 114902284 A CN114902284 A CN 114902284A
Authority
CN
China
Prior art keywords
point
reference point
information
attribute information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080091116.4A
Other languages
English (en)
Inventor
加藤毅
隈智
中神央二
安田弘幸
矢野幸司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN114902284A publication Critical patent/CN114902284A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/001Model-based coding, e.g. wire frame
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开内容涉及能够抑制编码效率降低的信息处理装置和方法。与将三维形状的对象表示为点的集合的点云中的每个点有关的属性信息通过相对于用于导出属性信息的预测值的参考点递归地重复用于导出属性信息与预测值之间的差值的预测点和参考点的分类来被分层地分离,并且此时,参考点基于点的重心来设置。本公开内容适于例如信息处理装置、图像处理装置、编码装置、解码装置、电子仪器、信息处理方法和程序。

Description

信息处理装置和方法
技术领域
本公开内容涉及信息处理装置和方法,并且更具体地涉及能够抑制编码效率降低的信息处理装置和方法。
背景技术
常规地,例如已经考虑了对诸如点云的表示三维结构的3D数据进行编码的方法(例如,参见非专利文献1)。点云的数据包括每个点的几何数据(也被称为位置信息)和属性数据(也被称为属性信息)。因此,针对各条几何数据和属性数据对点云进行编码。已经提出了各种方法作为对属性数据进行编码的方法。例如,已经提出使用被称为提升(lifting)的技术(例如,参见非专利文献2)。此外,还提出了一种能够对属性数据进行可伸缩解码的方法(例如,参见非专利文献3)。
在这样的提升方案中,关于参考点递归地重复将点设置为参考点或预测点的处理,从而对属性数据进行分层。然后,根据该分层结构,使用参考点的属性数据导出预测点的属性数据的预测值,并且对预测值与属性数据之间的差值进行编码。在属性数据的这样的分层中,已经提出以下方法:在每个层次中的用于参考点的候选中交替地选择按照莫顿序(Morton order)的第一点和最后一点作为参考点(例如,参见非专利文件4)。
[引用列表]
[非专利文献]
非专利文献1:R.Mekuria,IEEE学生会员,K.Blom,P.Cesar.,IEEE会员,"Design,Implementation and Evaluation of a Point Cloud Codec for Tele-ImmersiveVideo",tcsvt_paper_submitted_february.pdf。
非专利文献2:Khaled Mammou,Alexis Tourapis,Jungsun Kim,FabriceRobinet,Valery Valentin,Yeping Su,"Lifting Scheme for Lossy AttributeEncoding in TMC1",ISO/IEC JTC1/SC29/WG11 MPEG2018/m42640,2018年4月,美国,圣地亚哥。
非专利文献3:Ohji Nakagami,Satoru Kuma,"[G-PCC]Spatial scalabilitysupport for G-PCC",ISO/IEC JTC1/SC29/WG11MPEG2019/m47352,2019年3月,瑞士,日内瓦。
非专利文献4:Hyejung Hur,Sejin Oh,"[G-PCC][New Proposal]on improvedspatial scalable lifting",ISO/IEC JTC1/SC29/WG11MPEG2019/M51408,2019年10月,瑞士,日内瓦。
发明内容
[本发明要解决的问题]
然而,非专利文献4中描述的方法并不总是最佳的,并且还需要其他方法。
鉴于这样的情况而做出本公开内容并且本公开内容可以抑制编码效率的降低。
[问题的解决方案]
根据本技术的一个方面的信息处理装置是一种信息处理装置,该信息处理装置包括:分层单元,其对于将具有三维形状的对象表示为点的集合的点云的每个点的属性信息,通过相对于参考点递归地重复预测点和参考点的分类来对属性信息进行分层,所述预测点用于导出属性信息与属性信息的预测值之间的差值,所述参考点用于导出预测值,其中分层单元基于各点的质心设置参考点。
根据本技术的一个方面的信息处理方法是一种信息处理方法,该信息处理方法包括:当对于将具有三维形状的对象表示为点的集合的点云的每个点的属性信息通过相对于递归地重复预测点和参考点的分类来执行属性信息的分层时,基于点的质心设置参考点,所述预测点用于导出属性信息与属性信息的预测值之间的差值,所述参考点用于导出预测值。
根据本技术的另一方面的信息处理装置是是一种信息处理装置,该信息处理装置包括:分层单元,其对于将具有三维形状的对象表示为点的集合的点云的每个点的属性信息,通过相对于参考点递归地重复预测点和参考点的分类来对属性信息进行分层,所述预测点用于导出属性信息与属性信息的预测值之间的差值,所述参考点用于导出预测值,其中,分层单元基于各点的分布方式设置参考点。
根据本技术的另一方面的信息处理方法是一种信息处理方法,该信息处理方法包括:当对于将具有三维形状的对象表示为点的集合的点云的每个点的属性信息通过相对于参考点递归地重复预测点和参考点的分类来执行属性信息的分层时,基于点的分布方式设置参考点,预测点用于导出属性信息与属性信息的预测值之间的差值,参考点用于导出预测值。
根据本技术的又一方面的信息处理装置是一种信息处理装置,该信息处理装置包括:分层单元,其对于将具有三维形状的对象表示为点的集合的点云的每个点的属性信息,通过相对于参考点递归地重复预测点和参考点的分类来对属性信息进行分层,预测点用于导出属性信息与属性信息的预测值之间的差值,参考点用于导出预测值;以及编码单元,其对与分层单元对参考点的设置有关的信息进行编码。
根据本技术的又一方面的信息处理方法是一种信息处理方法,该信息处理方法包括:对于将具有三维形状的对象表示为点的集合的点云的每个点的属性信息,通过相对于参考点递归地重复预测点和参考点的分类来对属性信息进行分层,预测点用于导出属性信息与属性信息的预测值之间的差值,参考点用于导出预测值,以及对与参考点的设置有关的信息进行编码。
根据本技术的又一方面的信息处理装置是一种信息处理装置,该信息处理装置包括:分层单元,其对于将具有三维形状的对象表示为点的集合的点云的每个点的属性信息,通过相对于参考点递归地重复预测点和参考点的分类来对属性信息进行分层,预测点用于导出属性信息与属性信息的预测值之间的差值,参考点用于导出预测值,其中分层单元从每个层次用于参考点的候选中交替地选择更接近包围盒的中心的点和更远离包围盒的中心的点作为参考点。
根据本技术的又一方面的信息处理方法是一种信息处理方法,该信息处理方法包括:当对于将具有三维形状的对象表示为点的集合的点云的每个点的属性信息通过相对于参考点递归地重复预测点和参考点的分类来执行属性信息的分层时,在每个层次用于参考点的候选中交替地选择更接近包围盒的中心的点和更远离包围盒的中心的点作为参考点,预测点用于导出属性信息与属性信息的预测值之间的差值,参考点用于导出相对于参考点的预测值。
在根据本技术的一个方面的信息处理装置和方法中,当对于将具有三维形状的对象表示为点的集合的点云的每个点的属性信息通过相对于参考点递归地重复预测点和参考点的分类来执行属性信息的分层时,基于点的质心设置参考点,预测点用于导出属性信息与属性信息的预测值之间的差值,参考点用于导出相对于参考点的预测值。
在根据本技术的另一方面的信息处理装置和方法中,当对于将具有三维形状的对象表示为点的集合的点云的每个点的属性信息,通过相对于参考点递归地重复预测点和参考点的分类来执行属性信息的分层时,基于点的分布方式设置参考点,预测值用于导出属性信息与属性信息的预测值之间的差值,参考点用于导出相对于参考点的预测值。
在根据本技术的又一方面的信息处理装置和方法中,对于将具有三维形状的对象表示为点的集合的点云的每个点的属性信息,通过相对于参考点递归地重复预测点和参考点的分类来对属性信息进行分层,预测点用于导出属性信息与属性信息的预测值之间的差值,参考点用于导出预测值,以及对与参考点的设置有关的信息进行编码。
在根据本技术的又一方面的信息处理装置和方法中,当对于将具有三维形状的对象表示为点的集合的点云的每个点的属性信息,通过相对于参考点递归地重复预测点和参考点的分类来执行属性信息的分层时,在每个层次用于参考点的候选中交替地选择更接近包围盒的中心的点和更远离包围盒的中心的点作为参考点,预测点用于导出属性信息与属性信息的预测值之间的差值,参考点用于导出预测值。
附图说明
图1是描述提升的状态的示例的图。
图2是描述基于莫顿序设置参考点的方法的示例的图。
图3是描述基于莫顿序设置参考点的方法的示例的图。
图4是描述基于莫顿序设置参考点的方法的示例的图。
图5是描述基于莫顿序设置参考点的方法的示例的图。
图6是描述参考点设置方法的示例的图。
图7是描述基于质心(centroid)设置参考点的方法的示例的图。
图8是描述导出质心的方法的示例的图。
图9是描述导出质心的方法的示例的图。
图10是示出要从其导出质心的区域的示例的图。
图11是描述选择点的方法的示例的图。
图12是描述相同条件的示例的图。
图13是示出编码装置的主要配置示例的框图。
图14是示出属性信息编码单元的主要配置示例的框图。
图15是示出分层处理单元的主要配置示例的框图。
图16是描述编码处理的流程的示例的流程图。
图17是描述属性信息编码处理的流程的示例的流程图。
图18是描述分层处理的流程的示例的流程图。
图19是描述参考点设置处理的流程的示例的流程图。
图20是示出解码装置的主要配置示例的框图。
图21是示出属性信息解码单元的主要配置示例的框图。
图22是描述解码处理的流程的示例的流程图。
图23是描述属性信息解码处理的流程的示例的流程图。
图24是描述去分层处理的流程的示例的流程图。
图25是示出表的示例的图。
图26是描述表和信令传输的示例的图。
图27是描述参考点设置处理的流程的示例的流程图。
图28是示出要用信令通知的信息的示例的图。
图29是示出用信令通知的目标的示例的图。
图30是示出要用信令通知的信息的示例的图。
图31是示出要用信令通知的信息的示例的图。
图32是示出在用信令通知固定长度比特的信息的情况下的语法的示例的图。
图33是示出在用信令通知固定长度比特的信息的情况下的语法的示例的图。
图34是示出要用信令通知的可变长度比特的信息的示例的图。
图35是示出要用信令通知的可变长度比特的信息的示例的图。
图36是示出在用信令通知可变长度比特的信息的情况下的语法的示例的图。
图37是示出在用信令通知可变长度比特的信息的情况下的语法的示例的图。
图38是描述参考点设置处理的流程的示例的流程图。
图39是描述搜索顺序的示例的图。
图40是描述参考点设置处理的流程的示例的流程图。
图41是示出计算机的主要配置示例的框图。
具体实施方式
在下文中,将描述用于执行本公开内容的方式(在下文中称为实施方式)。注意,将按照以下顺序进行描述。
1.参考点的设置
2.第一实施方式(方法1)
3.第二实施方式(方法2)
4.第三实施方式(方法3)
5.第四实施方式(方法4)
6.附录
<1.参考点的设置>
<支持技术内容和技术术语的文献等>
本技术中公开的范围不仅包括实施方式中描述的内容,而且包括在提交时已知的以下非专利文献中描述的内容。
非专利文献1:(如上所述)
非专利文献2:(如上所述)
非专利文献3:(如上所述)
非专利文献4:(如上所述)
也就是说,上述非专利文献中描述的内容、上述非专利文献中参考的其他文献的内容等也是用于确定支持要求的基础。
<点云>
常规地,存在通过点的位置信息、属性信息等以及由顶点、边和面构成并且使用多边形表示定义三维形状的网格来表示三维结构的诸如点云的3D数据。
例如,在点云的情况下,三维结构(三维对象)被表达为大量点的集合。点云的数据(也被称为点云数据)包括每个点的位置信息(也被称为几何数据)和属性信息(也被称为属性数据)。属性数据可以包括任何信息。例如,可以在属性数据中包括每个点的颜色信息、反射率信息、法线信息等。如上所述,点云数据具有相对简单的数据结构,并且能够通过使用足够大量的点以足够的准确度表达任何三维结构。
<使用体素量化位置信息>
由于这样的点云数据具有相对大的数据量,因此为了通过编码等压缩数据量,已经构想了使用体素的编码方法。体素是用于量化几何数据(位置信息)的三维区域。
也就是说,包括点云的三维区域(也被称为包围盒(Bounding box))被划分成小的称为体素的三维区域,针对这些体素中的每个体素,指示是否包括点。以此方式,以体素为单位对每个点的位置进行量化。因此,通过将点云数据转换成这样的体素的数据(也被称为体素数据),可以抑制信息量的增加(通常,可以减少信息量)。
<八叉树>
此外,对于几何数据已经构想了使用这样的体素数据来构造八叉树。通过将体素数据转换成树结构获得八叉树。八叉树的最低节点的每个位的值指示在每个体素中存在或不存在点。例如,值“1”指示体素包含点,而值“0”指示体素不包含点。在八叉树中,一个节点对应于八个体素。也就是说,八叉树的每个节点包括8位数据,并且8位数据指示八个体素中存在或不存在点。
然后,八叉树的较高节点指示其中将与属于该节点的较低节点相对应的八个体素组合成一个体素的区域中存在或不存在点。也就是说,通过收集较低节点的体素的信息来生成较高节点。注意,在具有“0”值的节点,即所有相应的八个体素不包括点的情况下,删除该节点。
以此方式,构造了包括具有除“0”之外的值的节点的树结构(八叉树)。也就是说,八叉树可以指示在每个分辨率下的体素中存在或不存在点。通过执行八叉树转换和编码,从最高分辨率(最高层次)到期望层次(分辨率)对位置信息进行解码,使得可以恢复具有该分辨率的点云数据。也就是说,可以容易地以任何分辨率进行解码,而无需对不必要层次(分辨率)的信息进行解码。换言之,可以实现体素(分辨率)的可伸缩性。
此外,如上所述,通过省略具有“0”值的节点,可以降低不存在点的区域中的体素的分辨率,使得可以进一步抑制信息量的增加(通常,减少信息量)。
<提升>
另一方面,当属性数据(属性信息)被编码时,假设包括由编码引起的退化的几何数据(位置信息)是已知的,并且使用点之间的位置关系来执行编码。作为对这样的属性数据进行编码的方法,已经考虑了使用区域自适应分层变换(RAHT)或非专利文献2中描述的称为提升的变换的方法。通过应用这些技术,属性数据可以像几何数据的八叉树一样被分层。
例如,在非专利文献2中描述的提升的情况下,通过关于参考点递归地重复将点设置为参考点或预测点的处理来将属性数据分层。然后,根据该分层结构,使用参考点的属性数据导出预测点的属性数据的预测值,并且对预测值与属性数据之间的差值进行编码。
例如,在图1中,假设选择点P5作为参考点。在这种情况下,在以点P5为中心的半径为R的圆形区域中执行对预测点的搜索。在这种情况下,由于点P9位于该区域中,因此点P9被设置为预测点(使用点P5作为参考点的预测点),参考点P5来从该预测点导出预测值。
通过这样的处理,例如,由白色圆圈指示的点P7至点P9的相应差值,由斜线指示的点P1、点P3和点P6的相应差值,以及由灰色圆圈指示的点P0、点P2、点P4和点P5的相应差值作为不同层次的差值被导出。
注意,虽然点云被布置在三维空间中并且实际上在三维空间中执行上述处理,但是在图1中为了便于描述,使用二维平面示意性地示出了三维空间。也就是说,参照图1进行的描述可以类似地应用于三维空间中的处理、现象等。
在以下描述中,使用二维平面适当地描述三维空间。除非另有说明,否则基本上可以将描述类似地应用于三维空间中的处理、现象等。
例如,已经根据莫顿序执行了该分层中的参考点的选择。例如,如图2中所示的树结构中,在从某个层次的多个节点中选择一个参考点并且选择的参考点被设置为更高一层级的节点的情况下,按照莫顿序执行对多个节点的搜索,并且最先出现的节点被选择为参考点。在图2中,每个圆圈表示节点,并且黑色圆圈表示被选择为参考点的节点(即,该节点被选择为更高一层级的节点)。在图2中,相应的节点按照莫顿序从左到右排序。也就是说,在图2的示例的情况下,总是选择最左边的节点。
另一方面,在属性数据的这样的分层中,非专利文献4提出以下方法:在每个层次的参考点的候选中交替地选择按照莫顿序的第一个点和最后一个点作为参考点。也就是说,如图3的示例中,在LoD N的层次中,选择按照莫顿序的第一个节点作为参考点,并且在下一层次(LoD N-1)中,选择按照莫顿序的最后一个节点作为参考点。
图4使用二维平面示出了在三维空间中如何选择参考点的示例。图4的A中的每个正方形指示某个层次中的体素。此外,圆圈指示作为处理目标的参考点的候选。例如,在从图4的A中所示的2×2点中选择参考点的情况下,选择莫顿序的第一点(灰色点)作为参考点。在如图4的B所示的更高一层级的层次中,选择2×2点中的按照莫顿序的最后一点(灰色点)作为参考点。此外,在如图4的C中所示的更高一层级的层次中,选择2×2点中的按照莫顿序的第一点(灰色点)作为参考点。
图4的A至C中所示的相应的箭头指示参考点的移动。在这种情况下,参考点的移动范围限于如由图4的C中所示的虚线框所指示的窄范围,并且因此抑制了预测准确度的降低。
然而,当像在图4的情况下一样在图5中所示的位置处选择参考点时,参考点的位置像图5的A至C中一样移动。图4使用二维平面示出了在三维空间中如何选择参考点的另一示例。也就是说,如由图5的C中所示的虚线框指示的参考点的移动范围比图4的情况下的参考点的移动范围宽,并且预测准确度可能降低。
如上所述,在非专利文献4中描述的方法中,预测准确度根据点的位置而降低,并且编码效率可能降低。
<设置参考点的方法>
因此,例如,如在图6的表的顶行中所示的方法1中,在属性数据的分层中,可以获得点的质心,并且可以基于质心设置参考点。例如,可以选择接近导出的质心的点作为参考点。
此外,例如,如在图6的表的顶部起第二行中所示的方法2中,在属性数据的分层中,可以根据点的分布模式(分布方式)来选择参考点。
此外,例如,如在图6的表的顶部起第三行中所示的方法3中,在属性数据的分层中,可以将关于参考点的设置的信息从编码侧传输至解码侧。
此外,例如,如在图6的表的顶部起第四行所示的方法4中,在属性数据的分层中,可以针对每个层次交替地选择接近包围盒中心的点和远离包围盒中心的点作为参考点。
通过应用这些方法中的任何一种,可以抑制编码效率的降低。注意,以上描述的方法可以以任意组合应用。此外,以上描述的方法中的每个可以应用于与可伸缩解码兼容的属性数据的编码或解码,并且也可以应用于与可伸缩解码不兼容的属性数据的编码或解码。
<2.第一实施方式>
<方法1>
将描述应用以上描述的“方法1”的情况。在“方法1”的情况下,导出点的质心,并且基于质心选择参考点。任何点都可以被设置为相对于导出的质心的参考点。例如,可以选择更接近导出的质心的点(例如,位于更接近质心的点)作为参考点。
图7的A示出了其中设置了参考点的目标区域的示例。在图7的A中,正方形指示体素,并且圆圈指示点。也就是说,图7的A是使用二维平面示意性地示出三维空间中的体素结构的示例的图。例如,当假设如图7的A中所示布置的点A至点C作为参考点的候选时,可以选择如图7的B中所示的接近这些候选的质心的点B作为参考点。图7的B示出了与图2等类似的属性数据的分层结构,并且黑色圆圈指示参考点。也就是说,选择点B作为点A至点C的参考点。
通过以此方式参考接近质心的点,可以将接近更多其他点的点设置为参考点。因此,简而言之,可以设置参考点以便抑制更多预测点的预测准确度的降低,并且可以抑制编码效率的降低。
<导出质心的方法>
导出质心的方法是任意的。例如,任何点的质心都可以被应用为用于选择参考点的质心。例如,可以导出位于预定范围内的点的质心,并且该质心可以用于选择参考点。以此方式,可以抑制用于导出质心的点的数目的增加,并且可以抑制负荷的增加。
用于导出质心的点的范围(也称为质心导出目标范围)可以是任何范围。例如,可以像图8中所示的“导出质心的方法”的表的顶部起第二行中所示的方法(1)一样导出参考点的候选的质心。也就是说,例如,如图9的A中所示,可以将其中存在要作为参考点的候选的点的包括2×2×2体素的体素区域设置为质心导出目标范围。在图9的A中,在二维平面上(作为2×2正方形)示意性地示出了三维空间中的2×2×2体素区域。在这种情况下,导出在图9的A中三个由圆圈指示的点的质心,并且该质心用于设置参考点。
以此方式,由于导出作为处理目标的点(参考点候选)的质心就足够,因此不需要搜索其他点等,并且可以容易地导出质心。
注意,要被设置为质心导出目标范围的体素区域是任意的并且不限于2×2×2。例如,可以导出位于由N×N×N(N>=2)形成的体素区域中的点的质心。也就是说,N×N×N的体素区域可以被设置为质心导出目标范围。
例如,如图10的A中所示,要被设置为质心导出目标范围的体素区域(在图10的A中由粗线指示的体素区域)和作为从其导出参考点的目标的体素区域(在图10的A中以灰色指示的体素区域)可以处于同一位置(两个范围可以完美地匹配)。注意,在图10中,在二维平面上示意性地示出了实际上被配置在三维空间中的体素区域。此外,在图10的A中,为了便于描述,质心导出目标范围和作为从其导出参考点的目标的体素区域被示出为彼此略微移位,但是被示出为使得两个范围实际上完美地匹配。
此外,例如,如图10的B中所示,要被设置为质心导出目标范围的体素区域(在图10的B中由粗线指示的体素区域)可以比作为从其导出参考点的目标的体素区域(在图10的B中以灰色指示的体素区域)宽。在图10的B中的示例中,4×4×4的体素区域被设置为质心导出目标范围。
此外,例如,如图10的C中所示,要被设置为质心导出目标范围的体素区域(在图10的C中由粗线指示的体素区域)的中心可以与作为从其导出参考点的目标的体素区域(在图10的C中以灰色指示的体素区域)的中心不一致。也就是说,质心导出目标范围可以相对于作为从其导出参考点的目标的体素区域沿预定方向不均匀地延伸。例如,在包围盒等的边缘附近时,为了防止质心导出目标范围从包围盒突出,可以以此方式将质心导出目标范围的扩展偏置。
此外,例如,如图8中所示的“导出质心的方法”的表的顶部起第3行中所示的方法(2)中,可以获得附近的N个点的质心。也就是说,例如,如图9的B中所示,可以从更接近其中存在要作为参考点候选的点的包括2×2×2体素的体素区域的中心坐标的一侧搜索N个点,并且可以导出N个点的质心。在图9的B中,在二维平面上示意性地示出了实际上被布置在三维空间中的点的分布。此外,黑色圆圈指示作为从其导出参考点的目标的体素区域的中心坐标。也就是说,从更接近黑色圆圈的一侧按顺序选择N个点(白色圆圈),并且导出其质心。
以此方式,要搜索的点的数目可以限于N个,并且因此可以抑制由搜索引起的负荷的增加。
此外,例如,如图8中所示的“导出质心的方法”的表的顶部起第四行中所示的方法(3)中,可以从通过方法(2)导出的附近的N个点中排除参考点的候选(存在于包括2×2×2体素的体素区域中的点)。也就是说,如图9的C中所示,可以从质心导出目标范围将2×2×2的体素区域排除,并且可以导出位于2×2×2的体素区域之外的点的质心。在图9的C中,在二维平面上示意性地示出了实际上被布置在三维空间中的点的分布。
此外,例如,如图8中所示的“导出质心的方法”的表的顶部起第五行中所示的方法(4)中,可以导出以其中存在参考点的候选点的包括2×2×2体素的体素区域的中心坐标为中心的半径为r的区域中的点的质心。也就是说,在这种情况下,例如如图9的D中所示,导出位于由虚线框指示的以包括2×2×2体素的体素区域的中心坐标为中心的半径为r的区域中的点的质心。注意,在图9的D中,在二维平面上示意性地示出了实际上被布置在三维空间中的点的分布。此外,黑色圆圈指示作为从其导出参考点的目标的体素区域的中心坐标,并且白色圆圈指示以包括2×2×2体素的体素区域的中心坐标为中心的半径为r的区域中的点。
以此方式,本技术也可以应用于不使用体素结构的可伸缩的非兼容提升。
<选择参考点的方法>
在如上所述的“方法1”的情况下,例如,可以将接近导出的质心的点设置为参考点。在存在多个“接近质心的点”的情况下,选择这些点中的任一个作为参考点。选择的方法是任意的。例如,可以按照图11中的“从多个候选中选择参考点的方法”的表中所示的每个方法来设置参考点。
例如,如图12的A中所示,可能存在彼此距质心具有相等距离的多个点。此外,例如,如图12的B中所示,为了抑制由计算引起的负荷的增加,例如,可以将位于足够接近的所有点假设为“接近质心的点”。在图12的B的情况下,位于距质心半径Dth的范围内的所有点都被视为“接近质心的点”。在这种情况下,可能存在多个“接近质心的点”。
在这样的情况下,例如,如图11中所示的“从多个候选中选择参考点的方法”的表的顶部起第二行中所示的方法(1)中,可以选择按照预定搜索顺序要作为处理目标的第一个点。
此外,例如,如图11中所示的“从多个候选中选择参考点的方法”的表的顶部起第三行中所示的方法(2)中,可以选择按照预定搜索顺序要作为处理目标的第一个点或最后一个点。例如,可以针对每个层次切换是选择按照预定搜索顺序要作为处理目标的第一个点还是选择按照预定搜索顺序要作为处理目标的最后一个点。
此外,例如,如图11中所示的“从多个候选中选择参考点的方法”的表的顶部起第四行中所示的方法(3)中,可以选择按照预定搜索顺序在中间(数目/2)的要作为处理目标的点。
此外,例如,如图11中所示的“从多个候选中选择参考点的方法”的表的顶部起第五行中所示的方法(4)中,可以选择按照预定搜索顺序指定的顺序中的要作为处理目标的点。也就是说,可以选择按照预定搜索顺序的要作为处理目标的第N个点。该指定顺序(N)可以预先确定或者可以是可由用户、应用等设置。此外,在可以设置指定等级(rank)的情况下,可以用信令通知(传输)关于指定顺序(N)的信息。
如在上面的方法(1)至(4)中,在存在相对于质心基本上相同条件的多个候选的情况下,可以从多个候选中基于预定搜索顺序来设置参考点。
注意,搜索顺序是任意的。例如,顺序可以是莫顿序或者可以是不同于莫顿序的顺序。此外,该搜索顺序可以通过标准等预先定义,或者可以是可由用户、应用等设置。在可以设置搜索顺序的情况下,可以用信令通知(传输)关于搜索顺序的信息。
此外,例如,如图11中所示的“从多个候选中选择参考点的方法”的表的顶部起第六行中所示的方法(5)中,可以将质心导出目标范围设置成更宽的范围,可以导出宽范围的质心导出目标范围内的点的质心,并且可以使用新导出的质心来选择点。也就是说,可以通过改变条件再次导出质心。
<编码装置>
接下来,将描述应用本技术的装置。图13是示出作为应用本技术(的“方法1”)的信息处理装置的一个方面的编码装置的配置的示例的框图。图13中所示的编码装置100是对点云(3D数据)进行编码的装置。编码装置100通过应用在本实施方式中描述的本技术对点云进行编码。
注意,虽然图13示出了诸如处理单元和数据流的主要要素,但是图13中所示的这些不一定包括所有要素。也就是说,在编码装置100中,可以存在图13中未被示出为块的处理单元,或者可以存在图13中未被示出为箭头等的处理或数据流。
如图13中所示,编码装置100包括位置信息编码单元101、位置信息解码单元102、点云生成单元103、属性信息编码单元104和比特流生成单元105。
位置信息编码单元101对输入到编码装置100的点云(3D数据)的几何数据(位置信息)进行编码。用于编码的方法是任意的,只要该方法是与可伸缩解码兼容的方法即可。例如,位置信息编码单元101对几何数据进行分层以生成八叉树,并且对八叉树进行编码。此外,例如,可以执行诸如用于噪声抑制(去噪)的滤波或量化的处理。位置信息编码单元101将生成的几何数据的编码数据提供给位置信息解码单元102和比特流生成单元105。
位置信息解码单元102获取从位置信息编码单元101提供的几何数据的编码数据,并且对编码数据进行解码。解码的方法是任意的,只要该方法是与位置信息编码单元101的编码对应的方法即可。例如,可以执行诸如用于去噪的滤波或逆量化的处理。位置信息解码单元102将生成的几何数据(解码结果)提供给点云生成单元103。
点云生成单元103获取输入到编码装置100的点云的属性数据(属性信息)以及从位置信息解码单元102提供的几何数据(解码结果)。点云生成单元103执行使属性数据与几何数据(解码结果)匹配的处理(重新着色处理)。点云生成单元103将与几何数据对应的属性数据(解码结果)提供给属性信息编码单元104。
属性信息编码单元104获取从点云生成单元103提供的几何数据(解码结果)和属性数据。属性信息编码单元104使用几何数据(解码结果)对属性数据进行编码,并且生成属性数据的编码数据。
此时,属性信息编码单元104应用以上描述的本技术(方法1)对属性数据进行编码。属性信息编码单元104将生成的属性数据的编码数据提供给比特流生成单元105。
比特流生成单元105获取从位置信息编码单元101提供的几何数据的编码数据。此外,比特流生成单元105获取从属性信息编码单元104提供的属性数据的编码数据。比特流生成单元105生成包括编码数据的比特流。比特流生成单元105将生成的比特流输出至编码装置100的外部。
利用这样的配置,编码装置100可以在属性数据的分层中获得点的质心并且基于该质心设置参考点。通过以此方式参考接近质心的点,可以将接近更多其他点的点设置为参考点。因此,简而言之,可以设置参考点以便抑制更多预测点的预测准确度的降低,并且可以抑制编码效率的降低。
注意,编码装置100的这些处理单元(位置信息编码单元101至比特流生成单元105)中的每个具有任意配置。例如,可以通过实现上述处理的逻辑电路配置每个处理单元。此外,每个处理单元可以包括例如中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)等,并且使用他们来执行程序,从而实现上述处理。当然,每个处理单元可以具有两种配置,并且可以通过逻辑电路实现上述处理的一部分以及通过执行程序来实现另一部分。处理单元的配置可以彼此独立,并且例如,处理单元的一部分可以通过逻辑电路来实现上述处理的一部分,处理单元的另一部分可以通过执行程序来实现上述处理,并且又一处理单元可以通过程序的执行和逻辑电路二者来实现上述处理。
<属性信息编码单元>
图14是示出属性信息编码单元104(图13)的主要配置示例的框图。注意,虽然图14示出了诸如处理单元和数据流的主要要素,但是图14中所示的这些不一定包括所有要素。也就是说,在属性信息编码单元104中,可以存在图14中未被示出为块的处理单元,或者可以存在图14中未被示出为箭头等的处理或数据流。
如图14中所示,属性信息编码单元104包括分层处理单元111、量化单元112和编码单元113。
分层处理单元111执行与属性数据的分层有关的处理。例如,分层处理单元111获取从点云生成单元103提供的属性数据和几何数据(解码结果)。分层处理单元111使用几何数据对属性数据进行分层。此时,分层处理单元111通过应用上述本技术(方法1)来执行分层。也就是说,分层处理单元111导出每个层次中的点的质心,并且基于质心选择参考点。然后,分层处理单元111设置分层结构的每个层次中的参考关系,基于参考关系使用参考点的属性数据导出每个预测点的属性数据的预测值,并且导出属性数据与预测值之间的差值。分层处理单元111将被分层的属性数据(差值)提供给量化单元112。
此时,分层处理单元111还可以生成关于分层的控制信息。分层处理单元111还可以将生成的控制信息与属性数据(差值)一起提供给量化单元112。
量化单元112获取从分层处理单元111提供的属性数据(差值)和控制信息。量化单元112对属性数据(差值)进行量化。量化的方法是任意的。量化单元112将被量化的属性数据(差值)和控制信息提供给编码单元113。
编码单元113获取从量化单元112提供的被量化的属性数据(差值)和控制信息。编码单元113对被量化的属性数据(差值)进行编码并且生成属性数据的编码数据。编码的方法是任意的。此外,编码单元113将控制信息包括在生成的编码数据中。换言之,生成包括控制信息的属性数据的编码数据。编码单元113将生成的编码数据提供给比特流生成单元105。
通过如上所述执行分层,属性信息编码单元104可以将接近质心的点设置为参考点,并且因此可以将接近更多其他点的点设置为参考点。因此,简而言之,参考点可以被设置成抑制更多预测点的预测准确度的降低,并且可以抑制编码效率的降低。
注意,这些处理单元(分层处理单元111至编码单元113)具有任意配置。例如,可以通过实现上述处理的逻辑电路配置每个处理单元。此外,每个处理单元可以包括例如CPU、ROM、RAM等,并且使用他们来执行程序,从而实现上述处理。当然,每个处理单元可以具有两种配置,并且可以通过逻辑电路实现上述处理的一部分以及通过执行程序来实现另一部分。处理单元的配置可以彼此独立,并且例如,处理单元的一部分可以通过逻辑电路来实现上述处理的一部分,处理单元的另一部分可以通过执行程序来实现上述处理,并且又一处理单元可以通过程序的执行和逻辑电路二者来实现上述处理。
<分层处理单元>
图15是示出分层处理单元111(图14)的主要配置示例的框图。注意,虽然图15示出了诸如处理单元和数据流的主要要素,但是图15中所示的这些不一定包括所有要素。也就是说,在分层处理单元111中,可以存在图15中未被示出为块的处理单元,或者可以存在图15中未被示出为箭头等的处理或数据流。
如图15中所示,分层处理单元111包括参考点设置单元121、参考关系设置单元122、反转单元123和加权值导出单元124。
参考点设置单元121执行与参考点的设置有关的处理。例如,参考点设置单元121将作为处理目标的一组点分类成属性数据所参考的参考点以及用于基于每个点的几何数据导出属性数据的预测值的预测点。也就是说,参考点设置单元121设置参考点和预测点。参考点设置单元121相对于参考点递归地重复该处理。也就是说,参考点设置单元121利用在作为处理目标的前一层次中设置的参考点来在作为处理目标的层次中设置参考点和预测点。以此方式,构造了分层结构。即,属性数据被分层。参考点设置单元121将指示设置每个层次的参考点和预测点的信息提供给参考关系设置单元122。
参考关系设置单元122基于从参考点设置单元121提供的信息执行与每个层次的参考关系的设置有关的处理。也就是说,参考关系设置单元122针对每个层次的每个预测点设置要被参考以用于导出预测值的参考点(即,参考目的地)。然后,参考关系设置单元122基于参考关系导出每个预测点的属性数据的预测值。也就是说,参考关系设置单元122使用设置为参考目的地的参考点的属性数据来导出预测点的属性数据的预测值。此外,参考关系设置单元122导出所预测点的导出的预测值与属性数据之间的差值。参考关系设置单元122将导出的差值(被分层的属性数据)提供给每个层次的反转单元123。
注意,参考点设置单元121可以如上所述生成关于属性数据的分层的控制信息等,将控制信息等提供给量化单元112,以及将控制信息等传输至解码侧。
反转单元123执行与层次的反转有关的处理。例如,反转单元123获取从参考关系设置单元122提供的被分层的属性数据。在属性数据中,每个层次的信息按照生成的顺序被分层。反转单元123使属性数据的层次反转。例如,反转单元123按照生成顺序的相反顺序给属性数据的每个层次分配层次编号(用于标识层次的编号,其中每当最高层次降低0或1时值递增1并且最低层次具有最大值),使得生成顺序是从最低层次到最高层次的顺序。反转单元123将层次反转的属性数据提供给加权值导出单元124。
加权值导出单元124执行与加权有关的处理。例如,加权值导出单元124获取从反转单元123提供的属性数据。加权值导出单元124导出获取的属性数据的加权值。导出加权值的方法是任意的。加权值导出单元124将属性数据(差值)和导出的加权值提供给量化单元112(图14)。此外,加权值导出单元124可以将导出的加权值作为控制信息提供给量化单元112并且将加权值传输至解码侧。
在上述分层处理单元111中,上述本技术可以应用于参考点设置单元121。也就是说,参考关系设置单元122可以应用上述“方法1”,导出点的质心以及基于质心设置参考点。以此方式,可以抑制预测准确度的降低和编码效率的降低。
注意,该分层过程是任意的。例如,可以并行执行参考点设置单元121的处理和参考关系设置单元122的处理。例如,参考点设置单元121可以针对每个层次设置参考点和预测点,并且参考关系设置单元122可以设置参考关系。
注意,这些处理单元(参考点设置单元121至加权值导出单元124)具有任意配置。例如,可以通过实现上述处理的逻辑电路配置每个处理单元。此外,每个处理单元可以包括例如CPU、ROM、RAM等,并且使用他们来执行程序,从而实现上述处理。当然,每个处理单元可以具有两种配置,并且可以通过逻辑电路实现上述处理的一部分以及通过执行程序来实现另一部分。处理单元的配置可以彼此独立,并且例如,处理单元的一部分可以通过逻辑电路来实现上述处理的一部分,处理单元的另一部分可以通过执行程序来实现上述处理,并且又一处理单元可以通过程序的执行和逻辑电路二者来实现上述处理。
<编码处理的流程>
接下来,将描述由编码装置100执行的处理。编码装置100通过执行编码处理对点云的数据进行编码。将参照图16的流程图描述该编码处理的流程的示例。
当编码处理开始时,在步骤S101中,编码装置100的位置信息编码单元101对输入点云的几何数据(位置信息)进行编码,并且生成几何数据的编码数据。
在步骤S102中,位置信息解码单元102对在步骤S101中生成的几何数据的编码数据进行解码,并且生成位置信息。
在步骤S103中,点云生成单元103使用输入点云的属性数据(属性信息)和在步骤S102中生成的几何数据(解码结果)来执行重新着色处理,并且使属性数据与几何数据相关联。
在步骤S104中,属性信息编码单元104执行属性信息编码处理,从而对在步骤S103中经受了重新着色处理的属性数据进行编码,并且生成属性数据的编码数据。此时,属性信息编码单元104通过应用上述本技术(方法1)来执行处理。例如,在属性数据的分层中,属性信息编码单元104导出点的质心并且基于质心设置参考点。稍后将描述属性信息编码处理的细节。
在步骤S105中,比特流生成单元105生成并输出比特流,比特流包括在步骤S101中生成的几何数据的编码数据和在步骤S104中生成的属性数据的编码数据。
当步骤S105的处理结束时,编码处理结束。
通过以此方式执行每个步骤的处理,编码装置100可以抑制预测准确度的降低并且可以抑制编码效率的降低。
<属性信息编码处理的流程>
接下来,将参照图17的流程图描述在图16的步骤S104中执行的属性信息编码处理的流程的示例。
当属性信息编码处理开始时,属性信息编码单元104的分层处理单元111通过执行步骤S111中的分层处理来对属性数据进行分层。也就是说,设置每个层次的参考点和预测点,并且还设置参考关系。此时,分层处理单元111通过应用上述本技术(方法1)来执行分层。例如,在属性数据的分层中,属性信息编码单元104导出点的质心并且基于质心设置参考点。稍后将描述分层处理的细节。
在步骤S112中,分层处理单元111导出在步骤S111中被分层的属性数据的每个层次中的每个预测点的属性数据的预测值,并且导出预测点的属性数据与预测值之间的差值。
在步骤S113中,量化单元112对在步骤S112中导出的每个差值进行量化。
在步骤S114中,编码单元113对在步骤S112中被量化的差值进行编码,并且生成属性数据的编码数据。
当步骤S114的处理结束时,属性信息编码处理结束,并且处理返回至图16。
通过以此方式执行每个步骤的处理,分层处理单元111可以应用上述“方法1”,导出属性数据的分层中的点的质心,并且基于质心设置参考点。因此,分层处理单元111可以对属性数据进行分层以便抑制预测准确度的降低,并且因此可以抑制编码效率的降低。
<分层处理的流程>
接下来,将参照图18的流程图描述在图17的步骤S111中执行的分层处理的流程的示例。
当分层处理开始时,在步骤S121中,分层处理单元111的参考点设置单元121将指示作为处理目标的层次的可变LoD索引(LoD Index)的值设置成初始值(例如,“0”)。
在步骤S122中,参考点设置单元121执行参考点设置处理,并且将层次中的参考点设置为处理目标(即,还设置了预测点)。稍后将描述参考点设置处理的细节。
在步骤S123中,参考关系设置单元122设置作为处理目标的层次的参考关系(在导出每个预测点的预测值时参考哪个参考点)。
在步骤S124中,参考点设置单元121使LoD索引递增并且将处理目标设置成下一层次。
在步骤S125中,参考点设置单元121确定所有点是否已经处理。在确定存在未处理的点的情况下,即,在确定分层未完成的情况下,处理返回至步骤S122并且重复步骤S122和后续步骤的处理。如上所述,针对每个层次执行步骤S122至S125的处理,并且在步骤S125中确定所有点已经处理的情况下,处理进行到步骤S126。
在步骤S126中,反转单元123使如上所述生成的属性数据的层次反转,并且沿生成顺序的相反方向给每个层次分配层次编号。
在步骤S127中,加权值导出单元124导出针对每个层次的属性数据的加权值。
当步骤S127的处理结束时,处理返回至图14。
通过以此方式执行每个步骤的处理,分层处理单元111可以应用上述“方法1”,导出属性数据的分层中的点的质心,并且基于质心设置参考点。因此,分层处理单元111可以对属性数据进行分层以便抑制预测准确度的降低,并且因此可以抑制编码效率的降低。
<参考关系设置处理的流程>
接下来,将参照图19的流程图描述在图18的步骤S122中执行的参考点设置处理的流程的示例。
当参考点设置处理开始时,在步骤S141中,参考点设置单元121指定用于导出质心的一组点,并且导出作为处理目标的一组点的质心。如上所述,导出质心的方法是任意的。例如,可以使用图8的表中所示的方法中的任一种导出质心。
在步骤S142中,参考点设置单元121选择接近在步骤S141中导出的质心的点作为参考点。选择参考点的方法是任意的。例如,可以使用图11的表中所示的方法中的任一种导出质心。
当步骤S142的处理结束时,参考点设置处理结束,并且处理返回至图18。
通过以此方式执行每个步骤的处理,参考点设置单元121可以应用上述“方法1”,导出属性数据的分层中的点的质心,并且基于质心设置参考点。因此,分层处理单元111可以对属性数据进行分层以便抑制预测准确度的降低,并且因此可以抑制编码效率的降低。
<解码装置>
接下来,将描述应用本技术的装置的另一示例。图20是示出作为应用本技术的信息处理装置的方面的解码装置的配置示例的框图。图20中所示的解码装置200是对点云(3D数据)的编码数据进行解码的装置。解码装置200通过应用在本实施方式中描述的本技术(方法1)对点云的编码数据进行解码。
注意,虽然图20示出了诸如处理单元和数据流的主要要素,但是图20中所示的这些不一定包括所有要素。也就是说,在解码装置200中,可以存在图20中未被示出为块的处理单元,或者可以存在图20中未被示出为箭头等的处理或数据流。
如图20中所示,解码装置200包括编码数据提取单元201、位置信息解码单元202、属性信息解码单元203和点云生成单元204。
编码数据提取单元201获取并且保持输入到解码装置200的比特流。编码数据提取单元201从所保持的比特流中提取几何数据(位置信息)和属性数据(属性信息)的编码数据。编码数据提取单元201将所提取的几何数据的编码数据提供给位置信息解码单元202。编码数据提取单元201将所提取的属性数据的编码数据提供给属性信息解码单元203。
位置信息解码单元202获取从编码数据提取单元201提供的几何数据的编码数据。位置信息解码单元202对几何数据的编码数据进行解码,并且生成几何数据(解码结果)。解码的方法是任意的,只要该方法是与在编码装置100的位置信息解码单元102的情况下的方法类似的方法即可。位置信息解码单元202将生成的几何数据(解码结果)提供给属性信息解码单元203和点云生成单元204。
属性信息解码单元203获取从编码数据提取单元201提供的属性数据的编码数据。属性信息解码单元203获取从位置信息解码单元202提供的几何数据(解码结果)。属性信息解码单元203使用位置信息(解码结果)通过应用上述本技术(方法1)的方法对属性数据的编码数据进行解码,并且生成属性数据(解码结果)。属性信息解码单元203将生成的属性数据(解码结果)提供给点云生成单元204。
点云生成单元204获取从位置信息解码单元202提供的几何数据(解码结果)。点云生成单元204获取从属性信息解码单元203提供的属性数据(解码结果)。点云生成单元204使用几何数据(解码结果)和属性数据(解码结果)生成点云(解码结果)。点云生成单元204将生成的点云(解码结果)的数据输出到解码装置200的外部。
利用这样的配置,解码装置200可以选择接近点的质心的点作为去分层中的参考点。因此,例如,解码装置200可以对由上述编码装置100编码的属性数据的编码数据正确地解码。因此,可以抑制预测准确度的降低,并且可以抑制编码效率的降低。
注意,这些处理单元(编码数据提取单元201至点云生成单元204)具有任意配置。例如,可以通过实现上述处理的逻辑电路配置每个处理单元。此外,每个处理单元可以包括例如CPU、ROM、RAM等,并且使用他们来执行程序,从而实现上述处理。当然,每个处理单元可以具有两种配置,并且可以通过逻辑电路实现上述处理的一部分以及通过执行程序来实现另一部分。处理单元的配置可以彼此独立,并且例如,处理单元的一部分可以通过逻辑电路来实现上述处理的一部分,处理单元的另一部分可以通过执行程序来实现上述处理,并且又一处理单元可以通过程序的执行和逻辑电路二者来实现上述处理。
<属性信息解码单元>
图21是示出属性信息解码单元203(图20)的主要配置示例的框图。注意,虽然图21示出了诸如处理单元和数据流的主要要素,但是图21中所示的这些不一定包括所有要素。也就是说,在属性信息解码单元203中,可以存在图21中未被示出为块的处理单元,或者可以存在图21中未被示出为箭头等的处理或数据流。
如图21中所示,属性信息解码单元203包括解码单元211、逆量化单元212和去分层处理单元213。
解码单元211执行与属性数据的编码数据的解码有关的处理。例如,解码单元211获取被提供给属性信息解码单元203的属性数据的编码数据。
解码单元211对属性数据的编码数据进行解码,并且生成属性数据(解码结果)。解码的方法是任意的,只要该方法是与编码装置100的编码单元113(图14)的编码方法对应的方法即可。此外,生成的属性数据(解码结果)对应于编码之前的属性数据,是属性数据与其预测值之间的差值并且是被量化的。解码单元211将生成的属性数据(解码结果)提供给逆量化单元212。
注意,在属性数据的编码数据包括关于加权值的控制信息和关于属性数据的分层的控制信息的情况下,解码单元211还将控制信息提供给逆量化单元212。
逆量化单元212执行与属性数据的逆量化有关的处理。例如,逆量化单元212获取从解码单元211提供的属性数据(解码结果)和控制信息。
逆量化单元212对属性数据(解码结果)进行逆量化。此时,在从解码单元211提供关于加权值的控制信息的情况下,逆量化单元212还获取控制信息并且基于控制信息(使用基于控制信息导出的加权值)对属性数据(解码结果)进行逆量化。
此外,在从解码单元211提供关于属性数据的分层的控制信息的情况下,逆量化单元212也获取控制信息。
逆量化单元212将被逆量化的属性数据(解码结果)提供给去分层处理单元213。此外,在从解码单元211获取了关于属性数据的分层的控制信息的情况下,逆量化单元212也将控制信息提供给去分层处理单元213。
去分层处理单元213获取从逆量化单元212提供的被逆量化的属性数据(解码结果)。如上所述,属性数据是差值。此外,去分层处理单元213获取从位置信息解码单元202提供的几何数据(解码结果)。去分层处理单元213使用几何数据执行去分层,该去分层是对获取的属性数据(差值)进行的由编码装置100的分层处理单元111(图14)执行的分层的逆处理。
在此,将描述去分层。例如,去分层处理单元213基于从位置信息解码单元202提供的几何数据,通过与编码装置100(分层处理单元111)的方法类似的方法对属性数据进行分层。也就是说,去分层处理单元213基于被解码的几何数据设置每个层次的参考点和预测点,并且设置属性数据的分层结构。去分层处理单元213还使用参考点和预测点来设置分层结构的每个层次的参考关系(每个预测点的参考目的地)。
然后,去分层处理单元213使用分层结构和每个层次的参考关系对获取的属性数据(差值)进行去分层。也就是说,去分层处理单元213根据参考关系从参考点导出预测点的预测值,并且通过将预测值与差值相加来恢复每个预测点的属性数据。去分层处理单元213针对从较高层次到较低层次的每个层次执行该处理。也就是说,去分层处理单元213使用通过恢复比如上所述作为处理目标的层次更高的层次中的属性数据而获得的预测点作为参考点来恢复作为处理目标的层次的预测点的属性数据。
在这样的过程中执行的去分层中,去分层处理单元213在基于被解码的几何数据对属性数据进行分层时通过应用上述本技术(方法1)来设置参考点。也就是说,去分层处理单元213导出点的质心并且选择接近质心的点作为参考点。去分层处理单元213将被去分层的属性数据提供给点云生成单元204(图20)作为解码结果。
通过如上所述执行去分层,去分层处理单元213可以将接近质心的点设置为参考点,并且因此可以对属性数据进行分层以便抑制预测准确度的降低。也就是说,属性信息解码单元203可以对通过类似的方法编码的编码数据正确地解码。例如,属性信息解码单元203可以对由上述的属性信息编码单元104编码的属性数据的编码数据正确地解码。因此,可以抑制编码效率的降低。
注意,这些处理单元(解码单元211至去分层处理单元213)具有任意配置。例如,可以通过实现上述处理的逻辑电路配置每个处理单元。此外,每个处理单元可以包括例如CPU、ROM、RAM等,并且使用他们来执行程序,从而实现上述处理。当然,每个处理单元可以具有两种配置,并且可以通过逻辑电路实现上述处理的一部分以及通过执行程序来实现另一部分。处理单元的配置可以彼此独立,并且例如,处理单元的一部分可以通过逻辑电路来实现上述处理的一部分,处理单元的另一部分可以通过执行程序来实现上述处理,并且又一处理单元可以通过程序的执行和逻辑电路二者来实现上述处理。
<解码处理的流程>
接下来,将描述由解码装置200执行的处理。解码装置200通过执行解码处理对点云的编码数据进行解码。将参照图22的流程图描述解码处理的流程的示例。
当解码处理开始时,在步骤S201中,解码装置200的编码数据提取单元201获取并且保持比特流,以及从比特流中提取几何数据的编码数据和属性数据的编码数据。
在步骤S202中,位置信息解码单元202对所提取的几何数据的编码数据进行解码,并且生成几何数据(解码结果)。
在步骤S203中,属性信息解码单元203执行属性信息解码处理,对在步骤S201中提取的属性数据的编码数据进行解码,并且生成属性数据(解码结果)。此时,属性信息解码单元203通过应用上述本技术(方法1)执行处理。例如,在属性数据的分层中,属性信息解码单元203导出点的质心并且将接近质心的点设置为参考点。稍后将描述属性信息解码处理的细节。
在步骤S204中,点云生成单元204使用在步骤S202中生成的几何数据(解码结果)和在步骤S203中生成的属性数据(解码结果)来生成并输出点云(解码结果)。
当步骤S204的处理结束时,解码处理结束。
通过以此方式执行每个步骤的处理,解码装置200可以对通过类似的方法编码的属性数据的编码数据正确地解码。例如,解码装置200可以对由上述编码装置100编码的属性数据的编码数据正确地解码。因此,可以抑制预测准确度的降低,并且可以抑制编码效率的降低。
<属性信息解码处理的流程>
接下来,将参照图23的流程图描述在图22的步骤S203中执行的属性信息解码处理的流程的示例。
当属性信息解码处理开始时,在步骤S211中,属性信息解码单元203的解码单元211对属性数据的编码数据进行解码并且生成属性数据(解码结果)。该属性数据(解码结果)如上所述被量化。
在步骤S212中,逆量化单元212通过执行逆量化处理来对在步骤S211中生成的属性数据(解码结果)进行逆量化。
在步骤S213中,去分层处理单元213执行去分层处理以对在步骤S212中被逆量化的属性数据(差值)进行去分层并且导出每个点的属性数据。此时,去分层处理单元213通过应用上述本技术(方法1)来执行去分层。例如,在属性数据的分层中,去分层处理单元213导出点的质心并且将接近质心的点设置为参考点。稍后将描述去分层处理的细节。
当步骤S213的处理结束时,属性信息解码处理结束,并且处理返回至图22。
通过以此方式执行每个步骤的处理,属性信息解码单元203可以应用上述“方法1”并且将接近点的质心的点设置为属性数据的分层中的参考点。因此,去分层处理单元213可以对属性数据进行分层以便抑制预测准确度的降低。也就是说,属性信息解码单元203可以对通过类似的方法编码的编码数据正确地解码。例如,属性信息解码单元203可以对由上述属性信息编码单元104编码的属性数据的编码数据正确地解码。因此,可以抑制编码效率的降低。
<去分层处理的流程>
接下来,将参照图24的流程图描述在图23的步骤S213中执行的去分层处理的流程的示例。
当去分层处理开始时,在步骤S221中,去分层处理单元213使用几何数据(解码结果)执行属性数据(解码结果)的分层处理,恢复在编码侧设置的每个层次的参考点和预测点,以及还恢复每个层次的参考关系。也就是说,去分层处理单元213执行与由分层处理单元111执行的分层处理类似的处理,设置每个层次的参考点和预测点,以及还设置每个层次的参考关系。
例如,去分层处理单元213与分层处理单元111类似地应用上述“方法1”,导出点的质心,并且将接近质心的点设置为参考点。
在步骤S222中,去分层处理单元213使用分层结构和参考关系对属性数据(解码结果)进行去分层,并且恢复每个点的属性数据。也就是说,去分层处理单元213基于参考关系从参考点的属性数据导出预测点的属性数据的预测值,并且将预测值与属性数据(解码结果)的差值相加以恢复属性数据。
当步骤S222的处理结束时,去分层处理结束,并且处理返回至图23。
通过以此方式执行每个步骤的处理,去分层处理单元213可以实现与编码时的分层类似的分层。也就是说,属性信息解码单元203可以对通过类似的方法编码的编码数据正确地解码。例如,属性信息解码单元203可以对由上述属性信息编码单元104编码的属性数据的编码数据正确地解码。因此,可以抑制编码效率的降低。
<3.第二实施方式>
<方法2>
接下来,将描述应用上面参照图6描述的“方法2”的情况。在“方法2”的情况下,在属性数据的分层中,根据点的分布模式(分布方式)来选择参考点。
例如,在图25中所示的表(表信息)中,其中设置了参考点的处理目标区域中的点的分布模式(分布方式)指示在这种情况下与选择的点的信息(索引)彼此相关联。例如,在该表的顶部起的第二行中,示出了在其中设置了参考点的2×2×2体素区域中的点的分布模式是“10100001”的情况下,选择索引为“2”的点,即第二个出现的点。分布模式“10100001”的每个比特值指示在2×2×2的每个体素中存在或不存在点,值“1”指示在分配了比特的体素中存在点,并且值“0”指示在分配了比特的体素中不存在点。
在该表中,类似地,针对每个分布模式指示要选择的点的索引。也就是说,在属性数据的分层中,该表被参考并且与其中设置了参考点的处理目标区域中的点的分布模式对应的索引的点被选择为参考点。
以此方式,可以更容易地选择参考点。
<表信息>
表信息可以是任何信息,只要该表信息将点的分布模式与指示要选择的点的信息相关联即可。例如,如在图26的A中所示的“表”的表的顶部起第二行中所示的方法(1)中,可以使用用于针对每个点分布方式选择接近质心的点的表信息。也就是说,在分布模式的情况下的接近质心位置的点的索引可以与每个分布模式相关联。
此外,例如,如图26的A中所示的“表”的表的顶部起第三行中所示的方法(2)中,可以使用用于针对每个点分布方式选择任意点的表信息。此外,例如,如在“表”的表的顶部起第四行中所示的方法(3)中,可以从多个表中选择要使用的表。例如,可以根据层次(LoD的深度)来切换要使用的表。
<表信息的信令传输>
注意,可以预先准备该表信息。例如,可以由标准来定义预定的表信息。在这种情况下,表信息的信令传输(从编码侧到解码侧的传输)是不必要的。
此外,位置信息解码单元102可以从几何数据导出表信息。此外,位置信息解码单元202也可以从几何数据(解码结果)导出表信息。在这种情况下,表信息的信令传输(从编码侧到解码侧的传输)是不必要的。
当然,可以由用户、应用等生成(或可更新)表信息。在这种情况下,可以用信令通知生成的(或更新的)表信息。也就是说,例如,编码单元113可以执行对关于表信息的信息的编码并且将其编码数据包括在比特流中等,以便执行信令传输。
此外,如上所述,可以根据层次(LoD的深度)来切换表信息。在这种情况下,可以执行使得如图26的B中所示的“表”的表的顶部起第二行中所示的方法(1)中,由标准等预先定义切换方法并且不用信令通知指示切换方法的信息。
此外,如在图26的B中所示的“表”的表的顶部起第三行中所示的方法(2)中,可以用信令通知指示选择的表的索引(标识信息)。例如,可以在属性参数集(AttributeParameter Set)中用信令通知该索引。
此外,例如,如在图26的B中所示的“表”的表的顶部起第四行中所示的方法(3)中,可以用信令通知选择的表信息本身。例如,可以在属性块头(Attribute Brick Header)中用信令通知表信息。
此外,如在图26的B中所示的“表”的表的顶部起第五行中所示的方法(4)中,可以用信令通知选择的表信息的一部分。也就是说,表信息可能能够被部分地更新。例如,可以在属性块头(Attribute Brick Header)中用信令通知表信息。
同样在应用该方法2的情况下,编码装置100和解码装置200的配置与应用上述方法1的情况下的编码装置100和解码装置200的配置基本上类似。因此,编码装置100可以以与第一实施方式的情况下的流程类似的流程来执行每个处理,例如编码处理、属性信息编码处理和分层处理。
<参考点设置处理的流程>
将参照图27的流程图描述在这种情况下的参考点设置处理的流程的示例。当参考点设置处理开始时,参考点设置单元121参考表信息并且根据步骤S301中的点分布模式选择参考点。
在步骤S302中,参考点设置单元121确定是否用信令通知关于使用的表的信息。在确定用信令通知的情况下,处理进行到步骤S303。
在步骤S303中,参考点设置单元121用信令通知关于使用的表的信息。当步骤S303的处理结束时,参考点设置处理结束,并且处理返回至图18。
由于编码装置100以此方式传输表信息,因此解码装置200可以使用表信息执行解码。
注意,解码装置200可以以与第一实施方式的情况下的流程类似的流程来执行每个处理,例如解码处理、属性信息解码处理和去分层处理。
<4.第三实施方式>
<方法3>
接下来,将描述应用上面参照图6描述的“方法3”的情况。在“方法3”的情况下,可以用信令通知在属性数据的分层中设置的参考点。
例如,如图28中所示的“用信令通知的目标”的表的顶部起第二行中所示的方法(1)中,可以用信令通知指示是否参考所有节点(所有点),即将节点设置为参考点还是预测点的信息。例如,如图29的A中所示,可以按照莫顿序对所有层次中的所有节点进行排序,并且可以给每个节点分配索引(索引0至索引K)。换言之,可以通过索引0至索引K来标识每个节点(以及给每个节点的信息)。
此外,例如,如在图28中所示的“用信令通知的目标”的表的顶部起第三行中所示的方法(2)中,可以用信令通知针对层次的一部分指示哪个节点(点)被参考并且被选择为参考点的信息。例如,如图29的B中所示,可以指定要作为用信令通知的目标的层次(LoD),可以按照莫顿序对层次的所有节点进行排序,并且可以给每个节点分配索引。
例如,假设属性数据具有如图30的A中所示的分层结构。也就是说,从LoD2的#0的点、LoD2的#1的点和LoD2的#2的点中逐个地选择点作为参考点,以便形成LoD1的#0的每个点。在这种情况下,当按照图30的B中所示的搜索顺序将索引分配给LoD2的点时,如图30的C中所示的由LoD2的索引指示LoD1#0的每个点。换言之,可以通过指定“Lod20、Lod2 1、Lod20”来表达LoD1#0的点的分布方式。
以此方式,可以由LoD N-1的索引指定LoD N的2×2×2体素区域。也就是说,可以通过LoD(层次指定)和层级(第m)指定2×2×2的一个体素。以此方式,通过执行层次和索引的指定,可以根据需要仅针对层次的一部分执行信令传输,因此与方法(1)的情况相比可以抑制代码量的增加并且抑制编码效率的降低。
此外,例如,如在图28中所示的“用信令通知的目标”的表的顶部起第四行中所示的方法(3)中,要用信令通知的点可能受处于较低层级的N×N×N的体素区域中的点的数目的限制。也就是说,可以用信令通知关于为满足预定条件的点设置参考点的信息。以此方式,如图29的C中所示,可以进一步减少要作为用信令通知的目标的节点的数目。因此,可以抑制编码效率的降低。
例如,假设属性数据具有如图31的A中所示的分层结构。在这种情况下,用信令通知的目标限于包括三个或更多个点的2×2×2体素区域。当按照图31的B中所示的搜索顺序将索引分配给LoD2的点时,LoD2的右侧上所示的体素区域被排除在用信令通知的目标之外。因此,没有给该体素区域分配索引。因此,如图31的C中所示,与图30的C的情况相比,可以减少用信令通知的数据量并且可以抑制代码量的增加。
注意,方法(2)和方法(3)可以组合应用,例如,如图28中所示的“用信令通知的目标”的表的顶部起第五行中所示的方法(4)中。
<固定长度信令传输>
可以针对固定长度的数据执行如上所述的信令传输。例如,可以利用如图32的A中所示的语法来执行信令传输。在图32的A的语法中,num_Lod是指示要用信令通知的LoD的编号的参数。lodNo[i]是指示Lod编号的参数。voxelType[i]是指示要用信令通知的体素的类型的参数。通过指定该参数,可以限制Lod中的传输目标。num_node是指示要实际上用信令通知的编号的参数。可以从几何数据中导出该num_node。node[k]表示针对2×2×2的每个体素区域的用信令通知的信息。k表示按照莫顿序的节点的编号。
注意,当在获得几何数据之前需要执行解析以用于并行处理等的情况下,可以利用图32的B中所示的语法来执行信令传输。在如上所述需要解析的情况下,只需要用信令通知num_node。
此外,在利用固定长度的数据执行信令传输的情况下,可以应用图33的A中所示的语法。在这种情况下,用信令通知用于控制信令的标志Flag[k]。同样在这种情况下,当在获得几何数据之前需要执行解析以用于并行处理等时,可以利用图33的B中所示的语法来执行信令传输。在如上所述需要解析的情况下,只需要用信令通知num_node信号。
<可变长度信令传输>
此外,可以利用可变长度数据执行如上所述的信令传输。例如,如图34的示例中,可以用信令通知2×2×2体素区域中的节点的位置。在这种情况下,可以例如基于图34的A中所示的表信息根据在2×2×2体素区域中的节点的编号来设置信令传输的比特长度。
在解码侧,可以从几何数据中确定2×2×2体素区域中包括的节点的编号。因此,如图34的B中所示的示例中,即使输入诸如“10111010……”的比特串,由于可以从几何数据中掌握2×2×2体素区域中包括的节点的编号,因此也可以通过以适当的比特长度执行划分而正确地获得每个体素区域的信息。
此外,如在图35的示例中,可以用信令通知要使用的表信息的索引。在这种情况下,例如,如图35的A中所示,可以使信令传输的比特长度根据2×2×2体素区域中的节点的编号可变。
例如,在基于图35的A中所示的表信息节点的编号为五至八的情况下,分配两比特,并且选择图35的B中的表信息。在这种情况下,比特串“00”指示选择了按照预定搜索顺序(例如,莫顿序)的第一节点。此外,比特串“01”指示选择了按照预定搜索顺序(例如,莫顿序)的相反顺序(相反)的第一节点。此外,比特串“10”指示选择了按照预定搜索顺序的第二节点(不相反)。此外,比特串“11”指示选择了按照预定搜索顺序的相反顺序(相反)的第二节点。
此外,例如,在基于图35的A中所示的表信息节点的编号为三或四的情况下,分配一比特,并且选择图35的C中的表信息。在这种情况下,比特串“0”指示选择了按照预定搜索顺序(例如,莫顿序)的第一节点。此外,比特串“1”指示选择了按照预定搜索顺序(例如,莫顿序)的相反顺序(相反)的第一节点。
在解码侧,可以从几何数据中确定2×2×2体素区域中包括的节点的编号。因此,如图35的D中所示的示例中,即使输入诸如“10111010……”的比特串,由于可以从几何数据中掌握2×2×2体素区域中包括的节点的编号,因此也可以通过以适当的比特长度执行划分而正确地获得每个体素区域的信息。
图36中示出了可变长度情况下的语法的示例。在图36的语法中,bitLength是指示比特长度的参数。此外,signalType[i]是指示每个LoD的可变长度编码的方法的参数。
注意,同样在该可变长度的情况下,当在获得几何数据之前需要执行解析以用于并行处理等时,如图37中所示的语法中,可以用信令通知num_node或者可以用信令通知flag[j]。
<参考点设置处理的流程>
将参照图38的流程图描述在这种情况下的参考点设置处理的流程的示例。当参考点设置处理开始时,参考点设置单元121在步骤S321中选择参考点。
在步骤S322中,参考点设置单元121用信令通知关于在步骤S321中设置的参考点的信息。当步骤S322的处理结束时,参考点设置处理结束,并且处理返回至图18。由于编码装置100以此方式传输表信息,因此解码装置200可以使用表信息执行解码。
<5.第四实施方式>
<方法4>
接下来,将描述应用上面参照图6描述的“方法4”的情况。在“方法4”的情况下,可以针对每个层次交替地选择参考点的候选中的更接近包围盒的中心的点和更远离包围盒的中心的点作为参考点。
例如,在图39中所示的位置处选择参考点的情况下,如图39的A至图39的C,针对每个层次交替选择更接近包围盒的中心的点和更远离包围盒的中心的点。以此方式,如图39的C中所示,参考点的移动范围限于如由虚线框指示的窄范围,并且因此抑制了预测准确度的降低。
以此方式,通过将点的选择方向用做包围盒的中心的参考,可以抑制预测准确度的降低,而与包围盒的位置无关。
注意,可以通过根据包围盒的位置改变点的搜索顺序来实现这样的点选择。例如,该搜索顺序可以是距包围盒的中心的距离的顺序。以此方式,可以根据包围盒的位置改变搜索顺序。此外,例如,可以针对通过将包围盒划分成八个(沿xyz的每个方向为两个)而获得的八个划分区域的每个来改变搜索顺序。
<参考点设置处理的流程>
将参照图40的流程图描述在这种情况下的参考点设置处理的流程的示例。当参考点设置处理开始时,在步骤S341中,参考点设置单元121确定更接近包围盒的中心的点是否已经被选择为前一层次的参考点。
在确定已经选择了更接近的点的情况下,处理进行到步骤S342。
在步骤S342中,参考点设置单元121在参考点候选中选择距包围盒的中心最远的点作为参考点。当步骤S342的处理结束时,参考点设置处理结束,并且处理返回至图18。
此外,在步骤S341中确定没有选择更接近的点的情况下,处理进行到步骤S343。
在步骤S343中,参考点设置单元121在参考点候选中选择最接近包围盒的中心的点作为参考点。当步骤S343的处理结束时,参考点设置处理结束,并且处理返回至图18。
通过以此方式选择参考点,编码装置100可以抑制参考点的预测准确度的降低。因此,可以抑制编码效率的降低。
<6.附录>
<分层和去分层的方法>
在以上描述中,提升已经被描述为用于对属性信息进行分层和去分层的方法的示例,但是本技术可以应用于用于对属性信息进行分层的任何技术。也就是说,对属性信息进行分层和去分层的方法可以是除提升之外的方法。此外,对属性信息进行分层和去分层的方法可以是不可伸缩的方法或如非专利文献3中描述的可伸缩的方法。
<控制信息>
可以将在以上实施方式的每个中描述的关于本技术的控制信息从编码侧传输至解码侧。例如,可以传输控制是否允许(或禁止)上述本技术的应用的控制信息(例如,enabled_flag)。此外,例如,可以传输指定允许(或禁止)上述本技术的应用的范围(例如,块大小的上限或下限或者其二者、切片、图片、序列、部件、视图、层等)的控制信息。
<周围及附近>
注意,在本描述中,诸如“附近”或“周围”的位置关系不仅可以包括空间位置关系,而且可以包括时间位置关系。
<计算机>
可以通过硬件执行或者可以通过软件执行上述一系列处理。在通过软件执行一系列处理的情况下,构成软件的程序被安装在计算机中。在此,计算机包括合并在专用硬件中的计算机、例如可以通过安装各种程序来执行各种功能的通用个人计算机等。
图41是示出通过程序执行上述一系列处理的计算机的硬件的配置示例的框图。
在图41中所示的计算机900中,中央处理单元(CPU)901、只读存储器(ROM)902和随机存取存储器(RAM)903经由总线904互相连接。
输入-输出接口910也连接至总线904。输入单元911、输出单元912、存储单元913、通信单元914和驱动器915连接至输入-输出接口910。
输入单元911包括例如键盘、鼠标、麦克风、触摸板、输入端子等。输出单元912包括例如显示器、扬声器、输出端子等。存储单元913包括例如硬盘、RAM盘、非易失性存储器等。通信单元914包括例如网络接口。驱动器915驱动可移除介质921,例如磁盘、光盘、磁光盘或半导体存储器。
在如上所述配置的计算机中,CPU 901经由输入-输出接口910和总线904将例如存储在存储单元913中的程序加载到RAM 903中并且执行该程序,以便执行上述一系列处理。RAM 903还适当地存储CPU 901执行各种处理所需的数据等。
例如,由计算机执行的程序可以通过被记录在作为封装介质等的可移除介质921中来被应用。在这种情况下,可以通过将可移除介质921附接至驱动器915,经由输入-输出接口910将程序安装在存储单元913中。
此外,可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供该程序。在这种情况下,程序可以由通信单元914接收并且被安装在存储单元913中。
另外,该程序可以被预先安装在ROM 902或存储单元913中。
<本技术的适用目标>
尽管上面已经描述了将本技术应用于点云数据的编码和解码的情况,但是本技术不限于这些示例,并且可以应用于任何标准的3D数据的编码和解码。也就是说,只要与上述本技术不存在矛盾,诸如编码和解码方法的各种类型的处理以及诸如3D数据和元数据的各种类型的数据的规范就是任意的。此外,只要与本技术不存在矛盾,就可以省略上述处理和规范的一部分。
此外,在以上描述中,编码装置100和解码装置200已经被描述为本技术的应用示例,但是本技术可以应用于任何配置。
例如,本技术可以应用于各种电子装置,例如卫星广播、诸如有线电视的有线广播、因特网上的分发以及通过蜂窝通信向终端的分发等的发射器和接收器(例如,电视接收器和移动电话),或者将图像记录在诸如光盘、磁盘和闪存的介质上或从存储介质再现图像的装置(例如,硬盘录制器和相机)。
此外,例如,本技术还可以被实现为装置的一部分的配置,装置例如作为系统大规模集成(LSI)等的处理器(例如,视频处理器)、使用多个处理器等的模块(例如,视频模块),使用多个模块等的单元(例如,视频单元),或者通过向单元进一步添加其他功能而获得的集合(例如,视频集合)。
此外,例如,本技术还可以应用于包括多个装置的网络系统。例如,本技术可以被实现为经由网络由多个装置共享和协作处理的云计算。例如,本技术可以在云服务中实现,该云服务向诸如计算机、视听(AV)设备、便携式信息处理终端或物联网(IoT)设备的任何终端提供与图像(运动图像)有关的服务。
注意,在本说明书中,系统意味着多个部件(装置、模块(零件)等)的集合,并且所有部件是否都在同一壳体中并不重要。因此,容纳在不同的壳体中并且经由网络连接的多个装置,以及其中多个模块被容纳在一个壳体中的一个装置都是系统。
<本技术适用的领域和应用>
注意,应用本技术的系统、装置、处理单元等可以在任何领域,例如交通、医疗、预防犯罪、农业、畜牧业、采矿、美容、工厂、家用电器、天气、自然监测等中使用。此外,其使用是任意的。
<其他>
注意,在本说明书中,“标志”是用于标识多个状态的信息,并且不仅包括用于标识真(1)或假(0)两个状态的信息,而且包括可以标识三个或更多个状态的信息。因此,该“标志”可以取的值可以是例如1和0两个值,或者三个或更多个值。也就是说,构成该“标志”的比特数是任意的,并且可以是一比特或多比特。此外,假设标识信息(包括标志)不仅包括其在比特流中的标识信息,而且包括标识信息相对于比特流中的某个参考信息的差异信息,因此,在本说明书中,“标志”和“标识信息”不仅包括其信息,而且包括相对于参考信息的差异信息。
此外,可以以任何形式传输或记录与编码数据(比特流)有关的各种类型的信息(元数据等),只要该信息与编码数据相关联即可。在此,术语“关联”意味着,例如,当处理其他数据时,可以使用(链接)一个数据。也就是说,彼此关联的数据可以被组合为一个数据,或者可以是单独的数据。例如,与编码数据(图像)相关联的信息可以在与编码数据(图像)的传输路径不同的传输路径上传输。此外,例如,与编码数据(图像)相关联的信息可以被记录在与编码数据(图像)不同的记录介质(或同一记录介质的另一记录区域)中。注意,该“关联”可以是数据的一部分而不是整个数据。例如,图像和与该图像对应的信息可以以诸如多个帧、一帧或帧的一部分的任意单位彼此相关联。
注意,在本说明书中,诸如“组合”、“多路复用”、“添加”、“集成”、“包括”、“存储”、“放入”、“插入”和“嵌入”的术语意味着将多个项目组合成一个,例如将编码数据和元数据组合为一个数据,并且意味着上述“关联”的一种方法。
此外,本技术的实施方式不限于上述实施方式,并且在不脱离本技术的范围的情况下各种修改可行。
例如,被描述为一个装置(或处理单元)的配置可以被划分并配置为多个装置(或处理单元)。相反,以上被描述为多个装置(或处理单元)的配置可以被组合并配置为一个装置(或处理单元)。此外,除上述配置之外的配置当然可以被添加到每个装置(或每个处理单元)的配置。此外,如果整个系统的配置和操作基本上相同,则某个装置(或处理单元)的配置的一部分可以被包括在另一装置(或另一处理单元)的配置中。
此外,例如,上述程序可以在任何装置中执行。在这种情况下,只要装置具有必要的功能(功能块等)并且可以获取必要的信息就足够了。
此外,例如,一个流程图的每个步骤可以由一个装置执行,或者可以由多个装置共享和执行。此外,在一个步骤中包括多个处理的情况下,该多个处理可以由一个装置执行,或者可以由多个装置共享和执行。换言之,可以将一个步骤中包括的多个处理作为多个步骤的处理来执行。相反,被描述为多个步骤的处理可以作为一个步骤共同执行。
此外,例如,在由计算机执行的程序中,描述该程序的步骤的处理可以按照本说明书中描述的顺序按时间序列执行,或者可以在必要的定时例如当进行调用时并行或单独执行。也就是说,只要不出现矛盾,就可以以与上述顺序不同的顺序执行相应步骤中的处理。此外,用于描述该程序的步骤中的处理可以与另一程序中的处理并行执行,或者可以与另一个程序中的处理组合执行。
此外,例如,只要不存在矛盾,与本技术有关的多个技术就可以作为单个主体被独立地实现。当然,本技术中的任意多个也可以被组合使用和实现。例如,实施方式中的任何一个中描述的本技术的部分或全部可以与其他实施方式中描述的本技术的部分或全部结合而实现。此外,可以通过与上面未描述的另一技术一起使用来实现上述本技术中的任何一个的部分或全部。
注意,本技术可以具有如下配置。
(1)一种信息处理装置,包括:
分层单元,分层单元对于将具有三维形状的对象表示为点的集合的点云的每个点的属性信息,通过相对于参考点递归地重复预测点和参考点的分类来对属性信息进行分层,预测点用于导出属性信息与属性信息的预测值之间的差值,参考点用于导出预测值,其中:
分层单元基于点的质心设置参考点。
(2)根据(1)所述的信息处理装置,其中:
分层单元将候选点中的更接近质心的点设置为参考点。
(3)根据(1)或(2)所述的信息处理装置,其中:
分层单元基于位于预定范围内的点的质心设置参考点。
(4)根据(1)至(3)中任一项所述的信息处理装置,其中:
分层单元从相对于质心处于基本上相同的条件下的多个候选中基于预定搜索顺序设置参考点。
(5)一种信息处理方法,包括:
当对于将具有三维形状的对象表示为点的集合的点云的每个点的属性信息,通过相对于参考点递归地重复预测点和参考点的分类来执行属性信息的分层时,基于点的质心设置参考点,预测点用于导出属性信息与属性信息的预测值之间的差值,参考点用于导出预测值。
(6)一种信息处理装置,包括:
分层单元,分层单元对于将具有三维形状的对象表示为点的集合的点云的每个点的属性信息,通过相对于参考点递归地重复预测点和参考点的分类来对属性信息进行分层,预测点用于导出属性信息与属性信息的预测值之间的差值,参考点用于导出预测值,其中:
分层单元基于各点的分布方式设置参考点。
(7)根据(6)所述的信息处理装置,其中:
分层单元基于表信息来设置参考点,表信息针对所述各点的每个分布方式指定接近点的质心的点。
(8)根据(6)或(7)所述的信息处理装置,其中:
分层单元基于表信息来设置参考点,表信息针对所述各点的每个分布方式指定预定点。
(9)根据(8)所述的信息处理装置,还包括:
编码单元,所述编码单元对与表信息有关的信息进行编码。
(10)一种信息处理方法,包括:
当对于将具有三维形状的对象表示为点的集合的点云的每个点的属性信息,通过相对于参考点递归地重复预测点和参考点的分类来执行属性信息的分层时,基于点的分布方式设置参考点,预测点用于导出属性信息与属性信息的预测值之间的差值,参考点用于导出预测值。
(11)一种信息处理装置,包括:
分层单元,其对于将具有三维形状的对象表示为点的集合的点云的每个点的属性信息,通过相对于参考点递归地重复预测点和参考点的分类来对属性信息进行分层,预测点用于导出属性信息与属性信息的预测值之间的差值,参考点用于导出预测值;以及
编码单元,其对与由分层单元对参考点的设置有关的信息进行编码。
(12)根据(11)所述的信息处理装置,其中:
编码单元对与针对所有点进行的参考点的设置有关的信息进行编码。
(13)根据(11)所述的信息处理装置,其中:
编码单元对与针对一部分层次的点进行的参考点的设置有关的信息进行编码。
(14)根据(13)所述的信息处理装置,其中:
编码单元还对与针对满足预定条件的点进行的参考点的设置有关的信息进行编码。
(15)一种信息处理方法,包括:
对于将具有三维形状的对象表示为点的集合的点云的每个点的属性信息,通过相对于参考点递归地重复预测点和参考点的分类来对属性信息进行分层,预测点用于导出属性信息与属性信息的预测值之间的差值,参考点用于导出预测值;以及
对与参考点的设置有关的信息进行编码。
(16)一种信息处理装置,包括:
分层单元,其对于将具有三维形状的对象表示为点的集合的点云的每个点的属性信息,通过相对于参考点递归地重复预测点和参考点的分类来对属性信息进行分层,预测点用于导出属性信息与属性信息的预测值之间的差值,参考点用于导出预测值,其中:
分层单元从每个层次用于参考点的候选中交替地选择更接近包围盒的中心的点和更远离包围盒的中心的点作为参考点。
(17)根据(16)所述的信息处理装置,其中:
分层单元根据包围盒的位置基于搜索顺序在候选中选择更接近包围盒的中心的点和更远离包围盒的中心的点。
(18)根据(17)所述的信息处理装置,其中:
搜索顺序是距包围盒的中心的距离的顺序。
(19)根据(17)所述的信息处理装置,其中:
针对通过将包围盒划分成八个区域而获得的每个区域设置搜索顺序。
(20)一种信息处理方法,包括:
当对于将具有三维形状的对象表示为点的集合的点云的每个点的属性信息通过相对于参考点递归地重复预测点和参考点的分类来执行属性信息的分层时,在每个层次用于参考点的候选中交替地选择更接近包围盒的中心的点和更远离包围盒的中心的点作为参考点,预测点用于导出属性信息与属性信息的预测值之间的差值,参考点用于导出预测值。
[附图标记列表]
100:编码装置
101:位置信息编码单元
102:位置信息解码单元
103:点云生成单元
104:属性信息编码单元
105:比特流生成单元
111:分层处理单元
112:量化单元
113:编码单元
121:参考点设置单元
122:参考关系设置单元
123:反转单元
124:加权值导出单元
200:解码装置
201:编码数据提取单元
202:位置信息解码单元
203:属性信息解码单元
204:点云生成单元
211:解码单元
212:逆量化单元
213:去分层处理单元

Claims (20)

1.一种信息处理装置,包括:
分层单元,所述分层单元对于将具有三维形状的对象表示为点的集合的点云的每个点的属性信息,通过相对于参考点递归地重复预测点和所述参考点的分类来对所述属性信息进行分层,所述预测点用于导出所述属性信息与所述属性信息的预测值之间的差值,所述参考点用于导出所述预测值,其中,
所述分层单元基于点的质心设置所述参考点。
2.根据权利要求1所述的信息处理装置,其中,
所述分层单元将候选点中的更接近所述质心的点设置为所述参考点。
3.根据权利要求1所述的信息处理装置,其中,
所述分层单元基于位于预定范围内的点的质心设置所述参考点。
4.根据权利要求1所述的信息处理装置,其中,
所述分层单元从相对于所述质心处于基本上相同的条件下的多个候选中基于预定搜索顺序设置所述参考点。
5.一种信息处理方法,包括:
当对于将具有三维形状的对象表示为点的集合的点云的每个点的属性信息通过相对于参考点递归地重复预测点和所述参考点的分类来执行所述属性信息的分层时,基于点的质心设置所述参考点,所述预测点用于导出所述属性信息与所述属性信息的预测值之间的差值,所述参考点用于导出所述预测值。
6.一种信息处理装置,包括:
分层单元,所述分层单元对于将具有三维形状的对象表示为点的集合的点云的每个点的属性信息,通过相对于参考点递归地重复对预测点和所述参考点的分类来对所述属性信息进行分层,所述预测点用于导出所述属性信息与所述属性信息的预测值之间的差值,所述参考点用于导出所述预测值,其中,
所述分层单元基于各点的分布方式设置所述参考点。
7.根据权利要求6所述的信息处理装置,其中,
所述分层单元基于表信息来设置所述参考点,所述表信息针对所述各点的每个分布方式指定接近点的质心的点。
8.根据权利要求6所述的信息处理装置,其中,
所述分层单元基于表信息来设置所述参考点,所述表信息针对所述各点的每个分布方式指定预定点。
9.根据权利要求8所述的信息处理装置,还包括:
编码单元,所述编码单元对与所述表信息有关的信息进行编码。
10.一种信息处理方法,包括:
当对于将具有三维形状的对象表示为点的集合的点云的每个点的属性信息通过相对于参考点递归地重复预测点和所述参考点的分类来执行所述属性信息的分层时,基于点的分布方式设置所述参考点,所述预测点用于导出所述属性信息与所述属性信息的预测值之间的差值,所述参考点用于导出所述预测值。
11.一种信息处理装置,包括:
分层单元,所述分层单元对于将具有三维形状的对象表示为点的集合的点云的每个点的属性信息,通过相对于参考点递归地重复预测点和所述参考点的分类来对所述属性信息进行分层,所述预测点用于导出所述属性信息与所述属性信息的预测值之间的差值,所述参考点用于导出所述预测值,以及
编码单元,其对与所述分层单元对所述参考点的设置有关的信息进行编码。
12.根据权利要求11所述的信息处理装置,其中,
所述编码单元对与针对所有点进行的所述参考点的设置有关的信息进行编码。
13.根据权利要求11所述的信息处理装置,其中,
所述编码单元对与针对一部分层次的点进行的所述参考点的设置有关的信息进行编码。
14.根据权利要求13所述的信息处理装置,其中,
所述编码单元还对与针对满足预定条件的点进行的所述参考点的设置有关的信息进行编码。
15.一种信息处理方法,包括:
对于将具有三维形状的对象表示为点的集合的点云的每个点的属性信息,通过相对于参考点递归地重复预测点和所述参考点的分类来对所述属性信息进行分层,所述预测点用于导出所述属性信息与所述属性信息的预测值之间的差值,所述参考点用于导出所述预测值,以及
对与所述参考点的设置有关的信息进行编码。
16.一种信息处理装置,包括:
分层单元,所述分层单元对于将具有三维形状的对象表示为点的集合的点云的每个点的属性信息,通过相对于参考点递归地重复预测点和所述参考点的分类来对所述属性信息进行分层,所述预测点用于导出所述属性信息与所述属性信息的预测值之间的差值,所述参考点用于导出所述预测值,其中,
所述分层单元从每个层次用于所述参考点的候选中交替地选择更接近包围盒的中心的点和更远离所述包围盒的中心的点作为所述参考点。
17.根据权利要求16所述的信息处理装置,其中,
所述分层单元根据所述包围盒的位置基于搜索顺序在所述候选中选择更接近所述包围盒的中心的点和更远离所述包围盒的中心的点。
18.根据权利要求17所述的信息处理装置,其中,
所述搜索顺序是距所述包围盒的中心的距离的顺序。
19.根据权利要求17所述的信息处理装置,其中,
针对通过将所述包围盒划分成八个区域而获得的每个区域设置所述搜索顺序。
20.一种信息处理方法,包括:
当对于将具有三维形状的对象表示为点的集合的点云的每个点的属性信息通过相对于参考点递归地重复预测点和所述参考点的分类来执行所述属性信息的分层时,从每个层次用于所述参考点的候选中交替地选择更接近所述包围盒的中心的点和更远离所述包围盒的中心的点作为所述参考点,所述预测点用于导出所述属性信息与所述属性信息的预测值之间的差值,所述参考点用于导出所述预测值。
CN202080091116.4A 2020-01-07 2020-12-24 信息处理装置和方法 Pending CN114902284A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020000679 2020-01-07
JP2020-000679 2020-01-07
PCT/JP2020/048358 WO2021140930A1 (ja) 2020-01-07 2020-12-24 情報処理装置および方法

Publications (1)

Publication Number Publication Date
CN114902284A true CN114902284A (zh) 2022-08-12

Family

ID=76788592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080091116.4A Pending CN114902284A (zh) 2020-01-07 2020-12-24 信息处理装置和方法

Country Status (6)

Country Link
US (1) US20230023219A1 (zh)
EP (1) EP4071715A4 (zh)
JP (1) JPWO2021140930A1 (zh)
KR (1) KR20220122995A (zh)
CN (1) CN114902284A (zh)
WO (1) WO2021140930A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023127052A1 (ja) * 2021-12-27 2023-07-06 日本電信電話株式会社 復号装置、符号化装置、復号プログラム、符号化プログラム、復号方法および符号化方法
WO2023163387A1 (ko) * 2022-02-24 2023-08-31 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10861196B2 (en) * 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US11468603B2 (en) * 2017-09-29 2022-10-11 Sony Corporation Information processing apparatus and method
CN112313708A (zh) * 2018-06-15 2021-02-02 松下电器(美国)知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置

Also Published As

Publication number Publication date
JPWO2021140930A1 (zh) 2021-07-15
KR20220122995A (ko) 2022-09-05
EP4071715A4 (en) 2023-04-05
EP4071715A1 (en) 2022-10-12
WO2021140930A1 (ja) 2021-07-15
US20230023219A1 (en) 2023-01-26

Similar Documents

Publication Publication Date Title
CN113455007B (zh) 帧间点云属性编解码的方法和装置
US11943457B2 (en) Information processing apparatus and method
CN113256746A (zh) 点云编解码的方法、装置和存储介质
US20210319581A1 (en) Point cloud data transmission apparatus, point cloud data transmission method, point cloud data reception apparatus, and point cloud data reception method
US20230164353A1 (en) Point cloud data processing device and processing method
US11902348B2 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN113795868B (zh) 一种用于对点云的属性信息进行编码的方法、设备以及存储介质
CN114902284A (zh) 信息处理装置和方法
CN113259678A (zh) 对点云信息进行编解码的方法和装置
CN113179411A (zh) 点云属性编解码方法、装置、计算机设备及存储介质
WO2021010200A1 (ja) 情報処理装置および方法
WO2022145214A1 (ja) 情報処理装置および方法
WO2021002214A1 (ja) 情報処理装置および方法
WO2021010134A1 (ja) 情報処理装置および方法
US20230154052A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device and point cloud data reception method
US20230177735A1 (en) Information processing apparatus and method
WO2021140928A1 (ja) 情報処理装置および方法
EP4325853A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20230316581A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20230206510A1 (en) Point cloud data processing device and processing method
US20240185467A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20230281878A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device and point cloud data reception method
US20240163426A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
JP2023053827A (ja) 点群復号装置、点群復号方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination