CN115917601A - 信息处理装置和方法 - Google Patents
信息处理装置和方法 Download PDFInfo
- Publication number
- CN115917601A CN115917601A CN202180043038.5A CN202180043038A CN115917601A CN 115917601 A CN115917601 A CN 115917601A CN 202180043038 A CN202180043038 A CN 202180043038A CN 115917601 A CN115917601 A CN 115917601A
- Authority
- CN
- China
- Prior art keywords
- encoding
- data
- scaling
- unit
- scalable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 158
- 230000010365 information processing Effects 0.000 title claims abstract description 56
- 238000012545 processing Methods 0.000 claims abstract description 131
- 238000003672 processing method Methods 0.000 claims abstract description 5
- 230000011664 signaling Effects 0.000 claims description 13
- 230000008054 signal transmission Effects 0.000 claims description 7
- 238000004040 coloring Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 description 29
- 238000013139 quantization Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 10
- 238000013075 data extraction Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 230000002441 reversible effect Effects 0.000 description 5
- 238000002910 structure generation Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000032798 delamination Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 241001522296 Erithacus rubecula Species 0.000 description 1
- 101000801040 Homo sapiens Transmembrane channel-like protein 1 Proteins 0.000 description 1
- 241000824268 Kuma Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 240000004808 Saccharomyces cerevisiae Species 0.000 description 1
- 102100033690 Transmembrane channel-like protein 1 Human genes 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/40—Tree coding, e.g. quadtree, octree
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Generation (AREA)
Abstract
本公开内容涉及信息处理装置和方法,通过该信息处理装置和方法能够更容易地实现点云数据的可伸缩解码。在将三维形状的对象表示为点集的点云的编码中,本发明执行控制以禁止可伸缩编码和缩放编码的组合使用,可伸缩编码为生成能够以可伸缩方式解码的编码数据的编码方法,缩放编码为与几何数据的树结构的改变相关联的编码方法。本公开内容可以应用于例如信息处理装置、图像处理装置、编码装置、解码装置、电子设备、信息处理方法或程序。
Description
技术领域
本公开内容涉及信息处理装置和方法,并且具体地涉及能够更容易地实现点云数据的可伸缩解码的信息处理装置和方法。
背景技术
常规地,已经考虑了用于表示三维结构的3D数据诸如点云的编码方法(例如,参见非专利文献1)。此外,已经提出了实现该点云的编码数据的可伸缩解码的编码方法(例如,参见非专利文献2)。在非专利文献2中描述的方法的情况下,通过使属性数据的参考结构与几何数据的树结构相同来实现可伸缩解码。
同时,已经提出了在对这样的点云进行编码时对几何数据进行缩放以稀疏点的方法(例如,参见非专利文献3)。
引用列表
非专利文献
非专利文献1:R.Mekuria,IEEE学生会员,K.Blom,P.Cesar.,IEEE会员,“Design,Implementation and Evaluation of a Point Cloud Codec for Tele-ImmersiveVideo”,tcsvt_paper_submitted_february.pdf
非专利文献2:Ohji Nakagami,Satoru Kuma,“[G-PCC]Spatial scalabilitysupport for G-PCC”,ISO/IEC JTC1/SC29/WG11MPEG2019/m47352,2019年3月,瑞士,日内瓦
非专利文献3:Xiang Zhang,Wen Gao,Sehoon Yea,Shan Liu,“[G-PCC][Newproposal]Signaling delta QPs for adaptive geometry quantization in pointcloud coding”,ISO/IEC JTC1/SC29/WG11MPEG2019/m49232,2019年7月,瑞典,哥德堡
发明内容
本发明要解决的问题
然而,当如非专利文献3中描述的那样对几何数据进行缩放并且稀疏点时,几何数据的树结构改变。因此,有可能在属性数据的参考结构与几何数据的树结构之间发生不匹配,并且不再能够执行可伸缩解码。换言之,为了在如非专利文献3中描述的那样对几何数据进行缩放时实现可伸缩解码,需要形成与几何数据的缩放对应的属性数据的参考结构。即,为了对点云数据进行编码以实现可伸缩解码,必须根据几何数据是否被缩放来改变属性数据的参考结构,并且有可能需要复杂的处理。
本公开内容是鉴于这样的情形而做出的,并且其目的是更容易地实现点云数据的可伸缩解码。
问题的解决方案
根据本技术的一个方面的信息处理装置是以下信息处理装置,其包括:编码控制单元,其被配置成执行控制以在将具有三维形状的对象表示为点集的点云的编码中禁止可伸缩编码和缩放编码的组合使用,可伸缩编码为用于生成能够可伸缩地解码的编码数据的编码方法,缩放编码为涉及几何数据的树结构的改变的编码方法。
根据本技术的一个方面的信息处理方法是以下信息处理方法,其包括:执行控制以在将具有三维形状的对象表示为点集的点云的编码中禁止可伸缩编码和缩放编码的组合使用,可伸缩编码为用于生成能够可伸缩地解码的编码数据的编码方法,缩放编码为涉及几何数据的树结构的改变的编码方法。
在根据本技术的一个方面的信息处理装置和方法中,在将具有三维形状的对象表示为点集的点云的编码中,执行控制以禁止可伸缩编码和缩放编码的组合使用,可伸缩编码为用于生成能够可伸缩地解码的编码数据的编码方法,缩放编码为涉及几何数据的树结构的改变的编码方法。
附图说明
图1是用于说明几何数据的分层的示例的视图。
图2是用于说明提升(Lifting)的示例的视图。
图3是用于说明提升的示例的视图。
图4是用于说明提升的示例的视图。
图5是用于说明量化的示例的视图。
图6是用于说明属性数据的分层的示例的视图。
图7是用于说明属性数据的反向分层的示例的视图。
图8是用于说明几何缩放的示例的视图。
图9是用于说明几何缩放的示例的视图。
图10是用于说明属性数据的分层的示例的视图。
图11是用于说明编码控制的示例的视图。
图12是用于说明语义的示例的视图。
图13是用于说明简档的示例的视图。
图14是用于说明语法的示例的视图。
图15是示出编码装置的主要配置示例的框图。
图16是示出几何数据编码单元的主要配置示例的框图。
图17是示出属性数据编码单元的主要配置示例的框图。
图18是示出编码控制处理的流程的示例的流程图。
图19是示出编码处理的流程的示例的流程图。
图20是示出几何数据编码处理的流程的示例的流程图。
图21是示出属性数据编码处理的流程的示例的流程图。
图22是示出解码装置的主要配置示例的框图。
图23是用于说明解码处理的流程的示例的流程图。
图24是示出计算机的主要配置示例的框图。
具体实施方式
在下文中,将描述用于实现本公开内容的实施方式(在下文中,被称为实施方式)。注意,将按以下顺序给出描述。
1.编码控制
2.第一实施方式(编码装置)
3.第二实施方式(解码装置)
4.补充说明
<1.编码控制>
<支持技术内容和技术术语的文献等>
本技术中公开的范围不仅包括在实施方式中描述的内容,而且还包括在提交申请时已知的以下非专利文献中描述的内容。
非专利文献1:(如上所述)
非专利文件2:(如上所述)
非专利文件3:(如上所述)
非专利文献4:Khaled Mammou,Alexis Tourapis,Jungsun Kim,FabriceRobinet,Valery Valentin,Yeping Su,“Lifting Scheme for Lossy AttributeEncoding in TMC1”,ISO/IEC JTC1/SC29/WG11MPEG2018/m42640,2018年4月,美国,圣地亚哥
即,上述非专利文献中描述的内容、上述非专利文献中参考的其他文献的内容等也是确定支持需求的基础。
<点云>
常规地,存在诸如以下的3D数据:通过使用点的位置信息、属性信息等表示三维结构的点云;以及由顶点、边和面构成并且通过使用多边形表示定义三维形状的网格。
例如,在点云的情况下,三维结构(三维对象)由大量点表示。点云的数据(也被称为点云数据)包括每个点的几何数据(也被称为位置信息)和属性数据(也被称为属性信息)。属性数据可以包括任何信息。例如,可以在属性数据中包括每个点的颜色信息、反射率信息、法线信息等。如上所述,点云数据具有相对简单的数据结构,并且能够通过使用足够大量的点以足够的准确度表达任何三维结构。
<使用体素量化位置信息>
由于这样的点云数据具有相对大的数据量,因此为了通过编码等压缩数据量,已经想到了使用体素的编码方法。体素是用于量化几何数据(位置信息)的三维区域。
即,包含点云的三维区域(也被称为边界框)被分割成被称为体素的小的三维区域,并且针对每个体素指示是否包含点。通过这样做,每个点的位置在体素的基础上被量化。因此,通过将点云数据转换成这样的体素的数据(也被称为体素数据),可以抑制信息量的增加(通常,可以减少信息量)。
例如,如图1的A所示,假设边界框10被分割成由小矩形指示的多个体素11-1。注意,这里为了简化描述,将三维空间描述为二维平面。即,在实践中,边界框10是三维空间区域,并且体素11-1是长方体(包括立方体)的小区域。在图1的A中由黑色圆圈指示的点云数据的每个点12-1的几何数据(位置信息)被校正以针对每个体素11-1进行布置。即,几何数据以体素为单位被量化。注意,图1的A中的边界框10中的所有矩形均是体素11-1,并且图1的A中示出的所有黑色圆圈均是点12-1。
<树结构(八叉树)>
此外,已经想到通过形成几何数据的树结构来实现几何数据的可伸缩解码的方法。即,通过使得能够对从树结构的最上层到任何层的节点进行解码,不仅可以恢复最高分辨率(最下层)的几何数据,而且还可以恢复较低分辨率(中间层)的几何数据。即,可以在不对不必要层(分辨率)的信息进行解码的情况下以任何分辨率执行解码。
该树结构可以是任何结构。例如,存在KD树、八叉树等。八叉树是八分树,并且适用于三维空间区域的分割(在x、y和z方向中的每一个方向上分割成两个)。即,如上所述,其适用于边界框10被分割成多个体素的结构。
例如,一个体素在x、y和z方向的每一个方向上被分割成两个(即,分割成八个)以形成低一级的层(也被称为LoD)中的体素。换言之,布置在x、y和z方向中的每一个方向上的两个体素(即,八个体素)被整合以形成高一级的层(LoD)中的体素。通过递归地重复这样的结构,可以使用体素构造八叉树。
然后,体素数据指示每个体素是否包含点。换言之,在体素数据中,由体素尺寸的分辨率表示点的位置。因此,通过使用体素数据构造八叉树,可以实现几何数据的分辨率的可伸缩性。即,与通过形成散布在任何位置的点的树结构相比,可以通过形成体素数据的树结构更容易地构造几何数据的八叉树。
例如,在图1的A的情况下,由于其是二维的,因此垂直布置和水平布置的四个体素11-1被整合以形成由粗线指示的高一级的层中的体素11-2,如图1的B所示。然后,使用体素11-2对几何数据进行量化。即,当点12-1(图1的A)存在于体素11-2中时,通过校正其位置,点12-1被转换成与体素11-2对应的点12-2。注意,在图1的B中,仅一个体素11-1由附图标记表示,但是在图1的B中的边界框10中由虚线指示的所有矩形均是体素11-1。类似地,在图1的B中,仅一个体素11-2由附图标记表示,但是在图1的B中的边界框10中由粗线指示的所有矩形均是体素11-2。类似地,在图1的B中,仅一个点12-2由附图标记表示,但是在图1的B中示出的所有黑色圆圈均是点12-2。
类似地,如图1的C所示,垂直布置和水平布置的四个体素11-2被整合以形成由粗线指示的高一级上的体素11-3。然后,使用体素11-3对几何数据进行量化。即,当点12-2(图1的B)存在于体素11-3中时,通过校正其位置,点12-2被转换成与体素11-3对应的点12-3。注意,在图1的C中,仅一个体素11-2由附图标记表示,但是在图1的C中的边界框10中由虚线指示的所有矩形均是体素11-2。类似地,在图1的C中,仅一个体素11-3由附图标记表示,但是在图1的C中的边界框10中由粗线指示的所有矩形均是体素11-3。类似地,在图1的C中,仅一个点12-3由附图标记表示,但是在图1的C中示出的所有黑色圆圈均是点12-3。
类似地,如图1的D所示,垂直布置和水平布置的四个体素11-3被整合以形成由粗线指示的高一级上的体素11-4。然后,使用体素11-4对几何数据进行量化。即,当点12-3(图1的C)存在于体素11-4中时,通过校正其位置,点12-3被转换成与体素11-4对应的点12-4。注意,在图1的D中,仅一个体素11-3由附图标记表示,但是在图1的D中的边界框10中由虚线指示的所有矩形均是体素11-3。
通过这样做,获得几何数据的树结构(八叉树)。
<提升>
另一方面,当对属性数据进行编码时,在包括由于编码而引起的劣化的几何数据为已知的假设下,使用点之间的位置关系执行编码。作为这样的针对属性数据的编码方法,已经考虑了使用区域自适应分层变换(RAHT)或非专利文献4中描述的被称为提升的变换的方法。通过应用这些技术,还可以对属性数据的参考结构(参考关系)进行分层(形成属性数据的参考结构的树结构),如几何数据的八叉树那样。
例如,在提升的情况下,每个点的属性数据被编码为与使用另一点的属性数据得出的预测值的差值。然后,分层选择在其处得出差值(即,得出预测值)的点。
例如,在图2的A中示出的层中,执行设置使得在由圆圈指示的各个点(P0至P9)中由白色圆圈指示的点P7、P8和P9被选择作为预测点,这些预测点是从其得出预测值的点,并且其他点P0至P6被选择作为参考点,这些参考点是在得出预测值时参考其属性数据的点。即,在该层中,针对预测点P7至P9中的每一个得出属性数据与其预测值之间的差值。
注意,在图2中,为了简化描述,将三维空间描述为二维平面。即,在实践中,各个点P0至P6被布置在三维空间中。
图2的A中的每个箭头指示在得出预测值时的参考关系。例如,参考参考点P0和P1的属性数据来得出预测点P7的预测值。此外,参考参考点P2和P3的属性数据来得出预测点P8的预测值。此外,参考参考点P4至P6的属性数据来得出预测点P9的预测值。然后,针对预测点P7至P9中的每一个,得出如上所述计算的预测值与属性数据之间的差值。
如图2的B所示,在比其高一级的层中,对在图2的A中的层(低一级的层)中被选择作为参考点的点(P0至P6)执行与图2的A中的层的情况类似的预测点与参考点之间的分类(排序)。
例如,在图2的B中由灰色圆圈指示的点P1、P3和P6被选择作为预测点,并且由黑色圆圈指示的点P0、P2、P4和P5被选择作为参考点。即,在该层中,针对预测点P1、P3和P6中的每一个得出属性数据与其预测值之间的差值。
图2的B中的每个箭头指示在得出预测值时的参考关系。例如,参考参考点P0和P2的属性数据来得出预测点P1的预测值。此外,参考参考点P2和P4的属性数据来得出预测点P3的预测值。此外,参考参考点P4和P5的属性数据来得出预测点P6的预测值。然后,针对预测点P1、P3和P6中的每一个,得出如上所述计算的预测值与属性数据之间的差值。
如图2的C所示,在比其高一级的层中,对在图2的B中的层(低一级的层)中被选择作为参考点的点(P0、P2、P4和P5)执行分类(排序),得出每个预测点的预测值,并且得出预测值与属性数据之间的差值。
通过对低一级的层的参考点递归地重复这样的分类,对属性数据的参考结构进行分层。
<点的分类>
将更具体地描述在这样的提升中对点进行分类(排序)的过程。在提升中,如上所述按照从下层向上层的顺序对点进行分类。在每个层中,首先,点按照莫顿码的顺序排列。接下来,选择按照莫顿码的顺序布置的点的行中的最前面的点作为参考点。接下来,搜索位于参考点附近的点(附近点),并且将搜索到的点(附近点)设置为预测点(也被称为索引点)。
例如,如图3所示,以处理目标参考点21为中心,在半径为R的圆22中搜索点。该半径R是针对每个层预先设置的。在图3的示例的情况下,检测到点23-1至23-4,并且将点23-1至23-4设置为预测点。
注意,在图3中,为了简化描述,将三维空间描述为二维平面。即,在实践中,每个点均被布置在三维空间中,并且在半径为R的球面区域中搜索点。
接下来,针对剩余的点执行类似的分类。即,在当前未被选择作为参考点或预测点的点中,按照莫顿码的顺序,最前面的点被选择作为参考点,并且搜索参考点附近的点并将其设置为预测点。
当重复以上处理直至所有点被分类时,层的处理结束,并且处理目标移动至高一级的层。然后,对该层重复上述过程。即,在低一级的层中被选择作为参考点的各个点按照莫顿码的顺序排列,并且如上所述被分类成参考点和预测点。通过重复以上处理,属性数据的参考结构被分层。
<预测值的得出>
此外,在如上所述的提升的情况下,使用预测点周围的参考点的属性数据来得出预测点的属性数据的预测值。例如,如图4所示,假设参考参考点P1至P3的属性数据来得出预测点Q(i,j)的预测值。
注意,在图4中,为了简化描述,将三维空间描述为二维平面。即,在实践中,每个点均被布置在三维空间中。
在这种情况下,如下面的等式(1)所示,通过对应于预测点与参考点之间的距离(实际上,三维空间中的距离)的倒数的权重值(α(P,Q(i,j)))对每个参考点的属性数据进行加权,并且进行整合和得出。这里,A(P)指示点P的属性数据。
[式1]
在非专利文献4中描述的方法中,使用最高分辨率(即,最下层)的位置信息来得出预测点与参考点之间的距离。
<量化>
此外,属性数据如上所述被分层,并且然后被量化和编码。在量化时,根据分层结构如图5的示例所示对每个点的属性数据(差值)进行加权。如图5所示,该权重值(量化权重)W是通过使用较低层的权重值针对每个点得出的。注意,该权重值也可以用于提升(属性数据的分层),以提高压缩效率。
<树结构中的不匹配>
在非专利文献4中描述的提升的情况下,如上所述,属性数据的参考结构的分层的方法与形成几何数据的树结构(例如,八叉树)的情况不同。因此,不保证属性数据的参考结构与几何数据的树结构匹配。因此,为了对属性数据进行解码,无论层如何,都需要将几何数据解码到最下层。即,在不对不必要信息进行解码的情况下,难以现点云数据的可伸缩解码。
<点云数据的可伸缩解码的实现>
因此,如非专利文献2中描述的那样,提出了使属性数据的参考结构与几何数据的树结构相同的方法。更具体地,当构造属性数据的参考结构时,选择预测点使得点也存在于比具有当前层中的点的体素所属的层高一级的层中的体素中。通过这样做,可以在不对不必要信息进行解码的情况下,以期望分辨率对点云数据进行解码。即,可以实现点云数据的可伸缩解码。
例如,如图6的A所示,假设在作为预定三维空间区域的边界框100中,针对预定层中的各个体素101-1布置点102-1至102-9。注意,在图6中,为了简化描述,将三维空间描述为二维平面。即,在实践中,边界框是三维空间区域,并且体素是长方体(包括立方体)的小区域。点被布置在三维空间中。
注意,当不需要为了说明而相互区分时,体素101-1至101-3将被称为体素101。此外,当不需要为了说明而相互区分时,点102-1至102-9将被称为点102。
在该层中,如图6的B所示,点102-1至102-9被分类成预测点和参考点,使得点也存在于比点102-1至点102-9所存在于的体素101-1高一级的层中的体素101-2中。在图6的B中的示例中,由白色圆圈指示的点102-3、102-5和102-8被设置为预测点,而其他点被设置为参考点。
类似地,同样在高一级的层中,点102被分类成预测点和参考点(图6的C),使得点存在于比点102-1、102-2、102-4、102-6、102-7和102-9所存在于的体素101-2高一级的层中的体素101-3中。在图6的C中的示例中,由灰色圆圈指示的点102-1、102-4和102-7被设置为预测点,而其他点被设置为参考点。
通过这样做,如图6的D所示,执行分层使得一个点102存在于其中点102存在于较低层中的体素101-3中。针对每个层执行这样的处理。即,通过在构造属性数据的参考结构时(在对每个层中的预测点和参考点进行分类时)执行这样的处理,可以使属性数据的参考结构类似于几何数据的树结构(八叉树)。
例如,如图7所示,按照图6的反向顺序执行解码。例如,如图7的A所示,假设在预定边界框100中,针对预定层中的各个体素101-3布置点102-2、102-6和102-9(类似于图6的D的状态)。注意,同样在图7中,为了简化描述,将三维空间描述为二维平面。即,在实践中,边界框是三维空间区域,并且体素是长方体(包括立方体)的小区域。点被布置在三维空间中。
如图6的B所示,在比其低一级的层中,通过使用各个体素101-3的点102-2、102-6和102-9的属性数据,得出点102-1、102-4和102-7的预测值并将其加至差值,并且恢复每个体素101-2的点102的属性数据(类似于图6的C的状态)。
此外,类似地,在低一级的层中,如图7的C所示,通过使用各个体素101-2的点102-1、102-2、102-4、102-6、102-7和102-9的属性数据,得出点102-3、102-5和102-8的预测值并将其加至差值,并且恢复属性数据(类似于图6的B的状态)。
通过这样做,如图7的D所示,恢复每个体素101-1的点102的属性数据(类似于图6的A的状态)。即,与八叉树的情况类似,可以使用较高层的属性数据来恢复每个层的属性数据。
通过这样做,可以使属性数据的参考结构(分层结构)对应于几何数据的树结构(分层结构)。因此,由于也以中间分辨率获得与每个属性数据对应的几何数据,因此可以以中间分辨率正确地解码几何数据和属性数据。即,可以实现点云数据的可伸缩解码。
<几何缩放>
同时,如非专利文献3中描述的那样,提出了用于在点云的编码时缩放几何数据和稀疏点的被称为几何缩放的方法。在几何缩放中,节点的几何数据在编码时被量化。通过该处理,除了要编码的区域的特性之外,还可以稀疏点。
例如,如图8的A所示,X坐标分别为100、101、102、103、104和105的六个点(point1至point6)被设置为处理目标。注意,这里,为了简化描述,将仅描述X坐标。即,由于点实际上布置在三维空间中,因此对于Y坐标和Z坐标也执行与下面描述的X坐标的情况下的处理类似的处理。
当几何缩放应用于这样的六个点时,根据如图8的B中的表中示出的量化参数baseQP的值执行每个点的X坐标的缩放。在baseQP=0的情况下,不执行缩放,并且因此每个点的X坐标保持为图8的A中示出的坐标。例如,在baseQP=4的情况下,point2的X坐标从101缩放至102,point4的X坐标从103缩放至104,并且point6的X坐标从105缩放至106。
当通过该缩放将多个点的X坐标叠加时,可以执行合并。例如,在mergeDuplicatePoint=1的情况下,这样的重叠点被合并成一个点。mergeDuplicatePoint是指示是否合并这样的重叠点的标志信息。即,通过这样的合并来稀疏点(点的数目减少)。例如,在图8的B中的表的每行中,以灰色指示的点可以通过这样的合并来稀疏。例如,在baseQP=4的情况下,对于由粗线指示的四个点(point2至point5),点的数目减少到1/2。
为了实现点云数据的可伸缩解码,当如非专利文献2中描述的那样对属性数据进行分层时,基于几何数据的编码数据的解码结果来估计几何数据的树结构。即,属性数据的参考结构被形成为类似于估计的几何数据的树结构。
<由于几何缩放而引起的树结构的不匹配>
然而,当如上所述应用几何缩放时,有可能在几何数据的编码数据的解码结果中点已经被稀疏。当点被稀疏时,可能无法估计几何数据的实际树结构。即,有可能在树结构的估计结果与实际树结构(与稀疏之前的点对应的树结构)之间发生不匹配。在这样的情况下,有可能不能够实现点云数据的可伸缩解码。
将描述图8的B中的baseQP=4的情况作为示例。假设与图8的A中示出的表中的每个点(point1至point6)对应的树结构是如图9所示的树结构。该树结构的节点121-1至121-6对应于图8的A中示出的表中的各个点(point1至point6)。即,假设树结构的最下层(第三层)中的节点121-1至121-6的X坐标分别为100、101、102、103、104和105。
在图9的树结构中,应用了以下两个规则。第一规则是在比第三层高一级的层(第二层)中,将第三层中X坐标为100的节点和X坐标为101的节点、X坐标为102的节点和X坐标为103的节点、以及X坐标为104的节点和X坐标为105的节点分别分组。第二规则是将第二层中的所有节点分组到最上层(第一层)中。
即,第三层的节点121-1和121-2属于第二层的节点122-1。第三层的节点121-3和121-4属于第二层的节点122-2。第三层的节点121-5和121-6属于第二层的节点122-3。此外,第二层的节点122-1至122-3属于第一层的节点123。
一旦执行几何缩放,节点121-2的X坐标从101缩放至102,节点121-4的X坐标从103缩放至104,并且节点121-6的X坐标从105缩放至106。因此,由于节点121-2和121-3的X坐标彼此重叠,从而执行合并,并且节点121-3被稀疏。类似地,节点121-4和121-5被合并,并且节点121-5被稀疏。因此,在第三层中,节点121-1、121-2、121-4和121-6被编码。
在属性数据的编码中,获得具有最高分辨率的几何数据作为几何数据的编码数据的解码结果。即,在图9的示例的情况下,获得节点121-1、121-2、121-4和121-6。然后,从这四个点(四个节点)估计几何数据的树结构。
在这种情况下,为了形成类似的树结构,应用与图9的示例中的规则类似的规则。即,在比第三层高一级的层(第二层)中,将第三层中X坐标为100的节点和X坐标为101的节点、X坐标为102的节点和X坐标为103的节点、以及X坐标为104的节点和X坐标为105的节点分别分组。此外,第二层中的所有节点均被分组在最上层(第一层)中。
因此,估计如图10所示的树结构。即,第三层的节点121-1属于第二层的节点124-1。第三层节点121-2属于第二层节点124-2。第三层节点121-4属于第二层节点124-3。第三层节点121-6属于第二层节点124-4。此外,第二层的节点124-1至124-4属于第一层的节点125。
如根据图9与图10之间的比较明显的是,这些树结构不匹配。例如,假设指示要解码的层的参数skipOctreeLayer的值为“1”(skipOctreeLayer=1)。即,当对第二层进行解码时,在几何数据中获得三个节点,如图9所示。另一方面,如图10所示,在属性数据中获得四个节点。如上所述,由于树结构不匹配,因此难以在不对不必要信息进行解码的情况下获得期望层的解码结果。即,难以实现可伸缩的点云数据。
换言之,为了实现点云数据的可伸缩解码,需要考虑到这样的几何缩放来估计树结构。即,需要复杂的处理,例如在执行几何缩放的情况与不执行几何缩放的情况之间改变估计树结构的方法。此外,准备多种估计方法可能增加成本。
此外,在几何缩放中,当对重叠点进行稀疏时,稀疏的方式(多个重叠点中的哪个点将被稀疏)没有被指定并且取决于设计。即,需要根据几何缩放的设计重新设计与几何缩放对应的树结构的估计方法,这可能增加了成本。
<编码方法的限制>
因此,如图11中示出的表的顶行中描述的那样,适用的编码方法受到限制,并且禁止能够可伸缩地解码的编码和更新几何数据的树结构的处理的组合使用。
即,在将具有三维形状的对象的点云表示为点集的编码中,执行控制以禁止可伸缩编码和缩放编码的组合使用,可伸缩编码为用于生成能够可伸缩地解码的编码数据的编码方法,缩放编码为涉及几何数据的树结构的改变的编码方法。
例如,在信息处理装置中将具有三维形状的对象表示为点集的点云的编码中,提供了编码控制单元,其被配置成执行控制以禁止可伸缩编码和缩放编码的组合使用,可伸缩编码为用于生成能够可伸缩地解码的编码数据的编码方法,缩放编码为涉及几何数据的树结构的改变的编码方法。
即,当应用可伸缩编码时禁止应用缩放编码,而当应用缩放编码时禁止应用可伸缩编码。通过这样做,在执行可伸缩编码的情况下,可以抑制属性数据的参考结构与几何数据的树结构之间的不匹配的发生。因此,可以更容易地实现点云数据的可伸缩解码。
注意,可以通过任何方法执行可伸缩编码,只要该方法是用于生成能够可伸缩地解码的编码数据的编码方法即可。例如,如非专利文献2中描述的那样,可以采用提升可伸缩性,其中通过利用与几何数据的树结构相同的参考结构提升来对属性数据进行编码。即,编码可以被控制成禁止提升可伸缩性和缩放编码的组合使用。
此外,可以通过任何方法执行缩放编码,只要该编码方法涉及几何数据的树结构的改变即可。例如,可以使用如非专利文献3中描述的对几何数据进行缩放和编码的几何缩放。即,可以执行控制以禁止可伸缩编码和几何缩放的组合使用。
当然,如图11中示出的表从顶部起的第二行中描述的那样,可以禁止提升可伸缩性和几何缩放的组合使用(方法1)。
此时,编码控制单元可以执行控制以在应用可伸缩编码时禁止应用缩放编码。例如,如图11中示出的表从顶部起的第三行中描述的那样,在应用提升可伸缩性时,可以禁止应用几何缩放(方法1-1)。
此外,编码控制单元可以执行控制以在应用缩放编码时禁止应用可伸缩编码。例如,如图11中示出的表从顶部起的第四行中描述的那样,在应用几何缩放时,可以禁止应用提升可伸缩性(方法1-2)。
此外,为了执行这样的控制,例如,如图11中示出的表从顶部起的第五行中描述的那样,可以设置指示是否允许(或是否禁止)应用可伸缩编码和缩放编码的标志信息(允许标志或禁止标志)(方法2)。
例如,编码控制单元可以控制以下项的信号传送:可伸缩编码使能标志,其为关于所述可伸缩编码的应用的标志信息;以及缩放编码使能标志,其为关于所述缩放编码的应用的标志信息。
例如,如图11中示出的表从顶部起的第六行中描述的那样,可以在语义中指定这样的限制(方法2-1)。例如,在语义中,可以指定当用信号传送指示应用可伸缩编码的值的可伸缩编码使能标志时,用信号传送指示不应用缩放编码的值的缩放编码使能标志,并且编码控制单元可以根据语义执行信号传送。此外,在语义中,可以指定当用信号传送指示应用缩放编码的值的缩放编码使能标志时,用信号传送指示不应用可伸缩编码的值的可伸缩编码使能标志,并且编码控制单元可以根据语义执行信号传送。
图12示出了这种情况下的语义的示例。例如,在图12中示出的语义161中,指定当geom_scaling_enabled_flag的值大于0时需要将lifting_scalability_enabled_flag的值设置为0。这里,geom_scaling_enabled_flag是指示是否应用几何缩放的标志信息。在geom_scaling_enabled_flag=1的情况下,应用几何缩放。此外,在geom_scaling_enabled_flag=0的情况下,不应用几何缩放。lifting_scalability_enabled_flag是指示是否应用提升可伸缩性的标志信息。当lifting_scalability_enabled_flag=1时,应用提升可伸缩性。此外,当lifting_scalability_enabled_flag=0时,不应用提升可伸缩性。
即,在语义161中,当应用几何缩放时禁止应用提升可伸缩性。注意,相反地,在语义中,当应用提升可伸缩性时,可以禁止应用几何缩放。即,在语义中,可以指定当lifting_scalability_enabled_flag的值大于0时,需要将geom_scaling_enabled_flag的值设置为0。
此外,例如,如图11中示出的表从顶部起的第七行中描述的那样,可以在简档中执行基于这样的限制的信号传送(方法2-2)。例如,当应用可伸缩编码时,编码控制单元可以执行控制以在简档中用信号传送指示应用可伸缩编码的值的可伸缩编码使能标志和指示不应用缩放编码的值的缩放编码使能标志。此外,当应用缩放编码时,编码控制单元可以执行控制以在简档中用信号传送指示应用缩放编码的值的缩放编码使能标志和指示不应用可伸缩编码的值的可伸缩编码使能标志。
图13示出了当应用提升可伸缩性时的简档的示例。例如,在图13中示出的简档162中,用信号传送lifting_scalability_enabled_flag=1和geom_scaling_enabled_flag=0。即,简档162指示应用提升可伸缩性并且不应用几何缩放。
注意,在应用几何缩放时的简档中,可以用信号传送geom_scaling_enabled_flag=1和lifting_scalability_enabled_flag=0。
此外,例如,如在图11中示出的表的底行中描述的那样,可以在语法中指定这样的限制(方法2-3)。例如,在用信号传送指示应用可伸缩编码的值的可伸缩编码使能标志的情况下,编码控制单元可以执行控制以根据如上所述的语法省略缩放编码使能标志的信号传送。此外,在用信号传送指示应用缩放编码的值的缩放编码使能标志的情况下,编码控制单元可以执行控制以根据如上所述的语法省略可伸缩编码使能标志的信号传送。
图14示出了这种情况下的语法的示例。例如,在图14中示出的语法163中,仅当未用信号传送geom_scaling_enabled_flag时(即,当值被设置为“0”并且未应用几何缩放时)才用信号传送lifting_scalability_enabled_flag。即,在这种情况下,可以应用提升可伸缩性。换言之,当几何缩放适用时(即,当用信号传送geom_scaling_enabled_flag时),不用信号传送lifting_scalability_enabled_flag(即,值被设置为“0”,并且不应用提升可伸缩性)。
注意,相反地,仅当未用信号传送信令lifting_scalability_enabled_flag时(即,当值被设置为“0”并且未应用提升可伸缩性时)才可以用信号传送geom_scaling_enabled_flag。即,在这种情况下,可以应用几何缩放。换言之,当提升可伸缩性适用时(即,当用信号传送lifting_scalability_enabled_flag时),可以不用信号传送geom_scaling_enabled_flag(即,值被设置为“0”,并且不应用几何缩放)。
<2.第一实施方式>
<编码装置>
接下来,将描述应用上面在<1.编码控制>中描述的本技术的装置。图15是示出作为应用本技术的信息处理装置的一个方面的编码装置的配置的示例的框图。图15中示出的编码装置200是对点云(3D数据)进行编码的装置。编码装置200通过应用上面在<1.编码控制>中描述的本技术对点云进行编码。
注意,在图15中,示出了处理单元、数据流等的主要部分,并且图15中示出的这些不一定是全部。即,在编码装置200中,可以存在未示出为图15中的框的处理单元或者可以存在未示出为图15中的箭头等的处理流程或数据。
如图15所示,编码装置200包括编码控制单元201、几何数据编码单元211、几何数据解码单元212、点云生成单元213、属性数据编码单元214和比特流生成单元215。
编码控制单元201执行与点云数据的编码的控制有关的处理。例如,编码控制单元201控制几何数据编码单元211。此外,编码控制单元201控制属性数据编码单元214。例如,如上面在<1.编码控制>中所述,编码控制单元201控制这些处理单元,以禁止可伸缩编码和缩放编码的组合使用,可伸缩编码为用于生成能够可伸缩地解码的编码数据的编码方法,缩放编码为涉及几何数据的树结构的改变的编码方法。此外,编码控制单元201控制比特流生成单元215以控制以下项的信号传送:可伸缩编码使能标志(例如,Lifting_scalability_enabled_flag),其为关于可伸缩编码的应用的标志信息;以及缩放编码使能标志(例如,geom_scaling_enabled_flag),其为关于缩放编码的应用的标志信息。
几何数据编码单元211对输入至编码装置200的点云(3D数据)的几何数据(位置信息)进行编码,以生成其编码数据。可以采用针对此的任何编码方法。例如,可以执行诸如用于噪声抑制(去噪)的滤波和量化的处理。然而,几何数据编码单元211在编码控制单元201的控制下执行该编码。即,在该编码中,几何数据编码单元211在编码控制单元201的控制下应用几何缩放。几何数据编码单元211将生成的几何数据的编码数据提供给几何数据解码单元212和比特流生成单元215。
几何数据解码单元212获取从几何数据编码单元211提供的几何数据的编码数据,并且对编码数据进行解码。可以采用针对此的任何解码方法,只要该方法与通过几何数据编码单元211的编码对应即可。例如,可以执行诸如用于去噪的滤波或逆量化的处理。几何数据解码单元212将生成的几何数据(解码结果)提供给点云生成单元213。
点云生成单元213获取输入至编码装置200的点云的属性数据(属性信息)和从几何数据解码单元212提供的几何数据(解码结果)。点云生成单元213执行使属性数据与几何数据(解码结果)对应的处理(重新着色处理)。点云生成单元213将与几何数据(解码结果)对应的属性数据提供给属性数据编码单元214。
属性数据编码单元214获取从点云生成单元213提供的几何数据(解码结果)和属性数据。属性数据编码单元214通过使用几何数据(解码结果)对属性数据进行编码,以生成属性数据的编码数据。然而,属性数据编码单元214在编码控制单元201的控制下执行该编码。即,属性数据编码单元214在编码控制单元201的控制下在该编码中应用提升可伸缩性。属性数据编码单元214将生成的属性数据的编码数据提供给比特流生成单元215。
比特流生成单元215获取从几何数据编码单元211提供的几何数据的编码数据。此外,比特流生成单元215获取从属性数据编码单元214提供的属性数据的编码数据。比特流生成单元215生成包括编码数据的比特流。此外,在编码控制单元201的控制下,比特流生成单元215执行诸如以下的控制信息的信号传送(将控制信息包括在比特流中):可伸缩编码使能标志(例如,Lifting_scalability_enabled_flag),其为关于可伸缩编码的应用的标志信息;以及缩放编码使能标志(例如,geom_scaling_enabled_flag),其为关于缩放编码的应用的标志信息。比特流生成单元215将生成的比特流输出至编码装置200外部(例如,解码侧)。
这样的配置使得编码装置200能够禁止可伸缩编码和缩放编码的组合使用,可伸缩编码为用于生成能够可伸缩地解码的编码数据的编码方法,缩放编码为涉及几何数据的树结构的改变的编码方法,并且可以更容易地实现点云数据的可伸缩解码。
注意,这些处理单元(编码控制单元201、几何数据编码单元211至比特流生成单元215)具有任何配置。例如,每个处理单元可以由实现上述处理的逻辑电路配置。此外,例如,每个处理单元可以具有中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)等,并且通过使用它们来执行程序以实现上述处理。当然,每个处理单元可以具有这两种配置,通过逻辑电路实现上述处理的一部分,并且通过执行程序实现其他处理。处理单元的配置可以彼此独立,并且例如,一些处理单元可以通过逻辑电路实现上述处理的一部分,另一些处理单元可以通过执行程序实现上述处理,还有一些处理单元可以通过逻辑电路和程序的执行两者实现上述处理。
<几何数据编码单元>
图16是示出几何数据编码单元211的主要配置示例的框图。注意,在图16中,示出了处理单元、数据流等的主要部分,并且图16中示出的这些不一定是全部。即,在几何数据编码单元211中,可以存在未示出为图16中的框的处理单元或者可以存在未示出为图16中的箭头等的处理流程或数据。
如图16所示,几何数据编码单元211包括体素生成单元231、树结构生成单元232、选择单元233、几何缩放单元234和编码单元235。
体素生成单元231执行与体素数据的生成有关的处理。例如,体素生成单元231针对输入的点云数据设置边界框,并且设置体素以分割边界框。然后,体素生成单元231以体素为单位对每个点的几何数据进行量化,以生成体素数据。体素生成单元231将生成的体素数据提供给树结构生成单元232。
树结构生成单元232执行与树结构的生成有关的处理。例如,树结构生成单元232获取从体素生成单元231提供的体素数据。此外,树结构生成单元232形成体素数据的树结构。例如,树结构生成单元232通过使用体素数据生成八叉树。树结构生成单元232将生成的八叉树数据提供给选择单元233。
选择单元233执行与应用/不应用几何缩放的控制有关的处理。例如,选择单元233获取从树结构生成单元232提供的八叉树数据。此外,选择单元233在编码控制单元201的控制下选择八叉树数据的提供目的地。即,选择单元233在编码控制单元201的控制下选择是将八叉树数据提供给几何缩放单元234还是编码单元235,并且将八叉树数据提供给所选择的提供目的地。
例如,当由编码控制单元201指示应用几何缩放时,选择单元233将八叉树数据提供给几何缩放单元234。此外,当由编码控制单元201指示不应用几何缩放时,选择单元233将八叉树数据提供给编码单元235。
几何缩放单元234执行与几何缩放有关的处理。例如,几何缩放单元234获取从选择单元233提供的八叉树数据。此外,几何缩放单元234对八叉树数据执行几何缩放,并且执行几何数据的缩放和点的合并。几何缩放单元234将经受几何缩放的八叉树数据提供给编码单元235。
编码单元235执行与八叉树数据(被形成为八叉树的体素数据(即,几何数据))的编码有关的处理。例如,编码单元235获取从选择单元233或几何缩放单元234提供的八叉树数据。例如,当由编码控制单元201指示应用几何缩放时,编码单元235获取经受几何缩放并且从几何缩放单元提供的八叉树数据。此外,当由编码控制单元201指示不应用几何缩放时,编码单元235获取未经受几何缩放并且从选择单元233提供的八叉树数据。
编码单元235对获取的八叉树数据进行编码以生成几何数据的编码数据。可以采用针对此的任何编码方法。编码单元235将生成的几何数据的编码数据提供给几何数据解码单元212和比特流生成单元215(两者均在图15中)。
<属性数据编码单元>
图17是示出属性数据编码单元214的主要配置示例的框图。注意,在图17中,示出了处理单元、数据流等的主要部分,并且图17中示出的这些不一定是全部。即,在属性数据编码单元214中,可以存在未示出为图17中的框的处理单元或者可以存在未示出为图17中的箭头等的处理流程或数据。
如图17所示,属性数据编码单元214包括选择单元251、可伸缩分层处理单元252、分层处理单元253、量化单元254和编码单元255。
选择单元251执行与应用/不应用提升可伸缩性的控制有关的处理。例如,选择单元251在编码控制单元201的控制下选择由点云生成单元213(图15)获得的属性数据、几何数据(解码结果)等的提供目的地。即,选择单元251在编码控制单元201的控制下选择是将这些数据提供给可伸缩分层处理单元252还是分层处理单元253,并且将这些数据提供给所选择的提供目的地。
例如,当由编码控制单元201指示应用提升可伸缩性时,选择单元251将属性数据、几何数据(解码结果)等提供给可伸缩分层处理单元252。此外,当由编码控制单元201指示不应用提升可伸缩性时,选择单元251将属性数据、几何数据(解码结果)等提供给分层处理单元253。
可伸缩分层处理单元252执行与属性数据的提升(参考结构的形成)有关的处理。例如,可伸缩分层处理单元252获取从选择单元251提供的属性数据和几何数据(解码结果)。可伸缩分层处理单元252通过使用几何数据对属性数据进行分层(即,形成参考结构)。此时,可伸缩分层处理单元252通过应用非专利文献2中描述的方法执行分层。即,可伸缩分层处理单元252基于几何数据来估计树结构(八叉树),并且形成属性数据的参考结构以对应于估计的树结构,根据参考结构得出预测值,并且得出预测值与属性数据之间的差值。可伸缩分层处理单元252将以这种方式生成的属性数据(差值)提供给量化单元254。
分层处理单元253执行与属性数据的提升(参考结构的形成)有关的处理。例如,分层处理单元253获取从选择单元251提供的属性数据和几何数据(解码结果)。分层处理单元253对属性数据进行分层(即,通过使用几何数据形成参考结构)。此时,分层处理单元253通过应用非专利文献4中描述的方法执行分层。即,分层处理单元253独立于几何数据的树结构(八叉树)形成属性数据的参考结构,根据参考结构得出预测值,并且得出预测值与属性数据之间的差值。即,分层处理单元253不估计几何数据的树结构。分层处理单元253将以这种方式生成的属性数据(差值)提供给量化单元254。
量化单元254获取从可伸缩分层处理单元252或分层处理单元253提供的属性数据(差值)。量化单元254对属性数据(差值)进行量化。量化单元254将被量化的属性数据(差值)提供给编码单元255。
编码单元255获取从量化单元254提供的被量化的属性数据(差值)。编码单元255对被量化的属性数据(差值)进行编码以生成属性数据的编码数据。可以采用针对此的任何编码方法。编码单元255将生成的属性数据的编码数据提供给比特流生成单元215(图15)。
通过具有如上所述的配置,在将具有三维形状的对象表示为点集的点云的编码中,编码装置200可以禁止可伸缩编码和缩放编码的组合使用,可伸缩编码为用于生成能够可伸缩地解码的编码数据的编码方法,缩放编码为涉及几何数据的树结构的改变的编码方法。因此,在属性数据的编码中,可以实现点云数据的可伸缩解码,而无需例如准备用于估计几何数据的树结构并从中选择的多个方法的复杂的处理。此外,由于不需要重新设计用于估计树结构的方法,因此可以抑制成本的增加。即,可以更容易地实现点云数据的可伸缩解码。
<编码控制处理的流程>
接下来,将描述由编码装置200执行的处理。编码装置200的编码控制单元201通过执行编码控制处理来控制点云的数据的编码。将参照图18的流程图描述该编码控制处理的流程的示例。
当编码控制处理开始时,在步骤S101中,编码控制单元201确定是否应用提升可伸缩性。当确定应用提升可伸缩性时,处理进行至步骤S102。
在步骤S102中,编码控制单元201在几何数据的编码中禁止几何缩放。此外,在步骤S103中,编码控制单元201在属性数据的编码中应用提升可伸缩性。此外,如上面在<1.编码控制>中所述,编码控制单元201用信号传送诸如Lifting_scalability_enabled_flag和geom_scaling_enabled_flag的控制信息以对应于这些控制。
当步骤S103的处理结束时,编码控制处理结束。
此外,当在步骤S101中确定不应用提升可伸缩性时,处理进行至步骤S104。
在步骤S104中,编码控制单元201确定是否应用几何缩放。当确定应用几何缩放时,处理进行至步骤S105。
在步骤S105中,编码控制单元201在几何数据的编码中应用几何缩放。此外,在步骤S106中,编码控制单元201在属性数据的编码中禁止提升可伸缩性。此外,如上面在<1.编码控制>中所述,编码控制单元201用信号传送诸如Lifting_scalability_enabled_flag和geom_scaling_enabled_flag的控制信息以对应于这些控制。
当步骤S106的处理结束时,编码控制处理结束。
此外,当在步骤S104中确定不应用几何缩放时,处理进行至步骤S107。
在步骤S107中,编码控制单元201在几何数据的编码中禁止几何缩放。此外,在步骤S108中,编码控制单元201在属性数据的编码中禁止提升可伸缩性。此外,如上面在<1.编码控制>中所述,编码控制单元201用信号传送诸如Lifting_scalability_enabled_flag和geom_scaling_enabled_flag的控制信息以对应于这些控制。
当步骤S108的处理结束时,编码控制处理结束。
通过执行如上所述的编码控制处理,编码控制单元201可以更容易地实现点云数据的可伸缩解码。
<编码处理的流程>
编码装置200通过执行编码处理对点云的数据进行编码。将参照图19的流程图描述该编码处理的流程的示例。
当编码处理开始时,在步骤S201中,编码装置200的几何数据编码单元211通过执行几何数据编码处理对输入的点云的几何数据进行编码,以生成几何数据的编码数据。
在步骤S202中,几何数据解码单元212对在步骤S201中生成的几何数据的编码数据进行解码,以生成几何数据(解码结果)。
在步骤S203中,点云生成单元213通过使用输入的点云的属性数据和在步骤S202中生成的几何数据(解码结果)执行重新着色处理,以使属性数据对应于几何数据。
在步骤S204中,属性数据编码单元214通过执行属性数据编码处理对在步骤S203中经受重新着色处理的属性数据进行编码,以生成属性数据的编码数据。
在步骤S205中,比特流生成单元215生成并输出比特流,比特流包括在步骤S201中生成的几何数据的编码数据和在步骤S204中生成的属性数据的编码数据。
当步骤S205中的处理结束时,编码处理结束。
<几何数据编码处理的流程>
接下来,将参照图20的流程图描述在图19的步骤S201中执行的几何数据编码处理的流程的示例。
当几何数据编码处理开始时,几何数据编码单元211的体素生成单元231在步骤S221中生成体素数据。
在步骤S222中,树结构生成单元232通过使用在步骤S221中生成的体素数据生成几何数据的树结构(八叉树)。
在步骤S223中,选择单元233在编码控制单元201的控制下确定是否执行几何缩放。当确定执行几何缩放时,处理进行至步骤S22。
在步骤S224中,几何缩放单元234对具有在步骤S222中生成的树结构的几何数据(即,八叉树数据)执行几何缩放。当步骤S224的处理结束时,处理进行至步骤S225。此外,当在步骤S223中确定不执行几何缩放时,跳过步骤S224的处理,并且处理进行至步骤S225。
在步骤S225中,编码单元235对具有在步骤S222中生成的树结构的几何数据(即,八叉树数据)或在步骤S224中经受几何缩放的几何数据(即,八叉树数据)进行编码,以生成几何数据的编码数据。
当步骤S225的处理结束时,几何数据编码处理结束,并且处理返回到图19。
<属性数据编码处理的流程>
接下来,将参照图21的流程图描述在图19的步骤S204中执行的属性数据编码处理的流程的示例。
当属性数据编码处理开始时,在步骤S241中,属性数据编码单元214的选择单元251在编码控制单元201的控制下确定是否应用提升可伸缩性。当确定应用提升可伸缩性时,处理进行至步骤S242。
在步骤S242中,可伸缩分层处理单元252通过非专利文献2中描述的方法执行提升。即,可伸缩分层处理单元252估计几何数据的树结构,并且根据估计的树结构对属性数据进行分层(形成参考结构)。然后,可伸缩分层处理单元252根据参考结构得出预测值,并且得出属性数据与预测值之间的差值。
当步骤S242的处理结束时,处理进行至步骤S244。此外,当在步骤S241中确定不应用提升可伸缩性时,处理进行至步骤S243。
在步骤S243中,分层处理单元253通过非专利文献4中描述的方法执行提升。即,分层处理单元253独立于几何数据的树结构对属性数据进行分层(形成参考结构)。然后,分层处理单元253根据参考结构得出预测值,并且得出属性数据与预测值之间的差值。当步骤S243的处理结束时,处理进行至步骤S244。
在步骤S244中,量化单元254执行量化处理以对在步骤S242或步骤S243中得出的每个差值进行量化。
在步骤S245中,编码单元255对在步骤S244中被量化的差值进行编码,以生成属性数据的编码数据。当步骤S245的处理结束时,属性数据编码处理结束,并且处理返回到图19。
通过执行如上所述的每个处理,编码装置200可以更容易地实现点云数据的可伸缩解码。
<3.第二实施方式>
<解码装置>
图22是示出作为应用本技术的信息处理装置的一个方面的解码装置的配置的示例的框图。图22中示出的解码装置300是对点云(3D数据)的编码数据进行解码的装置。解码装置300例如对在编码装置200中生成的点云的编码数据进行解码。
注意,在图22中,示出了处理单元、数据流等的主要部分,并且图22中示出的这些不一定是全部。即,在解码装置300中,可以存在未示出为图22中的框的处理单元或者可以存在未示出为图22中的箭头等的处理流程或数据。
如图22所示,解码装置300包括编码数据提取单元311、几何数据解码单元312、属性数据解码单元313和点云生成单元314。
编码数据提取单元311获取并保持输入至解码装置300的比特流。编码数据提取单元311从保持的比特流提取从最高级到期望层的几何数据和属性数据的编码数据。当编码数据支持可伸缩解码时,编码数据提取单元311可以提取直至中间层的编码数据。当编码数据不支持可伸缩解码时,编码数据提取单元311提取所有层的编码数据。
编码数据提取单元311将提取的几何数据的编码数据提供给几何数据解码单元312。编码数据提取单元311将提取的属性数据的编码数据提供给属性数据解码单元313。
几何数据解码单元312获取从编码数据提取单元311提供的位置信息的编码数据。通过执行由编码装置200的几何数据编码单元211执行的几何数据编码处理的逆处理,几何数据解码单元312对几何数据的编码数据进行解码,以生成几何数据(解码结果)。几何数据解码单元312将生成的几何数据(解码结果)提供给属性数据解码单元313和点云生成单元314。
属性数据解码单元313获取从编码数据提取单元311提供的属性数据的编码数据。属性数据解码单元313获取从几何数据解码单元312提供的几何数据(解码结果)。通过执行由编码装置200的属性数据编码单元214执行的属性数据编码处理的逆处理,属性数据解码单元313通过使用几何数据(解码结果)对属性数据的编码数据进行解码,以生成属性数据(解码结果)。属性数据解码单元313将生成的属性数据(解码结果)提供给点云生成单元314。
点云生成单元314获取从几何数据解码单元312提供的几何数据(解码结果)。点云生成单元314获取从属性数据解码单元313提供的属性数据(解码结果)。点云生成单元314通过使用几何数据(解码结果)和属性数据(解码结果)生成点云(解码结果)。点云生成单元314将生成的点云(解码结果)的数据输出至解码装置300外部。
通过具有如上所述的配置,解码装置300可以正确地解码由编码装置200生成的点云数据的编码数据。即,可以更容易地实现点云数据的可伸缩解码。
注意,这些处理单元(编码数据提取单元311至点云生成单元314)具有任何配置。例如,每个处理单元可以由实现上述处理的逻辑电路配置。此外,处理单元中的每一个可以包括例如CPU、ROM、RAM等,并且通过使用它们来执行程序以实现上述处理。当然,每个处理单元可以具有这两种配置,通过逻辑电路实现上述处理的一部分,并且通过执行程序实现其他处理。处理单元的配置可以彼此独立,并且例如,一些处理单元可以通过逻辑电路实现上述处理的一部分,另一些处理单元可以通过执行程序实现上述处理,还有一些处理单元可以通过逻辑电路和程序的执行两者实现上述处理。
<解码处理的流程>
接下来,将描述由解码装置300执行的处理。解码装置300通过执行解码处理对点云的编码数据进行解码。将参照图23的流程图描述解码处理的流程的示例。
当解码处理开始时,在步骤S301中,解码装置300的编码数据提取单元311获取并保持比特流,并且提取直至要解码的LoD深度的几何数据和属性数据的编码数据。
在步骤S302中,几何数据解码单元312对在步骤S301中提取的几何数据的编码数据进行解码,以生成几何数据(解码结果)。
在步骤S303中,属性数据解码单元313对在步骤S301中提取的属性数据的编码数据进行解码,以生成属性数据(解码结果)。
在步骤S304中,点云生成单元314通过使用在步骤S302中生成的几何数据(解码结果)和在步骤S303中生成的属性数据(解码结果)生成并输出点云(解码结果)。
当步骤S304的处理结束时,解码处理结束。
通过以这种方式执行每个步骤的处理,解码装置300可以正确地解码由编码装置200生成的点云数据的编码数据。即,可以更容易地实现点云数据的可伸缩解码。
<4.补充说明>
<分层和反向分层方法>
在以上描述中,已经描述了提升作为对属性数据进行分层和反向分层的方法的示例。然而,对属性数据进行分层和反向分层的方法可以是除了提升之外的方法,例如RAHT。
<控制信息>
在以上实施方式中的每一个中,已经描述了使能标志作为关于本技术的控制信息的示例,但是可以用信号传送除此之外的任何控制信息。
<周围和附近>
注意,在本说明书中,诸如“附近”或“周围”的位置关系不仅可以包括空间位置关系,而且还可以包括时间位置关系。
<计算机>
上述一系列处理可以由硬件执行或者也可以由软件执行。当由软件执行这一系列处理时,将配置软件的程序安装在计算机中。这里,例如,计算机的示例包括内置在专用硬件中的计算机、可以通过安装各种程序来执行各种功能的通用个人计算机等。
图24是示出根据程序执行上述一系列处理的计算机的硬件的配置示例的框图。
在图24中示出的计算机900中,中央处理单元(CPU)901、只读存储器(ROM)902和随机存取存储器(RAM)903经由总线904相互连接。
总线904还与输入/输出接口910连接。输入单元911、输出单元912、存储单元913、通信单元914和驱动器915连接至输入/输出接口910。
例如,输入单元911包括键盘、鼠标、麦克风、触摸板、输入端子等。例如,输出单元912包括显示器、扬声器、输出端子等。例如,存储单元913包括硬盘、RAM盘、非易失性存储器等。例如,通信单元914包括网络接口等。驱动器915驱动可移除介质921,例如,磁盘、光盘、磁光盘或半导体存储器。
在如上所述配置的计算机中,例如,通过CPU 901经由输入/输出接口910和总线904将记录在存储单元913中的程序加载到RAM 903中并且执行程序来执行上述一系列处理。例如,RAM 903还适当地存储CPU901执行各种处理所需的数据。
例如,由计算机执行的程序可以通过记录在作为封装介质等的可移除介质921上来应用。在这种情况下,通过将可移除介质921附接至驱动器915,可以经由输入/输出接口910将程序安装在存储单元913中。
此外,例如,该程序也可以经由有线或无线传输介质例如局域网、因特网或数字卫星广播来提供。在这种情况下,程序可以由通信单元914接收并且被安装在存储单元913中。
此外,程序可以预先安装在ROM 902和存储单元913中。
<本技术的适用目标>
上面已经描述了本技术应用于点云数据的编码和解码的情况,但是本技术可以应用于任何标准的3D数据的编码和解码,而不限于这些示例。例如,在网格数据的编码/解码中,网格数据可以被转换成点云数据,并且本技术可以被应用于执行编码/解码。即,只要不与上述本技术存在矛盾,就可以针对诸如编码和解码方法的各种类型的处理以及诸如3D数据和元数据的各种类型的数据采用任何规范。此外,只要不与本技术存在矛盾,就可以省略上述一些处理和规范。
此外,在以上描述中,已经描述了编码装置200和解码装置300作为本技术的应用示例,但是本技术可以应用于任何配置。
例如,本技术可以应用于各种电子设备,例如,卫星广播、诸如有线电视的有线广播、因特网上的分发以及通过蜂窝通信至终端的分发中的发射器或接收器(例如,电视接收器或移动电话),或者在诸如光盘、磁盘或闪存的介质上记录图像或从这些存储介质再现图像的装置(例如,硬盘记录器或摄像装置)。
此外,例如,本技术还可以实现为装置的部分配置,例如,作为系统大规模集成(LSI)等的处理器(例如,视频处理器)、使用多个处理器等的模块(例如,视频模块)、使用多个模块等的单元(例如,视频单元)、或者其中还向单元添加其他功能的集合(例如,视频集合)。
此外,例如,本技术还可以应用于包括多个装置的网络系统。例如,本技术可以实现为云计算,其被配置成由多个装置经由网络执行共享和协作处理。例如,对于诸如计算机、视听(AV)设备、便携式信息处理终端或物联网(IoT)设备的任何终端,本技术可以在提供与图像(移动图像)有关的服务的云服务中实现。
注意,在本说明书中,系统意指多个部件(装置、模块(部件)等)的集合,并且所有部件是否在同一壳体中并不重要。因此,容纳在单独的壳体中并且经由网络连接的多个装置以及具有容纳在一个壳体中的多个模块的单个装置两者均是系统。
<本技术适用的领域和应用>
应用本技术的系统、装置、处理单元等可以在任何领域中使用,例如,运输、医疗保健、犯罪预防、农业、畜牧业、采矿业、美容护理、工厂、家用电器、天气、自然监测等。此外,可以采用其任何应用。
<其他>
注意,在本说明书中,“标志”是用于识别多个状态的信息,并且不仅包括用于识别真(1)或假(0)两个状态的信息,而且还包括使得能够识别三个或更多个状态的信息。因此,例如,“标志”可以采用的值可以是1/0的二进制值,或者可以是三进制值或更多进制的值。即,“标志”中包括的位数可以是任意数,并且可以是1位或多个位。此外,对于识别信息(包括标志),除了在比特流中包括识别信息的形式之外,还假设在比特流中包括相对于特定参考信息的识别信息的差异信息的形式。因此,在本说明书中,“标志”和“识别信息”不仅包括其信息,而且还包括相对于参考信息的差异信息。
此外,与编码数据(比特流)有关的各种信息(例如,元数据)可以以任何形式发送或记录,只要该信息与编码数据相关联即可。这里,例如,术语“相关联”意指当处理一个数据时,使得能够使用(链接)其他数据。即,彼此相关联的数据可以组合为一个数据或者可以是单独的数据。例如,可以在与编码数据(图像)不同的传输线上发送与编码数据(图像)相关联的信息。此外,例如,与编码数据(图像)相关联的信息可以被记录在与编码数据(图像)不同的记录介质(或同一记录介质的另一记录区域)上。注意,该“关联”可以针对数据的一部分,而不是整个数据。例如,图像和与图像对应的信息可以以诸如多个帧、一个帧或帧内的一部分的任何单元彼此相关联。
注意,在本说明书中,例如,诸如“合成”、“复用”、“添加”、“集成”、“包括”、“存储”、“放入”、“引入”和“插入”等的术语意指将多个对象组合成一个,例如,将编码数据和元数据组合成一个数据,并且意指上述“关联”的一种方法。
此外,本技术的实施方式不限于上述实施方式,并且在不脱离本技术的范围的情况下可以进行各种修改。
例如,可以将被描述为一个装置(或处理单元)的配置分割和配置为多个装置(或处理单元)。相反,可以将上面被描述为多个装置(或处理单元)的配置共同配置为一个装置(或处理单元)。此外,当然,可以将除了以上配置之外的配置添加至每个装置(或每个处理单元)的配置。此外,只要整个系统的配置和操作大致相同,一个装置(或处理单元)的部分配置就可以包括在另一装置(或另一处理单元)的配置中。
此外,例如,上述程序可以在任何装置中执行。在这种情况下,装置仅需要具有必要的功能(功能块等),使得可以获得必要的信息。
此外,例如,一个流程图的每个步骤可以由一个装置执行,或者可以由多个装置共享和执行。此外,当一个步骤包括多个处理时,多个处理可以由一个装置执行,或者可以由多个装置共享和执行。换言之,一个步骤中包括的多个处理可以作为多个步骤执行。相反,被描述为多个步骤的处理可以作为一个步骤共同执行。
此外,例如,在由计算机执行的程序中,描述程序的步骤的处理可以按照本说明书中描述的顺序以时间顺序执行,或者可以在诸如进行调用时的需要的定时处单独执行或并行执行。即,只要不发生矛盾,就可以按照与上述顺序不同的顺序执行每个步骤的处理。此外,描述程序的步骤的该处理可以与另一程序的处理并行执行,或者可以与另一程序的处理组合执行。
此外,例如,与本技术有关的多个技术可以独立地实现为单个主体,只要不存在矛盾即可。当然,可以组合使用多个本技术中的任何技术。例如,在任何实施方式中描述的本技术的一部分或全部可以与在另一实施方式中描述的本技术的一部分或全部组合实现。此外,上述本技术的一部分或全部可以与上面未描述的另一技术组合实现。
注意,本技术还可以具有以下配置。
(1)一种信息处理装置,包括:
编码控制单元,所述编码控制单元被配置成执行控制以在将具有三维形状的对象表示为点集的点云的编码中禁止可伸缩编码和缩放编码的组合使用,所述可伸缩编码为用于生成能够可伸缩地解码的编码数据的编码方法,所述缩放编码为涉及几何数据的树结构的改变的编码方法。
(2)根据(1)所述的信息处理装置,其中,
所述可伸缩编码是通过利用与所述几何数据的树结构相同的参考结构进行提升来编码属性数据的提升可伸缩性。
(3)根据(1)或(2)所述的信息处理装置,其中,
所述缩放编码是对所述几何数据进行缩放和编码的几何缩放。
(4)根据(1)至(3)中任一项所述的信息处理装置,其中,
在应用所述可伸缩编码的情况下,所述编码控制单元执行控制以禁止应用所述缩放编码。
(5)根据(4)所述的信息处理装置,其中,
所述编码控制单元控制以下项的信号传送:可伸缩编码使能标志,所述可伸缩编码使能标志为关于所述可伸缩编码的应用的标志信息;以及缩放编码使能标志,所述缩放编码使能标志为关于所述缩放编码的应用的标志信息。
(6)根据(5)所述的信息处理装置,其中,
在用信号传送指示应用所述可伸缩编码的值的所述可伸缩编码使能标志的情况下,所述编码控制单元执行控制以用信号传送指示不应用所述缩放编码的值的所述缩放编码使能标志。
(7)根据(5)或(6)所述的信息处理装置,其中,
在应用所述可伸缩编码的情况下,所述编码控制单元执行控制以在简档中用信号传送指示应用所述可伸缩编码的值的所述可伸缩编码使能标志和指示不应用所述缩放编码的值的所述缩放编码使能标志。
(8)根据(5)至(7)中任一项所述的信息处理装置,其中,
在用信号传送指示应用所述可伸缩编码的值的所述可伸缩编码使能标志的情况下,所述编码控制单元执行控制以省略所述缩放编码使能标志的信号传送。
(9)根据(1)至(3)中任一项所述的信息处理装置,其中,
在应用所述缩放编码的情况下,所述编码控制单元执行控制以禁止应用所述可伸缩编码。
(10)根据(9)所述的信息处理装置,其中,
所述编码控制单元控制以下项的信号传送:缩放编码使能标志,所述缩放编码使能标志为关于所述缩放编码的应用的标志信息;以及可伸缩编码使能标志,所述可伸缩编码使能标志为关于所述可伸缩编码的应用的标志信息。
(11)根据(10)所述的信息处理装置,其中,
在用信号传送指示应用所述缩放编码的值的所述缩放编码使能标志的情况下,所述编码控制单元执行控制以用信号传送指示不应用所述可伸缩编码的值的所述可伸缩编码使能标志。
(12)根据(10)或(11)所述的信息处理装置,其中,
在应用所述缩放编码的情况下,所述编码控制单元执行控制以在简档中用信号传送指示应用所述缩放编码的值的所述缩放编码使能标志和指示不应用所述可伸缩编码的值的所述可伸缩编码使能标志。
(13)根据(10)至(12)中任一项所述的信息处理装置,其中,
在用信号传送指示应用所述缩放编码的值的所述缩放编码使能标志的情况下,所述编码控制单元执行控制以省略所述可伸缩编码使能标志的信号传送。
(14)根据(1)至(13)中任一项所述的信息处理装置,还包括:
几何数据编码单元,所述几何数据编码单元被配置成在所述编码控制单元的控制下对所述点云的几何数据进行编码,以生成所述几何数据的编码数据;以及
属性数据编码单元,所述属性数据编码单元被配置成在所述编码控制单元的控制下对所述点云的属性数据进行编码,以生成所述属性数据的编码数据。
(15)根据(14)所述的信息处理装置,其中,
所述几何数据编码单元包括:
选择单元,所述选择单元被配置成在所述编码控制单元的控制下选择是否应用所述几何数据的缩放;
几何缩放单元,所述几何缩放单元被配置成在由所述选择单元选择应用所述几何数据的缩放时执行所述几何数据的缩放和合并;以及编码单元,所述编码单元被配置成在由所述选择单元选择应用所述几何数据的缩放时对经受所述几何缩放单元的缩放和合并的所述几何数据进行编码,而在由所述选择单元选择不应用所述几何数据的缩放时对没有经受缩放和合并的所述几何数据进行编码。
(16)根据(15)所述的信息处理装置,其中,
所述几何数据编码单元还包括:
树结构生成单元,所述树结构生成单元被配置成生成所述几何数据的树结构,并且
所述几何缩放单元通过执行缩放和合并来更新由所述树结构生成单元生成的所述树结构。
(17)根据(14)至(16)中任一项所述的信息处理装置,其中,
所述属性数据编码单元包括:
选择单元,所述选择单元被配置成在所述编码控制单元的控制下选择是否应用可伸缩分层,所述可伸缩分层用于利用与所述几何数据的树结构相同的参考结构提升所述属性数据;
可伸缩分层单元,所述可伸缩分层单元在由所述选择单元选择应用所述可伸缩分层时对所述属性数据执行所述可伸缩分层;以及
编码单元,所述编码单元被配置成在由所述选择单元选择应用所述可伸缩分层时对经受所述可伸缩分层单元的可伸缩分层的所述属性数据进行编码,而在由所述选择单元选择不应用所述可伸缩分层时对没有经受所述可伸缩分层的所述属性数据进行编码。
(18)根据(14)至(17)中任一项所述的信息处理装置,还包括:
几何数据解码单元,所述几何数据解码单元被配置成对由所述几何数据编码单元生成的所述几何数据的编码数据进行解码,以生成所述几何数据;以及
重新着色处理单元,所述重新着色处理单元被配置成通过使用由所述几何数据解码单元生成的所述几何数据对所述属性数据执行重新着色处理,其中,
所述属性数据编码单元对经受通过所述重新着色处理单元的重新着色处理的所述属性数据进行编码。
(19)根据(14)至(18)中任一项所述的信息处理装置,还包括:
比特流生成单元,所述比特流生成单元被配置成生成比特流,所述比特流包括由所述几何数据编码单元生成的所述几何数据的编码数据和由所述属性数据编码单元生成的所述属性数据的编码数据。
(20)一种信息处理方法,包括:
执行控制以在将具有三维形状的对象表示为点集的点云的编码中禁止可伸缩编码和缩放编码的组合使用,所述可伸缩编码为用于生成能够可伸缩地解码的编码数据的编码方法,所述缩放编码为涉及几何数据的树结构的改变的编码方法。
附图标记列表
200编码装置
201编码控制单元
211几何数据编码单元
212几何数据解码单元
213点云生成单元
214属性数据编码单元
215比特流生成单元
231体素生成单元
232树结构生成单元
233选择单元
234几何缩放单元
235编码单元
251选择单元
252可伸缩分层处理单元
253分层处理单元
254量化单元
255编码单元
300解码装置
311编码数据提取单元
312几何数据解码单元
313属性数据解码单元
314点云生成单元
Claims (20)
1.一种信息处理装置,包括:
编码控制单元,所述编码控制单元被配置成执行控制以在将具有三维形状的对象表示为点集的点云的编码中禁止可伸缩编码和缩放编码的组合使用,所述可伸缩编码为用于生成能够可伸缩地解码的编码数据的编码方法,所述缩放编码为涉及几何数据的树结构的改变的编码方法。
2.根据权利要求1所述的信息处理装置,其中,
所述可伸缩编码包括通过利用与所述几何数据的树结构相同的参考结构进行提升来编码属性数据的提升可伸缩性。
3.根据权利要求1所述的信息处理装置,其中,
所述缩放编码包括对所述几何数据进行缩放和编码的几何缩放。
4.根据权利要求1所述的信息处理装置,其中,
在应用所述可伸缩编码的情况下,所述编码控制单元执行控制以禁止应用所述缩放编码。
5.根据权利要求4所述的信息处理装置,其中,
所述编码控制单元控制以下项的信号传送:可伸缩编码使能标志,所述可伸缩编码使能标志为关于所述可伸缩编码的应用的标志信息;以及缩放编码使能标志,所述缩放编码使能标志为关于所述缩放编码的应用的标志信息。
6.根据权利要求5所述的信息处理装置,其中,
在用信号传送指示应用所述可伸缩编码的值的所述可伸缩编码使能标志的情况下,所述编码控制单元执行控制以用信号传送指示不应用所述缩放编码的值的所述缩放编码使能标志。
7.根据权利要求5所述的信息处理装置,其中,
在应用所述可伸缩编码的情况下,所述编码控制单元执行控制以在简档中用信号传送指示应用所述可伸缩编码的值的所述可伸缩编码使能标志和指示不应用所述缩放编码的值的所述缩放编码使能标志。
8.根据权利要求5所述的信息处理装置,其中,
在用信号传送指示应用所述可伸缩编码的值的所述可伸缩编码使能标志的情况下,所述编码控制单元执行控制以省略所述缩放编码使能标志的信号传送。
9.根据权利要求1所述的信息处理装置,其中,
在应用所述缩放编码的情况下,所述编码控制单元执行控制以禁止应用所述可伸缩编码。
10.根据权利要求9所述的信息处理装置,其中,
所述编码控制单元控制以下项的信号传送:缩放编码使能标志,所述缩放编码使能标志为关于所述缩放编码的应用的标志信息;以及可伸缩编码使能标志,所述可伸缩编码使能标志为关于所述可伸缩编码的应用的标志信息。
11.根据权利要求10所述的信息处理装置,其中,
在用信号传送指示应用所述缩放编码的值的所述缩放编码使能标志的情况下,所述编码控制单元执行控制以用信号传送指示不应用所述可伸缩编码的值的所述可伸缩编码使能标志。
12.根据权利要求10所述的信息处理装置,其中,
在应用所述缩放编码的情况下,所述编码控制单元执行控制以在简档中用信号传送指示应用所述缩放编码的值的所述缩放编码使能标志和指示不应用所述可伸缩编码的值的所述可伸缩编码使能标志。
13.根据权利要求10所述的信息处理装置,其中,
在用信号传送指示应用所述缩放编码的值的所述缩放编码使能标志的情况下,所述编码控制单元执行控制以省略所述可伸缩编码使能标志的信号传送。
14.根据权利要求1所述的信息处理装置,还包括:
几何数据编码单元,所述几何数据编码单元被配置成在所述编码控制单元的控制下对所述点云的几何数据进行编码,以生成所述几何数据的编码数据;以及
属性数据编码单元,所述属性数据编码单元被配置成在所述编码控制单元的控制下对所述点云的属性数据进行编码,以生成所述属性数据的编码数据。
15.根据权利要求14所述的信息处理装置,其中,
所述几何数据编码单元包括:
选择单元,所述选择单元被配置成在所述编码控制单元的控制下选择是否应用所述几何数据的缩放;
几何缩放单元,所述几何缩放单元被配置成在由所述选择单元选择应用所述几何数据的缩放时执行所述几何数据的缩放和合并;以及
编码单元,所述编码单元被配置成在由所述选择单元选择应用所述几何数据的缩放时对经受所述几何缩放单元的缩放和合并的所述几何数据进行编码,而在由所述选择单元选择不应用所述几何数据的缩放时对没有经受缩放和合并的所述几何数据进行编码。
16.根据权利要求15所述的信息处理装置,其中,
所述几何数据编码单元还包括:
树结构生成单元,所述树结构生成单元被配置成生成所述几何数据的树结构,并且
所述几何缩放单元通过执行缩放和合并来更新由所述树结构生成单元生成的所述树结构。
17.根据权利要求14所述的信息处理装置,其中,
所述属性数据编码单元包括:
选择单元,所述选择单元被配置成在所述编码控制单元的控制下选择是否应用可伸缩分层,所述可伸缩分层用于利用与所述几何数据的树结构相同的参考结构提升所述属性数据;
可伸缩分层单元,所述可伸缩分层单元在由所述选择单元选择应用所述可伸缩分层时对所述属性数据执行所述可伸缩分层;以及
编码单元,所述编码单元被配置成在由所述选择单元选择应用所述可伸缩分层时对经受所述可伸缩分层单元的可伸缩分层的所述属性数据进行编码,而在由所述选择单元选择不应用所述可伸缩分层时对没有经受所述可伸缩分层的所述属性数据进行编码。
18.根据权利要求14所述的信息处理装置,还包括:
几何数据解码单元,所述几何数据解码单元被配置成对由所述几何数据编码单元生成的所述几何数据的编码数据进行解码,以生成所述几何数据;以及
重新着色处理单元,所述重新着色处理单元被配置成通过使用由所述几何数据解码单元生成的所述几何数据对所述属性数据执行重新着色处理,其中,
所述属性数据编码单元对经受所述重新着色处理单元的重新着色处理的所述属性数据进行编码。
19.根据权利要求14所述的信息处理装置,还包括:
比特流生成单元,所述比特流生成单元被配置成生成比特流,所述比特流包括由所述几何数据编码单元生成的所述几何数据的编码数据和由所述属性数据编码单元生成的所述属性数据的编码数据。
20.一种信息处理方法,包括:
执行控制以在将具有三维形状的对象表示为点集的点云的编码中禁止可伸缩编码和缩放编码的组合使用,所述可伸缩编码为用于生成能够可伸缩地解码的编码数据的编码方法,所述缩放编码为涉及几何数据的树结构的改变的编码方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-106974 | 2020-06-22 | ||
JP2020106974 | 2020-06-22 | ||
PCT/JP2021/021665 WO2021261237A1 (ja) | 2020-06-22 | 2021-06-08 | 情報処理装置および方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115917601A true CN115917601A (zh) | 2023-04-04 |
Family
ID=79282583
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180043038.5A Pending CN115917601A (zh) | 2020-06-22 | 2021-06-08 | 信息处理装置和方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230177735A1 (zh) |
EP (1) | EP4170597A4 (zh) |
JP (1) | JPWO2021261237A1 (zh) |
CN (1) | CN115917601A (zh) |
WO (1) | WO2021261237A1 (zh) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170214943A1 (en) * | 2016-01-22 | 2017-07-27 | Mitsubishi Electric Research Laboratories, Inc. | Point Cloud Compression using Prediction and Shape-Adaptive Transforms |
US10694210B2 (en) * | 2016-05-28 | 2020-06-23 | Microsoft Technology Licensing, Llc | Scalable point cloud compression with transform, and corresponding decompression |
US11227436B2 (en) * | 2018-01-16 | 2022-01-18 | Sony Corporation | Information processing apparatus and information processing method |
JP7381444B2 (ja) * | 2018-02-14 | 2023-11-15 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 |
-
2021
- 2021-06-08 WO PCT/JP2021/021665 patent/WO2021261237A1/ja unknown
- 2021-06-08 EP EP21829007.0A patent/EP4170597A4/en active Pending
- 2021-06-08 JP JP2022531697A patent/JPWO2021261237A1/ja active Pending
- 2021-06-08 US US17/928,836 patent/US20230177735A1/en active Pending
- 2021-06-08 CN CN202180043038.5A patent/CN115917601A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2021261237A1 (ja) | 2021-12-30 |
EP4170597A1 (en) | 2023-04-26 |
US20230177735A1 (en) | 2023-06-08 |
JPWO2021261237A1 (zh) | 2021-12-30 |
EP4170597A4 (en) | 2023-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102521801B1 (ko) | 정보 처리 장치 및 방법 | |
US11943457B2 (en) | Information processing apparatus and method | |
US20220414940A1 (en) | Information processing apparatus and method | |
CN112771582B (zh) | 图像处理设备和方法 | |
US11902348B2 (en) | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method | |
US11483363B2 (en) | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method | |
US20230164353A1 (en) | Point cloud data processing device and processing method | |
US20240078715A1 (en) | Apparatus and method for point cloud processing | |
CN111727461A (zh) | 信息处理装置和方法 | |
US20230059625A1 (en) | Transform-based image coding method and apparatus therefor | |
US20230023219A1 (en) | Information processing device and method | |
KR20220035041A (ko) | 정보 처리 장치 및 방법 | |
WO2023172703A1 (en) | Geometry point cloud coding | |
KR20210070282A (ko) | 화상 처리 장치 및 방법 | |
WO2022145214A1 (ja) | 情報処理装置および方法 | |
CN115917601A (zh) | 信息处理装置和方法 | |
JP2022047546A (ja) | 情報処理装置および方法 | |
US11790602B2 (en) | Information processing device and method | |
US20220286679A1 (en) | Information processing device and method | |
CN113875248A (zh) | 信息处理装置和方法 | |
US20220353493A1 (en) | Information processing apparatus and method | |
US20230232042A1 (en) | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method | |
US20240037799A1 (en) | Point cloud coding/decoding method and apparatus, device and storage medium | |
EP4174780A1 (en) | Information processing device and method | |
US20230316581A1 (en) | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |