CN115885317A - 点云解码装置、点云解码方法及程序 - Google Patents
点云解码装置、点云解码方法及程序 Download PDFInfo
- Publication number
- CN115885317A CN115885317A CN202180044630.7A CN202180044630A CN115885317A CN 115885317 A CN115885317 A CN 115885317A CN 202180044630 A CN202180044630 A CN 202180044630A CN 115885317 A CN115885317 A CN 115885317A
- Authority
- CN
- China
- Prior art keywords
- decoding
- point cloud
- points
- point
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/40—Tree coding, e.g. quadtree, octree
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
本发明所涉及的点云解码装置(200)具备几何信息解码部(2010),其构成为对八叉树结构的各层的点数或者八叉树结构的各层的点数的差进行解码。
Description
技术领域
本发明涉及一种点云解码装置、点云解码方法及程序。
背景技术
在非专利文献1和非专利文献2中,公开了一种对通过递归地实施的八叉树(Octree)分割而压缩的点云的3D位置(Geometry)信息进行解码的技术以及根据需要对与解码后的点云位置对应的点的属性(Attribute)信息进行解码的技术。
另外,在非专利文献3中,作为非专利文献1和非专利文献2中的一个功能,如图13所示,公开了一种通过对Octree结构仅解码至中间分辨率为止,从而可扩展地对分辨率不同的点云进行解码(decode)的可扩展解码技术。
通过所述可扩展解码技术,能够不对所有的位流进行解码而可扩展地对低分辨率的点云进行解码,能够用于缩略图等用途。
现有技术文献
非专利文献
非专利文献1:国际标准化组织/国际电工委员会(ISO/IEC)23090-9DIS基于几何(Geometry-based)的PCC(点云压缩)w19088文本非专利文献2:G-PCC编解码器说明文档(第6版)(codec description v6)、国际标准化组织/国际电工委员会JTC1/SC29/WG11 w19091非专利文献3:用于G-PCC的空间可伸缩性支持(Spatial scalability support)、国际标准化组织/国际电工委员会JTC1/SC29/WG11 m47352
发明内容
发明要解决的课题
通常,在考虑例如观看通过自由视点视频技术等生成的点云的查看器这样的应用时,如果输入的点数过多,则不能在缺乏计算机资源的终端上进行实时渲染。
因此,为了实施实时渲染,存在希望通过非专利文献3所公开的可扩展解码功能将解码后的点数抑制在一定以下的情况。
然而,在非专利文献1所记载的规格中,当实施非专利文献3所公开的可扩展解码时,即使能够对Octree结构的上n层进行解码,也无法知晓到对正数第(n+1)层的点数进行解码,因此存在不能以控制于规定点数的方式进行解码的问题。
对于该问题,虽然只要对第(n+1)层进行解码即可知晓点数,但对第(n+1)层进行解码在处理负荷的方面上存在较大的问题。
因此,本发明是鉴于上述问题而作出的,其目的在于,提供一种点云解码装置、点云解码方法及程序,能够实施限制输出点数的可扩展解码,以便使点数成为所指定的点数以下。
用于解决课题的手段
本发明的第一特征是点云解码装置,其主旨在于,具备几何信息解码部,其构成为对八叉树结构的各层的点数进行解码。
本发明的第二特征是点云解码装置,其主旨在于,具备几何信息解码部,其构成为对八叉树结构的各层的点数进行解码,所述几何信息解码部构成为对被规定为语法的m(m是1以上的整数)进行解码而不记录最初的m层的点数或者点数的差。
本发明的第三特征是点云解码装置,其主旨在于,具备:树合成部,其构成为进行可扩展解码直至输入的层的下m(m是1以上的整数)层的层为止;以及LoD计算部,其构成为基于(m+1)层的几何信息,对LoD(Level of Detail:细节级别)进行计算。
本发明的第四特征是点云解码方法,其主旨在于,具有对八叉树结构的各层的点数进行解码的工序。
本发明的第五特征是程序,其由点云解码装置使用,其主旨在于,使计算机执行对八叉树结构的各层的点数进行解码的工序。
发明效果
根据本发明,能够提供一种点云解码装置、点云解码方法及程序,能够实施限制输出点数的可扩展解码,以便使点数成为所指定的点数以下。
附图的简单说明
图1是表示一实施方式所涉及的点云处理系统10的结构的一例的图。
图2是表示一实施方式所涉及的点云解码装置200的功能块的一例的图。
图3是一实施方式所涉及的点云解码装置200的几何信息解码部2010所接收的编码数据(位流)的结构的一例。
图4是一实施方式所涉及的GPS2011的语法结构的一例。
图5是一实施方式所涉及的GPS2012A/2012B的语法结构的一例。
图6是一实施方式所涉及的GPS2012A/2012B的语法结构的一例。
图7是用于说明通过一实施方式所涉及的点云解码装置200的几何信息解码部2010解码的控制数据的图。
图8是用于说明通过一实施方式所涉及的点云解码装置200的几何信息解码部2010解码的控制数据的图。
图9是用于说明由一实施方式所涉及的点云解码装置200的属性信息解码部2060解码的控制数据的图。
图10是一实施方式所涉及的APS2061的语法结构的一例。
图11是用于说明一实施方式所涉及的点云解码装置200的LoD计算部2090的处理内容的一例的图。
图12是用于说明一实施方式所涉及的点云解码装置200的LoD计算部2090的处理内容的一例的图。
图13是用于说明现有技术的图。
具体实施方式
以下,一边参照附图一边对本发明的实施方式进行说明。此外,以下的实施方式中的构成要素能够适当地与已知的构成要素等替换,另外,能够进行包括与其他已知的构成要素组合的各种变形。因此,技术方案所记载的发明内容并不受以下实施方式记载的限定。
(第1实施方式)
以下,参照图1~图12,对本发明的第1实施方式所涉及的点云处理系统10进行说明。图1是表示本实施方式所涉及的实施方式所涉及的点云处理系统10的图。
如图1所示,点云处理系统10具有点云编码装置100和点云解码装置200。
点云编码装置100构成为通过对输入点云信号进行编码而生成编码数据(位流)。点云解码装置200构成为通过对位流进行解码而生成输出点云信号。
此外,输入点云信号和输出点云信号由点云内的各点的位置信息和属性信息构成。属性信息例如是各点的颜色信息、反射率。
在此,所述位流可以从点云编码装置100经由传输路径发送至点云解码装置200。另外,位流可以在被存储于存储介质之后,从点云编码装置100提供至点云解码装置200。
(点云解码装置200)
以下,参照图2,对本实施方式所涉及的点云解码装置200进行说明。图2是表示本实施方式所涉及的点云解码装置200的功能块的一例的图。
点云解码装置200具有对输入的由点云编码装置100生成的位流解码点云的位置信息和属性信息的功能。
如图2所示,点云解码装置200具有几何信息解码部2010、树合成部2020、近似表面合成部2030、几何信息重构部2040、逆坐标变换部2050、属性信息解码部2060、逆量化部2070、RAHT(Region Adaptive HierarcHical Transform:区域自适应分层变换)部2080、LoD(Level of Detail:细节级别)计算部2090、逆提升部2100和逆颜色变换部2110。以下,分别对图2所示的功能框图中的各部的详细功能进行说明。
几何信息解码部2010构成为对输入的从点云编码装置100输出的位流中的与几何信息有关的位流(几何信息位流)的语法进行解码。
解码处理例如是上下文自适应二进制算术解码处理。在此,例如语法包含用于控制位置信息的解码处理的控制数据(标志、参数)。
树合成部2020构成为对输入的由几何信息解码部2010解码而成的控制数据和后述的表示点云存在于树结构内的哪个节点的占用码(occupancy code)生成点存在于解码对象空间内的哪个区域的点的位置(树信息)。
近似表面合成部2030构成为使用由树信息合成部2020所生成的树信息生成近似表面信息。
对于近似表面信息而言,例如在对物体的三维点云数据进行解码时等,在点云密集地分布于物体表面这样的情况下,将点云的存在区域近似地表达于小平面而不对各个点云进行解码。
具体而言,近似表面合成部2030例如能够通过被称为“Trisoup”的方法生成近似表面信息。作为“Trisoup”的具体处理,例如能够使用非专利文献1非专利文献2和中记载的方法。另外,在对由Lidar等所取得的稀疏的点云进行解码的情况下,能够省略本处理。
几何信息重构部2040构成为基于由树信息合成部2020所生成的树信息和由近似表面合成部2030所生成的近似表面信息重构解码对象的点云的各点的几何信息(解码处理所假设的坐标系中的位置信息)。
逆坐标变换部2050构成为对输入的由几何信息重构部2040重构的几何信息进行从解码处理所假设的坐标系向输出点云信号的坐标系的变换并输出其位置信息。
属性信息解码部2060构成为对输入的从点云编码装置100输出的位流中的与属性信息有关的位流(属性信息位流)的语法进行解码。
解码处理例如是上下文自适应二进制算术解码处理。在此,例如语法包含用于控制属性信息的解码处理的控制数据(标志和参数)。
另外,属性信息解码部2060构成为根据解码而成的语法解码量化完毕残差信息。
逆量化部2070构成为基于由属性信息解码部2060解码而成的量化完毕残差信息和由属性信息解码部2060解码而成的作为控制数据之一的量化参数进行逆量化处理,并生成逆量化完毕残差信息。
逆量化完毕残差信息根据解码对象的点云的特征被输出至RAHT部2080和LoD计算部2090中的任一个。通过由属性信息解码部2060解码而成的控制数据指定被输出至哪一个。
RAHT部2080构成为使用被称为RAHT的Haar变换(解码处理中的逆Haar变换)中的一种,对输入的由逆量化完毕残差信息所生成的逆量化完毕残差信息和由几何信息重构部2040所生成的几何信息的各点的属性信息进行解码。作为RAHT的具体处理,例如能够使用非专利文献1和非专利文献2中记载的方法。
LoD计算部2090构成为生成输入的由几何信息重构部2040所的几何信息的LoD。
LoD是用于定义参照关系(要参照点和被参照点)的信息,该参照关系用于实现根据某点的属性信息预测另一点的属性信息,对预测残差进行编码或解码这样的预测编码。
换言之,LoD是定义了分级结构的信息,例如将几何信息所含的各点分类为多个层次,使用属于下层次的点的属性信息,对属于上层次的点的属性进行编码或解码。
作为LoD的具体确定方法,例如可以使用非专利文献1和非专利文献2中记载的方法。
逆提升部2100构成为使用由LoD计算部2090所生成的LoD和由逆量化完毕残差信息所生成的逆量化完毕残差信息,基于由LoD规定的分级结构对各点的属性信息进行解码。作为逆提升的具体处理,例如能够使用非专利文献1和非专利文献2中记载的方法。
逆颜色变换部2110构成为在解码对象的属性信息是颜色信息且在点云编码装置100侧进行了颜色变换的情况下,对从RAHT部2080或逆提升部2100输出的属性信息进行逆颜色变换处理。通过由属性信息解码部2060解码而成的控制数据确定是否执行所述逆颜色变换处理。
点云解码装置200构成为通过以上处理对点云内的各点的属性信息进行解码并输出。
以下,针对在本发明中点云解码装置200的各部的特有的部分进行说明。
(几何信息解码部2010)
以下,使用图4~图7对由几何信息解码部2010解码的控制数据进行说明。
图4是由几何信息解码部2010接收的编码数据(位流)的结构的一例。
第一:位流也可以包含GPS2011。GPS2011是Geometry Parameter Set(几何参数集)的简写且是与几何信息的解码有关的控制数据的集合。关于具体例将在后面说明。各GPS2011至少包含在存在多个GPS2011的情况下用于识别每一个的GPS id信息。
第二:位流也可以包含GSH2012A/2012B。GSH2012A/2012B是Geometry SliceHeader(几何切片报头)的简写且是与后述的切片对应的控制数据的集合。关于具体例将在后面说明。GSH2012A/2012B至少包含用于指定与各GSH2012A/2012B对应的GPS2011的GPSid信息。
第三:位流也可以在GSH2012A/2012B之后包含切片数据2013A/2013B。切片数据2013A/2013B中包含对几何信息编码而成的数据。作为切片数据2013A/2013B的一例,可列举出后述的占用码。
如上所述,位流成为GSH2012A/2012B和GPS2011分别与各切片数据2013A/2013B对应的结构。
如上所述,由于在GSH2012A/2012B中,用GPS id信息指定参照哪个GPS2011,因此能够对多个切片数据2013A/2013B使用共同的GPS2011。
换言之,GPS2011不一定需要对每个切片进行传输。例如,如图3所示,也可以设为在GSH2012B和切片数据2013B之前不对GPS2011编码这样的位流的结构。
此外,图3的结构仅仅为一例。只要是GSH2012A/2012B和GPS2011与各切片数据2013A/2013B对应的结构,则也可以追加上述以外的要素作为位流的构成要素。例如,位流也可以包含序列参数组(SPS)。另外,同样地,也可以在传输时整形为与图3不同的结构。
图4是GPS2011的语法结构的一例。
此外,以下说明的语法名称仅仅为一例。只要以下说明的语法的功能相同,则语法名称也可以不同。
GPS2011可以包含用于识别各GPS2011的GPS id信息(gps_geom_parameter_set_id)。
GPS2011可以包含用于由树合成部2020控制后述的IDCM(inferred DirectCoding Mode:推断直接编码模式)的ON/OFF的标志(inferred_direct_coding_mode_enabled_flag)。
在非专利文献1、非专利文献2中公开了一种不进行八叉树分割而进行四叉树分割、二叉树分割的方法(implicitQtBt),根据所述方法,如非专利文献1、非专利文献2所记载的那样,GPS2011也可以包含表示是否由树合成部2020进行四叉树分割、二叉树分割(QtBt)的标志(gps_implicit_geom_partition_flag)。
例如,在gps_implicit_geom_partition_flag的值是“1”的情况下,定义为进行“QtBt”,在gps_implicit_geom_partition_flag的值是“0”的情况下,定义为仅进行“Octree”。
GPS2011也可以包含对是否记录在解码树结构时的各分级的点数进行控制的标志(geom_recording_point_num_flag)。
在不应该对所述点数进行通知的情况下,通过将geom_recording_point_num_flag设为OFF,能够不进行所述点数的记录。通常,对所述点数进行的记录会增大数据大小,因此能够根据使用者的用途来切换geom_recording_point_num_flag的ON/OFF。
另外,作为对各层的点数进行通知的优点,若鉴于存在的可扩展解码的用例,则在文献A“[新建议(New proposal)]论隐式QTBT与可伸缩提升的互动关系(On interactionbetween implicit QTBT and Scalable lifting)(国际标准化组织/国际电工委员会JTC1/SC29/WG11 m53497)”中,当组合使用可扩展解码与Implicit QtBt时会产生问题,因此提出使两者互斥。因此,在gps_implicit_geom_partition_flag是ON的情况下,可以将geom_recording_point_num_flag设为OFF。
此外,图4的描述符(Descriptor)栏表示各语法如何被编码。ue(v)表示无码0阶指数哥伦布码,u(1)表示1位的标志。
图5是GSH2012A/2012B的语法结构的一例。
GSH2012A/2012B可以包含用于指定与该GSH2012A/2012B对应的GPS2012的语法(gsh_geometry_parameter_set_id)。
GSH2012A/2012B在与该GSH2012A/2012B对应的GPS2012中,当gps_implicit_geom_partition_flag的值是“1”时(即,是“ON”时),GSH2012A/2012B也可以追加包含与ImplicitQtBt有关的控制数据。
例如,在与ImplicitQtBt有关的控制数据中包含图5所示的gsh_log2_root_nodesize_s、gsh_log2_root_nodesize_t_minus_s、gsh_log2_root_nodesize_v_minus_t等。
另外,如图5所示,GSH2012A/2012B也可以包含表示由树合成部2020合成的树的各分级的点数的语法(gsh_point_num_per_deptH[i])。
可以规定为gsh_point_num_per_deptH[i]一定取“0”以上的值。gsh_point_num_per_deptH[i]例如可以由无码0阶指数哥伦布码进行编码,也可以由预先指定的位数进行编码。
另外,根据树结构中的最上层的节点是1个和树结构中的最下层的节点的点数由“总点数”-“最下层以外的节点的点数之和”计算,关于最上层的节点的点数和最下层的节点的点数作为可计算的数值,也可以不包含于gsh_point_num_per_deptH[i]而是由树合成部2020在几何信息的解码后进行计算。
另外,树结构中的各分级的点数也可以记录为与前一个保存的分级的点数的差值。在该情况下,由于所述差值取负的值,因此也可以由有码哥伦布码se(v)记录点数。
另外,从减少信息量的观点出发,在此记录的点数可以不是准确的点数而是点数的大致近似值。其结果,由于无需记载准确的点数,因此能够以较少的信息量写入点数的信息,另一方面,由于与实际的点数产生误差,因此在后述的“以控制为规定的点数的方式进行解码”的观点下,有可能超过规定的点数。
另外,由于认为对分辨率极低的点进行解码的用途少,因此在geom_recording_point_num_flag是ON的情况(例如,geom_recording_point_num_flag的值是“1”的情况)下,几何信息解码部2010也可以不记录由最上层起计m层的点数而跨越。
在该情况下,在geom_recording_point_num_flag是ON的情况下,几何信息解码部2010可以构成为根据被规定为语法的m,跨越最初的m层的点数(或者,点数的差)而不进行记录,将第m+1层以后的点数(或者,点数的差)记录为gsh_point_num_per_deptH[i]。
例如,当m=5时,几何信息解码部2010可以构成为不将第1层~第5层的点数(或者,点数的差)记录为gsh_point_num_per_deptH[i],而将第6层目以后的点数(或者,点数的差)从gsh_point_num_per_deptH[0]开始依次进行记录。
在图6中示出所述情况下的语法结构的一例。在图6中,m被记录为gsh_recording_start_layer的名称的语法。
在图6的例子中,gsh_recording_start_layer用无码0次指数哥伦布码表示,但鉴于无法考虑层的数变得极多的情况,也可以记录为s位的固定长度的描述符。
此外,对所述各分级的点数进行记录的部分也可以不一定是GSH2012A/2012B,例如,如果保证切片是一个,则所述各分级的点数也可以记录于GPS2011。
在可扩展解码的情况下,由LoD计算部2090形成的LoD结构和Octree结构的各分级一致,因此,所述各分级的点数也可以作为LoD结构的点数记录于后述的ASH(AttributeSlice Header:属性切片报头)、APS。
(树合成部2020)
使用图7和图8,对通过几何信息解码部2010解码的控制数据进行说明。
树合成部2020构成为通过对输入的由几何信息解码部2010解码而成的控制数据和后述的表示点云存在于树结构内的哪个节点的占用码的树结构进行解码,从而取得点存在于解码对象空间内的哪个区域的点的位置。
树合成部2020构成为通过将解码对象空间定义为立方体,递归地重复将立方体之中分割为2×2×2的进一步小的立方体,从而取得所述点的位置。此时,树合成部2020通过针对一个节点参照8位的占用码,依次计算节点形成于2×2×2的哪个区域。
在此,如图15所示,在实施可扩展解码功能时,根据非专利文献1,从点云解码装置200的外部提供表示跨越Octree结构的倒数几层的参数(SkipOctreeLayers)。如图7所示す,基于SkipOctreeLayers确定解码到上第几层。
由此,基于SkipOctreeLayers由点云解码装置20解码的点云的分辨率虽然能够可扩展地确定,但是如图8所示,无法知晓解码至下一层(图8中的点数C)时的点数。
由此,例如在希望使解码后的点云数为S个以下的方式停止处理而进行可扩展解码的情况下,当在图8中的“点数1+点数A+点数B”的时刻下是T点(T<S)时,若不对点数C的层进行解码,则无法判断即使对包含点数C的层的在内进行解码是否也不会超过S点或者当包含点数C的层在内时是否超过S点。
然而,对点数C的层进行解码相对应地会在计算资源上产生浪费。
因此,在本实施方式中,几何信息解码部2010通过对各层的点数进行通知,在对下一层进行解码之前便知晓下一层的点数,从而能够不实施解码而以控制为S点以下的方式进行解码处理。这不限于点云的个数,在以抑制整体点数不足50%的方式进行解码等指定比率的情况下也同样地可以考虑本实施方式。
在实施所述Octree结构的解码时,在非专利文献1、非专利文献2所记载的技术中导入了DCM(推断直接编码模式)。DCM是在与某一节点的下方相关的节点是一个点、两个点等数量少的节点的情况下,不记载占用码而对点所存在的位置直接进行编码并由点云解码装置200进行解码,从而提高压缩效率的工具。尤其,在非专利文献1、非专利文献2中导入了根据周围的节点默认地判定是否进行DCM的推断DCM(IDCM)。
(属性信息解码部2060)
以下,使用图9和图10对由属性信息解码部2060解码的控制数据进行说明。
图9是由几何信息解码部2060接收的编码数据(位流)的结构的一例。
第一:位流也可以包含APS2061。APS2061是Attribute parameter Set(属性参数组)的简写且是与属性信息的解码有关的控制数据的集合。关于具体例将在后面说明。
作为属性信息,除了点云的颜色信息以外,也可以考虑点云的反射率(Reflectance)的信息等,也可以根据属性的种类准备多个APS2061。各APS2061至少包含在存在多个APS2061的情况下用于识别每一个的APS id信息。
第二:位流也可以包含ASH2062A/2062B。ASH2062A/2062B是Attribute SliceHeader(属性切片报头)的简写且具有与各切片对应的控制数据。关于具体例将在后面说明。ASH2062A/2062B至少包含用于指定与各ASH2062A/2062B对应的APS2061的APS id信息。
第三:位流也可以在ASH2062A/2062B之后包含切片数据2063A/2063B。在切片数据2063A/2063B中包含对属性信息编码而成数据。
如上所述,位流成为ASH2062A/2062B和APS2061分别与各切片数据2063A/2063B对应的结构。
如上所述,由于在ASH2062A/2062B中,用APS id信息指定参照哪个APS2061,因此能够对多个切片数据2063A/2063B使用共同的APS2061。
此外,图9的结构仅仅为一例。只要是ASH2062A/2062B和APS2061与各切片数据2063A/2063B对应的结构,则也可以追加上述以外的要素作为位流的构成要素。例如,位流也可以包含序列参数组(SPS)。
另外,同样地,也可以在传输时整形为与图9不同的结构。而且,也可以与由所述几何信息解码部2010解码的位流合成作为单一的位流进行传输。例如,也可以将切片数据2013A和2063A、切片数据2013B和2063B分别作为单一的切片数据进行处理,成为在各切片之前分别配置GSH2012A和ASH2062A、GSH2012B和ASH2062B的结构。另外,此时,也可以在各GSH和ASH之前配置GPS2011和APS2061。
图10是APS2061的语法结构的一例。
APS2061可以包含用于识别各APS2061的APS id信息(aps_attr_parameter_set_id)。
APS2061可以包含表示属性信息的解码方法的信息(attr_coding_type)。例如,可以规定为当attr_coding_type的值是“1”时,在逆提升部2100中进行可变的加权提升预测,当attr_coding_type的值是“0”时,在RAHT部2080中进行RAHT,当attr_coding_type的值是“2”时,在逆提升部2100中进行在固定的权重下的提升预测。
APS2061可以包含表示当attr_coding_type的值是“2”时,即,在逆提升部2100中进行在固定的权重下的提升预测的情况下,是否应用可扩展提升(非专利文献3中公开的可扩展解码时的提升方法)的标志(lifting_scalability_enabled_flag)。
在本实施方式中,设定在lifting_scalability_enabled_flag是“0”的情况下,不实施可扩展提升,在lifting_scalability_enabled_flag是“1”的情况下,实施可扩展提升。
在本实施方式中,将Octree结构的各层的点数规定为语法的目的在于,在实施该可扩展解码时,知晓未解码的第n+1层的点数。由此,可以规定为当不使用可扩展提升时(当lifting_scalability_enabled_flag=0时),geom_recording_point_num_flag一定设定为“0”。
(LoD计算部2090)
以下,使用图11和图12,对LoD计算部2090的处理内容的一例进行说明。
LoD计算部2090构成为生成输入的由几何信息重构部2040生成的几何信息。
LoD结构的生成方法在非专利文献1、非专利文献2中也有提及,但在实施图15所示的可扩展解码的情况下,需要使LoD结构中的各层的点数与Octree结构中的各层的点数一致。这是由于在进行可扩展解码时,关于Geometry(Octree)结构和Attribute(LoD)结构,分别如图11所示,即使跨越至哪层也使点数一致。
为了实现所述Octree结构和LoD结构中的点数的一致,在可扩展提升中,LoD计算部2090构成为以Octree结构为基础生成LoD。
作为参考,若记载编码时的LoD结构的生成方法,具体而言,如图12所示,将由几何信息重构部2040得到的点云配置于LoD结构中的最下层(在此的下是指点密集的方向/金字塔的下方),将具有相同父节点的位置的节点作为一个集合,以其中的一个点为代表向上层的LoD选出。
未选择的点留着该层中。通过重复该动作,被向上层选出的点的数与Octree结构的相同深度的层的点数一致。
在点云解码装置200进行可扩展解码的情况下,从中间层朝向图12中的上部依次进行LoD的生成,虽然在位置上产生量化误差,但将哪个点上升来构建LoD的LoD结构本身能够以即使在从中间层进行解码的情况下也相同的方式进行构建。
在形成所述LoD结构时,作为对向上选出的点进行选择的方法,如非专利文献1、非专利文献2所示,可以采用基于莫顿码的顺序,选出莫顿码最小/大的方法,或者,如文献B“[G-PCC]CE13.15用于空间可缩放性的具有距质心的距离的LoD生成报告(report on LoDgeneration with distance from centroid for spatial scalability)(国际标准化组织/国际电工委员会JTC1/SC29/WG11 m53288)”所示,可以采用在属于相同父节点的集团中计算重心,选出最接近该重心的点的方法。
另外,如上所述,在实施基于重心位置的LoD的生成时,在点是两个点的情况下等,重心位置一定是点彼此的中间而难以选择接近重心的点的问题。在这样的情况下,能够根据莫顿码的顺序等选出其中一个,但一定能够选出最佳的点。
因此,树合成部2020在实施可扩展解码时,解码至比SkipOctreeLayers所指定的层还深一级的层,在重心成为中间位置的情况下,也可以根据与各点的再下一层相关的点的数进行将数多的一方选择为上方的LoD这样的LoD的生成的精炼化。
另外,可以采用选出与位于下两层的点的重心位置最接近的点的方法、选出与通过对下一层的重心位置和下两层的重心位置加权而计算出的重心位置最接近的节点的方法。另外,树合成部2020不仅可以对下一层进行解码,而且也可以解码至下m层,并基于其几何信息进行LoD的生成的精炼化。
另外,上述的点云编码装置100和点云解码装置200也可以通过使计算机执行各功能(各工序)的程序实现。
此外,在上述的各实施方式中,以将本发明应用于点云编码装置100和点云解码装置200为例进行了说明,但本发明并不仅限定于所述例子,也可以同样应用于具有点云编码装置100和点云解码装置200的各功能的点云编码/解码系统。
附图标记说明
10:点云处理系统;100:点云编码装置;200:点云解码装置;2010:几何信息解码部;2020:树合成部;2030:近似表面合成部;2040:几何信息重构部;2050:逆坐标变换部;2060:属性信息解码部;2070:逆量化部;2080:RAHT部;2090:LoD计算部;2100:逆提升部;2110:逆颜色变换部。
Claims (7)
1.一种点云解码装置,其特征在于,具备:
几何信息解码部,其构成为对八叉树结构的各层的点数进行解码。
2.根据权利要求1所述的点云解码装置,其特征在于,
所述几何信息解码部构成为不对所述各层的点数中的最上层的点数和最下层的点数进行解码。
3.根据权利要求2所述的点云解码装置,其特征在于,
所述最上层的点数是1。
4.根据权利要求1至3中任一项所述的点云解码装置,其特征在于,
具备树合成部,其构成为基于所述点数确定进行可扩展解码的层的数,以便不超过作为输入参数提供的输出最大点数。
5.根据权利要求1至3中任一项所述的点云解码装置,其特征在于,
具备树合成部,其构成为基于所述点数确定进行可扩展解码的层的数,以便不超过作为输入参数提供的比率。
6.一种点云解码方法,其特征在于,
具有对八叉树结构的各层的点数进行解码的工序。
7.一种程序,其由点云解码装置使用,其特征在于,
使计算机执行对八叉树结构的各层的点数进行解码的工序。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020107205A JP2022002382A (ja) | 2020-06-22 | 2020-06-22 | 点群復号装置、点群復号方法及びプログラム |
JP2020-107205 | 2020-06-22 | ||
PCT/JP2021/019523 WO2021261142A1 (ja) | 2020-06-22 | 2021-05-24 | 点群復号装置、点群復号方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115885317A true CN115885317A (zh) | 2023-03-31 |
Family
ID=79244440
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180044630.7A Pending CN115885317A (zh) | 2020-06-22 | 2021-05-24 | 点云解码装置、点云解码方法及程序 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230125529A1 (zh) |
JP (1) | JP2022002382A (zh) |
CN (1) | CN115885317A (zh) |
WO (1) | WO2021261142A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023101340A (ja) * | 2022-01-07 | 2023-07-20 | Kddi株式会社 | 点群復号装置、点群復号方法及びプログラム |
JP2023101094A (ja) * | 2022-01-07 | 2023-07-20 | Kddi株式会社 | 点群復号装置、点群復号方法及びプログラム |
JP2024008354A (ja) * | 2022-07-08 | 2024-01-19 | Kddi株式会社 | 点群復号装置、点群復号方法及びプログラム |
JP2024008353A (ja) * | 2022-07-08 | 2024-01-19 | Kddi株式会社 | 点群復号装置、点群復号方法及びプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6826368B2 (ja) * | 2016-01-14 | 2021-02-03 | キヤノン株式会社 | 符号化装置及びその制御方法 |
EP3293702B1 (en) * | 2016-09-13 | 2020-04-29 | Dassault Systèmes | Compressing a signal that represents a physical attribute |
CN110832550B (zh) * | 2017-07-10 | 2023-10-13 | 索尼公司 | 信息处理装置和方法 |
CN112424833A (zh) * | 2018-07-13 | 2021-02-26 | 松下电器(美国)知识产权公司 | 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置 |
-
2020
- 2020-06-22 JP JP2020107205A patent/JP2022002382A/ja active Pending
-
2021
- 2021-05-24 CN CN202180044630.7A patent/CN115885317A/zh active Pending
- 2021-05-24 WO PCT/JP2021/019523 patent/WO2021261142A1/ja active Application Filing
-
2022
- 2022-12-22 US US18/145,589 patent/US20230125529A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230125529A1 (en) | 2023-04-27 |
JP2022002382A (ja) | 2022-01-06 |
WO2021261142A1 (ja) | 2021-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113574540B (zh) | 点云编解码方法、装置和电子设备 | |
CN115885317A (zh) | 点云解码装置、点云解码方法及程序 | |
US5818463A (en) | Data compression for animated three dimensional objects | |
US20230080852A1 (en) | Use of tiered hierarchical coding for point cloud compression | |
JP7233561B2 (ja) | 点群圧縮のための方法並びにその、装置およびコンピュータプログラム | |
JP2007116725A (ja) | データアレイの予測符号化方法およびシステム | |
JP2024022620A (ja) | 点群復号装置、点群復号方法及びプログラム | |
CN113892235A (zh) | 用于点云译码的方法和设备 | |
WO2021256486A1 (ja) | 点群復号装置、点群復号方法及びプログラム | |
JP7499665B2 (ja) | 点群復号装置、点群復号方法及びプログラム | |
KR20220035041A (ko) | 정보 처리 장치 및 방법 | |
JP7505954B2 (ja) | 点群復号装置、点群復号方法及びプログラム | |
JP7499666B2 (ja) | 点群復号装置、点群復号方法及びプログラム | |
WO2023277128A1 (ja) | 点群復号装置、点群復号方法及びプログラム | |
JP2024093896A (ja) | 点群復号装置、点群復号方法及びプログラム | |
CN116781927A (zh) | 一种点云处理方法及相关设备 | |
CN116368523A (zh) | Uv坐标编码 | |
CN115152225A (zh) | 用于点云译码的方法和设备 | |
CN115702568A (zh) | 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法 | |
Li | Progressive compression of three-dimensional graphics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |