CN115486079A - 用于构建三维几何的方法和装置 - Google Patents

用于构建三维几何的方法和装置 Download PDF

Info

Publication number
CN115486079A
CN115486079A CN202180027098.8A CN202180027098A CN115486079A CN 115486079 A CN115486079 A CN 115486079A CN 202180027098 A CN202180027098 A CN 202180027098A CN 115486079 A CN115486079 A CN 115486079A
Authority
CN
China
Prior art keywords
hash table
size
information associated
bounding boxes
current point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180027098.8A
Other languages
English (en)
Inventor
张翔
高文
刘杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/501,779 external-priority patent/US12131506B2/en
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of CN115486079A publication Critical patent/CN115486079A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/007—Transform coding, e.g. discrete cosine transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Discrete Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Revetment (AREA)

Abstract

本公开的方面包括用于点云压缩的方法、装置和非暂时性计算机可读存储介质。一种装置包括处理电路，所述处理电路编码与点云的多个点中的当前点相关联的信息。所述多个点被划分进多个边界框。所述处理电路确定哈希表的第一尺寸是否大于或等于所述哈希表的预定最大尺寸。所述处理电路基于所述哈希表的所述第一尺寸大于或等于所述哈希表的所述预定最大尺寸，从所述哈希表中移除与所述多个边界框中的非边界点相关联的信息。所述处理电路将与所述当前点相关联的已编码信息存储到所述哈希表中。

Description

用于构建三维几何的方法和装置
相关申请的交叉引用
本申请要求于2021年10月14日提交的标题为“用于构建3D几何的方法和装置”的美国专利申请第17/501,779号的优先权权益，该美国专利申请要求于2021年3月5日提交的标题为“更新针对点云编码的哈希收缩”的美国临时申请第63/157,519号的优先权权益，这些专利申请的全部内容通过引用并入本文中。
技术领域
本申请描述了总体上涉及包括哈希(Hash)收缩方法的点云编码(PCC)的实施例。
背景技术
本文所提供的背景描述是出于总体上呈现本申请上下文的目的。在背景技术部分以及本说明书的各个方面中所描述的目前已署名的发明人的工作所进行的程度，并不表明其在本申请提交时作为现有技术，且从未明示或暗示其被承认为本申请的现有技术。
近年来，点云得到了广泛的应用。例如，点云在自动驾驶车辆中用于对象检测和定位，在地理信息系统(GIS)中用于制图，在文化遗产中用于可视化和归档文化遗产对象和收藏品等。
发明内容
本申请的各方面提供了一种用于点云压缩的装置。一种装置包括处理电路，所述处理电路编码与点云的多个点中的当前点相关联的信息。将所述多个点划分进多个边界框。所述处理电路确定哈希表的第一尺寸是否大于或等于所述哈希表的预定最大尺寸。所述处理电路基于所述哈希表的所述第一尺寸大于或等于所述哈希表的所述预定最大尺寸，从所述哈希表中移除与所述多个边界框中的非边界点相关联的信息。所述处理电路将与所述当前点相关联的已编码信息存储到所述哈希表中。
在一个实施例中，所述处理电路确定所述当前点的校验点是否与已保存的校验点相同，所述当前点的所述校验点是基于所述多个边界框中的每一个边界框的边界尺寸和所述当前点的位置生成的。所述处理电路基于所述当前点的所述校验点与所述已保存的校验点不同，从所述哈希表中移除与所述多个边界框中的所述非边界点相关联的所述信息。所述处理电路基于所述当前点的所述校验点修改所述已保存的校验点。
在一个实施例中，所述处理电路确定所述哈希表的第二尺寸是否大于或等于所述哈希表的所述预定最大尺寸。基于所述哈希表的所述第二尺寸大于或等于所述哈希表的所述预定最大尺寸，所述处理电路从所述哈希表中移除与所述多个边界框中的所有剩余点相关联的信息。
在一个实施例中，所述处理电路从所述哈希表中移除与所述多个边界框中的所有剩余点相关联的信息。
在一个实施例中，所述处理电路将以下至少一个编码成比特流：所述哈希表的所述预定最大尺寸和所述多个边界框中的每一个边界框的边界尺寸。
在一个实施例中，所述处理电路将模式索引编码成比特流，所述模式索引指示多个哈希表收缩模式中的一个。
在一个实施例中，所述处理电路基于所述模式索引对以下至少一个进行编码：所述哈希表的所述预定最大尺寸和所述多个边界框中的每一个边界框的边界尺寸。
在一个实施例中，与所述当前点相关联的所述信息包括以下之一：与所述当前块相关联的几何信息和与所述当前块相关联的属性信息。
本公开的方面提供了一种用于点云压缩的方法。所述方法可以执行由用于点云压缩的装置执行的过程中的任何一个或组合。在所述方法中，编码与点云的多个点中的当前点相关联的信息。将所述多个点划分进多个边界框。确定哈希表的第一尺寸是否大于或等于所述哈希表的预定最大尺寸。基于所述哈希表的所述第一尺寸大于或等于所述哈希表的所述预定最大尺寸，从所述哈希表中移除与所述多个边界框中的非边界点相关联的信息。将与所述当前点相关联的已编码信息存储到所述哈希表中。
本公开的方面还提供了其上存储有指令的非暂时性计算机可读介质，所述指令在由至少一个处理器执行时，使得所述至少一个处理器执行用于点云压缩的任何一种方法或多种方法的组合。
附图说明
通过以下详细描述和附图，所公开的主题的其他特征、性质和各种优势将更加明显，在附图中：
图1示出了根据本公开实施例的基于提升的属性编码中的示例性正向变换。
图2示出了根据本公开实施例的基于提升的属性编码中的示例性逆变换。
图3A示出了根据本公开实施例的基于区域自适应分层变换的属性编码中的示例性正向变换。
图3B示出了根据本公开实施例的基于区域自适应分层变换的属性编码中的示例性逆变换。
图4示出了根据本公开实施例的边界框的示例性二维图示。
图5示出了根据本公开实施例的示例性哈希收缩算法。
图6示出了根据本公开实施例的另一示例性哈希收缩算法。
图7示出了根据本公开实施例的另一示例性哈希收缩算法。
图8示出了根据本公开实施例的另一示例性哈希收缩算法。
图9示出了根据本公开实施例的示例性流程图。
图10示出了本公开实施例的另一示例性流程图。
图11示出了根据本公开实施例的计算机系统的示意图。
具体实施方式
一、点云压缩
点云可以包含一组高维点，例如三维(3D)点。每个3D点可以包括3D位置信息和附加属性，例如颜色、反射率等。这些信息可以由多个相机和深度传感器或各种设置的激光雷达来采集，并且可以由成千上万甚至数以亿计的点组成以真实地表示原始场景。
使用压缩技术来减少表示点云所需的数据量，以实现更快的传输或更小的存储。国际标准化组织(ISO)/国际电工委员会(IEC)运动图像专家组(MPEG)创建了一个专责小组(MPEG-PCC)来对静态或动态云的压缩技术进行标准化。
在诸如MPEG中的测试模型13(TMC13)之类的一些相关示例中，几何信息和相关属性(例如颜色或反射率信息)被单独压缩。利用八叉树分割机制，对几何信息(几何信息是点云的3D坐标)与相关联的占用信息一起进行编码。然后使用单独的属性编码技术(例如基于预测的属性编码技术、基于提升的属性编码技术或基于区域自适应分层变换(RAHT)的属性编码技术)基于重建几何对属性进行压缩。
在以下讨论中，仅使用一个细节级别(LoD)作为点云表示的示例。
在基于预测的属性编码中，(Pi)i＝1…N是与点云中的点相关联的一组位置，(Mi)i＝1…N是与(Pi)i＝1…N相关联的莫顿码(Morton code)。首先，根据相关联的莫顿码以升序对点进行排序。设置I为根据此处理排序的点索引的阵列。编码器(或解码器)根据由I定义的顺序来对各个点进行压缩(或解压缩)。在每次迭代i中，选择一个点Pi。分析Pi到s(例如，s＝64)个先前点的距离，并选择Pi的k(例如，k＝3)个最近相邻点以用于预测。更准确地说，是通过使用基于点i的最近相邻点的距离的线性插值处理来预测属性值(ai)i∈0…k-1。设置
Figure BDA0003878602720000041
为当前点i的k个最近相邻点的集合，设置
Figure BDA0003878602720000042
为已解码(或已重建)的属性值，并且设置
Figure BDA0003878602720000043
为至当前点的距离。已预测的属性值
Figure BDA0003878602720000044
由下式给出：
Figure BDA0003878602720000051
基于提升的属性编码是以基于预测的属性编码为基础。与基于预测的属性编码相比主要区别在于，在基于提升的属性编码中引入了两个附加的步骤。第一个步骤是引入一个更新操作符，第二个步骤是使用自适应量化策略。图1和图2分别示出了根据本公开实施例的基于提升的属性编码中的示例性正向变换和示例性逆变换。
图3A和图3B分别示出了根据本公开实施例的基于RAHT的属性编码中的示例性正向变换和示例性逆变换。在图3A和图3B中，
Figure BDA0003878602720000052
并且w0是输入系数Fl+1,2n的权重符号，而w1是输入系数Fl+1,2n+1的权重符号。
二、基于哈希的点云压缩
根据本公开的方面，基于哈希的相邻信息访问方法可以用于点云压缩中的几何编码和属性编码。
已编码的几何(或属性)信息可以保存在哈希表中，并作为后续已编码节点的预测值而被检索。哈希表可用于存储已重建的几何(或属性)值。例如，维护一个哈希表H，其中，哈希表的键(key)可以是一个点的3D坐标的莫顿码，即，Mi＝Morton(xi,yi,zi)，其中，(xi,yi,zi)是第i个点的3D坐标。使用莫顿码Mi作为键，可以直接在哈希表H中访问已重建的几何(或属性)值。如果H(Mi)为空(NULL)，则表示该位置(xi,yi,zi)未被占用且没有与该位置(xi,yi,zi)相关联的几何(或属性)值或者与该位置(xi,yi,zi)相关联的几何(或属性)值尚未被编码。
在编码(或解码)当前点的几何(或属性)值时，可以从哈希表H中获取当前点的相邻点的先前已编码的几何(或属性)值，作为当前点的预测值。在对当前点的几何(或属性)值进行编码(或解码)后，将当前点的已重建的几何(或属性)值存储在哈希表H中。
根据本公开的方面，可以基于哈希收缩技术来减小哈希表的尺寸。如果哈希表的尺寸超过哈希表的最大尺寸，则可以使用哈希收缩技术。由于点云的点可以被划分进多个边界框，为了在保持编码效率的同时缩小哈希表的尺寸，可以移除某些点。在一种方法中，可以移除不在点云的多个边界框的边界处的所有点并且保留边界点。
在一些实施例中，在一种或多种条件下，可以允许多个边界点超过最大哈希表尺寸。例如，如果点云具有密集的几何分布(例如，点云中的点是密集分布的)，则边界点的数量可以大于最大哈希表尺寸。在这种情况下，最大哈希表尺寸可以是软阈值而不是硬阈值，因为哈希表的实际尺寸可能会超过最大哈希表尺寸。
本公开包括哈希收缩策略以进一步减小实际的哈希表尺寸。一些收缩策略可能会导致降低编码效率。值得注意的是，哈希收缩策略可以应用于PCC应用中的几何编码和属性编码中的一者或两者。
值得注意的是，哈希收缩策略不限于TMC13软件或MPEG中的PCC或者音频视频编码标准(AVS)中的PCC。哈希收缩策略可以是针对PCC系统的通用解决方案。
在一些实施例中，可以在哈希收缩方法中引入至少一个参数。第一个参数可以是最大哈希表尺寸，第二个参数可以是点云的多个边界框中的每一个边界框的边界尺寸。最大哈希表尺寸可以以log2比例定义。例如，一个参数K将哈希表的最大尺寸定义为2K。边界尺寸也可以以log2比例定义。例如，M定义3D空间中的边界框(2M,2M,2M)。值得注意的是，这两个参数可以针对所有情况是固定的，也可以根据不同情况分别进行配置，并作为高级语法的一部分在比特流中发送，例如序列参数集、几何参数集、切片标头或类似。当哈希表达到最大容量时，可以通过移除哈希表中的部分或全部元素来缩小哈希表。在不同的情况下，关于要移除哪些元素的规则可能会有所不同。
根据本公开的方面，当哈希表达到最大容量时，可以从哈希表中移除存储点云中的非边界点的信息的元素。
图4示出了根据本公开的实施例的边界框(401)-(404)的示例性二维图示，其中，边界框(401)-(403)被编码，而边界框(404)还未被编码。在每个边界框中，阴影区域代表边界点。例如，阴影区域(411)表示边界框(401)的边界点，区域(412)表示边界框(401)的非边界点。值得注意的是，边界点不限于位于二维表示的边界框的底侧和/或右侧。在其他情况下，边界点可以位于一个或多个其他侧边的组合处，例如二维表示的边界框的左侧和/或顶侧。
图5示出了根据本公开实施例的哈希收缩算法。在这种哈希收缩算法中，哈希表中存储边界框的非边界点的信息的元素被从哈希表中移除。例如，如果在3D空间中每个边界框的大小为(2M,2M,2M)，则边界点的至少一个位置坐标等于2i*M-1(i＝1,2,3,…)。在本实施例中，保留存储边界点信息的所有哈希元素，并从哈希表中移除其余元素。
图6示出了根据本公开实施例的另一哈希收缩算法。在这种哈希收缩算法中，为了限制编码效率损失，只能在当前点p到达新的边界框时才进行哈希操作。例如，假设对输入点云中的点按一定的顺序进行排序，例如莫顿顺序。校验点可用于检查当前点p是否到达新的边界框。当前点p的校验点的坐标可以定义为(p.x>>M,p.y>>M,p.z>>M)，其中2M为边界尺寸。如果当前点p的校验点与已保存的校验点不同，则表明当前点到达了不包含已保存的校验点的新边界框，然后可以应用收缩操作并将已保存的校验点更新为当前点的校验点。以图4为例，可以在边界框(401)中设置初始校验点为(0,0,0)，M＝4，使得每个边界框的边界尺寸为16。如果当前点p位于(20,20,20)处，则当前点p的校验点为与初始校验点(0,0,0)不同的(20>>4,20>>4,20>>4)＝(1,1,1)。这意味着当前点p到达边界框(402)，因此如果哈希表的尺寸超过最大哈希表尺寸，则可以应用收缩操作。
图7示出了根据本公开实施例的另一收缩算法。在这种收缩算法中，在通过如图6所示移除非边界点来收缩哈希表之后，如果哈希表尺寸仍然大于定义的阈值(例如，最大哈希表尺寸)，则可以移除哈希表中的附加点。在一个实施例中，可以移除哈希表中的所有点。在一个实施例中，在通过如图6所示移除非边界点来收缩哈希表之后，如果哈希表尺寸仍然大于定义的阈值，可以不移除哈希表中的所有点，而是根据特定的规则移除一些点。例如，根据具体规则，可以移除最先加入哈希表的点，移除哈希表中莫顿码较小的点等。
图8示出了根据本公开实施例的另一收缩算法。在这种收缩算法中，由K定义的最大哈希尺寸是一个硬阈值。也就是说，一旦哈希表尺寸超过硬阈值，就可以清空哈希表。在一个实施例中，通过移除所有点来清空哈希表。在这种情况下，可以省略边界尺寸M，因为收缩条件不再依赖于边界尺寸M。
在一些实施例中，可以通过信号通知哈希收缩算法中的预定义参数，例如K＝maxHashSizeLog2和M＝hashBoundarySizeLog2。在一些实施例中，可以在高级语法中通过信号发送预定义参数。此外，可以通过信号通知收缩模式索引以在不同的收缩策略之间切换。例如，可以在比特流的序列标头、切片标头、几何参数集(Geometry Parameter Set，GPS)或属性参数集(Attribute Parameter Set，APS)中指定这些参数。由于这些收缩策略可用于几何编码和属性编码，因此可以为几何编码和属性编码分别配置参数。因此，可以分别在GPS和APS中通过信号通知两组参数。
在一个实施例中，如表1所示，通过信号通知K和M以用于GPS中的几何编码。语法元素gps_hash_max_size_log2定义log2中的最大哈希表尺寸，即K＝gps_hash_max_size_log2，用于几何编码。语法元素gps_hash_boundary_size_log2定义log2中的边界尺寸，即M＝gps_hash_boundary_size_log2，用于几何编码。语法元素gps_hash_shrink_mode为几何编码指定了不同的哈希收缩策略。
表1
Figure BDA0003878602720000091
在一个实施例中，如表2所示，通过信号通知K和M以用于APS中的属性编码。语法元素aps_hash_max_size_log2定义log2中的最大哈希表尺寸，即K＝aps_hash_max_size_log2，用于属性编码。语法元素gps_hash_boundary_size_log2定义log2中的边界尺寸，即M＝gps_hash_boundary_size_log2，用于属性编码。语法元素aps_hash_shrink_mode为属性编码指定了不同的哈希收缩策略。
表2
Figure BDA0003878602720000092
在一些实施例中，不同的收缩策略可以具有不同的参数集。表3示出了APS中的不同参数集，而GPS中也可以应用相同的信号通知方法。语法元素aps_hash_mode0_param0和aps_hash_mode0_param1是当语法元素aps_hash_shrink_mode等于0时的示例参数。例如，语法元素aps_hash_mode0_param0和aps_hash_mode0_param1可以分别是最大哈希表尺寸的第一值和边界尺寸的第一值。语法元素aps_hash_mode1_param0和aps_hash_mode1_param1是当语法元素aps_hash_shrink_mode等于1时的示例性参数。例如，语法元素aps_hash_mode1_param0和aps_hash_mode1_param1可以分别是最大哈希表尺寸的第二值和边界尺寸的第二值。
表3
Figure BDA0003878602720000101
三、流程图
图9示出了概述根据本公开实施例的示例性处理(900)的流程图。在各种实施例中，处理(900)由处理电路执行，例如，图11中所示的处理电路。在一些实施例中，处理(900)以软件指令实现，因此当处理电路执行软件指令时，处理电路执行处理(900)。
处理(900)通常可以开始于步骤(S910)，其中，处理(900)编码与点云的多个点中的当前点相关联的信息。将所述多个点划分进多个边界框。然后，处理(900)进入步骤(S920)。
在步骤(S920)处，处理(900)确定哈希表的第一尺寸是否大于或等于哈希表的预定最大尺寸。然后，处理(900)进入步骤(S930)。
在步骤(S930)处，处理(900)基于哈希表的第一尺寸大于或等于哈希表的预定最大尺寸，从哈希表中移除与多个边界框中的非边界点相关联的信息。然后，处理(900)进入步骤(S940)。
在步骤(S940)处，处理(900)将与当前点相关联的已编码信息存储到哈希表中。然后，处理(900)结束。
在一个实施例中，处理(900)确定当前点的校验点是否与已保存的校验点一致。当前点的校验点是基于多个边界框中的每一个边界框的边界尺寸来确定的。处理(900)基于当前点的校验点不同于已保存的校验点，从哈希表中移除与多个边界框中的非边界点相关联的信息。处理(900)基于当前点的校验点修改已保存的校验点。
在一个实施例中，处理(900)确定哈希表的第二尺寸是否大于或等于哈希表的预定最大尺寸。处理(900)基于哈希表的第二尺寸大于或等于哈希表的预定最大尺寸，从哈希表中移除与多个边界框中的所有剩余点相关联的信息。
在一个实施例中，处理(900)从哈希表中移除与多个边界框中的所有剩余点相关联的信息。
在一个实施例中，处理(900)将以下至少一个编码成比特流中：哈希表的预定最大尺寸和多个边界框中的每一个边界框的边界尺寸。
在一个实施例中，处理(900)将模式索引编码成比特流中，所述模式索引指示多个哈希表收缩模式中的一个。
在一个实施例中，处理(900)基于模式索引对以下至少之一进行编码：哈希表的预定最大尺寸和多个边界框中的每一个边界框的边界尺寸。
在一个实施例中，与当前点相关联的信息包括以下之一：与当前块相关联的几何信息和与当前块相关联的属性信息。
图10示出了概述根据本公开的实施例的示例性处理(1000)的另一流程图。在各种实施例中，处理(1000)由处理电路执行，例如，图11中所示的处理电路。在一些实施例中，处理(1000)以软件指令实现，因此当处理电路执行软件指令时，处理电路执行处理(1000)。
处理(1000)通常可以开始于步骤(S1010)，其中，处理(1000)接收包括哈希表的比特流，所述哈希表存储与点云的点的第一子集相关联的已编码信息。基于第一子集的点和第二子集的点中的若干点大于预定的最大哈希表尺寸，从哈希表中省略或移除点云的点的第二子集。将点云的点划分进多个边界框，点的第二子集包括多个边界框的非边界点。然后，处理(1000)进入步骤(S1020)。
在步骤(S1020)处，处理(1000)解码与点云的点的第一子集相关联的已编码信息。然后，处理(1000)进入步骤(S1030)。
在步骤(S1030)处，处理(1000)基于与点云的点的第一子集相关联的已解码信息来重建点云。然后，处理(1000)结束。
四、计算机系统
可以将上述技术实现为计算机软件，该计算机软件使用计算机可读指令，并且物理存储在一个或多个计算机可读介质中。例如，图11示出适于实施所公开的主题的某些实施例的计算机系统(1100)。
可以使用任何合适的机器代码或计算机语言对计算机软件进行编码，任何合适的机器代码或计算机语言可以经受汇编、编译、链接或类似的机制以创建包括指令的代码，该指令可以由一个或多个计算机中央处理单元(CPU)、图形处理单元(GPU)等直接执行或通过译码、微码等执行。
指令可以在各种类型的计算机或其组件上执行，例如包括个人计算机、平板计算机、服务器、智能电话、游戏装置、物联网装置等。
图11所示的计算机系统(1100)的组件本质上是示例性的，并且不旨在对实施本申请实施例的计算机软件的用途或功能的范围提出任何限制。组件的配置也不应被解释为具有与计算机系统(1100)的示例性实施例中所示的组件中的任何一个组件或组件的组合有关的任何依赖或要求。
计算机系统(1100)可以包括某些人机接口输入装置。此类人机接口输入装置可以响应于一个或多个人类用户通过例如下述的输入：触觉输入(例如：击键、划动，数据手套移动)、音频输入(例如：语音、拍手)、视觉输入(例如：手势)、嗅觉输入(未示出)。人机接口装置还可以用于采集不一定与人的意识输入直接相关的某些媒介，例如音频(例如：语音、音乐、环境声音)、图像(例如：扫描的图像、从静止图像相机获取的摄影图像)、视频(例如二维视频、包括立体视频的三维视频)等。
输入人机接口装置可以包括下述中的一项或多项(每种中仅示出一个)：键盘(1101)、鼠标(1102)、触控板(1103)、触摸屏(1110)、数据手套(未示出)、操纵杆(1105)、麦克风(1106)、扫描仪(1107)、相机(1108)。
计算机系统(1100)也可以包括某些人机接口输出装置。这样的人机接口输出装置可以例如通过触觉输出、声音、光和气味/味道来刺激一个或多个人类用户的感官。此类人机接口输出装置可以包括触觉输出装置(例如触摸屏(1110)的触觉反馈、数据手套(未示出)或操纵杆(1105)，但也可以是不作为输入装置的触觉反馈装置)、音频输出装置(例如：扬声器(1109)、耳机(未示出))、视觉输出装置(例如包括CRT屏幕、LCD屏幕、等离子屏幕、OLED屏幕的屏幕(1110)，每种屏幕有或没有触摸屏输入功能，每种屏幕都有或没有触觉反馈功能，其中的一些屏幕能够通过诸如立体图像输出、虚拟现实眼镜(未示出)、全息显示器和烟箱(未示出)以及打印机(未示出)之类的装置来输出二维视觉输出或超过三维的输出。这些视觉输出装置(例如屏幕(1110))可以通过图形适配器(1150)连接到系统总线(1148)。
计算机系统(1100)也可以包括人类可访问存储装置及其关联介质：例如包括具有CD/DVD等介质(1121)的CD/DVD ROM/RW(1120)的光学介质、指状驱动器(1122)、可拆卸硬盘驱动器或固态驱动器(1123)、诸如磁带和软盘之类的传统磁性介质(未示出)、诸如安全软件狗(未示出)之类的基于专用ROM/ASIC/PLD的装置等。
本领域技术人员还应该理解，结合当前公开的主题使用的所术语“计算机可读介质”不涵盖传输介质、载波或其他暂时性信号。
计算机系统(1100)还可以包括到一个或多个通信网络(1155)的接口(1154)。所述一个或多个通信网络(1155)可以例如是无线网络、有线网络、光网络。所述一个或多个通信网络(1155)可以进一步是本地网络、广域网络、城域网络、车辆和工业网络、实时网络、延迟容忍网络等。所述一个或多个通信网络(1155)的示例包括诸如以太网之类的局域网、无线LAN、包括GSM、3G、4G、5G、LTE等的蜂窝网络、包括有线电视、卫星电视和地面广播电视的电视有线或无线广域数字网络、包括CANBus的车辆和工业用电视等等。某些网络通常需要连接到某些通用数据端口或外围总线(1149)的外部网络接口适配器(例如计算机系统(1100)的USB端口)。如下所述，其他网络接口通常通过连接到系统总线而集成到计算机系统(1100)的内核中(例如，连接到PC计算机系统中的以太网接口或连接到智能手机计算机系统中的蜂窝网络接口)。计算机系统(1100)可以使用这些网络中的任何一个网络与其他实体通信。此类通信可以是仅单向接收的(例如，广播电视)、仅单向发送的(例如，连接到某些CANbus装置的CANbus)或双向的，例如，使用局域网或广域网数字网络连接到其他计算机系统。如上所述，可以在那些网络和网络接口的每一个上使用某些协议和协议栈。
上述人机接口装置、人机可访问的存储装置和网络接口可以附接到计算机系统(1100)的内核(1140)。
内核(1140)可以包括一个或多个中央处理单元(CPU)(1141)、图形处理单元(GPU)(1142)、现场可编程门区域(FPGA)(1143)形式的专用可编程处理单元、用于某些任务的硬件加速器(1144)、图形适配器(1150)等。这些装置以及只读存储器(ROM)(1145)、随机存取存储器(1146)、诸如内部非用户可访问的硬盘驱动器、SSD等之类的内部大容量存储器(1147)可以通过系统总线(1148)连接。在一些计算机系统中，可以以一个或多个物理插头的形式访问系统总线(1148)，以能够通过附加的CPU、GPU等进行扩展。外围装置可以直接连接或通过外围总线(1149)连接到内核的系统总线(1148)。外围总线的体系结构包括PCI、USB等。
CPU(1141)、GPU(1142)、FPGA(1143)和加速器(1144)可以执行某些指令，这些指令可以组合来构成上述计算机代码。该计算机代码可以存储在ROM(1145)或RAM(1146)中。过渡数据也可以存储在RAM(1146)中，而永久数据可以例如存储在内部大容量存储器(1147)中。可以通过使用高速缓存来进行到任何存储装置的快速存储及检索，该高速缓存可以与下述紧密关联：一个或多个CPU(1141)、GPU(1142)、大容量存储(1147)、ROM(1145)、RAM(1146)等。
计算机可读介质可以在其上具有执行各种由计算机实现的操作的计算机代码。介质和计算机代码可以是出于本公开的目的而专门设计和构建的，或者可以是计算机软件领域的技术人员公知且可用的类型。
作为非限制性示例，可以由于一个或多个处理器(包括CPU、GPU、FPGA、加速器等)执行包含在一种或多种有形的计算机可读介质中的软件而使得具有架构(1100)，特别是内核(1140)的计算机系统提供功能。此类计算机可读介质可以是与如上所述的用户可访问的大容量存储相关联的介质，以及某些非暂时性内核(1140)的存储器，例如内核内部大容量存储器(1147)或ROM(1145)。可以将实施本申请的各种实施例的软件存储在此类装置中并由内核(1140)执行。根据特定需要，计算机可读介质可以包括一个或多个存储装置或芯片。软件可以使得内核(1140)，特别是其中的处理器(包括CPU、GPU、FPGA等)执行本文所描述的特定过程或特定过程的特定部分，包括定义存储在RAM(1146)中的数据结构以及根据由软件定义的过程来修改此类数据结构。附加地或替换地，可以由于硬连线或以其他方式体现在电路(例如，加速器(1144))中的逻辑而使得计算机系统提供功能，该电路可以替换软件或与软件一起运行以执行本文描述的特定过程或特定过程的特定部分。在适当的情况下，提及软件的部分可以包含逻辑，反之亦然。在适当的情况下，提及计算机可读介质的部分可以包括存储用于执行的软件的电路(例如集成电路(IC))、体现用于执行的逻辑的电路或包括两者。本申请包括硬件和软件的任何合适的组合。
尽管本申请已经描述了多个示例性实施例，但是存在落入本申请的范围内的修改、置换和各种替换等效物。因此，应当理解，本领域技术人员将能够设计出许多虽然未在本文中明确示出或描述，但体现了本申请的原理，因此落入本申请的其精神和范围内的系统和方法。

Claims (20)

1.一种用于点云压缩的方法，包括：
编码与点云的多个点中的当前点相关联的信息，所述多个点被划分进多个边界框；
确定哈希表的第一尺寸是否大于或等于所述哈希表的预定最大尺寸；
基于所述哈希表的所述第一尺寸大于或等于所述哈希表的所述预定最大尺寸，从所述哈希表中移除与所述多个边界框中的非边界点相关联的信息；以及
将与所述当前点相关联的已编码信息存储到所述哈希表中。
2.根据权利要求1所述的方法，其中，所述移除包括：
确定所述当前点的校验点是否与已保存的校验点一致，所述当前点的所述校验点是基于所述多个边界框中的每一个边界框的边界尺寸和所述当前点的位置生成的；
基于所述当前点的所述校验点与所述已保存的校验点不同，从所述哈希表中移除与所述多个边界框中的所述非边界点相关联的所述信息；以及
基于所述当前点的所述校验点修改所述已保存的校验点。
3.根据权利要求2所述的方法，其中，所述方法还包括：
确定所述哈希表的第二尺寸是否大于或等于所述哈希表的所述预定最大尺寸；以及
基于所述哈希表的所述第二尺寸大于或等于所述哈希表的所述预定最大尺寸，从所述哈希表中移除与所述多个边界框中的所有剩余点相关联的信息。
4.根据权利要求1所述的方法，其中，所述方法还包括：
从所述哈希表中移除与所述多个边界框中的所有剩余点相关联的信息。
5.根据权利要求1所述的方法，其中，所述方法还包括：
将以下至少一个编码成比特流：所述哈希表的所述预定最大尺寸；以及所述多个边界框中的每一个边界框的边界尺寸。
6.根据权利要求1所述的方法，其中，所述方法还包括：
将模式索引编码成比特流，所述模式索引指示多个哈希表收缩模式中的一个。
7.根据权利要求6所述的方法，其中，所述方法还包括：
基于所述模式索引对以下至少一个进行编码：所述哈希表的所述预定最大尺寸和所述多个边界框中的每一个边界框的边界尺寸。
8.根据权利要求1所述的方法，其中，与所述当前点相关联的所述信息包括以下之一：与所述当前块相关联的几何信息；以及与所述当前块相关联的属性信息。
9.一种装置，包括：
处理电路，被配置为：
编码与点云的多个点中的当前点相关联的信息，所述多个点被划分进多个边界框；
确定哈希表的第一尺寸是否大于或等于所述哈希表的预定最大尺寸；
基于所述哈希表的所述第一尺寸大于或等于所述哈希表的所述预定最大尺寸，从所述哈希表中移除与所述多个边界框中的非边界点相关联的信息；以及
将与所述当前点相关联的已编码信息存储到所述哈希表中。
10.根据权利要求9所述的装置，其中，所述处理电路被配置为：
确定所述当前点的校验点是否与已保存的校验点一致，所述当前点的所述校验点是基于所述多个边界框中的每一个边界框的边界尺寸和所述当前点的位置生成的；
基于所述当前点的所述校验点与所述已保存的校验点不同，从所述哈希表中移除与所述多个边界框中的所述非边界点相关联的所述信息；以及
基于所述当前点的所述校验点修改所述已保存的校验点。
11.根据权利要求10所述的装置，其中，所述处理电路被配置为：
确定所述哈希表的第二尺寸是否大于或等于所述哈希表的所述预定最大尺寸；以及
基于所述哈希表的所述第二尺寸大于或等于所述哈希表的所述预定最大尺寸，从所述哈希表中移除与所述多个边界框中的所有剩余点相关联的信息。
12.根据权利要求9所述的装置，其中，所述处理电路被配置为：
从所述哈希表中移除与所述多个边界框中的所有剩余点相关联的信息。
13.根据权利要求9所述的装置，其中，所述处理电路被配置为：
将以下至少一个编码成比特流：所述哈希表的所述预定最大尺寸；以及所述多个边界框中的每一个边界框的边界尺寸。
14.根据权利要求9所述的装置，其中，所述处理电路被配置为：
将模式索引编码成比特流，所述模式索引指示多个哈希表收缩模式中的一个。
15.根据权利要求14所述的装置，其中，所述处理电路被配置为：
基于所述模式索引对以下至少一个进行编码：所述哈希表的所述预定最大尺寸；以及所述多个边界框中的每一个边界框的边界尺寸。
16.根据权利要求9所述的装置，其中，与所述当前点相关联的所述信息包括以下之一：与所述当前块相关联的几何信息；以及与所述当前块相关联的属性信息。
17.一种非暂时性计算机可读存储介质，其上存储有指令，所述指令在由至少一个处理器执行时，使得所述至少一个处理器执行：
编码与点云的多个点中的当前点相关联的信息，所述多个点被划分进多个边界框；
确定哈希表的第一尺寸是否大于或等于所述哈希表的预定最大尺寸；
基于所述哈希表的所述第一尺寸大于或等于所述哈希表的所述预定最大尺寸，从所述哈希表中移除与所述多个边界框中的非边界点相关联的信息；以及
将与所述当前点相关联的已编码信息存储到所述哈希表中。
18.根据权利要求17所述的非暂时性计算机可读存储介质，其中，所述移除包括：
确定所述当前点的校验点是否与已保存的校验点一致，所述当前点的所述校验点是基于所述多个边界框中的每一个边界框的边界尺寸和所述当前点的位置生成的；
基于所述当前点的所述校验点与所述已保存的校验点不同，从所述哈希表中移除与所述多个边界框中的所述非边界点相关联的所述信息；以及
基于所述当前点的所述校验点修改所述已保存的校验点。
19.根据权利要求2所述的非暂时性计算机可读存储介质，其中，所述存储的指令使得所述至少一个处理器执行：
确定所述哈希表的第二尺寸是否大于或等于所述哈希表的所述预定最大尺寸；以及
基于所述哈希表的所述第二尺寸大于或等于所述哈希表的所述预定最大尺寸，从所述哈希表中移除与所述多个边界框中的所有剩余点相关联的信息。
20.根据权利要求1所述的非暂时性计算机可读存储介质，其特征在于，所述存储的指令使得所述至少一个处理器执行：
从所述哈希表中移除与所述多个边界框中的所有剩余点相关联的信息。
CN202180027098.8A 2021-03-05 2021-10-18 用于构建三维几何的方法和装置 Pending CN115486079A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202163157519P 2021-03-05 2021-03-05
US63/157,519 2021-03-05
US17/501,779 2021-10-14
US17/501,779 US12131506B2 (en) 2021-10-14 Method and apparatus for constructing a 3D geometry
PCT/US2021/055406 WO2022186861A1 (en) 2021-03-05 2021-10-18 Method and apparatus for constructing a 3d geometry

Publications (1)

Publication Number Publication Date
CN115486079A true CN115486079A (zh) 2022-12-16

Family

ID=83116260

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180027098.8A Pending CN115486079A (zh) 2021-03-05 2021-10-18 用于构建三维几何的方法和装置

Country Status (5)

Country Link
EP (1) EP4097974A4 (zh)
JP (1) JP7553592B2 (zh)
KR (1) KR20220125735A (zh)
CN (1) CN115486079A (zh)
WO (1) WO2022186861A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11580671B2 (en) * 2020-08-17 2023-02-14 Tencent America LLC Hash-based attribute prediction for point cloud coding

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10699444B2 (en) * 2017-11-22 2020-06-30 Apple Inc Point cloud occupancy map compression
US10783668B2 (en) 2017-12-22 2020-09-22 Samsung Electronics Co., Ltd. Handling duplicate points in point cloud compression
US10706611B2 (en) 2018-06-15 2020-07-07 Beijing Jingdong Shangke Information Technology Co., Ltd. Three-dimensional representation by multi-scale voxel hashing
CN113615181B (zh) 2019-06-26 2024-02-20 腾讯美国有限责任公司 用于点云编解码的方法、装置
US11438628B2 (en) * 2020-06-03 2022-09-06 Tencent America LLC Hash-based accessing of geometry occupancy information for point cloud coding
US11580671B2 (en) * 2020-08-17 2023-02-14 Tencent America LLC Hash-based attribute prediction for point cloud coding

Also Published As

Publication number Publication date
KR20220125735A (ko) 2022-09-14
JP7553592B2 (ja) 2024-09-18
EP4097974A1 (en) 2022-12-07
JP2023520565A (ja) 2023-05-17
WO2022186861A1 (en) 2022-09-09
EP4097974A4 (en) 2023-06-21
US20220284633A1 (en) 2022-09-08

Similar Documents

Publication Publication Date Title
CN113615181B (zh) 用于点云编解码的方法、装置
CN112771583B (zh) 处理点云数据的方法、装置和存储介质
CN110708560B (zh) 点云数据处理方法和装置
US11711545B2 (en) Arithmetic coding information for parallel octree coding
EP3861755B1 (en) Techniques and apparatus for weighted-median prediction for point-cloud attribute coding
US20200105025A1 (en) Method and apparatus for video coding
JP7261300B2 (ja) 適応ポイントクラウド属性コーディングのための方法、装置、及びコンピュータプログラム
JP7233561B2 (ja) 点群圧縮のための方法並びにその、装置およびコンピュータプログラム
CN113179411B (zh) 点云属性编解码方法、装置、计算机设备及存储介质
US20220180567A1 (en) Method and apparatus for point cloud coding
JP7553592B2 (ja) ３ｄジオメトリを構築するための方法、装置およびプログラム
US12131506B2 (en) Method and apparatus for constructing a 3D geometry
KR102677403B1 (ko) 비디오 기반 포인트 클라우드 코딩을 위한 고속 패치 생성
US20240135593A1 (en) Method and apparatus for uv attributes coding for symmetry mesh
KR20240090790A (ko) 메시 압축을 위한 적응형 지오메트리 필터링
KR20240110835A (ko) 대칭 메시에 대한 적응적 양자화를 위한 방법 및 장치
KR20240131434A (ko) 동적 메시 압축을 위한 경계 정보를 이용한 삼각 분할 방법
CN118475958A (zh) 使用图表分区的纹理坐标压缩
CN118401963A (zh) 用于对称网格的自适应量化的方法和装置
CN118556256A (zh) 多个子网格编码
CN118575200A (zh) 用于网格压缩的自适应几何滤波
CN118355411A (zh) 通过使用表面反射对称进行的基础网格编码
CN117203672A (zh) 具有时间相关的uv图谱的网格参数化

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination