CN113424547A - 点云属性编解码的加权中值预测的技术和装置 - Google Patents

点云属性编解码的加权中值预测的技术和装置 Download PDF

Info

Publication number
CN113424547A
CN113424547A CN202080013084.6A CN202080013084A CN113424547A CN 113424547 A CN113424547 A CN 113424547A CN 202080013084 A CN202080013084 A CN 202080013084A CN 113424547 A CN113424547 A CN 113424547A
Authority
CN
China
Prior art keywords
candidate
point
attribute
point cloud
attribute value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080013084.6A
Other languages
English (en)
Other versions
CN113424547B (zh
Inventor
芮世薰
阿拉什·沃索基
刘杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of CN113424547A publication Critical patent/CN113424547A/zh
Application granted granted Critical
Publication of CN113424547B publication Critical patent/CN113424547B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种预测点云属性编解码的方法包括：接收包括至少一个候选点的点云数据，从接收到的点云数据中提取至少一个候选点的至少一个候选属性值。该方法还包括利用提取的所述至少一个候选属性值和权重因子计算加权中值，其中所述权重因子对应于提取的所述候选属性值关联的候选矢量的相对重要性因子。该方法还包括响应于计算所述加权中值，将至少一个预测索引分配给所述候选点，其中所述预测索引对应于用于视频编码的属性数据，以及处理所述媒体内容，从而对具有最低预测索引的候选点所关联的属性数据进行编码。

Description

点云属性编解码的加权中值预测的技术和装置
相关申请
本申请要求2019年3月20日提交的第62/821,075号美国临时申请的优先权、以及2020年3月19日提交的第16/823,797号美国申请的优先权，所述申请以全文引用方式并入本申请。
背景技术
领域
各实施例的方法和装置涉及基于图的点云压缩(graph-based point cloudcompression，G-PCC)，具体涉及自适应点云属性编解码的方法和装置。
相关技术
世界的高级三维(3D)表示使更加沉浸式的交互和通信成为可能，并且还使机器能够理解、解释并遨游世界。3D点云(point cloud)已经成为实现此类信息的代表。目前已经发现了与点云数据相关联的多个用例，并且已经开发了对点云表示和压缩的相应要求。
点云是3D空间中的一组点，每个点具有相关联的属性，例如颜色、材料属性等。点云可用于将对象或场景重建为这种点的集合。可以在各种环境中使用多个照相机和深度传感器来获得点云，点云可以由数千到数十亿个点组成，能够真实地表示重建的场景。
需要使用压缩技术来减少用于表示点云的数据量。因此，需要针对实时通信和六自由度(six degrees of freedom，6DoF)虚拟现实中的点云进行有损压缩的技术。此外，在用于自主驾驶和文化遗产应用等的动态绘图的场景中，需要对点云进行无损压缩的技术。运动图像专家组(Moving Picture Experts Group，MPEG)已经开始研究一种处理几何和属性的压缩标准，属性可包括例如颜色和反射率、可缩放/渐进编解码、跨越一定时间获得的点云序列的编解码，以及对点云的子集的随机访问。
图1是G-PCC中生成多细节层次(levels of detail，LoD)的方法的示意图。
如图1所示，在当前的G-PCC属性编解码中，基于每个3D点(例如，P0-P9)的距离生成每个3D点的LoD组100，然后以基于3D点的LoD的顺序110，而不是原始顺序105，进行预测来对每个LoD中的3D点的属性值进行编码。例如，通过计算编码或解码顺序在3D点P2之前的3D点P0、P5和P4的基于距离的加权平均值来预测3D点P2的一个属性值。
G-PCC中一种当前的锚定方法如下。
首先，计算3D点的邻居的变化率(variability)，以检查相邻值的差异程度，并且如果变化率低于阈值，则使用基于当前点i的一些最近相邻点的距离的线性插值过程来预测属性值(ai)i∈0…k-1，从而进行基于距离的加权均值预测的计算。设
Figure BDA0003199906250000021
为当前点i的k个最近相邻点的集合，设
Figure BDA0003199906250000022
为这些相邻点的已解码/已重建的属性值，并设
Figure BDA0003199906250000023
为它们到当前点i的距离。则预测的属性值
Figure BDA0003199906250000024
由下式给出：
Figure BDA0003199906250000025
注意，当对属性进行编码时，所有点云的几何位置已知。另外，在编码器和解码器处，各相邻点连同它们的已重建的属性值都可用作k维的树结构，该k维树结构用于支持以相同方式对每个点进行最近相邻点搜索。
其次，如果变化率高于阈值，则执行速率失真优化(rate-distortion optimized，RDO)预测因子选择。在生成LoD时，基于近相邻搜索的结果创建多个候选预测因子或候选预测值。例如，当使用预测对3D点P2的属性值进行编码时，将从3D点P2分别到3D点P0、P5和P4的距离的加权平均值的预测因子索引设置为0。然后，将从3D点P2到最近相邻点P4的距离的预测因子索引设置为1。此外，从3D点P2分别到下一个最近相邻点P5和P0的距离的预测因子索引被设置为2和3，如下表1所示。
表1：用于属性编解码的候选预测因子的样本
预测因子索引 预测值
0 平均值
1 P4(第1最近点)
2 P5(第2最近点)
3 P0(第3最近点)
在创建候选预测因子之后，通过进行速率失真优化过程来选择最佳预测因子，之后，将选定的预测因子索引映射到截断一元(truncated unary，TU)码，将对该截断一元码的二进制数进行算术编码。注意，在表1中，较短的TU码将被分配给较小的预测因子索引。
定义候选预测因子的最大数目MaxNumCand，并将其编码到属性头中。在当前实施方案中，候选预测因子的最大数目MaxNumCand被设置为等于numberOfNearestNeighborsInPrediction+1，并且用于利用截断的一元二进制化来对预测因子索引进行编码和解码。
在G-PCC中属性编解码的预测中，候选预测因子选择的次序是固定的，如表1所示。然而，根据数据特性和可变性阈值，所选的预测因子索引的频率将不遵循表1中给出的固定次序，这将导致压缩效率的降低。
发明内容
根据一些实施例，一种预测点云属性编解码的方法由至少一个处理器执行并且包括：接收包括至少一个候选点的点云数据，从接收到的点云数据中提取至少一个候选点的至少一个候选属性值。该方法还包括利用提取的所述至少一个候选属性值和权重因子计算加权中值，其中所述权重因子对应于提取的所述候选属性值关联的候选矢量的相对重要性因子。该方法还包括响应于计算所述加权中值，将至少一个预测索引分配给所述候选点，其中所述预测索引对应于用于视频编码的属性数据，以及处理所述媒体内容，从而对具有最低预测索引的候选点所关联的属性数据进行编码。
根据一些实施例，一种自适应点云属性编解码的装置包括存储计算机程序代码的至少一个存储器，以及用于访问所述至少一个存储器并根据所述计算机程序代码进行操作的至少一个处理器。该计算机程序代码包括接收代码，用于使所述至少一个处理器接收包括至少一个候选点的点云数据，以及提取代码，用于使所述至少一个处理器从接收的所述点云数据中提取所述至少一个候选点的至少一个候选属性值。该计算机程序代码还包括计算代码，使所述至少一个处理器利用提取的所述至少一个候选属性值和权重因子计算加权中值，其中所述权重因子对应于提取的所述候选属性值所关联的候选矢量的相对重要性因子。该计算机程序代码还包括分配代码，使所述至少一个处理器响应于计算所述加权中值，将至少一个预测索引分配给所述候选点，其中所述预测索引对应于用于视频编码的属性数据，以及处理代码，用于使所述至少一个处理器处理媒体内容，从而对具有最低预测索引的候选点所关联的属性数据进行编码。
根据一些实施例，一种非易失性计算机可读存储介质存储有指令，所述指令使至少一个处理器接收包括至少一个候选点的点云数据，从接收到的点云数据中提取至少一个候选点的至少一个候选属性值。所述指令还使至少一个处理器利用提取的所述至少一个候选属性值和权重因子计算加权中值，其中所述权重因子对应于提取的所述候选属性值关联的候选矢量的相对重要性因子。
附图说明
图1是G-PCC中生成LoD的方法的示意图。
图2是一些实施例的通信系统的框图。
图3是一些实施例的G-PCC压缩器和G-PCC解压缩器在环境中的部署示意图。
图4是一些实施例的G-PCC压缩器的功能框图。
图5是一些实施例的G-PCC解压缩器的功能框图。
图6是一些实施例的自适应点云属性编码方法的流程图。
图7是一些实施例的自适应点云属性编码的装置的框图。
图8是适于实现一些实施例的计算机系统的示意图。
具体实施方式
本文描述的实施例提供了一种自适应点云属性编解码的方法和装置。在基于插值的预测中，可以使用加权因子来形成用于预测的相邻属性值的加权和，该加权因子可以是当前样本与其每个相邻样本之间的几何距离的倒数。在属性值平滑变化或均匀的区域中，这可能是有效的。然而，在其它情况下，属性距离与几何距离之间的相关性可能非常低，从而致使基于几何的属性加权预测无效。因此，形成可以使用属性信号编解码的特性的点云属性的预测信号可能更有利。
图2是各实施例的通信系统200的框图。通信系统200可以包括经由网络250互连的至少两个终端210和220。对于数据的单向传输，第一终端210可以对本地位置处的点云数据进行编码，以经由网络250传输到第二终端220。第二终端220可以从网络250接收第一终端210的已编码的点云数据，对已编码的点云数据进行解码并显示已解码的点云数据。单向数据传输在媒体服务应用等中可能比较常见。
图2进一步示出了第二对终端230和240，第二对终端230和240用于支持已编码的点云数据的双向传输，例如在视频会议期间进行的双向传输。对于数据的双向传输，各个终端230或240可以对在本地位置处拍摄到的点云数据进行编码，以经由网络250传输到另一终端。各个终端230或240还可以接收由另一终端传输的已编码的点云数据，可以对已编码的点云数据进行解码，并且可以在本地显示设备处显示已解码的点云数据。
在图2中，终端210-240可以描绘为服务器、个人计算机和智能电话，但是各实施例的原理不限于此。实施例可用于膝上型计算机、平板计算机、媒体播放器和/或专用视频会议设备。网络250表示在终端210-240之间传输已编码的点云数据的任何数量的网络，包括例如有线通信网络和/或无线通信网络。通信网络250可以在电路交换和/或分组交换信道中交换数据。典型网络包括电信网络、局域网、广域网和/或因特网。对于实现本文的目的，除非下文中有特别解释，网络250的架构和拓扑结构对于各实施例的操作可能是不重要的。
图3是各实施例的G-PCC压缩器303和G-PCC解压缩器310在环境中的部署示意图。本申请主题可以同样适用于其它支持点云的应用，包括例如视频会议、数字电视、将已压缩的点云数据存储在数字媒体上的应用等，数字媒体包括CD、DVD、记忆棒等。
流媒体系统300可以包括拍摄子系统313。拍摄子系统313可以包括创建例如未压缩的点云数据302的点云源301，例如数码相机。具有较高数据量的点云数据302可以由与点云源301耦接的G-PCC压缩器303进行处理。G-PCC压缩器303可以包括硬件、软件或其组合，以实现或实施如下文详细描述的本申请主题的各方面。已编码的点云数据304具有较低的数据量，可以存储在流媒体服务器305上以备将来使用。一个或多个流媒体客户端306和308可以访问流媒体服务器305以提取已编码的点云数据304的副本307和309。客户端306可包括G-PCC解压缩器310。G-PCC解压缩器310对已编码的点云数据的传入副本307进行解码并且创建传出点云数据311。传出点云数据311可被呈现在显示器312或其它呈现设备(未示出)上。在一些流媒体系统中，已编码的点云数据304、307和309可以根据视频编解码/压缩标准进行编码。这些标准的示例包括由MPEG为G-PCC开发的那些标准。
图4是各实施例的G-PCC压缩器303的功能框图。
如图4所示，G-PCC压缩器303包括量化器405、点去除模块410、八叉树编码器415、属性传送模块420、LoD生成器425、预测模块430、量化器435和算术编码器440。
量化器405接收输入点云中的点的位置。位置可以是(x，y，z)坐标。量化器405进一步使用例如缩放算法和/或移位算法对所接收的位置进行量化。
点去除模块410从量化器405接收量化位置，并从所述接收的量化位置中去除或过滤掉重复的位置。
八叉树编码器415从点去除模块410接收滤波后的位置，并使用八叉树编码算法对所接收的过滤后的位置进行编码，生成表示输入点云的八叉树的占用符号。八叉树对应的输入点云的边界框可以是任何3D形状，例如立方体。
八叉树编码器415进一步基于对过滤后的位置的编码，对所述接收的过滤后的位置重新排序。
属性传送模块420接收输入点云中的点的属性。属性可以包括，例如每个点的颜色或RGB值和/或反射率。属性传送模块420进一步从八叉树编码器415接收重新排序后的位置。
属性传送模块420进一步基于所述接收的重新排序后的位置对所接收的属性进行更新。例如，属性传送模块420可以对所接收的属性执行各预处理算法中的一个或多个预处理算法。各预处理算法包括，例如对所接收的属性进行加权和平均以及对所接收的属性中的附加属性进行插值。属性传送模块420进一步将更新后的属性传送到预测模块430。
LoD生成器425从八叉树编码器415接收重新排序后的位置，并获取所接收的重新排序后的位置对应的每个点的LoD。每个LoD可以被认为是一组点，并且可以基于每个点的距离来获得。例如，如图1所示，点P0、P5、P4和P2可以在LoD的LOD0中，点P0、P5、P4、P2、P1、P6和P3可以在LoD的LOD1中，而点P0、P5、P4、P2、P1、P6、P3、P9、P8和P7可以在LoD的LOD2中。
预测模块430从属性传送模块420接收所传送的属性，并且从LoD生成器425接收所获得的每个点的LoD。预测模块430通过以基于每个点的所接收的LoD的顺序对所接收的属性执行预测算法来分别获取所接收的属性的预测残差(值)。预测算法可以包括各种预测算法中的任一种，例如插值、加权平均计算、最近邻居算法和率失真优化(rate distortionoptimization，RDO)。
例如，如图1所示，在获得分别包括在LoD的LOD1和LOD2中的点P1、P6、P3、P9、P8和P7的所接收属性的预测残差之前，可以首先分别获得包括在LoD的LOD0中的点P0、P5、P4和P2的所接收属性的预测残差。可以通过基于点P0、P5和P4的加权平均来计算距离，从而获得点P2的所接收属性的预测残差。
量化器435从预测模块430接收所获得的预测残差，并使用例如缩放算法和/或移位算法对所接收的预测残差进行量化。
算术编码器440从八叉树编码器415接收占用符号，并从量化器435接收量化后的预测残差。算术编码器440对所接收的占用符号和量化后的预测残差执行算术编码以获得压缩后的比特流。算术编码可以包括各种熵编码算法中的任何一种，例如上下文自适应二进制算术编码。
图5是各实施例的G-PCC解压缩器310的功能框图。
如图5所示，G-PCC解压缩器310包括算术解码器505、八叉树解码器510、逆量化器515、LoD生成器520、逆量化器525和逆预测模块530。
算术解码器505从G-PCC压缩器303接收压缩后的比特流，并对所接收的压缩后的比特流执行算术解码以获得占用符号和量化后的预测残差。算术解码可以包括各种熵解码算法中的任何一种，例如上下文自适应二进制算术解码。
八叉树解码器510从算术解码器505接收获得的占用符号，并使用八叉树解码算法对所接收的占用符号进行解码，得到量化后的位置。
逆量化器515从八叉树解码器510接收量化后的位置，并使用例如缩放算法和/或移位算法对所接收的量化后的位置进行逆量化，以获得输入点云中的点的重构位置。
LoD生成器520从八叉树解码器510接收量化后的位置，并且获取所接收的量化后的位置对应的每个点的LoD。
逆量化器525接收所获得的量化后的预测残差，并使用例如缩放算法和/或移位算法对所接收的量化后的预测残差进行逆量化，以获取得重构的预测残差。
逆预测模块530从逆量化器525接收所获得的重构的预测残差，并从LoD生成器520接收所获得的每个点的LoD。逆预测模块530通过以每个点的所接收的LoD的顺序对所接收的重构的预测残差施加预测算法来获得所接收的重构的各预测残差的重构属性。预测算法可以包括各种预测算法中的任何一种，例如插值、加权平均计算、最近邻居算法和RDO。重构属性是输入点云内的点的重构属性。
以下详细描述自适应点云属性编解码的方法和装置。该方法和装置可以在上述G-PCC压缩器303，即预测模块430中实现。
至少一个实施例中，候选属性值的加权中值可以用于预测所需的属性编解码。例如，可以为N个候选邻居属性矢量Xj中的每一个矢量定义成本函数f(Xj)，其中i可以等于1到N，j可以等于1到N。例如，可以为p等于1或2确定Xp范数||·||p，p等于1或2。权重Wj可以表示候选邻居属性矢量的相对重要性，Wj越小，Xj就越重要。可以使f(Xj)的输出值最小化的矢量Xj可以被定义为加权矢量中值XVM。因此，成本函数f(Xj)可以被给定为
Figure BDA0003199906250000071
来自当前样本的候选之间的几何距离可以用于Wj。
所描述的方法的其中一个优点在于，该方法可以使用尽可能多的可用的候选项，而不会产生任何额外的辅助信息(side-information)成本。这可能与其它方法相反，其它方法显式地用信号表示最佳的预测候选索引，当前的G-PCC锚定方法就是这样。
一些实施例中，成本函数f(Xj)可以替换为：
Figure BDA0003199906250000072
其中Pi可以表示第i个邻居样本的位置，其中位置度量q和属性度量p所使用的至少一个范数可以不相同。相应地，可以考虑每个候选样本对的至少一个双向距离。Wj可以设置为从待预测的当前样本到候选项之间的几何距离。或者，可以将Wj设置为与候选项Xj的相对重要性成反比的值。更一般地，||Pj-Pi||q可以替换为任何单调递增函数或可与第i个和第j个候选项的相对相似性成反比的任何额外的量。
一些实施例中，当多个候选样本具有相似的成本函数值时，可以选择所有候选属性值的平均值或加权平均值。在其它实施例中，可以基于成本函数仅使用最大的几个候选样本属性值。例如，可以使用最大的几个候选样本的平均值。
在另一个实施例中，候选样本属性值的平均值可以作为第(N+1)个候选项被纳入成本函数中。因此，成本函数可以分别变成
Figure BDA0003199906250000081
和
Figure BDA0003199906250000082
Figure BDA0003199906250000083
其中对于i＝1，…，N，Yi可以等于Xi，且YN+1可以是X1到XN的样本平均值或加权平均值，其中权重由每个候选样本与当前预测样本的相对距离给定。另外，对于i＝1，…N，Qi可以等于Pi，且QN+1可以是多个候选项的样本平均位置。
在另一个实施例中，当可以对具有N＞1的矢量信号进行编解码时，当这种措施可以更好地利用给定矢量信号的基础统计信息时，可以对每个信道进行加权中值预测。
在另一个实施例中，预测因子索引可以用于指定用于WTA预测的相邻样本。基于用于预测的相邻样本的属性值，可以使用多个加权中值度量之一来对可用于预测的相邻样本进行排序。索引可以被分配给以中值优先次序进行排序后的样本。可以使用各种加权中值度量来进行排序。加权中值样本预测因子可以，例如，以加权中值度量的次序分配较低的索引，以便与G-PCC中使用的当前锚定方法相比，降低索引的编解码成本。
图6是各实施例的帧间点云属性编码的方法600的流程图。一些实施方式中，图6的一个或多个过程框可以由G-PCC解压缩器310执行。一些实施方式中，图6的一个或多个过程框可以由与G-PCC解压缩器310分离的或者包括G-PCC解压缩器310的另一设备或一组设备(例如G-PCC压缩器303)执行。
参考图6，在第一框610中，方法600包括，接收包括至少一个候选点的点云数据。
在第二框620中，方法600包括，从接收的点云数据中提取至少一个候选点的至少一个候选属性值。
在第三框630中，方法600包括，利用提取的至少一个候选属性值和权重因子计算加权中值，其中，权重因子对应于所提取的候选属性值关联的候选矢量的相对重要性因子。
在第四框640中，方法600包括，响应于计算加权中值，将用于视频编码的属性数据对应的至少一个预测索引分配给候选点。
在第五框650中，方法600包括，处理媒体内容以对与具有最低预测索引的候选点所关联的属性数据进行编码。
该方法还可以包括，基于至少一个候选属性值和几何距离来确定候选预测因子的双向距离。
权重因子可以与候选矢量的相对重要性因子成反比。权重因子还可以对应于候选点与点样本中的至少一个其它点之间的几何距离。可以使用至少一个范数函数来计算成本函数，并且与位置度量相关联的范数可以与属性度量相关联的范数不同。加权中值可以使用单调递增函数和至少一个附加量来计算，至少一个附加量可以与至少一个候选点关联的相似性因子成反比。可以对与候选点相关联的至少一个色彩通道执行提取和计算。可以基于候选属性值，使用计算出的加权中值对点云的相邻样本进行排序，并且可以将索引分配给按照中值优先次序进行排序后的样本。
尽管图6示出了方法600的示例框，但是在一些实现方式中，与图6所描绘的那些框相比，方法600可以包括更多的框、更少的框、不同的框，或者不同排列的框。另外或可替换地，方法600的两个或更多个框可以并行执行。
进一步地，所提出的方法可以由硬件模块或处理电路(例如，一个或多个处理器或一个或多个集成电路)来实现。例如，至少一个处理器执行存储在非易失性计算机可读介质中的程序，从而实现至少一个所提出的方法。
图7是一些实施例的用于自适应点云属性编解码的装置700的方框图。
参考图7，装置700包括接收代码710、提取代码720、计算代码730、分配代码740和处理代码750。
接收代码710用于，使至少一个处理器接收包括至少一个候选点的点云数据。
提取代码720用于，使至少一个处理器从接收的点云数据中提取至少一个候选点的至少一个候选属性值。
选择代码730用于，使至少一个处理器利用提取的至少一个候选属性值和权重因子计算加权中值，其中，权重因子与所提取的候选属性值关联的候选矢量的相对重要性因子对应。
分配代码740用于，使至少一个处理器响应于计算加权中值，将用于视频编码的属性数据对应的至少一个预测索引分配给候选点。
处理代码750用于，使至少一个处理器处理媒体内容，以对具有最低预测索引的候选点关联的属性数据进行编码。
装置700还可以包括确定代码，确定代码用于使至少一个处理器基于至少一个候选属性值和几何距离来确定候选预测值的双向距离。
权重因子可以与候选矢量的相对重要性因子成反比。权重因子还可以与候选点与点样本中的至少一个其它点之间的几何距离相对应。可以使用至少一个范数函数来计算成本函数，并且位置度量关联的范数可以与属性度量关联的范数不同。加权中值可以使用单调递增函数和至少一个附加量来计算，至少一个附加量可以与至少一个候选点关联的相似性因子成反比。可以对候选点关联的至少一个色彩通道执行提取和计算。可以基于候选属性值，使用计算出的加权中值对点云的相邻样本进行排序，并且可以将索引分配给按照中值优先次序进行排序后的样本。
图8是适于实现各实施例的计算机系统800的示意图。
计算机软件可利用任何合适的机器代码或计算机语言来编码，可采用汇编、编译、链接或类似机制生成指令代码。这些指令代码可由计算机中央处理单元(CPU)、图形处理单元(GPU)等直接执行或通过代码解释、微代码执行等操作来执行。
这些指令可在多种类型的计算机或计算机组件中执行，包括，例如，个人计算机、平板电脑、服务器、智能电话、游戏设备、物联网设备等。
图8所示的用于计算机系统800的组件本质上是示例性的，而非意图对实现本申请实施例的计算机软件的使用或功能范围做任何限制。各组件的配置方式也不应被解释为依赖或需要该非限制性实施例的计算机系统800示出的任一个组件或组件组合。
计算机系统800可包括一些人机接口输入设备。该人机接口输入设备可响应一个或多个人类用户的输入，例如触感输入(如：按键、滑动操作、数字手套移动)、音频输入(如：语音、拍手声)、可视输入(如：姿态)、嗅觉输入(未示出)。人机接口设备还可用于采集一些媒体信息，这些媒体信息不一定与人类有意识的输入直接相关，如音频(如：讲话、音乐、环境声音)、图像(如：扫描图像、从静态图像照相机获取的照片图像)、视频(如二维视频、三维视频，包括立体视频)。
人机接口输入设备可包括以下一个或多个(每种仅示出一个)：键盘801、鼠标802、触控板803、触摸屏810、操纵杆805、麦克风806、扫描仪807、照相机808。
计算机系统800还可包括一些人机接口输出设备。人机接口输出设备可激发一个或多个人类用户的感觉，通过例如，触感输出、声音、光，以及气味/味道。该人机接口输出设备可包括触感输出设备(例如触摸屏810或操纵杆805的触感反馈，但也可存在不作为输入设备的触感反馈设备)。例如，这种设备可以是音频输出设备(如：扬声器809、耳机(未示出))、通过图形适配器850耦合到系统总线848的可视输出设备(如屏幕810，包括CRT屏幕、LCD屏幕、等离子屏幕、OLED屏幕，每一个可以具有或不具有触摸屏输入能力，每一个可以具有或不具有触感反馈能力——其中一些能够输出二维可视输出，或通过如立体显示输出等手段输出三维以上的输出；虚拟现实眼镜(未示出)、全息照相显示器和烟柜(未示出))，以及打印机(未示出)。
计算机系统800还可包括人类可访问存储设备及其相关介质，例如包括具有CD/DVD的CD/DVDROM/RW 820的光介质或类似介质821、指状驱动器822、可移除硬盘驱动器或固态驱动器823、传统磁性介质如磁带和软盘(未示出)、基于专业ROM/ASIC/PLD的设备如安全加密狗(未示出)等。
本领域技术人员还应理解，结合本申请公开的主题有关的术语“计算机可读介质”不包含传输介质、载波或其它暂时性信号。
计算机系统800还可包括可连接一个或多个通信网络855的接口。通信网络855可以是，例如，无线网络、有线网络、光网络。通信网络855还可是局域网、广域网、城域网、车连网和工业网络、实时网络、容迟网络等。通信网络855的示例包括局域网(例如以太网、无线LAN、蜂窝网络，包括GSM、3G、4G、5G、LTE等)、TV有线或无线广域数字网络(包括有线TV、卫星TV和地面广播TV)、车连网和工业网络(包括CAN总线)等。一些通信网络855通常需要外部网络接口适配器，连接至一些通用数据端口或外围设备总线849(如计算机系统800的USB端口)；其它网络通常通过连接到如下所述的系统总线而集成在计算机系统800的内核中(例如，网络接口854包括集成在PC计算机系统中的以太网接口或集成在智能电话计算机系统中的蜂窝网络接口)。利用任一种网络855，计算机系统800可与其它实体通信。该通信可为单向通信，例如仅接收(例如广播TV)、单向仅发送(例如从CAN总线到一些CAN总线设备)。该通信也可以为双向通信，例如利用局域或广域数字网络与其它计算机系统的通信。上述网络855和网络接口854的每一个可以采用某些协议和协议栈。
前述人机接口设备、人类可访问存储设备和网络接口854可连接至计算机系统800的内核840。
内核840可包括一个或多个中央处理单元(CPU)841、图形处理单元(GPU)842、现场可编程门阵列(FPGA)843形式的专用可编程处理单元，用于特定任务844的硬件加速器等。以上设备，以及只读存储器(ROM)845、随机存取存储器846、内部大容量存储847如内部非用户可访问的硬盘驱动、SSD等，可连接到系统总线848。在一些计算机系统中，系统总线848可以通过一个或多个物理插头的形式访问，从而能够利用额外的CPU、GPU等进行扩展。外围设备可直接连接到核的系统总线848，也可连接到外围设备总线849。外围设备总线的体系结构包括PCI、USB等。
CPU 841、GPU 842、FPGA 843和硬件加速器844可执行一些指令，这些指令组合起来可构成前述计算机代码。该计算机代码可存储于ROM 845或RAM 846中。中间数据还可存储在RAM 846中，永久数据可存储在，例如，内部大容量存储设备847中。可通过使用缓存设备实现对任何存储设备的快速存储和读取，该缓存设备可紧密关联到一个或多个CPU 841、GPU 842、大容量存储器847、ROM 845、RAM 846等。
计算机可读媒体中可存储有计算机代码，用于执行各种计算机实现的操作。介质和计算机代码可为本申请公开的目的专门设计和建造，或者可为计算机软件领域的技术人员所公知类型的、可用的类型。
作为示例而非限定性的、具有体系架构的计算机系统800，特别是内核840，的功能可通过处理器(包括CPU、GPU、FPGA、加速器等)执行由一个或多个有形的计算机可读介质体现的软件产生。该计算机可读介质可以是以上关联于用户可访问的大容量存储设备的介质，以及内核840中非暂存性质的一些存储设备，如核内部的大容量存储设备847或ROM845。实现本申请公开各实施例的软件可存储于上述设备并由内核840执行。根据需要，计算机可读介质可包括一个或多个存储设备或芯片。上述软件可使内核840，特别是其中的处理器(包括CPU、GPU、FPGA等)执行本文描述的过程，或上述过程的一些部分，包括定义存储于RAM 846的数据结构，根据软件定义的过程修改该数据结构。作为附加方案或替代方案，该计算机系统的功能可由电路(例如：加速器844)提供，该电路可以通过逻辑硬连线或其它方式实现。该电路运转时，可代替软件或与软件配合的方式，以执行本文描述的过程，或过程的一些部分。在适当的情况下，所说的软件可包括逻辑，反之亦然。在适当的情况下，所说的计算机可读介质可包括存储软件用于执行的(如集成电路(IC))、用于实现需要执行的逻辑的电路，或其组合。本申请公开包括任何合适的硬件和软件的组合。
尽管本申请公开已描述一些非限定性实施例，但本申请公开的范围内仍然存在一些具有小改动的实施方式、变换顺序的实施方式、以及各种替代性的等同实施方式。因此应当理解，尽管本文未明确示出或描述，本领域技术人员能够提出多种能够实现本申请公开的原理的系统和方法，因此这些系统和方法仍然属于本申请公开的精神和范围内。

Claims (20)

1.一种视频码流中媒体内容的处理方法，所述视频码流包括预测点云属性编解码，其特征在于，所述方法由至少一个处理器执行，包括：
接收点云数据，所述点云数据包括至少一个候选点；
从接收的所述点云数据中提取所述至少一个候选点的至少一个候选属性值；
利用提取的所述至少一个候选属性值和权重因子计算加权中值，其中所述权重因子对应于提取的所述候选属性值关联的候选矢量的相对重要性因子；
响应于计算所述加权中值，将至少一个预测索引分配给所述候选点，其中所述预测索引对应于用于视频编码的属性数据；及
处理所述媒体内容，以对具有最低预测索引的候选点所关联的属性数据进行编码。
2.根据权利要求1所述的方法，其特征在于，所述权重因子与所述候选矢量的所述相对重要性因子成反比。
3.根据权利要求1所述的方法，其特征在于，所述权重因子对应于候选点与点样本中的至少一个其它点之间的几何距离。
4.根据权利要求3所述的方法，其特征在于，进一步包括：基于所述至少一个候选属性值和所述几何距离来确定候选预测因子的双向距离。
5.根据权利要求1所述的方法，其特征在于，使用至少一个范数函数来计算成本函数，其中，与位置度量相关联的范数不同于与属性度量相关联的范数。
6.根据权利要求1所述的方法，其特征在于，所述加权中值使用单调递增函数和至少一个附加量来计算，所述至少一个附加量与至少一个候选点所关联的相似性因子成反比。
7.根据权利要求1所述的方法，其特征在于，所述提取和计算是为所述候选点所关联的至少一个色彩通道执行的。
8.根据权利要求1所述的方法，其特征在于，基于所述候选属性值，使用计算的所述加权中值对所述点云的相邻样本进行排序。
9.根据权利要求8所述的方法，其特征在于，所述预测索引被分配给以中值优先次序进行排序后的样本。
10.一种自适应点云属性编解码的装置，其特征在于，所述装置包括：
至少一个存储器，用于存储计算机程序代码；及
至少一个处理器，用于访问所述至少一个存储器并根据所述计算机程序代码进行操作，所述计算机程序代码包括：
接收代码，用于使所述至少一个处理器接收包括至少一个候选点的点云数据；
提取代码，用于使所述至少一个处理器从接收的所述点云数据中提取所述至少一个候选点的至少一个候选属性值；
计算代码，用于使所述至少一个处理器利用提取的所述至少一个候选属性值和权重因子计算加权中值，其中所述权重因子对应于提取的所述候选属性值所关联的候选矢量的相对重要性因子；
分配代码，用于使所述至少一个处理器响应于计算所述加权中值，将至少一个预测索引分配给所述候选点，其中所述预测索引对应于用于视频编码的属性数据；及
处理代码，用于使所述至少一个处理器处理媒体内容，以对具有最低预测索引的候选点所关联的属性数据进行编码。
11.根据权利要求10所述的装置，其特征在于，所述权重因子与所述候选矢量的所述相对重要性因子成反比。
12.根据权利要求10所述的装置，其特征在于，所述权重因子对应于候选点与点样本中的至少一个其它点之间的几何距离。
13.根据权利要求12所述的装置，其特征在于，进一步包括：确定代码，用于使所述至少一个处理器基于所述至少一个候选属性值和所述几何距离确定候选预测因子的双向距离。
14.根据权利要求10所述的装置，其特征在于，使用至少一个范数函数来计算成本函数，其中，与位置度量相关联的范数不同于与属性度量相关联的范数。
15.根据权利要求10所述的装置，其特征在于，所述加权中值使用单调递增函数和至少一个附加量来计算，所述至少一个附加量与至少一个候选点所关联的相似性因子成反比。
16.根据权利要求10所述的装置，其特征在于，执行所述提取和计算是为所述候选点所关联的至少一个色彩通道执行的。
17.根据权利要求10所述的装置，其特征在于，基于所述候选属性值，使用计算的所述加权中值对所述点云的相邻样本进行排序。
18.根据权利要求17所述的装置，其特征在于，所述索引被分配给以中值优先次序进行排序后的样本。
19.一种非易失性计算机可读存储介质，存储有指令，其特征在于，所述指令使得至少一个处理器：
接收包括至少一个候选点的点云数据；
从接收的所述点云数据中提取所述至少一个候选点的至少一个候选属性值；
利用提取的所述至少一个候选属性值和权重因子计算加权中值，所述权重因子对应于提取的所述候选属性值所关联的候选矢量的相对重要性因子；
响应于计算所述加权中值，将至少一个预测索引分配给所述候选点，所述预测索引对应于用于视频编码的属性数据；及
处理媒体内容，从而对与具有最低预测索引的候选点所关联的属性数据进行编码。
20.根据权利要求19所述的计算机可读存储介质，其特征在于，所述指令进一步使得所述处理器，基于所述至少一个候选属性值和所述几何距离来确定候选预测值的双向距离。
CN202080013084.6A 2019-03-20 2020-03-20 点云属性编解码的方法和装置 Active CN113424547B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962821075P 2019-03-20 2019-03-20
US62/821,075 2019-03-20
US16/823,797 2020-03-19
US16/823,797 US11503367B2 (en) 2019-03-20 2020-03-19 Techniques and apparatus for weighted-median prediction for point-cloud attribute coding
PCT/US2020/023757 WO2020191258A1 (en) 2019-03-20 2020-03-20 Techniques and apparatus for weighted-median prediction for point-cloud attribute coding

Publications (2)

Publication Number Publication Date
CN113424547A true CN113424547A (zh) 2021-09-21
CN113424547B CN113424547B (zh) 2024-01-05

Family

ID=72514098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080013084.6A Active CN113424547B (zh) 2019-03-20 2020-03-20 点云属性编解码的方法和装置

Country Status (5)

Country Link
US (1) US11503367B2 (zh)
EP (1) EP3861755B1 (zh)
JP (1) JP7234375B2 (zh)
CN (1) CN113424547B (zh)
WO (1) WO2020191258A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998456A (zh) * 2022-06-20 2022-09-02 西安邮电大学 基于局部相似度的三维点云属性压缩方法

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10861196B2 (en) 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US11818401B2 (en) 2017-09-14 2023-11-14 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
US11113845B2 (en) 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
US10909725B2 (en) 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
US10867414B2 (en) 2018-04-10 2020-12-15 Apple Inc. Point cloud attribute transfer algorithm
US11010928B2 (en) 2018-04-10 2021-05-18 Apple Inc. Adaptive distance based point cloud compression
US11017566B1 (en) 2018-07-02 2021-05-25 Apple Inc. Point cloud compression with adaptive filtering
US11202098B2 (en) 2018-07-05 2021-12-14 Apple Inc. Point cloud compression with multi-resolution video encoding
US11012713B2 (en) 2018-07-12 2021-05-18 Apple Inc. Bit stream structure for compressed point cloud data
US11367224B2 (en) 2018-10-02 2022-06-21 Apple Inc. Occupancy map block-to-patch information compression
US11430155B2 (en) 2018-10-05 2022-08-30 Apple Inc. Quantized depths for projection point cloud compression
CN109979008B (zh) * 2019-04-09 2023-04-07 北京大学深圳研究生院 一种基于属性的点云条带划分方法
US11711544B2 (en) 2019-07-02 2023-07-25 Apple Inc. Point cloud compression with supplemental information messages
US11627314B2 (en) 2019-09-27 2023-04-11 Apple Inc. Video-based point cloud compression with non-normative smoothing
US11895307B2 (en) 2019-10-04 2024-02-06 Apple Inc. Block-based predictive coding for point cloud compression
US11798196B2 (en) 2020-01-08 2023-10-24 Apple Inc. Video-based point cloud compression with predicted patches
US11475605B2 (en) * 2020-01-09 2022-10-18 Apple Inc. Geometry encoding of duplicate points
WO2021215811A1 (ko) * 2020-04-24 2021-10-28 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US11620768B2 (en) 2020-06-24 2023-04-04 Apple Inc. Point cloud geometry compression using octrees with multiple scan orders
US11615557B2 (en) 2020-06-24 2023-03-28 Apple Inc. Point cloud compression using octrees with slicing
US20230334711A1 (en) * 2020-06-29 2023-10-19 Lg Electronics Inc. Point cloud data transmission device, transmission method, processing device, and processing method
WO2022067775A1 (zh) * 2020-09-30 2022-04-07 Oppo广东移动通信有限公司 点云的编码、解码方法、编码器、解码器以及编解码系统
US11948338B1 (en) 2021-03-29 2024-04-02 Apple Inc. 3D volumetric content encoding using 2D videos and simplified 3D meshes
CN113179410B (zh) * 2021-06-10 2022-08-23 上海交通大学 一种点云属性的编解码方法、装置和系统
CN115470259A (zh) * 2021-06-11 2022-12-13 鹏城实验室 一种点云属性预测方法、装置、终端及存储介质
CN115720272A (zh) * 2021-08-24 2023-02-28 西安电子科技大学 点云预测、点云编码、点云解码方法及设备
CN118135289B (zh) * 2024-02-02 2024-09-10 青海师范大学 一种三维点云处理方法及装置、存储介质、设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190081638A1 (en) * 2017-09-14 2019-03-14 Apple Inc. Hierarchical point cloud compression

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8908765B2 (en) * 2007-11-15 2014-12-09 General Instrument Corporation Method and apparatus for performing motion estimation
WO2018146558A2 (en) 2017-02-07 2018-08-16 Mindmaze Holding Sa Systems, methods and apparatuses for stereo vision and tracking
US10861196B2 (en) 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US10911787B2 (en) * 2018-07-10 2021-02-02 Apple Inc. Hierarchical point cloud compression

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190081638A1 (en) * 2017-09-14 2019-03-14 Apple Inc. Hierarchical point cloud compression

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RUFAEL MEKURIA等: "Design, Implementation and Evaluation of a Point Cloud Codec for Tele-Immersive Video", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998456A (zh) * 2022-06-20 2022-09-02 西安邮电大学 基于局部相似度的三维点云属性压缩方法
CN114998456B (zh) * 2022-06-20 2023-06-30 西安邮电大学 基于局部相似度的三维点云属性压缩方法

Also Published As

Publication number Publication date
WO2020191258A1 (en) 2020-09-24
US11503367B2 (en) 2022-11-15
EP3861755A4 (en) 2021-12-08
EP3861755A1 (en) 2021-08-11
CN113424547B (zh) 2024-01-05
US20200304865A1 (en) 2020-09-24
JP7234375B2 (ja) 2023-03-07
JP2022524689A (ja) 2022-05-10
EP3861755B1 (en) 2023-02-01

Similar Documents

Publication Publication Date Title
CN113424547B (zh) 点云属性编解码的方法和装置
CN113475083B (zh) 帧间点云属性编解码的方法和装置
CN113454691B (zh) 自适应点云属性编解码的方法和装置
CN113455007B (zh) 帧间点云属性编解码的方法和装置
CN112188197B (zh) 通道间点云属性解码方法、装置以及可读存储介质
CN113795870B (zh) 一种对点云属性编解码的方法、装置及存储介质
US11657542B2 (en) Techniques and apparatus for alphabet-partition coding of transform coefficients for point cloud compression
US11551334B2 (en) Techniques and apparatus for coarse granularity scalable lifting for point-cloud attribute coding
CN112188199B (zh) 自适应点云属性编码的方法、装置、电子设备和存储介质
CN113115019B (zh) 视频编解码方法、装置、计算机设备及存储介质
CN112188216B (zh) 视频数据的编码方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40052092

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant