CN116324865A - 点云编码方法及相关装置 - Google Patents

点云编码方法及相关装置 Download PDF

Info

Publication number
CN116324865A
CN116324865A CN202080105364.XA CN202080105364A CN116324865A CN 116324865 A CN116324865 A CN 116324865A CN 202080105364 A CN202080105364 A CN 202080105364A CN 116324865 A CN116324865 A CN 116324865A
Authority
CN
China
Prior art keywords
points
prediction mode
distortion
determining
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080105364.XA
Other languages
English (en)
Inventor
元辉
王晓辉
李明
王璐
刘祺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN116324865A publication Critical patent/CN116324865A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请提供了一种点云编码方法及相关装置，包括：针对当前编码块包含的点云中的一个或多个点，采用率失真优化RDO机制确定一个或多个点的最优预测模式，其中，根据对一个或多个点使用一种预测模式所确定的重建失真，确定RDO机制中失真参数D；根据对所述一个或多个点使用一种预测模式所确定的编码码率，确定RDO机制中码率参数R；根据所述最优预测模式，对一个或多个点进行预测，得到所述一个或多个点的预测值；根据所述一个或多个点的预测值，确定所述一个或多个点的残差；根据所述最优预测模式和所述残差进行编码，获得编码比特，将所述编码比特写入码流。这样，可以改善编码器的峰值信噪比性能和颜色码流的大小。

Description

点云编码方法及相关装置 技术领域
本申请涉及图像编码技术领域，具体涉及一种点云编码方法及相关装置。
背景技术
率失真优化(Rate–distortion optimization，RDO)是一种提高视频压缩视频质量的方法。率失真是指针对视频编码所需的数据量(速率)优化失真量(视频质量损失)。其主要由视频编码器使用，率失真优化可用于提高某些编码情况(图像，视频，音频或其他)的质量。由于现有率失真优化RDO机制中未考虑编码量化残差所需的比特数，所以编码预测模式所需的比特数也不能真正反映当前预测模式所需码率的大小。而且量化残差并不能真正反映每种预测模式的失真参数D大小，故也无法确保重建点云质量的提升。
发明内容
本申请提供了一种点云编码方法及相关装置，以期以预测模式的重建失真作为率失真优化中的失真参数D，以编码预测模式和量化残差的比特数作为码率R，可以改善编码器的峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)性能和颜色码流的大小。
第一方面，本申请实施例提供一种点云编码方法，包括：
对点云进行划分，确定当前编码块；
针对所述当前编码块包含的点云中的一个或多个点，采用率失真优化RDO机制确定所述一个或多个点的最优预测模式，其中，根据对所述一个或多个点使用一种预测模式所确定的重建失真，确定所述RDO机制中失真参数D；根据对所述一个或多个点使用所述一种预测模式所确定的编码码率，确定所述RDO机制中码率参数R；
根据所述最优预测模式，对所述一个或多个点进行预测，得到所述一个或多个点的预测值；
根据所述一个或多个点的预测值，确定所述一个或多个点的残差；
根据所述最优预测模式和所述残差进行编码，获得编码比特，将所述编码比特写入码流。
相比于现有技术，本申请方案将RDO机制中的失真参数D设置为等于对所述一个或多个点使用一种预测模式所确定的重建失真，码率参数R设置为等于对所述一个或多个点使用所述一种预测模式所确定的编码码率，可以改善编码器的峰值信噪比PSNR性能和颜色码流的大小。
第二方面，本申请实施例提供一种点云编码装置，包括：
获取单元，用于编码码流，获取当前编码块；
划分单元，用于对点云进行划分，确定当前编码块；
第一确定单元，用于针对所述当前编码块包含的点云中的一个或多个点，采用率失真优化RDO机制确定所述一个或多个点的最优预测模式，其中，根据对所述一个或多个点使用一种预测模式所确定的重建失真，确定所述RDO机制中失真参数D；根据对所述一个或多个点使用所述一种预测模式所确定的编码码率，确定所述RDO机制中码率参数R；
预测单元，用于根据所述最优预测模式，对所述一个或多个点进行预测，得到所述一个或多个点的预测值；
第二确定单元，用于根据所述一个或多个点的预测值，确定所述一个或多个点的残差；
写入单元，用于根据所述最优预测模式和所述残差进行编码，获得编码比特，将所述编码比特写入码流。
第三方面，本申请实施例提供了一种编码器，包括非易失性存储介质以及中央处理器，其特征在于，所述非易失性存储介质存储有可执行程序，所述中央处理器与所述非易失性存储介质连接，当所述中央处理器执行所述可执行程序时，所述编码器执行如第一方面所述的方法。
第四方面，本申请实施例提供了一种终端，所述终端包括：一个或多个处理器、存储器和通信接口；所述存储器、所述通信接口与所述一个或多个处理器连接；所述终端通过所述通信接口与其他设备通信，所述存储器用于存储计算机程序代码，所述计算机程序代码包括指令，当所述一个或多个处理器执行所述指令时，所述终端执行如第一方面所述的方法。
第五方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行上述第一方面所述的方法。
第六方面，本申请实施例提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使得计算机执行上述第一方面所述的方法。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的的编码器框架示意图；
图2为本申请实施例中的点云编码方法的流程示意图；
图3是本申请实施例中的点云编码方法的性能对比图；
图4a是本申请实施例中的点云编码装置的结构示意图；
图4b是本申请实施例中的点云编码装置的一种功能单元组成框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
可以理解，本发明所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本发明的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。
目前，使用量化残差的最优颜色预测模式计算技术：
该技术简称为率失真优化RDO机制，应用于点云颜色编码的Predicting Transform模式中，是一种率失真优化的表达形式。率失真优化RDO机制主要通过以下流程实现：
a)对当前点的邻居点集计算其颜色的最大差异maxDiff，将maxDiff与设定的阈值进行比较，
如果小于阈值则使用邻居点颜色值加权平均的预测模式；
否则对该点使用率失真优化RDO机制选择最优预测模式；
b)率失真优化RDO机制会对当前点的每种预测模式计算得到一个代价分数，然后选取代价分数最小的预测模式，即最优预测模式作为当前点的颜色预测模式。
具体的：首先，计算当前点邻居点集的颜色最大差异maxDiff，过程如下：
首先计算邻居点在R分量上的最大差异，即MAX(R)–MIN(R)，G、B分量同理，然后选择R、G、B分量中的最大差异值作为maxDiff，即
maxDiff＝max(max(R1,R2,R3)-min(R1,R2,R3),max(G1,G2,G3)-min(G1,G2,G3),max(B1,B2,B3)-min(B1,B2,B3))，
将maxDiff与阈值比较，
若小于阈值则当前点的预测模式设为0，即predMode＝0；
若大于等于阈值，则对当前点使用率失真优化RDO机制，计算出每种预测模式对应的颜色预测值attrPred，令当前点的颜色值attrValue与预测值attrPred相减并量化得到量化残差attrResidualQuant，率失真优化RDO机制中的失真参数D为attrResidualQuant三个分量的和，即
D＝attrResidualQuant[0]+attrResidualQuant[1]+attrResidualQuant[2]
计算编码每种预测模式所需的比特数idxBits，比特数idxBits作为率失真优化RDO机制中的码率R，即R＝idxBits，则每种预测模式的代价分数可表示为
D+lambda×R
其中lambda＝0.01×Qstep，选择代价分数最小的预测模式作为当前点的最优预测模式。
可见，现有率失真优化RDO机制中量化残差attrResidualQuant并不能真正反映每种预测模式的失真参数D大小，故无法确保重建点云质量的提升；编码预测模式所需的比特数也不能真正反映当前预测模式所需码率的大小，因为其未考虑编码量化残差所需的比特数。
针对上述技术问题，本申请实施例提出一种基于重建失真和量化残差编码估计的率失真优化RDO机制，具体是以重建失真作为失真参数D，以量化残差的零阶指数哥伦布编码所需比特数作为码率R，并修改lambda率的失真优化RDO机制方案。
下面结合附图对本申请实施例进行详细说明。
请参阅图1，图1为本申请实施例提供的编码器的框架示意图，如图所示，对点云进行编码时，首先将位置信息经过坐标变换模块(例如：Transform coordinates)将点的几何坐标分别减去xyz坐标轴的最小值，将点云从世界坐标转换为相对坐标。然后经过几何量化和去重复点模块(例如：Quantize and remove points)，具体用于在几何有损时，对几何坐标进行量化后导致的几何坐标一致的重复点进行去除。然后经过八叉树分析模块(例如：Analyze octree)，将点云按照八叉树的形式一步步划分，这样点的位置便可以和八叉树的位置一一对应，并对八叉树中有点的位置进行统计。然后可以将经过八叉树分析模块操作后的数据经过近似表面分析模块(例如：Analyze surface approximation)操作后进入算术编码模块(例如：Arithmetic encode)进行编码得到几何比特流，或直接将经过八叉树分析模块的数据进入算术编码模块，算术编码模块用于将之前的信息利用算数编码方式生成几何比特流信息。在经过八叉树分析模块或近似表面分析模块的操作后的数据可以再进入重建几何信息模块(例如：Reconstruct geometry)进行操作。
对属性信息进行编码时，首先经过颜色空间转换模块(例如：Transform color)，将RGB颜色空间转换为YUV空间或其他。然后进入属性传递模块(Transfer attributes)，该模块用于将属性传递到点云几何体，该点云几何体在属性编码之前已在编码器处进行了压缩，然后进行了重构。已经经过重建几何信息模块操作后的数据可以再进入属性传递模块或区域自适应层次变换模块(例如：RAHT)或生成细节等级模块(例如：Generate Lod)进行 操作。对于某一类的数据可以通过区域自适应层次变换模块进行编码处理，然后经过量化系数Qunatize coefficients模块对残差使用量化步长进行量化，再通过算术编码模块对编码后的属性信息使用算数编码最终得到属性比特流信息。对于另一类的数据，可以先通过生成细节等级模块和提升模块进行处理，最后再通过算术编码模块对编码后的属性信息使用算数编码最终得到属性比特流信息，其中生成细节模块用于根据点与点之间的欧式距离生成细节等级LOD。
请参阅图2，图2为本申请实施例中的点云编码方法的流程示意图，该点云编码方法可以应用于图1示出的编码器。图2示出的流程以执行主体为图1示出的编码器为例进行说明。如图2所示，本申请实施例提供的点云编码方法包括：
步骤201，对点云进行划分，确定当前编码块；
其中，点云编码可以基于块进行，例如对视频进行编码时，将一帧视频划分成不同的块，然后对每个块再分别进行编码处理。
步骤202，针对所述当前编码块包含的点云中的一个或多个点，采用率失真优化RDO机制确定所述一个或多个点的最优预测模式，其中，根据对所述一个或多个点使用一种预测模式所确定的重建失真，确定所述RDO机制中失真参数D；根据对所述一个或多个点使用所述一种预测模式所确定的编码码率，确定所述RDO机制中码率参数R。
其中，编码块中同时包含了一个或多个像素点，需要对每个像素点都采用率失真优化机制确定该像素点的最优预测模式，或者是对当前点的邻居点集计算其颜色的最大差异，将最大差异与设定的阈值进行比较，对最大差异大于阈值的点采用率失真优化机制确定该像素点的最优预测模式。具体实现中，可以先计算当前点邻居点集的颜色最大差异maxDiff，过程如下：首先计算邻居点在R分量上的最大差异，即MAX(R)–MIN(R)，G、B分量同理，然后选择R、G、B分量中的最大差异值作为maxDiff，即maxDiff＝max(max(R1,R2,R3)-min(R1,R2,R3),max(G1,G2,G3)-min(G1,G2,G3),max(B1,B2,B3)-min(B1,B2,B3))将maxDiff与预设阈值比较，若颜色最大差异大于预设阈值，则对当前点使用率失真优化RDO机制。率失真优化技术主要涉及到失真和码率两个方面，失真是图像或视频等质量损失的大小，码率主要是指编码时的大小。RDO的主要思想是，在计算代价函数时，同时考虑码率和失真度两方面因素的制约，在保证低失真度的同时保证低码率，这样更加有利于数据流的传输。
步骤203，根据所述最优预测模式，对所述一个或多个点进行预测，得到所述一个或多个点的预测值。
步骤204，根据所述一个或多个点的预测值，确定所述一个或多个点的残差。
步骤205，根据所述最优预测模式和所述残差进行编码，获得编码比特，将所述编码比特写入码流。
其中，所述预测值是该像素点根据RDO机制确定的最优预测模式进行预测后获取的，所述残差可以是指由当前点的颜色值与当前点的颜色预测值相减并量化得到的。
可见，本实例中根据对所述一个或多个点使用一种预测模式所确定的重建失真，确定所述RDO机制中失真参数D；根据对所述一个或多个点使用所述一种预测模式所确定的编码码率，确定所述RDO机制中码率参数R，并通过RDO机制获取的预测值与残差值，最后获得编码比特并写入码流，可以改善编码器的峰值信噪比性能和颜色码流的大小。
在一个可能的实例中，所述重建失真是指使用所述预测模式对所述一个或多个点进行预测编码后得到的失真。
在一个可能的实例中，所述重建失真是指使用失真模型对使用所述预测模式对所述一个或多个点进行预测编码的失真的估计值。
其中，重建失真可以是经过真实编码过程后得到的失真，也可以是某种估计值，例如 根据一个失真模型进行的失真估计。
可见，本实例中，所述重建失真参数为编码得到的失真或经模型预测得到的估计值，可以改善编码器的峰值信噪比性能和颜色码流的大小。
在一个可能的实例中，所述编码码率是指使用所述预测模式对所述一个或多个点进行预测编码所需比特数。
在一个可能的实例中，所述编码码率是指对指示所述预测模式的参数和使用所述预测模式对所述一个或多个点预测后确定的残差进行编码所需比特数。
可见，本实例中，将编码预测模型所需的比特数和编码残差所需的比特数的和确定为编码码率，可以改善编码器的峰值信噪比性能和颜色码流的大小。
在一个可能的实例中，所述针对所述当前编码块包含的点云中的一个或多个点，采用率失真优化RDO机制确定所述一个或多个点的最优预测模式，包括：对所述一个或多个点使用一种预测模式，确定所述一个或多个点的失真参数D；对所述一个或多个点使用所述预测模式，确定所述一个或多个点的码率参数R；根据所述失真参数D和所述码率参数R确定所述预测模式的代价分数；确定代价分数最小的预测模式为所述一个或多个点的最优预测模式。
其中，在针对每个像素点进行RDO机制预测时，每一个像素点会同时获得多个预测模式，分别对这些预测模式进行计算，会得到与每个预测模式相对应的代价分数，最后可以将代价分数最小的预测模式确定为该像素点的最优预测模式。
可见，本实例中，以代价分数最小的预测模式为最优预测模式，可以使获取的最优预测模式更准确。
在一个可能的实例中，所述对所述一个或多个点使用一种预测模式，确定所述一个或多个点的失真参数D，包括：对所述一个或多个点使用一种预测模式，确定所述一个或多个点的重建值；根据所述一个或多个点的重建值和原始值，确定所述一个或多个点的重建失真；根据所述一个或多个点的重建失真确定所述一个或多个点的失真参数D。
其中，每个像素点都可以包括红(R)、绿(G)和蓝(B)三个颜色分量，因此重建值和该点的当前颜色值也具体包括三个分量上的值，当然也可以仅是一个颜色分量上的值。在得到该像素点在某个预设模式下的重建值后，分别对该像素点上的三个颜色分量的颜色值与对应颜色分量的重建值相减并取绝对值，以此得到当前预测模式下，该像素点分别在三个颜色分量上的重建失真，并根据这三个重建失真获得该像素点在该预测模式下的失真。
可见，本实例中，将所述RDO机制中的失真参数D设置为等于对所述一个或多个点使用一种预测模式所确定的重建失真，可以改善编码器的峰值信噪比性能和颜色码流的大小。
在一个可能的实例中，所述对所述一个或多个点使用一种预测模式，确定所述一个或多个点的重建值，包括：对所述一个或多个点使用一种预测模式，确定所述一个或多个点的预测值；根据所述一个或多个点的预测值和原始值确定所述一个或多个点的残差；确定所述残差的量化值；对所述残差的量化值进行反量化，并利用所述预测值重建得到的重建值。
其中，在确定代价分数时首先要对每一个预测模式的量化残差进行反量化，也就是说，首先要采用RDO机制计算出该像素点在一种预测模式下的预测值，然后将当前该像素点的颜色值与计算出的预测值进行相减，并量化得到量化残差，然后对该量化残差进行反量化，以此得到在这个预测模式下的该像素点的重建值。
可见，本实例中，对所述残差的量化值进行反量化，并利用所述预测值重建得到的重建值，并将所述RDO机制中的失真参数D设置为等于对所述一个或多个点使用一种预测模式所确定的重建失真，可以改善编码器的峰值信噪比性能和颜色码流的大小。
在一个可能的实例中，所述重建失真为一个颜色分量的重建失真；或者，所述重建失真为多个颜色分量的重建失真的加权和。
其中，可以将每个颜色分量的重建失真作为重建失真，也开业将多个颜色分量的重建失真的加权和作为重建失真。可以通过如下公式计算所述重建失真：
重建失真＝attrDistortion[0]+attrDistortion[1]+attrDistortion[2]，attrDistortion[0]为所述三个颜色分量中的第一个颜色分量的重建失真的值，attrDistortion[1]为所述三个颜色分量中的第二个颜色分量的重建失真的值，attrDistortion[2]为所述三个颜色分量中的第三个颜色分量的重建失真的值。
可见，本实例中，以一个颜色的重建失真或多个颜色分量的重建失真的加权和作为重建失真，可以改善编码器的峰值信噪比性能和颜色码流的大小。
在一个可能的实例中，所述根据所述一个或多个点的重建失真确定所述一个或多个点的失真参数D，包括：确定所述一个或多个点的重建失真为所述一个或多个点的失真参数D；或者，确定所述一个或多个点的重建失真的平方和为所述一个或多个点的失真参数D；或者，确定所述一个或多个点的重建失真的均方误差MSE为所述一个或多个点的失真参数D。
其中，可以直接确定重建失真就为失真参数D。或通过如下公式计算所述失真参数D：
D＝attrDistortion[0] 2+attrDistortion[1] 2+attrDistortion[2] 2，D为所述失真参数D的值，attrDistortion[0]为所述三个重建失真的第一个重建失真的值，attrDistortion[1]为所述三个重建失真的第二个重建失真的值，attrDistortion[2]为所述三个重建失真的第三个重建失真的值。或通过计算所述三个重建失真的均方误差MSE；将所述MSE作为所述像素点在当前预测模式下的所述失真参数D。均方误差(mean-square error,MSE)是反映估计量与被估计量之间差异程度的一种度量，是指参数估计值与参数真值之差平方的期望值，MSE可以评价数据的变化程度，MSE的值越小，说明预测模型描述实验数据具有更好的精确度。
可见，本实例中，将重建失真的值或重建失真的平方和或重建失真的均方误差作为失真参数D，可以改善编码器的峰值信噪比性能和颜色码流的大小。
在一个可能的实例中，所述对所述一个或多个点使用所述预测模式，确定所述一个或多个点的码率参数R，包括：对所述一个或多个点使用一种预测模式，确定所述一个或多个点的残差的量化值；确定在使用所述预测模式的情况下，编码所述一个或多个点的残差的量化值所需要的第一比特数，以及编码所述预测模式所需的第二比特数；根据所述第一比特数和所述第二比特数确定所述码率参数R。
其中，所述码率的值可以是第一比特数的值和第二比特数的值的和。
可见，本实例中，根据第一比特数和第二比特数确定码率参数R，可以使得码率R的值更加准确和符合实际操作，改善编码器的峰值信噪比性能和颜色码流的大小。
在一个可能的实例中，所述第一比特数为编码单个颜色分量的残差的量化值所需要的比特数；或者，所述第一比特数为编码多个颜色分量的残差的量化值所需要的比特数的和。
其中，第一比特数可以为编码多R、G、B三个颜色分量上的残差否量化失真所需要的比特数。
可见，本实例中，第一比特数可以是当颜色分量或多个颜色分量的残差的量化值所需的比特数，可以使得码率R的值更加准确和符合实际操作，改善编码器的峰值信噪比性能和颜色码流的大小。
在一个可能的实例中，所述第一比特数采用如下一种或多种编码器进行编码得到：零阶指数哥伦布编码器、算术编码器。
其中，零阶指数哥伦布编码是一种无损数据压缩方法也是变长编码的一种，是由前缀和后缀组成，其硬件实现简单，无需事先建立和存储码表，不但可以通过硬件计算快速产 生码字，而且编码效率高。算术编码是一种无失真的编码方法，能有效地压缩信源冗余度，属于熵编码的一种，其具有实时性好、灵活性高、适应性强等特点，在图像压缩、视频图像编码等领域应用广泛。
可见，本实例中，利用零阶指数哥伦布编码器或者算术编码器分别预测编码所述第一比特数，可以更准确的确定编码重建失真所需要的比特数，可以更好的改善编码器的峰值信噪比性能和颜色码流的大小。
在一个可能的实例中，所述根据所述失真参数D和所述码率参数R确定所述预测模式的代价分数，包括：通过如下公式计算所述代价分数：
S＝D+lambda×R，
其中，S为代价分数，D为所述失真参数D的值，R为所述码率参数R的值，lambda为预设系数。
其中，代价分数可以用来衡量预测模式的优劣，代价分数越小，预测模式越优。本方案中代价分数的计算方法为失真参数D的值加上预设系数与码率R的乘积的值。
可见，本实例中，确定代价分数的计算方法为为失真参数D的值加上预设系数与码率R的乘积，可以准确的选择出最优的预测模式，改善编码器的峰值信噪比性能和颜色码流的大小。
在一个可能的实例中，，lambda通过如下公式计算：
lambda＝α×Qstep，Qstep为所述当前编码块包含的点云中的一个或多个点的量化步长，α为预设值。
其中，量化步长的值可以根据不同的图像的特征和用户的主观要求等因素来设计。
可见，本实例中，通过量化步长来计算代价分数中的预设系数，可以准确的选择出最优的预测模式，改善编码器的峰值信噪比性能和颜色码流的大小。
在一个可能的实例中，α的取值范围为[0.01,1]
其中，α的取值是可变的，根据当前需求可以从0.01到1之间任意选取一个数值。
可见，将预设系数的取值范围确定在0.11到1之间，可以准确的选择出最优的预测模式，改善编码器的峰值信噪比性能和颜色码流的大小。
在一个可能的实例中，α为0.11或者，α为0.26。
其中，当α为0.11时，lambda＝0.11×Qstep，当α为0.26时，lambda＝0.26×Qstep。
可见，将预设系数的计算方式确定为0.11×Qstep或0.26×Qstep，可以准确的选择出最优的预测模式，改善编码器的峰值信噪比性能和颜色码流的大小。
在一个可能的实例中，lambda通过如下方式确定：测量一个或多个量化参数Qp中每个待测量Qp对应的一个或多个lambda取值的性能；确定所述待测量Qp的一个或多个lambda取值中性能最优者，设置为所述待测量Qp的最优lambda；根据确定出的所述一个或多个量化参数Qp对应的一个或多个最优lambda，确定最终的lambda。
其中，可以通过全搜索的方式确定每个Qp值的多个lambda取值中性能最优的lambda；根据确定出的多个Qp对应的多个性能最优的lambda，确定最终的lambda。在编码时可以根据公共测试环境CTC针对不同码率设置不同的QP值，每个QP值可以对应得出多个lambda，对这多个lambda的性能进行比较，确定出该QP值对应的最优的lambda，最后从根据多个QP值分别确定的最优的lambda中，选择一个最终的lambda。
可见，本实例中，根据量化参数QP确定最终的lambda，可以准确的选择出最优的预测模式，改善编码器的峰值信噪比性能和颜色码流的大小。
下面结合具体实施例进行详细说明。
本示例所提出技术方案在基于几何的点云压缩(G-PCC)参考软件TMC13 V11.0上实 现后，在CTC CY测试条件下对活动图像专家组(Moving Picture Experts Group，MPEG)要求的部分测试序列进行测试。如图3所示，图3是本申请实施例中的点云编码方法的性能对比图，其中，Luma表示亮度分量的增益，Chroma Cb表示色度Cb分量的增益，Chroma Cr表示色度Cr分量的增益，Reflectance表示反射率属性的增益。Cat1-A包含了低精度的静态物体和场景，具有位置和颜色信息，Cat1-B包含了高精度的静态物体和场景，具有位置和颜色信息。Cat1-A average表示Cat1-A类型所有序列的增益平均值，Cat1-B average表示Cat1-B类型所有序列的增益平均值，overall average表示所有测试序列的性能增益平均值。
本申请实施例提供一种点云编码装置。本申请实施例提供的点云编码装置可以包括相应步骤所对应的模块。
本申请实施例可以根据上述方法示例对点云编码装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下，图4a是本申请实施例中的点云编码装置的结构示意图。如图4a所示，点云编码装置400包括
划分单元401，用于对点云进行划分，确定当前编码块；
第一确定单元402，用于针对所述当前编码块包含的点云中的一个或多个点，采用率失真优化RDO机制确定所述一个或多个点的最优预测模式，其中，根据对所述一个或多个点使用一种预测模式所确定的重建失真，确定所述RDO机制中失真参数D；根据对所述一个或多个点使用所述一种预测模式所确定的编码码率，确定所述RDO机制中码率参数R；
预测单元403，用于根据所述最优预测模式，对所述一个或多个点进行预测，得到所述一个或多个点的预测值；
第二确定单元404，用于根据所述一个或多个点的预测值，确定所述一个或多个点的残差；
写入单元405，用于根据所述最优预测模式和所述残差进行编码，获得编码比特，将所述编码比特写入码流。
在一个可能的实例中，所述重建失真是指使用所述预测模式对所述一个或多个点进行预测编码后得到的失真。
在一个可能的实例中，所述重建失真是指使用失真模型对使用所述预测模式对所述一个或多个点进行预测编码的失真的估计值。
在一个可能的实例中，所述编码码率是指使用所述预测模式对所述一个或多个点进行预测编码所需比特数。
在一个可能的实例中，所述编码码率是指对指示所述预测模式的参数和使用所述预测模式对所述一个或多个点预测后确定的残差进行编码所需比特数。
在一个可能的实例中，在所述针对所述当前编码块包含的点云中的一个或多个点，采用率失真优化RDO机制确定所述一个或多个点的最优预测模式方面，所述第一确定单元402具体用于：对所述一个或多个点使用一种预测模式，确定所述一个或多个点的失真参数D；对所述一个或多个点使用所述预测模式，确定所述一个或多个点的码率参数R；根据所述失真参数D和所述码率参数R确定所述预测模式的代价分数；确定代价分数最小的预测模式为所述一个或多个点的最优预测模式。
在一个可能的实例中，在所述对所述一个或多个点使用一种预测模式，确定所述一个或多个点的失真参数D方面，所述第一确定单元402具体用于：对所述一个或多个点使用一 种预测模式，确定所述一个或多个点的重建值；根据所述一个或多个点的重建值和原始值，确定所述一个或多个点的重建失真；根据所述一个或多个点的重建失真确定所述一个或多个点的失真参数D。
在一个可能的实例中，在所述对所述一个或多个点使用一种预测模式，确定所述一个或多个点的重建值方面，所述第一确定单元402具体用于：对所述一个或多个点使用一种预测模式，确定所述一个或多个点的预测值；根据所述一个或多个点的预测值和原始值确定所述一个或多个点的残差；确定所述残差的量化值；对所述残差的量化值进行反量化，并利用所述预测值重建得到的重建值。
在一个可能的实例中，所述重建失真为一个颜色分量的重建失真；或者，所述重建失真为多个颜色分量的重建失真的加权和。
在一个可能的实例中，在所述根据所述一个或多个点的重建失真确定所述一个或多个点的失真参数D方面，所述第一确定单元402具体用于：确定所述一个或多个点的重建失真为所述一个或多个点的失真参数D；或者，确定所述一个或多个点的重建失真的平方和为所述一个或多个点的失真参数D；或者，确定所述一个或多个点的重建失真的均方误差MSE为所述一个或多个点的失真参数D。
在一个可能的实例中，在所述对所述一个或多个点使用所述预测模式，确定所述一个或多个点的码率参数R方面，所述第一确定单元402具体用于：对所述一个或多个点使用一种预测模式，确定所述一个或多个点的残差的量化值；确定在使用所述预测模式的情况下，编码所述一个或多个点的残差的量化值所需要的第一比特数，以及编码所述预测模式所需的第二比特数；根据所述第一比特数和所述第二比特数确定所述码率参数R。
在一个可能的实例中，所述第一比特数为编码单个颜色分量的残差的量化值所需要的比特数；或者，所述第一比特数为编码多个颜色分量的残差的量化值所需要的比特数的和。
在一个可能的实例中，所述第一比特数采用如下一种或多种编码器进行编码得到：零阶指数哥伦布编码器、算术编码器。
在一个可能的实例中，在所述根据所述失真参数D和所述码率参数R确定所述预测模式的代价分数方面，所述第一确定单元402具体用于：通过如下公式计算所述代价分数：S＝D+lambda×R，其中，S为代价分数，D为所述失真参数D的值，R为所述码率参数R的值，lambda为预设系数。
在一个可能的实例中，lambda通过如下公式计算：lambda＝α×Qstep，Qstep为所述当前编码块包含的点云中的一个或多个点的量化步长，α为预设值。
在一个可能的实例中，α的取值范围为[0.01,1]。
在一个可能的实例中，α为0.11或者，α为0.26。
在一个可能的实例中，lambda通过如下方式确定：测量一个或多个量化参数Qp中每个待测量Qp对应的一个或多个lambda取值的性能；确定所述待测量Qp的一个或多个lambda取值中性能最优者，设置为所述待测量Qp的最优lambda；根据确定出的所述一个或多个量化参数Qp对应的一个或多个最优lambda，确定最终的lambda。
其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。当然，本申请实施例提供的点云编码装置包括但不限于上述模块，例如：点云编码装置还可以包括存储单元。存储单元可以用于存储该点云编码装置的程序代码和数据。
在采用集成的单元的情况下，本申请实施例提供的点云编码装置的结构示意图如图4b所示。在图4b中，点云编码装置14包括：处理模块140和通信模块141。处理模块140用于对点云编码装置的动作进行控制管理，例如，执行划分单元401、第一确定单元402、 预测单元403、第二确定单元404、写入单元405执行的步骤，和/或用于执行本文所描述的技术的其它过程。通信模块141用于支持点云编码装置与其他设备之间的交互。如图14所示，点云编码装置还可以包括存储模块142，存储模块142用于存储点云编码装置的程序代码和数据，例如存储上述存储单元143所保存的内容。
其中，处理模块140可以是处理器或控制器，例如可以是中央处理器(Central Processing Unit，CPU)，通用处理器，数字信号处理器(Digital Signal Processor，DSP)，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。通信模块141可以是收发器、RF电路或通信接口等。存储模块142可以是存储器。
其中，上述方法实施例涉及的各场景的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。上述点云编码装置14可执行上述图2所示的点云编码方法，点云编码装置400和点云编码装置14具体可以是视频点云编码装置或者其他具有视频编码功能的设备。
本申请还提供一种编码器，包括非易失性存储介质，以及中央处理器，所述非易失性存储介质存储有可执行程序，所述中央处理器与所述非易失性存储介质连接，并执行所述可执行程序以实现本申请实施例的点云编码方法。
本申请还提供一种终端，该终端包括：一个或多个处理器、存储器、通信接口。该存储器、通信接口与一个或多个处理器耦合；存储器用于存储计算机程序代码，计算机程序代码包括指令，当一个或多个处理器执行指令时，终端执行本申请实施例的点云编码方法。这里的终端可以是视频显示设备，智能手机，便携式电脑以及其它可以处理视频或者播放视频的设备。
本申请另一实施例还提供一种计算机可读存储介质，该计算机可读存储介质包括一个或多个程序代码，该一个或多个程序包括指令，当编码设备中的处理器在执行该程序代码时，该编码设备执行本申请实施例的点云编码方法。
在本申请的另一实施例中，还提供一种计算机程序产品，该计算机程序产品包括计算机执行指令，该计算机执行指令存储在计算机可读存储介质中；编码设备的至少一个处理器可以从计算机可读存储介质读取该计算机执行指令，至少一个处理器执行该计算机执行指令使得终端实施执行本申请实施例的点云编码方法。
在上述实施例中，可以全部或部分的通过软件，硬件，固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式出现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。
所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心传输。所述计算机可读存储介
质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质，(例如，软盘，硬盘、磁带)、光介质(例如，DVD)或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述 功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (23)

  1. 一种点云编码方法，其特征在于，包括：
    对点云进行划分，确定当前编码块；
    针对所述当前编码块包含的点云中的一个或多个点，采用率失真优化RDO机制确定所述一个或多个点的最优预测模式；其中，根据对所述一个或多个点使用一种预测模式所确定的重建失真，确定所述RDO机制中失真参数D；根据对所述一个或多个点使用所述一种预测模式所确定的编码码率，确定所述RDO机制中码率参数R；
    根据所述最优预测模式，对所述一个或多个点进行预测，得到所述一个或多个点的预测值；
    根据所述一个或多个点的预测值，确定所述一个或多个点的残差；
    根据所述最优预测模式和所述残差进行编码，获得编码比特，将所述编码比特写入码流。
  2. 根据权利要求1所述的方法，其特征在于，所述重建失真是指使用所述预测模式对所述一个或多个点进行预测编码后得到的失真。
  3. 根据权利要求1所述的方法，其特征在于，所述重建失真是指使用失真模型对使用所述预测模式对所述一个或多个点进行预测编码的失真的估计值。
  4. 根据权利要求1或2所述的方法，其特征在于，所述编码码率是指使用所述预测模式对所述一个或多个点进行预测编码所需比特数。
  5. 根据权利要求1或2所述的方法，其特征在于，所述编码码率是指对指示所述预测模式的参数和使用所述预测模式对所述一个或多个点预测后确定的残差进行编码所需比特数。
  6. 根据权利要求1-5任一项所述的方法，其特征在于，针对所述当前编码块包含的点云中的一个或多个点，采用率失真优化RDO机制确定所述一个或多个点的最优预测模式，包括：
    对所述一个或多个点使用一种预测模式，确定所述一个或多个点的失真参数D；
    对所述一个或多个点使用所述预测模式，确定所述一个或多个点的码率参数R；
    根据所述失真参数D和所述码率参数R确定所述预测模式的代价分数；
    确定代价分数最小的预测模式为所述一个或多个点的最优预测模式。
  7. 根据权利要求6所述的方法，其特征在于，所述对所述一个或多个点使用一种预测模式，确定所述一个或多个点的失真参数D，包括：
    对所述一个或多个点使用一种预测模式，确定所述一个或多个点的重建值；
    根据所述一个或多个点的重建值和原始值，确定所述一个或多个点的重建失真；
    根据所述一个或多个点的重建失真确定所述一个或多个点的失真参数D。
  8. 根据权利要求7所述的方法，其特征在于，所述对所述一个或多个点使用一种预测模式，确定所述一个或多个点的重建值，包括：
    对所述一个或多个点使用一种预测模式，确定所述一个或多个点的预测值；
    根据所述一个或多个点的预测值和原始值确定所述一个或多个点的残差；
    确定所述残差的量化值；
    对所述残差的量化值进行反量化，利用所述预测值重建得到的重建值。
  9. 根据权利要求7所述的方法，其特征在于，所述重建失真为一个颜色分量的重建失真；或者，
    所述重建失真为多个颜色分量的重建失真的加权和。
  10. 根据权利要求9所述的方法，其特征在于，所述根据所述一个或多个点的重建失 真确定所述一个或多个点的失真参数D，包括：
    确定所述一个或多个点的重建失真为所述一个或多个点的失真参数D；或者，
    确定所述一个或多个点的重建失真的平方和为所述一个或多个点的失真参数D；或者，
    确定所述一个或多个点的重建失真的均方误差MSE为所述一个或多个点的失真参数D。
  11. 根据权利要求6所述的方法，其特征在于，所述对所述一个或多个点使用所述预测模式，确定所述一个或多个点的码率参数R，包括：
    对所述一个或多个点使用一种预测模式，确定所述一个或多个点的残差的量化值；
    确定在使用所述预测模式的情况下，编码所述一个或多个点的残差的量化值所需要的第一比特数，以及编码所述预测模式所需的第二比特数；
    根据所述第一比特数和所述第二比特数确定所述码率参数R。
  12. 根据权利要求11所述的方法，其特征在于，所述第一比特数为编码单个颜色分量的残差的量化值所需要的比特数；或者，
    所述第一比特数为编码多个颜色分量的残差的量化值所需要的比特数的和。
  13. 根据权利要求12所述的方法，其特征在于，所述第一比特数采用如下一种或多种编码器进行编码得到：零阶指数哥伦布编码器、算术编码器。
  14. 根据权利要求6所述的方法，其特征在于，所述根据所述失真参数D和所述码率参数R确定所述预测模式的代价分数，包括：
    通过如下公式计算所述代价分数：
    S＝D+lambda×R，
    其中，S为代价分数，D为所述失真参数D的值，R为所述码率参数R的值，lambda为预设系数。
  15. 根据权利要求14所述的方法，其特征在于，lambda通过如下公式计算：
    lambda＝α×Qstep，
    Qstep为所述当前编码块包含的点云中的一个或多个点的量化步长，α为预设值。
  16. 根据权利要求15所述的方法，其特征在于，α的取值范围为[0.01,1]。
  17. 根据权利要求15所述的方法，其特征在于，α为0.11或者，α为0.26。
  18. 根据权利要求14所述的方法，其特征在于，预设系数lambda通过如下方式确定：
    测量一个或多个量化参数Qp中每个待测量Qp对应的一个或多个lambda取值的性能；
    确定所述待测量Qp的一个或多个lambda取值中性能最优者，设置为所述待测量Qp的最优lambda；
    根据确定出的所述一个或多个量化参数Qp对应的一个或多个最优lambda，确定最终的lambda。
  19. 一种点云编码装置，其特征在于，包括：
    划分单元，用于对点云进行划分，确定当前编码块；
    第一确定单元，用于针对所述当前编码块包含的点云中的一个或多个点，采用率失真优化RDO机制确定所述一个或多个点的最优预测模式，其中，根据对所述一个或多个点使用一种预测模式所确定的重建失真，确定所述RDO机制中失真参数D；根据对所述一个或多个点使用所述一种预测模式所确定的编码码率，确定所述RDO机制中码率参数R；
    预测单元，用于根据所述最优预测模式，对所述一个或多个点进行预测，得到所述一个或多个点的预测值；
    第二确定单元，用于根据所述一个或多个点的预测值，确定所述一个或多个点的残差；
    写入单元，用于根据所述最优预测模式和所述残差进行编码，获得编码比特，将所述 编码比特写入码流。
  20. 一种编码器，包括非易失性存储介质以及中央处理器，其特征在于，所述非易失性存储介质存储有可执行程序，所述中央处理器与所述非易失性存储介质连接，当所述中央处理器执行所述可执行程序时，所述编码器执行如权利要求1-18中任意一项所述的点云编码方法。
  21. 一种终端，其特征在于，所述终端包括：一个或多个处理器、存储器和通信接口；所述存储器、所述通信接口与所述一个或多个处理器连接；所述终端通过所述通信接口与其他设备通信，所述存储器用于存储计算机程序代码，所述计算机程序代码包括指令，
    当所述一个或多个处理器执行所述指令时，所述终端执行如权利要求1-18中任意一项所述的方法。
  22. 一种包含指令的计算机程序产品，其特征在于，当所述计算机程序产品在终端上运行时，使得所述终端执行如权利要求1-18中任意一项所述的方法。
  23. 一种计算机可读存储介质，包括指令，其特征在于，当所述指令在终端上运行时，使得所述终端执行如权利要求1-18中任意一项所述的方法。
CN202080105364.XA 2020-09-25 2020-09-25 点云编码方法及相关装置 Pending CN116324865A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/117942 WO2022061786A1 (zh) 2020-09-25 2020-09-25 点云编码方法及相关装置

Publications (1)

Publication Number Publication Date
CN116324865A true CN116324865A (zh) 2023-06-23

Family

ID=80844662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080105364.XA Pending CN116324865A (zh) 2020-09-25 2020-09-25 点云编码方法及相关装置

Country Status (6)

Country Link
US (1) US20230232016A1 (zh)
EP (1) EP4221230A4 (zh)
JP (1) JP2023549019A (zh)
KR (1) KR20230074514A (zh)
CN (1) CN116324865A (zh)
WO (1) WO2022061786A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023151870A1 (en) 2022-02-09 2023-08-17 Eaton Intelligent Power Limited Splice block system for connecting multiple components in a power distribution system
WO2024007253A1 (zh) * 2022-07-07 2024-01-11 Oppo广东移动通信有限公司 点云率失真优化方法及属性压缩方法、装置和存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10861196B2 (en) * 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
CN108235018B (zh) * 2017-12-13 2019-12-27 北京大学 一种基于拉格朗日乘子模型的点云帧内编码优化方法及装置
US10911787B2 (en) * 2018-07-10 2021-02-02 Apple Inc. Hierarchical point cloud compression
US10878597B2 (en) * 2018-09-14 2020-12-29 Sony Corporation Rate distortion optimization for adaptive subband coding of regional adaptive HAAR transform (RAHT)
US11010931B2 (en) * 2018-10-02 2021-05-18 Tencent America LLC Method and apparatus for video coding
CN113615199A (zh) * 2019-03-20 2021-11-05 交互数字Vc控股公司 处理点云的缺失点
CN110572655B (zh) * 2019-09-30 2023-01-10 北京大学深圳研究生院 一种基于邻居权重的参数选取和传递的点云属性编码和解码的方法及设备
CN111145090B (zh) * 2019-11-29 2023-04-25 鹏城实验室 一种点云属性编码方法、解码方法、编码设备及解码设备
CN111242997B (zh) * 2020-01-13 2023-11-10 北京大学深圳研究生院 一种基于滤波器的点云属性预测方法及设备

Also Published As

Publication number Publication date
WO2022061786A1 (zh) 2022-03-31
JP2023549019A (ja) 2023-11-22
US20230232016A1 (en) 2023-07-20
EP4221230A4 (en) 2023-08-30
EP4221230A1 (en) 2023-08-02
KR20230074514A (ko) 2023-05-30

Similar Documents

Publication Publication Date Title
KR100871646B1 (ko) 인트라-예측 방향에 기반한 ｈ.264 공간 에러 은닉 방법 및장치
US20230232016A1 (en) Point cloud encoding method and related apparatuses
JP2021530917A (ja) ビデオ符号器、ビデオ復号器、並びに対応する符号化及び復号化方法
US8582645B2 (en) Reducing flicker in the display of video streams
KR100578433B1 (ko) 페이딩 추정/보정
US20240137506A1 (en) Systems and methods for image filtering
US10368071B2 (en) Encoding data arrays
KR20190107944A (ko) 복원 영상에 대한 필터링을 수행하는 영상 처리 장치 및 이의 필터링 방법
EP3899875A1 (en) Efficient patch rotation in point cloud coding
CN117897952A (zh) 用于执行组合帧间和帧内预测的方法和系统
WO2020186060A1 (en) Patch data unit coding and decoding for point-cloud data
US20120207212A1 (en) Visually masked metric for pixel block similarity
US20230232002A1 (en) Point cloud coding method, point cloud decoding method, and relevant apparatuses
KR102438149B1 (ko) 비디오 코딩을 위한 위치 종속 공간 가변 변환
US9967585B2 (en) Method for encoding and decoding images, device for encoding and decoding images and corresponding computer programs
CN107409211A (zh) 一种视频编解码方法及装置
CN116982262A (zh) 视频编码中依赖性量化的状态转换
EP1351518A2 (en) Data compression for multi-generation images
US20030202712A1 (en) Data compression
JP2001501406A (ja) ディジタル画像をベクトル量子化および逆ベクトル量子化する方法および装置
US11985341B2 (en) Assigning bit budgets to parallel encoded video data
US11582478B2 (en) Video encoding technique utilizing user guided information in cloud environment
WO2022217472A1 (zh) 点云编解码方法、编码器、解码器及计算机可读存储介质
US20230080747A1 (en) Modifying a set of angle prediction modes for coding an equirectangular projection format image
US20230328246A1 (en) Point cloud encoding method and decoding method, and encoder and decoder

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination