CN111133476A - 点云压缩 - Google Patents
点云压缩 Download PDFInfo
- Publication number
- CN111133476A CN111133476A CN201880060357.5A CN201880060357A CN111133476A CN 111133476 A CN111133476 A CN 111133476A CN 201880060357 A CN201880060357 A CN 201880060357A CN 111133476 A CN111133476 A CN 111133476A
- Authority
- CN
- China
- Prior art keywords
- patch
- points
- image
- point cloud
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007906 compression Methods 0.000 title description 114
- 230000006835 compression Effects 0.000 title description 112
- 238000000034 method Methods 0.000 claims description 229
- 230000033001 locomotion Effects 0.000 claims description 67
- 239000013598 vector Substances 0.000 claims description 42
- 238000012856 packing Methods 0.000 claims description 36
- 239000000945 filler Substances 0.000 claims description 11
- 239000000203 mixture Substances 0.000 claims description 11
- 238000011049 filling Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 description 91
- 230000000875 corresponding effect Effects 0.000 description 78
- 238000006243 chemical reaction Methods 0.000 description 55
- 238000012545 processing Methods 0.000 description 47
- 238000001914 filtration Methods 0.000 description 37
- 230000003044 adaptive effect Effects 0.000 description 34
- 238000013139 quantization Methods 0.000 description 34
- 238000013507 mapping Methods 0.000 description 32
- 238000009499 grossing Methods 0.000 description 29
- 230000002829 reductive effect Effects 0.000 description 22
- 230000006837 decompression Effects 0.000 description 20
- 230000002123 temporal effect Effects 0.000 description 19
- 230000009467 reduction Effects 0.000 description 17
- 230000011218 segmentation Effects 0.000 description 17
- 239000003638 chemical reducing agent Substances 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 238000005457 optimization Methods 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 13
- 238000012952 Resampling Methods 0.000 description 11
- 238000005070 sampling Methods 0.000 description 11
- 238000012546 transfer Methods 0.000 description 11
- 238000013459 approach Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 10
- 239000003086 colorant Substances 0.000 description 10
- 230000011664 signaling Effects 0.000 description 10
- 238000003860 storage Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000003190 augmentative effect Effects 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 238000011109 contamination Methods 0.000 description 6
- 238000002310 reflectometry Methods 0.000 description 6
- 241000023320 Luma <angiosperm> Species 0.000 description 5
- 230000002596 correlated effect Effects 0.000 description 5
- 238000000354 decomposition reaction Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 4
- 230000003321 amplification Effects 0.000 description 4
- 238000009795 derivation Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000000873 masking effect Effects 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004806 packaging method and process Methods 0.000 description 3
- 238000013442 quality metrics Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 101000638069 Homo sapiens Transmembrane channel-like protein 2 Proteins 0.000 description 2
- 102100032054 Transmembrane channel-like protein 2 Human genes 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000013213 extrapolation Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 108050005509 3D domains Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000012858 packaging process Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000006722 reduction reaction Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 229920000638 styrene acrylonitrile Polymers 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/70—Type of the data to be coded, other than image and sound
Abstract
本发明公开了一种系统，所述系统包括被配置为压缩关于点云的属性信息和/或空间信息的编码器、和/或被配置为解压缩关于所述点云的压缩属性信息和/或空间信息的解码器。为了压缩所述属性信息和/或空间信息，所述编码器被配置为将点云转换为基于图像的表示。另外，所述解码器被配置为基于点云的基于图像的表示来生成解压缩点云。
Description
技术领域
本公开整体涉及包括多个点的点云的压缩和解压缩，每个点具有相关联的空间信息和属性信息。
背景技术
各种类型的传感器(诸如光检测和测距(LIDAR)系统、3D相机、 3D扫描仪等)可以捕获指示点在三维空间中的位置(例如在X、Y和Z平面中的位置)的数据。另外，此类系统除了关于相应点的空间信息之外还可以捕获属性信息，诸如颜色信息(例如，RGB值)、纹理属性、强度属性、反射率属性、运动相关属性、模态属性或各种其他属性。在一些情况下，可以将附加属性分配给相应点，诸如捕获该点时的时间戳。由此类传感器捕获的点可以构成“点云”，该“点云”包括各自具有相关联的空间信息和一个或多个相关联的属性的一组点。在一些情况下，点云可以包括数千个点、数十万个点、数百万个点或甚至更多的点。另外，在一些情况下，与正由一个或多个传感器捕获的点云不同，可以例如在软件中生成点云。在任一种情况下，此类点云可包括大量数据，并且存储和传输这些点云可能成本高且耗时。
发明内容
在一些实施方案中，一种系统包括被配置为捕获共同构成点云的点的一个或多个传感器，其中每个点包括识别相应点的空间位置的空间信息和定义与相应点相关联的一个或多个属性的属性信息。
该系统还包括被配置为压缩点的属性信息和/或空间信息的编码器。为了压缩属性信息和/或空间信息，编码器被配置为：对于该点云，确定多个补片，每个补片对应于点云的部分，其中每个补片包括具有彼此偏离小于阈值量的表面法矢量的点。编码器被进一步配置为对于每个补片：生成补片图像，该补片图像包括对应于投影到补片平面上的补片的点集合，并且生成另一个补片图像，该另一个补片图像包括关于对应于补片的点集合的深度信息，其中该深度信息表示点在垂直于补片平面的方向上的深度。
例如，对应于投影到补片平面上的补片的补片图像可以在两个方向 (诸如，X和Y方向)上描绘包括在补片中的点云的点。点云的点可以投影到与法矢量大约垂直的补片平面上，该法矢量在补片的位置处与点云的表面垂直。另外，例如，包括关于包括在补片中的点集合的深度信息的补片图像可描绘深度信息，诸如Z方向上的深度距离。为了描绘深度信息，深度补片图像可以包括一个参数，该参数基于点云中的点在补片图像中的特定位置处的深度而在强度上变化。例如，描绘深度信息的补片图像可以具有与表示投影到补片平面上的点的补片图像相同的形状。然而，深度信息补片图像可以是包括在强度上变化的图像属性(诸如，一种或多种颜色)的图像，其中一个或多个图像属性的强度对应于点云在补片图像中的某位置处的深度，该位置是图像属性在描绘深度的补片图像中显示所在的位置。例如，更靠近补片平面的点可以被编码为描绘深度的补片图像中的较暗值，并且离补片平面更远的点可以被编码为描绘深度的补片图像中的较亮值，例如在描绘深度的单色补片图像中。因此，深度信息补片图像当与表示投影到补片平面上的点的其他补片图像对准时，可以基于深度补片图像中的对应于点在包括投影到补片平面的点云点的其他补片图像中的位置的位置处的相应图像属性强度，来指示投影到补片平面上的点的相对深度。
编码器被进一步配置为：将关于所确定的补片中的每个补片的所生成的补片图像(包括深度补片图像，以及任选地关于一个或多个其他属性的一个或多个附加补片图像)打包到一个或多个图像帧中并且对这一个或多个图像帧进行编码。在一些实施方案中，编码器可以利用各种图像或视频编码技术来对一个或多个图像帧进行编码。例如，编码器可以利用根据高效视频编码(HEVC/H.265)标准或其他合适的标准(诸如高级视频编码 (AVC/H.265)标准、由开放媒体联盟(AOM)开发的AOMedia Video 1 (AV1)视频编码格式等)的视频编码器。在一些实施方案中，编码器可以利用根据运动图像专家组(MPEG)、联合图像专家组(JPEG)标准、国际电信联盟-电信标准(例如，ITU-T标准)等的图像编码器。
在一些实施方案中，解码器被配置为接收一个或多个已编码图像帧，这一个或多个已编码图像帧包括关于压缩点云的多个补片的补片图像，其中对于每个补片，这一个或多个已编码图像帧包括：包括投影到补片平面上的补片的点集合的补片图像，和包括关于补片的点集合的深度信息的补片图像，其中深度信息指示补片的点在垂直于补片平面的方向上的深度。在一些实施方案中，可以将深度补片图像和其他属性补片图像一起打包到图像帧中。例如，解码器可以接收包括由上述编码器生成的打包补片图像的一个或多个图像帧。
解码器被进一步配置为对包括补片图像的一个或多个已编码图像帧进行解码。在一些实施方案中，解码器可以利用根据高效视频编码(HEVC) 标准或其他合适的标准(诸如高级视频编码(AVC)标准、AOMedia Video 1(AV1)视频编码格式等)的视频解码器。在一些实施方案中，解码器可以利用根据运动图像专家组(MPEG)或联合图像专家组(JPEG)标准等的图像解码器。
解码器被进一步配置为：对于每个补片，至少部分地基于包括投影到补片平面上的补片的点集合的补片图像和包括关于补片的点集合的深度信息的补片图像来确定关于补片的点集合的空间信息，以及至少部分地基于所确定的关于多个补片的空间信息和包括在补片中的属性信息来生成压缩点云的解压缩版本。
在一些实施方案中，一种方法包括：接收一个或多个已编码图像帧，这一个或多个已编码图像帧包括关于压缩点云的多个补片的补片图像，其中对于每个补片，这一个或多个已编码图像帧包括：包括投影到补片平面上的补片的点集合的补片图像，和包括关于补片的点集合的深度信息的补片图像，其中深度信息指示补片的点在垂直于补片平面的方向上的深度。该方法还包括对包括补片图像的一个或多个已编码图像帧进行解码。在一些实施方案中，解码可以根据高效视频编码(HEVC)标准或其他合适的标准(诸如高级视频编码(AVC)标准、AOMedia Video 1(AV1)视频编码格式等)来执行。在一些实施方案中，解码可以根据运动图像专家组 (MPEG)或联合图像专家组(JPEG)标准等来执行。
该方法还包括：对于每个补片，至少部分地基于包括投影到补片平面上的补片的点集合的补片图像和包括关于补片的点集合的深度信息的补片图像来确定关于补片的点集合的空间信息，以及至少部分地基于所确定的关于多个补片的空间信息来生成压缩点云的解压缩版本。
在一些实施方案中，一种非暂态计算机可读介质存储程序指令，这些程序指令当由一个或多个处理器执行时，使得一个或多个处理器实现如本文所述的编码器以压缩点云的属性信息。
在一些实施方案中，一种非暂态计算机可读介质存储程序指令，这些程序指令当由一个或多个处理器执行时，使得一个或多个处理器实现如本文所述的解码器以解压缩点云的属性信息。
附图说明
图1示出了根据一些实施方案的系统，该系统包括捕获关于点云的点的信息的传感器和压缩点云的空间信息和属性信息的编码器，其中压缩的空间信息和属性信息被发送到解码器。
图2A示出了根据一些实施方案的用于对点云内帧进行编码的编码器的部件。
图2B示出了根据一些实施方案的用于对点云内帧进行解码的解码器的部件。
图2C示出了根据一些实施方案的用于对点云间帧进行编码的编码器的部件。
图2D示出了根据一些实施方案的用于对点云间帧进行解码的解码器的部件。
图3A示出了根据一些实施方案的示例补片分割过程。
图3B示出了根据一些实施方案的包括打包的补片图像和填充部分的示例图像帧。
图3C示出了根据一些实施方案的包括补片部分和填充部分的示例图像帧。
图3D示出了根据一些实施方案的正被投影到多个投影上的点云。
图3E示出了根据一些实施方案的正被投影到多个平行投影上的点云。
图4A示出了根据一些实施方案的用于利用颜色转换来对点云内帧进行编码的编码器的部件。
图4B示出了根据一些实施方案的用于利用颜色转换来对点云间帧进行编码的编码器的部件。
图4C示出了根据一些实施方案的闭环颜色转换模块的部件。
图4D示出了根据一些实施方案的用于确定作为已执行操作的依据的关于点云的质量度量的示例过程。
图5A示出了根据一些实施方案的包括几何、纹理和/或其他属性缩减的编码器的部件。
图5B示出了根据一些实施方案的包括几何、纹理和/或其他属性放大的解码器的部件。
图5C示出了根据一些实施方案的从编码器的角度进行的重缩放。
图5D示出了根据一些实施方案的从解码器的角度进行的重缩放。
图5E示出了根据一些实施方案的示例开环重缩放。
图5F示出了根据一些实施方案的示例闭环重缩放。
图5G示出了根据一些实施方案的利用多个属性层的示例闭环重缩放。
图5H示出了根据一些实施方案的视频级时空缩放的示例。
图5I示出了根据一些实施方案的利用时空缩放的示例闭环重缩放。
图6A示出了根据一些实施方案的还包括视频解压缩后纹理处理和/或滤波以及视频解压缩后几何处理/滤波的解码器的部件。
图6B示出了根据一些实施方案的用于压缩点云的位流结构。
图6C示出了根据一些实施方案的示例应用，其中使用属性平面的对应几何信息和几何提取边缘来放大属性平面。
图7A示出了根据一些实施方案的基于PCCNAL单元的位流的示例。
图7B示出了根据一些实施方案的按POC分组的PCCNAL单元的示例。
图7C示出了根据一些实施方案的按类型分组的PCCNAL单元的示例。
图8A示出了根据一些实施方案的用于压缩点云的属性信息和空间信息的过程。
图8B示出了根据一些实施方案的用于解压缩点云的属性信息和空间信息的过程。
图8C示出了根据一些实施方案的正被生成并打包到图像帧中以压缩点云的属性信息和空间信息的补片图像。
图9示出了根据一些实施方案的正被生成并打包到图像帧中以压缩正在移动或改变的点云的属性信息和空间信息的补片图像。
图10示出了根据一些实施方案的解码器，该解码器接收包括补片图像、补片信息和占用图的图像帧，并且生成点云的解压缩表示。
图11A示出了根据一些实施方案的编码器，该编码器基于用于点云的一个或多个掩模来调整编码。
图11B示出了根据一些实施方案的解码器，该解码器基于用于点云的一个或多个掩模来调整解码。
图12A示出了根据一些实施方案的关于占用图的压缩的更多细节。
图12B示出了根据一些实施方案的用于压缩占用图的示例块和遍历模式。
图13A示出了根据一些实施方案的包括光栅扫描、锯齿形扫描、“Z”扫描和遍历扫描的示例扫描技术。
图13B示出了根据一些实施方案的视频帧中的交错遗漏点分量和视频帧中的分组遗漏点分量的示例。
图13C示出了根据一些实施方案的示例视频帧。
图13D示出了根据一些实施方案的示例视频帧。
图13E示出了根据一些实施方案的示例视频帧。
图13F示出了根据一些实施方案的示例视频帧。
图13G示出了根据一些实施方案的示例视频帧。
图13H示出了根据一些实施方案的示例视频帧。
图13I示出了根据一些实施方案的示例视频帧。
图13J示出了根据一些实施方案的示例扫描次序。
图13K示出了根据一些实施方案的示例扫描次序。
图13L示出了根据一些实施方案的由应用不同滤波器而引起的两条曲线的示例。
图14示出了根据一些实施方案的在3D远程显示应用中正在使用的压缩点云信息。
图15示出了根据一些实施方案的在虚拟现实应用中正在使用的压缩点云信息。
图16示出了根据一些实施方案的可实现编码器或解码器的示例计算机系统。
本说明书包括参考“一个实施方案”或“实施方案”。出现短语“在一个实施方案中”或“在实施方案中”并不一定是指同一个实施方案。特定特征、结构或特性可以与本公开一致的任何合适的方式被组合。
“包括”。该术语是开放式的。如在所附权利要求书中所使用的，该术语不排除附加结构或步骤。考虑以下引用的权利要求：“一种包括一个或多个处理器单元…的装置”此类权利要求不排除该装置包括附加部件 (例如，网络接口单元、图形电路等)。
“被配置为”。各种单元、电路或其他部件可被描述为或叙述为“被配置为”执行一项或多项任务。在此类上下文中，“被配置为”用于通过指示单元/电路/部件包括在操作期间执行这一项或多项任务的结构(例如，电路)来暗指该结构。如此，单元/电路/部件据称可被配置为即使在指定的单元/电路/部件当前不可操作(例如，未接通)时也执行该任务。与“被配置为”语言一起使用的单元/电路/部件包括硬件——例如电路、存储可执行以实现操作的程序指令的存储器等。引用单元/电路/部件“被配置为”执行一项或多项任务明确地旨在针对该单元/电路/部件不援引35U.S.C.§ 112(f)。此外，“被配置为”可包括由软件和/或固件(例如，FPGA或执行软件的通用处理器)操纵的通用结构(例如，通用电路)以能够执行待解决的一项或多项任务的方式操作。“被配置为”还可包括调整制造过程 (例如，半导体制作设施)，以制造适用于实现或执行一项或多项任务的设备(例如，集成电路)。
“第一”“第二”等。如本文所用，这些术语充当它们所在之前的名词的标签，并且不暗指任何类型的排序(例如，空间的、时间的、逻辑的等)。例如，缓冲电路在本文中可被描述为执行“第一”值和“第二”值的写入操作。术语“第一”和“第二”未必暗指第一值必须在第二值之前被写入。
“基于”。如本文所用，该术语用于描述影响确定的一个或多个因素。该术语不排除影响确定的附加因素。即，确定可仅基于这些因素或至少部分地基于这些因素。考虑短语“基于B来确定A”。在这种情况下，B 为影响A的确定的因素，此类短语不排除A的确定也可基于C。在其他实例中，可仅基于B来确定A。
具体实施方式
随着数据采集和显示技术变得更加先进，增强了(诸如经由LIDAR系统)捕获包括2D或3D空间中成千上万个点的点云的能力。而且，先进显示技术(诸如虚拟现实或增强现实系统)的发展增加了点云的潜在用途。然而，点云文件通常非常大，并且存储和传输这些点云文件可能成本高且耗时。例如，点云通过私有网络或公共网络(诸如互联网)的通信可能需要相当大量的时间和/或网络资源，使得点云数据的一些使用(诸如实时使用)可能受到限制。另外，点云文件的存储要求可能消耗存储点云文件的设备的显著量的存储容量，这也可能限制潜在应用使用点云数据。
在一些实施方案中，编码器可用于生成压缩点云以降低与存储和传输大的点云文件相关联的成本和时间。在一些实施方案中，一种系统可包括编码器，该编码器压缩点云文件的属性信息和/或空间信息，使得点云文件可比非压缩点云更快地被存储和传输，并且以点云文件可比非压缩点云占用更少的存储空间的方式被存储和传输。在一些实施方案中，对点云中点的属性的压缩可能够实时地或几乎实时地通过网络传送。例如，一种系统可包括传感器，该传感器捕获关于传感器所在的环境中的点的属性信息，其中所捕获的点和对应属性构成了点云。该系统还可包括压缩所捕获的点云的属性信息的编码器。点云的压缩属性信息可通过网络实时或几乎实时地发送到对点云的压缩属性信息进行解压缩的解码器解码器。该解压缩点云可被进一步处理，例如以基于传感器位置处的周围环境做出控制决策。然后可将控制决策传送回传感器位置处或其附近的设备，其中接收控制决策的设备实时地或几乎实时地实现控制决策。在一些实施方案中，解码器可以与增强现实系统相关联，并且解压缩属性信息可以由增强现实系统显示或以其他方式使用。在一些实施方案中，可将关于点云的压缩属性信息与关于点云的点的压缩空间信息一起发送。在其他实施方案中，空间信息和属性信息可以被分别编码和/或分别发送到解码器。
在一些实施方案中，一种系统可包括解码器，该解码器经由网络从远程服务器或存储一个或多个点云文件的其他存储设备接收包括压缩属性信息的一个或多个点云数据集合。例如，可实时地或几乎实时地操纵3D显示器、全息显示器或头戴式显示器来显示由点云表示的虚拟世界的不同部分。为了更新3D显示器、全息显示器或头戴式显示器，一种与解码器相关联的系统可以基于显示器的用户操纵从远程服务器请求点云数据，并且这些点云数据可以从远程服务器传输到解码器并由解码器实时地或几乎实时地进行解码。然后可用响应于用户操纵的更新点云数据(诸如更新的点属性)来更新显示器。
在一些实施方案中，一种系统可包括一个或多个LIDAR系统、3D相机、3D扫描仪等，并且此类传感器设备可捕获空间信息，诸如传感器设备的视图中的点的X、Y和Z坐标。在一些实施方案中，空间信息可相对于局部坐标系或可相对于全局坐标系(例如，笛卡尔坐标系可具有固定参考点诸如地球上的固定点，或者可具有不固定的局部参考点诸如传感器位置)。
在一些实施方案中，此类传感器还可以捕获关于一个或多个点的属性信息，诸如颜色属性、反射率属性、速度属性、加速度属性、时间属性、模态和/或各种其他属性。在一些实施方案中，除了LIDAR系统、3D相机、3D扫描仪等之外，其他传感器可以捕获待包括在点云中的属性信息。例如，在一些实施方案中，陀螺仪或加速度计可以捕获待包括在点云中的运动信息作为与该点云的一个或多个点相关联的属性。例如，配备有 LIDAR系统、3D相机或3D扫描仪的车辆可能会在由LIDAR系统、3D相机或3D扫描仪捕获的点云中包括车辆的方向和速率。例如，当捕获到车辆视野中的点时，这些点可以被包括在点云中，其中该点云包括捕获到的点以及与捕获到点时车辆的状态对应的相关联的运动信息。
在一些实施方案中，一个或多个补片图像可以包括使用一个或多个投影而投影到补片图像上的点云的属性信息和/或空间信息。例如，投影可以包括圆柱形或球形投影，其中点云投影到圆柱体或球体上。另外，在一些实施方案中，点云的多个平行投影可以用于生成关于该点云的补片图像，其中多个投影是解码器已知的或发信号通知到解码器。
在一些实施方案中，编码器还可对“掩模”进行编码，该掩模指示包括相应投影的图像帧的活动/可用点或区域和非活动/不可用点或区域。例如，活动/可用点或区域可以对应于在图像帧中打包的补片，而非活动/不可用区域可以对应于补片之间或其周围的填充面积。例如，编码器可以被配置为对一个或多个图像帧进行编码，并且对指示一个或多个图像帧的对应于一个或多个图像帧的活动区域或非活动区域的区域的信息进行编码，其中通过填充覆盖的区域被指示为非活动区域。在一些实施方案中，编码器可至少部分地基于一个或多个图像帧的部分是包括活动还是非活动区域或点来改变预定用于对一个或多个图像帧的这些部分进行编码的编码资源的量。在一些实施方案中，填充空间可被视为一个或多个图像帧的非活动区域。另外，在一些实施方案中，正被压缩的点云的从特定视点不可见的点可被视为该点云的非活动点，并且编码器可指示这些点在特定视点处是非活动的。另外，当从特定视点查看点云时，解码器可以预定更少资源或者不预定资源来解码非活动点。
在一些实施方案中，解码器可被配置为接收一个或多个已编码图像帧并且对这一个或多个已编码图像帧进行解码，这一个或多个已编码图像帧包括关于压缩点云的补片图像并填充一个或多个图像的未被补片图像占用的部分，其中与分配用于对这一个或多个图像帧的补片图像部分进行解码的解码资源相比，分配更少解码资源来对这一个或多个图像的填充部分进行解码。
在一些实施方案中，一种方法包括接收一个或多个已编码图像帧并且对这一个或多个已编码图像帧进行解码，这一个或多个已编码图像帧包括关于压缩点云的补片图像并填充一个或多个图像的未被补片图像占用的部分，其中与分配用于对这一个或多个图像帧的补片图像部分进行解码的解码资源相比，分配更少解码资源来对这一个或多个图像的填充部分进行解码。该方法还包括至少部分地基于已解码补片图像来生成压缩点云的解压缩版本。
在一些实施方案中，用于压缩关于点云的属性信息和/或空间信息的方法包括将点云投影到多个投影上并且对这些投影进行编码。例如，投影可以包括圆柱形或球形投影，其中点云投影到圆柱体或球体上。另外，在一些实施方案中，点云的多个平行投影可被编码，其中多个投影是解码器已知的或发信号通知到解码器。在一些实施方案中，该方法还可包括确定指示相应投影中的活动/可用点或区域和非活动/不可用点或区域的一个或多个“掩模”。该方法还可包括对指示一个或多个掩模的数据进行编码。
在一些实施方案中，一种非暂态计算机可读介质存储程序指令，这些程序指令当由一个或多个处理器执行时，使得一个或多个处理器将点云投影到多个投影上并且对这些投影进行编码。这些程序指令还可使得一个或多个处理器确定指示相应投影中的活动/可用点或区域和非活动/不可用点或区域的一个或多个掩模，并且对指示这一个或多个掩模的数据进行编码。例如，在一些实施方案中，一种非暂态计算机可读介质可存储程序指令，这些程序指令当由一个或多个处理器执行时，使得一个或多个处理器实现如本文所述的编码器或解码器。
在一些实施方案中，当投影到补片平面上时，点云的点可位于相同或几乎相同的位置。例如，点云的深度可使得一些点相对于补片平面位于同一位置，但在不同的深度。在此类实施方案中，可以针对点云的不同层生成多个补片。在一些实施方案中，后续层补片可对先前补片层之间的差值进行编码，使得后续补片层不会重复在一个或多个先前补片层中编码的全部数据量。因此，后续补片层可具有比初始补片层小得多的大小。
在一些实施方案中，打包到图像帧中的补片图像的颜色可以被转换到不同的颜色空间，或者可以进行子采样以进一步压缩图像帧。例如，在一些实施方案中，可以将4:4:4R’G’B’颜色空间中的图像帧转换为4:2:0 YCbCr颜色表示。另外，颜色转换过程可以确定用于在颜色空间之间转换图像帧的最佳亮度值和对应的色度值。例如，最佳亮度值可以被选择为减小图像帧的转换的大小，同时与原始非压缩点云相比将解压缩点云颜色的失真最小化。在一些实施方案中，可使用迭代方法来确定最佳亮度值。在其他实施方案中，可应用一个或多个优化公式来确定最佳亮度和对应的色度值。
这样的系统还可考虑由将点云投影到补片上以及将补片打包到图像帧中而引起的失真。另外，这样的系统可考虑由视频编码和/或解码包括打包补片的图像帧引起的失真。为此，闭环颜色转换模块可采用参考点云原始颜色和包括打包补片的视频压缩图像帧作为输入，其中图像帧的打包补片已从第一颜色空间转换到第二颜色空间。闭环颜色转换模块可以使用视频解码器对压缩图像帧进行解压缩，并且还可以使用解压缩图像帧来重构原始点云。然后，闭环颜色转换模块可以基于包括在解压缩图像帧的解压缩补片中的属性和/或纹理信息来确定解压缩点云的点的颜色值(在转换后的颜色空间中)。然后，闭环颜色转换模块可以将重构点云的下采样和上采样的颜色与原始非压缩点云的颜色进行比较。基于该比较，然后闭环颜色转换模块可以调整用于将图像帧从原始颜色空间转换到第二颜色空间的一个或多个参数，其中这一个或多个参数被调整为改善最终解压缩点云颜色的质量并且减小压缩点云的大小。
示例系统布置
图1示出了根据一些实施方案的系统，该系统包括捕获关于点云的点的信息的传感器和压缩点云的属性信息的编码器，其中压缩属性信息被发送到解码器。
系统100包括传感器102和编码器104。传感器102捕获点云110，该点云包括表示传感器102的视图108中的结构106的点。例如，在一些实施方案中，结构106可以是山脉、建筑、标牌、街道周围的环境或任何其他类型的结构。在一些实施方案中，捕获点云(诸如捕获点云110)可包括关于包括在该点云中的点的空间信息和属性信息。例如，捕获点云110的点A包括X、Y、Z坐标以及属性1、2和3。在一些实施方案中，点的属性可包括属性诸如R,G,B颜色值、该点处的速度、该点处的加速度、结构在该点处的反射率、指示何时捕获该点的时间戳、指示捕获该点时的模态的字符串值例如“步行”或其他属性。捕获点云110可提供给编码器104，其中编码器104生成该点云的压缩版本(压缩属性信息112)，该压缩版本经由网络114传输到解码器116。在一些实施方案中，点云的压缩版本(诸如压缩属性信息112)可以包括在公共压缩点云中，该公共压缩点云还包括关于该点云的点的压缩空间信息，或者在一些实施方案中，压缩空间信息和压缩属性信息可以作为单独的数据集合进行传送。
在一些实施方案中，编码器104可与传感器102成一体。例如，编码器104可在包括在传感器设备(诸如传感器102)中的硬件或软件中实现。在其他实施方案中，编码器104可在邻近传感器102的独立计算设备上实现。
示例帧内编码器
图2A示出了根据一些实施方案的用于对点云内帧进行编码的编码器的部件。在一些实施方案中，以上关于图1描述的编码器可以与图2A中描述的编码器200和图2C中描述的编码器250相似的方式操作。
编码器200接收未压缩点云202并且生成压缩点云信息204。在一些实施方案中，编码器(诸如编码器200)可以从传感器(诸如图1所示的传感器102)接收未压缩点云202，或者在一些实施方案中，例如，可以从另一个源(诸如在软件中生成未压缩点云的图形生成部件)接收未压缩点云 202。
在一些实施方案中，编码器(诸如编码器200)包括分解成补片模块 206、打包模块208、空间图像生成模块210、纹理图像生成模块212和属性信息生成模块214。在一些实施方案中，编码器(诸如编码器200)还包括图像帧填充模块216、视频压缩模块218和复用器224。另外，在一些实施方案中，编码器(诸如编码器200)可包括占用图压缩模块(诸如占用图压缩模块220)和辅助补片信息压缩模块(诸如辅助补片信息压缩模块 222)。在一些实施方案中，编码器(诸如编码器200)将3D点云转换为基于图像的表示以及将压缩点云转换回解压缩点云所需的一些元数据(例如，占用图和补片信息)。
在一些实施方案中，转换过程将点云分解成补片集合(例如，补片被定义为由点云描述的表面的连续子集)，这些补片可重叠或不重叠，使得每个补片可通过相对于2D空间中的平面的深度场来描述。上面关于图3A 至图3C提供了关于补片分解过程的更多细节。
在确定关于正被压缩的点云的补片之后或结合这些补片，在与这些补片相关联的平面中执行2D采样过程。可以应用2D采样过程以便用均匀采样的点云来近似每个补片，该点云可以被存储为描述点云在补片位置处的几何/纹理/属性的2D补片图像集合。“打包”模块208可以将与补片相关联的2D补片图像存储在单个(或多个)2D图像中，这些图像在本文中称为“图像帧”。在一些实施方案中，打包模块(诸如打包模块208)可将 2D补片图像打包，使得打包的2D补片图像不重叠(即使一个补片图像的外边界框可能与另一个补片图像的外边界框重叠)。另外，打包模块可以使图像帧的未使用图像像素最小化的方式来将2D补片图像打包。
在一些实施方案中，“几何/纹理/属性生成”模块(诸如模块210、 212和214)分别生成与点云在给定补片位置处的几何/纹理/属性相关联的 2D补片图像。如前所述，打包过程(诸如由打包模块208执行的过程)可以在图像帧中所打包的2D补片图像之间留下一些空白空间。另外，填充模块(诸如图像帧填充模块216)可以填满此类面积，以便生成可适合于2D 视频和图像编解码器的图像帧。
在一些实施方案中，可例如由占用图压缩模块220来生成和压缩占用图(例如，对于每个像素或像素块，描述是否填充该像素或像素块的二进制信息)。可将占用图发送到解码器以使解码器能够区分图像帧的填充像素与未填充像素。
需注意，与补片相关联的其他元数据也可被发送到解码器以用于解压缩过程。例如，可由辅助补片信息压缩模块(诸如辅助补片信息压缩模块 222)来生成指示为点云确定并打包在图像帧中的补片的大小和形状的补片信息并且/或者对该补片信息进行编码。在一些实施方案中，一个或多个图像帧可由视频编码器(诸如视频压缩模块218)编码。在一些实施方案中，视频编码器(诸如视频压缩模块218)可根据高效视频编码(HEVC)标准或其他合适的视频编码标准来操作。在一些实施方案中，编码视频图像、编码占用图信息和编码辅助补片信息可以由复用器(诸如复用器224)复用，并且作为压缩点云信息(诸如压缩点云信息204)提供给接收方。
在一些实施方案中，占用图可由视频压缩模块(诸如视频压缩模块 218)进行编码和解码。这可以在编码器(诸如编码器200)处完成，使得编码器具有当占用图由解码器解码时占用图的准确表示。另外，在确定关于图像帧的占用图时，可以由占用图压缩模块(诸如占用图压缩模块220) 来解决由于有损压缩和解压缩导致的图像帧的变化。在一些实施方案中，可以使用各种技术来进一步压缩占用图，诸如图12A至12M中所描述。
示例帧内解码器
图2B示出了根据一些实施方案的用于对点云内帧进行解码的解码器的部件。解码器230接收压缩点云信息204，该压缩点云信息可以与由编码器 200生成的压缩点云信息204相同。解码器230基于接收到压缩点云信息 204来生成重构点云246。
在一些实施方案中，解码器(诸如解码器230)包括解复用器232、视频解压缩模块234、占用图解压缩模块236和辅助补片信息解压缩模块 238。另外，解码器(诸如解码器230)包括点云生成模块240，该点云生成模块基于在包括在所接收的压缩点云信息(诸如，压缩点云信息204)中包括的一个或多个图像帧中的补片图像来重构点云。在一些实施方案中，解码器(诸如解码器203)还包括平滑滤波器(诸如平滑滤波器244)。在一些实施方案中，平滑滤波器可将关于补片边缘处的不一致平滑，其中点云生成模块已经使用了包括在补片的补片图像中的数据来从关于补片的补片图像重建点云。在一些实施方案中，可以将平滑滤波器应用于位于补片边界上的像素，以减轻可能由压缩/解压缩过程引起的失真。
示例帧间编码器
图2C示出了根据一些实施方案的用于对点云间帧进行编码的编码器的部件。点云间编码器(诸如点云间编码器250)可以在将一个或多个先前编码/解码的图像帧作为参考的同时对图像帧进行编码。
在一些实施方案中，用于点云间帧的编码器(诸如编码器250)包括点云重新采样模块252、3D运动补偿和δ矢量预测模块254、空间图像生成模块256、纹理图像生成模块258和属性图像生成模块260。在一些实施方案中，用于点云间帧的编码器(诸如编码器250)还可以包括图像填充模块262和视频压缩模块264。用于点云间帧的编码器(诸如编码器250)可以生成压缩点云信息(诸如压缩点云信息266)。在一些实施方案中，压缩点云信息可以是由编码器先前编码的参考点云信息，诸如来自一个或多个参考图像帧或从一个或多个参考图像帧导出的信息。这样，用于点云间帧的编码器(诸如编码器250)可以通过不重复包括在参考图像帧中的信息，而是传达参考帧与点云的当前状态之间的差值来生成更紧凑的压缩点云信息。
在一些实施方案中，编码器(诸如编码器250)可以与点云内帧编码器(诸如编码器200)组合或共享模块。在一些实施方案中，点云重新采样模块(诸如点云重新采样模块252)可以对输入点云图像帧中的点进行重新采样，以便确定当前图像帧的补片中的点与关于点云的参考图像帧的补片中的点之间的一对一映射。在一些实施方案中，3D运动补偿和δ矢量预测模块(诸如3D运动补偿和δ矢量预测模块254)可将时间预测应用于补片的重新采样点的几何/纹理/属性。预测残差可以被存储到图像中，可通过使用视频/图像编解码器对图像进行填充和压缩。对于补片的点在参考帧与当前帧之间的空间改变，3D运动补偿和δ矢量预测模块254可以针对每个点确定相应的矢量，指示这些点如何从参考帧移动到当前帧。然后3D运动补偿和δ矢量预测模块254可以使用不同的图像参数来对运动矢量进行编码。例如，点在X方向上的改变可以由在包括该点的补片图像中的该点处包括的红色的量来表示。以类似的方式，点在Y方向上的改变可以由在包括该点的补片图像中的该点处包括的蓝色的量来表示。另外，以类似的方式，点在Z方向上的改变可以由在包括该点的补片图像中的该点处包括的绿色的量来表示。在一些实施方案中，可调整包括在补片图像中的图像的其他特性，以指示包括在补片中的点在关于补片的参考帧与关于补片的当前帧之间的运动。
示例帧间解码器
图2D示出了根据一些实施方案的用于对点云间帧进行解码的解码器的部件。在一些实施方案中，解码器(诸如解码器280)包括视频解压缩模块270、逆3D运动补偿和逆δ预测模块272、点云生成模块274和平滑滤波器276。在一些实施方案中，解码器(诸如解码器280)可以与解码器 (诸如解码器230)组合，或者可与解码器共享一些部件，诸如视频解压缩模块和/或平滑滤波器。在解码器280中，首先对视频/图像流进行解码，然后可以应用逆运动补偿和δ预测程序。然后使用所获得的图像来重构点云，可以如前所述对该点云进行平滑以生成重构点云282。
分割过程
图3A示出了根据一些实施方案的用于确定关于点云的补片的示例分割过程。可以通过分解成补片模块(诸如分解成补片模块206)来执行如图 3A中所描述的分割过程。分割过程可以将点云分解为最小数量的补片(例如，由点云描述的表面的连续子集)，同时确保相应的补片可以由相对于补片平面的深度场表示。这可以在不明显损失形状信息的情况下完成。
在一些实施方案中，分割过程包括：
○假设点云PC是待划分为补片的输入点云，并且{P(0),P(1)…,P(N- 1)}是点云PC的点的位置。
○在一些实施方案中，预定义了K个3D取向的固定集合D＝{D(0), D(1),…,D(K-1)}。例如，D可以选择如下：D＝{(1.0,0.0,0.0),(0.0, 1.0,0.0),(0.0,0.0,1.0),(-1.0,0.0,0.0),(0.0,-1.0,0.0),(0.0,0.0,-1.0)}
○在一些实施方案中，估计表面在每个点P(i)处的法矢量。可以使用任何合适的算法来确定表面的法矢量。例如，一种技术可包括获取P(i)的“N”个最近点的集合H，以及通过使用主成分分析技术将平面Π(i)拟合到H(i)。P(i)的法线可以通过将法线
取为Π(i)来估计。需注意，“N”可以是用户定义的参数，或者也可以通过应用优化程序来找到。“N”也可以是固定的或自适应的。然后可以通过使用最小生成树方法来将法线值一致地取向。
○基于法线的分割：可以通过将点云PC的点与使分数
最大化的方向D(k)相关联来获得相应点的初始分割S0，其中
是R3的规范点积。伪代码如下提供。
○迭代分割细化：需注意，分割S0将相应点与最能保留其邻域(例如该片段的邻域)的几何的平面Π(i)相关联。在一些情况下，分割 S0可能会生成太多具有不规则边界的小连接成分，这可能会导致压缩性能不佳。为了避免此类问题，可应用以下迭代分割细化程序：
1.可以通过将顶点V(i)与点云PC的相应点P(i)相关联并且添加将顶点V(i)连接到其最近邻居{V(j(0)),V(j(1)),…,V(j(R-1))}的R条边线{E(i,j(0)),…,E(i,j(R-1)}来构建邻接图A。更精确地， {V(j(0)),V(j(1)),…,V(j(R-1))}可以是与点{P(j(0)), P(j(1)),…,P(j(R-1))}相关联的顶点，这些点可以是P(i)的最近邻居。需注意，“R”可以是用户定义的参数，或者也可以通过应用优化程序来找到。该参数也可以是固定的或自适应的。
2.在每次迭代中，可以遍历点云PC的点，并且每个顶点都可以与使
最大化的方向D(k)相关联，其中 |ζ(i)|是V(i)的R个最近邻居中的属于同一集群的数量，并且λ是控制生成的补片的规则性的参数。需注意，参数λ和R可以由用户定义或者可以通过应用优化程序来确定。这两个参数也可以是固定的或自适应的。在一些实施方案中，本文所指的“用户”可以是为一个或多个应用配置了本文所描述的点云压缩技术的工程师。
3.伪代码的示例如下提供
*在一些实施方案中，上文所示的伪代码还可包括提前终止步骤。例如，如果达到了特定值的分数，或者如果达到的分数与最佳分数之间的差值仅改变了某个量或更小量，则搜索可能会提前终止。另外，如果在一定数量的迭代(l＝m)之后，集群索引(clusterindex)不变，则搜索可能会终止。
○补片分割：在一些实施方案中，补片分割程序还将在先前步骤中检测到的集群分割成补片，这些补片可以用相对于投影平面的深度场来表示。根据一些实施方案，该方法如下进行：
1.首先，构建具有R'数量的邻居的基于集群的邻接图，同时仅将属于同一集群的点视为邻居。需注意，R'可能不同于先前步骤中使用的邻居的数量R。
2.接下来，提取基于集群的邻接图的不同连接成分。仅考虑点数大于参数α的连接成分。假设CC＝{CC(0),CC(1),…,CC(M-1)} 是所提取的连接成分的集合。
3.相应连接成分CC(m)继承其所属的集群的取向D(m)。然后，将CC(m)的点投影在以取向D(m)作为法向的投影平面上，同时更新深度图，该深度图为每个像素记录离投影平面最近的点的深度。
4.然后，通过将深度图的相应更新像素与具有相同深度的3D点相关联来构建CC(m)的近似版本(表示为C’(m))。假设PC’为通过对重构的连接成分{CC’(0),CC’(1),…,CC’(M-1)}进行并集而获得的点云。
5.需注意，投影重构过程可能是有损的，并且可能会遗漏一些点。为了检测此类点，可以检查点云PC的每个点P(i)以确保该点距PC’的点的距离小于参数δ。如果不是这种情况，则可以将P(i)标为遗漏点，并且将其添加到表示为MP的遗漏点集合中。
6.然后将步骤2至5应用于遗漏点MP。重复该过程，直到MP 为空或者CC为空。需注意，参数δ和α可以由用户定义或者可以通过应用优化程序来确定。这两个参数也可以是固定的或自适应的。
7.可以将滤波程序应用于所检测的补片，以便使其更适合于压缩。示例滤波程序可包括：
a.基于补片的点的几何/纹理/属性的平滑滤波器(例如，中值滤波)，该平滑滤波器同时考虑了空间和时间方面。
b.丢弃小的并且隔离的补片。
c.用户指导的滤波。
d.其他合适的平滑滤波器技术。
层
上述图像生成过程包括将属于每个补片的点投影到其相关联的投影平面上以生成补片图像。可以将这一过程推广到将多个点投影到同一像素上的情况，如下所述：
·假设H(u,v)是当前补片的投影到相同像素(u,v)的点集合。需注意，H(u,v)可以为空，可以具有一个点或多个点。
·如果H(u,v)为空，则将像素标为未占用。
·如果H(u,v)具有单个元素，则用相关联的几何/纹理/属性值填满像素。
·如果H(u,v)具有多个元素，则可以采用不同的策略：
○仅保留像素(u,v)的最近点P0(u,v)
○取与P0(u,v)相距d以内的一组点的平均值或线性组合，其中 d是仅在编码器侧需要的用户定义的参数。
○存储两张图像：一张关于P0(u,v)，并且另一张用于存储H(u, v)的与P0(u,v)相距d以内的最远点P1(u,v)
○存储包含H(u,v)的子集的N个补片图像
在本文中，为其中点在相同补片位置但在不同深度的点云所生成的补片图像可称为层。在一些实施方案中，缩放/上采样/下采样可应用于所生成的补片图像/层，以便控制重构点云中的点数。
在给定来自另一个未下采样的“初级”层的全分辨率图像的情况下，可对下采样的层执行引导上采样策略。
下采样可以利用以下关于闭环颜色转换的闭环技术，同时利用引导上采样策略。例如，生成的层可以被独立地编码，这允许并行解码和差错恢复。为了支持高级功能，诸如空间、SNR(信噪比)和色域可缩放性，也可以利用编码策略，诸如由可缩放HEVC标准所指定的策略。
在一些实施方案中，可以基于速率失真优化来自适应地应用层之间的δ预测。该选择可以在位流中显式地发信号通知。
在一些实施方案中，所生成的层可使用不同的精度进行编码。可以通过使用shift+缩放或更一般的线性或非线性转换来自适应地控制每个层的精度。
在一些实施方案中，编码器可以就缩放策略和在位流中显式地编码的参数做出决策。解码器可以从位流中读取信息，并且使用由编码器发信号通知的参数来应用正确的缩放过程。
在一些实施方案中，可以通过向视频编码器提供运动矢量图来引导视频编码运动估计过程，该运动矢量图指示对于图像帧的每个块，用于细化搜索的2D搜索中心或运动矢量候选。此类信息对于计算而言可能并不重要，因为3D帧与2D图像帧之间的映射可以提供给点云编码器，并且可以通过在3D中使用最近邻居搜索来计算2D图像帧之间的粗略映射。
可以通过提供搜索中心图来加速/改善视频运动估计/模式决策/帧内预测，该搜索中心图可以就搜索位置和根据每个N×N像素块选择哪些模式提供指导。
隐藏/不显示的图片可以在诸如AV1和HEVC的编解码器中使用。具体地，可以创建合成补片并且对其进行编码(但不显示)以改善预测效率。这可以通过重新使用填充像素的子集存储合成补片来实现。
上述补片重新采样(例如，打包和补片分割)过程仅利用几何信息。更全面的方法可以考虑到就几何、纹理和其他属性而言的失真，并且可改善重新采样点云的质量。
不同于首先导出几何图像并且在给定所述几何的情况下优化纹理图像，可以执行几何和纹理的联合优化。例如，可以使几何和纹理两者产生最小变形的方式选择几何补片。这可以通过立即将每个可能的几何补片与其对应的纹理补片相关联并且计算其对应的失真信息来完成。如果目标压缩率已知，还可以考虑速率失真优化。
在一些实施方案中，上述点云重新采样过程可以额外考虑纹理和属性信息，而不是仅依赖于几何。
另外，将3D点映射到2D像素的基于投影的转换可以如下推广以支持 3D到2D的任意映射：
·存储3D到2D转换参数或与每个点相关联的像素坐标
·代替深度信息或除深度信息外，存储几何图像中的X、Y、Z坐标
打包
在一些实施方案中，与补片相关联的深度图(在本文中也被称为“深度补片图像”，诸如上述的那些)可以被打包到2D图像帧中。例如，打包模块(诸如打包模块208)可以将由空间图像生成模块(诸如空间图像生成模块210)生成的深度补片图像打包。可以将深度图或深度补片图像打包，使得(A)T×T像素的非重叠块不包含来自两个不同补片的深度信息，并且 (B)所生成的图像帧的大小最小化。
在一些实施方案中，打包包括以下步骤：
a.将补片按高度然后按宽度进行排序。然后将补片按此次序一个接一个地插入图像帧(I)中。在每个步骤处，以光栅次序遍历图像帧(I)的像素，同时检查是否可以在上述两个条件(A)和(B) 下插入当前补片。如果不可能，则(I)的高度加倍。
b.重复该过程，直到插入所有补片为止。
在一些实施方案中，上述打包过程可以应用于将补片的子集打包在一个图像帧或多个图像帧的多个图块内。这可以允许将基于根据渲染相机位置的可见性具有相似/接近取向的补片存储在同一图像帧/图块中，以实现依赖于视图的流和/或解码。这还可以允许并行编码/解码。
在一些实施方案中，打包过程可以被认为是装箱问题，并且如上所述的首次适合递减策略可以应用于解决装箱问题。在其他实施方案中，可以在打包过程中应用其他方法，诸如修改的首次适合递减(MFFD)策略。
在一些实施方案中，如果使用时间预测(诸如关于帧间压缩编码器 250所描述的)，则除了空间预测/编码之外，还可以利用时间预测/编码来执行这样的优化。可以针对整个视频序列或按图片组(GOP)进行这样的考虑。在后一种情况下，可以指定附加的约束。例如，约束可以是图像帧的分辨率不应超过阈值量。在一些实施方案中，即使不使用时间预测，也可以施加附加的时间约束，例如使得对应于特定对象视图的补片移动的距离不超过先前实例的x个像素。
图3B示出了根据一些实施方案的包括打包的补片图像和填充部分的示例图像帧。图像帧300包括打包到图像帧300中的补片图像302，并且还包括在图像帧300的未由补片图像占用的空间中的填充304。在一些实施方案中，可以确定填充(诸如填充304)，以便最小化补片图像与填充之间的不一致。例如，在一些实施方案中，填充可以构造新像素块，这些新像素是补片图像边缘上的像素块的复制品或在某种程度上类似于补片图像边缘上的像素块。在一些实施方案中，因为图像和/或视频编码器可以基于相邻像素之间的差值进行编码，所以这样的方法可以减少对包括补片图像和填充的图像帧进行编码所需的字节数。
在一些实施方案中，可以按照与打包期间使用的次序相同的次序来存储补片信息，这使得可以处理补片的重叠的2D边界框。因此，接收补片信息的解码器可以按照补片图像被打包到图像帧中的相同次序从图像帧中提取补片图像。另外，因为解码器知道该次序，所以解码器可以解析重叠的补片图像边界框。
图3C示出了根据一些实施方案的具有重叠补片的示例图像帧312。图3C示出了具有在区域318处重叠的重叠2D边界框314和316的两个补片 (补片图像1和补片图像2)的示例。为了确定区域318中的T×T块属于哪个补片，可以考虑补片的次序。例如，T×T块314可属于最后一个解码的补片。这可能是因为在重叠补片的情况下，较晚放置的补片被放置为使得该补片与先前放置的补片重叠。通过了解放置次序，可以解决重叠边界框的区域与最新放置的补片在一起的问题。在一些实施方案中，对补片信息进行预测和编码(例如，利用熵/算术编码器)。另外，在一些实施方案中，U0、V0、DU0和DV0被编码为T的倍数，其中T是填充阶段期间使用的块大小。
图3C还示出了图像帧312的块，其中这些块可以进一步分成子块。例如，块A1、B1、C1、A2等可以被划分为多个子块，并且在一些实施方案中，子块可以被进一步划分为更小的块。在一些实施方案中，编码器的视频压缩模块(诸如视频压缩模块218或视频压缩模块264)可以确定块是包括活动像素、非活动像素还是活动像素与非活动像素的混合。与预定用于对包括活动像素的块进行编码的资源的量相比，视频压缩模块可以预定更少的资源来压缩包括非活动像素的块。在一些实施方案中，活动像素可以是包括关于补片图像的数据的像素，并且非活动像素可以是包括填充的像素。在一些实施方案中，视频压缩模块可以细分包括活动像素和非活动像素两者的块，并且基于块的子块是包括活动像素还是非活动像素来预定资源。例如，块A1、B1、C1、A2可包括非活动像素。又如，块E3可包括活动像素，并且例如，块B6可包括活动像素和非活动像素的混合。
在一些实施方案中，可基于投影来确定补片图像，诸如将点云投影到立方体、圆柱体、球体等上。在一些实施方案中，补片图像可包括占用整个图像帧而没有填充的投影。例如，在立方体投影中，六个立方体面中的每个可以是占用整个图像帧的补片图像。
例如，图3D示出了根据一些实施方案的正被投影到多个投影上的点云。
在一些实施方案中，使用多个投影来对点云的表示进行编码。例如，不同于为点云的分段确定补片，该点云投影在垂直于该分段的法线的平面上，可以将点云投影到多个任意平面或表面上。例如，点云可以投影到立方体、圆柱体、球体等的侧面上。也可以使用与点云相交的多个投影。在一些实施方案中，可以使用常规的视频压缩方法来对投影进行编码，诸如经由视频压缩模块218或视频压缩模块264来编码。具体地，可首先将点云表示投影到某个形状(诸如立方体)上，并且可以将投影到该形状上的不同投影/面(即前(320)、后(322)、上(324)、下(326)、左 (328)、右(330))都打包到单个图像帧或多个图像帧上。该信息以及深度信息可以被单独地编码，或者可以利用编码工具(诸如在HEVC(3D- HEVC)标准的3D扩展中提供的那些)来编码。该信息可以提供点云的表示，因为投影图像可提供点云的所有投影点的(x,y)几何坐标。另外，可以对提供z坐标的深度信息进行编码。在一些实施方案中，可以通过比较在不同深度划穿点云的不同投影来确定深度信息。将点云投影到立方体上时，例如由于遮挡，投影可能不会覆盖所有点云点。因此，可以对附加信息进行编码以提供这些遗漏点，并且可以为遗漏点提供更新。
在一些实施方案中，可以执行对立方体投影的调整，以进一步改善此类投影。例如，可以仅在编码器处应用调整(非规范)，也可对编码器和解码器两者应用调整(规范)。
更具体地，在一些实施方案中，可以使用另选的投影。例如，不同于使用立方体投影，可以使用圆柱体或球体类型的投影方法。此类方法可以减少(如果不能消除的话)立方体投影中可能存在的冗余，并且减少立方体投影中可能存在的“接缝”的数量或影响。例如，此类接缝可能会在对象边界处产生伪影。与立方体投影方法相比，消除或减少此类接缝的数量或影响可导致改善的压缩/主观质量。对于球体投影情况，可以使用各种子投影，诸如等矩形、等角和authagraph投影等。这些投影可以允许将球体投影到2D平面上。在一些实施方案中，接缝的影响可以通过重叠的投影而不再突出，其中多个投影由点云形成，并且这些投影在边缘处彼此重叠，使得在接缝处存在重叠信息。可以在重叠的接缝处采用共混效应以减少接缝的影响，从而使其不易看见。
除了或代替考虑不同的投影方法(诸如圆柱体或球体投影)，在一些实施方案中，可使用多个平行投影。多个平行投影可提供附加信息，并且可以减少被遮挡的点数。这些投影可以在解码器处是已知的或发信号通知到解码器。此类投影可以被限定在距点云对象不同距离的平面或表面上。另外，在一些实施方案中，投影可以具有不同的形状，并且还可重叠或穿过点云对象本身。这些投影可以允许捕获点云对象的可能已经通过如上所述的单个投影方法或补片分割方法被遮挡的一些特性。
例如，图3E示出了根据一些实施方案的正被投影到多个平行投影上的点云。包括表示咖啡杯的点的点云350被投影到平行的水平投影352上，这些平行的水平投影包括与Z轴正交的平面。点云350还被投影到包括垂直于X轴的平面的垂直投影354上，并且被投影到包括垂直于Y轴的平面的垂直投影356上。在一些实施方案中，不同于平面，多个投影可包括具有其他形状的投影，诸如多个圆柱体或球体。
生成具有深度的图像
在一些实施方案中，图像帧只有一个像素子集将被占用并且可以对应于点云的3D点的子集。通过为每个占用的像素存储其相关联点的深度/纹理/属性值，补片图像的映射可用于生成几何、纹理和属性图像。
在一些实施方案中，空间信息可以各种变型来存储，例如空间信息可以：
a.将深度存储为单色图像。
b.将深度存储为Y，并且保持U和V为空(其中YUV是颜色空间，也可以使用RGB颜色空间)。
c.将关于不同补片的深度信息存储在不同颜色平面Y、U和V中，以便避免在压缩期间补片间污染和/或改善压缩效率(例如，在相同颜色平面中具有相关补片)。另外，可以利用硬件编解码器功能，该硬件编解码器功能可以独立于帧的内容而花费相同的编码/ 解码时间。
d.将深度补片图像存储在可以并行编码和解码的多个图像或图块上。一个优点是将具有相似/接近的取向的深度补片图像或基于根据渲染相机位置的可见性来将深度补片图像存储在相同图像/图块中，以实现依赖于视图的流和/或解码。
e.将深度存储为Y，并且在U和V中存储深度的冗余版本。
f.将X、Y、Z坐标存储在Y、U和V中
g.可以使用不同的位深度(例如8、10或12位)和采样(例如 420、422、444…)。需注意，不同的位深度可用于不同的颜色平面。
填充
在一些实施方案中，可以执行填充以用值填满未占用的像素，使得所得图像适合于视频/图像压缩。例如，图像帧填充模块216或图像填充模块 262可以如下所述执行填充。
在一些实施方案中，在有利于现有视频编解码器所使用的帧内预测模式的同时，在像素块上应用填充。更精确地，对于待填充的大小为B×B的每个块，评估在视频编码器侧可用的帧内预测模式，并且保留在占用像素上产生最低预测误差的帧内预测模式。这可以利用以下事实：视频/图像编解码器通常在具有预定义大小(例如64×64、32×32、16×16…)的像素块上操作。在一些实施方案中，其他填充技术可包括线性外推、绘画中修复技术或其他合适的技术。
视频压缩
在一些实施方案中，视频压缩模块(诸如视频压缩模块218或视频压缩模块264)可以如下所述执行视频压缩。
在一些实施方案中，视频编码器可以利用占用图，该占用图为图像的每个像素描述该像素是存储属于点云还是填充像素的信息。在一些实施方案中，此类信息可以允许自适应地启用各种特征，诸如去块效应、自适应环路滤波(ALF)或形状自适应偏移(SAO)滤波。另外，此类信息可以允许速率控制模块适应包含占用图边缘的块并为这些块分配不同的(例如较低的)量化参数(QP)，并且该量化参数本质上是不同数量的位。还可以根据点云投影块的特性来调整编码参数，诸如拉格朗日乘数、量化阈值化、量化矩阵等。在一些实施方案中，此类信息还可以使速率失真优化 (RDO)和速率控制/分配能够利用占用图来考虑基于未填充像素的失真。在更一般的形式中，失真的加权可以基于每个像素对点云几何的“重要性”。重要性可以基于多个方面，例如，基于与其他点云样本的接近度、样本的方向性/取向/位置等。例如，面向前方的样本在失真计算中可具有比面向后方的样本更高的权重。可以使用度量诸如均方或绝对误差来计算失真，但是也可以考虑不同的失真度量，诸如SSIM、VQM、VDP、 Hausdorff距离等。
占用图压缩
在一些实施方案中，占用图压缩模块(诸如占用图压缩模块220)可以如下所述压缩占用图。
示例占用图压缩技术
在一些实施方案中，占用图可以分级模式进行编码。此类过程可包括：
1.关于每个B1×B2像素块(例如，覆盖整个图像的矩形，或不同尺寸的较小块，诸如64×64、64×32、32×32块等)的二进制信息正被编码，指示该块是空的(例如，仅具有填充像素)还是非空的 (例如，具有未填充像素)。
2.如果该块非空，则可以对第二二进制信息进行编码以指示该块是否是已满的(例如，所有像素都未填充)。
3.然后可以通过考虑非空块和非满块的(B1/2)×(B2/2)个子块来细化这些块。
4.可以重复步骤1至3，直到块的大小达到特定块大小B3×B4(例如，大小为4×4)。在该级别，只有空/非空信息可以进行编码。
5.可以使用基于熵的编解码器对步骤1和步骤2中的二进制信息进行编码。例如，可以使用上下文自适应二进制算术编码器。
6.可以利用重构几何图像来更好地对占用图进行编码。更精确地，残余预测误差可以用于预测块是否是空的或者是否是已满的。可以通过使用基于预测情况的不同上下文或仅通过对与预测值异或 (XOR)的二进制值进行编码来合并此类信息。
在一些实施方案中，基于网孔的编解码器可以是上述方法的另选形式。
附加的示例占用图压缩技术
在一些实施方案中，可以利用辅助信息和补片编码次序，以便有效地压缩指示每个T×T块(例如16×16块)所属的补片的映射信息。该映射可以在位流中如下显式地编码：
·通过考虑与块重叠的所有补片，为每个T×T块创建候选补片列表。
·候选列表以补片的相反次序进行排序。
·对于每个块，通过使用算术或其他形式的熵编码器(例如，基于 UVLC或霍夫曼)来对该列表中补片的索引编码。
·需注意，为空块分配特殊的索引，诸如零。
·上述映射信息使得能够检测空T×T块(例如，仅包含填充像素的块)。仅为非空T×T块(例如，包含至少一个未填充像素的块) 对占用信息进行编码。
·占用图以B0×B0块的精度进行编码。为了实现无损编码，将B0 选择为1。在一些实施方案中，B0＝2或B0＝4，这可以导致视觉上可接受的结果，同时显著减少对占用图进行编码所需的位数。
·二进制值与属于同一T×T块的B0×B0子块相关联。不同的策略也是可能的。例如，如果子块包含至少一些未填充像素，则可以将值1相关联，否则将0相关联。如果子块的值为1，则认为该块已满，否则为空子块。
·如果T×T块的所有子块都已满(例如，值为1)。认为该块已满。否则，认为该块未满。
·为每个T×T块对二进制信息进行编码，以指示该块是否是已满的。可以使用各种编码策略。例如，可以使用上下文自适应二进制算术编码器。
·如果该块未满，则对额外的信息进行编码以指示已满/空子块的位置。更精确地，该方法可如下进行：
○为子块定义不同的遍历次序。图12B示出了一些示例。遍历次序是预先确定的，并且是编码器和解码器两者已知的。
○编码器选择遍历次序中的一个，并且在位流中显式地发信号通知其索引。
○通过使用游长编码策略对与子块相关联的二进制值进行编码。
○对初始子块的二进制值进行编码。可以使用各种编码策略。例如，可使用固定长度编码或上下文自适应二进制算术编码器。
○在遵循编码器选择的遍历次序的同时，检测到连续的游程0和 1。
○对检测到的游程数量进行编码。可以使用各种编码策略。例如，可使用固定长度编码或上下文自适应二进制算术编码器，或通用可变长度编码器(UVLC)。
○然后，对每个游程的长度进行编码，最后一个游程除外。可以使用各种编码策略。例如，可使用固定长度编码、上下文自适应二进制算术编码器，或通用可变长度编码器。
需注意，可以通过使用编码器在位流中显式地发信号通知的值来初始化在算术编码期间使用的符号概率，以便改善压缩效率。可以在帧、切片、块的行或块级别或使用非固定间隔来发信号通知此类信息。在那种情况下，系统可具有发信号通知初始化间隔的能力，或者可以在编码器与解码器之间预定义间隔适配。例如，间隔可以从一个块开始，然后在之后递增一个块(例如，使用{1,2,3…N-1…}个块的自适应位置)。
遍历次序的选择可能直接影响压缩效率。不同的策略也是可能的。例如，编码器可以选择遍历次序，这将导致位数最少或游程数量最少。在一些实施方案中，可以使用具有可变大小的分级子块。
在一些实施方案中，时间预测可以如下用于对占用图进行编码/压缩：
a.可以根据参考帧的占用图来预测当前帧的占用图(例如，通过假设零运动的差分过程)。预测可以在帧级别完成，但是也可以在子块级别完成，例如用1位来发信号通知一个块是将在时间上预测还是将改为使用关于块的原始图。
b.通过使用运动补偿以及通过将运动矢量与每个T×T块相关联，可增强预测。
c.可以将当前块的值与运动矢量所参考的块或协同定位的块的值进行异或运算。如果没有使用预测，则可以按原样对当前块进行编码。
d.运动矢量可以是整数、整数倍或具有子像素精度。
e.上述编码策略可以应用于这些结果。
f.可以基于先前编码块的运动矢量来预测当前块的运动矢量。例如，可以基于已经被编码的空间和/或时间上相邻的块的运动矢量来计算候选预测运动矢量的列表。可以用作预测器的最佳候选者的索引和差值可以在位流中显式地编码。该过程可以类似于在编解码器(诸如AVC和HEVC)中使用的过程。可以类似于HEVC 中完成的来执行时间候选者的减少，从而减少存储器需求。然后可以使用诸如上下文自适应算术编码或UVLC的技术来对残余运动矢量进行编码。
g.还可以支持跳过模式以指示预测块与参考块精确匹配。在那种情况下，不需要残余运动矢量。
h.可以使用不同的块大小，而不是坚持使用T×T块。
i.块大小和运动矢量的选择可以通过最小化对占用图进行编码所需的位数来实现。
j.该过程还可以考虑多个参考。
在一些实施方案中，用于对占用图进行编码/压缩的附加技术可以包括：
·使用包括在视频图片中的线索来帮助对占用图进行编码，诸如：
○为仅由填充像素组成的块使用高量化参数QP(例如，51)或使用跳过模式。
○可以基于从与纹理/几何/运动帧相关联的视频位流中提取的信息来自适应地调整算术编码上下文。
·将与像素相关联的二进制值分组为8位或10位字，然后使用基于字典的方法(诸如DEFLATE算法)对这些字进行编码。
○可以将像素分组为4×2/5×2块，或者利用之字形扫描进行分组。
○只有属于非空T×T块的像素可以被编码。
○指示每个T×T块属于哪个补片的映射信息可以被编码。
辅助补片信息压缩
在一些实施方案中，对于每个补片，可对以下信息进行编码。例如，由辅助补片信息压缩模块222进行编码。
·它在打包图像帧中的位置(U0,V0)及其2D边界框的范围(DU0, DV0)。
·最小/最大/平均/中间深度值。
·投影方向的索引。
基于视频的占用图和/或辅助补片信息压缩
如上所述，在一些实施方案中，占用图是二进制信息，该二进制信息指示对于图像帧中的每个像素，是否应当将该像素解释为点云中的实际点，例如该像素是否为填充像素。另外，如上所述，辅助补片信息为每个 T×T块指示该块属于哪个补片。尽管上文对关于块的补片的索引进行编码并且使用该索引来生成占用图，但是不具有相关联补片的块对于该块的相应索引具有空值或零值。在另一个实施方案中，可以首先对占用图进行编码，然后将其用于生成与块相关联的补片的索引。在一些实施方案中，压缩过程遵循利用现有视频编解码器来压缩占用图的以下程序。
可以B0×B1块的精度对占用图进行编码。为了实现无损编码，可以将 B0和B1选择为等于1。实际上，B0＝B1＝2或B0＝B1＝4可以导致视觉上可接受的结果，同时显著减少对占用图进行编码所需的位数。
在一些实施方案中，单个二进制与每个B0×B1子块相关联。不同的策略也是可能的。例如，可以将值1与子块包含至少一个未填充像素的规则相关联，并且将值0与其他情况相关联。为了降低计算复杂性，可以将多个B0×B1块的二进制值组合在一个像素值中。
可以通过将每个B0×B1块的值存储在像素中来生成二进制视频帧。可以通过使用无损视频编解码器来压缩所获得的视频帧。例如，可以利用 HEVC视频编解码器，并且可以使用其屏幕上下文编码(scc)主配置文件或其他配置文件。
在一些实施方案中，占用图可以4:4:4或4:2:0的色度格式打包，其中色度信息可以包含固定值，例如对于8位编解码器包含值0或128。占用图也可以使用支持单色表示的编解码器来进行编码。占用图可以复制到所有颜色分量中，并且使用4:4:4表示进行编码。可以使用其他占用图的重新排列方式，以便适合以4:4:4、4:2:2或4:2:0表示的数据，同时保留信号的无损性质，并且同时保留占用图的无损特性。例如，可以将占用图分为偶数水平位置子图和奇数水平位置子图，并且将这些子图嵌入到4:4:4信号中，奇数位置样本在Y平面中并且偶数位置样本在U平面中，然后进行编码。这可以降低复杂性，因为可以对分辨率降低了(一半)的图像进行编码。可以使用其他此类布置。
占用图用于检测非空T×T块，并且仅针对这些块按照如下步骤对补片索引进行编码：
1)通过考虑包含该块的所有补片，为每个T×T块创建候选补片列表。
2)候选列表以补片的相反次序进行排序。
3)对于每个块，通过使用熵编码器(例如算术编码器或其他合适的编码器)来对该列表中补片的索引进行编码。
点云重新采样
在一些实施方案中，点云重新采样模块(诸如点云重新采样模块 252)可以如下所述对点云进行重新采样。
在一些实施方案中，动态点云从一帧到另一帧可以具有不同的点数。有效的时间预测可能需要将当前帧(表示为CF)的点映射到参考帧(表示为RF)的点。在位流中发信号通知此类映射可能需要大量的位，并且因此可能效率低下。相反，可以执行当前帧CF的重新采样，使得当前帧CF具有与参考帧RF相同的点数。更精确地，参考帧RF的点可以被移位，使得参考帧RF的形状匹配当前帧CF的形状。作为第二步，可以将当前帧CF 的颜色和属性传递到参考帧RF的变形版本。所获得的帧CF’可以被认为是当前帧的重新采样版本。可以通过比较两个选项(例如，将CF'编码为帧间对比将CF编码为帧内)的速率失真代价来做出压缩CF的近似CF'的决定。在一些实施方案中，可以执行对RF的预调整以努力使其成为将来的 CF图像的更好的参考。重新采样可以包括以下步骤：
a.首先，可以一致地估计和取向与当前帧CF和参考帧RF相关联的点的法线。对于属于当前帧CF的每个点P(或属于RF的每个点 Q)，假设α(P)(或α(Q))是其位置，并且
(或
)是其法线。然后，通过将点的位置及其法线的加权版本组合到同一矢量中，将表示为υ(P)(或υ(Q))的6D矢量与每个点相关联。
其中ε是控制关于位置的法线的重要性的参数。ε可以由用户定义，或者可以通过应用优化程序来确定。该参数也可以是固定的或自适应的。
b.从参考帧RF到当前帧CF和从当前帧CF到参考帧RF的两个映射如下计算：
i.将参考帧RF的每个点Q映射到当前帧CF的在上一步中定义的6D空间中与Q的距离最小的点P(Q)。
ii.将当前帧CF的每个点P映射到参考帧RF的在上一步中定义的6D空间中与P的距离最小的点Q(P)。假设ρ(Q)是当前帧 CF的映射到同一点Q的点集合。
c.在每次迭代
i.参考帧RF的点的位置如下更新：
其中|ρ(Q)|是ρ(Q)的元素数。参数w可以由用户定义，或者可以通过应用优化程序来确定。该参数也可以是固定的或自适应的。
ii.先前更新的步骤通常会导致点的不规则重新分区。为了克服此类限制，应用了基于拉普拉斯的平滑程序。该想法是要更新点的位置，使得它们保持尽可能接近{α'(Q)}，同时有利于在参考帧RF中进行尽可能接近原始点重新分区的重新分区。更精确地，可以对以下稀疏线性系统进行求解：
其中N(Q)是参考帧RF中Q的R个最近邻居的集合。
iii.然后，更新的RF’点云与当前帧CF之间的映射如下
1.将RF’的每个点Q映射到当前帧CF的在3D位置空间中与Q的距离最小的点P(Q)。
2.将当前帧CF的每个点P映射到参考帧RF的在3D位置空间中与P的距离最小的点Q(P)。假设ρ(Q)是当前帧CF的映射到同一点Q的点集合。
d.迭代该过程，直到达到预定义的迭代次数或没有进一步的改变为止。
e.在这一阶段，通过利用以下公式，将颜色和属性信息从当前帧CF 传递到RF’
其中A表示要传递的纹理或属性，|ρ(Q)|是ρ(Q)的元素数。参数w(A)可以由用户定义，或者可以通过应用优化程序来确定。该参数也可以是固定的或自适应的。
3D运动补偿
在一些实施方案中，可以通过取当前重新采样帧处的值减去参考帧的对应值(例如运动补偿值)所得的差值来在时间上预测位置、属性和纹理信息。这些值可以被馈送到图像生成阶段以存储为图像。例如，此类技术可以由3D运动补偿和δ矢量预测模块254执行。
平滑滤波器
在一些实施方案中，解码器的平滑滤波器(诸如解码器230的平滑滤波器244，或解码器280的平滑滤波器276)可以如下所述执行平滑。
在一些实施方案中，重构点云可以在补片边界处表现出中断部分，特别是在非常低的位率下。为了减轻此类问题，可以将平滑滤波器应用于重构点云。应用平滑滤波器可以包括：
a.通过利用占用图，编码器和解码器两者能够检测边界点，这些边界点被定义为属于在以上先前部分中描述的分级占用图压缩程序的最后一次迭代期间编码的B0×B0块的点。
b.边界点的位置/属性/纹理可能会更新。更精确地，可以基于边界点在点云中的R个最近邻居来为相应边界点分配平滑位置。平滑位置可以是最近邻居的质心/中值。另一个选项可以包括拟合最近邻居的平面或任何平滑表面，并且将该点在该表面上的投影指定为平滑位置。参数的数量和/或平滑策略可以由用户选择或通过应用优化策略来确定。它们可以对于所有点固定或自适应地选择。这些参数可以在位流中发信号通知。
c.为了降低平滑阶段的计算复杂性，在寻找最近邻居时可以考虑重构点云的子采样版本。通过考虑几何图像和占用图的子采样版本，可以有效地得出重构点云的子采样版本。
闭环颜色转换
在一些实施方案中，用于点云的编码器和/或解码器还可以包括用于将点云的颜色属性从第一颜色空间转换到第二颜色空间的颜色转换模块。在一些实施方案中，关于点云的颜色属性信息在被转换到第二颜色空间时可以被更有效地压缩。例如，图4A和图4B示出了与图2A和图2C中示出的类似的编码器，但是这些编码器分别还包括颜色转换模块402和404。虽然未示出，但是在一些实施方案中，解码器(诸如图2B和图2D中示出的解码器)还可以包括用于将解压缩点云的颜色属性转换回原始颜色空间的颜色转换模块。
图4C示出了根据一些实施方案的闭环颜色转换模块的部件。图4C所示的闭环颜色转换模块410可以是与图4A和图4B所示的闭环颜色转换模块402和404类似的闭环颜色转换模块。
在一些实施方案中，闭环颜色转换模块(诸如闭环颜色转换模块 410)从视频编码器(诸如图4A中所示的视频压缩模块218或图4B中所示的视频压缩模块264)接收压缩点云。另外，闭环颜色转换模块(诸如闭环颜色转换模块410)可以接收有关原始非压缩点云的属性信息，诸如点云的点在下采样、上采样、颜色转换之前的颜色值等。因此，闭环颜色转换模块可以接收点云的压缩版本(诸如解码器将接收的)，并且还可以接收由于采样、压缩或颜色转换而导致的任何失真被引入点云之前点云的参考版本。
在一些实施方案中，闭环颜色转换模块(诸如闭环颜色转换模块 410)可以包括视频解压缩模块(诸如视频解压缩模块270)，以及几何重构模块(诸如几何重构模块412)。视频解压缩模块可以将一个或多个视频编码的图像帧解压缩，以产生解压缩图像帧，每个图像帧包括打包到图像帧中的一个或多个补片图像。然后，几何重构模块(诸如几何重构模块412)可以生成重构点云几何。然后，重新着色模块(诸如重新着色模块414)可以基于所确定的重构几何来确定点云中的点的颜色。例如，在一些实施方案中，可以使用最近邻居方法或其他方法来基于子采样颜色信息确定关于点云的点的估计颜色值，其中未对点云的每个点将颜色值显式地编码。因为在补片过程、压缩过程、解压缩过程和几何重构过程期间可能会存在损失，所以重构点云中的点的几何可能与原始点云中的几何不同。由于这种差异，依靠点之间的几何关系来将颜色值编码的颜色压缩技术可能会导致在解码和解压缩时的颜色与原始颜色略有不同。例如，如果基于最近相邻点的颜色值确定颜色，则几何的改变可能会导致与被选择来在编码器处对残差值进行编码的不同的最近邻居被选择来在解码器处确定关于该点的颜色值。因此，可以将失真添加到解码的解压缩点云。
如果颜色空间转换模块无法解释这种在将点云转换为打包在图像帧中的补片时发生的失真以及在对图像帧进行编码时发生的失真，则颜色空间转换模块可以不选择最佳颜色转换参数，诸如亮度和色度值。例如，使得第一颜色空间中的打包图像帧紧密匹配转换到第二颜色空间中的打包图像帧的最佳颜色转换参数可以不同于当解释上游和下游失真时的最佳颜色转换参数。
例如，为了解释此类失真，当确定用于将图像帧从第一颜色空间转换 (诸如R’G’B’4:4:4到YCbCr 4:2:0)的颜色转换参数时，纹理/属性图像颜色空间转换和重新采样模块(诸如模块416)可以考虑在来自重新着色模块 416的“重建”颜色值与来自原始非压缩参考点云的原始颜色值之间的差值。因此，如图4C所示，提供给视频编码器218和264的经颜色转换和重新采样的纹理/属性图像可以考虑在点云压缩和解压缩的任何阶段引入的失真，并且可以考虑此类失真而利用最佳颜色转换参数。
在重构点云表示时，此类方法可能会导致失真大大降低，同时保持 4:2:0信号的高可压缩性。
在一些实施方案中，使用以下形式的3×3矩阵转换执行从4:4:4R’G’B’到4:2:0YCbCr表示的转换：
在上述矩阵中，Y’是亮度分量，而Cb和Cr是色度分量。在应用传递函数来利用信号的心理视觉特性之后，R’、G’和B’的值分别对应于红色、绿色和蓝色分量。根据红色、绿色和蓝色分量与CIE 1931XYZ颜色空间的关系选择系数aYR到aCrB。此外，Cb和Cr分量还通过以下方式与Y’相关：
还存在以下关系：
aCbB＝0.5
aCrR＝0.5
上述过程之后是色度分量的水平和垂直的2x下采样，从而导致色度分量在样本总数方面减少到亮度分量的四分之一，水平减少一半，垂直减少一半。此类过程不仅可以帮助压缩，而且可以帮助提高带宽和处理YCbCr 4:2:0信号的复杂性。
在使用此类方法对颜色分量进行量化以及使用对色度分量的下采样和上采样过程时，可能会导致失真，该失真可能会影响重构信号的质量，尤其是R’G’B’，并且还影响XYZ(CIE 1931域)。然而，在考虑到此类失真时，生成色度和亮度值的闭环转换过程可显著改善质量。
例如，在亮度调整过程中，可以使用上述公式来转换色度分量，另外，在给定某些参考滤波机制的情况下，可以执行下采样和上采样。之后，使用重构色度样本，可以计算将导致CIE 1931XYZ空间中亮度Y分量的失真最小的适当亮度值。可以通过搜索过程而不是如上提供的直接计算方法来得出此类亮度值。该方法的改进和简化可包括用于得出亮度值的插值技术。
投影点云图像也可以从用于4:2:0转换的类似策略中受益。例如，在这种上下文中，可以利用包括亮度调整方法的闭环颜色转换。也就是说，不同于通过直接使用上文的3×3矩阵并且将所有相邻色度值求平均以生成关于投影图像的4:2:0色度表示来转换点云数据，可以先在4:4:4网格上使用 R’G’B’表示来投影点云数据/补片。对于这个新图像，然后可以在使用闭环优化(诸如亮度调整方法)时将其转换为YCbCr 4:2:0表示。假定传递特性函数已知，例如BT.709，ST 2084(PQ)或一些其他传递函数以及信号的颜色原色，例如BT.709或BT.2020，则可以在最终转换之前计算亮度分量 Y的估计。然后，可以使用更复杂的滤波器来计算Cb和Cr分量以及对其进行下采样和上采样。然后可以接着计算将导致尽可能接近Y的亮度值 Yrecon的Y’值。如果RGB域中的失真是较高的失真，则可以改为考虑使用使R’、G’和B’的联合失真最小化的Y’值。
对于点云数据，由于几何还可能由于有损压缩而发生变化，因此纹理失真也会受到影响。具体地，可以通过首先针对原始点云和重构点云中的每个点分别确定它们在重构点云和原始点云中的最近点来计算总体纹理失真。然后，可以为那些匹配点计算RGB失真，并且跨整个点云图像累积 RGB失真。这意味着，如果几何由于有损压缩而变化，则纹理失真也会受到影响。假设纹理可能已经失真，可能有利的是在色度的闭环转换期间考虑几何。
在一些实施方案中，修改几何，以使得在点云的给定区域中的相对采样密度被调整为类似于点云的其他区域。此处，相对采样密度被定义为原始点相对于均匀2D采样网格的密度。
因为相对采样密度可以在给定补片内变化，所以该信息可用于引导如上关于占用图和辅助信息所述的补片分解过程，其中补片近似用于确定局部几何。此外，该信息可用于引导编码参数，以在压缩之后实现更均匀的质量。如果局部区域具有较高的相对采样密度，则编码器可以通过各种方法更好地对该区域进行编码。各种方法可以包括：可变块大小决定、量化参数(QP)、量化舍入、去块效应、形状自适应偏移(SAO)滤波等。
在一些实施方案中，首先根据目标位率或质量来压缩几何信息，然后在生成纹理投影图像之前重构该几何信息。然后，鉴于重构的几何，确定重构点云中与原始点云中的每个点对应的最近点。通过确定重构点云中的所有点在原始点云中的所有匹配点，可以针对这些点重复该过程。重构点云中的一些点可能会与原始点云中的多个点匹配，这将对失真计算产生影响。该信息可用于闭环/亮度调整方法中，以便确保最小化整个点云的纹理失真。也就是说，可以计算出重构点云中位置(x,y,z)处的样本Pr对整个点云的失真影响(假定在YCbCr数据上使用MSE进行计算)：
D(Pr)＝Doriginal(Pr)+Dreconstructed(Pr)
D(Pr)＝Sum_matching(((Y_pr–Y_or(i))^2+(Cb_pr–Cb_or(i))^2+
(Cr_pr–Cr_or(i))^2)+sqrt((Y_pr–Y_or)^2+(Cb_pr–Cb_or)^2+(Cr_pr
–Cr_or)^2)
在上式中，Y_pr、Cb_pr和Cr_pr是点Pr的亮度和色度信息， Y_or(i)、Cb_or(i)和Cr_or(i)对应于发现与原始图像中的点Pr的几何位置匹配的所有点的亮度和色度信息，并且从重构图像看，Y_or、Cb_or和Cr_or 是与原始图像中的点Pr的位置匹配的点。
如果在闭环转换/亮度调整的上下文中的失真计算使用D(Pr)，则可以实现更好的性能，因为这不仅优化了投影失真，而且还优化了点云失真。此类失真不仅可以考虑亮度和色度值，而且可以替代或另外地考虑其他色域分量，诸如R、G或B，亮度Y，CIE 1931x和y，CIE1976u’和v’， YCoCg，以及ICtCp颜色空间等。
如果重新压缩几何，则可能会有不同的最佳失真点。在这种情况下，重新执行转换过程可能是合适的。
在一些实施方案中，可以如下最小化如下所述测量的纹理失真：
·假设(Q(j))i∈{1,…,N}和
分别是原始几何和重构几何。
·假设N和Nrec分别是原始点云和重构点云中的点数。
·对于重构点云中的每个点Prec(i)，假设Q^*(i)是该点在原始点云中的最近邻居，并且R(Q*(i))、G(Q*(i))和B(Q*(i))是与Q*(i)相关联的RGB值。
·对于重构点云中的每个点Prec(i)，假设
是原始点云中共享Prec(i)作为其在重构点云中的最近邻居的点的集合。需注意，
可以为空，或者可以具有一个或多个元素。
·如果
为空，则RGB值R(Q*(i))、G(Q*(i))和B(Q*(i))与点 Prec(i)相关联。
·如果
不为空，则如下进行：
○表示为
和
的虚拟RGB值如下计算：
■
■
■
○需注意，
和
对应于
点的平均RGB值。
○最终的RGB值R(Prec(i))、G(Prec(i))和B(Prec(i))通过应用以下线性插值获得：
■
■
■
○选择插值参数w，使得随后的成本函数C(i)最小化
○需注意，通过最小化成本C(i)，最小化如下所述的失真测量。
○可以使用不同的搜索策略来找到参数w
■使用下文描述的闭合形式解决方案。
■无搜索：使用w＝0.5。
■完全搜索：在间隔[0,1]中选择离散值集合(wi)(i＝1…W)，并且关于这些值评估C(i)以便找到w*，从而将C(i)最小化。
■梯度下降搜索：从w＝0.5开始。评估E1(i)、E2(i)和C(i)。将C(i)和w存储为最低成本及其相关联的插值参数w。如果E1(i)>E2(i)，则基于E1(i)的梯度更新w，否则使用E2(i) 的梯度。以新的w值重新评估E1(i)、E2(i)和C(i)。将新成本C(i)与迄今为止找到的最低成本进行比较。如果新成本高于最低成本止损，则更新最低成本和w的相关联值，并且继续进行梯度下降，其中R(Prec(i))、G(Prec(i))和 B(Prec(i))是待确定的三个未知数。
在一些实施方案中，可以利用其他颜色空间而不一定是RGB颜色空间来执行上述过程。例如，可以替代性地使用CIE 1931XYZ或xyY、CIE 1976Yu’v’、YCbCr、IPT、ICtCp、La*b*或其他一些颜色模型。此外，可考虑对每个分量的失真的不同加权。还可以考虑基于照明的加权，例如，在黑暗区域中的加权失真大于在明亮区域中的失真。也可以考虑其他类型的失真，包括邻域信息。也就是说，在较稀疏的面积中误差的可见性可能比在较稠密的区域中更高，这取决于当前样本和相邻样本的强度。可以就如何执行优化来考虑此类信息。
色度信息的下采样和上采样也可以考虑几何信息(如果可用)。也就是说，不是在不考虑几何的情况下对色度信息进行下采样和上采样，而是可以考虑在投影样本的邻域周围的点云的形状和特性，并且在这些过程期间适当地考虑或排除相邻样本。具体地，可以认为用于下采样或插值的相邻样本具有与当前样本的法线尽可能类似的法线。也可以考虑滤波期间根据法线差异以及到点的距离进行的加权。这可有助于改善下采样和上采样过程的性能。
应当指出的是，对于一些系统，Cb/Cr信息的上采样可能必须经过现有架构，例如，现有的颜色格式转换器，并且可能无法执行此类引导上采样。在这些情况下，可能仅能够考虑下采样。
在一些实施方案中，可能能够在位流语法中指示用于上采样色度信息的优选方法。在此类情况下，解码器(被包括在编码器中)可以尝试各种上采样滤波器或方法，找到性能最佳的滤波器或方法，并且在位流语法中指示该滤波器或方法。在解码器侧，解码器可能知道哪种上采样方法对于重构全分辨率YCbCr并因此重构RGB数据将表现最佳。此类方法可以是强制性的，但是在一些架构中也可以是任选的。
剪辑以及用于颜色转换的其他考虑因素也可能适用于点云数据，并且可能被认为进一步改善了点云压缩系统的性能。此类方法还可以应用于其他颜色表示，并且不一定应用于YCbCr数据，诸如YCoCg和ICtCp表示。对于此类表示，由于颜色变换的性质，可能需要不同的优化。
示例目标评估方法
点云由以(x,y,z)表示的点的集合以及颜色分量(y,u,v)十分重要的各种属性组成。首先，定义点v。该点在3D空间(x,y,z)中具有强制性位置，并且具有任选的颜色属性c，该颜色属性具有分量r,g,b或y,u,v，以及能够表示法线或纹理映射的任选其他属性。
点v＝(((x,y,z),[c],[a0..aA]):x,y,z∈R,[c∈(r,g,b)|r,g,b∈N],[ai∈[0,1]]) (定义1)
然后，点云是K点的集合，没有严格的次序：
原始点云Vor＝{(vi):i＝0.....K-1} (定义2)
点云包括(x,y,z)坐标的集合和可附接到这些点的属性。原始点云Vor 将充当确定第二劣化点云Vdeg的质量的参考。Vdeg由N个点组成，其中 N不一定等于K。Vdeg是可能因Vor的有损编码和解码而质量较低的点云的版本。这可能导致不同的点计数N。
劣化点云Vdeg＝{(vi):i＝0.....N-1} (定义3)
由Vor和Vdeg计算质量度量Q_(点云)，并且将该质量度量用于评估，如图4D所示。
在一些实施方案中，下文的表1概述了用于评估点云的质量的度量。几何失真度量类似于用于基于haussdorf(Linf)和均方根(L2)的网孔的几何失真度量，而不是到表面的距离。该方法考虑了到点云中最近/最邻近的点的距离(参见定义4、5、6和7)。峰值信噪比(PSNR)被定义为几何在对称均方根(RMS/rms)失真上的峰值信号(定义8)。对于颜色，定义了类似的度量；将原始云的颜色与劣化云中最邻近的颜色进行比较，并且根据YUV颜色空间中每个YUV/YCbCr分量计算峰值信噪比(PSNR) (定义10)。该度量的优点是其对应于视频编码中的峰值信噪比 (PSNR)。3DG PCC软件中支持质量度量。
表1：用于评估Vdeg的点云质量的评估标准，Q
p
oint_cloud
dsymmetric_rms(Vor,Vdeg)＝max(drms(Vor,Vdeg),drms(Vdeg,Vor)) (定义5)
dsymmetric_haussdorf(Vor,Vdeg)＝max(dhaussdorf(Vor,Vdeg),dhaussdorf(Vdeg,Vor)
(定义7)
BBwidth＝max((xmax-xmin),(ymax-ymin),(zmax-zmin) (定义8)
psnry＝10log10(|255||2/(dy(Vor,Vdeg)2) (定义11)
在一些实施方案中，定义编解码器的性能的附加度量在下表2中概述。
表2：附加性能度量
示例闭合形式解决方案
对于重构点云中的每个点Prec(i)，假设Q*(i)是该点在原始点云中的最近邻居。对于重构点云中的每个点Prec(i)，假设(Q+(i,h))h∈{1,…,H(i)}是原始点云中共享Prec(i)作为其在重构点云中的最近邻居的点的集合。假设
是(Q+(i,h))h∈{1,…,H(i)}的质心。
如果H＝0，则C(Prec(i))＝C(Q*(i))
表示为与给定点P相关联的R-G-B矢量C(P)。为了计算给定Prec(i)的颜色，提出以下公式：
其中
现在表示
使得
注意：如果H＝1，则D2＝0
假设C0(Prec(i))是先前最小化问题的解决方案。可以表明， C0(Prec(i))可以表示为：
此外，C0(Prec(i))验证：
假设
且
如果δ2＝0，则
(1-w)2δ2＝w2rHδ2+rD2
δ2+w2δ2-2wδ2＝w2rHδ2+rD2
δ2(1-rH)w2-2δ2w+(δ2-rD2)＝0
(rH-1)w2+2w+(αr-1)＝0
其中
如果H＝1，则
如果H>1
Δ＝4-4(rH-1)(αr-1)
Δ＝4-4(rH-1)αr+4H-4
Δ＝4(H-(rH-1)αr)
如果Δ＝0
如果Δ>0
其中针对w1和w2两者计算了成本C(i)，并且导致最小成本的值被保留为最终解决方案。
使用多个分辨率的压缩/解压缩
图5A示出了根据一些实施方案的包括几何、纹理和/或属性缩减的编码器的部件。本文描述的任何编码器还可包括空间缩减器部件502、纹理缩减器部件504和/或属性缩减器部件506，如本文针对图5A中的编码器500 所示。例如，图2A中示出的编码器200还可以包括如图5A中所描述的缩减部件。在一些实施方案中，编码器250还可以包括如图5A中所描述的缩减部件。
在一些实施方案中，包括缩减部件(诸如，几何缩减器502、纹理缩减器504和/或属性缩减器506)的编码器还可以包括几何放大器(诸如，空间放大器508)和平滑滤波器(诸如，平滑滤波器510)。在一些实施方案中，从由视频压缩模块218压缩的压缩补片图像生成重构的几何图像。在一些实施方案中，编码器还可以包括几何重构模块(未示出)以生成重构的几何图像。重构的几何图像可以由占用图用来编码指示被包括在一个或多个帧图像中的补片的补片位置的占用图并且/或者改善该占用图的编码。另外，可以将重构的几何图像提供给几何放大器，诸如几何放大器 508。几何放大器可以将重构的几何图像放大到原始分辨率或近似于几何图像的原始分辨率的更高分辨率，其中原始分辨率是在几何缩减器502处执行缩减之前的分辨率。在一些实施方案中，可以将放大的重构几何图像提供给平滑滤波器，该平滑滤波器生成重构和放大的几何图像的平滑图像。然后可以将该信息提供给空间图像生成模块210、纹理图像生成模块212和 /或属性图像生成模块214。这些模块可以基于重构的几何图像来调整空间图像、纹理图像和/或其他属性图像的生成。例如，如果在缩减、编码、解码和放大过程期间补片形状(例如，几何)略微失真，则在生成空间图像、纹理图像和/或其他属性图像以校正补片形状的改变(例如，失真) 时，可以考虑这些改变。
图5B示出了根据一些实施方案的包括几何、纹理和/或其他属性放大的解码器550的部件。例如，解码器550包括纹理放大器552、属性放大器 554和空间放大器556。本文描述的任何解码器还可以包括纹理放大器部件 552、属性放大器部件554和/或空间图像放大器部件556，如本文针对图 5B中的解码器550所示。
图5C示出了根据一些实施方案的从编码器的角度进行的重缩放。在一些实施方案中，可以在点云域(例如，在补片投影之前)和视频级域(例如，通过缩放包括补片信息的图像帧)两者中缩放点云。例如，图5C示出了女性的点云508。编码器诸如编码器500在点云域中执行点云508的3D 缩放以生成缩减的点云510。将基于缩减的点云510生成的补片打包到图像帧512中。另外，在视频级对图像帧512执行缩减以降低图像帧的分辨率。附加缩减导致得到缩减的图像帧514，然后将该缩减的图像帧编码为位流516。
图5D示出了根据一些实施方案的从解码器的角度进行的重缩放。在一些实施方案中，解码器诸如解码器550可以接收位流诸如位流516。解码器可以对视频编码的位流进行解码以生成一个或多个视频图像帧，诸如图像帧518。解码器可以进一步放大图像帧518以生成放大的图像帧520。然后，解码器可以使用补片投影方法，如上所述，以根据被包括在放大的图像帧520中的补片信息生成重构点云522。解码器还可以在3D点云域中执行缩放，以将重构点云522放大到与原始点云类似的大小。该过程可导致得到放大的重构点云524。
图5E示出了根据一些实施方案的示例开环重缩放。在图像帧的开环重缩放中，可以独立地缩放几何平面和纹理或其他属性平面，其中在缩放纹理或其他属性信息时不考虑几何失真。例如，几何图像帧526可以指示点云的点相对于投影平面的深度，并且纹理或属性图像帧528可以表示投影到投影平面上的点云的点的相应属性。如图5E所示，在开环重缩放过程中，几何信息和属性信息可以被独立地缩放以分别生成缩减的几何图像帧 532和缩减的属性图像帧532。另外，如图5E所示，缩减的几何图像帧530 可以被编码/压缩以生成几何位流，并且缩减的属性图像帧532可以被编码/ 压缩以生成属性位流，诸如纹理属性位流。例如，空间缩减器502可以缩减几何图像帧526，并且纹理缩减器504可以独立地缩减纹理图像帧528。在一些实施方案中，属性缩减器506可以独立于空间缩减器502和纹理缩减器504来缩减属性。因为使用不同的缩减器来缩减不同类型的图像帧 (例如，空间信息、纹理、其他属性等)，因此可以将不同的缩减参数应用于不同类型的图像帧，以缩减与纹理或属性不同的几何。
图5F示出了根据一些实施方案的示例闭环重缩放。在一些实施方案中，编码器诸如编码器500可以使用闭环重缩放过程来确定可作为缩减、编码、解码和/或放大过程的一部分发生的几何的失真或其他改变。在一些实施方案中，当缩减其他属性诸如纹理时，可以考虑此类失真。编码器诸如编码器500接收点云534。编码器为点云534生成几何图像帧，例如，包括表示点的相对深度的补片的图像帧。可包括到补片模块506、打包模块 208和空间图像生成模块210等的分解的点云压缩几何映射器生成几何帧图像536。几何缩减器诸如空间缩减器502对几何平面进行缩减以生成缩减的几何平面538。需注意，“几何平面”用于指几何补片信息，该几何补片信息可被包括在仅由如图5F所示的几何补片组成的图像帧中。
缩减的几何平面538例如通过视频压缩模块218被压缩，并且被转换为几何位流。在如图5F所示的闭环过程中，在编码器处对几何位流进行解压缩以生成重构的几何平面540。然后，在编码器处放大重构的几何平面，以生成放大的重构几何平面542。
然后将点云534的纹理点映射到重构的放大几何平面542的点。这样，将纹理点映射到解码器在重构和放大几何平面时将遇到的相同位置的相同点。然后，解码器可以考虑因缩减、编码、解码和放大而可能发生的几何平面的失真。
映射到重构的放大几何平面542的点的纹理点可以生成纹理平面544。然后可以缩减纹理平面以生成缩减的纹理平面546。然后可以作为纹理位流编码并传输缩减的纹理平面546。
图5G示出了根据一些实施方案的利用多个属性层的示例闭环重缩放。在一些实施方案中，可以遵循与针对图5F所描述的过程类似的过程。然而，可以为正被缩减的一个或多个属性平面执行多种程度的下采样。例如，纹理属性平面544可能根本不被缩减(例如，压缩率目标0)，或者可以根据多个压缩率目标(例如，压缩率目标1至4)而被缩减。在此类实施方案中，可以例如基于网络状态、处理能力等来动态地调整压缩率目标。
图5H示出了根据一些实施方案的视频级时空缩放的示例。在一些实施方案中，可以使用视频级时空缩减和放大来执行与图5C和图5D中描述的过程类似的过程。例如，可以上调或下调帧速率(例如，每单位时间处理的帧数)，以便改善压缩效率。在此类实施方案中，可以进行时空调整来代替分辨率缩放和/或补充分辨率缩放。
图5I示出了根据一些实施方案的利用时空缩放的示例闭环重缩放。
如上所述，压缩点云视频数据的方法可以使用常规视频编解码器以及可有助于描述和重构点云信息的辅助信息。至少在图5A和图5B中分别示出了如何执行该过程的编码器和解码器图。可以看出，该过程将点云帧分割成多个2D投影图像/视频，每个图像/视频表示不同类型的信息。首先通过将点云分割成多个补片来执行该过程，该多个补片允许将整个3D空间数据有效地投影到2D平面上。每个补片与信息诸如几何(在本文中也称为“空间信息”)、纹理和其他属性(如果可用)相关联。然后，将此类信息复制到单独图像序列上图像帧的协同定位的位置，每个图像序列现在分别仅包含几何信息、纹理信息和任何其他剩余属性。还提供了包含补片信息的辅助信息和占用图，该占用图指示这些投影图像序列中的哪些面积对应于实际点云数据，哪些面积未被占用，例如可能不包含数据或虚设数据。然后使用不同的策略对此类信息进行压缩。例如，对辅助信息进行熵编码，而可以使用常规编解码器或其他方法诸如游长压缩对占用图进行下转换和编码。另一方面，使用常规编解码器压缩单独的投影图像序列。这导致多个子流的集合，例如，几何子流、纹理子流和属性子流，以及占用和辅助信息子流。
如上所述，期望除了占用图之外的所有子流具有相同的分辨率。几何子流中的每个点基本上对应于最终3D重构点云中的点。在一些实施方案中，允许以不同于原始表示的分辨率来编码信号。另外，在一些实施方案中，偏移以及旋转点云也是可能的。从编码器的角度看，这是通过在流标头中发信号通知附加元数据来完成的，该附加元数据将识别在将原始点云数据投影到目标视频平面之前应该应用到该原始点云数据的缩放、偏移和旋转。从解码器的角度来看，这些参数在第一3D点云表示的重构之后使用，并且用于生成最终3D点云表示。在此类方案中，以与在点云标头中指定的分辨率相同的分辨率来发信号通知几何视频数据和属性/纹理视频数据两者。在此类方案中，还支持每个补片元数据包括缩放系数和旋转参数，尽管现在已将缩放独立地应用于每个投影补片。
然而，在一些实施方案中，可以通过在编码流中提供附加的分辨率缩放灵活性来进一步扩展该方案。具体地，不仅缩放可以应用于3D空间或每个补片，而且在一些实施方案中，方案缩放可以应用于整个投影点云视频数据。这可以允许使用“常规”2D重缩放方案和架构，这在许多架构中都是易得的。此外，与以相同的分辨率对几何和属性子流进行编码的方案不同，该另选方案允许以不同的分辨率发信号通知这些子流。在一些实施方案中，该方案也可以与上述3D缩放方案结合，例如，指定的2D图像帧缩放可以遵循编码次序，并且在解码次序中可以优先于如上所述的3D缩放过程。这可以在编码性能方面提供进一步的灵活性。
具体地，通过上述方案，我们知道了已应用于3D空间中的点云信号以更改其分辨率的缩放系数(如果有的话)。实质上，正被表示的点云场景/对象将从分辨率W3D×H3D×D3D更改为(sx×W3D)×(sy×H3D)×(sz×D3D)。然后，将使用上文指定的补片方法将该重缩放的对象投影到各种子视频中，例如，占用、几何和属性子视频，每个子视频的标称分辨率为WN×HN。当前可以使用语法元素frame_width和frame_height在MPEG PCC TMC2草稿 (版本1.2)的帧标头语法组中指定标称分辨率。可以将缩放系数添加到该语法中。
TMC 2版本1.2中的帧标头语法组
| group_of_frames_header(){ | 描述符 |
| group_of_frames_size | u(8) |
| frame_width | u(16) |
| frame_height | u(16) |
| occupancy_resolution | u(8) |
| radius_to_smoothing | u(8) |
| neighbor_count_smoothing | u(8) |
| radius_to_boundary_detection | u(8) |
| threshold_smoothing | u(8) |
| } |
利用所提出的方法，现在还可以分别以WG×HG和WA(i)×HA(i)的分辨率进一步重缩放几何和属性信号i。不需要在点云压缩PCC标头中发信号通知这些视频的分辨率，因为该信息已经存在于视频位流本身中。可以使用常规算法将视频从WN×HN的标称分辨率重缩放到WG×HG或WA(i)×HA(i)，并且反之亦然。从图5C中的编码器角度和图5D中的解码器角度可以看到这些。
图5E示出了用于转换几何和属性信号的开环架构。在这种架构中，几何和属性信号是独立创建和转换的。在一些实施方案中，唯一的依赖性是在缩减和压缩之前的几何信号被用于生成纹理平面信号。然而，在图5F 中，考虑了闭环架构。在这种架构中，首先对几何信号进行缩放和编码，然后对该几何信号进行重构并且上转换为其原始分辨率。然后，该新的几何信号用于生成纹理/属性平面。使用该方法，与上一张图(图5E)中的开环架构相比，生成的纹理(或属性)更准确地对应于重构的几何。应当指出的是，如果需要，几何的放大过程应当跨解码器匹配，以实现期望的闭环性能。如果放大器不匹配，则性能可能会存在一定差异。在这些系统的任一者中，几何和属性信号的分辨率也不需要匹配。可以使用常规的放大器，诸如基于可分离滤波器的放大器(例如，双三次、lanczos、开窗余弦或正弦等)或更复杂的放大器(包括双边放大器、边缘自适应、运动补偿等)。缩减也可以使用类似的方法，例如可分离滤波器、保留边缘的缩减器等。
自适应流解决方案也可以利用此类方法。具体地在自适应流系统中，可以以不同的分辨率和位率生成多个流，以更好地支持网络的可变性。在该系统中，除了调整不同层的位率外，还可以在纹理与几何之间使用不同的分辨率，以同样增强此类功能。在图5G中示出了示例，其中对于特定的几何信号，为纹理/属性层生成多个不同的位流，每个位流也潜在地具有不同的分辨率。解码器可以选择使用特定的纹理层，并且然后根据其网络的整体带宽特性为纹理选择适当的对应子位流。
在不同的方面，可以通过考虑点云系统的特性以及如何构造图像来执行不同层的缩减和放大。具体地，在上述系统中，使用补片构建图像。这些补片在编码器和解码器两者处均可用。常规系统可能将无法考虑补片，然而更高级的系统可以利用补片来改善这两个过程。具体地，仅在补片内放大或缩减样本时，可以通过处理/滤波实现更好的性能。补片外部的样本很可能是填充样本，该填充样本可能与补片内部的样本没有直接关系，并且如果与补片内部的样本一起被滤波/处理则可能会污染信号。通过分离此类样本，可以避免这种污染并且可以改善性能。即使无法提取系统中完整的补片位置信息，也仍然可能会考虑其他相关信息，诸如占用图信息。占用图，即使如果被下采样则会不那么准确，但是仍然可以一定程度地改善性能。另一方面，还可以通过考虑几何信号中的特性(例如，边缘)来增强用于属性信号的插值过程。具体地，可以在几何信号中提取边缘，并且这些边缘可以与属性信号中的边缘相关，并且可以执行基于该信息的引导插值。这是可能的，因为两层的边缘高度相关，尤其是在每个补片的边界处。
在一些实施方案中，如图5H和图5I所示，可以应用时空重缩放。在一些实施方案中，在编码器上，可以执行丢帧，而丢帧的决定可以基于“相邻”帧有多类似或者可以固定速率完成丢帧(时间戳将仍然存在于流中，以通知时间关系的使用)。在一些实施方案中，可以执行帧的“共混”/平均。也就是说，可以使用“在时间上”控制的不同相位来对所有帧进行缩放。例如，可以使用相位0对奇数帧进行垂直缩放，而可以使用相位1对偶数帧进行垂直缩放。那些缩放的图像被称为场，然后将那些缩放的图像交错在一起以创建交错帧。该过程可用于投影点云数据。需注意，交错并不需要被限制为以垂直方式进行，而是可以水平方式或也可以其他方式完成。
对于时间上转换，可以使用帧重复，或者可以使用更智能的方法，这些方法包括用于插值的运动自适应和运动补偿策略。机器学习方法也可以用于辅助插值。
在一些实施方案中，假定仅在一个平面(例如，几何或纹理)中减小了时间分辨率，而对于其他平面，则保留了所有帧(以及占用和补片信息)。在此类情况下，降低的时间分辨率平面中所有补片的“形状”和位置都是已知的，但是这些补片的特性(几何的深度、纹理的颜色)的确切值是未知的。然而，可以通过尝试将每个补片定位在其时间上邻近的邻居中来计算该值。这可以通过使用补片的形状信息和/或全分辨率平面的补片特性的可用值进行搜索来完成。这基本上将涉及搜索(例如，基于运动估计的搜索)。在定位补片时，可以复制/共混来自特性的用于从该补片的时间上的邻居进行插值的信息，并将该信息用作预测器。
视频解压缩后滤波/后处理
图6A示出了根据一些实施方案的还包括视频解压缩后纹理处理和/或滤波以及视频解压缩后几何处理/滤波的解码器的部件。解码器600包括纹理处理/滤波元件602和几何处理/滤波元件604。在一些实施方案中，本文描述的任何解码器(诸如解码器230或解码器280)还可包括纹理处理/滤波元件诸如纹理处理/滤波元件602。在一些实施方案中，本文描述的任何解码器(诸如解码器230或解码器280)还可包括几何处理/滤波元件诸如几何/滤波元件604。
如上所述，可以使用常规视频编解码器压缩视频点云数据。另外，可以使用常规视频编解码器压缩可用于描述和重构点云的辅助信息。如上所述，该过程将点云帧分割成多个2D投影图像/视频，每个图像/视频表示不同类型的信息。通过将点云分割成多个补片来执行该过程，该多个补片允许将点云的3D空间数据有效地投影到2D平面上。每个补片与信息诸如几何、纹理和/或其他属性(如果可用)相关联。然后，将此类信息复制到单独图像帧序列上协同定位的位置，每个图像帧分别仅包含几何信息、纹理信息或任何其他剩余属性。还提供了包含补片信息的辅助信息和占用图，该占用图指示这些投影图像帧序列中的哪些面积对应于实际点云数据，哪些面积未被占用，例如可能不包含数据或虚设数据。使用不同的策略对此类信息进行压缩。例如，可以对辅助信息进行熵编码，而可以使用常规编解码器或其他方法诸如游长压缩对占用图进行下转换和编码。另一方面，使用常规编解码器压缩单独的投影图像序列。这导致多个子流的集合，例如，几何子流、纹理子流和属性子流，以及占用和辅助信息子流。如图2A 所示，将所有这些流一起复用以生成最终点云位流。
例如，图6B示出了根据一些实施方案的用于压缩的点云的位流结构。
该点云编码方案的特征之一是，不仅可以使用“常规”编解码器压缩不同的投影图像序列，还可以利用为2D图像/视频数据预留的常规处理算法来处理该不同的投影图像序列。也就是说，可以将通常用于处理2D图像数据的去噪、缩放、增强和/或其他算法应用于这些图像序列。与在3D域中执行此类处理相比，此类处理可能具有优势，特别是就现有硬件具体实施的复杂性和再利用而言。
此类处理的一个示例是将数据从RGB 4:4:4表示转换为4:2:0YCbCr表示，并且反之亦然。在该场景中，对于下转换，例如，首先将RGB数据转换为YCbCr 4:4:4表示，然后可以对色度平面进行滤波并且将色度平面缩减为其原始分辨率的1/4(水平地和垂直地将分辨率减半)。对于逆过程，将色度平面放大到其原始分辨率，例如回到YCbCr 4:4:4，并且然后将信号转换回RGB 4:4:4。可以使用多种下转换和上转换方法，这些方法包括使用边缘自适应缩减和放大，以及技术诸如亮度调整方法。
尽管一些常规处理方法可以在点云投影的图像序列上“按原样”操作，但是这些方法并未完全考虑此类图像的特性，并且特别是未考虑在不同层之间存在的关系或有关补片和占用的信息。考虑此类信息可以改善性能。例如，可以通过考虑此类特性和信息来改善此类方法，从而改善来自投影图像的重构3D点云的性能和最终质量。
具体地，假定这些序列内的所有样本高度相关并且邻近的样本可能对应于相同或至少相邻的对象，则常规方法将最有可能处理投影的图像序列。遗憾的是，此类图像可能不是这种情况。实际上，此类图像帧由对应于投影补片的样本以及用于分离和区分这些补片的填料区域组成。此类填料区域可以未被填充，例如具有默认颜色值，或者可以已经使用如本文所述的填充方法填充。单独样本的处理，例如当使用长滤波器进行滤波时，可导致不同补片之间以及填料区域之间的信息污染，这会损害质量。
相反，对精确的补片位置和填料区域的了解可有益于极大地提高性能。在一些实施方案中，处理引擎(诸如，纹理处理/滤波元件602和/或几何处理/滤波元件604)逐补片对此类图像数据执行滤波/处理操作。也就是说，通过考虑对应于与s相同的补片的样本来处理/滤波特定样本s。s的处理排除了可能已经被包括在使用常规方法进行的处理中(例如，由于考虑了长滤波器)但是不对应于相同补片的样本。例如，可以通过减少处理滤波器的长度，直到完全排除此类样本来完成该操作，或者在处理时通过在补片之间的边界处对数据执行动态外推，并且使用外推数据代替补片外部的可用数据来完成该操作。
在处理填料数据时，可以应用相同的原理，该填料数据可以被看作是单独的补片。
特定系统可能会考虑每个单独补片的确切位置和形状信息，例如可能需要对补片信息进行完全解码，从而使该补片信息在处理期间完全可用。这可以提供最准确的处理，并且可以避免跨补片的污染。在一些实施方案中，可以通过仅查看占用图信息来确定补片位置和形状的近似，可能已经使用常规2D视频编码系统对该占用图信息进行了编码。在这种情况下，由于可能已经对占用信息进行了子采样，例如，水平和垂直子采样了4次 (总共16次)，因此在补片边界处的一些样本可能已经被复制。这可能会对性能产生一定影响，然而，由于不需要解码完整的补片信息，因此处理复杂性可以大大降低。
点云数据与几何信息以及其他属性(例如，纹理、颜色、反射率信息等)相关联。通过考虑跨不同属性的关系和特性，可以改善性能。具体地，当在属性平面中处理对应的样本时，可以考虑投影平面中的几何样本值的相似性或相异性。具体地，期望与几何平面中的相同或类似深度对应的相邻投影样本高度相关。然而，具有相异性大的深度信息的相邻样本不太可能相关。因此，在处理此类样本时，还可以考虑深度信息以确定应如何考虑这些样本。
在一些实施方案中，在处理样本x时，可以排除就深度距离而言与样本x相距太远(例如，超过距离阈值T)的样本。其他样本可基于其距离在处理中被再次加权或优先化。在处理样本时，也可以考虑来自其他属性的对应信息以及这些属性的相似性或相异性。在处理时也可以考虑信息，诸如从几何平面或从其他属性平面提取的边缘。如前所述，在色度下采样 (例如，4:4:4至4:2:0)的特定示例中，可以在第一情况下执行使用几何以及亮度属性信息的边缘定向下采样，而类似地对于上采样(例如，4:2:0至 4:4:4)，可以执行使用几何和亮度属性信息的边缘定向上采样过程。如先前所述，此类处理可以再次是基于补片/占用图的，然而此类处理也可以在没有此类考虑的情况下独自执行。又如，可以再次使用来自几何信息和/或可能可用的其他属性平面的信息，从分辨率H_o×W_o到新分辨率 H_n×W_n对属性平面执行定向插值。例如，图6C示出了根据一些实施方案的示例应用，其中使用属性平面对应的几何信息和几何提取边缘放大属性平面。
在一些实施方案中，利用上述提议的滤波器/处理技术的其他应用可以包括去噪、去带、去振铃、解块、锐化、边缘增强、对象提取/分割、显示映射(例如，用于HDR应用)、重新着色/色调映射等。此类方法也可以用于质量评估，例如，通过在评估特定的失真测量时，将对应的补片中的数据集中在一起并且考虑该数据(例如，求和失真值)，该对应补片还对应于类似的几何信息和其他属性。处理可以是纯空间的，例如，可以仅考虑与相同时间戳对应的投影图像进行此类处理，然而也可以允许时间/时空处理，例如，使用运动补偿或运动自适应处理策略。
用于压缩的点云数据的位流结构
如以上并且关于图13和图14更详细讨论的，对增强和虚拟现实应用以及使用和压缩三维数据以支持该数据具有相当大的兴趣。一种此类数据形式包括点云表示，其中将对象指定为根据3D几何来描述的一系列点，并且每个点的属性集合可包括信息诸如颜色、反射率、时间或其他类型的信息。考虑到如果不压缩此类数据将需要的空间和带宽的量，对此类信息的压缩是非常期望的。
上文关于将补片打包到视频帧中描述了已经提出用于压缩点云数据的一种方法，并且可以进一步扩展该方法，以通过“遗漏的”或未包括在补片中的其他编码点来实现接近无损或无损的性能。
如图5A和图5B所示的编码器和解码器图示出了如何执行该过程。在一些实施方案中，首先将点云数据分割成多个2D投影图像/视频，每个图像/视频表示不同类型的信息。通过将点云分成多个补片来执行分割，该多个补片允许将整个3D空间数据有效地投影到2D平面上。每个补片与信息诸如几何、纹理和其他属性(如果可用)相关联。然后，将此类信息复制到单独图像序列上协同定位的位置，每个图像序列现在分别仅包含几何信息、纹理信息和任何其他剩余属性。还提供了包含补片信息的辅助信息和占用图，该占用图指示这些投影图像序列中的哪些面积对应于实际点云数据，哪些面积未被占用，例如可能不包含数据或虚设数据(例如，填充数据)。然后使用不同的策略对此类信息进行压缩。例如，可以对辅助信息进行熵编码，而可以使用常规图像/视频编解码器或其他方法诸如游长压缩对占用图进行下转换和编码。可以使用常规编解码器压缩单独的投影图像序列。这导致多个子流的集合，例如，几何子流、纹理子流和属性子流，以及占用和辅助信息子流。如图6B所示的位流结构所示，将所有这些流一起复用以生成最终点云位流。
在一些实施方案中，图6B中指定的结构可以是非常刚性和非柔性的，并且可能无法解决某些应用，特别是低延迟应用，该低延迟应用将要求在受约束的时间帧内有效地发信号通知和解码与时间上的单个点云帧对应的所有信息。在存储器和延迟方面，图6B所示的位流架构也可能付出相当大的代价。在一些实施方案中，将点云视频序列分割成多组点云帧(GOF)。一组帧或GOF可以由多层信息组成，每层信息表示不同类型的数据，诸如几何信息和纹理信息等。在一些实施方案中，需要点云压缩 PCC解码器首先解码并且存储每个GOF的整个几何视频流，以及与之相关联的任何信息，然后是相关的纹理视频流，随后再开始重构GOF中的每个帧(可能会认为点云重构可以遵循纹理视频流的解码次序)。然而，可以通过扫描位流并且找到每个子位流的适当位置(例如，几何、占用/辅助信息、纹理)并且对其进行并行解码来减少存储器需求。然而，这假定此类流在使用相同的编码次序和结构时受到限制。
当在没有任何标记物的情况下顺序地发信号通知所有数据以指示不同子流的位置时，可能存在时间延迟的明显缺点。例如，直到所有的帧GOF 信息组都被解码后，才能重构一个帧。另外，除非每个数据都有其自身大小的信息，否则不能对位流进行并行解码。为了解决该问题，在一些实施方案中，可以使用包含关于一种或多种类型的数据的信息及其相关的标头信息的编码单元的概念，为了方便起见，该编码单元在本文中被称为 PCCNAL(点云压缩网络抽象层)单元。封装的数据可以放置在位流内的任何位置，并且可以对该封装的数据进行并行解码和重构。
在一些实施方案中，可以不定义或限制参数的信令方法。只要参数具有相同的用途，就可以不限制参数的名称。只要参数的每个功能由数字标识，则每个参数的实际值或代码字可以不受限制。
例如，可以使用用于压缩的点云数据的位流结构，该位流结构更灵活并且允许为低延迟应用递送点云数据。位流结构还可以实现其他功能，诸如非均匀误差保护、重排序和减少的存储器占有面积等。此外，在一些实施方案中，还可以考虑用于识别在点云数据的整个切片、帧、GOP或序列上使用的不同方法和定义的参数和/或部件单元。在点云压缩PCC位流内定义和使用的部件单元的示例是点云压缩网络抽象层(PCCNAL)单元。具体地，PCCNAL单元可以被定义为包含一种或多种类型的信息并且可以被放置在位流中的任何地方的数据集合。然而，放置可被限制在特定时间段内。
PCCNAL单元的一些其他属性包括：
·PCCNAL标头：指示单元开始和/或单元类型的位序列。此类标头可以包含“起始代码”指示符，该指示符是唯一序列，不应在 PCCNAL内的其他任何位置出现，并且可以有助于识别此类单元。可以使用起始代码仿真预防方法来避免流内出现等效标记。
·PCCNAL索引：识别不同PCCNAL单元的索引
·PCCNAL大小：PCCNAL单元的大小
·PCCNAL尾随位：此类信息是任选的，并与起始代码类似，这是可有助于识别PCCNAL单元的结尾的独特标记
·PCCNAL GoF索引：与PCCNAL单元对应的GoF索引
·PCCNAL POC：用于此类单元的索引参数。该索引可以用于分类和/或识别每个NAL单元，并且允许基于其值对不同NAL单元进行分组。例如，可以向对应于同一点云帧的几何帧和属性帧给予相同的索引，这有助于以后在解码和重构点云表示期间识别这些帧之间的关系。该信息可能会限制PCCNAL单元在位流内的放置。
每个编码块或编码块集合可以被识别为PCCNAL单元。此类块可包括序列参数集合、图片参数集合、几何视频数据、占用数据、纹理视频数据、几何帧、占用帧和纹理帧等。例如，图7A中的几何视频流可以对应于几何视频数据PCCNAL(PCCNAL-GEO)，辅助信息和占用图可以对应于 PCCNAL-OCC，并且纹理视频流可以对应于PCCNAL-ATT。在另选的实施方案中，几何视频数据、占用数据和纹理视频数据中的所有都可以包括一个PCCNAL单元。
PCCNAL单元的示例如下：
·PCCNAL-SPS：使用的参数集合，并且可以应用于整个序列
·PCCNAL-PPS：使用的参数集合，并且可应用于整个帧/图片
·PCCNAL-GOF：使用的参数集合，并且可以应用于整个GOF
·PCCNAL-OCC：占用图信息集合
·PCCNAL-GEO：几何数据信息集合
·PCCNAL-ATT：纹理数据信息集合
·PCCNAL-FRM：单帧上的信息
·PCCNAL-GEOFRM：单帧上的几何信息
·PCCNAL-ATTFRM：单帧上的纹理信息
·PCCNAL-OCCFRM：单帧上的占用图信息
还可以为子帧(例如，切片、编码树单元(CTU)或宏块的组、图块、或切片或图块的组)定义上文信息。也可以为不一定需要等于GOF中的帧数的一组帧指定这些信息。该组帧可小于或甚至大于GOF。在该组帧较小的情况下，预期该组内部的所有帧将是GOF的子集。如果较大，则预期该数量将包括几个完整的GOF，这些GOF可能不一定具有相等的长度。图7B是具有PCCNAL单元的PCC编码位流的概念结构的示例图示。
在一些实施方案中，可在没有任何标记物的情况下顺序地发信号通知 PCCNAL单元。
在一些实施方案中，PCCNAL单元可具有PCCNAL标头，该标头可包括起始代码并且/或包含PCCNAL尾随位。将PCCNAL标头定位于 PCCNAL单元的开始处，并且将PCCNAL尾随位定位于PCCNAL单元的结尾处。通过具有PCCNAL标头和/或PCCNAL尾随位，解码器可跳至正确数据所在的点，而无需从开始到数据进行解码。
例如，在PCCNAL标头中，可包括起始代码，该起始代码可有助于检测PCCNAL单元。起始代码是唯一的位序列，不应当用于表示此类单元内的任何其他数据。当检测到此类起始代码时，可能已知以下位将对应于与此类单元相关的特定信息，该特定信息包括此类单元的标识信息以及将对应于此类标识符的任何相关有效载荷。例如，等于000000的标识符(假定该标识符为6位)可指示PCCNAL是GoF标头单元，而等于000001的标识符可指示有效载荷包括几何数据信息。其他标识符可对应于占用信息、属性等，并且此类标识符可由应用或用户定义(例如，工程师配置编码器/ 解码器)。应当指出的是，尽管起始代码存在于特定单元的开始处，但是定义在固定数量的位或语法元素之后的“起始代码”也是可能的，该起始代码在本文中可被称为“前导码”序列。例如，前导码序列可包括单元标识符以及POCNALPOC参数。如果前导码序列中的参数使用变量算术编码，则在位流中以从右到左的次序对这些参数进行编码(例如，首先在流中写入编码参数的最低有效位，最后写入最高有效位)。这不是必需的，但是仍可用于固定长度参数。
在一些实施方案中，PCCNAL标头可包括其自身的PCCNAL大小而不是PCCNAL标头位的大小。
在一些实施方案中，PCCNAL标头可具有PCCNAL大小和PCCNAL 标头位两者。
在一些实施方案中，PCCNAL可具有尾随位以指示PCCNAL单元的结尾。
在一些实施方案中，PCCNAL可具有其对应的GoF索引。
在一些实施方案中，PCCNAL可具有其对应的POC索引。
在一些实施方案中，PCCNAL可具有其对应的类型标识符。
在一些实施方案中，利用PCCNAL标头，位流中的PCCNAL单元可以无任何固定次序的方式定位。例如，在一些实施方案中，可在PCCNAL POC的限制内，以任何次序将PCCNAL单元放置在位流内。在解码或重构期间，仍可使用PCCNAL POC的值来执行重排序。然而，PCCNAL POC 可以是周期性的数量，并且此类重排序应当考虑到此类特性。在一些实施方案中，PCCNAL单元可按其GoF索引进行分组。在一些实施方案中， PCCNAL单元可按其POC进行分组，如图7B所描绘的。在一些实施方案中，PCCNAL单元可按其类型进行分组，如图7C所描绘的。
在一些实施方案中，可在不同的位流中发信号通知PCCNAL单元。甚至当单独发信号通知这些PCCNAL单元时，也可以通过PCCNAL标头信息 (诸如，GoF索引和/或POC)正确地重构这些单元。
例如，当在解码器处接收到编码的PCC位流时，该解码器可开始解析 PCCNAL单元标头。使用标头中的信息，解码器可跳过位流以收集同步的占用几何纹理数据。如果标头具有PCCNAL单元的大小，则该标头可能会按大小跳到结尾。如果标头仅包含起始代码，则该标头可以通读位流，直到遇到新标头或尾随位序列。解码器还可以为每个PCCNAL分析PCCNALPOC信息，确定哪些单元包含相同的信息，然后对这些单元进行分组和重排序。此类过程可允许对压缩的点云数据进行正确的解码，然后重构该压缩的点云数据，例如，通过确定几何和属性视频信号中的哪个帧对应于相同的点云帧并且可用于其重构。这是如在可缩放视频编解码器中使用的类似机制，其中解码器扫描位流并且基于其POC来确定基站和增强层的对应。
在编码的PCC位流中，每个切片、每个帧/图片、每个GOP或点云数据的每个序列可具有几个参数，这指示允许对点云数据进行正确解码和渲染的信息。这些参数可不止一次地出现在位流中并且出现在不同位置处。例如，可以在序列级别和切片级别两者处发信号通知参数。在这种情况下，较低级别处的参数可以覆写该级别范围内的较高级别处的参数。在另一个实施方案中，较低级别处的参数可提供可阐明较高级别处的参数的特性的附加信息。这些参数的集合可包括PCCNAL单元。此类参数的一些示例包括以下内容：
·PCC帧宽度、PCC帧高度：映射PCC数据的帧的“标称”宽度和高度。该大小可以与视频编解码器的输出的大小相同。该大小可以与视频编解码器的输出的大小不同。在这种情况下，可通过参数集中指示的方法或由用户/编解码器预定义的方法来调整输出的大小。
·调整大小的类型：从解码视频大小调整到PCC帧大小的方法的类型
·一组帧的大小：可以发信号通知一组帧中的帧数。
·色度格式：可以发信号通知几何数据视频和纹理数据视频的色度格式。如有必要，还可以发信号通知占用图的色度格式。可以关于两个视频层一次发信号通知该格式，或者可以关于每个视频层单独发信号通知该格式。此类信息也可由视频位流推断出来，并且不一定需要再次出现于PCCNAL单元中。
·输入、输出位深度：该语法定义了输入PCC数据的位深度，并且发信号通知了输出PCC数据。
·内部位深度：该语法元素定义了用于在PCC中进行内部计算的数据的位深度。在内部计算期间，输入数据被调整为在内部位深度的范围内。此类信息也可由视频位流推断出来，并且不一定需要再次出现于PCCNAL单元中。
·视频编解码器的类型：该语法元素定义了视频编解码器(例如， AVC、HEVC、AV1或一些其他编解码器)，以及用于对几何和属性投影视频数据进行编码的对应配置文件和级别信息。可以关于几何和属性视频信号两者一次发信号通知此类语法元素，或者可以关于每个视频信号独立地发信号通知此类语法元素。也可以省略此类信息，并且通过视频流的特性和视频流内的信息来推断此类信息。
·用于每个流的层
○层的存在：指示位流中存在多于1层的用于几何数据/属性数据/占用图的层的标志
○层数：在层数大于1的情况下，还发信号通知了层数。该语法元素定义了几何和属性数据视频具有的层数。每个层包含关于映射到补片中的同一像素但各自对应于不同深度的点的信息。
○最小层数：这是任选的语法元素，用于定义位流中存在的最小层数。
○每个视频层可使用不同类型的视频编解码器。可发信号通知用于特定层的视频编解码器的类型。
·占用图
○占用图的存在：指示位流中存在占用图的标志
○占用图的编码类型：在存在占用图的情况下，还发信号通知用于占用图的编码方法的类型。例如，可利用视频编解码器或在本说明书中定义的另一方法来编码占用图。
压缩和解压缩点云的示例方法
图8A示出了根据一些实施方案的用于压缩点云的属性信息和空间信息的过程。
在802处，点云由编码器接收。点云可以例如由一个或多个传感器捕获，或者可以例如在软件中生成。
在804处，使用本文所述的任何技术或使用本文所述的技术的一个或多个组合来确定压缩的点云信息。
在806处，使用在804处确定的压缩的点云信息对压缩的点云进行编码。可以使用本文所述的任何技术压缩点云。
图8B示出了根据一些实施方案的用于解压缩点云的属性信息和空间信息的过程。
在803处，接收已编码点云。可能已经使用本文所述的任何编码技术对该点云进行了编码，该点云诸如为打包到图像帧中然后由视频编码器编码的补片图像。在一些实施方案中，已编码点云可包括点云投影，诸如投影到立方体、圆柱体、球体等，然后经由视频编码器对其进行编码。
在805处，确定用于已编码点云的空间和属性信息。例如，视频解码器可用于对视频编码的打包图像或投影进行解码。然后可基于打包图像或投影来确定空间信息，并且将空间信息组合以确定用于点云的点的空间信息。例如，用于补片的点的深度信息可与用于补片的点的X和Y信息匹配，以确定补片的点在3D空间中的空间信息。以类似的方式，被包括在补片图像中的其他属性(诸如，颜色属性、纹理属性等)可与对应的点匹配以确定用于该点的属性值。另外，在多个投影的情况下，可以在多于一个的投影中识别相同的点以确定该点在3D空间中的空间信息。
在807处，可将解压缩点云提供给接收方设备或模块。
图8C示出了根据一些实施方案的正被生成并打包到图像帧中以压缩点云的属性信息和空间信息的补片图像。
在810处，为点云的部分确定补片。例如，可如上所述确定补片。在 825处，可生成用于补片的补片信息，并且在826处，可对该补片信息进行编码以将其发送至解码器。在一些实施方案中，编码的补片信息可与包括打包的补片图像的一个或多个图像帧分开编码。
在811处，第一补片(或选择下一个补片)。在812处，为被包括在补片中的点云的点来生成颜色(例如，属性)补片图像。在814处，为被包括在补片中的点云的点生成一个或多个附加属性图像，诸如纹理属性图像。
在813处，为被包括在补片中的点云的点生成空间信息图像。在一些实施方案中，为了生成空间信息图像，在815处，点云的点被投影到补片平面上，该补片平面垂直于在补片位置处与点云的表面正交的法矢量。在 817处，基于在815处点正被投影到补片平面上来为补片生成第一空间图像。另外，在816处，确定补片的点相对于补片平面的深度信息，并且在 818处，基于在816处确定的深度信息来生成深度补片图像。
在819处，确定是否存在待为其生成补片图像的附加补片。如果是，则对于下一个补片，该过程返回到811。如果不是，则在820处，将用于补片的补片图像打包到一个或多个图像帧中。在一些实施方案中，可在确定用于其他补片的补片图像之前打包用于相应补片的补片图像。在821处，基于在将补片图像打包到一个或多个图像帧中时放置该补片图像的位置来生成占用图。在824处，对占用图进行编码。
在822处，填充一个或多个图像帧中未被补片图像占用的空间。
在823处，该一个或多个图像帧是诸如根据高效视频编码(HEVC) 标准来视频编码的。
图9示出了根据一些实施方案的正被生成并打包到图像帧中以压缩移动或改变的点云的属性信息和空间信息的补片图像。
在930处，接收用于先前已编码的点云的点云信息，其中点云信息表示先前已编码的点云的后续版本。例如，该后续版本可以是点云在后续时刻处的表示，其中点云随着时间的推移而移动或改变。
在931处，确定是否需要为点云确定任何新补片。例如，当前不在先前已编码的点云中的对象可能已被添加到点云中。例如，点云可以是道路的点云，并且球可能已经进入该道路。如果需要添加新补片，则在933 处，更新占用图以包括新补片，并且在934处，对该占用图进行编码。另外，在932处，以与812至814中所述的方式类似的方式为新补片生成补片图像。生成的补片图像被包括在943处的打包中。
在935处，选择为参考(先前)点云生成的补片中的第一或下一个补片。在936处，如本文所述对补片的点进行重新采样。在937处，确定针被包括在参考点云与当前点云之间的选定补片中的点的运动矢量。在940 处，使用运动矢量来生成相对运动补片图像。例如，在一些实施方案中，生成相对运动补片图像可包括在941处使用不同的图像特性在不同的方向上编码矢量运动，如本文所述。在938处，生成更新的颜色补片图像。在一些实施方案中，更新的颜色补片图像可编码残差值，该残差值指示被包括在参考点云与当前点云之间的补片中的点云的点的颜色的差异。以类似的方式，在939处，可生成其他属性更新补片图像。
在942处，确定是否存在待评估的附加补片。如果是，则对于下一个补片，该过程返回到935。如果不是，则在943处，将用于补片的补片图像打包到一个或多个图像帧中。在一些实施方案中，可在确定用于其他补片的补片图像之前打包用于相应补片的补片图像。
在944处，填充一个或多个图像帧中未被补片图像占用的空间。
在945处，该一个或多个图像帧是诸如根据高效视频编码(HEVC) 标准来视频编码的。
图10示出了根据一些实施方案的解码器，该解码器接收包括补片图像、补片信息和占用图的图像帧，并且生成点云的解压缩表示。
在1050处，由解码器接收占用图，在1051处，由解码器接收补片信息。在一些实施方案中，可对占用图和补片信息进行编码，并且解码器可对占用图和补片信息(未示出)进行解码。在1052处，解码器接收一个或多个已编码视频图像帧。在1052处，解码器识别一个或多个已编码视频图像帧中的补片图像，并且在1054处，解码器对已编码视频图像帧进行解码。在一些实施方案中，解码器可利用占用图和补片信息来识别一个或多个编码的视频图像的活动部分和非活动部分，并且可基于该部分(例如，块、子块、像素等)是否包括活动信息或非活动信息来调整用于对编码的视频图像进行解码的一个或多个解码的参数。
在1055处，解码器确定用于相应补片的点的空间信息和/或属性信息，并且在1056处，生成在一个或多个编码的视频图像中编码的点云的解压缩的表示。
在一些实施方案中，图像帧的活动部分和非活动部分可由“掩模”指示。例如，掩模可指示图像的作为填充部分的一部分或者可指示点云的非活动点，诸如在一个或多个视角无法看到的点。
在一些实施方案中，“掩模”可与补片图像或投影一起被编码。在一些实施方案中，“掩模”可在空间中示出“活动/可用”点和“非活动/不可用”点。在一些实施方案中，掩模可独立于纹理和深度补片图像。在一些实施方案中，掩模可与其他信息(诸如纹理或深度补片图像)组合。例如，通过指示信号范围中的某些值对应于活动点(例如，8位图像中高于 16且低于235的值)，并且其他值对应于非活动点(例如，8位图像中低于16的值或高于235的值)。在一些实施方案中，可进行附加的考虑以避免或减少活动区域与非活动区域之间的污染。例如，可能需要在活动区域与非活动区域之间的边界处使用无损或视觉上无损的编码。
在一些实施方案中，可以多种方式利用掩模来改善编码效率。例如，掩模可与投影方法(诸如，圆柱体投影、球体投影或多重投影以及分解成补片)一起使用。另外，掩模可与立方体投影方法一起使用。
图11A示出了根据一些实施方案的编码器，该编码器基于用于点云的一个或多个掩模来调整编码。
在1162处，编码器接收点云。在1164处，编码器为接收的点云生成如本文所述的多重投影或补片图像。在1166处，编码器确定一个或多个掩模。掩模可以是隐藏点、图像帧的填充部分、从特定视点不可见的点等。在1168处，编码器基于该掩模来调整一个或多个编码参数。例如，编码器可调整分配给掩蔽部分的预算。本发明描述了编码器可执行的附加调整。在1168处，编码器例如经由一个或多个已视频编码图像帧来对压缩的点云进行编码。
图11B示出了根据一些实施方案的解码器，该解码器基于用于点云的一个或多个掩模来调整解码。
在1170处，解码器接收已编码点云。在1172处，解码器为已编码点云的部分确定一个或多个掩模。例如，编码器可确定图像帧的表示压缩的点云对应于填充的部分。或者，对于正由解码器渲染的点云的特定视图，解码器可确定从特定的视点无法看见压缩的点云的一个或多个点。在一些实施方案中，掩模信息可指示当从特定视点查看点云时哪些点被隐藏。在 1174处，解码器基于该掩模来调整一个或多个解码参数。可由解码器基于活动区域/非活动区域或点(例如，掩模)进行的调整将在下面更详细地描述。在1176处，解码器对压缩的点云进行解码。
在一些实施方案中，在执行运动估计和模式决定时可使用掩模。计算用于整个块的一般失真。然而，一些块可具有包含纹理数据以及空/不可见区域的组合的块。对于这些区域，仅纹理数据是感兴趣的，并且可忽略不可见区域中的任何失真。因此，由于通常在执行此类过程(如运动估计和模式决定)时，执行失真计算(诸如，绝对差值和(SAD)或平方误差和 (SSE))，因此可使用掩模来改变该计算以排除不可见区域的失真。例如，对于SAD的情况，可通过仅计算块中对应于当前图像中的可见区域的样本的绝对差值和来计算失真。在计算期间，可以忽略所有其他样本。在一些实施方案中，可在像素级下对失真进行归一化，从而避免必须考虑具有不同数量的像素的块。
在一些实施方案中，不是仅考虑不可见样本，而是可以向与不可见样本相邻的样本或被识别为对应于不同投影的样本(但是在同一编码块内进行编码时放置)分配不同的权重。例如，特定块中的样本可以被认为对于主观质量而言更为重要，并且可以分配较低的失真公差。在此类情况下，可增大对那些样本的加权，从而在那些样本的失真较低的情况下偏置决定。还了解到，在运动估计或模式决定期间在具有特定大小M×N的同一块中的不同样本对应于不同对象，并且还可有助于确定块分区模式，例如，编码器可(潜在地基于初步搜索)对是否可以/应该使用不同的分区作出早期决定。
在一些实施方案中，掩模可用于速率控制和速率分配。例如，可能期望以与仅包含可见样本的块不同且有时比其更高的质量来编码对应于包含可见样本和不可见样本两者的区域的块。这样做是为了避免可见样本与不可见样本之间的渗漏，并且确保点云“边界”处的最佳质量。还可基于深度信息来分配不同的质量，该深度信息也可在编码器上可用。与具有相当大的深度方差的区域相比，较平坦的区域可承受大得多的失真。质量控制可通过调整量化参数/因子来执行，但是也可通过调整其他参数(诸如模式决定期间的拉格朗日乘数)、使用不同的量化矩阵(如果可用)、启用和/ 或调整量化阈值以及分区量化的大小和/或形状来执行。
还可根据使用的投影方法来调整量化。如果例如使用等矩形投影方法将对象投影到球体上，然后投影到2D平面上，则可能期望增加顶部边界和底部边界上的量化，并且在朝向中心/赤道移动时将该量化缓慢减小。这可有助于在使用特定投影方法时对分辨率分配中的一些差异进行补偿。可再次基于类似的假设并且再次考虑掩模信息来对不同的颜色分量进行不同的调整。
也可在考虑样本是可见的样本还是不可见的样本时执行量化。例如，如果策略涉及使用动态编程/网格量化方法来确定量化系数的值。在此类实施方案中，通常可计算量化系数的失真的影响，以及其对多个重构点处的位率的影响。这可关于所有系数完成，同时考虑其位率交互。最后，可通过选择将一起导致最佳速率失真性能的量化值来共同作出用于所有系数的决定。在一些实施方案中，在计算此类度量时可考虑可见区域和不可见区域。
类似于运动估计和模式决定过程，样本自适应偏移(SAO)技术通常还为可使用的每个可能模式或SAO值计算所得失真。同样，该决定可以排除不可见样本，或优先考虑与不可见样本接近的不同权重样本或与深度变化显著的区域对应的样本。
在一些实施方案中，掩模可用于可涉及失真计算的任何其他编码过程中。
在一些实施方案中，掩模可用于预处理/预滤波中。例如，可基于样本与不可见样本的接近度来对这些样本进行预滤波，以便减小出现伪影的可能性，并且/或者移除可能使编码更困难的噪声。可使用任何形式的预滤波，包括时空滤波器。
在一些实施方案中，可对纹理和深度信息两者应用预滤波。
鉴于可见/不可见样本的量和不同图片上的深度方差，还可在图片级别下(在时间上)作出量化参数的决定。例如，在多通道编码系统中，此类决定可能是相当有用的，其中首先分析了整个序列以确定每个帧的复杂性以及每个帧与其他帧的关系。然后可决定将用于与所有其他帧具有关系的该帧的编码参数，并且为该编码参数给出期望的质量或位率目标。不仅可以关于量化参数作出类似的决定，而且还可以关于图片编码类型(即，I、 P或B)、结构(例如，遵循特定帧编码次序的对N个帧进行的分级编码或非编码)、待使用的参考、加权参数等作出类似的决定。
编码和解码(规范概念)
由于掩模以及深度信息可能在解码器处无损或视觉上无损可用，因此该信息也可在解码器处(并且当然在编码器处)使用以进一步改善质量。
例如，解块和样本自适应偏移(SAO)以及自适应环路滤波(ALF) 和去振铃(在支持此类机制的编解码器中)可使用掩蔽信息，其中排除不可见样本、对应于不同投影的样本或具有非常不同的深度特性的样本。相反，可能期望仅考虑对应于相同投影并且彼此相距不远(深度方向)的样本的此类滤波方法。这可减少这些方法试图减轻的块效应和/或其他伪影。其他未来类型的环路内后滤波也可以类似的方式执行。
又如，具有可见/不可见/不同区域分割的环路外后滤波可利用掩蔽信息。
可执行基于块内的可见/不可见样本的某个百分比对QP质量参数的隐式调整。如果此类切换经常在位流中发生，则这可减少编码参数的信令。
可执行基于可见/不可见样本的百分比对变换类型的调整，这包括考虑形状自适应离散余弦变换(DCT变换)。
对重叠块运动补偿技术的调整可利用掩蔽信息(如果存在于编解码器中)来掩蔽不可见样本。可关于块运动补偿和/或帧内预测(包括帧内块复制方法)来进行类似的考虑。当构造预测信号时，这还包括当插值以执行子像素运动补偿或执行双预测时，可考虑被认为可见的样本。可考虑来自当前图片的掩模，但是如果需要，可考虑来自当前图片的掩模和对应于参考图片的掩模两者。可在编码器处通过一些形式的信令(即，在序列、图片、图块、切片或甚至CTU/块级别下)使此类考虑自适应。
在一些实施方案中，可执行基于掩模或深度信息对最终值的剪辑。
在一些实施方案中，可基于可见点和不可见点以及对应于不同投影的点的存在(和量)类似地调整或约束可存在于编解码器内部(例如，以 MPEG的JVET团队目前正在开发的AV1或通用视频编码(VVC)标准) 的其他预测方法。
在一些实施方案中，不同的控制/调整可应用于不同的颜色分量和深度信息。
占用图压缩
图12A示出了根据一些实施方案的关于占用图的压缩的更多细节。可作为如上所述的步骤821或933的一部分来执行图12A中所示的步骤。在一些实施方案中，可在821或933处执行本文所述的任何占用图压缩技术。
在1280处，为占用图的每个块或修改块确定候选补片的列表。
在1281处，以与将补片打包到图像帧中的次序相反的次序对用于每个块的候选补片列表进行排序。例如，可将补片打包到图像中，其中将较大的补片打包在较小的补片之前。相反，用于占用图的每个块的候选列表可在较大的补片之前包括较小的补片。在1282处，算术编码器可以用于为每个块编码补片候选列表。在一些实施方案中，可以使用熵编码器。另外，在一些实施方案中，可以为空块分配特殊值诸如零，而可为补片候选分配对应于补片编号(诸如1、2、3等)的编号。
在1283处，对于每个块，根据确定的精度值来确定子块。可与占用图一起对确定的精度值进行编码，使得解码器可确定在编码器处使用的确定的精度值。
在1284处，对于每个块，为块的每个子块确定二进制值(例如，0或 1)。为已满子块分配与非满子块不同的二进制值。如果块的所有子块都已满，则可以为该块分配二进制“已满”值。
在1285处，对于每个非满子块，确定遍历次序。例如，可确定图12B 中所示的任何示例遍历次序(或其他遍历次序)。如上所述关于占用图压缩的游长编码策略可用于使用确定的遍历次序对子块的二进制值进行编码。
图12B示出了根据一些实施方案的用于压缩占用图的示例块和遍历模式。可以如上文关于占用图压缩并且在图12A中所述使用遍历模式。
使用视频编码器的无损或接近无损的点云压缩
当如上所述确定补片时，少量点可不被包括在任何补片中。例如，由于为隔离点创建补片所需的补片小于某一大小，因此压缩效率与质量之间的折衷可用于确定是否有理由创建更小的补片来捕获隔离点或扩展点。在一些实施方案中，除补片生成之外的附加技术可应用于捕获未被包括在补片中的点并且提供无损或接近无损的压缩。
在一些实施方案中，点云经由如上所述的补片技术来压缩，然后由补片重构。将输入点云中的点与重构点云中的点进行比较，以便检测遗漏点。在一些实施方案中，可以在最近的点中搜索与第一几何图对应的点，诸如描述几何的集合2D图像。对于每个遗漏点P(例如，存在于输入中但不在重构点云中的点)，检测重构点云中的最近点Q。在一些实施方案中，最近点Q与遗漏点P在补片中相同的切向轴和双切向轴上。换句话讲，在一些实施方案中，遗漏点P可位于补片投影中的相同位置(相同的切向轴和双切向轴)处，但是可位于不同的深度处(例如，沿着法向轴至补片投影平面)。
在一些实施方案中，该过程可如下进行：
1.对于每个遗漏点P(即，存在于输入中但不在重构点云中的点)，检测重构点云中的最近点Q。
2.假设i(Q)和j(Q)是Q的像素坐标。
3.假设dx(Q)、dy(Q)和dz(Q)是P与Q之间的位置差异。如上所述，在一些情况下，遗漏点P可能在相同的切向轴和双切向轴处，但是深度与最近点Q不同。当这种情况为真时，仅可计算dz(Q)。在相同的切向轴和双切向轴处但在不同深度处的遗漏点P在本文中可被称为“仅限深遗漏点”。其他类型的遗漏点可被称为“3分量遗漏点”。
4.假设dR(Q)、dG(Q)和dB(Q)是P与Q之间的属性差异(例如，颜色差异)。在一些实施方案中，可以在确定残余差异之前或之后使用无损变换(诸如YCgCo-R)将属性数据转化成不同的配色方案。
5.编码器可通过使用以下策略中的一者来压缩i(Q)和j(Q)：
A.预测+量化+熵编码，
·预测可由先前编码/解码的相邻样本例如使用最后编码的点或N个最后编码的点的加权平均值来执行。
·量化可以是任何线性或非线性量化过程。
·熵编码可利用可变长度编码器，基于例如指数哥伦布、算术编码或一些其他熵编码方法。
B.量化+四叉树编码+熵编码
1.四叉树编码可如下进行：
a.在量化的2D像素位置周围创建正方形
b.将该正方形递归地分割成4个子正方形
c.生成1位值，该1位值指示每个子正方形是否包含点。
d.为4个子正方形生成的4位二进制代码是例如使用算术熵编解码器进行熵编码的。
e.如果子正方形的大小为1×1，则编码一个位以指示该子正方形是否包含一个或多个点。如果该子正方形具有多个点，则编码被减去一的点数。算术编码可用于编码此类信息。
f.继续细分包含点且具有大于1的大小的正方形。
g.通过使用以下策略中的一者来压缩dx(Q)、dy(Q)、 dz(Q)、dR(Q)、dG(Q)和dB(Q)：
C.预测+量化+熵编码
·预测可由先前编码/解码的相邻样本例如使用最后编码的点或N个最后编码的点的加权平均值来执行。
·另外，在一些实施方案或情况中，可使用具有相同的点 (Q)作为其参考点的先前编码/解码的遗漏点(P)来执行预测。
·在多于一个的遗漏点(例如，多个P)具有相同的参考点 (Q)的情况下，可通过与Q(d(Q))的差异来记录遗漏点。例如，不是关于多个遗漏点发信号通知d(Q)，而是可以关于遗漏点中的第一遗漏点发信号通知d(Q)值，并且可以关于共享相同参考点的多个遗漏点中的其他遗漏点发信号通知相对于先前差异的另一个差异。
·量化可以是任何线性或非线性量化过程。
·熵编码可利用可变长度编码器，基于例如指数哥伦布、算术编码或一些其他熵编码方法
6.将值存储为视频帧中的像素，并且使用视频编解码器来压缩视频帧。
在一些实施方案中，该方法可用于支持无损压缩和有损压缩两者，这包括仅几何的无损压缩、几何和属性两者的无损压缩和整个点云的有损压缩。在一些实施方案中，无损压缩如下进行。首先，编码器被配置为使得占用图的精度为1×1，例如，占用图中的每个像素对应于几何和属性图像中的一个点/像素。之后，视频编解码器以无损模式进行编码，并且禁用如上所述的应用于重构点云的平滑步骤。另外，在一些实施方案中，可以禁用 i(Q)、j(Q)、dx(Q)、dy(Q)、dz(Q)、dR(Q)、dG(Q)和/或dB(Q)的量化步骤。
在一些实施方案中，为了将值存储在视频帧中并且使用视频编解码器对其进行压缩，可使用以下技术中的一者或多者。
在一些实施方案中，遗漏点的位置和属性可被显式地保存在一个帧或多个帧内部，并且用视频编解码器进行压缩。
在一些实施方案中，不是发信号通知残差值(dx(Q)、dy(Q)、dz(Q)、 dR(Q)、dG(Q)、dB(Q))，而是可发信号通知遗漏点(Xp、Yp、Zp、Rp、 Gp、Bp)的绝对值。
在一些实施方案中，残差值(dx(Q)、dy(Q)、dz(Q)、dR(Q)、dG(Q)、 dB(Q))可被保存在一个视频帧或多个视频帧内部，并且用视频编解码器进行压缩。其他属性诸如反射率也可以类似的方式来处理。用于遗漏点的视频帧的帧大小可与用于几何信息或纹理信息的其他视频数据的帧大小相同。然而，在一些实施方案中，用于遗漏点的视频帧的帧大小可与用于几何信息或纹理信息的其他视频流的帧大小不同。
例如，由于每个点云帧可包括不同数量的遗漏点，因此该过程可能导致具有不同分辨率的遗漏点视频帧。为了对包括不同数量的遗漏点的视频帧进行编码，可使用以下技术中的一者或多者：
·独立地编码每个遗漏点帧，而不更新其分辨率。在这种情况下，并且如果一组点云帧中的任何帧的分辨率不同，则可能必须独立地编码这些遗漏点帧，例如作为帧内编码的帧。
·作为另选方案，遗漏点帧可被分组为一组点云帧，并且这些帧的分辨率可被更新为为该组中的遗漏点帧选择的最大分辨率。这然后将允许使用帧间编码工具。
另外，在一些实施方案中，可显式地发信号通知帧大小(宽度、高度)。
然而，在一些实施方案中，帧大小可以是对应于视频编解码器的基块大小(例如，HEVC中的CTU或AVC中的宏块)的预定义块大小M的倍数。例如，M可等于8、16、32、64等。在此类实施方案中，可显式地发信号通知遗漏点的数量(num_missed_point)。附加地或另选地，可发信号通知仅限深遗漏点的数量(例如，num_missed_points_1comp)和3分量遗漏点的数量(例如，num_missed_points_3comp)。预定义的参数M(例如，块大小)可利用遗漏点的数量来发信号通知，并且可用于确定帧大小。在一些实施方案中，用于几何残差帧和纹理残差帧的M(块大小)可以不同。另外，在一些实施方案中，可单独发信号通知用于每个帧的M (块大小)。
用于构成具有M大小的块的遗漏点帧的宽度的参数“N”可不必被显式地发信号通知，而是可由遗漏点帧的分辨率导出(例如，该参数在遗漏点帧序列的参数集中被隐式地发信号通知)。
在一些实施方案中，可基于遗漏点的数量和给定的宽度来导出几何和纹理遗漏点帧的帧大小。例如，当遗漏点的数量为num_missed_points并且帧的宽度为width时，可以如下导出帧高度(height)：
在上式中，外部运算符
是用于遗漏点的数量除以宽度的上限运算符，该上限运算符导致最小整数值大于或等于遗漏点的数量除以宽度。例如，当将颜色差异(dR、dG、dB)分别放置在3个不同的平面(例如， R、G和B平面)上时，可应用该推导。
当遗漏点的数量为num_missed_points并且帧的宽度为宽度＝n×M时，其中n和M为正整数值时，可如下所示导出帧高度(height)，这也试图将高度保持为M的倍数：
例如，图13C示出了帧大小的示例，其中阴影块用值指示占用像素，并且在例示的示例中，宽度为8并且高度为2。又如，图13D示出了帧大小的示例，其中阴影块指示占用像素并且n＝2且M＝4，其中在例示的示例中，宽度为8并且高度为4。
在将3个不同的分量值(诸如，dX、dY、dZ)放置在单个平面(例如，Y平面)上的情况下，由这些值占用的像素总数将为3×num_missed_point。对于此类情况，帧高度(height)可如下导出：
例如，图13E示出了示例帧大小，其中每个阴影指示不同的残差值分量。在例示的示例中，宽度为8并且高度为5。
在另选的实施方案中，并且同样在将3个不同分量值(诸如，dX、 dY、dZ)放置在单个平面(例如，Y平面)上的情况下，每个分量可在一行的开始处开始，以方便推导并且还可避免不同分量之间的进一步污染。空区域可保留有零值或一些其他固定值，或者利用左侧、上方的值或左侧或上方的相邻值之间的共混来替换/填充。例如：
图13F示出了此类示例，其中每个阴影指示不同的分量。在图13F例示的示例中，宽度为8并且高度为6。还需注意，“白色”块可以是不包括残差值的填充块。
在一些实施方案中，当块大小R通过信令或预定义来定义时，每个分量可在块的开始处开始。例如，在将3个分量(诸如，dX、dY、dZ)放置在单个平面(诸如，Y平面)上的情况下，可通过应用如上关于图13D所述的方法来将帧高度(height)导出为M的倍数。
在一些实施方案中，当遗漏点包括仅限深遗漏点和3分量遗漏点时，可首先映射该仅限深遗漏点的集合，并且可在之后映射该3分量遗漏点的集合。在这种情况下，帧中占用的像素的总数将为 num_missed_points_1comp+3×num_missed_points_3comp。在这种情况下，高度可如下导出：
例如，图13G示出了帧的示例，其中梯度阴影块指示对应于仅限深点的像素，并且固定灰色块指示3分量遗漏点的不同分量。在该示例中，num_missed_points_1comp＝7，num_missed_points_3comp＝13。对于3分量遗漏点，按分量对3个分量进行分组。宽度为8，高度为6。
在一些实施方案中，当遗漏点包括仅限深遗漏点和3分量遗漏点时，每个遗漏点集合可在一行的开始处开始，以实现推导便利性和特性不连续性。在这种情况下，可将高度导出为每个子集的高度的总和。当仅限深遗漏点的数量为num_missed_points_1comp时，3分量遗漏点的数量等于 num_missed_points_3comp，并且帧宽度为width，并且高度可如下计算：
height＝height1+height2
例如，图13H示出了帧的示例，其中梯度阴影块指示对应于仅限深点的像素，并且其他固定值块指示3分量遗漏点的不同分量。在该示例中， num_missed_points_1comp＝7，num_missed_points_3comp＝13。
在一些实施方案中，可根据需要组合遗漏点集合(仅限深遗漏点、3 分量遗漏点)的次序、每个集合和每个分量t的开始位置(在先前占用的像素的一行或下一行的开始处)和高度规则性(M的倍数与否)。在这种情况下，可在适用的情况下使用任何上述方法来导出高度1和高度3。例如，首先可以放置仅限深遗漏点，并且导出的高度可以是M的倍数。然后3分量遗漏点将从新的一行的开始处开始。可以顺序地放置遗漏点的每个分量的集合。在这种情况下，帧高度可如下导出：
height＝height1+height3
例如，图13I示出了帧的示例，其中梯度阴影块指示对应于仅限深点的像素，并且剩余块指示3分量遗漏点的不同分量。在该示例中， num_missed_points_1comp＝22，num_missed_points_3comp＝13。
可使用各种扫描技术将残差值(dx(Q)、dy(Q)、dz(Q)、dR(Q)、 dG(Q)、dB(Q))和/或仅限深遗漏点Q的残差值放置在确定的帧大小的视频帧中。在扫描技术中，可根据扫描技术将第一残差值放置在第一像素位置中，并且可根据扫描技术将后续残差值放置在后续像素中，以此类推。
在一些实施方案中，可发信号通知预定义的扫描次序。例如，可使用光栅扫描、锯齿形扫描、z次序、遍历扫描，或这些扫描的垂直反转。用于几何残差帧和纹理残差帧的扫描次序可以不同。在一些实施方案中，可单独地发信号通知用于每个帧的扫描次序。例如，图13A示出了包括光栅扫描、锯齿形扫描、“Z”扫描和遍历扫描的示例扫描技术。
在一些实施方案中，扫描技术(在本文中也称为扫描次序)可基于以下中的一者或多者来确定：速率、失真、速率失真优化、存储器访问约束，并且/或可基于用户偏好。可以在帧级别或每一定数量的帧(例如， Nf)做出此类决定。数量Nf可以是固定的并且基于用户偏好或其他标准，或者也可以是基于例如系统、处理或功率要求自适应的。在一些实施方案中，可发信号通知用于每个帧或用于每组帧的扫描次序。在一些实施方案中，遗漏点在帧上的放置可考虑时间上的一致性。在此类实施方案中，同一扫描次序可用于时间上的不同顺序帧。
在一些实施方案中，当遗漏点(P)具有多于一个的分量(诸如，3分量遗漏点)时，可根据分量类型对这些分量进行交错或分组。例如，图 13B示出了(a)交错分量和(b)按分量类型分组的分量。例如，当将几何残差映射到单个平面上时，可顺序地映射一个遗漏点(dx(Q)、dy(Q)、dz(Q)) 的残差集合，如图13B(a)所示。并且又如，当将残差再次映射到单个平面上时，可根据轴映射遗漏点(dx(Q)、dy(Q)、dz(Q))的残差集合，例如，可首先映射所有dx(Q)，然后映射所有dy(Q)，再然后可映射所有dz(Q)，如图13B(b)所示。
在一些实施方案中，可使用在一些元数据信息中指定的或由系统预测的扫描次序来扫描映射到帧上的残差值。如果可能，可组合扫描次序和帧大小推导过程。在首先可以放置仅限深遗漏点并且该仅限深遗漏点的高度可以是M的倍数的示例中，3分量遗漏点在新的一行的开始处开始。可以顺序地放置遗漏点的每个分量的集合，可以用z扫描次序逐块扫描第一 num_missed_points_1comp残差。然后，可以使用用于每个 num_missed_points_3comp分量的光栅扫描次序来扫描最后的 3×num_missed_points_3comp。
例如，图13J示出了此类示例扫描次序。
在一些实施方案中，当逐块扫描这些值时，可以以降低的四叉树次序来扫描块，如图13K所示。
在一些实施方案中，当帧中的像素未填有值时，可将该像素设置为 0。另外，可以将该像素设置为预定义的值。另外，可以将该像素设置为与先前像素相同的值。另外，可以将该像素设置为相邻可用像素的平均值或加权平均值。
在一些实施方案中，可以在单独的视频流中发信号通知遗漏点几何残差(dx(Q)、dy(Q)、dz(Q))和遗漏点纹理残差(dR(Q)、dG(Q)、 dB(Q))。
在一些实施方案中，遗漏点几何残差(dx(Q)、dy(Q)、dz(Q))可分别映射至3个不同的颜色平面以构成单个视频序列。例如，可将dx(Q)映射至 Y平面，可将dy(Q)映射至U平面中的协同定位的位置，并且可将dz(Q)映射至V平面中的协同定位的位置。
在一些实施方案中，可将遗漏点几何残差(dx(Q)、dy(Q)、dz(Q))映射到相同的颜色平面上，例如，映射到Y平面上。
在一些实施方案中，当按每个轴映射遗漏点(dx(Q)、dy(Q)和dz(Q)，或dR(Q)、dG(Q)和dB(Q))的残差集合时，可根据其扫描次序从新行/列/块中保存每个轴的值。
在一些实施方案中，首先映射具有仅限深差异(dz(Q))的遗漏点几何残差。然后，映射所有其他残差。
在一些实施方案中，最后映射具有仅限深差异(dz(Q))的所有遗漏点几何残差。
在一些实施方案中，当映射具有仅限深差异(dz(Q))的遗漏点几何残差时，可以在视频帧中保存仅限深差异(dz(Q))。
在一些实施方案中，遗漏点纹理残差(dR(Q)、dG(Q)、dB(Q))可分别映射至3个不同的颜色平面以构成新视频序列。例如，可将dR(Q)映射至 Y平面，可将dG(Q)映射至U平面上的协同定位的位置，并且可将dB(Q)映射至V平面上的协同定位的位置。另选地，在一些实施方案中，可将遗漏点纹理残差(dR(Q)、dG(Q)、dB(Q))映射到相同的颜色平面上，例如，映射到Y平面上。
在一些实施方案中，可首先映射仅限深点的所有遗漏点纹理残差。
在一些实施方案中，可最后映射仅限深点的所有遗漏点纹理残差。
在一些实施方案中，为了实现无损压缩，编码器可被配置为使得占用图的精度为1×1，即，占用图中的每个像素对应于几何和属性图像中的一个点/像素。之后，视频编解码器可被配置为处于无损模式，并且可禁用如上所述的应用于重构点云的平滑步骤。另外，应当禁用i(Q)、j(Q)、dx(Q)、 dy(Q)、dz(Q)、dR(Q)、dG(Q)和dB(Q)的量化步骤以实现无损压缩。
点云属性传递算法
在一些实施方案中，可以使用点云传递算法来最小化原始点云与原始点云的重构版本之间的失真。传递算法可用于评估由于原始点云和重构点云的点位置略有不同而导致的失真。例如，重构点云可以具有与原始点云类似的形状，但是可以具有a.)不同的总点数和/或b.)与原始点云中的对应点相比略有偏移的点。在一些实施方案中，点云传递算法可以允许待被选择用于重构点云使得原始点云与原始点云的重构版本之间的失真最小化的属性值。例如，对于原始点云，点的位置和点的属性值两者都是已知的。然而，对于重构点云，位置值可能是已知的(例如，基于如上所述的子采样过程、K-D树过程或补片图像过程)。然而，仍然可能需要确定重构点云的属性值。因此，点云传递算法可用于通过选择使失真最小化的重构点云的属性值来最小化失真。
可关于选定的属性值来确定从原始点云到重构点云的失真。同样，可以关于选定的用于重构点云的属性值来确定从重构点云到原始点云的失真。在许多情况下，这些失真是不对称的。利用两个误差(E21)和 (E12)来初始化点云传递算法，其中E21是从第二或重构点云到原始或第一点云的误差，并且E12是从第一或原始点云到第二或重构点云的误差。对于第二点云中的每个点，确定是应当为该点分配原始点云中对应点的属性值，还是应当为该点分配与原始点云中对应点最近的邻居的平均属性值。属性值是基于最小误差来选择的。
下文是有关如何利用点云传递算法来最小化原始点云与重构点云之间的失真的更详细讨论。
属性传递问题可以如下定义：
a.假设PC1＝(P1(i))i∈{1,…,N1}是由其几何(即，3D位置) (X1(i))i∈{1,…,N1}和属性集合(例如，RGB颜色或反射率) (A(i))i∈{1,…,N1}定义的点云。假设PC2(P2(j))j∈{1,…,N2}是PC1的重采样版本，并且假设(X2(j))j∈{1,…,N2}是其几何。
b.然后计算与PC2的点相关联的(A2(j))j∈{1,…,N2}属性集合，使得纹理失真最小化。
为了使用属性传递算法解决纹理失真最小化问题：
·假设P2→1(j)∈PC1是P2(j)∈PC2在PC1中的最近邻居，并且 A2→1(j)是其属性值。
·假设P1→2(i)∈PC2是P1(i)∈PC1在PC2中的最近邻居，并且 A1→2(i)是其属性值。
·假设
是PC2的点集合，这些点共享点P1(i)∈PC1作为其最近邻居，并且(α(j,h))h∈{1,…,H(j)}是其属性值
·假设E2→1是从PC2到PC1计算的非对称误差：
■
·假设E1→2是从PC1到PC2计算的非对称误差：
·
·假设E是测量PC2与PC1之间的属性失真的对称误差：
■E＝max(E2→1,E1→2)
然后如下确定属性集合(A2(j))j∈{1,…,N2}：
a.初始化E1←0和E2←0
b.遍历PC2的所有点
1)对于每个点P2(j)，计算P2→1(j)∈PC1和
2)如果(E1>E2或
·A2(j)＝A2→1(j)
3)否则
·
4)结束条件
5)E1←E1+‖A2(j)-A2→1(j)‖2
6)
多级视频/图像编码
在许多应用程序中，需要压缩多级图像，其中级别数通常远低于编解码器可支持的级别数。还存在待编码的级别数可能超过编解码器支持的级别数的情况。例如，大多数编解码器基于8位或10位图像待编码的假定而构建，并且假定图像中通常可分别存在最多256或1024个级别。另一方面，常见的是遇到可能需要将较少级别进行编码的应用。示例应用包括二进制图压缩，其中每个像素可为0或1，以及索引图压缩，其中每个像素可为在[0,N-1]的范围内的索引值。16位深度信息在一些应用中也是必需的，并且需要使用常规编解码器来压缩。此类压缩可能需要是无损的，但是也存在在一定程度上可容许一些损失的情况。
在一些实施方案中，一种系统包括以下阶段
·代码字映射。将每个输入像素值映射到一个或多个M位代码字，例如，8位或10位代码字。
·预处理。该任选步骤可使图像更易于压缩。
·编码/解码。原则上，在此可使用任何图像/视频编解码器，包括 H.264/AVC或H.265/HEVC、AV1等。也可在这些编解码器中使用不同的配置文件和编码工具。
·后处理。使用映射函数将已解码图像转换回原始信号空间。可以将映射函数作为边信息(以压缩视频数据带内或带外的形式)发信号通知。
上述阶段将在下文更详细地描述。
代码字映射
N位数据到M位代码字的映射将取决于是否N<M。
如果N<M，则存在若干不同的选项：
a)通过乘以值2^(M-N-i)来缩放该数据(或等效地将数据移位(M- N-i)，其中0<＝i<＝(M-N))。显然，当i＝M-N时，不执行缩放。
b)通过乘以值(2^(M-i)-1)然后除以(2^(N)-1)来缩放该数据，同样地0<＝i<＝(M-N)。
c)通过乘以值X(其中(2^(N)-1)<X<＝(2^(M)-1))然后除以(2^(N) -1)来缩放该数据。
如果N>M，则通过如下处理子图像中的每个像素x，将原始X划分在较低位深度的若干子图像中：
O＝N-M
y_0＝(x+(1<<O))>>(O+1)
y_1＝x-(y_0<<(O+1))+(1<<O)
if(O>M){
P＝O-M
y_1＝(y_1+(1<<P))>>(P+1)
y_2＝x-(y_1<<(P+1))+(1<<P)
}
重复上述过程，直到所有样本N都已经分配给特定位深度的子图像。
重复上述过程，直到所有样本N都已经分配给特定位深度的子图像。需注意，在这种情况下执行上舍入，因此执行O+1移位的原因是确保 MSB中不会发生溢出。并非所有子图像都必需使用相同的位深度。例如，一些图像可以使用10的位深度而其他图像可使用8的位深度。此类次序可以加前缀/预先确定并且在编码器和/或解码器两者中是已知的，或者基于例如编码性能在编码器上确定并且发信号通知解码器。
例如，如果N＝16且M＝10，则
y_0＝(x+(1<<6))>>7＝(x+64)>>7
y_1＝x-(y_0<<7)+64
如果编解码器用于压缩y_0、y_1或任何后续子图像，则在生成这些子图片时可使用闭环转换。例如，在生成y_0之后，其可以被压缩，并且可以生成重构图像y_0_rec。然后，可以如下生成y_1：
y_1＝x-(y_0_rec<<(O+1))+(1<<O)
给定y_1、y_1_rec和任何后续子图像的重构，可以对y_2可完成相同的操作来代替早前的表达式。
预处理
可以采用空间平滑滤波器来平滑与代码字转换相关联的高频。平滑滤波器可以被设计为考虑不相等的误差代价。例如，如果1->0编码的误差高于0->1编码的误差，则在图13L所示的示例中，较暗的曲线优于较亮的曲线。
该滤波器可以是例如双线性或双立方体滤波器、余弦滤波器、高斯滤波器、lanczos滤波器等。
该预处理背后的想法是，在解码时，如果遇到高于规一化0.5值的值，则会将其解码为值1，而所有其他值将被解释为0。
应当指出的是，在图13L所示的示例中，较亮的曲线可防止与1或0 对应的值之间的歧义或泄漏到其逆值中。基本上，在这种情况下，可定义不允许由滤波器生成的值的范围以避免歧义。该范围不需要是对称的，并且可考虑相对于另一个端点朝向一个端点偏置。
在一些实施方案中，可使用时空滤波器来平滑时间维度中的高频，以使信号更易于压缩。该类别中的技术包括1)时间平滑滤波器和2)用于确保上述仅空间滤波器在时间维度上一致的“时间对准”步骤。预处理阶段可容易地扩展到多级图像。
后处理
使用映射函数将已解码图像转换回原始信号空间。映射函数可以是一对一映射，或者是基于上下文信息的映射。
一对一映射可类似于量化，使用非重叠间隔或量化边界将来自大集合的输入值映射到较小集合中的输出值。量化边界的集合可以是固定的，或者可以成为自适应的，并且作为边信息发信号通知解码器。
利用上下文信息，可以在某些情况下减少误差。基于空间或时空邻居的集合，可基于投票就当前像素做出联合决定。投票策略可包括多数投票、线性加权平均、非线性加权平均或基于先前投票结果的迭代细化。
颜色注意事项
如果使用4:2:0、4:2:2或4:4:4编解码器，则两个色度通道均可被设置为中性值(例如，对于8位为128)。然而，如果需要，也可使用任何其他值。还可使用单色编解码器。
在另选的实施方案中，可对色度中的亮度值执行复制或移动。如果使用有损编码方案，并且因为这可用作多重描述编码方案，则复制可能是有用的。在此类场景中，可通过查看在色度平面中发生的情况来校正全分辨率亮度中的误差。另一方面，对于4:4:4的编码，可通过制作4:4:0图像 (水平地或垂直地对原始图像进行子采样并且将一些样本放置在亮度分量中，将其他样本放置在色度分量中的一个中)并对其进行编码来将分辨率减小一半。复制其余颜色平面中的分量中的一个也是可能的，或者反而可以指定最后一个平面可包含其他两个平面之间的函数，诸如其他两个平面的差值、其他两个平面的XOR、它们的平均值等。例如，如果Y＝x(i, 2j)、Cb＝(x,2j+1)，则可以选择Cr＝(x,2j)、Cr＝(Y-Cb)+1或Cr＝ XOR(Y,Cb)。
编解码器注意事项
系统的端到端失真可被定义为输入与输出多级图像之间的距离。编码器的决定可感知到端到端失真，而不是常规视频编码器中通常使用的失真函数。这包括如QP、运动估计、模式决定、环路滤波器参数等内容。与此类编码过程中的预处理一样，可允许失真值重构为在最终处理之后将映射到相同多级值的另一个值。例如，如果对值0.6进行编码，则该值可被编码为任何>0.5的值，并且基本上导致与原始过程相同的重构(即，值1)。在执行编码决定和用于选择最佳预测器候选/编码模式时，这些过程(诸如运动估计和模式决定)可考虑此类映射。
在一些情况下，可允许样本发生一些失真。这是最初对应于级别l0的样本，允许将该样本改变为对应于级别l1或l2(如果这些级别可用)。在具体实施方案中，可允许特定层中任何数量的点发生改变，但是也可限制点的此类数量。按映射值，限制也可以是独立的。例如，对于二进制图像，我们可能希望以不同方式限制可允许改变为0的1的数量，并且允许将不同数量的许多0改变为1。也可以考虑我们希望编码的区域的形状和特性。此类信息也可在解码器处可用，但是也可被显式地发送到视频信号中。
无损注意事项
如果最终目标是在多级图像上提供无损编码，则可考虑附加的注意事项。实现无损的一种方法是找到每个块的最大Qp，这也可以在量化之后产生无损重构。最大QP的确定可基于对当前块的彻底搜索和编码评估，并且 /或者还可基于当前块的特性及其预测模式和/或预测后的残差信息。
对于双级图像，XOR运算符可用于使数据更稀疏。特别地，我们知道，当样本相同时，XOR运算符导致值为1，并且如果值不同，则为0。使用此属性，可以用XOR运算符水平地和/或垂直地处理占用图。具体地，对于图像中的每个像素，像素如下更新。
//水平处理
for(j＝0；j<height；j++){
b(j,0)＝a(j,0)
for(i＝0；i<width-1；i++){
b(j,i+1)＝xor(a(j,i),a(j,i+1))；
}
}
//垂直
for(i＝0；i<width；i++){
c(0,i)＝b(0,i)
for(j＝0；j<height-1；j++){
c(j+1,i)＝xor(b(j,i),b(j+1,i))；
}
}
解码可以类似的方式和通过倒回述转换来执行。例如，首先使用以下方法对垂直样本进行解码：
//垂直
for(i＝0；i<width；i++){
d(0,i)＝c(0,i)
for(j＝0；j<height-1；j++){
d(j+1,i)＝xor(dd(j,i),c(j+1,i))；
}
}
//水平处理
for(j＝0；j<height；j++){
e(j,0)＝d(j,0)
for(i＝0；i<width-1；i++){
e(j,i+1)＝xor(e(j,i),d(j,i+1))；
}
}
c＝b；
for j＝1:320
for i＝1:319
c(j,i+1)＝xor(c(j,i),b(j,i+1))；
end
end
使用点云编码器和解码器的示例应用
图14示出了根据一些实施方案的在3D远程显示应用中正在使用的压缩点云。
在一些实施方案中，传感器(诸如传感器102)、编码器(诸如编码器104或本文所述的任何其他编码器)和解码器(诸如解码器116或本文所述的任何解码器)可用于在3D远程显示应用中传送点云。例如，在 1402处，传感器(诸如传感器102)可捕获3D图像，并且在1404处，传感器或与传感器相关联的处理器可基于感测到的数据执行3D重构以生成点云。
在1406处，编码器(诸如编码器104)可对点云进行压缩，并且在 1408处，编码器或后处理器可将压缩点云打包并经由网络1410传输压缩点云。在1412处，可在包括解码器(诸如解码器116)的目标位置处接收数据包。在1414处，解码器可对点云进行解压缩，并且在1416处，可渲染解压缩点云。在一些实施方案中，3D远程显示应用可实时地传输点云数据，使得1416处的显示可表示正在1402处观察到的图像。例如，在1416 处，峡谷中的相机可允许远程用户体验穿行虚拟峡谷。
图15示出了根据一些实施方案的在虚拟现实(VR)或增强现实 (AR)应用中正在使用的压缩点云。
在一些实施方案中，点云可在软件中生成(例如，与由传感器捕获相反)。例如，在1502处，产生虚拟现实或增强现实内容。虚拟现实或增强现实内容可包括点云数据和非点云数据。例如，作为一个示例，非点云字符可横穿由点云表示的地形。在1504处，可以压缩点云数据，并且在1506 处，可以将压缩点云数据和非点云数据打包并经由网络1508传输这些数据。例如，在1502处产生的虚拟现实或增强现实内容可在远程服务器处产生并经由网络1508传送至VR或AR内容消费者。在1510处，数据包可在 VR或AR消费者的设备处被接收并同步。在1512处，在VR或AR消费者的设备处运作的解码器可对压缩点云进行解压缩，并且点云和非点云数据可例如在VR或AR消费者的设备的头戴式显示器中被实时渲染。在一些实施方案中，可响应于VR或AR消费者操纵头戴式显示器以看向不同的方向来生成、压缩、解压缩和渲染点云数据。
在一些实施方案中，如本文所述的点云压缩可用于各种其他应用诸如地理信息系统、体育赛事直播、博物馆展示、自主导航等中。
示例性计算机系统
图16示出了根据一些实施方案的示例计算机系统1600，该示例计算机系统可实现编码器或解码器或本文所述的部件中的任何其他部件(例如，上文参考图1至图15描述的部件中的任何部件)。计算机系统1600 可被配置为执行上文所述的任意或全部实施方案。在不同的实施方案中，计算机系统1600可为各种类型的设备中的任一者，包括但不限于：个人计算机系统、台式计算机、膝上型电脑、笔记本电脑、平板电脑、一体电脑、平板电脑或上网本电脑、大型计算机系统、手持式计算机、工作站、网络计算机、相机、机顶盒、移动设备、消费者设备、视频游戏控制器、手持式视频游戏设备、应用服务器、存储设备、电视、视频记录设备、外围设备(诸如交换机、调制解调器、路由器)、或一般性的任何类型的计算或电子设备。
本文所述的点云编码器或解码器的各种实施方案可在一个或多个计算机系统1600上执行，该计算机系统可与各种其他设备交互。需注意，根据各种实施方案，上文相对于图1至图15描述的任何部件、动作或功能性可以实现于被配置为图16的计算机系统1600的一个或多个计算机上。在例示的实施方案中，计算机系统1600包括经由输入/输出(I/O)接口1630耦接到系统存储器1620的一个或多个处理器1610。计算机系统1600还包括耦接到I/O接口1630的网络接口1640，以及一个或多个输入/输出设备 1650，诸如光标控制设备1660、键盘1670和一个或多个显示器1680。在一些情况下，可以想到实施方案可以利用计算机系统1600的单个实例来实现，而在其他实施方案中，多个此类系统或者构成计算机系统1600的多个节点可被配置为托管实施方案的不同部分或实例。例如，在一个实施方案中，一些元素可以经由计算机系统1600的与实现其他元素的那些节点不同的一个或多个节点来实现。
在各种实施方案中，计算机系统1600可以是包括一个处理器1610的单处理器系统、或者包括若干个处理器1610(例如两个、四个、八个或另一合适数量)的多处理器系统。处理器1610可以是能够执行指令的任何合适的处理器。例如，在各种实施方案中，处理器1610可以是实现多种指令集架构(ISA)(诸如x86、PowerPC、SPARC或MIPS ISA或任何其他合适的ISA)中的任一种的通用或嵌入式处理器。在多处理器系统中，处理器1610中的每一个处理器通常可以但并非必须实现相同的ISA。
系统存储器1620可被配置为存储点云压缩或点云解压缩程序指令 1622和/或可由处理器1610访问的传感器数据。在各种实施方案中，系统存储器1620可使用任何合适的存储器技术来实现，诸如静态随机存取存储器(SRAM)、同步动态RAM(SDRAM)、非易失性/闪存型存储器或任何其他类型的存储器。在例示的实施方案中，程序指令1622可被配置为实现结合上述功能性中的任一种的图像传感器控制应用程序。在一些实施方案中，程序指令和/或数据可被接收、发送或存储在与系统存储器1620或计算机系统1600分开的不同类型的计算机可访问介质上或类似介质上。尽管将计算机系统1600描述为实施前面各图的功能框的功能性，但可以经由此类计算机系统实施本文描述的任何功能性。
在一个实施方案中，I/O接口1630可被配置为协调设备中的处理器 1610、系统存储器1620和任何外围设备(包括网络接口1640或其他外围设备接口，诸如输入/输出设备1650)之间的I/O通信。在一些实施方案中，I/O接口1630可执行任何必要的协议、定时或其他数据转换以将来自一个部件(例如系统存储器1620)的数据信号转换为适于由另一部件(例如处理器1610)使用的格式。在一些实施方案中，I/O接口1630可包括对例如通过各种类型的外围设备总线(诸如，外围部件互连(PCI)总线标准或通用串行总线(USB)标准的变型)附接的设备的支持。在一些实施方案中， I/O接口1630的功能例如可被划分到两个或更多个单独部件中，诸如北桥接件和南桥接件。此外，在一些实施方案中，I/O接口1630(诸如到系统存储器1620的接口)的一些或所有功能性可以被直接并入到处理器1610 中。
网络接口1640可被配置为允许在计算机系统1600与附接到网络1685 的其他设备(例如，承载器或代理设备)之间或者在计算机系统1600的节点之间交换数据。在各种实施方案中，网络1685可包括一种或多种网络，包括但不限于局域网(LAN)(例如，以太网或企业网)、广域网 (WAN)(例如，互联网)、无线数据网、某种其他电子数据网络或它们的某种组合。在各种实施方案中，网络接口1640可支持经由有线或无线通用数据网络(诸如任何合适类型的以太网网络)的通信，例如；经由电信/ 电话网络(诸如模拟语音网络或数字光纤通信网络)的通信；经由存储区域网络(诸如光纤通道SANs)、或经由任何其他合适类型的网络和/或协议的通信。
在一些实施方案中，输入/输出设备1650可包括一个或多个显示终端、键盘、键区、触控板、扫描设备、语音或光学识别设备、或适于由一个或多个计算机系统1600输入或访问数据的任何其他设备。多个输入/输出设备1650可存在于计算机系统1600中，或者可分布在计算机系统1600的各个节点上。在一些实施方案中，类似的输入/输出设备可以与计算机系统 1600分开，并且可通过有线或无线连接(诸如通过网络接口1640)与计算机系统1600的一个或多个节点进行交互。
如图16所示，存储器1620可包含程序指令1622，该程序指令可能可由处理器执行，以实现上文所述的任何元素或动作。在一个实施方案中，程序指令可执行上文所述的方法。在其他实施方案中，可包括不同的元件和数据。需注意，数据可包括上文所述的任何数据或信息。
本领域的技术人员应当理解，计算机系统1600仅仅是例示性的，而并非旨在限制实施方案的范围。具体地，计算机系统和设备可包括可执行所指出的功能的硬件或软件的任何组合，包括计算机、网络设备、互联网设备、个人数字助理、无线电话、寻呼机等等。计算机系统1600还可连接到未示出的其他设备，或者反之可作为独立的系统进行操作。此外，由所示出的部件所提供的功能在一些实施方案中可被组合在更少的部件中或者被分布在附加部件中。类似地，在一些实施方案中，所示出的部件中的一些部件的功能可不被提供，和/或其他附加功能可能是可用的。
本领域的技术人员还将认识到，虽然各种项目被示出为在被使用期间被存储在存储器中或存储装置上，但是为了存储器管理和数据完整性的目的，这些项目或其部分可在存储器和其他存储设备之间进行传输。另选地，在其他实施方案中，这些软件元件中的一些或全部软件可在另一设备上的存储器中执行，并且经由计算机间通信来与所示出的计算机系统进行通信。系统部件或数据结构中的一些或全部也可(例如作为指令或结构化数据)被存储在计算机可访问介质或便携式制品上以由合适的驱动器读取，其多种示例在上文中被描述。在一些实施方案中，存储在与计算机系统1600分开的计算机可访问介质上的指令可经由传输介质或信号(诸如经由通信介质诸如网络和/或无线链路而传送的电信号、电磁信号或数字信号)传输到计算机系统1600。各种实施方案还可包括在计算机可访问介质上接收、发送或存储根据以上描述所实现的指令和/或数据。一般来讲，计算机可访问介质可包括非暂态计算机可读存储介质或存储器介质，诸如磁介质或光学介质，例如盘或DVD/CD-ROM、易失性或非易失性介质，诸如RAM(例如SDRAM、DDR、RDRAM、SRAM等)、ROM等。在一些实施方案中，计算机可访问介质可包括传输介质或信号，诸如经由通信介质诸如网络和/或无线链路而传送的电气信号、电磁信号、或数字信号。
在不同的实施方案中，本文所述的方法可以在软件、硬件或它们的组合中实现。此外，可改变方法的框的次序，并且可对各种要素进行添加、重新排序、组合、省略、修改等。对于受益于本公开的本领域的技术人员，显然可做出各种修改和改变。本文所述的各种实施方案旨在为例示的而非限制性的。许多变型、修改、添加和改进是可能的。因此，可为在本文中被描述为单个示例的部件提供多个示例。各种部件、操作和数据存储库之间的界限在一定程度上是任意性的，并且在具体的示例性配置的上下文中示出了特定操作。预期了功能的其他分配，它们可落在所附权利要求的范围内。最后，被呈现为示例性配置中的分立部件的结构和功能可被实现为组合的结构或部件。这些和其他变型、修改、添加和改进可落入如以下权利要求书中所限定的实施方案的范围内。
可以根据以下条款描述各种实施方案：
1.一种系统，包括：
一个或多个传感器，所述一个或多个传感器被配置为捕获构成点云的多个点，其中所述点中的相应一些点包括关于该点的空间信息和关于该点的属性信息；和
编码器，所述编码器被配置为压缩所述点云，其中为了压缩所述点云，所述编码器被配置为：
对于该点云，生成一个或多个补片图像；
将生成的所述一个或多个补片图像打包到一个或多个图像帧中；
用填充部来填充所述一个或多个图像帧中未被一个或多个补片图像覆盖的空间；
对所述一个或多个图像帧进行编码；以及
对指示所述一个或多个图像帧的对应于所述一个或多个图像帧的活动区域或非活动区域的区域的信息进行编码，其中由填充部覆盖的区域被指示为非活动区域。
2.根据条款1所述的系统，其中为了生成一个或多个补片图像，编码器被配置为：
将点云投影到圆柱体表面或球体表面上。
3.根据条款1所述的系统，其中为了生成一个或多个补片图像，编码器被配置为：
将点云的部分投影到三个或更多个平行平面上。
4.根据条款1所述的系统，其中编码器被进一步配置为：
对于点云的从特定视点不可见的点，对指示所述点是特定视点中的非活动点的信息进行编码。
5.根据条款4所述的系统，其中编码器被进一步配置为：
与预定用于对非活动区域进行编码或对非活动点进行编码的位相比，预定更多的位来对一个或多个图像帧的活动区域进行编码。
6.根据条款4所述的系统，其中编码器被进一步配置为：
根据高效视频编码(HEVC)标准对一个或多个图像帧进行编码。
7.根据条款6所述的系统，其中编码器被配置为将一个或多个图像帧编码为多个块，其中编码器被配置为对于图像帧的每个块：
确定该块是仅包括活动区域、仅包括非活动区域，还是包括活动区域和非活动区域的混合；以及
对于包括活动区域和非活动区域的混合的相应块：
将该块分成子块；以及
对于仅包括非活动区域的子块，将该子块排除在作为运动估计或模式决定的一部分执行的一个或多个失真计算之外。
8.根据条款7所述的系统，其中：
与分配给包括不与一个或多个非活动区域相邻的一个或多个活动区域的块或子块的失真加权因子相比，向与仅包括一个或多个非活动区域的块或子块相邻的块或子块分配不同的失真加权因子；或者
向包括关于两个或更多个不同投影的补片图像的块或子块分配不同于包括少于两个不同投影补片图像的块或子块的失真加权因子；以及
其中编码器被配置为至少部分地基于分配给块或子块的相应失真加权因子来向该块或子块分配不同的失真公差。
9.根据条款6所述的系统，其中编码器被配置为将一个或多个图像帧编码为多个块，其中编码器被配置为对于图像帧的每个块：
确定该块是仅包括活动区域、仅包括非活动区域，还是包括活动区域和非活动区域的混合；以及
对于包括活动区域和非活动区域的混合的相应块：
与为不包括活动区域和非活动区域的混合的其他块分配的质量参数相比，分配更高质量参数来用于对所述相应块进行编码。
10.根据条款9所述的系统，其中编码器被配置为：
至少部分地基于分配给块或子块的质量参数来调整用于对该块或子块进行编码的量化因子或拉格朗日乘数。
11.根据条款6所述的系统，其中编码器被配置为将一个或多个图像帧编码为多个块，其中编码器被配置为对于图像帧的每个块：
确定一个或多个补片图像中点云的深度；以及
与分配给对应于较浅补片图像或其部分的块的质量参数相比，分配更高质量参数来用于对对应于较深补片图像或其部分的块进行编码。
12.根据条款11所述的系统，其中编码器被配置为：
至少部分地基于分配给块或子块的质量参数来调整用于对该块或子块进行编码的量化因子或拉格朗日乘数。
12.根据条款6所述的系统，其中编码器被配置为：
至少部分地基于一个或多个图像帧的相应块是包括活动区域还是非活动区域或者是包括活动点还是非活动点来调整网格量化中使用的量化系数以对所述一个或多个图像帧进行编码。
13.根据条款6所述的系统，其中编码器被配置为：
至少部分地基于一个或多个图像帧的相应块是包括活动区域还是非活动区域或者是包括活动点还是非活动点来修改用于对所述一个或多个图像帧进行编码的样本自适应偏移决定。
14.一种解码器，该解码器被配置为：
接收一个或多个已编码图像帧，所述一个或多个已编码图像帧包括关于压缩点云的补片图像并且填充所述一个或多个图像中未被补片图像占用的部分；
对所述一个或多个已编码图像帧进行解码，其中与分配用于对所述一个或多个图像帧的补片图像部分进行解码的解码资源相比，分配更少解码资源来对所述一个或多个图像的填充部分进行解码；以及
至少部分地基于已解码补片图像来生成压缩点云的解压缩版本。
15.根据条款14所述的解码器，其中该解码器被进一步配置为：
接收指示该点云的从特定视点不可见的点的信息，
其中一个或多个图像的填充部分或不可见点由该解码器处理为所述一个或多个图像的非活动区域。
16.根据条款15所述的解码器，其中当执行去块效应、样本自适应偏移处理、自适应环路滤波或去振铃时，该解码器被配置为排除非活动区域。
17.根据条款15所述的解码器，其中当执行后滤波时，该解码器被配置为排除非活动区域。
18.根据条款15所述的解码器，其中当执行重叠块运动补偿时，该解码器被配置为排除非活动区域。
19.根据条款15所述的解码器，其中该解码器被配置为至少部分地基于为一个或多个图像的点确定的最终值是对应于所述一个或多个图像的活动区域还是非活动区域来调整该最终值的剪辑程度。
20.一种方法，包括：
接收一个或多个已编码图像帧，所述一个或多个已编码图像帧包括关于压缩点云的补片图像并且填充所述一个或多个图像中未被补片图像占用的部分；
对所述一个或多个已编码图像帧进行解码，其中与分配用于对所述一个或多个图像帧的补片图像部分进行解码的解码资源相比，分配更少解码资源来对所述一个或多个图像的填充部分进行解码；以及
至少部分地基于已解码补片图像来生成压缩点云的解压缩版本。
21.根据条款20所述的方法，还包括：
接收指示该点云的从特定视点不可见的点的信息，
其中一个或多个图像的填充部分或不可见点是所述一个或多个图像的非活动区域。
22.根据条款20所述的方法，还包括：
执行去块效应、样本自适应偏移处理、自适应环路滤波或去振铃，
其中当执行去块效应、样本自适应偏移处理、自适应环路滤波或去振铃时，非活动区域被排除在所述执行去块效应、样本自适应偏移处理、自适应环路滤波或去振铃之外。
23.根据条款20所述的方法，还包括：
在对一个或多个图像进行解码之后对所述一个或多个图像执行后滤波，
其中当执行所述后滤波时，排除非活动区域。
24.根据条款20所述的方法，还包括：
接收一个或多个附加已编码图像帧，所述一个或多个附加已编码图像帧包括关于压缩点云的补片图像并且填充所述一个或多个图像中未被补片图像占用的部分；以及
相对于先前接收的一个或多个图像来对所述一个或多个附加图像执行重叠块运动补偿；
其中当执行所述重叠块运动补偿时，排除非活动区域。
25.根据条款20所述的方法，还包括：
基于为一个或多个图像的点确定的最终值是对应于所述一个或多个图像的活动区域还是非活动区域来对该最终值进行剪辑。
26.一种系统，包括：
一个或多个传感器，所述一个或多个传感器被配置为捕获构成点云的多个点，其中所述点中的相应一些点包括关于该点的空间信息和关于该点的属性信息；和
编码器，所述编码器被配置为压缩所述点云，其中为了压缩所述点云，所述编码器被配置为：
对于该点云，确定多个补片，每个补片对应于该点云的部分，并且
对于每个补片：
生成补片图像，该补片图像包括对应于投影到补片平面上的补片的点集合；
生成补片图像，该补片图像包括关于该点云的一个或多个属性的颜色信息；以及
将补片图像从第一颜色空间转换到第二颜色空间；
将关于所确定的补片中的每个的生成的补片图像打包到一个或多个图像帧中；以及
对所述一个或多个图像帧进行编码，
其中编码器被配置为调整用于将补片图像从第一颜色空间转换到第二颜色空间的一个或多个参数以补偿由以下操作引起的失真：
所述生成补片图像以及将所生成的补片图像打包在一个或多个图像帧中；
所述对所述一个或多个图像帧进行编码；
所述对所述一个或多个图像帧进行解码；以及
基于所解码的一个或多个图像帧重构该点云。
27.一种系统，包括：
一个或多个传感器，所述一个或多个传感器被配置为捕获构成点云的多个点，其中所述点中的相应一些点包括关于该点的空间信息和关于该点的属性信息；和
编码器，所述编码器被配置为压缩所述点云，其中为了压缩所述点云，所述编码器被配置为：
将输入像素值映射到一个或多个M位代码字，其中M大于N。
28.一种系统，包括：
解码器，该解码器被配置为：
将M位代码字映射到N位数据，其中M大于N。
29.一种系统，包括：
编码器，所述编码器被配置为压缩点云，其中为了压缩所述点云，所述编码器被配置为：
对于该点云，确定多个补片，每个补片对应于该点云的部分，并且对于每个补片，生成补片图像；
将关于补片中的每个的所生成的补片图像打包到一个或多个图像帧中；
生成占用图，该占用图指示所述一个或多个图像帧中的补片图像的位置；
对占用图进行编码，其中对占用图进行编码包括：
将二进制值分配给每个图像帧的子块，其中向已满子块和非满子块分配不同的属性值；
选择用于对子块进行编码的遍历次序，使得具有相似二进制值的子块被相继遍历；以及
对遍历次序进行编码，其中已编码遍历次序向解码器指示所选择的遍历次序；以及
对所述一个或多个图像帧进行编码。
30.一种系统，包括：
一个或多个传感器，所述一个或多个传感器被配置为捕获构成点云的多个点，其中所述点中的相应一些点包括关于该点的空间信息和关于该点的属性信息；和
编码器，所述编码器被配置为压缩所述点云，其中为了压缩所述点云，所述编码器被配置为：
对于该点云，确定多个补片，每个补片对应于该点云的部分；
对于每个补片：
生成补片图像，该补片图像包括对应于投影到补片平面上的补片的点集合；以及
生成包括关于对应于该补片的点集合的深度信息的补片图像，以及包括关于该点云的深度与对应于该补片的点集合的深度不同的另一个点集合的深度信息的补片图像，其中深度信息表示点在垂直于补片平面的方向上的深度，
其中基于与点集合相关联的几何或属性信息来对其他点集合的至少一些几何信息或属性信息进行压缩；
将关于所确定的补片中的每个的生成的补片图像打包到一个或多个图像帧中；以及
对所述一个或多个图像帧进行编码。
31.一种系统，包括：
一个或多个传感器，所述一个或多个传感器被配置为捕获构成点云的多个点，其中所述点中的相应一些点包括关于该点的空间信息和关于该点的属性信息；和
编码器，所述编码器被配置为压缩所述点云，其中为了压缩所述点云，所述编码器被配置为：
对于该点云，确定多个补片，每个补片对应于该点云的部分；
对于每个补片，生成补片图像，该补片图像包括对应于投影到补片平面上的补片的点集合；
将关于所确定的补片中的每个的所生成的补片图像打包到一个或多个补片图像帧中；
生成包括关于所述一个或多个补片图像帧的占用图信息的图像帧，其中占用图信息指示该补片图像帧的一部分表示所述补片中的一个补片还是该补片图像帧的填充部分；以及对所述一个或多个图像帧进行编码。
32.一种方法，包括：
对于点云，确定多个补片，每个补片对应于该点云的部分；
对于每个补片，生成补片图像，该补片图像包括对应于投影到补片平面上的补片的点集合；
将关于所确定的补片中的每个的所生成的补片图像打包到一个或多个补片图像帧中；
生成包括关于所述一个或多个补片图像帧的占用图信息的图像帧，其中占用图信息指示该补片图像帧的一部分表示所述补片中的一个补片还是该补片图像帧的填充部分；以及
对所述一个或多个图像帧进行编码。
33.一种存储程序指令的非暂态计算机可读介质，当所述程序指令由一个或多个处理器执行时，使所述一个或多个处理器执行：
对于点云，确定多个补片，每个补片对应于该点云的部分；
对于每个补片，生成补片图像，该补片图像包括对应于投影到补片平面上的补片的点集合；
将关于所确定的补片中的每个的所生成的补片图像打包到一个或多个补片图像帧中；
生成包括关于所述一个或多个补片图像帧的占用图信息的图像帧，其中占用图信息指示该补片图像帧的一部分表示所述补片中的一个补片还是该补片图像帧的填充部分；以及
对所述一个或多个图像帧进行编码。
34.一种系统，包括：
一个或多个传感器，所述一个或多个传感器被配置为捕获构成点云的多个点，其中所述点中的相应一些点包括关于该点的空间信息和关于该点的属性信息；和
编码器，所述编码器被配置为压缩所述点云，其中为了压缩所述点云，所述编码器被配置为：
对于该点云，确定多个补片，每个补片对应于该点云的部分；
对于每个补片，生成补片图像，该补片图像包括对应于投影到补片平面上的补片的点集合；
将关于所确定的补片中的每个的所生成的补片图像打包到一个或多个补片图像帧中；
基于补片图像来生成该点云的重构版本；
确定包括在该点云中的从该点云的重构版本中遗漏的一个或多个点；以及
对一个或多个图像帧以及关于一个或多个遗漏点的空间信息或属性信息进行编码，其中对所述一个或多个遗漏点进行压缩而不确定关于所述一个或多个遗漏点的附加补片。
35.一种方法，包括：
对于点云，确定多个补片，每个补片对应于该点云的部分；
对于每个补片，生成补片图像，该补片图像包括对应于投影到补片平面上的补片的点集合；
将关于所确定的补片中的每个的所生成的补片图像打包到一个或多个补片图像帧中；
基于补片图像来生成该点云的重构版本；
确定包括在该点云中的从该点云的重构版本中遗漏的一个或多个点；以及
对一个或多个图像帧以及关于一个或多个遗漏点的空间信息或属性信息进行编码，其中对所述一个或多个遗漏点进行压缩而不确定关于所述一个或多个遗漏点的附加补片。
36.一种存储程序指令的非暂态计算机可读介质，当所述程序指令由一个或多个处理器执行时，使所述一个或多个处理器执行：
对于点云，确定多个补片，每个补片对应于该点云的部分；
对于每个补片，生成补片图像，该补片图像包括对应于投影到补片平面上的补片的点集合；
将关于所确定的补片中的每个的所生成的补片图像打包到一个或多个补片图像帧中；
基于补片图像来生成该点云的重构版本；
确定包括在该点云中的从该点云的重构版本中遗漏的一个或多个点；以及
对一个或多个图像帧以及关于一个或多个遗漏点的空间信息或属性信息进行编码，其中对所述一个或多个遗漏点进行压缩而不确定关于所述一个或多个遗漏点的附加补片。
37.一种系统，包括：
一个或多个传感器，所述一个或多个传感器被配置为捕获构成点云的多个点，其中所述点中的相应一些点包括关于该点的空间信息和关于该点的属性信息；和
编码器，所述编码器被配置为压缩所述点云，其中为了压缩所述点云，所述编码器被配置为：
对于该点云，确定多个补片，每个补片对应于该点云的部分，并且
将关于所确定的补片中的每个的生成的补片图像打包到一个或多个图像帧中；
对所述一个或多个图像帧进行缩减；以及
对所述一个或多个图像帧进行编码。
38.一种系统，包括：
解码器，该解码器被配置为解压缩点云，其中为了解压缩点云，该解码器被配置为：
对于该点云，确定包括在多个视频帧中的多个补片，其中所述补片中的相应一些补片对应于该点云的相应部分，并且其中基于关于所述一个或多个视频帧的占用图信息或辅助补片信息来确定多个补片，以及
以类似的方式对所述视频帧中的不同视频帧中的对应于该点云的相同部分的补片进行处理或滤波，其中占用图信息或辅助补片信息用于确定所述视频帧中的不同视频帧中的对应于该点云的相同部分的补片。
39.一种系统，包括：
一个或多个传感器，所述一个或多个传感器被配置为捕获构成点云的多个点，其中所述点中的相应一些点包括关于该点的空间信息和关于该点的属性信息；和
编码器，所述编码器被配置为压缩所述点云，其中为了压缩所述点云，所述编码器被配置为：
对于该点云，确定多个补片，每个补片对应于该点云的部分，并且
将关于所确定的补片中的每个的生成的补片图像打包到一个或多个图像帧中；以及
使用包括网络抽象层(NAL)单元的位流结构对所述一个或多个图像帧进行编码，其中不同的NAL单元指示不同的具体类型的信息，并且其中NAL单元不需要根据该位流中的预定义位置被放置在该位流中。
Claims (20)
1.一种系统，包括：
一个或多个传感器，所述一个或多个传感器被配置为捕获构成点云的多个点，其中所述点中的相应一些点包括关于所述点的空间信息和关于所述点的属性信息；和
编码器，所述编码器被配置为压缩所述点云，其中为了压缩所述点云，所述编码器被配置为：
对于所述点云，确定多个补片，每个补片对应于所述点云的部分，其中每个补片包括具有彼此偏离小于阈值量的表面法矢量的点；
对于每个补片：
生成补片图像，所述补片图像包括对应于投影到补片平面上的所述补片的点集合；以及
生成补片图像，所述补片图像包括关于对应于所述补片的所述点集合的深度信息，其中所述深度信息表示所述点在垂直于所述补片平面的方向上的深度；
将关于所确定的补片中的每个的生成的补片图像打包到一个或多个图像帧中；以及
对所述一个或多个图像帧进行编码。
2.根据权利要求1所述的系统，其中所述编码器被进一步配置为对于每个补片：
生成补片图像，所述补片图像包括关于对应于所述补片的所述点集合的一个或多个属性的属性信息；
其中所述将关于所确定的补片的生成的补片图像打包到一个或多个图像帧中包括将包括属性信息的所述补片图像打包。
3.根据权利要求1所述的系统，其中所述编码器被进一步配置为：
用填充图像填满所述一个或多个图像帧中未被补片图像占用的一个或多个空间。
4.根据权利要求3所述的系统，其中所述填充图像是至少部分地基于在所述补片图像的一个或多个边缘处的图像块来生成的，其中所述填充图像被选择为使得所述填充图像与所述图像块之间的方差小于阈值量。
5.根据权利要求1所述的系统，其中所述编码器被进一步配置为：
生成占用图，所述占用图指示所述一个或多个图像帧中的补片图像的位置；以及
对所述占用图进行编码。
6.根据权利要求1所述的系统，其中所述一个或多个传感器被进一步配置为在第一时间点之后的后续时间点捕获构成所述点云的多个点，其中所述点云的所述点中的至少一些点在所述第一时间点与所述后续时间点之间已移动，
其中所述编码器被进一步配置为：
确定所述至少一些点在所述第一时间点与所述后续时间点之间的矢量移动；
对于包括移动点的每个补片，生成补片图像，所述补片图像包括关于对应于所述补片的所述点集合的所述点中已移动的至少一些点的矢量移动信息，其中点在矢量分量方向上的移动由所述补片图像中所述点处的补片图像颜色的强度表示。
7.根据权利要求1所述的系统，其中所述一个或多个图像帧是根据高效视频编码(HEVC)标准来编码的。
8.一种解码器，所述解码器被配置为：
接收一个或多个已编码图像帧，所述一个或多个已编码图像帧包括关于压缩点云的多个补片的补片图像，其中对于每个补片，所述一个或多个已编码图像帧包括：包括投影到补片平面上的所述补片的点集合的补片图像和包括关于所述补片的所述点集合的深度信息的补片图像，其中所述深度信息指示所述补片的所述点在垂直于所述补片平面的方向上的深度；
对包括所述补片图像的所述一个或多个已编码图像帧进行解码；
对于每个补片，至少部分地基于包括投影到所述补片平面的所述补片的所述点集合的所述补片图像和包括关于所述补片的所述点集合的所述深度信息的所述补片图像来确定关于所述补片的所述点集合的空间信息；以及
至少部分地基于关于所述多个补片的所确定的空间信息来生成所述压缩点云的解压缩版本。
9.根据权利要求8所述的解码器，其中所述一个或多个图像帧是根据高效视频编码(HEVC)标准来解码的。
10.根据权利要求8所述的解码器，其中为了对于每个补片执行所述至少部分地基于包括投影到所述补片平面的所述补片的所述点集合的所述补片图像和包括关于所述补片的所述点集合的所述深度信息的所述补片图像来确定关于所述补片的所述点集合的空间信息，所述解码器被进一步配置为：
识别包括投影到所述补片平面上的所述补片的所述点集合的所述补片图像；
识别包括关于所述补片的所述点集合的所述深度信息的所述补片图像，其中所述深度信息被组织成使得关于所述补片的所述点集合的所述点中的相应一些点的相应一些深度信息位于所述深度补片图像中的位置处，所述位置对应于所述点中的所述相应一些点在包括投影到所述补片平面上的所述补片的所述点集合的所述补片图像中的位置；以及
将相应一些深度信息匹配到包括投影到所述补片平面上的所述补片的所述点集合的所述补片图像的相应点。
11.根据权利要求10所述的解码器，其中所述一个或多个已编码图像帧还包括补片图像，所述补片图像包括关于所述补片中的至少一个补片的属性信息，
其中所述解码器被进一步配置为：
识别包括属性信息的所述补片图像；以及
将包括在所述补片图像中的属性信息分配给所述至少一个补片的所述点集合中的所述点中的相应一些点，
其中包括在所述补片图像中的所述属性信息被组织成使得关于所述至少一个补片的所述点集合的所述点中的相应一些点的相应一些属性信息位于所述补片图像中的位置处，所述位置对应于所述补片的所述点集合的所述点中的所述相应一些点当包括在包括投影到所述补片平面上的所述补片的所述点集合的所述补片图像中时的位置。
12.根据权利要求11所述的解码器，其中所述编码器被进一步配置为：
接收占用图，所述占用图指示所述一个或多个已编码图像帧中的相应补片图像的位置；以及
利用所接收的占用图来识别所述一个或多个已编码图像帧中的所述相应补片图像。
13.根据权利要求12所述的解码器，其中所述占用图还指示所述一个或多个已编码图像帧的不包括关于补片图像的数据的部分，其中所述解码器被进一步配置为：
与预定用于解码所述一个或多个已编码图像帧的包括关于补片图像的数据的其他部分的解码资源的量相比，预定更少解码资源来解码所述一个或多个已编码图像帧的不包括关于补片图像的数据的部分。
14.根据权利要求13所述的解码器，其中由所述解码器接收的所述已编码的一个或多个图像帧被编码为多个块；
其中所述解码器被配置为对于图像帧的每个块：
基于所述占用图，确定所述块是仅包括关于补片图像的数据、仅包括非补片图像数据、还是包括关于补片图像的数据和非补片图像数据的混合；以及
对于仅包括非补片图像数据的块，预定较低级别的解码资源；
对于仅包括补片图像数据的块，预定高级别的解码资源；以及
对于包括关于补片图像的数据和非补片图像数据的混合的块，将所述块划分为子块，其中与包括关于补片图像的数据的子块相比，为包括非补片图像数据的子块预定更少解码资源。
15.一种解码压缩点云的方法，包括：
接收一个或多个已编码图像帧，所述一个或多个已编码图像帧包括关于压缩点云的多个补片的补片图像，其中对于每个补片，所述一个或多个已编码图像帧包括：包括投影到补片平面上的所述补片的点集合的补片图像和包括关于所述补片的所述点集合的深度信息的补片图像，其中所述深度信息指示所述补片的所述点在垂直于所述补片平面的方向上的深度；
对包括所述补片图像的所述一个或多个已编码图像帧进行解码；
对于每个补片，至少部分地基于包括投影到所述补片平面的所述补片的所述点集合的所述补片图像和包括关于所述补片的所述点集合的所述深度信息的所述补片图像来确定关于所述补片的所述点集合的空间信息；以及
至少部分地基于关于所述多个补片的所确定的空间信息来生成所述压缩点云的解压缩版本。
16.根据权利要求15所述的方法，其中对于每个补片，所述至少部分地基于包括投影到所述补片平面的所述补片的所述点集合的所述补片图像和包括关于所述补片的所述点集合的所述深度信息的所述补片图像来确定关于所述补片的所述点集合的空间信息包括：
识别包括投影到所述补片平面上的所述补片的所述点集合的所述补片图像；
识别包括关于所述补片的所述点集合的所述深度信息的所述补片图像，其中所述深度信息被组织成使得关于所述补片的所述点集合的所述点中的相应一些点的相应一些深度信息位于所述深度补片图像中的位置处，所述位置对应于所述点中的所述相应一些点在包括投影到所述补片平面上的所述补片的所述点集合的所述补片图像中的位置；以及
将相应一些深度信息匹配到包括投影到所述补片平面上的所述补片的所述点集合的所述补片图像的相应点。
17.根据权利要求16所述的方法，还包括：
接收关于所述压缩点云的所述补片中的至少一个补片的一个或多个附加已编码图像帧，其中对于至少一个补片，所述一个或多个已编码图像帧包括：
包括关于所述点集合的矢量运动信息的补片图像，其中所述矢量运动信息相对于所述点集合当在先前接收的所述一个或多个图像帧中被编码时的所述位置有关；
对包括关于所述至少一个补片的所述矢量运动补片图像的所述一个或多个附加已编码图像帧进行解码；
对于所述至少一个补片，至少部分地基于所述矢量运动信息来确定关于所述至少一个补片的所述点集合的更新的空间信息；以及
至少部分地基于所述更新的空间信息来生成所述压缩点云的更新的解压缩版本。
18.根据权利要求17所述的方法，其中所述矢量运动信息被组织成使得关于所述补片的所述点集合的所述点中的相应一些点的相应一些矢量运动信息位于所述矢量运动补片图像中对应于所述点中的所述相应一些点在所述矢量运动之前的位置的位置处，并且
其中所述相应一些矢量信息包括使用第一颜色的变化强度编码的沿第一方向的改变、使用第二颜色的变化强度编码的沿第二方向的改变、以及使用第三颜色的变化强度编码的沿第三方向的改变。
19.根据权利要求15所述的方法，其中所述一个或多个已编码图像帧还包括补片图像，所述补片图像包括关于所述补片中的至少一个补片的属性信息，所述方法还包括：
识别包括属性信息的所述补片图像；以及
将包括在所述补片图像中的属性信息分配给所述至少一个补片的所述点集合中的所述点中的相应一些点。
20.根据权利要求19所述的方法，还包括：
接收占用图，所述占用图指示所述一个或多个已编码图像帧中的相应补片图像的位置；以及
利用所接收的占用图来识别所述一个或多个已编码图像帧中的所述相应补片图像。
Applications Claiming Priority (29)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762560165P | 2017-09-18 | 2017-09-18 | |
| US201762560163P | 2017-09-18 | 2017-09-18 | |
| US62/560,165 | 2017-09-18 | ||
| US62/560,163 | 2017-09-18 | ||
| US201762569603P | 2017-10-08 | 2017-10-08 | |
| US201762569604P | 2017-10-08 | 2017-10-08 | |
| US62/569,604 | 2017-10-08 | ||
| US62/569,603 | 2017-10-08 | ||
| US201762590206P | 2017-11-22 | 2017-11-22 | |
| US201762590195P | 2017-11-22 | 2017-11-22 | |
| US201762590191P | 2017-11-22 | 2017-11-22 | |
| US62/590,195 | 2017-11-22 | ||
| US62/590,191 | 2017-11-22 | ||
| US62/590,206 | 2017-11-22 | ||
| US201862655763P | 2018-04-10 | 2018-04-10 | |
| US62/655,763 | 2018-04-10 | ||
| US201862691572P | 2018-06-28 | 2018-06-28 | |
| US62/691,572 | 2018-06-28 | ||
| US201862693376P | 2018-07-02 | 2018-07-02 | |
| US201862693379P | 2018-07-02 | 2018-07-02 | |
| US62/693,379 | 2018-07-02 | ||
| US62/693,376 | 2018-07-02 | ||
| US201862694124P | 2018-07-05 | 2018-07-05 | |
| US62/694,124 | 2018-07-05 | ||
| US201862697369P | 2018-07-12 | 2018-07-12 | |
| US62/697,369 | 2018-07-12 | ||
| US16/132,230 US10909725B2 (en) | 2017-09-18 | 2018-09-14 | Point cloud compression |
| US16/132,230 | 2018-09-14 | ||
| PCT/US2018/051448 WO2019055963A1 (en) | 2017-09-18 | 2018-09-18 | COMPRESSION OF CLOUD OF POINTS |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111133476A true CN111133476A (zh) | 2020-05-08 |
| CN111133476B CN111133476B (zh) | 2023-11-10 |
Family
ID=65719324
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880060357.5A Active CN111133476B (zh) | 2017-09-18 | 2018-09-18 | 包括多个点的点云的压缩和解压缩的系统、设备和方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (3) | US10909725B2 (zh) |
| KR (2) | KR102398408B1 (zh) |
| CN (1) | CN111133476B (zh) |
| DE (1) | DE112018005250T5 (zh) |
| WO (1) | WO2019055963A1 (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112184840A (zh) * | 2020-09-22 | 2021-01-05 | 上海交通大学 | 基于多尺度结构化字典学习的3d点云压缩系统 |
| CN112634457A (zh) * | 2021-01-06 | 2021-04-09 | 广西科技大学 | 基于豪斯多夫距离和平均投影距离局部熵的点云精简方法 |
| CN113557745A (zh) * | 2019-03-19 | 2021-10-26 | 索尼集团公司 | 点云几何结构填充 |
| CN113766228A (zh) * | 2020-06-05 | 2021-12-07 | Oppo广东移动通信有限公司 | 点云压缩方法、编码器、解码器及存储介质 |
| WO2022062860A1 (zh) * | 2020-09-25 | 2022-03-31 | 腾讯科技（深圳）有限公司 | 一种点云媒体的数据处理方法、装置、设备及存储介质 |
| CN114785998A (zh) * | 2022-06-20 | 2022-07-22 | 北京大学深圳研究生院 | 一种点云的压缩方法、装置、电子设备及存储介质 |
| TWI782806B (zh) * | 2021-12-02 | 2022-11-01 | 財團法人國家實驗研究院 | 點雲算圖方法 |
Families Citing this family (191)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017040905A1 (en) * | 2015-09-03 | 2017-03-09 | Stc.Unm | Accelerated precomputation of reduced deformable models |
| US11514613B2 (en) * | 2017-03-16 | 2022-11-29 | Samsung Electronics Co., Ltd. | Point cloud and mesh compression using image/video codecs |
| WO2019013430A1 (en) * | 2017-07-10 | 2019-01-17 | Samsung Electronics Co., Ltd. | COMPRESSION OF MAILLAGES AND POINT CLOUDS USING IMAGE / VIDEO CODECS |
| EP3432581A1 (en) | 2017-07-21 | 2019-01-23 | Thomson Licensing | Methods, devices and stream for encoding and decoding volumetric video |
| US11818401B2 (en) | 2017-09-14 | 2023-11-14 | Apple Inc. | Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables |
| US10897269B2 (en) | 2017-09-14 | 2021-01-19 | Apple Inc. | Hierarchical point cloud compression |
| US10861196B2 (en) | 2017-09-14 | 2020-12-08 | Apple Inc. | Point cloud compression |
| US10909725B2 (en) * | 2017-09-18 | 2021-02-02 | Apple Inc. | Point cloud compression |
| US11113845B2 (en) * | 2017-09-18 | 2021-09-07 | Apple Inc. | Point cloud compression using non-cubic projections and masks |
| US10424083B2 (en) * | 2017-10-21 | 2019-09-24 | Samsung Electronics Co., Ltd. | Point cloud compression using hybrid transforms |
| US10607373B2 (en) | 2017-11-22 | 2020-03-31 | Apple Inc. | Point cloud compression with closed-loop color conversion |
| US10789733B2 (en) | 2017-11-22 | 2020-09-29 | Apple Inc. | Point cloud compression with multi-layer projection |
| US10699444B2 (en) | 2017-11-22 | 2020-06-30 | Apple Inc | Point cloud occupancy map compression |
| US10783668B2 (en) * | 2017-12-22 | 2020-09-22 | Samsung Electronics Co., Ltd. | Handling duplicate points in point cloud compression |
| WO2019142667A1 (ja) * | 2018-01-17 | 2019-07-25 | ソニー株式会社 | 画像処理装置および方法 |
| EP3515068A1 (en) * | 2018-01-19 | 2019-07-24 | Thomson Licensing | A method and apparatus for encoding and decoding three-dimensional scenes in and from a data stream |
| WO2019185983A1 (en) * | 2018-03-28 | 2019-10-03 | Nokia Technologies Oy | A method, an apparatus and a computer program product for encoding and decoding digital volumetric video |
| US10909727B2 (en) | 2018-04-10 | 2021-02-02 | Apple Inc. | Hierarchical point cloud compression with smoothing |
| US10939129B2 (en) | 2018-04-10 | 2021-03-02 | Apple Inc. | Point cloud compression |
| US11010928B2 (en) | 2018-04-10 | 2021-05-18 | Apple Inc. | Adaptive distance based point cloud compression |
| US10909726B2 (en) | 2018-04-10 | 2021-02-02 | Apple Inc. | Point cloud compression |
| CN112204985B (zh) * | 2018-04-11 | 2023-03-10 | 索尼公司 | 图像处理设备和方法 |
| WO2019199726A1 (en) * | 2018-04-11 | 2019-10-17 | Interdigital Vc Holdings, Inc. | A method for encoding depth values of a set of 3d points once orthogonally projected into at least one image region of a projection plane |
| JPWO2019198521A1 (ja) * | 2018-04-11 | 2021-05-13 | ソニーグループ株式会社 | 画像処理装置および方法 |
| JPWO2019198523A1 (ja) * | 2018-04-11 | 2021-05-13 | ソニーグループ株式会社 | 画像処理装置および方法 |
| EP3554082A1 (en) * | 2018-04-11 | 2019-10-16 | InterDigital VC Holdings, Inc. | A method and device for coding the geometry of a point cloud |
| CN108833927B (zh) * | 2018-05-03 | 2019-08-16 | 北京大学深圳研究生院 | 一种基于删除量化矩阵中0元素的点云属性压缩方法 |
| US10848768B2 (en) * | 2018-06-08 | 2020-11-24 | Sony Interactive Entertainment Inc. | Fast region of interest coding using multi-segment resampling |
| KR20210022100A (ko) * | 2018-06-26 | 2021-03-02 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 포인트 클라우드 코딩을 위한 고급 신택스 설계 |
| US11017566B1 (en) | 2018-07-02 | 2021-05-25 | Apple Inc. | Point cloud compression with adaptive filtering |
| US20200013235A1 (en) * | 2018-07-03 | 2020-01-09 | Industrial Technology Research Institute | Method and apparatus for processing patches of point cloud |
| US11202098B2 (en) | 2018-07-05 | 2021-12-14 | Apple Inc. | Point cloud compression with multi-resolution video encoding |
| EP3595179B1 (en) * | 2018-07-10 | 2023-07-05 | BlackBerry Limited | Methods and devices for lossy coding of point cloud occupancy |
| US10904564B2 (en) * | 2018-07-10 | 2021-01-26 | Tencent America LLC | Method and apparatus for video coding |
| US11348283B2 (en) * | 2018-07-10 | 2022-05-31 | Samsung Electronics Co., Ltd. | Point cloud compression via color smoothing of point cloud prior to texture video generation |
| JP7327399B2 (ja) * | 2018-07-11 | 2023-08-16 | ソニーグループ株式会社 | 画像処理装置および方法 |
| EP3821400A1 (en) * | 2018-07-11 | 2021-05-19 | InterDigital VC Holdings, Inc. | Method for encoding/decoding texture of points of a point cloud |
| MX2021000274A (es) * | 2018-07-11 | 2021-03-31 | Interdigital Vc Holdings Inc | Un metodo y dispositivo para codificacion/decodificacion de la geometria de una nube de puntos. |
| US11741575B2 (en) * | 2018-07-11 | 2023-08-29 | Sony Corporation | Image processing apparatus and image processing method |
| US11012713B2 (en) | 2018-07-12 | 2021-05-18 | Apple Inc. | Bit stream structure for compressed point cloud data |
| WO2020016136A1 (en) * | 2018-07-18 | 2020-01-23 | Telefonaktiebolaget Lm Ericsson (Publ) | Video-based coding of point cloud occcupancy map |
| JP2021182650A (ja) * | 2018-07-20 | 2021-11-25 | ソニーグループ株式会社 | 画像処理装置および方法 |
| CN112514396A (zh) | 2018-08-02 | 2021-03-16 | 索尼公司 | 图像处理设备和图像处理方法 |
| KR102608572B1 (ko) * | 2018-09-14 | 2023-12-04 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 포인트 클라우드 코딩에서의 개선된 속성 지원 |
| US10650554B2 (en) * | 2018-09-27 | 2020-05-12 | Sony Corporation | Packing strategy signaling |
| US11386524B2 (en) | 2018-09-28 | 2022-07-12 | Apple Inc. | Point cloud compression image padding |
| JP2022003716A (ja) | 2018-10-01 | 2022-01-11 | ソニーグループ株式会社 | 画像処理装置および方法 |
| EP3850832A4 (en) * | 2018-10-02 | 2021-11-10 | Huawei Technologies Co., Ltd. | MOTION ESTIMATION USING 3D AUXILIARY DATA |
| US11367224B2 (en) | 2018-10-02 | 2022-06-21 | Apple Inc. | Occupancy map block-to-patch information compression |
| KR20210069647A (ko) * | 2018-10-05 | 2021-06-11 | 인터디지털 브이씨 홀딩스 인코포레이티드 | 3d 포인트들을 인코딩/재구성하기 위한 방법 및 디바이스 |
| US11430155B2 (en) | 2018-10-05 | 2022-08-30 | Apple Inc. | Quantized depths for projection point cloud compression |
| CN110163863B (zh) | 2018-11-06 | 2022-11-04 | 腾讯科技（深圳）有限公司 | 三维物体分割方法、设备和介质 |
| CN109448373A (zh) * | 2018-11-09 | 2019-03-08 | 百度在线网络技术（北京）有限公司 | 用于生成信息的方法和装置 |
| WO2020100866A1 (ja) * | 2018-11-13 | 2020-05-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 |
| US20220028119A1 (en) * | 2018-12-13 | 2022-01-27 | Samsung Electronics Co., Ltd. | Method, device, and computer-readable recording medium for compressing 3d mesh content |
| US11095900B2 (en) * | 2018-12-19 | 2021-08-17 | Sony Group Corporation | Point cloud coding structure |
| JP2022036353A (ja) * | 2018-12-28 | 2022-03-08 | ソニーグループ株式会社 | 画像処理装置および方法 |
| WO2020145117A1 (ja) * | 2019-01-07 | 2020-07-16 | ソニー株式会社 | 画像処理装置および方法 |
| US11348284B2 (en) | 2019-01-08 | 2022-05-31 | Apple Inc. | Auxiliary information signaling and reference management for projection-based point cloud compression |
| US11412200B2 (en) * | 2019-01-08 | 2022-08-09 | Samsung Electronics Co., Ltd. | Method of processing and transmitting three-dimensional content |
| US11250594B2 (en) * | 2019-01-09 | 2022-02-15 | Tencent America LLC | Method and apparatus for geometry smoothing by local geometry projection |
| US11373338B2 (en) * | 2019-01-09 | 2022-06-28 | Samsung Electronics Co., Ltd. | Image padding in video-based point-cloud compression CODEC |
| US11127166B2 (en) | 2019-03-01 | 2021-09-21 | Tencent America LLC | Method and apparatus for enhanced patch boundary identification for point cloud compression |
| US11423582B2 (en) * | 2019-03-01 | 2022-08-23 | Tencent America LLC | Method and apparatus for point cloud compression |
| US11393132B2 (en) * | 2019-03-07 | 2022-07-19 | Samsung Electronics Co., Ltd. | Mesh compression |
| WO2020184443A1 (ja) * | 2019-03-08 | 2020-09-17 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 |
| WO2020186060A1 (en) * | 2019-03-12 | 2020-09-17 | Futurewei Technologies, Inc. | Patch data unit coding and decoding for point-cloud data |
| US11823421B2 (en) * | 2019-03-14 | 2023-11-21 | Nokia Technologies Oy | Signalling of metadata for volumetric video |
| US20220130075A1 (en) * | 2019-03-15 | 2022-04-28 | Lg Electronics Inc. | Device and method for processing point cloud data |
| US11107249B2 (en) * | 2019-03-18 | 2021-08-31 | Sony Group Corporation | Point cloud global tetris packing |
| EP3712854A1 (en) * | 2019-03-19 | 2020-09-23 | Nokia Technologies Oy | Method and apparatus for storage and signaling of static point cloud data |
| EP3942828A1 (en) * | 2019-03-22 | 2022-01-26 | Interdigital VC Holdings France | Processing a point cloud |
| US20220159310A1 (en) * | 2019-03-22 | 2022-05-19 | Lg Electronics Inc. | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method |
| WO2020197086A1 (ko) * | 2019-03-25 | 2020-10-01 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| US11475604B2 (en) * | 2019-03-26 | 2022-10-18 | Tencent America LLC | Method and apparatus for adaptive point cloud attribute coding |
| US11057564B2 (en) | 2019-03-28 | 2021-07-06 | Apple Inc. | Multiple layer flexure for supporting a moving image sensor |
| CN111866484B (zh) * | 2019-04-30 | 2023-06-20 | 华为技术有限公司 | 点云编码方法、点云解码方法、装置及存储介质 |
| US11604284B2 (en) * | 2019-05-06 | 2023-03-14 | Waymo Llc | Methods and systems to determine a strategy for a drop process associated with a light detection and ranging (LIDAR) device |
| CN111901601B (zh) * | 2019-05-06 | 2023-03-31 | 上海交通大学 | 动态点云数据传输中的不等差错保护的码率分配方法 |
| US11210812B2 (en) * | 2019-05-15 | 2021-12-28 | Samsung Electronics Co., Ltd. | Single-pass boundary detection in video-based point cloud compression |
| WO2020235979A1 (ko) | 2019-05-23 | 2020-11-26 | 삼성전자 주식회사 | 포인트 클라우드 기반 데이터를 렌더링하는 방법 및 장치 |
| US11113866B2 (en) * | 2019-05-30 | 2021-09-07 | Tencent America LLC | Method and apparatus for point cloud compression |
| US11210813B2 (en) * | 2019-05-30 | 2021-12-28 | Tencent America LLC | Method and apparatus for point cloud compression |
| WO2020240032A1 (en) * | 2019-05-31 | 2020-12-03 | Volkswagen Aktiengesellschaft | System, method, and components utilizing live point cloud compression |
| WO2020246689A1 (ko) * | 2019-06-05 | 2020-12-10 | 엘지전자 주식회사 | 포인트 클라우드 데이터 전송 장치, 포인트 클라우드 데이터 전송 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| WO2020251158A1 (ko) * | 2019-06-12 | 2020-12-17 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| US11108406B2 (en) * | 2019-06-19 | 2021-08-31 | Intel Corporation | System, apparatus and method for dynamic priority-aware compression for interconnect fabrics |
| CN114073092A (zh) * | 2019-06-28 | 2022-02-18 | Lg电子株式会社 | 用于处理点云数据的设备和方法 |
| WO2021000241A1 (zh) * | 2019-07-01 | 2021-01-07 | Oppo广东移动通信有限公司 | 点云模型重建方法、编码器、解码器、及存储介质 |
| US11711544B2 (en) | 2019-07-02 | 2023-07-25 | Apple Inc. | Point cloud compression with supplemental information messages |
| CN112188199A (zh) | 2019-07-03 | 2021-01-05 | 腾讯美国有限责任公司 | 自适应点云属性编码的方法、装置、电子设备和存储介质 |
| CN114097229A (zh) * | 2019-07-03 | 2022-02-25 | Lg 电子株式会社 | 点云数据发送设备、点云数据发送方法、点云数据接收设备和点云数据接收方法 |
| US11140395B2 (en) * | 2019-07-03 | 2021-10-05 | Tencent America LLC | Method and apparatus for adaptive point cloud attribute coding |
| US11122102B2 (en) * | 2019-07-03 | 2021-09-14 | Lg Electronics Inc. | Point cloud data transmission apparatus, point cloud data transmission method, point cloud data reception apparatus and point cloud data reception method |
| WO2021002657A1 (ko) * | 2019-07-04 | 2021-01-07 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| WO2021002633A2 (ko) * | 2019-07-04 | 2021-01-07 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| CN110278444B (zh) * | 2019-07-17 | 2022-11-01 | 华侨大学 | 一种采用几何引导的稀疏表示三维点云压缩方法 |
| EP4007284A4 (en) * | 2019-08-02 | 2023-05-24 | LG Electronics Inc. | DEVICE AND METHOD FOR PROCESSING POINT CLOUD DATA |
| WO2021025546A1 (ko) * | 2019-08-08 | 2021-02-11 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| WO2021029511A1 (ko) * | 2019-08-09 | 2021-02-18 | 엘지전자 주식회사 | 포인트 클라우드 데이터 전송 장치, 포인트 클라우드 데이터 전송 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| WO2021029575A1 (ko) * | 2019-08-14 | 2021-02-18 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| EP4002277A4 (en) * | 2019-08-14 | 2023-02-22 | LG Electronics Inc. | POINT CLOUD DATA TRANSMITTING DEVICE, POINT CLOUD DATA TRANSMITTING METHOD, POINT CLOUD DATA RECEIVING DEVICE AND POINT CLOUD DATA RECEIVING METHOD |
| KR102423498B1 (ko) * | 2019-08-14 | 2022-07-22 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| US20220351484A1 (en) * | 2019-08-14 | 2022-11-03 | Sony Group Corporation | Information processing device, information processing method, and information processing program |
| WO2021043136A1 (zh) * | 2019-09-03 | 2021-03-11 | 上海交通大学 | 点云投影传输方法、接收处理方法及系统 |
| WO2021045536A1 (en) * | 2019-09-04 | 2021-03-11 | Wilus Institute Of Standards And Technology Inc. | Video encoding and decoding acceleration utilizing imu sensor data for cloud virtual reality |
| WO2021045601A1 (ko) * | 2019-09-05 | 2021-03-11 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| WO2021045603A1 (ko) * | 2019-09-06 | 2021-03-11 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| CN114342402A (zh) * | 2019-09-11 | 2022-04-12 | 索尼集团公司 | 信息处理装置、信息处理方法、再现处理装置和再现处理方法 |
| EP3792808A1 (en) * | 2019-09-13 | 2021-03-17 | Bricsys NV | Regular grid recognition in a cad model |
| WO2021060850A1 (ko) * | 2019-09-24 | 2021-04-01 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| US11202078B2 (en) | 2019-09-27 | 2021-12-14 | Apple Inc. | Dynamic point cloud compression using inter-prediction |
| US11562507B2 (en) | 2019-09-27 | 2023-01-24 | Apple Inc. | Point cloud compression using video encoding with time consistent patches |
| US11627314B2 (en) | 2019-09-27 | 2023-04-11 | Apple Inc. | Video-based point cloud compression with non-normative smoothing |
| US11315289B2 (en) * | 2019-09-30 | 2022-04-26 | Nokia Technologies Oy | Adaptive depth guard band |
| US11461933B2 (en) * | 2019-10-02 | 2022-10-04 | Samsung Electronics Co., Ltd. | Decision-making rules for attribute smoothing |
| US11538196B2 (en) | 2019-10-02 | 2022-12-27 | Apple Inc. | Predictive coding for point cloud compression |
| KR102358759B1 (ko) * | 2019-10-03 | 2022-02-07 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| EP4018669A4 (en) | 2019-10-03 | 2022-11-02 | LG Electronics Inc. | POINT CLOUD DATA TRANSMITTING DEVICE, POINT CLOUD DATA TRANSMITTING METHOD, POINT CLOUD DATA RECEIVING DEVICE AND POINT CLOUD DATA RECEIVING METHOD |
| US11895307B2 (en) | 2019-10-04 | 2024-02-06 | Apple Inc. | Block-based predictive coding for point cloud compression |
| WO2021071257A1 (ko) * | 2019-10-07 | 2021-04-15 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| CN114073088A (zh) | 2019-10-09 | 2022-02-18 | 索尼集团公司 | 点云重建之前的解码帧的同步 |
| CA3153825A1 (en) * | 2019-10-11 | 2021-04-15 | Sebastien Lasserre | Methods and devices for tree switching in point cloud compression |
| WO2021095565A1 (ja) * | 2019-11-13 | 2021-05-20 | ソニーグループ株式会社 | 画像処理装置および方法 |
| US11417029B2 (en) * | 2019-12-02 | 2022-08-16 | Tencent America LLC | Method and apparatus for point cloud coding |
| US11348285B2 (en) * | 2019-12-10 | 2022-05-31 | Sony Group Corporation | Mesh compression via point cloud representation |
| CN114868389A (zh) * | 2020-01-06 | 2022-08-05 | Oppo广东移动通信有限公司 | 一种帧内预测方法、编码器、解码器及存储介质 |
| KR102423499B1 (ko) * | 2020-01-07 | 2022-07-22 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| WO2021141218A1 (ko) * | 2020-01-07 | 2021-07-15 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| US11798196B2 (en) | 2020-01-08 | 2023-10-24 | Apple Inc. | Video-based point cloud compression with predicted patches |
| WO2021141264A1 (ko) * | 2020-01-08 | 2021-07-15 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| CN116684667A (zh) | 2020-01-09 | 2023-09-01 | Lg电子株式会社 | 点云数据发送装置和方法、点云数据接收装置和方法 |
| KR102373833B1 (ko) * | 2020-01-09 | 2022-03-14 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| US11475605B2 (en) | 2020-01-09 | 2022-10-18 | Apple Inc. | Geometry encoding of duplicate points |
| US20210224466A1 (en) * | 2020-01-21 | 2021-07-22 | TerraQuest, LLC | Methods and systems for geographic map generation and rendering and unique miles and routes navigation |
| US11399192B2 (en) * | 2020-02-10 | 2022-07-26 | Tencent America LLC | Spatial scalable coding for point cloud coding |
| CN115668938A (zh) * | 2020-03-18 | 2023-01-31 | Lg电子株式会社 | 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法 |
| CN115299059A (zh) * | 2020-03-25 | 2022-11-04 | 索尼集团公司 | 图像处理装置和方法 |
| WO2021193088A1 (ja) * | 2020-03-25 | 2021-09-30 | ソニーグループ株式会社 | 画像処理装置および方法 |
| WO2021191252A1 (en) * | 2020-03-26 | 2021-09-30 | Interdigital Vc Holdings France | A method and apparatus for encoding and decoding volumetric video |
| WO2021201386A1 (ko) * | 2020-03-30 | 2021-10-07 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| US20230111994A1 (en) * | 2020-04-03 | 2023-04-13 | Lg Electronics Inc. | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method |
| US11562509B2 (en) * | 2020-04-08 | 2023-01-24 | Qualcomm Incorporated | Secondary component attribute coding for geometry-based point cloud compression (G-PCC) |
| US20210327097A1 (en) * | 2020-04-08 | 2021-10-21 | Qualcomm Incorporated | Global scaling for point cloud data |
| US11558643B2 (en) * | 2020-04-08 | 2023-01-17 | Qualcomm Incorporated | Secondary component attribute coding for geometry-based point cloud compression (G-PCC) |
| CN115443652B (zh) * | 2020-04-11 | 2024-02-20 | Lg电子株式会社 | 点云数据发送设备、点云数据发送方法、点云数据接收设备和点云数据接收方法 |
| US11418564B2 (en) * | 2020-04-12 | 2022-08-16 | Lg Electronics Inc. | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method |
| CN115380537A (zh) * | 2020-04-13 | 2022-11-22 | Lg电子株式会社 | 发送点云数据的设备、发送点云数据的方法、接收点云数据的设备及接收点云数据的方法 |
| US20230164353A1 (en) * | 2020-04-22 | 2023-05-25 | Lg Electronics Inc. | Point cloud data processing device and processing method |
| WO2021215811A1 (ko) * | 2020-04-24 | 2021-10-28 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| WO2021249867A1 (en) * | 2020-06-12 | 2021-12-16 | Interdigital Vc Holdings France, Sas | A method and apparatus for encoding and decoding volumetric video as partitioned patch atlases |
| CN115769583A (zh) * | 2020-06-19 | 2023-03-07 | Lg电子株式会社 | 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法 |
| CN115918093A (zh) * | 2020-06-21 | 2023-04-04 | Lg电子株式会社 | 点云数据发送设备、点云数据发送方法、点云数据接收设备和点云数据接收方法 |
| US11375208B2 (en) | 2020-06-23 | 2022-06-28 | Sony Group Corporation | Trisoup node size per slice |
| CN115804096A (zh) * | 2020-06-23 | 2023-03-14 | Lg电子株式会社 | 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法 |
| US11620768B2 (en) | 2020-06-24 | 2023-04-04 | Apple Inc. | Point cloud geometry compression using octrees with multiple scan orders |
| US11695957B2 (en) | 2020-06-24 | 2023-07-04 | Samsung Electronics Co., Ltd. | Tiling for video based point cloud compression |
| KR20220123280A (ko) * | 2020-06-24 | 2022-09-06 | 지티이 코포레이션 | 3차원 콘텐츠 프로세싱 방법들 및 장치 |
| US11615557B2 (en) | 2020-06-24 | 2023-03-28 | Apple Inc. | Point cloud compression using octrees with slicing |
| US11954891B2 (en) * | 2020-06-30 | 2024-04-09 | Electronics And Telecommunications Research Institute | Method of compressing occupancy map of three-dimensional point cloud |
| US20220051372A1 (en) * | 2020-08-12 | 2022-02-17 | Niantic, Inc. | Feature matching using features extracted from perspective corrected image |
| US20220058833A1 (en) * | 2020-08-21 | 2022-02-24 | Samsung Electronics Co., Ltd. | Complexity reduction of video-based point cloud compression encoding using grid-based segmentation |
| WO2022055167A1 (ko) * | 2020-09-09 | 2022-03-17 | 엘지전자 주식회사 | 포인트 클라우드 데이터 전송장치, 포인트 클라우드 데이터 전송방법, 포인트 클라우드 데이터 수신장치 및 포인트 클라우드 데이터 수신방법 |
| US20230419557A1 (en) * | 2020-09-11 | 2023-12-28 | Lg Electronics Inc. | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method |
| WO2022056575A1 (en) * | 2020-09-21 | 2022-03-24 | Skaenx, K.K | A method for analysing laser measurement data |
| US11836953B2 (en) * | 2020-10-06 | 2023-12-05 | Sony Group Corporation | Video based mesh compression |
| WO2022080773A1 (ko) * | 2020-10-12 | 2022-04-21 | 엘지전자 주식회사 | 포인트 클라우드 데이터 전송 방법, 포인트 클라우드 데이터 전송 장치, 포인트 클라우드 데이터 수신 방법 및 포인트 클라우드 데이터 수신 장치 |
| WO2022092886A1 (ko) * | 2020-10-30 | 2022-05-05 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| KR102401373B1 (ko) * | 2020-11-17 | 2022-05-23 | 경희대학교 산학협력단 | 영상 처리 시스템에서 포인트 클라우드를 압축하기 위한 방법 및 장치 |
| KR102485449B1 (ko) * | 2020-11-25 | 2023-01-04 | 경희대학교 산학협력단 | 포인트 클라우드 이미지의 업스케일링 방법 및 장치 |
| US20220179082A1 (en) * | 2020-12-08 | 2022-06-09 | Argo AI, LLC | Methods and system for analyzing dynamic lidar point cloud data |
| JP2024505796A (ja) * | 2020-12-22 | 2024-02-08 | オッポ広東移動通信有限公司 | 点群復号化方法、点群符号化方法、復号器及び符号器 |
| JP2022102267A (ja) * | 2020-12-25 | 2022-07-07 | ソニーグループ株式会社 | 画像処理装置および方法 |
| JP2024501966A (ja) * | 2020-12-29 | 2024-01-17 | クアルコム，インコーポレイテッド | ジオメトリコーディングのためのインターおよびイントラ予測のためのハイブリッド木コーディング |
| KR102568141B1 (ko) * | 2021-03-23 | 2023-08-17 | 한국항공대학교산학협력단 | 영상의 비활성 영역 패딩 시스템 및 방법 |
| US11948338B1 (en) | 2021-03-29 | 2024-04-02 | Apple Inc. | 3D volumetric content encoding using 2D videos and simplified 3D meshes |
| US20220321913A1 (en) * | 2021-04-05 | 2022-10-06 | Qualcomm Incorporated | Residual coding for geometry point cloud compression |
| KR20240032912A (ko) * | 2021-07-05 | 2024-03-12 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| US11683523B2 (en) | 2021-07-07 | 2023-06-20 | Tencent America LLC | Group of pictures based patch packing for video based point cloud coding |
| WO2023003349A1 (ko) * | 2021-07-20 | 2023-01-26 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| US11544419B1 (en) | 2021-07-26 | 2023-01-03 | Pointlab, Inc. | Subsampling method for converting 3D scan data of an object for marine, civil, and architectural works into smaller densities for processing without CAD processing |
| CN113470056B (zh) * | 2021-09-06 | 2021-11-16 | 成都新西旺自动化科技有限公司 | 一种基于高斯模型卷积的亚像素边缘点检测方法 |
| WO2023047021A2 (en) * | 2021-09-27 | 2023-03-30 | Nokia Technologies Oy | A method, an apparatus and a computer program product for video encoding and video decoding |
| KR102402580B1 (ko) * | 2021-11-03 | 2022-05-26 | 주식회사 맥스트 | 메타버스 환경에서의 영상 처리 시스템 및 방법 |
| US20230177737A1 (en) * | 2021-12-06 | 2023-06-08 | Tencent America LLC | Systems and method for adaptive filtering in patch generation for video-based point cloud coding |
| US11461987B1 (en) * | 2022-03-22 | 2022-10-04 | Illuscio, Inc. | Systems and methods for defining, bonding, and editing point cloud data points with primitives |
| US20230306649A1 (en) * | 2022-03-25 | 2023-09-28 | Tencent America LLC | Predictive coding of boundary uv2xyz index for mesh compression |
| WO2023200291A1 (ko) * | 2022-04-14 | 2023-10-19 | 엘지전자 주식회사 | 포인트 클라우드 데이터의 전송 장치와 이 전송 장치에서 수행되는 방법 및, 포인트 클라우드 데이터의 수신 장치와 이 수신 장치에서 수행되는 방법 |
| US11488360B1 (en) | 2022-05-13 | 2022-11-01 | Illuscio, Inc. | Systems and methods for editing three-dimensional data and point clouds |
| WO2023239043A1 (ko) * | 2022-06-08 | 2023-12-14 | 삼성전자주식회사 | 객체를 검출하기 위한 방법 및 이를 지원하는 전자 장치 |
| CN115866274A (zh) * | 2022-09-19 | 2023-03-28 | 腾讯科技（深圳）有限公司 | 一种点云媒体的数据处理方法及相关设备 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030066949A1 (en) * | 1996-10-25 | 2003-04-10 | Mueller Frederick E. | Method and apparatus for scanning three-dimensional objects |
| EP1745442A1 (en) * | 2004-02-18 | 2007-01-24 | Laurence Marzell | Adaptive 3d image modelling system and apparatus and method thereof |
| CN101198945A (zh) * | 2003-10-09 | 2008-06-11 | 惠普开发有限公司 | 用于富媒体环境的管理系统 |
| WO2008129021A2 (en) * | 2007-04-18 | 2008-10-30 | Gottfried Wilhelm Leibniz Universität Hannover | Scalable compression of time-consistend 3d mesh sequences |
| CN102428698A (zh) * | 2009-03-23 | 2012-04-25 | 生命力有限公司 | 基于来自客户端设备的反馈信息压缩视频帧或其部分的系统及方法 |
| CN102630011A (zh) * | 2012-03-31 | 2012-08-08 | 浙江师范大学 | 一种视频传感器网络中的压缩感知编解码方法及系统 |
| JP2013111948A (ja) * | 2011-11-30 | 2013-06-10 | Ricoh Co Ltd | 撮像装置、測色装置および画像形成装置 |
| CN103329524A (zh) * | 2011-01-18 | 2013-09-25 | 富士通株式会社 | 动态图像编码装置、动态图像编码方法以及动态图像编码用计算机程序 |
| CN103944580A (zh) * | 2014-04-14 | 2014-07-23 | 天津万合星辰信息技术有限公司 | 一种生理体征传感器持续采集信号的无损压缩方法 |
| CN104156972A (zh) * | 2014-08-25 | 2014-11-19 | 西北工业大学 | 基于激光扫描测距仪与多相机融合的透视成像方法 |
| US9214042B2 (en) * | 2010-01-25 | 2015-12-15 | Thomson Licensing | Method for encoding normals of a 3D mesh model, method for decoding normals of a 3D mesh model, encoder and decoder |
| CN105261060A (zh) * | 2015-07-23 | 2016-01-20 | 东华大学 | 基于点云压缩和惯性导航的移动场景实时三维重构方法 |
| CN105818167A (zh) * | 2015-01-22 | 2016-08-03 | 通用汽车环球科技运作有限责任公司 | 采用远距数字摄像头校准铰接的末端执行器的方法 |
| CN106846425A (zh) * | 2017-01-11 | 2017-06-13 | 东南大学 | 一种基于八叉树的散乱点云压缩方法 |
| US20170247120A1 (en) * | 2016-02-26 | 2017-08-31 | Skycatch, Inc. | Battery arm sensor assembly |
| CN107155342A (zh) * | 2012-06-05 | 2017-09-12 | 苹果公司 | 用于3d地图的虚拟相机 |
Family Cites Families (331)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA309618A (en) | 1931-03-24 | Kylberg Folke | Razor blade package | |
| US3055070A (en) | 1960-12-08 | 1962-09-25 | Louis H Morin | Offset heel for separable fastener stringer scoops |
| US5842004A (en) | 1995-08-04 | 1998-11-24 | Sun Microsystems, Inc. | Method and apparatus for decompression of compressed geometric three-dimensional graphics data |
| US6256041B1 (en) | 1995-08-04 | 2001-07-03 | Sun Microsystems, Inc. | Decompression of three-dimensional geometry data representing a regularly tiled surface portion of a graphical object |
| US6747644B1 (en) | 1995-08-04 | 2004-06-08 | Sun Microsystems, Inc. | Decompression of surface normals in three-dimensional graphics data |
| US6018353A (en) | 1995-08-04 | 2000-01-25 | Sun Microsystems, Inc. | Three-dimensional graphics accelerator with an improved vertex buffer for more efficient vertex processing |
| US6215500B1 (en) | 1995-08-04 | 2001-04-10 | Sun Microsystems, Inc. | Compression of three-dimensional geometry data representing a regularly tiled surface portion of a graphical object |
| US6525722B1 (en) | 1995-08-04 | 2003-02-25 | Sun Microsystems, Inc. | Geometry compression for regular and irregular mesh structures |
| US5793371A (en) | 1995-08-04 | 1998-08-11 | Sun Microsystems, Inc. | Method and apparatus for geometric compression of three-dimensional graphics data |
| CN1177485C (zh) | 1996-05-17 | 2004-11-24 | 松下电器产业株式会社 | 图像解码装置 |
| US6858826B2 (en) | 1996-10-25 | 2005-02-22 | Waveworx Inc. | Method and apparatus for scanning three-dimensional objects |
| US6230112B1 (en) | 1996-12-27 | 2001-05-08 | Bridgestone Corporation | Pneumatic tire designing method |
| AU1941797A (en) | 1997-03-17 | 1998-10-12 | Mitsubishi Denki Kabushiki Kaisha | Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system |
| US6459428B1 (en) | 1998-02-17 | 2002-10-01 | Sun Microsystems, Inc. | Programmable sample filtering for image rendering |
| US6563499B1 (en) | 1998-07-20 | 2003-05-13 | Geometrix, Inc. | Method and apparatus for generating a 3D region from a surrounding imagery |
| US6429867B1 (en) | 1999-03-15 | 2002-08-06 | Sun Microsystems, Inc. | System and method for generating and playback of three-dimensional movies |
| US6459429B1 (en) | 1999-06-14 | 2002-10-01 | Sun Microsystems, Inc. | Segmenting compressed graphics data for parallel decompression and rendering |
| US7071935B1 (en) | 1999-06-14 | 2006-07-04 | Sun Microsystems, Inc. | Graphics system with just-in-time decompression of compressed graphics data |
| US6628277B1 (en) | 1999-06-14 | 2003-09-30 | Sun Microsystems, Inc. | Decompression of three-dimensional graphics data using mesh buffer references to reduce redundancy of processing |
| US6476803B1 (en) | 2000-01-06 | 2002-11-05 | Microsoft Corporation | Object modeling system and process employing noise elimination and robust surface extraction techniques |
| US6525725B1 (en) | 2000-03-15 | 2003-02-25 | Sun Microsystems, Inc. | Morphing decompression in a graphics system |
| EP1204073B1 (en) | 2000-10-27 | 2007-01-31 | Canon Kabushiki Kaisha | Image generation method and apparatus |
| US6959120B1 (en) | 2000-10-27 | 2005-10-25 | Microsoft Corporation | Rebinning methods and arrangements for use in compressing image-based rendering (IBR) data |
| JP3790126B2 (ja) | 2001-05-30 | 2006-06-28 | 株式会社東芝 | 時空間領域情報処理方法及び時空間領域情報処理システム |
| KR100446635B1 (ko) | 2001-11-27 | 2004-09-04 | 삼성전자주식회사 | 깊이 이미지 기반 3차원 객체 표현 장치 및 방법 |
| US20040217956A1 (en) | 2002-02-28 | 2004-11-04 | Paul Besl | Method and system for processing, compressing, streaming, and interactive rendering of 3D color image data |
| EP1532247A4 (en) | 2002-07-29 | 2006-08-30 | Monsanto Technology Llc | PAVING THE EVENT PV-ZMIR13 (MON863) AND COMPOSITIONS AND METHODS FOR DETECTING THEREOF |
| US9077991B2 (en) | 2002-12-10 | 2015-07-07 | Sony Computer Entertainment America Llc | System and method for utilizing forward error correction with video compression |
| US7215810B2 (en) | 2003-07-23 | 2007-05-08 | Orametrix, Inc. | Method for creating single 3D surface model from a point cloud |
| US8468772B2 (en) | 2003-08-11 | 2013-06-25 | Interface, Inc. | Carpet tiles and carpet tile installations |
| US7961934B2 (en) | 2003-12-11 | 2011-06-14 | Strider Labs, Inc. | Probable reconstruction of surfaces in occluded regions by computed symmetry |
| US7373473B2 (en) | 2004-03-10 | 2008-05-13 | Leica Geosystems Hds Llc | System and method for efficient storage and manipulation of extremely large amounts of scan data |
| JP4613313B2 (ja) | 2005-04-01 | 2011-01-19 | 国立大学法人 東京大学 | 画像処理システムおよび画像処理プログラム |
| CN101230618A (zh) | 2005-06-06 | 2008-07-30 | 邱则有 | 一种现浇砼空心板 |
| CN102271249B (zh) | 2005-09-26 | 2014-04-09 | 韩国电子通信研究院 | 用于可伸缩视频的感兴趣区域信息设置方法和解析方法 |
| KR100723505B1 (ko) | 2005-10-06 | 2007-05-30 | 삼성전자주식회사 | 하이브리드 방식의 영상 데이터 처리 시스템 및 영상데이터 처리 방법 |
| JP4643453B2 (ja) | 2006-01-10 | 2011-03-02 | 株式会社東芝 | 情報処理装置及び情報処理装置の動画像復号方法 |
| WO2007116551A1 (ja) | 2006-03-30 | 2007-10-18 | Kabushiki Kaisha Toshiba | 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法 |
| US7885988B2 (en) | 2006-08-24 | 2011-02-08 | Dell Products L.P. | Methods and apparatus for reducing storage size |
| US7881544B2 (en) | 2006-08-24 | 2011-02-01 | Dell Products L.P. | Methods and apparatus for reducing storage size |
| US7737985B2 (en) | 2006-11-09 | 2010-06-15 | Qualcomm Incorporated | Pixel cache for 3D graphics circuitry |
| WO2008075359A2 (en) | 2006-12-21 | 2008-06-26 | Yeda Research And Development Co. Ltd. | Method and apparatus for matching local self-similarities |
| DE102006061325B4 (de) | 2006-12-22 | 2008-11-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren zur computergestützten Identifikation der von einem Richtstrahl durchschnittenen Kinderoktanten eines Elternoktants in einer Octree-Datenstruktur mittels Look-up-Tabellen |
| US8055070B2 (en) | 2007-01-05 | 2011-11-08 | Geo Semiconductor Inc. | Color and geometry distortion correction system and method |
| EP1993072A1 (en) | 2007-05-18 | 2008-11-19 | Siemens Aktiengesellschaft | Method for comparison of 3D computer model and as-built situation of an industrial plant |
| US8040355B2 (en) | 2007-07-23 | 2011-10-18 | Disney Enterprises, Inc. | Three-dimensional location-based texture transfers |
| US7987212B2 (en) | 2008-04-01 | 2011-07-26 | Trimble Navigation Limited | Merging data from survey devices |
| JP4506875B2 (ja) | 2008-05-19 | 2010-07-21 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| TW201005673A (en) | 2008-07-18 | 2010-02-01 | Ind Tech Res Inst | Example-based two-dimensional to three-dimensional image conversion method, computer readable medium therefor, and system |
| US8706910B2 (en) | 2008-10-28 | 2014-04-22 | Panzura, Inc. | Dynamically adaptive network-based data processing system and method |
| US8131046B2 (en) | 2008-10-29 | 2012-03-06 | Allegheny-Singer Research Institute | Magnetic resonance imager using cylindrical offset region of excitation, and method |
| JP5039019B2 (ja) | 2008-12-25 | 2012-10-03 | 富士フイルム株式会社 | 手振れ補正装置及び光学機器 |
| US8566736B1 (en) | 2009-01-19 | 2013-10-22 | Pixar | Visualization of value resolution for multidimensional parameterized data |
| EP2216750A1 (en) | 2009-02-06 | 2010-08-11 | Thomson Licensing | Method and apparatus for encoding 3D mesh models, and method and apparatus for decoding encoded 3D mesh models |
| EP2222086A1 (de) | 2009-02-18 | 2010-08-25 | EcoDisc Technology AG | Verfahren und Vorrichtung zur Vermeidung von Rundungsfehlern nach Durchführung einer inversen diskreten orthogonalen Transformation |
| JP2010245938A (ja) | 2009-04-08 | 2010-10-28 | Sony Corp | 信号処理装置、信号処理方法、プログラム |
| US20100296579A1 (en) | 2009-05-22 | 2010-11-25 | Qualcomm Incorporated | Adaptive picture type decision for video coding |
| US9753124B2 (en) | 2009-07-13 | 2017-09-05 | Celartem, Inc. | LIDAR point cloud compression |
| KR101669873B1 (ko) | 2009-10-16 | 2016-10-27 | 삼성전자주식회사 | 삼차원 메쉬 압축장치 및 방법 |
| US9317965B2 (en) | 2009-11-16 | 2016-04-19 | Autodesk, Inc. | Uniform point cloud decimation |
| TW201121332A (en) | 2009-12-11 | 2011-06-16 | Acer Inc | Device for decoding audio and video data |
| US8345930B2 (en) | 2010-01-22 | 2013-01-01 | Sri International | Method for computing food volume in a method for analyzing food |
| JP5297403B2 (ja) | 2010-02-26 | 2013-09-25 | キヤノン株式会社 | 位置姿勢計測装置、位置姿勢計測方法、プログラムおよび記憶媒体 |
| US9237366B2 (en) | 2010-04-16 | 2016-01-12 | Google Technology Holdings LLC | Method and apparatus for distribution of 3D television program materials |
| WO2011153624A2 (en) | 2010-06-11 | 2011-12-15 | Ambercore Software Inc. | System and method for manipulating data having spatial coordinates |
| FR2961930B1 (fr) | 2010-06-29 | 2013-01-04 | Fittingbox | Procede de compression / decompression de maillage tridimensionnel |
| KR101654777B1 (ko) | 2010-07-19 | 2016-09-06 | 삼성전자주식회사 | 3차원 메쉬 가변 부호화 장치 및 방법, 그리고 3차원 메쉬 가변 복호화 장치 및 방법 |
| US8520740B2 (en) | 2010-09-02 | 2013-08-27 | International Business Machines Corporation | Arithmetic decoding acceleration |
| WO2012034236A1 (en) | 2010-09-16 | 2012-03-22 | Ambercore Software Inc. | System and method for detailed automated feature extraction from data having spatial coordinates |
| US9300321B2 (en) | 2010-11-05 | 2016-03-29 | University of Maribor | Light detection and ranging (LiDAR)data compression and decompression methods and apparatus |
| WO2012095914A1 (ja) | 2011-01-13 | 2012-07-19 | パナソニック株式会社 | 立体画像処理装置、立体画像処理方法およびプログラム |
| US8908013B2 (en) | 2011-01-20 | 2014-12-09 | Canon Kabushiki Kaisha | Systems and methods for collaborative image capturing |
| US8923613B2 (en) | 2011-04-15 | 2014-12-30 | Panasonic Corporation | Image compression device, image compression method, integrated circuit, program, and picture display apparatus |
| CN103503459A (zh) | 2011-04-28 | 2014-01-08 | 索尼公司 | 图像处理装置和图像处理方法 |
| US10123053B2 (en) | 2011-05-23 | 2018-11-06 | Texas Instruments Incorporated | Acceleration of bypass binary symbol processing in video coding |
| US8780112B2 (en) | 2011-06-08 | 2014-07-15 | Pacific Data Images Llc | Coherent out-of-core point-based global illumination |
| US9521434B2 (en) | 2011-06-09 | 2016-12-13 | Qualcomm Incorporated | Internal bit depth increase in video coding |
| EP2734980B1 (en) | 2011-07-18 | 2018-03-21 | Thomson Licensing | Method for adaptive entropy coding of tree structures |
| US9014496B2 (en) | 2011-08-04 | 2015-04-21 | Arm Limited | Methods of and apparatus for encoding and decoding data in data processing systems |
| US20130034150A1 (en) | 2011-08-05 | 2013-02-07 | Texas Instruments Incorporated | Systems and methods for multimedia data encoding and decoding |
| US9288505B2 (en) | 2011-08-11 | 2016-03-15 | Qualcomm Incorporated | Three-dimensional video with asymmetric spatial resolution |
| WO2013055148A2 (ko) | 2011-10-12 | 2013-04-18 | 엘지전자 주식회사 | 영상 인코딩 방법 및 디코딩 방법 |
| US8643515B2 (en) | 2011-10-28 | 2014-02-04 | International Business Machines Corporation | Compressing data using an encoding table |
| US9819949B2 (en) | 2011-12-16 | 2017-11-14 | Microsoft Technology Licensing, Llc | Hardware-accelerated decoding of scalable video bitstreams |
| CN102592136B (zh) | 2011-12-21 | 2013-10-16 | 东南大学 | 基于几何图像中中频信息的三维人脸识别方法 |
| US9191670B2 (en) | 2012-01-17 | 2015-11-17 | Qualcomm Incorporated | Throughput improvement for CABAC coefficient level coding |
| MY167465A (en) | 2012-01-20 | 2018-08-29 | Ge Video Compression Llc | Coding concept allowing parallel processing, transport demultiplexer and video bitstream |
| EP2805307B1 (en) | 2012-01-21 | 2024-04-24 | InterDigital VC Holdings, Inc. | Method and apparatus for compressing texture information of three-dimensional (3d) models |
| US11263823B2 (en) | 2012-02-24 | 2022-03-01 | Matterport, Inc. | Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications |
| WO2013128264A2 (en) | 2012-03-01 | 2013-09-06 | Trimble A.B. | Methods and apparatus for point cloud data management |
| US9846960B2 (en) | 2012-05-31 | 2017-12-19 | Microsoft Technology Licensing, Llc | Automated camera array calibration |
| KR101957873B1 (ko) | 2012-06-04 | 2019-03-13 | 삼성전자주식회사 | 3차원 영상을 위한 영상 처리 장치 및 방법 |
| US9219916B2 (en) | 2012-06-12 | 2015-12-22 | Dolby Laboratories Licensing Corporation | Joint base layer and enhancement layer quantizer adaptation in EDR video coding |
| US9836483B1 (en) | 2012-08-29 | 2017-12-05 | Google Llc | Using a mobile device for coarse shape matching against cloud-based 3D model database |
| US8996228B1 (en) | 2012-09-05 | 2015-03-31 | Google Inc. | Construction zone object detection using light detection and ranging |
| US9234618B1 (en) | 2012-09-27 | 2016-01-12 | Google Inc. | Characterizing optically reflective features via hyper-spectral sensor |
| US9488492B2 (en) | 2014-03-18 | 2016-11-08 | Sri International | Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics |
| US9210432B2 (en) | 2012-10-08 | 2015-12-08 | Google Inc. | Lossless inter-frame video coding |
| US9864184B2 (en) | 2012-10-30 | 2018-01-09 | California Institute Of Technology | Embedded pupil function recovery for fourier ptychographic imaging devices |
| US9299152B2 (en) | 2012-12-20 | 2016-03-29 | Hong Kong Applied Science And Technology Research Institute Co., Ltd. | Systems and methods for image depth map generation |
| US20140198097A1 (en) | 2013-01-16 | 2014-07-17 | Microsoft Corporation | Continuous and dynamic level of detail for efficient point cloud object rendering |
| US20140204088A1 (en) | 2013-01-18 | 2014-07-24 | Microsoft Corporation | Surface codec using reprojection onto depth maps |
| US9530225B1 (en) | 2013-03-11 | 2016-12-27 | Exelis, Inc. | Point cloud data processing for scalable compression |
| US8874454B2 (en) | 2013-03-15 | 2014-10-28 | State Farm Mutual Automobile Insurance Company | Systems and methods for assessing a roof |
| GB2513110A (en) | 2013-04-08 | 2014-10-22 | Sony Corp | Data encoding and decoding |
| US9098773B2 (en) | 2013-06-27 | 2015-08-04 | Chevron U.S.A. Inc. | System and method of detecting objects in scene point cloud |
| EP3021584A4 (en) | 2013-07-12 | 2017-03-15 | Samsung Electronics Co., Ltd. | Method and apparatus for inter-layer decoding video using depth-based disparity vector, and method and apparatus for inter-layer encoding video using depth-based disparity vector |
| CN103366006B (zh) | 2013-07-19 | 2016-06-22 | 武汉睿数信息技术有限公司 | 一种基于三维激光点云建立地理空间索引的方法 |
| RU2016115055A (ru) | 2013-09-20 | 2017-10-25 | Вид Скейл, Инк. | Системы и способы обеспечения кодирования 3d справочной таблицы для масштабируемости цветовой гаммы |
| US9351003B2 (en) | 2013-09-27 | 2016-05-24 | Apple Inc. | Context re-mapping in CABAC encoder |
| US9223765B1 (en) | 2013-10-09 | 2015-12-29 | Google Inc. | Encoding and decoding data using context model grouping |
| US9424672B2 (en) | 2013-11-07 | 2016-08-23 | Here Global B.V. | Method and apparatus for processing and aligning data point clouds |
| US9445115B2 (en) | 2013-11-21 | 2016-09-13 | Bae Systems Information And Electronic Systems Integration Inc. | Coded image system and method thereof |
| US9412040B2 (en) | 2013-12-04 | 2016-08-09 | Mitsubishi Electric Research Laboratories, Inc. | Method for extracting planes from 3D point cloud sensor data |
| US9386303B2 (en) | 2013-12-31 | 2016-07-05 | Personify, Inc. | Transmitting video and sharing content via a network using multiple encoding techniques |
| US9613388B2 (en) | 2014-01-24 | 2017-04-04 | Here Global B.V. | Methods, apparatuses and computer program products for three dimensional segmentation and textured modeling of photogrammetry surface meshes |
| GB2523348B (en) | 2014-02-20 | 2016-03-30 | Gurulogic Microsystems Oy | Encoder, decoder and method |
| US9098754B1 (en) | 2014-04-25 | 2015-08-04 | Google Inc. | Methods and systems for object detection using laser point clouds |
| US9996976B2 (en) | 2014-05-05 | 2018-06-12 | Avigilon Fortress Corporation | System and method for real-time overlay of map features onto a video feed |
| GB2527607B (en) | 2014-06-27 | 2016-10-05 | Gurulogic Microsystems Oy | Encoder, decoder and method |
| KR101663668B1 (ko) | 2014-06-27 | 2016-10-07 | 삼성전자주식회사 | 영상 패딩영역의 비디오 복호화 및 부호화 장치 및 방법 |
| US9292961B1 (en) | 2014-08-26 | 2016-03-22 | The Boeing Company | System and method for detecting a structural opening in a three dimensional point cloud |
| US10235338B2 (en) | 2014-09-04 | 2019-03-19 | Nvidia Corporation | Short stack traversal of tree data structures |
| US9734595B2 (en) | 2014-09-24 | 2017-08-15 | University of Maribor | Method and apparatus for near-lossless compression and decompression of 3D meshes and point clouds |
| EP3216219A1 (fr) * | 2014-11-05 | 2017-09-13 | Colin, Jean-Claude | Procédé pour réaliser des images animées |
| US10104361B2 (en) | 2014-11-14 | 2018-10-16 | Samsung Electronics Co., Ltd. | Coding of 360 degree videos using region adaptive smoothing |
| CN104408689B (zh) | 2014-12-10 | 2017-10-24 | 武汉大学 | 基于全景影像的街景面片优化方法 |
| US10257344B2 (en) | 2016-04-20 | 2019-04-09 | Stephen Rhyne | System, device, and method for tracking and monitoring mobile phone usage while operating a vehicle in order to deter and prevent such usage |
| US11373272B2 (en) | 2015-06-05 | 2022-06-28 | MindAptiv, LLC | Digital gradient signal processing system and method for signals comprising at least three dimensions |
| US10277248B2 (en) | 2015-07-07 | 2019-04-30 | Tidal Systems, Inc. | Compression engine with consistent throughput |
| EP3345104B1 (en) | 2015-09-01 | 2023-06-07 | Dream It Get IT Limited | Media unit retrieval and related processes |
| US10887430B2 (en) | 2015-10-21 | 2021-01-05 | Dragonwave-X, Llc | Compression in communications |
| EP3163536B1 (en) | 2015-10-30 | 2021-12-08 | Dassault Systèmes | Compression of a three-dimensional modeled object |
| JP6300119B2 (ja) | 2015-11-05 | 2018-03-28 | コニカミノルタ株式会社 | 測色値取得方法及び画像形成装置並びに測色値取得制御プログラム |
| US20170214943A1 (en) | 2016-01-22 | 2017-07-27 | Mitsubishi Electric Research Laboratories, Inc. | Point Cloud Compression using Prediction and Shape-Adaptive Transforms |
| US10416667B2 (en) | 2016-02-03 | 2019-09-17 | Sony Corporation | System and method for utilization of multiple-camera network to capture static and/or motion scenes |
| EP4040789B1 (en) | 2016-02-11 | 2023-10-18 | InterDigital VC Holdings, Inc. | Method and device for encoding/decoding an image unit comprising image data represented by a luminance channel and at least one chrominance channel |
| US10319101B2 (en) | 2016-02-24 | 2019-06-11 | Quantum Spatial, Inc. | Systems and methods for deriving spatial attributes for imaged objects utilizing three-dimensional information |
| US10482196B2 (en) | 2016-02-26 | 2019-11-19 | Nvidia Corporation | Modeling point cloud data using hierarchies of Gaussian mixture models |
| KR102520957B1 (ko) | 2016-04-15 | 2023-04-12 | 삼성전자주식회사 | 인코딩 장치, 디코딩 장치 및 이의 제어 방법 |
| TWI629892B (zh) | 2016-05-09 | 2018-07-11 | 國立成功大學 | 景深包裝及解包裝之ｒｇｂ格式與ｙｕｖ格式的轉換與反轉換的方法及電路 |
| US11297346B2 (en) * | 2016-05-28 | 2022-04-05 | Microsoft Technology Licensing, Llc | Motion-compensated compression of dynamic voxelized point clouds |
| US10223810B2 (en) | 2016-05-28 | 2019-03-05 | Microsoft Technology Licensing, Llc | Region-adaptive hierarchical transform and entropy coding for point cloud compression, and corresponding decompression |
| US10694210B2 (en) | 2016-05-28 | 2020-06-23 | Microsoft Technology Licensing, Llc | Scalable point cloud compression with transform, and corresponding decompression |
| US9959604B2 (en) | 2016-06-13 | 2018-05-01 | Gopro, Inc. | Dynamic global tone mapping with integrated 3D color look-up table |
| US10259164B2 (en) | 2016-06-22 | 2019-04-16 | Massachusetts Institute Of Technology | Methods and apparatus for 3D printing of point cloud data |
| US10559111B2 (en) | 2016-06-23 | 2020-02-11 | LoomAi, Inc. | Systems and methods for generating computer ready animation models of a human head from captured data images |
| KR102529120B1 (ko) | 2016-07-15 | 2023-05-08 | 삼성전자주식회사 | 영상을 획득하는 방법, 디바이스 및 기록매체 |
| CN113453000B (zh) | 2016-07-22 | 2024-01-12 | 夏普株式会社 | 使用自适应分量缩放对视频数据进行编码的系统和方法 |
| US20180053324A1 (en) | 2016-08-19 | 2018-02-22 | Mitsubishi Electric Research Laboratories, Inc. | Method for Predictive Coding of Point Cloud Geometries |
| US10724848B2 (en) | 2016-08-29 | 2020-07-28 | Beijing Qingying Machine Visual Technology Co., Ltd. | Method and apparatus for processing three-dimensional vision measurement data |
| US10271069B2 (en) | 2016-08-31 | 2019-04-23 | Microsoft Technology Licensing, Llc | Selective use of start code emulation prevention |
| KR102352933B1 (ko) | 2016-09-09 | 2022-01-20 | 삼성전자주식회사 | 3차원 이미지를 프로세싱하기 위한 방법 및 장치 |
| EP3293702B1 (en) | 2016-09-13 | 2020-04-29 | Dassault Systèmes | Compressing a signal that represents a physical attribute |
| US10372728B2 (en) | 2016-09-16 | 2019-08-06 | Oracle International Corporation | System and method providing a scalable and efficient space filling curve approach to point cloud feature generation |
| EP3516873A1 (en) | 2016-09-19 | 2019-07-31 | InterDigital VC Holdings, Inc. | A method and a device for reconstructing a point cloud representative of a scene using light-field data |
| CN106651942B (zh) | 2016-09-29 | 2019-09-17 | 苏州中科广视文化科技有限公司 | 基于特征点的三维旋转运动检测与旋转轴定位方法 |
| US9787321B1 (en) | 2016-11-17 | 2017-10-10 | Google Inc. | Point cloud data compression using a space-filling curve |
| US10715618B2 (en) | 2016-12-12 | 2020-07-14 | Hughes Network Systems, Llc | Compressibility estimation for lossless data compression |
| US10785279B2 (en) | 2016-12-29 | 2020-09-22 | Facebook, Inc. | Video encoding using starve mode |
| GB2558314B (en) | 2017-01-02 | 2020-07-29 | Canon Kk | Improved attribute mapping to encode and decode 3D models |
| EP3349182A1 (en) | 2017-01-13 | 2018-07-18 | Thomson Licensing | Method, apparatus and stream for immersive video format |
| GB2560319B (en) | 2017-03-06 | 2020-09-02 | Canon Kk | Improved encoding and decoding of texture mapping data in textured 3D mesh models |
| US11514613B2 (en) | 2017-03-16 | 2022-11-29 | Samsung Electronics Co., Ltd. | Point cloud and mesh compression using image/video codecs |
| US10242458B2 (en) | 2017-04-21 | 2019-03-26 | Qualcomm Incorporated | Registration of range images using virtual gimbal information |
| US10108867B1 (en) | 2017-04-25 | 2018-10-23 | Uber Technologies, Inc. | Image-based pedestrian detection |
| US20190340306A1 (en) | 2017-04-27 | 2019-11-07 | Ecosense Lighting Inc. | Methods and systems for an automated design, fulfillment, deployment and operation platform for lighting installations |
| US10359513B2 (en) | 2017-05-03 | 2019-07-23 | Elwha Llc | Dynamic-metamaterial coded-aperture imaging |
| US10467756B2 (en) | 2017-05-14 | 2019-11-05 | International Business Machines Corporation | Systems and methods for determining a camera pose of an image |
| US10511696B2 (en) | 2017-05-17 | 2019-12-17 | CodeShop, B.V. | System and method for aggregation, archiving and compression of internet of things wireless sensor data |
| GB2563019B (en) | 2017-05-29 | 2021-07-28 | Canon Kk | Improved valence-based encoding and decoding of connectivity data in a 3D model |
| US10325409B2 (en) | 2017-06-16 | 2019-06-18 | Microsoft Technology Licensing, Llc | Object holographic augmentation |
| WO2019002662A1 (en) | 2017-06-26 | 2019-01-03 | Nokia Technologies Oy | APPARATUS, METHOD AND COMPUTER PROGRAM FOR OMNIDIRECTIONAL VIDEO |
| US11082719B2 (en) | 2017-07-03 | 2021-08-03 | Nokia Technologies Oy | Apparatus, a method and a computer program for omnidirectional video |
| WO2019013430A1 (en) | 2017-07-10 | 2019-01-17 | Samsung Electronics Co., Ltd. | COMPRESSION OF MAILLAGES AND POINT CLOUDS USING IMAGE / VIDEO CODECS |
| US10474524B2 (en) | 2017-07-12 | 2019-11-12 | Topcon Positioning Systems, Inc. | Point cloud filter method and apparatus |
| EP3429210A1 (en) | 2017-07-13 | 2019-01-16 | Thomson Licensing | Methods, devices and stream for encoding and decoding volumetric video |
| EP3429212A1 (en) | 2017-07-13 | 2019-01-16 | Thomson Licensing | A method and apparatus for encoding/decoding the geometry of a point cloud representing a 3d object |
| US10587883B2 (en) | 2017-07-14 | 2020-03-10 | Qualcomm Incorporated | Region-wise packing, content coverage, and signaling frame packing for media content |
| EP3432581A1 (en) | 2017-07-21 | 2019-01-23 | Thomson Licensing | Methods, devices and stream for encoding and decoding volumetric video |
| US10395419B1 (en) | 2017-08-04 | 2019-08-27 | Bentley Systems, Incorporated | Non-destructive multi-resolution surface clipping |
| US20190041481A1 (en) | 2017-08-04 | 2019-02-07 | Muralidhara Subbarao | Massively parallel magnetic resonance imaging wherein numerous off-surface coils are used to acquire partially under-sampled magnetic resonance signal data |
| US11024078B2 (en) | 2017-08-07 | 2021-06-01 | Verizon Patent And Licensing Inc. | Systems and methods compression, transfer, and reconstruction of three-dimensional (3D) data meshes |
| EP3669330A4 (en) | 2017-08-15 | 2021-04-07 | Nokia Technologies Oy | ENCODING AND DECODING VOLUMETRIC VIDEO |
| WO2019034807A1 (en) | 2017-08-15 | 2019-02-21 | Nokia Technologies Oy | SEQUENTIAL CODING AND DECODING OF VOLUMETRIC VIDEO |
| US10462485B2 (en) | 2017-09-06 | 2019-10-29 | Apple Inc. | Point cloud geometry compression |
| US11818401B2 (en) | 2017-09-14 | 2023-11-14 | Apple Inc. | Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables |
| US10861196B2 (en) | 2017-09-14 | 2020-12-08 | Apple Inc. | Point cloud compression |
| US10897269B2 (en) | 2017-09-14 | 2021-01-19 | Apple Inc. | Hierarchical point cloud compression |
| US10805646B2 (en) | 2018-06-22 | 2020-10-13 | Apple Inc. | Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables |
| KR102119300B1 (ko) | 2017-09-15 | 2020-06-04 | 서울과학기술대학교 산학협력단 | 360도 영상 부호화 장치 및 방법, 이를 수행하기 위한 기록 매체 |
| US10909725B2 (en) | 2017-09-18 | 2021-02-02 | Apple Inc. | Point cloud compression |
| US11113845B2 (en) | 2017-09-18 | 2021-09-07 | Apple Inc. | Point cloud compression using non-cubic projections and masks |
| US20200275129A1 (en) | 2017-09-29 | 2020-08-27 | Sharp Kabushiki Kaisha | Systems and methods for signaling information associated with a constituent picture |
| JP7268599B2 (ja) | 2017-09-29 | 2023-05-08 | ソニーグループ株式会社 | 情報処理装置および方法 |
| EP3462415A1 (en) | 2017-09-29 | 2019-04-03 | Thomson Licensing | Method and device for modifying attributes of points of a 3d scene |
| KR20200062194A (ko) | 2017-10-05 | 2020-06-03 | 소니 주식회사 | 정보 처리 장치 및 방법 |
| EP3468182A1 (en) | 2017-10-06 | 2019-04-10 | InterDigital VC Holdings, Inc. | A method and apparatus for encoding a point cloud representing three-dimensional objects |
| US11599968B2 (en) | 2017-10-11 | 2023-03-07 | Nokia Technologies Oy | Apparatus, a method and a computer program for volumetric video |
| US11270470B2 (en) | 2017-10-12 | 2022-03-08 | Sony Group Corporation | Color leaking suppression in anchor point cloud compression |
| US10499054B2 (en) | 2017-10-12 | 2019-12-03 | Mitsubishi Electric Research Laboratories, Inc. | System and method for inter-frame predictive compression for point clouds |
| US10726299B2 (en) | 2017-10-12 | 2020-07-28 | Sony Corporation | Sorted geometry with color clustering (SGCC) for point cloud compression |
| US10559126B2 (en) | 2017-10-13 | 2020-02-11 | Samsung Electronics Co., Ltd. | 6DoF media consumption architecture using 2D video decoder |
| GB201717012D0 (en) | 2017-10-17 | 2017-11-29 | Nokia Technologies Oy | An apparatus a method and a computer program for coding volumetric video |
| EP3474233A1 (en) | 2017-10-19 | 2019-04-24 | Thomson Licensing | A method and apparatus for encoding/decoding the geometry of a point cloud representing a 3d object |
| EP3474562A1 (en) | 2017-10-20 | 2019-04-24 | Thomson Licensing | Method, apparatus and stream for volumetric video format |
| US10424083B2 (en) | 2017-10-21 | 2019-09-24 | Samsung Electronics Co., Ltd. | Point cloud compression using hybrid transforms |
| WO2019093834A1 (en) | 2017-11-09 | 2019-05-16 | Samsung Electronics Co., Ltd. | Point cloud compression using non-orthogonal projection |
| US10535161B2 (en) | 2017-11-09 | 2020-01-14 | Samsung Electronics Co., Ltd. | Point cloud compression using non-orthogonal projection |
| US10607373B2 (en) | 2017-11-22 | 2020-03-31 | Apple Inc. | Point cloud compression with closed-loop color conversion |
| US10699444B2 (en) | 2017-11-22 | 2020-06-30 | Apple Inc | Point cloud occupancy map compression |
| US10789733B2 (en) | 2017-11-22 | 2020-09-29 | Apple Inc. | Point cloud compression with multi-layer projection |
| EP3489900A1 (en) | 2017-11-23 | 2019-05-29 | Thomson Licensing | Method, apparatus and stream for encoding/decoding volumetric video |
| EP3496388A1 (en) | 2017-12-05 | 2019-06-12 | Thomson Licensing | A method and apparatus for encoding a point cloud representing three-dimensional objects |
| US10510148B2 (en) | 2017-12-18 | 2019-12-17 | Hong Kong Applied Science And Technology Research Institute Co., Ltd. | Systems and methods for block based edgel detection with false edge elimination |
| US10783668B2 (en) | 2017-12-22 | 2020-09-22 | Samsung Electronics Co., Ltd. | Handling duplicate points in point cloud compression |
| WO2019129923A1 (en) | 2017-12-29 | 2019-07-04 | Nokia Technologies Oy | An apparatus, a method and a computer program for volumetric video |
| WO2019135024A1 (en) | 2018-01-02 | 2019-07-11 | Nokia Technologies Oy | An apparatus, a method and a computer program for volumetric video |
| WO2019142667A1 (ja) | 2018-01-17 | 2019-07-25 | ソニー株式会社 | 画像処理装置および方法 |
| EP3514969B1 (en) | 2018-01-18 | 2021-08-04 | BlackBerry Limited | Methods and devices using direct coding in point cloud compression |
| EP3741118A1 (en) | 2018-01-19 | 2020-11-25 | InterDigital VC Holdings, Inc. | Processing a point cloud |
| EP3515068A1 (en) | 2018-01-19 | 2019-07-24 | Thomson Licensing | A method and apparatus for encoding and decoding three-dimensional scenes in and from a data stream |
| JP7348078B2 (ja) | 2018-02-08 | 2023-09-20 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 |
| US11044495B1 (en) | 2018-02-13 | 2021-06-22 | Cyborg Inc. | Systems and methods for variable length codeword based data encoding and decoding using dynamic memory allocation |
| GB2571306A (en) | 2018-02-23 | 2019-08-28 | Sony Interactive Entertainment Europe Ltd | Video recording and playback systems and methods |
| US10916041B2 (en) | 2018-03-30 | 2021-02-09 | Samsung Electronics Co., Ltd. | Method for depth image di coding |
| KR20190117287A (ko) | 2018-04-06 | 2019-10-16 | 삼성전자주식회사 | 중복 포인트 처리 방법 및 장치 |
| EP3777185A4 (en) | 2018-04-09 | 2022-01-05 | Nokia Technologies Oy | APPARATUS, METHOD AND COMPUTER PROGRAM FOR VOLUMETRIC VIDEO |
| WO2019196475A1 (zh) | 2018-04-09 | 2019-10-17 | 华为技术有限公司 | 全局匹配patch的获取方法及装置 |
| EP3553746B1 (en) | 2018-04-09 | 2021-08-25 | BlackBerry Limited | Methods and devices for predictive coding of point clouds |
| US10909727B2 (en) | 2018-04-10 | 2021-02-02 | Apple Inc. | Hierarchical point cloud compression with smoothing |
| US11010928B2 (en) | 2018-04-10 | 2021-05-18 | Apple Inc. | Adaptive distance based point cloud compression |
| US10867414B2 (en) | 2018-04-10 | 2020-12-15 | Apple Inc. | Point cloud attribute transfer algorithm |
| US10909726B2 (en) | 2018-04-10 | 2021-02-02 | Apple Inc. | Point cloud compression |
| US10939129B2 (en) | 2018-04-10 | 2021-03-02 | Apple Inc. | Point cloud compression |
| CN111989713A (zh) | 2018-04-10 | 2020-11-24 | 松下电器（美国）知识产权公司 | 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置 |
| JPWO2019198523A1 (ja) | 2018-04-11 | 2021-05-13 | ソニーグループ株式会社 | 画像処理装置および方法 |
| WO2019199092A1 (ko) | 2018-04-11 | 2019-10-17 | 삼성전자 주식회사 | 멀티미디어 시스템에서의 데이터 처리 장치 및 방법 |
| US10984541B2 (en) | 2018-04-12 | 2021-04-20 | Samsung Electronics Co., Ltd. | 3D point cloud compression systems for delivery and access of a subset of a compressed 3D point cloud |
| WO2019199415A1 (en) | 2018-04-13 | 2019-10-17 | Futurewei Technologies, Inc. | Differential coding method for patch side information |
| US10657689B2 (en) | 2018-04-13 | 2020-05-19 | Sony Corporation | Method and apparatus for point cloud color processing |
| JP7434148B2 (ja) | 2018-04-19 | 2024-02-20 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 |
| US11146284B2 (en) | 2018-05-03 | 2021-10-12 | Sap Se | Space-filling curve dictionary-based compression |
| CN108833927B (zh) | 2018-05-03 | 2019-08-16 | 北京大学深圳研究生院 | 一种基于删除量化矩阵中0元素的点云属性压缩方法 |
| CN108632607B (zh) | 2018-05-09 | 2019-06-21 | 北京大学深圳研究生院 | 一种基于多角度自适应帧内预测的点云属性压缩方法 |
| CN112119429A (zh) | 2018-05-11 | 2020-12-22 | 松下电器（美国）知识产权公司 | 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置 |
| EP3579194A1 (en) | 2018-06-08 | 2019-12-11 | My Virtual Reality Software AS | Indexation of massive point cloud data for efficient visualization |
| KR20210022100A (ko) | 2018-06-26 | 2021-03-02 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 포인트 클라우드 코딩을 위한 고급 신택스 설계 |
| US11501507B2 (en) | 2018-06-26 | 2022-11-15 | Sony Group Corporation | Motion compensation of geometry information |
| US11010955B2 (en) | 2018-06-27 | 2021-05-18 | Sony Group Corporation | Point cloud mapping |
| US11044478B2 (en) | 2018-07-02 | 2021-06-22 | Apple Inc. | Compression with multi-level encoding |
| US11017566B1 (en) | 2018-07-02 | 2021-05-25 | Apple Inc. | Point cloud compression with adaptive filtering |
| US20200013235A1 (en) | 2018-07-03 | 2020-01-09 | Industrial Technology Research Institute | Method and apparatus for processing patches of point cloud |
| US11202098B2 (en) | 2018-07-05 | 2021-12-14 | Apple Inc. | Point cloud compression with multi-resolution video encoding |
| US10911787B2 (en) | 2018-07-10 | 2021-02-02 | Apple Inc. | Hierarchical point cloud compression |
| US11348283B2 (en) | 2018-07-10 | 2022-05-31 | Samsung Electronics Co., Ltd. | Point cloud compression via color smoothing of point cloud prior to texture video generation |
| US11138762B2 (en) | 2018-07-11 | 2021-10-05 | Samsung Electronics Co., Ltd. | Visual quality of video based point cloud compression using one or more additional patches |
| US11741575B2 (en) | 2018-07-11 | 2023-08-29 | Sony Corporation | Image processing apparatus and image processing method |
| EP3595181B1 (en) | 2018-07-11 | 2023-09-06 | BlackBerry Limited | Predictor-copy coding mode for coding of point clouds |
| WO2020012073A1 (en) | 2018-07-11 | 2020-01-16 | Nokia Technologies Oy | Method and apparatus for storage and signaling of compressed point clouds |
| US11012713B2 (en) | 2018-07-12 | 2021-05-18 | Apple Inc. | Bit stream structure for compressed point cloud data |
| US10783698B2 (en) | 2018-07-31 | 2020-09-22 | Intel Corporation | Point cloud operations |
| US20200045344A1 (en) | 2018-07-31 | 2020-02-06 | Intel Corporation | Video processing mechanism |
| EP3614674A1 (en) | 2018-08-23 | 2020-02-26 | Nokia Technologies Oy | An apparatus, a method and a computer program for volumetric video |
| EP3850579A4 (en) | 2018-09-13 | 2022-08-03 | Nokia Technologies Oy | METHOD, DEVICE AND COMPUTER PROGRAM PRODUCT FOR VOLUMETRIC VIDEO |
| KR102608572B1 (ko) | 2018-09-14 | 2023-12-04 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 포인트 클라우드 코딩에서의 개선된 속성 지원 |
| WO2020066680A1 (ja) | 2018-09-28 | 2020-04-02 | ソニー株式会社 | 画像処理装置および方法 |
| WO2020067441A1 (ja) | 2018-09-28 | 2020-04-02 | シャープ株式会社 | ３ｄデータ生成装置、３ｄデータ再生装置、制御プログラム及び記録媒体 |
| US11386524B2 (en) | 2018-09-28 | 2022-07-12 | Apple Inc. | Point cloud compression image padding |
| US11132818B2 (en) | 2018-09-28 | 2021-09-28 | Apple Inc. | Predicting attributes for point cloud compression according to a space filling curve |
| US20200153885A1 (en) | 2018-10-01 | 2020-05-14 | Lg Electronics Inc. | Apparatus for transmitting point cloud data, a method for transmitting point cloud data, an apparatus for receiving point cloud data and/or a method for receiving point cloud data |
| US11166048B2 (en) | 2018-10-02 | 2021-11-02 | Tencent America LLC | Method and apparatus for video coding |
| WO2020071416A1 (ja) | 2018-10-02 | 2020-04-09 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 |
| US11367224B2 (en) | 2018-10-02 | 2022-06-21 | Apple Inc. | Occupancy map block-to-patch information compression |
| US10853973B2 (en) | 2018-10-03 | 2020-12-01 | Apple Inc. | Point cloud compression using fixed-point numbers |
| US11430155B2 (en) | 2018-10-05 | 2022-08-30 | Apple Inc. | Quantized depths for projection point cloud compression |
| WO2020072865A1 (en) | 2018-10-05 | 2020-04-09 | Interdigital Vc Holdings, Inc. | A method and device for encoding and reconstructing missing points of a point cloud |
| WO2020075780A1 (ja) | 2018-10-09 | 2020-04-16 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 |
| WO2020100866A1 (ja) | 2018-11-13 | 2020-05-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 |
| WO2020101021A1 (ja) | 2018-11-16 | 2020-05-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 |
| US10867430B2 (en) | 2018-11-19 | 2020-12-15 | Intel Corporation | Method and system of 3D reconstruction with volume-based filtering for image processing |
| US11010907B1 (en) | 2018-11-27 | 2021-05-18 | Zoox, Inc. | Bounding box selection |
| US10762667B2 (en) | 2018-11-30 | 2020-09-01 | Point Cloud Compression, B.V. | Method and apparatus for compression of point cloud data |
| JPWO2020116563A1 (ja) | 2018-12-06 | 2021-10-28 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 |
| US11631218B2 (en) | 2018-12-11 | 2023-04-18 | Google Llc | Efficient compression of data representing triangular mesh attributes |
| US10812818B2 (en) | 2018-12-14 | 2020-10-20 | Tencent America LLC | Network abstraction unit layer type classes in network abstraction layer unit header |
| US11095900B2 (en) | 2018-12-19 | 2021-08-17 | Sony Group Corporation | Point cloud coding structure |
| US11288843B2 (en) | 2019-01-04 | 2022-03-29 | Samsung Electronics Co., Ltd. | Lossy compression of point cloud occupancy maps |
| US11454710B2 (en) | 2019-01-08 | 2022-09-27 | Apple Inc. | Point cloud compression using a space filling curve for level of detail generation |
| US11348284B2 (en) | 2019-01-08 | 2022-05-31 | Apple Inc. | Auxiliary information signaling and reference management for projection-based point cloud compression |
| US11284091B2 (en) | 2019-03-25 | 2022-03-22 | Apple Inc. | Video based point cloud compression-patch alignment and size determination in bounding box |
| US11373338B2 (en) | 2019-01-09 | 2022-06-28 | Samsung Electronics Co., Ltd. | Image padding in video-based point-cloud compression CODEC |
| US10977773B2 (en) | 2019-02-19 | 2021-04-13 | Google Llc | Cost-driven framework for progressive compression of textured meshes |
| US11393132B2 (en) | 2019-03-07 | 2022-07-19 | Samsung Electronics Co., Ltd. | Mesh compression |
| US11823421B2 (en) | 2019-03-14 | 2023-11-21 | Nokia Technologies Oy | Signalling of metadata for volumetric video |
| US10587286B1 (en) | 2019-03-18 | 2020-03-10 | Blackberry Limited | Methods and devices for handling equiprobable symbols in entropy coding |
| US10964068B2 (en) | 2019-03-18 | 2021-03-30 | Blackberry Limited | Methods and devices for predictive point cloud attribute coding |
| CN110097639B (zh) | 2019-03-18 | 2023-04-18 | 北京工业大学 | 一种三维人体姿态估计方法 |
| US11334969B2 (en) | 2019-03-19 | 2022-05-17 | Sony Group Corporation | Point cloud geometry padding |
| US20200302655A1 (en) | 2019-03-20 | 2020-09-24 | Lg Electronics Inc. | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device and point cloud data reception method |
| US11503367B2 (en) | 2019-03-20 | 2022-11-15 | Tencent America LLC | Techniques and apparatus for weighted-median prediction for point-cloud attribute coding |
| EP3751857A1 (en) | 2019-06-14 | 2020-12-16 | Nokia Technologies Oy | A method, an apparatus and a computer program product for volumetric video encoding and decoding |
| SG11202110395VA (en) | 2019-06-26 | 2021-10-28 | Tencent America LLC | Implicit quadtree or binary-tree geometry partition for point cloud coding |
| US11711544B2 (en) | 2019-07-02 | 2023-07-25 | Apple Inc. | Point cloud compression with supplemental information messages |
| WO2021002657A1 (ko) | 2019-07-04 | 2021-01-07 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| US11368717B2 (en) | 2019-09-16 | 2022-06-21 | Tencent America LLC | Method and apparatus for point cloud compression |
| US11450030B2 (en) | 2019-09-24 | 2022-09-20 | Apple Inc. | Three-dimensional mesh compression using a video encoder |
| US11202078B2 (en) | 2019-09-27 | 2021-12-14 | Apple Inc. | Dynamic point cloud compression using inter-prediction |
| US11627314B2 (en) | 2019-09-27 | 2023-04-11 | Apple Inc. | Video-based point cloud compression with non-normative smoothing |
| US11562507B2 (en) | 2019-09-27 | 2023-01-24 | Apple Inc. | Point cloud compression using video encoding with time consistent patches |
| US11409998B2 (en) | 2019-10-02 | 2022-08-09 | Apple Inc. | Trimming search space for nearest neighbor determinations in point cloud compression |
| US11538196B2 (en) | 2019-10-02 | 2022-12-27 | Apple Inc. | Predictive coding for point cloud compression |
| US11398833B2 (en) | 2019-10-02 | 2022-07-26 | Apple Inc. | Low-latency encoding using a bypass sub-stream and an entropy encoded sub-stream |
| EP4018669A4 (en) | 2019-10-03 | 2022-11-02 | LG Electronics Inc. | POINT CLOUD DATA TRANSMITTING DEVICE, POINT CLOUD DATA TRANSMITTING METHOD, POINT CLOUD DATA RECEIVING DEVICE AND POINT CLOUD DATA RECEIVING METHOD |
| US11568571B2 (en) | 2019-10-03 | 2023-01-31 | Tencent America LLC | Techniques and apparatus for lossless lifting for attribute coding |
| KR102340238B1 (ko) | 2019-10-03 | 2021-12-16 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| US11895307B2 (en) | 2019-10-04 | 2024-02-06 | Apple Inc. | Block-based predictive coding for point cloud compression |
| US11676310B2 (en) | 2019-11-16 | 2023-06-13 | Uatc, Llc | System and methods for encoding octree structured point cloud data using an entropy model |
| US11417029B2 (en) | 2019-12-02 | 2022-08-16 | Tencent America LLC | Method and apparatus for point cloud coding |
| US11223836B2 (en) | 2019-12-02 | 2022-01-11 | Tencent America LLC | Method and apparatus for point cloud coding |
| US11798196B2 (en) | 2020-01-08 | 2023-10-24 | Apple Inc. | Video-based point cloud compression with predicted patches |
| US11477483B2 (en) | 2020-01-08 | 2022-10-18 | Apple Inc. | Video-based point cloud compression with variable patch scaling |
| US11475605B2 (en) | 2020-01-09 | 2022-10-18 | Apple Inc. | Geometry encoding of duplicate points |
| US11741637B2 (en) | 2020-02-10 | 2023-08-29 | Tencent America LLC | Node-based geometry and attribute coding for a point cloud |
| US11710259B2 (en) | 2020-02-10 | 2023-07-25 | Tencent America LLC | Predictive tree coding for point cloud coding |
| US11450031B2 (en) | 2020-04-14 | 2022-09-20 | Apple Inc. | Significant coefficient flag encoding for point cloud attribute compression |
| US11375208B2 (en) | 2020-06-23 | 2022-06-28 | Sony Group Corporation | Trisoup node size per slice |
| US11620768B2 (en) | 2020-06-24 | 2023-04-04 | Apple Inc. | Point cloud geometry compression using octrees with multiple scan orders |
| US11615557B2 (en) | 2020-06-24 | 2023-03-28 | Apple Inc. | Point cloud compression using octrees with slicing |
| GB202100316D0 (en) | 2021-01-11 | 2021-02-24 | Samsung Electronics Co Ltd | Hybrid image retargeting |
| US20230169658A1 (en) | 2021-11-29 | 2023-06-01 | Adobe Inc. | Instant masks with polarized light |
-
2018
- 2018-09-14 US US16/132,230 patent/US10909725B2/en active Active
- 2018-09-18 DE DE112018005250.8T patent/DE112018005250T5/de active Pending
- 2018-09-18 CN CN201880060357.5A patent/CN111133476B/zh active Active
- 2018-09-18 KR KR1020217041003A patent/KR102398408B1/ko active IP Right Grant
- 2018-09-18 KR KR1020207007975A patent/KR102340774B1/ko active IP Right Grant
- 2018-09-18 WO PCT/US2018/051448 patent/WO2019055963A1/en active Application Filing
-
2021
- 2021-01-25 US US17/157,833 patent/US11527018B2/en active Active
-
2022
- 2022-12-08 US US18/063,592 patent/US11922665B2/en active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030066949A1 (en) * | 1996-10-25 | 2003-04-10 | Mueller Frederick E. | Method and apparatus for scanning three-dimensional objects |
| CN101198945A (zh) * | 2003-10-09 | 2008-06-11 | 惠普开发有限公司 | 用于富媒体环境的管理系统 |
| EP1745442A1 (en) * | 2004-02-18 | 2007-01-24 | Laurence Marzell | Adaptive 3d image modelling system and apparatus and method thereof |
| WO2008129021A2 (en) * | 2007-04-18 | 2008-10-30 | Gottfried Wilhelm Leibniz Universität Hannover | Scalable compression of time-consistend 3d mesh sequences |
| CN102428698A (zh) * | 2009-03-23 | 2012-04-25 | 生命力有限公司 | 基于来自客户端设备的反馈信息压缩视频帧或其部分的系统及方法 |
| US9214042B2 (en) * | 2010-01-25 | 2015-12-15 | Thomson Licensing | Method for encoding normals of a 3D mesh model, method for decoding normals of a 3D mesh model, encoder and decoder |
| CN103329524A (zh) * | 2011-01-18 | 2013-09-25 | 富士通株式会社 | 动态图像编码装置、动态图像编码方法以及动态图像编码用计算机程序 |
| JP2013111948A (ja) * | 2011-11-30 | 2013-06-10 | Ricoh Co Ltd | 撮像装置、測色装置および画像形成装置 |
| CN102630011A (zh) * | 2012-03-31 | 2012-08-08 | 浙江师范大学 | 一种视频传感器网络中的压缩感知编解码方法及系统 |
| CN107155342A (zh) * | 2012-06-05 | 2017-09-12 | 苹果公司 | 用于3d地图的虚拟相机 |
| CN103944580A (zh) * | 2014-04-14 | 2014-07-23 | 天津万合星辰信息技术有限公司 | 一种生理体征传感器持续采集信号的无损压缩方法 |
| CN104156972A (zh) * | 2014-08-25 | 2014-11-19 | 西北工业大学 | 基于激光扫描测距仪与多相机融合的透视成像方法 |
| CN105818167A (zh) * | 2015-01-22 | 2016-08-03 | 通用汽车环球科技运作有限责任公司 | 采用远距数字摄像头校准铰接的末端执行器的方法 |
| CN105261060A (zh) * | 2015-07-23 | 2016-01-20 | 东华大学 | 基于点云压缩和惯性导航的移动场景实时三维重构方法 |
| US20170247120A1 (en) * | 2016-02-26 | 2017-08-31 | Skycatch, Inc. | Battery arm sensor assembly |
| CN106846425A (zh) * | 2017-01-11 | 2017-06-13 | 东南大学 | 一种基于八叉树的散乱点云压缩方法 |
Non-Patent Citations (3)
| Title |
|---|
| DONG LIU: "Three-Dimensional Point-Cloud Plus Patches: Towards Model-Based Image Coding in the Cloud" * |
| TILO OCHATTA: "Image-Based Surface Compression" * |
| 刘超: "点云数据处理与三维重构研究" * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113557745A (zh) * | 2019-03-19 | 2021-10-26 | 索尼集团公司 | 点云几何结构填充 |
| CN113766228A (zh) * | 2020-06-05 | 2021-12-07 | Oppo广东移动通信有限公司 | 点云压缩方法、编码器、解码器及存储介质 |
| CN113766228B (zh) * | 2020-06-05 | 2023-01-13 | Oppo广东移动通信有限公司 | 点云压缩方法、编码器、解码器及存储介质 |
| CN112184840A (zh) * | 2020-09-22 | 2021-01-05 | 上海交通大学 | 基于多尺度结构化字典学习的3d点云压缩系统 |
| US11836954B2 (en) | 2020-09-22 | 2023-12-05 | Shanghai Jiao Tong University | 3D point cloud compression system based on multi-scale structured dictionary learning |
| WO2022062860A1 (zh) * | 2020-09-25 | 2022-03-31 | 腾讯科技（深圳）有限公司 | 一种点云媒体的数据处理方法、装置、设备及存储介质 |
| CN112634457A (zh) * | 2021-01-06 | 2021-04-09 | 广西科技大学 | 基于豪斯多夫距离和平均投影距离局部熵的点云精简方法 |
| CN112634457B (zh) * | 2021-01-06 | 2022-07-05 | 广西科技大学 | 基于豪斯多夫距离和平均投影距离局部熵的点云精简方法 |
| TWI782806B (zh) * | 2021-12-02 | 2022-11-01 | 財團法人國家實驗研究院 | 點雲算圖方法 |
| CN114785998A (zh) * | 2022-06-20 | 2022-07-22 | 北京大学深圳研究生院 | 一种点云的压缩方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102340774B1 (ko) | 2021-12-20 |
| US20190087979A1 (en) | 2019-03-21 |
| KR20210154893A (ko) | 2021-12-21 |
| US10909725B2 (en) | 2021-02-02 |
| US20230125227A1 (en) | 2023-04-27 |
| KR102398408B1 (ko) | 2022-05-13 |
| US11922665B2 (en) | 2024-03-05 |
| CN111133476B (zh) | 2023-11-10 |
| US11527018B2 (en) | 2022-12-13 |
| KR20200038534A (ko) | 2020-04-13 |
| WO2019055963A1 (en) | 2019-03-21 |
| DE112018005250T5 (de) | 2020-06-18 |
| US20210150765A1 (en) | 2021-05-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111133476B (zh) | 包括多个点的点云的压缩和解压缩的系统、设备和方法 | |
| CN114424542B (zh) | 具有非规范平滑的基于视频的点云压缩 | |
| US11889116B2 (en) | Video-based point cloud compression with variable patch scaling | |
| US11284091B2 (en) | Video based point cloud compression-patch alignment and size determination in bounding box | |
| US11348284B2 (en) | Auxiliary information signaling and reference management for projection-based point cloud compression | |
| US11533494B2 (en) | Point cloud compression | |
| US11508094B2 (en) | Point cloud compression | |
| US11798196B2 (en) | Video-based point cloud compression with predicted patches | |
| US11676309B2 (en) | Point cloud compression using masks | |
| US11663744B2 (en) | Point cloud compression with adaptive filtering | |
| US11430155B2 (en) | Quantized depths for projection point cloud compression | |
| US20220070493A1 (en) | Point Cloud Compression with Multi-Resolution Video Encoding | |
| US20220292722A1 (en) | Occupancy map block-to-patch information compression | |
| CN114175661A (zh) | 具有补充信息消息的点云压缩 | |
| WO2020146547A1 (en) | Auxiliary information signaling and reference management for projection-based point cloud compression |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: K. marmo Inventor after: F. A. Robinette Inventor after: A. Tulapis Inventor after: Su Yeping Inventor before: K. marmo Inventor before: F. A. Robinette Inventor before: A. Tulapis Inventor before: Su Yeping |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |