CN113939849A - 经由点云表示的网格压缩 - Google Patents

经由点云表示的网格压缩 Download PDF

Info

Publication number
CN113939849A
CN113939849A CN202080042641.7A CN202080042641A CN113939849A CN 113939849 A CN113939849 A CN 113939849A CN 202080042641 A CN202080042641 A CN 202080042641A CN 113939849 A CN113939849 A CN 113939849A
Authority
CN
China
Prior art keywords
grid
mesh
patch
pcc
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080042641.7A
Other languages
English (en)
Inventor
D·格拉兹斯
中神央二
A·扎格托
A·塔巴塔拜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN113939849A publication Critical patent/CN113939849A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Generation (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本文描述了一种使用基于投影的方法压缩网格并利用已经为基于投影的点云压缩生成的工具和语法的方法。类似于V‑PCC方法，网格被分割成表面面片，唯一的区别是这些面片段遵循网格的连接性。然后将每个表面面片(或3D面片)投影到2D面片，从而在网格的情况下，三角形表面采样类似于计算机图形中使用的常见栅格化方法。对于每个面片，经投影的顶点的位置和这些顶点的连接性一起保存在列表中。经采样的表面现在类似于点云，并使用与点云压缩使用的相同的方法对经采样的表面进行编码。此外，顶点和连接性的列表是按每个面片编码的，并且该数据与经编码的点云数据一起被发送。

Description

经由点云表示的网格压缩
相关申请的交叉引用
本申请在35 U.S.C.§119(e)下要求于2019年12月10日提交的标题为“经由点云表示的网格压缩”的美国临时专利申请序列No.62/946,194的优先权，为了所有目的，其全部内容通过引用并入本文。
技术领域
本发明涉及三维图形。更具体地，本发明涉及三维图形的编码。
背景技术
近年来，一种基于3D到2D投影的压缩点云的新方法正在被标准化。该方法也被称为V-PCC(基于视频的点云压缩)，其将3D点云数据映射成若干2D面片(patch)，然后将这些面片进一步排列成图集(atlas)图像，然后用视频编码器对其编码。该图集图像对应于点的几何形状、各自的纹理和一个占位图，该占位图指示了为点云重建要考虑哪些位置。
2017年，MPEG发布了点云压缩的提案征集(CfP)。在对若干提案的评估后，目前MPEG正在考虑两种不同的点云压缩技术：3D原生编码技术(基于八叉树和类似的编码方法)，或3D到2D投影，然后是传统的视频编码。在动态3D情景的情况下，MPEG正在使用基于面片表面建模的测试模型软件(TMC2)，将面片从3D投影到2D图像，并使用视频编码器(诸如HEVC)对2D图像编码。这种方法已经证明比原生3D编码更有效，并且能够以可接受的质量实现具有竞争力的比特率。
由于基于投影的方法(也称为基于视频的方法，或V-PCC)编码3D点云的成功，该标准有望在未来的版本中包括进一步的3D数据(诸如3D网格)。但是，当前版本的标准仅适合用于点的未连接的集合的传输，因此没有发送点的连接性的机制，尽管其在3D网格压缩中是必需的。
将V-PCC的功能扩展到网格的方法也已经被提出。一种可能的方法是使用V-PCC对顶点进行编码，然后使用网格压缩方法(诸如TFAN或Edgebreaker)对连接性进行编码。这种方法的局限性在于原始网格必须是稠密的，所以从顶点生成的点云不是稀疏且可以在投影后被高效编码的。此外，顶点的顺序影响连接性的编码，并且已经提出了重新组织网格连接性的不同方法。编码稀疏网格的另一种方法是使用RAW面片数据对3D中的顶点位置进行编码。由于RAW面片直接对(x，y，z)进行编码，在这个方法中，所有的顶点被编码为RAW数据，而连接性由类似的网格压缩方法进行编码，如前所述。在RAW面片中，可以按任何优选顺序发送顶点，因此可以使用从连接性编码生成的顺序。这种方法可以对稀疏点云进行编码，但是RAW面片对于编码3D数据效率不高，并且从这种方法可能会丢失进一步的数据(诸如三角形面的属性)。
发明内容
本文描述了一种使用基于投影的方法压缩网格并利用已经为基于投影的点云压缩生成的工具和语法的方法。类似于V-PCC方法，网格被分割成表面面片，唯一的区别是这些面片段遵循网格的连接性。然后将每个表面面片(或3D面片)投影到2D面片，凭借在网格的情况下，三角形表面采样类似于计算机图形中使用的常见栅格化方法。对于每个面片，经投影的顶点的位置以及这些顶点的连接性都保存在列表中。经采样的表面现在类似于点云，并使用与点云压缩使用的相同的方法对经采样的表面编码。此外，顶点和连接性的列表是按每个面片编码的，并且该数据与经编码的点云数据一起被发送。
附加连接性数据能够被解释成为针对每个面片生成的基础网格，给予解码器使用或不使用该附加数据的灵活性。该数据可以被用于改进渲染和点滤波算法。此外，使用与基于投影的压缩相同的原理对网格编码，其导致与当前的基于投影的点云编码的V-PCC方法更好的集成。
在一个方面，一种在设备的非暂时性存储器中编程的方法包括：对输入网格执行网格体素化；实现面片生成，其将网格分割成面片，所述面片包括栅格化的网格表面和顶点位置以及连接性信息；从栅格化的网格表面生成基于视频的点云压缩(V-PCC)图像；使用顶点位置和连接性信息实现基础网格编码；以及基于V-PCC图像和基础网格编码生成V-PCC比特流。网格体素化包括移动和/或缩放网格值以避免负值和非整数值。网格体素化包括找到低于零的最低顶点值并移动网格值以使最低顶点值高于零。实现面片生成包括计算每个三角形的法线。计算三角形的法线包括使用边之间的交叉乘积。该方法还包括根据法线对三角形进行分类。该方法还包括通过分析相邻三角形来实现细化过程。基础网格编码包括对顶点的(u，v)坐标进行编码。生成V-PCC比特流包括基础网格信令以及利用多层实现。多层实现中的第一层包括原始点云，多层实现中的第二层包括稀疏网格，多层实现中的第三层包括稠密网格。该方法还包括为每个面片生成包括附加连接性数据的基础网格，其中解码器确定是否利用附加连接性数据，并且其中附加连接性数据改进渲染和点滤波。基于颜色代码对连接性信息进行编码。基于V-PCC图像和基础网格编码生成V-PCC比特流利用每个面片的连接性信息。
在另一方面，一种装置包括用于存储应用程序的非暂时性存储器，该应用程序用于：对输入网格执行网格体素化；实现面片生成，其将网格分割成面片，所述面片包括栅格化的网格表面和顶点位置以及连接性信息；从栅格化的网格表面生成基于视频的点云压缩(V-PCC)图像；使用顶点位置和连接性信息实现基础网格编码；并基于V-PCC图像和基础网格编码生成V-PCC比特流；以及耦合到存储器的处理器，所述处理器被配置为用于处理应用程序。网格体素化包括移动和/或缩放网格值以避免负值和非整数值。网格体素化包括找到低于零的最低顶点值并移动网格值以使最低顶点值高于零。实现面片生成包括计算每个三角形的法线。计算三角形的法线包括使用边之间的交叉乘积。该应用程序还用于根据法线对三角形进行分类。该应用程序还用于通过分析相邻三角形来实现细化过程。基础网格编码包括对顶点的(u，v)坐标进行编码。生成V-PCC比特流包括基础网格信令以及利用多层实现。多层实现中的第一层包括原始点云，多层实现中的第二层包括稀疏网格，以及多层实现中的第三层包括稠密网格。所述应用程序还用于为每个面片生成包括附加连接性数据的基础网格，其中解码器确定是否利用附加连接性数据，并且其中附加连接性数据改进渲染和点滤波。基于颜色代码对连接性信息进行编码。基于V-PCC图像和基础网格编码生成V-PCC比特流利用每个面片的连接性信息。
在另一方面，一种系统包括用于获取三维内容的一个或多个相机以及用于通过以下操作对三维内容进行编码的编码器：对三维内容的输入网格执行网格体素化；实现面片生成，其将网格分割成面片，所述面片包括栅格化的网格表面和顶点位置以及连接性信息；从栅格化的网格表面生成基于视频的点云压缩(V-PCC)图像；使用顶点位置和连接性信息实现基础网格编码以及基于V-PCC图像和基础网格编码生成V-PCC比特流。网格体素化包括移动和/或缩放网格值以避免负值和非整数值。网格体素化包括找到低于零的最低顶点值并且移动所述网格值以使最低顶点值高于零。实现面片生成包括计算每个三角形的法线。计算三角形的法线包括使用边之间的交叉乘积。编码器还用于根据法线对三角形进行分类。编码器还用于通过分析相邻三角形来实现细化过程。基础网格编码包括对顶点的(u，v)坐标进行编码。生成V-PCC比特流包括基础网格信令以及利用多层实现。多层实现中的第一层包括原始点云，多层实现中的第二层包括稀疏网格，多层实现中的第三层包括稠密网格。编码器还被配置为，为每个面片生成包括附加连接性数据的基础网格，其中解码器确定是否利用附加连接性数据，并且其中附加连接性数据改进渲染和点滤波。连接性信息基于颜色代码进行编码。基于V-PCC图像和基础网格编码生成V-PCC比特流利用每个面片的连接性信息。
附图说明
图1示出了根据一些实施例的网格压缩方法。
图2示出了根据一些实施例的网格体素化。
图3示出了根据一些实施例的与面片生成相关的图像。
图4示出了根据一些实施例的用于点云表示的经投影的三角形的示意图。
图5示出了根据一些实施例的顶点和三角形的示例性图像。
图6示出了根据一些实施例的通过使用几何形状图像的颜色通道来指示三角形连接性以编码连接性的示例。
图7示出了根据一些实施例的用于基础网格信令的网络抽象层(NAL)单元和多层实现。
图8示出了根据一些实施例的用于基础网格信令的多层实现。
图9示出了根据一些实施例的几何形状细化的示意图。
图10示出了根据一些实施例的使用网格压缩方法的点云渲染的流程图。
图11示出了根据一些实施例的被配置为实现网格压缩方法的示例性计算设备的框图。
具体实施方式
以上描述了使用网格表面的点云表示进行3D网格数据的压缩的方法。实施例利用3D表面面片来表示点云并执行3D面片表面数据到2D画布图像的临时一致全局映射。
在使用视频编码器的3D点云编码中，从3D到2D的投影对于生成将表示点云的视频是重要的。生成那些视频的最有效方法是使用3D面片，其将对象的表面进行分割，并且使用正交投影来生成分割后的深度图像，所述分割后的深度图像被捆绑在一起并用作视频编码器的输入。在当前的点云标准中，无法对3D网格进行编码，因为没有定义的方法对网格的连接性进行编码。此外，如果顶点数据稀疏，则该标准表现不佳，因为其无法利用顶点之间的相关性。
本文描述了使用用于点云压缩的基于视频的标准来执行网格编码的方法。公开了分割网格表面和关节表面采样以及2D面片生成方法。所公开的方法也描述了针对局部连接性而被编码的每个面片，并且将顶点的位置投影到2D面片。还描述了用于发送连接性和顶点位置的信号以及使得能够进行原始输入网格的重建的方法。
实施例可以应用于具有网格属性(诸如纹理)的稠密时变网格。
图1示出了根据一些实施例的网格压缩方法。在步骤100中，对输入网格执行网格体素化。网格体素化涉及将输入网格的点位置的浮点值转换为整数。整数的精度能够由用户设置或自动设置。在一些实施例中，网格体素化包括移动值，因此没有负数。在步骤102中，实现将网格分割成面片的面片创建/生成。面片生成还生成1)栅格化网格表面和2)顶点位置和连接性信息。在步骤104中，栅格化的网格表面是经过V-PCC图像生成并被编码为V-PCC图像的点的集合。在步骤106中，为基础网格编码接收顶点位置和连接性信息。在步骤108中，基于V-PCC图像生成和基础网格编码生成V-PCC码流。在一些实施例中，实现更少或附加的步骤。在一些实施例中，修改了步骤的顺序。
网格体素化
图2示出了根据一些实施例的网格体素化。如图200所示，原始网格位于轴线下方，结果是负数。通过网格体素化，网格被移动和/或缩放以避免负值和非整数值。在一种实施方式中，找到低于零的最低顶点值，然后这些值能够被移动，使得最低的顶点值高于零。在一些实施例中，值的范围适合于指定的诸如11比特的比特范围(例如，通过缩放)。
图像202显示原始网格和体素化网格之间没有感知差异。
面片生成
本文描述的面片生成类似于V-PCC中的面片生成。但是，不是计算每个点的法线，而是计算每个三角形的法线。使用边之间的交叉乘积来计算每个三角形的法线，以确定法线向量。然后，根据法线对三角形进行分类。例如，法线被分成n(例如6)个类别(诸如前、后、上、下、左和右)。用不同颜色表示法线以显示初始分割。图3的图像300显示了灰度中的不同颜色(诸如黑色和浅灰色)，因为不同颜色表示不同的法线。尽管在图像300中可以难以看到，顶面(例如，人的头顶、球的顶部和运动鞋的顶部)是一种颜色(例如，绿色)，人/球的第一面很暗，表示另一种颜色(例如，红色)，球的底部是另一种颜色(例如，紫色)，并且人和球的正面，多为浅灰色，表示另一种颜色(例如，青色)。
通过将法线的乘积乘以方向，能够找到主方向。通过查看相邻三角形，能够实现平滑/细化过程。例如，如果数量高于阈值的相邻三角形全部是蓝色的，那么这个三角形也被分类为蓝色，即使存在最初表示三角形是红色的异常。例如，如参考标记302所表示的红色三角形能够被校正为如参考标记304所示的青色。
图像310显示了具有法线向量的三角形的示例。
生成三角形的连接的组件以识别哪些三角形具有相同的颜色(例如，具有相同类别的三角形共享至少一个顶点)。
连接性信息描述了点在3D中的连接方式。这些连接一起生成三角形(更具体地，共享3个点的3个不同连接)，其因此生成表面(由三角形的集合描述)。尽管本文描述了三角形，也允许其他几何形状(例如，矩形)。
通过识别具有不同颜色的三角形，颜色能够被用于对连接性进行编码。由三个连接识别的每个三角形用独有的颜色进行编码。
通过将网格投影到2D表面上，三角形投影覆盖的区域也由像素的集合确定。如果用不同的颜色对分组的像素编码，则可以通过图像中的不同颜色识别三角形。一旦三角形是已知的，就可以通过仅仅识别形成三角形的三个连接来获得连接性。
每个三角形都被投影到面片。如果顶点的投影位置已经被占用，该三角形被编码在另一个面片中，因此其会进入缺失的三角形列表，以在稍后再次处理。或者，映射图能够被用于识别重叠的顶点，并且仍然能够表示具有重叠顶点的三角形。在另一个替代方案中，点能够被分割成单独的层(例如，一层中的一组点和第二层中的第二组点)。
三角形被栅格化来为点云表示生成点。
图4示出了根据一些实施例的用于点云表示的经投影的三角形的示意图。三角形400已经被投影到格子402(例如，三角形的2D投影)。格子402中的每个方块是点云中的一个点。有些点是顶点的原始点。如图所示，当这些点被投影时，它们被体素化并投影到这些位置中。2D投影中的点404标记原始网格上的顶点。对于三角形400的区域，通过对表面进行栅格化生成点。三角形内的格子元素成为点云中的点，其从网格生成点云(例如，在投影平面上执行栅格化)。
被添加到点云的点遵循网格的结构，因此点云几何形状能够与底层网格一样粗糙。但是，通过为每个栅格化像素发送附加的位置能够改进几何形状。
基础网格编码
面片中的点列表是三角形的顶点，即使在投影后网格的连接性也是相同的。图5示出了根据一些实施例的顶点和三角形的示例性图像。顶点是黑色的点，连接性是连接黑色的点的线。
对连接性编码(例如，基于颜色代码)。在一些实施例中，对整数值列表编码。能够使用列表中的差分脉冲编码调制(DPCM)。在一些实施例中，能够细化该列表或者能够实现智能网格编码。在一些实施例中，更复杂的方法也是可能的(例如，使用Edgebreaker或TFAN，两者都是编码算法)。
在一些实施例中，对顶点的(u，v)坐标编码，而不是(x，y，z)。(u，v)坐标是2D格子上的位置(例如，顶点被投影到的位置)。从几何形状图像中的投影，能够确定(x，y，z)信息。DPCM方法也是可能的。在一些实施例中，(u，v)坐标被存储在列表中。能够通过连接性确定顺序。基于连接性，已知某些顶点是相连的，所以相连的顶点的(u，v)的值应该是相似的，这使得能够进行诸如平行四边形预测的预测(例如Draco，一种网格压缩算法)。
图6示出了根据一些实施例的通过使用几何形状图像的颜色通道来指示三角形连接性以编码连接性的示例。例如，如果某些三角形相同，则它们的颜色为黄色，并且不同的三角形的颜色可以为蓝色等等，因此颜色识别网格的三角形和连接性。
基础网格信令
按每个面片发送额外信息。在每个面片信息中，发送了连接的组件(例如，顶点)和顶点在2D空间中的位置的列表。更有效的表示法可以为面和顶点使用DPCM方案，如本文所讨论的。
图7示出了根据一些实施例的用于基础网格信令的网络抽象层(NAL)单元和多层实现。NAL 700包括诸如报头、组层、面数、顶点数、面数和顶点位置之类的信息。
在一些实施例中，NAL中的多层实现被用于发送包含连接性信息的附加层。示出了在多层实现中被利用的V-PCC单元流702。第一层(例如，层0)定义点云，并且层1定义网格层。在一些实施例中，这些层相互关联。在一些实施例中，利用附加层。
图8示出了根据一些实施例的用于基础网格信令的多层实现。在分层表示中，layer_id可以被用于发送具有不同分辨率的网格。例如，层0是原始点云，层1是稀疏网格，以及层2是稠密网格。能够实现附加层(例如，层3是非常稠密的网格)。在一些实施例中，层的顺序不同，例如，层0为稠密网格，层1为稀疏网格，层2为原始点云。在一些实施例中，附加层仅提供与前一层的差异或δ。例如，如图8所示，在层1中有3个三角形，以及层2有6个三角形，其中大三角形被划分为4个三角形，并且大三角形的划分(例如，所述4个三角形)被包含在层2中。
面片数据单元的语法能够被修改为包括：
Figure BDA0003402986260000101
Figure BDA0003402986260000111
在一些实施例中，实现替代编码，诸如使用TFAN或Edgebreaker来编码面片连接性、针对顶点使用平行四边形预测和/或使用DPCM编码。
图9示出了根据一些实施例的几何形状细化的示意图。通过将δ信息从基础网格表面传输到点云实际位置，可以改进点的更准确的位置。因为当网格表面被栅格化时，生成的点云将具有与网格表面相似的几何形状，该几何形状可能是粗糙的。δ信息能够通过从网格表面发送δ来获得，而且也可以考虑网格的法线方向。
如本文所述，由于三角形被认为是平坦的，所以每个三角形能够发送更多信息。
还能够实现渲染优化和几何形状滤波。由于基础网格表示表面，因此三角形的边界中包含的所有点是逻辑连接的。重新投影点时，由于几何形状差异和不同的基线距离，可能会出现空洞。但是，渲染器可以使用底层网格信息来改进重新投影。因为其从网格知道点应该在表面上逻辑连接，所以渲染器可以生成插值点并闭合空洞，即使不发送任何额外的信息。
例如，在一些实例中，由于投影在点云中存在空洞，但因为已知用三角形来表示表面，因此应将所有点填充在表面上，所以即使这些点没有从网格表示中被明确编码，能够使用几何形状滤波来填充缺失的点。
如本文所述，网格压缩方法使用基于投影的方法，并且本文描述了利用已经为基于投影的点云压缩生成的工具和语法。类似于V-PCC方法，网格被分割成表面面片，唯一的区别是这些面片段遵循网格的连接性。然后将每个表面面片(或3D面片)投影到2D面片，因此在网格的情况下，三角形表面采样类似于计算机图形中使用的常见栅格化方法。对于每个面片，经投影的顶点的位置以及这些顶点的连接性都保存在一个列表中。经采样的表面现在类似于点云，并使用与点云压缩使用的相同的方法对经采样的表面进行编码。此外，顶点和连接性的列表是按每个面片编码的，并且该数据与经编码的点云数据一起被发送。
附加连接性数据能够被解释成针对每个面片生成的基础网格，给予解码器使用或不使用该附加数据的灵活性。该数据可以被用于改进渲染和点滤波算法。此外，使用与基于投影的压缩相同的原理对网格编码，这导致与点云当前的基于投影的编码的V-PCC方法更好的集成。
图10示出了根据一些实施例的使用网格压缩方法的点云渲染的流程图。在步骤1000中，网格被用V-PCC进行编码和/或经编码的网格被接收(例如，在设备处)。在步骤1002中，经编码的网格进入V-PCC解码器用于解码，结果得到点云1004和网格1006。在步骤1008中，对点云1004和网格1006应用点云滤波。在步骤1010中，经滤波的点云和网格1006被用在点云渲染中。在一些实施例中，实现更少或附加的步骤。在一些实施例中，修改了步骤的顺序。
图11示出了根据一些实施例的被配置为实现网格压缩方法的示例性计算设备的框图。计算设备1100能够被用于获取、存储、计算、处理、通信和/或显示信息，(诸如包括3D内容的图像和视频)。计算设备1100能够实现任何网格压缩方面。一般而言，适合用于实现计算设备1100的硬件结构包括网络接口1102、存储器1104、处理器1106、I/O设备1108、总线1110和存储设备1112。处理器的选择不是关键的，只要选择具有足够速度的合适处理器。存储器1104能够是本领域已知的任何常规计算机存储器。存储设备1112能够包括硬盘驱动器、CDROM、CDRW、DVD、DVDRW、高清盘/驱动器、超高清驱动器、闪存卡或任何其他存储设备。计算设备1100能够包括一个或多个网络接口1102。网络接口的示例包括连接到以太网或其他类型LAN的网卡。一个或多个I/O设备1108能够包括以下一个或多个：键盘、鼠标、监视器、屏幕、打印机、调制解调器、触摸屏、按钮接口和其他设备。用于实现网格压缩方法的一个或多个网格压缩应用程序1130可能被存储在存储设备1112和存储器1104中，并且被按照应用程序通常被处理的方式处理。图11中所示的更多或更少的组件能够被包括在计算设备1100中。在一些实施例中，包括网格压缩硬件1120。尽管图11中的计算设备1100包括用于网格压缩方法的应用程序1130和硬件1120，网格压缩方法能够以硬件、固件、软件或其任何组合在计算设备上实现。例如，在一些实施例中，网格压缩应用程序1130在存储器中被编程并且使用处理器来执行。在另一个示例中，在一些实施例中，网格压缩硬件1120被编程为硬件逻辑，该硬件逻辑包括被专门设计用于实现网格压缩方法的门。
在一些实施例中，一个或多个网格压缩应用程序1130包括若干应用程序和/或模块。在一些实施例中，模块还包括一个或多个子模块。在一些实施例中，能够包括更少或附加的模块。
合适的计算设备的示例包括个人计算机、膝上型计算机、计算机工作站、服务器、大型计算机、手持计算机、个人数字助理、蜂窝/移动电话、智能设备、游戏控制台、数字相机、数码摄像机、拍照手机、智能手机、便携式音乐播放器、平板电脑、移动设备、视频播放器、视频光盘刻录机/播放器(例如，DVD刻录机/播放器、高清光盘刻录机/播放器、超高清光盘刻录机/播放器)、电视、家庭娱乐系统、增强现实设备、虚拟现实设备、智能珠宝(例如，智能手表)、交通工具(例如，自动驾驶交通工具)或任何其他合适的计算设备。
为了利用网格压缩方法，设备获取或接收3D内容并以优化后的方式处理和/或发送内容，使得能够实现3D内容的正确、高效显示。网格压缩方法能够通过用户的帮助实现或在没有用户参与的情况下自动实现。
在操作中，与以前的实现方式相比，网格压缩方法能够实现更高效、更准确的网格压缩。
在示例性实现方式中，本文描述的网格压缩是在TMC2v8.0之上实现的，只有一帧和单个映射图。来自实现方式的信息包括：
比特流统计：
报头：16B 128b
vpcc单元大小[VPCC_VPS]：31B 248b
vpcc单元大小[VPCC_AD]：451967B 3615736b
vpcc单元大小[VPCC_OVD]：25655B 205240b(Ocm video＝25647B)
vpcc单元大小[VPCC_GVD]：64342B 514736b(Geo video＝64334B+0B+0B+0B)
vpcc单元大小[VPCC_AVD]：72816B 582528b(Tex video＝72808B+0B)
总元数据：477685B 3821480b
总几何形状：64334B 514672b
总纹理：72808B 582464b
总计：614827B 4918616b
总比特流大小614843B
经由点云表示的网格压缩的一些实施例
1.一种在设备的非暂时性存储器中编程的方法，包括：
对输入网格执行网格体素化；
实现面片生成，面片生成将网格分割成面片，所述面片包括栅格化的网格表面以及顶点位置和连接性信息；
从栅格化的网格表面生成基于视频的点云压缩(V-PCC)图像；用顶点位置和连接性信息实现基础网格编码；以及
基于V-PCC图像和基础网格编码生成V-PCC比特流。
2.根据条款1所述的方法，其中网格体素化包括移动和/或缩放网格值以避免负值和非整数值。
3.根据条款2所述的方法，其中网格体素化包括找到低于零的最低顶点值并且移动网格值以使所述最低顶点值高于零。
4.根据条款1所述的方法，其中实现面片生成包括计算每个三角形的法线。
5.根据条款4所述的方法，其中计算三角形的法线包括使用边之间的交叉乘积。
6.根据条款4所述的方法，还包括根据法线对三角形进行分类。
7.根据条款4所述的方法，还包括通过分析相邻三角形来实现细化过程。
8.根据条款1所述的方法，其中基础网格编码包括对顶点的(u，v)坐标进行编码。
9.根据条款1所述的方法，其中生成V-PCC比特流包括基础网格信令并且利用多层实现。
10.根据条款9所述的方法，其中多层实现中的第一层包括原始点云，多层实现中的第二层包括稀疏网格，并且多层实现中的第三层包括稠密网格。
11.根据条款1所述的方法，还包括为每个面片生成包括附加连接性数据的基础网格，其中解码器确定是否利用附加连接性数据，并且其中附加连接性数据改进渲染和点滤波。
12.根据条款1所述的方法，其中基于颜色代码对连接性信息进行编码。
13.根据条款1所述的方法，其中基于V-PCC图像和基础网格编码生成V-PCC比特流利用每个面片的连接性信息。
14.一种装置，包括：
用于存储应用程序的非暂时性存储器，所述应用程序用于：
对输入网格执行网格体素化；
实现面片生成，面片生成将网格分割成面片，所述面片包括栅格化的网格表面以及顶点位置和连接性信息；
从栅格化的网格表面生成基于视频的点云压缩(V-PCC)图像；
使用顶点位置和连接性信息实现基础网格编码；以及
基于V-PCC图像和基础网格编码生成V-PCC比特流；以及
耦合到存储器的处理器，所述处理器被配置用于处理所述应用程序。
15.根据条款14所述的装置，其中网格体素化包括移动和/或缩放网格值以避免负值和非整数值。
16.根据条款15所述的装置，其中网格体素化包括找到低于零的最低顶点值并且移动网格值以使所述最低顶点值高于零。
17.根据条款14所述的装置，其中实现面片生成包括计算每个三角形的法线。
18.根据条款17所述的装置，其中计算三角形的法线包括使用边之间的交叉乘积。
19.根据条款17所述的装置，其中所述应用程序还用于根据法线对三角形进行分类。
20.根据条款17所述的装置，其中所述应用程序还用于通过分析相邻三角形来实现细化过程。
21.根据条款14所述的装置，其中基础网格编码包括对顶点的(u，v)坐标进行编码。
22.根据条款14所述的装置，其中生成V-PCC比特流包括基础网格信令并且利用多层实现。
23.根据条款22所述的装置，其中多层实现中的第一层包括原始点云，多层实现中的第二层包括稀疏网格，并且多层实现中的第三层包括稠密网格。
24.根据条款14所述的装置，其中应用程序还用于为每个面片生成包括附加连接性数据的基础网格，其中解码器确定是否利用附加连接性数据，并且其中附加连接性数据改进渲染和点滤波。
25.根据条款14所述的装置，其中基于颜色代码对连接性信息进行编码。
26.根据条款14所述的装置，其中基于V-PCC图像和基础网格编码生成V-PCC比特流利用每个面片的连接性信息。
27.一种系统，包括：
用于获取三维内容的一个或多个相机；以及
用于通过以下操作对三维内容进行编码的编码器：
对三维内容的输入网格执行网格体素化；
实现面片生成，面片生成将网格分割成面片，所述面片包括栅格化的网格表面以及顶点位置和连接性信息；
从栅格化的网格表面生成基于视频的点云压缩(V-PCC)图像；
使用顶点位置和连接性信息实现基础网格编码；以及
基于V-PCC图像和基础网格编码生成V-PCC比特流。
28.根据条款27所述的系统，其中网格体素化包括移动和/或缩放网格值以避免负值和非整数值。
29.根据条款28所述的系统，其中网格体素化包括找到低于零的最低顶点值并且移动网格值以使所述最低顶点值高于零。
30.根据条款27所述的系统，其中实现面片生成包括计算每个三角形的法线。
31.根据条款30所述的系统，其中计算三角形的法线包括使用边之间的交叉乘积。
32.根据条款30所述的系统，其中编码器还用于根据法线对三角形进行分类。
33.根据条款30所述的系统，其中编码器还用于通过分析相邻三角形来实现细化过程。
34.根据条款27所述的系统，其中基础网格编码包括对顶点的(u，v)坐标进行编码。
35.根据条款27所述的系统，其中生成V-PCC比特流包括基础网格信令并且利用多层实现。
36.根据条款35所述的系统，其中多层实现中的第一层包括原始点云，多层实现中的第二层包括稀疏网格，并且多层实现中的第三层包括稠密网格。
37.根据条款27所述的系统，其中编码器还被配置用于为每个面片生成包括附加连接性数据的基础网格，其中解码器确定是否利用附加连接性数据，并且其中附加连接性数据改进渲染和点滤波。
38.根据条款27所述的系统，其中基于颜色代码对连接性信息进行编码。
39.根据条款27所述的系统，其中基于V-PCC图像和基础网格编码生成V-PCC比特流利用每个面片的连接性信息。
已经根据结合细节的特定实施例描述了本发明，以促进对本发明的构造和操作的原理的理解。本文对特定实施例及其细节的这种引用并非旨在限制所附权利要求的范围。对本领域技术人员来说显而易见的是，在不脱离由权利要求所限定的本发明的精神和范围的情况下，可以在被选择用于说明的实施例中进行其他各种修改。

Claims (39)

1.一种在设备的非暂时性存储器中编程的方法，包括：
对输入网格执行网格体素化；
实现面片生成，面片生成将网格分割成面片，所述面片包括栅格化的网格表面以及顶点位置和连接性信息；
从栅格化的网格表面生成基于视频的点云压缩(V-PCC)图像；
用顶点位置和连接性信息实现基础网格编码；以及
基于V-PCC图像和基础网格编码生成V-PCC比特流。
2.根据权利要求1所述的方法，其中网格体素化包括移动和/或缩放网格值以避免负值和非整数值。
3.根据权利要求2所述的方法，其中网格体素化包括找到低于零的最低顶点值并且移动网格值以使所述最低顶点值高于零。
4.根据权利要求1所述的方法，其中实现面片生成包括计算每个三角形的法线。
5.根据权利要求4所述的方法，其中计算三角形的法线包括使用边之间的交叉乘积。
6.根据权利要求4所述的方法，还包括根据法线对三角形进行分类。
7.根据权利要求4所述的方法，还包括通过分析相邻三角形来实现细化过程。
8.根据权利要求1所述的方法，其中基础网格编码包括对顶点的(u，v)坐标进行编码。
9.根据权利要求1所述的方法，其中生成V-PCC比特流包括基础网格信令并且利用多层实现。
10.根据权利要求9所述的方法，其中多层实现中的第一层包括原始点云，多层实现中的第二层包括稀疏网格，并且多层实现中的第三层包括稠密网格。
11.根据权利要求1所述的方法，还包括为每个面片生成包括附加连接性数据的基础网格，其中解码器确定是否利用附加连接性数据，并且其中附加连接性数据改进渲染和点滤波。
12.根据权利要求1所述的方法，其中基于颜色代码对连接性信息进行编码。
13.根据权利要求1所述的方法，其中基于V-PCC图像和基础网格编码生成V-PCC比特流利用每个面片的连接性信息。
14.一种装置，包括：
用于存储应用程序的非暂时性存储器，所述应用程序用于：
对输入网格执行网格体素化；
实现面片生成，面片生成将网格分割成面片，所述面片包括栅格化的网格表面以及顶点位置和连接性信息；
从栅格化的网格表面生成基于视频的点云压缩(V-PCC)图像；
使用顶点位置和连接性信息实现基础网格编码；以及
基于V-PCC图像和基础网格编码生成V-PCC比特流；以及耦合到存储器的处理器，所述处理器被配置用于处理所述应用程序。
15.根据权利要求14所述的装置，其中网格体素化包括移动和/或缩放网格值以避免负值和非整数值。
16.根据权利要求15所述的装置，其中网格体素化包括找到低于零的最低顶点值并且移动网格值以使所述最低顶点值高于零。
17.根据权利要求14所述的装置，其中实现面片生成包括计算每个三角形的法线。
18.根据权利要求17所述的装置，其中计算三角形的法线包括使用边之间的交叉乘积。
19.根据权利要求17所述的装置，其中所述应用程序还用于根据法线对三角形进行分类。
20.根据权利要求17所述的装置，其中所述应用程序还用于通过分析相邻三角形来实现细化过程。
21.根据权利要求14所述的装置，其中基础网格编码包括对顶点的(u，v)坐标进行编码。
22.根据权利要求14所述的装置，其中生成V-PCC比特流包括基础网格信令并且利用多层实现。
23.根据权利要求22所述的装置，其中多层实现中的第一层包括原始点云，多层实现中的第二层包括稀疏网格，并且多层实现中的第三层包括稠密网格。
24.根据权利要求14所述的装置，其中应用程序还用于为每个面片生成包括附加连接性数据的基础网格，其中解码器确定是否利用附加连接性数据，并且其中附加连接性数据改进渲染和点滤波。
25.根据权利要求14所述的装置，其中基于颜色代码对连接性信息进行编码。
26.根据权利要求14所述的装置，其中基于V-PCC图像和基础网格编码生成V-PCC比特流利用每个面片的连接性信息。
27.一种系统，包括：
用于获取三维内容的一个或多个相机；以及
用于通过以下操作对三维内容进行编码的编码器：
对三维内容的输入网格执行网格体素化；
实现面片生成，面片生成将网格分割成面片，所述面片包括栅格化的网格表面以及顶点位置和连接性信息；
从栅格化的网格表面生成基于视频的点云压缩(V-PCC)图像；
使用顶点位置和连接性信息实现基础网格编码；以及
基于V-PCC图像和基础网格编码生成V-PCC比特流。
28.根据权利要求27所述的系统，其中网格体素化包括移动和/或缩放网格值以避免负值和非整数值。
29.根据权利要求28所述的系统，其中网格体素化包括找到低于零的最低顶点值并且移动网格值以使所述最低顶点值高于零。
30.根据权利要求27所述的系统，其中实现面片生成包括计算每个三角形的法线。
31.根据权利要求30所述的系统，其中计算三角形的法线包括使用边之间的交叉乘积。
32.根据权利要求30所述的系统，其中编码器还用于根据法线对三角形进行分类。
33.根据权利要求30所述的系统，其中编码器还用于通过分析相邻三角形来实现细化过程。
34.根据权利要求27所述的系统，其中基础网格编码包括对顶点的(u，v)坐标进行编码。
35.根据权利要求27所述的系统，其中生成V-PCC比特流包括基础网格信令并且利用多层实现。
36.根据权利要求35所述的系统，其中多层实现中的第一层包括原始点云，多层实现中的第二层包括稀疏网格，并且多层实现中的第三层包括稠密网格。
37.根据权利要求27所述的系统，其中编码器还被配置用于为每个面片生成包括附加连接性数据的基础网格，其中解码器确定是否利用附加连接性数据，并且其中附加连接性数据改进渲染和点滤波。
38.根据权利要求27所述的系统，其中基于颜色代码对连接性信息进行编码。
39.根据权利要求27所述的系统，其中基于V-PCC图像和基础网格编码生成V-PCC比特流利用每个面片的连接性信息。
CN202080042641.7A 2019-12-10 2020-12-03 经由点云表示的网格压缩 Pending CN113939849A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962946194P 2019-12-10 2019-12-10
US62/946,194 2019-12-10
US16/859,059 US11348285B2 (en) 2019-12-10 2020-04-27 Mesh compression via point cloud representation
US16/859,059 2020-04-27
PCT/IB2020/061413 WO2021116838A1 (en) 2019-12-10 2020-12-03 Mesh compression via point cloud representation

Publications (1)

Publication Number Publication Date
CN113939849A true CN113939849A (zh) 2022-01-14

Family

ID=76209835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080042641.7A Pending CN113939849A (zh) 2019-12-10 2020-12-03 经由点云表示的网格压缩

Country Status (6)

Country Link
US (1) US11348285B2 (zh)
EP (1) EP4052471A1 (zh)
JP (1) JP7303992B2 (zh)
KR (1) KR20220084407A (zh)
CN (1) CN113939849A (zh)
WO (1) WO2021116838A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11373339B2 (en) * 2020-03-18 2022-06-28 Sony Group Corporation Projection-based mesh compression
TW202139712A (zh) * 2020-04-13 2021-10-16 財團法人工業技術研究院 編碼和解碼點雲的電子裝置和方法
US11836953B2 (en) * 2020-10-06 2023-12-05 Sony Group Corporation Video based mesh compression
AU2022309158A1 (en) * 2021-07-08 2023-11-30 Sony Group Corporation Information processing device and method
US11606556B2 (en) 2021-07-20 2023-03-14 Tencent America LLC Fast patch generation for video based point cloud coding
WO2023014038A1 (ko) * 2021-08-03 2023-02-09 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US20230156222A1 (en) * 2021-11-15 2023-05-18 Tencent America LLC Grid-based patch generation for video-based point cloud coding
KR20230071866A (ko) * 2021-11-16 2023-05-24 한국전자기술연구원 비디오 기반 포인트 클라우드 데이터 처리 방법 및 이를 지원하는 전자 장치
WO2023136653A1 (ko) * 2022-01-13 2023-07-20 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US20230281876A1 (en) * 2022-03-04 2023-09-07 Tencent America LLC Mesh compression with constrained geometry dynamic range
WO2023167430A1 (ko) * 2022-03-04 2023-09-07 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2023172098A1 (ko) * 2022-03-11 2023-09-14 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2023182676A1 (ko) * 2022-03-22 2023-09-28 현대자동차주식회사 메시 및 포인트 클라우드 코딩을 위한 방법 및 장치
WO2023180841A1 (en) * 2022-03-25 2023-09-28 Sony Group Corporation Mesh patch sub-division
WO2023180843A1 (en) * 2022-03-25 2023-09-28 Sony Group Corporation Patch generation for dynamic mesh coding
US20230412842A1 (en) * 2022-06-17 2023-12-21 Tencent America LLC Vertex prediction based on decoded neighbors
JP2024008746A (ja) * 2022-07-09 2024-01-19 Kddi株式会社 メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム
WO2024058614A1 (ko) * 2022-09-15 2024-03-21 인텔렉추얼디스커버리 주식회사 다이나믹 메시 압축 방법 및 장치
WO2024091860A1 (en) * 2022-10-25 2024-05-02 Innopeak Technology, Inc. Encoding method, decoding method, encoder and decoder

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6438266B1 (en) * 1998-08-27 2002-08-20 Lucent Technologies Inc. Encoding images of 3-D objects with improved rendering time and transmission processes
EP2147557B1 (en) * 2007-04-18 2012-04-18 Gottfried Wilhelm Leibniz Universität Hannover Scalable compression of time-consistend 3d mesh sequences
CN101872488B (zh) * 2009-04-27 2012-05-16 鸿富锦精密工业（深圳）有限公司 曲面渲染系统及方法
KR101669873B1 (ko) 2009-10-16 2016-10-27 삼성전자주식회사 삼차원 메쉬 압축장치 및 방법
KR101654777B1 (ko) * 2010-07-19 2016-09-06 삼성전자주식회사 3차원 메쉬 가변 부호화 장치 및 방법, 그리고 3차원 메쉬 가변 복호화 장치 및 방법
WO2015006224A1 (en) * 2013-07-08 2015-01-15 Vangogh Imaging, Inc. Real-time 3d computer vision processing engine for object recognition, reconstruction, and analysis
EP2833326B1 (en) * 2013-07-30 2016-04-06 Dassault Systèmes Lossless compression of a 3D mesh including transforming of the mesh to a image
US10134171B2 (en) * 2014-09-29 2018-11-20 Arm Limited Graphics processing systems
US10249087B2 (en) * 2016-01-29 2019-04-02 Magic Leap, Inc. Orthogonal-projection-based texture atlas packing of three-dimensional meshes
GB2548143A (en) * 2016-03-10 2017-09-13 Lancaster Univ Business Entpr Ltd Surface modelling
US10229533B2 (en) * 2016-11-03 2019-03-12 Mitsubishi Electric Research Laboratories, Inc. Methods and systems for fast resampling method and apparatus for point cloud data
GB2558314B (en) 2017-01-02 2020-07-29 Canon Kk Improved attribute mapping to encode and decode 3D models
US11398059B2 (en) * 2017-05-06 2022-07-26 Beijing Dajia Internet Information Technology Co., Ltd. Processing 3D video content
US10430983B2 (en) * 2017-06-05 2019-10-01 Microsoft Technology Licensing, Llc Vertex pixel buffer
US10909725B2 (en) * 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
US11062176B2 (en) * 2017-11-30 2021-07-13 Kofax, Inc. Object detection and image cropping using a multi-detector approach
CN111566703B (zh) 2018-01-17 2023-10-20 索尼公司 图像处理装置和方法
CN112313708A (zh) * 2018-06-15 2021-02-02 松下电器（美国）知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置
US11823421B2 (en) * 2019-03-14 2023-11-21 Nokia Technologies Oy Signalling of metadata for volumetric video

Also Published As

Publication number Publication date
US11348285B2 (en) 2022-05-31
KR20220084407A (ko) 2022-06-21
WO2021116838A1 (en) 2021-06-17
EP4052471A1 (en) 2022-09-07
US20210174551A1 (en) 2021-06-10
JP2022542419A (ja) 2022-10-03
JP7303992B2 (ja) 2023-07-06

Similar Documents

Publication Publication Date Title
JP7303992B2 (ja) 点群表現を介したメッシュ圧縮
CN112204618B (zh) 用于将3d点云数据映射到2d表面中的方法、装置和系统
US11373339B2 (en) Projection-based mesh compression
US11836953B2 (en) Video based mesh compression
US20230162402A1 (en) Method and apparatus for processing a point cloud
US20230059625A1 (en) Transform-based image coding method and apparatus therefor
CN113302940A (zh) 使用单应性变换的点云编码
EP3554083A1 (en) A method and apparatus for encoding and decoding metadata associated with patched projection of point clouds
US11908169B2 (en) Dense mesh compression
EP4068789A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20230306643A1 (en) Mesh patch simplification
US20230306684A1 (en) Patch generation for dynamic mesh coding
US20230306641A1 (en) Mesh geometry coding
CN113557745B (zh) 点云几何结构填充
US20230316584A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20230306683A1 (en) Mesh patch sub-division
EP4358519A1 (en) Point cloud data transmission device and method, and point cloud data reception device and method
EP4171036A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device and point cloud data reception method
US20240121435A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
WO2023180843A1 (en) Patch generation for dynamic mesh coding
WO2023180842A1 (en) Mesh patch simplification
WO2023180839A1 (en) Mesh geometry coding
WO2023174701A1 (en) V-pcc based dynamic textured mesh coding without occupancy maps
CN117751387A (zh) 面元网格连通性编码
CN113557745A (zh) 点云几何结构填充

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination