CN116848553A - 基于二维uv地图集采样的用于动态网格压缩的方法 - Google Patents

基于二维uv地图集采样的用于动态网格压缩的方法 Download PDF

Info

Publication number
CN116848553A
CN116848553A CN202280011456.0A CN202280011456A CN116848553A CN 116848553 A CN116848553 A CN 116848553A CN 202280011456 A CN202280011456 A CN 202280011456A CN 116848553 A CN116848553 A CN 116848553A
Authority
CN
China
Prior art keywords
sample
occupancy
sample locations
map
mesh
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280011456.0A
Other languages
English (en)
Inventor
张翔
黄超
许晓中
田军
刘杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of CN116848553A publication Critical patent/CN116848553A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供用于基于采样的动态网格压缩的方法、装置以及系统。方法可包括：基于一个或多个采样率，确定与输入网格相关联的一个或多个样本位置；确定分别与一个或多个样本位置中的每个样本位置相关联的占用状态，占用状态指示一个或多个样本位置中的每一个是否位于由输入网格限定的一个或多个多边形的边界内。方法可包括：基于分别与一个或多个样本位置中的每个样本位置相关联的占用状态，生成基于样本的占用图。

Description

基于二维UV地图集采样的用于动态网格压缩的方法
相关申请的交叉引用
本申请要求于2021年8月16日提交的第63/233,475号美国临时申请和于2022年8月15日提交的第17/887,918号美国申请的优先权，这两个美国申请的公开内容通过引用整体并入本文中。
技术领域
本公开针对的是一组高级视频编解码技术。更具体地说，本公开针对的是基于视频的动态网格压缩。
背景技术
世界的高级三维(3D)表示使得能够实现更沉浸式的交互和交流形式。为了在3D表示中实现真实感，3D模型变得越来越复杂，大量数据与这些3D模型的创建和消耗相关联。3D网格广泛用于对沉浸式内容进行3D建模。
3D网格可由描述体积对象(volumetric object)的表面的多个多边形组成。动态网格序列可能需要大量数据，因为动态网格序列可具有大量随时间变化的信息。因此，需要高效的压缩技术来存储和传输这样的内容。
先前已开发了网格压缩标准IC、MESHGRID、FAMC，用以处理具有恒定连接性、以及具有随时间变化的几何形状和顶点属性的动态网格。然而，这些标准没有考虑随时间变化的属性图和连接性信息。
此外，体积采集技术生成恒定连接性动态网格，也存在挑战，尤其是在实时约束的情况下。现有标准不支持这种类型的动态网格内容。
发明内容
根据实施例，可提供一种基于采样的动态网格压缩的方法。该方法可由至少一个处理器执行，且可包括：基于一个或多个采样率，确定与输入网格相关联的一个或多个样本位置；确定分别与一个或多个样本位置中的每个样本位置相关联的占用状态，其中，占用状态指示一个或多个样本位置中的每一个是否位于由输入网格限定的一个或多个多边形的边界内；基于分别与一个或多个样本位置中的每个样本位置相关联的占用状态，生成基于样本的占用图；以及使用视频编解码器将基于样本的占用图压缩成多个单通道图像或多个多通道图像。
根据实施例，可提供一种用于基于采样的动态网格压缩的装置。该装置可包括：至少一个存储器，配置成存储程序代码；和至少一个处理器，配置成读取程序代码并按照程序代码的指令进行操作。程序代码可包括：第一确定代码，配置成使得至少一个处理器基于一个或多个采样率，确定与输入网格相关联的一个或多个样本位置；第二确定代码，配置成使得至少一个处理器确定分别与一个或多个样本位置中的每个样本位置相关联的占用状态，其中，占用状态指示一个或多个样本位置中的每一个是否位于由输入网格限定的一个或多个多边形的边界内；第一生成代码，配置成使得至少一个处理器基于分别与一个或多个样本位置中的每个样本位置相关联的占用状态，生成基于样本的占用图；以及压缩代码，配置成使得至少一个处理器使用视频编解码器将基于样本的占用图压缩成多个单通道图像或多个多通道图像。
根据实施例，可提供一种非暂时性计算机可读介质，非暂时性计算机可读介质存储有计算机指令。该指令可包括一个或多个指令，当一个或多个指令由用于基于采样的动态网格压缩的装置的一个或多个处理器执行时使得一个或多个处理器：基于一个或多个采样率，确定与输入网格相关联的一个或多个样本位置；确定分别与一个或多个样本位置中的每个样本位置相关联的占用状态，其中，占用状态指示一个或多个样本位置中的每一个是否位于由输入网格限定的一个或多个多边形的边界内；基于分别与一个或多个样本位置中的每个样本位置相关联的占用状态，生成基于样本的占用图；以及使用视频编解码器将基于样本的占用图压缩成多个单通道图像或多个多通道图像。
附图说明
根据以下详细描述和附图，所公开的主题的进一步的特征、性质和各种优点将更加明显，在附图中：
图1是根据本公开的实施例的通信系统的简化框图的示意性图示。
图2是根据本公开的实施例的流式传输系统的简化框图的示意性图示。
图3是根据本公开的实施例的视频编码器和解码器的简化框图的示意性图示。
图4是根据本公开的实施例的网格的2D atlas(二维地图集)采样的示例性图示。
图5是根据本公开的实施例的网格中的连接性的示例性图示。
图6是根据本公开的实施例的已重建网格的示例性图示。
图7是示出根据本公开的实施例的使用采样的网格压缩的流程图。
图8是示出根据本公开的实施例的网格重建的流程图。
图9是适于实施实施例的计算机系统的图示。
具体实施方式
网格可由描述体积对象的表面的数个多边形组成。网格在3D空间中的顶点以及关于顶点如何连接的信息可限定每个多边形，该信息称为连接性信息。可选地，顶点属性(例如，颜色、法线等)可与网格顶点相关联。通过利用对网格进行参数化的映射信息和2D属性图，属性还可与网格的表面相关联。可使用称为UV坐标或纹理坐标并与网格顶点相关联的参数坐标集来限定这种映射。2D属性图可用于存储高分辨率属性信息，例如纹理、法线、位移等。高分辨率属性属性信息可用于各种目的，例如纹理映射和描影(texture mappingand shading)。
如上所述，3D网格或动态网格可能需要大量数据，因为网格可包含大量随时间变化的信息。现有标准没有考虑随时间变化的属性图和连接性信息。现有标准也不支持生成恒定连接性动态网格的体积采集技术，尤其是在实时条件的情况下。
因此，需要新的网格压缩标准来直接处理具有随时间变化的连接性信息和可选的随时间变化的属性图的动态网格。本公开的实施例使得高效压缩技术能够存储和传输这种动态网格。本公开的实施例使得有损和/或无损压缩能够用于各种应用，例如实时通信、存储、自由视点视频、AR和VR。
根据本公开的一方面，提供用于动态网格压缩的方法、系统以及非暂时性存储介质。本公开的实施例还可应用于静态网格，其中，网格中只有一帧或网格内容不随时间变化。
参考图1和图2，描述了本公开的、用于实现本公开的编码和解码结构的一个实施例。
图1示出了根据本公开的一个实施例的通信系统100的简化框图。系统100可包括至少两个终端110，120，该至少两个终端通过网络150互连。对于单向数据传输，第一终端110可以对在本地位置处可包括网格数据的视频数据进行编码，以通过网络150传输到另一终端120。第二终端120可以从网络150接收另一终端的已编码视频数据，对已编码数据进行解码，以及显示所恢复的视频数据。单向数据传输可以在媒体服务等应用中是常见的。
图1示出了第二终端对130，140，提供该第二终端对以支持已编码视频的双向传输，该双向传输可例如在视频会议期间发生。对于双向数据传输，每个终端130，140可以对在本地位置处采集的视频数据进行编码，以通过网络150传输到另一终端。每个终端130，140还可接收由另一终端传输的已编码视频数据，可以对已编码数据进行解码，以及可以在本地显示设备处显示所恢复的视频数据。
在图1中，终端110至140可以是例如服务器、个人计算机和智能电话，和/或任何其它类型的终端。例如，终端(110至140)可以是膝上型计算机、平板电脑、媒体播放器和/或专用视频会议设备。网络150表示在终端110至140之间传送已编码视频数据的任何数量的网络，包括例如有线和/或无线通信网络。通信网络150可以在电路交换信道和/或分组交换信道中交换数据。代表性的网络包括电信网络、局域网、广域网和/或互联网。出于本讨论的目的，除非在下文中予以说明，否则网络150的架构和拓扑对于本公开的操作来说可能是无关紧要的。
作为用于所公开的主题的应用的示例，图2示出了视频编码器和解码器在流式传输环境中的放置方式。所公开的主题可用于其它支持视频的应用，包括例如视频会议、数字TV、在包括CD、DVD、存储棒等的数字介质上存储压缩视频等等。
如图2所示，流式传输系统200可包括采集子系统213，采集子系统213可包括视频源201和编码器203。流式传输系统200可进一步包括至少一个流式传输服务器205和/或至少一个流式传输客户端206。
视频源201可创建例如流202，流202包括3D网格以及与3D网格相关联的元数据。视频源201可包括例如3D传感器(例如，深度传感器)或3D成像技术(例如，数码相机)以及计算设备，计算设备配置成使用从3D传感器或3D成像技术接收的数据来生成3D网格。与已编码视频码流相比，可具有高数据量的样本流202可由耦合到视频源201的编码器203处理。编码器203可包括硬件、软件或软硬件组合，以实现或实施如下文更详细地描述的所公开的主题的各方面。编码器203还可生成已编码视频码流204。与未压缩的流202相比，可具有较低的数据量的已编码视频码流204可存储在流式传输服务器205上以供将来使用。一个或多个流式传输客户端206可访问流式传输服务器205以检索视频码流209，视频码流209可以是已编码视频码流204的副本。
流式传输客户端206可包括视频解码器210和显示器212。视频解码器210可例如对视频码流209进行解码且创建输出视频样本流211，视频码流209是已编码视频码流204的传入副本，输出视频样本流211可以在显示器212或另一呈现设备(未描绘)上呈现。在一些流式传输系统中，可根据某些视频编码/压缩标准对视频码流204，209进行编码。
图3是使用编码器和解码器进行动态网格压缩和网格重建的框架300的示例图。
如在图3中看到的，框架300可包括编码器301和解码器351。编码器301可包括一个或多个输入网格305、具有UV atlas(UV地图集)310的一个或多个网格、占用图(OccupancyMaps)315、几何图320、属性图325和元数据330。解码器351可包括已解码占用图335、已解码几何图340、已解码属性图345、已解码元数据350和已重建网格360。
根据本公开的一方面，输入网格305可包括一个或多个帧，且一个或多个帧中的每一个可通过一系列操作来预处理，并用于生成具有UV atlas 310的网格。作为示例，预处理操作可包括且可以不限于追踪、参数化、重网格化、体素化等。在一些实施例中，预处理操作可以仅在编码器侧执行，而不在解码器侧执行。
具有UV atlas 310的网格可以是2D网格。具有UV atlas的2D网格可以是一种网格，该网格的每个顶点可与2D atlas上的UV坐标相关联。具有UV atlas310的网格可基于采样被处理并转换成多个图。作为示例，可基于对具有UV atlas的2D网格进行采样来将UVatlas 310处理并转换成占用图、几何图和属性图。所生成的占用图335、几何图340和属性图345可使用适当的编解码器(例如，HVEC、VVC、AV1等)进行编码并传输到解码器。在一些实施例中，元数据(例如，连接性信息等)也可传输到解码器。
根据一方面，解码器351可以从编码器接收已编码占用图、几何图和属性图。除了本文描述的实施例之外，解码器315可使用合适的技术和方法来对占用图、几何图和属性图进行解码。在一个实施例中，解码器351可生成已解码占用图335、已解码几何图340、已解码属性图345和已解码元数据350。可使用一个或多个重建滤波器和技术，基于已解码占用图335、已解码几何图340、已解码属性图345和已解码元数据350，来将输入网格305重建为已重建网格360。在一些实施例中，元数据330可直接传输到解码器351，且解码器351可使用元数据，基于已解码占用图335、已解码几何图340和已解码属性图345而生成已重建网格360。后滤波(post-filtering)技术，包括但不限于重网格化、参数化、追踪、体素化等，还可应用于已重建网格360。
具有2D UV atlas的输入网格可具有顶点，其中，网格的每个顶点可以在2D atlas上具有关联的UV坐标。可通过对UV atlas上的一个或多个点/位置进行采样来生成占用图、几何图和属性图。如果每个样本位置位于由网格顶点限定的多边形内，则该每个样本位置可能已占用或未占用。对于每个已占用样本，可通过从相关联的多边形顶点进行插值来计算其对应的3D几何坐标和属性。
根据本公开的一方面，采样率可以在整个2D atlas上是一致的。在一些实施例中，u轴和v轴的采样率可以不同，从而使得各向异性重网格化成为可能。在一些实施例中，整个2D atlas可划分成多个区域，例如切片(slices)或图块(tiles)，且每个这样的区域可具有不同的采样率。
根据本公开的一方面，每个区域(或整个2D atlas)的采样率可以在高级语法用信号表示，包括但不限于序列标头、帧标头、切片标头等中。在一些实施例中，每个区域(或整个2D atlas)的采样率可以从由编码器和解码器假设的预先建立的速率集中选择。因为编码器和解码器都知道预先建立的速率集，所以用信号表示一个特定采样率只需要用信号表示预先建立的速率集中的索引。这种预先建立的集的示例可以是每2个像素、每4个像素、每8个像素等。在一些实施例中，网格帧的每个区域(或整个2D atlas)的采样率可根据以下各项来预测：预先建立的速率集，同一帧的其它已编码区域中先前使用的采样率，或者其它已编码网格帧中先前使用的采样率。
在一些实施例中，每个区域(或整个2D atlas)的采样率可基于每个区域(或整个2D atlas)的一些特性。作为示例，采样率可基于活跃度—对于纹理丰富的区域(或整个2Datlas)，或者对于具有高活跃度的区域(或者整个2D atlas)，采样率可设置得较高。作为另一示例，对于平滑区域(或整个2D atlas)，或者对于具有低活跃度的区域(或整个2Datlas)，采样率可设置得较低。
在一些实施例中，网格帧的每个区域(或整个2D atlas)的采样率可以用信号表示以使得可允许预测和直接用信号表示(direct signaling)的组合。语法可构造成指示将要预测采样率还是直接用信号表示采样率。当预测时，可进一步用信号表示要使用哪一个预测器-采样率。当直接用信号表示时，代表速率值的语法可以用信号表示。
图4是根据本公开的实施例的三角形网格400的2D atlas采样的示例性图示。
如在图4中看到的，三角形网格400可具有多个位置和顶点，其中，每个整数像素仅表示为圆圈。可使用其它形式的表示。
设V1，V2，…，VD表示网格上多边形的顶点，其中，D限定每个多边形的形状。对于三角形网格，D等于3，即，每个三角形具有3个顶点。在不丧失一般性的情况下，我们假设对于本公开的其余部分，网格由三角形网格组成，即D＝3。
对于每个顶点Vi，其UV坐标表示为(ui,vi)，其3D位置表示为(xi,yi,zi)，其它属性(例如，颜色和法线)可表示为ai。顶点的UV坐标，即(ui,vi)可位于整数或分数位置。输入网格的2D UV atlas的大小可以是W×H，A可以是2D UV atlas地图上具有坐标(uA,vA)的样本点。如果A位于由3个顶点为V1、V2、V3的UV坐标(ui,vi)限定的网格的三角形内，则A可标记为已占用；否则，A可标记为未占用。
根据本公开的一方面，可基于对2D UV atlas地图(有时是对网格)进行采样来生成占用图。占用图上的点和/或位置的连接性可以用信号表示(例如，使用元数据或在SPS、PPS等中用信号表示)或者由解码器推断。连接性的方向(顺时针或逆时针)可以在高级语法(例如，序列标头、切片标头等)中用信号表示，或者由编码器和解码器确定(假设)。
在一个实施例中，可通过扫描2D地图上的所有采样点来生成单通道二进制占用图。单通道二进制占用图上的每个点可指示样本点是否位于任何三角形(网格多边形的形状)内。在一个实施例中，可生成单通道非二进制占用图。作为示例，使用其它值来指示样本点是属于顶点位置还是边界。还可生成多通道占用图，其中，不同的通道可具有不同的指示。在一些实施例中，可生成只有顶点位置的占用图。这些顶点的连接性可以用信号表示给解码器或由解码器推断。
占用图可通过任何适当的图像和视频编解码器来压缩。占用图可被压缩成单通道或多通道图像，例如YUV420、YUV400、YUV444、RGB444等。占用图还可被压缩成二进制图像或任意位深度图像，例如1位、2位、8位、12位、16位等。占用图可通过有损或无损编解码器来压缩。
根据本公开的一方面，可基于对2D UV atlas地图(有时是对网格)进行采样来生成几何图。与具有RGB颜色的普通图像不同，几何图像可以在其通道中存储对应的样本点的3D几何坐标。对于每个已占用样本点A，其3D几何位置可通过三角形(V1,V2,V3)的3个顶点来插值。这里，可采用任何合适的插值方法。例如，可使用基于重心的方法来估计A的3D几何位置。
作为示例，假设(λ1,λ2,λ3)是A相对于三角形(V1,V2,V3)的重心坐标，则：
(uA,vA)＝λ1·(u1,v1)+λ2·(u2,v2)+λ3·(u3,v3) 等式(1)
λ1+λ2+λ3＝1 等式(2)
对于UV坐标和3D坐标之间的线性关系，可如下计算Au,v的3D位置，即(xA,yA,zA)：
(xA,yA,zA)＝λ1·(x1,y1,z1)+λ2·(x2,y2,z2)+λ3·(x3,y3,z3) 等式(3)
在一些实施例中，所估计的3D几何位置(xA,yA,zA)可转换成无符号整数，以便由图像和视频编解码器进行编码。
对于未占用点A，其3D几何位置(xA,yA,zA)可以是任意数字。在一些实施例中，为了促进几何图的编码效率，可以将未占用点的3D几何位置分配成与其空间和时间近邻(spatial and temporal neighbors)相似。在一些实施例中，可以给未占用点的3D几何位置分配不可能用于几何位置的值，例如(-1，-1，-1)，在这种情况下，可以不用信号表示占用图。
为了生成与采样位置相关联的几何图，根据本公开的一方面，可通过扫描2D地图上的所有采样点来生成3通道几何图，其中，3通道几何图上的每个点指示其3D几何位置。作为示例，第一通道可指示x位置，第二通道可指示y位置，以及第三通道可指示z位置。在一些实施例中，可生成3个单通道几何图，其中，每个地图指示一个轴的3D几何位置。作为示例，第一图可指示x位置，第二图可指示y位置，以及第三图可指示z位置。在一些实施例中，可生成单通道几何图，该单通道几何图指示距投影平面的深度(距离)。对于不同的三角形，投影平面可以不同，在这种情况下，投影平面信息可以用信号表示为边信息(side-information)。
根据本公开的一方面，可基于对2D UV atlas地图(有时是对网格)进行采样来生成属性图。
每个已占用样本点A可具有属性，其属性(例如，法线、颜色)可通过三角形(V1,V2,V3)的3个顶点来插值。可采用任何合适的插值方法。
作为示例，假设(λ1,λ2,λ3)是A相对于三角形(V1,V2,V3)的重心坐标，则：
(uA,vA)＝λ1·(u1,v1)+λ2·(u2,v2)+λ3·(u3,v3) 等式(1)
λ1+λ2+λ3＝1 等式(2)
可如下计算Au,v的属性值，即aA：
aA＝λ1·a1+λ2·a2+λ3·a3 等式(4)
在一些实施例中，对于每个未占用点A，其属性aA可以是任意数字。在一些实施例中，为了促进属性图的编码效率，可以将未占用点的属性值分配成与其空间和时间近邻相似。在一些实施例中，可以给未占用点的属性值分配不可能用于属性的值，例如(-1，-1，-1)，在这种情况下，可以不用信号表示占用图。
为了生成与采样位置相关联的属性图，根据本公开的一方面，可通过扫描2D地图上的所有采样点来生成N通道属性图，其中，该地图上的每个点指示其属性值。作为示例，在属性是颜色的情况下，第一通道可指示R颜色，第二通道可指示G颜色，以及第三通道可指示B颜色。在属性是法线的实施例中，3个通道可以是x轴、y轴和z轴上的法线值。在一些实施例中，可生成N个单通道属性图，其中，每个地图指示属性值。作为示例，在属性是颜色的情况下，第一图可指示R颜色，第二图可指示G颜色，以及第三图可指示B颜色。在一些实施例中，与网格相关联的纹理图(texture map)可视为附加属性图，并由任何合适的图像或视频编解码器进行编码。
图5示出了根据本公开的实施例的网格中的连接性的示例，连接性可被用于通过编码器生成连接性信息以及通过解码器重建网格。
解码器可以在对占用图、几何图和属性图进行解码之后重建网格。对于占用图上的每个已占用点，解码器可恢复网格上的顶点，且可以从已解码几何图和属性图中的对应位置获得该点的对应的几何值和属性值。顶点之间的连接性信息可由解码器通过以下方式进行恢复：隐式地从已占用位置推断，或显式地用信号表示。
根据本公开的一方面，与输入网格和/或2D UV atlas相关联的连接性信息可通过某些规则从已解码占用图上的相邻点的占用状态隐式地推断。连接性的方向(顺时针或逆时针)可以从高级语法(例如，序列标头、切片标头等)解析，或者由编码器和解码器确定(假设)。根据一些实施例，已重建网格可具有与输入网格不同的连接性。作为示例，输入网格可以是三角形网格，而已重建网格可以是四边形网格。
根据本公开的一方面，对于已解码占用图上的每4个相邻点，如果占用点的数量大于或等于3，则可通过某些规则推断4个点之间三角形的连接性。作为示例，参考图5，如果4个点之中的3个点已占用，则这3个点可直接连接以形成如图5的示例(2)至(5)中的三角形。作为示例，如果4个点均已占用，则这4个点可形成如图5的示例(1)中的两个三角形。在一些实施例中，不同的规则可应用于不同数量的相邻点。
在一些实施例中，当4个相邻点均已占用时，可重建四边形网格。在一些实施例中，已重建网格可以是混合类型网格，例如，网格帧中的一些区域生成三角形网格，而其它区域生成四边形网格。连接性类型可以在高级语法(例如，序列标头、切片标头)中用信号表示。
在一些实施例中，连接性信息还可通过显式用信号表示(explicittlysignaling)来重建。如果多边形不能通过隐式规则恢复，则编码器可以在码流中用信号表示连接性信息(例如，作为元数据)。例如，根据多边形的边界，可使用任何合适的手段来减少显式用信号表示的开销。
图6是使用图5中描述的隐式规则和显式用信号表示的组合生成的已重建网格600的示例性图示。
图7是示出根据本公开的实施例的使用采样对网格2D UV atlas进行编码的过程700的流程图。
在操作步骤705处，可基于一个或多个采样率，确定与输入网格相关联的一个或多个样本位置。作为示例，编码器301可基于一个或多个采样率，确定与输入网格305相关联的一个或多个样本位置。在一些实施例中，编码器301可基于一个或多个采样率，确定与具有UV atlas 310的已处理网格相关联的一个或多个样本位置。
在一些实施例中，一个或多个采样率可基于第一轴的第一采样率和第二轴的第二采样率。在一些实施例中，一个或多个采样率可以在高级语法中用信号表示。在一些实施例中，一个或多个区域中每个区域的相应的一个或多个采样率可基于一个或多个区域的相应的特性。相应的特性可包括：区域的纹理；区域的活跃度；以及区域的平滑度。在一些实施例中，输入网格和/或已处理网格可被划分成一个或多个区域，且一个或多个采样率可基于一个或多个区域中每个区域的相应的一个或多个采样率。在一些实施例中，一个或多个采样率可基于相邻区域的采样率。在一些实施例中，一个或多个采样率可基于一个或多个已编码的网格帧的先前的一个或多个采样率。
在操作步骤710处，可确定分别与一个或多个样本位置中的每个样本位置相关联的占用状态。占用状态可指示一个或多个样本位置中的每一个是否位于由输入网格和/或已处理网格限定的一个或多个多边形的边界内。基于分别与一个或多个样本位置中的每个样本位置相关联的占用状态，在操作步骤715处，可生成基于样本的占用图。作为示例，编码器301可基于分别与来自操作305的一个或多个样本位置中的每个样本位置相关联的占用状态，生成基于样本的占用图(例如，占用图315)。
在操作步骤720处，基于由输入网格限定的一个或多个多边形的顶点，确定分别与一个或多个样本位置中的每个样本位置相关联的3D几何坐标。在一些实施例中，可使用已处理网格。基于分别与一个或多个样本位置中的每个样本位置相关联的3D几何坐标，在操作步骤725处，可生成基于样本的几何图。作为示例，编码器301可基于由输入网格305和/或已处理网格(例如，具有UV atlas 310的网格)限定的一个或多个多边形的顶点，确定分别与一个或多个样本位置中的每个样本位置相关联的3D几何坐标。然后，编码器301可基于分别与一个或多个样本位置中的每个样本位置相关联的3D几何坐标，生成基于样本的几何图(例如，几何图320)。在一些实施例中，基于样本的几何图可包括三个单通道几何图，其中，三个单通道几何图中的第一图可指示与一个或多个样本位置中的每个样本位置相关联的x轴位置，三个单通道几何图中的第二图可指示与一个或多个样本位置中的每个样本位置相关联的y轴位置，以及三个单通道几何图中的第三图可指示与一个或多个样本位置中的每个样本位置相关联的z轴位置。
在操作步骤730处，可基于由输入网格限定的一个或多个多边形的顶点，确定分别与一个或多个样本位置中的每个样本位置相关联的属性值。然后，在操作步骤335处，分别与一个或多个样本位置中的每个样本位置相关联的属性值可用于生成基于样本的属性图。作为示例，编码器301可基于由输入网格305和/或已处理网格(例如，具有UV atlas 315的网格)限定的一个或多个多边形的顶点，确定分别与一个或多个样本位置中的每个样本位置相关联的属性值。然后，编码器301可基于分别与一个或多个样本位置中的每个样本位置相关联的属性值，生成基于样本的属性图(例如，属性图325)。在一些实施例中，基于样本的属性图可以是以下一者：n通道属性图，或n个单通道属性图。
在一些实施例中，编码器301还可基于与一个或多个相邻样本位置相关联的占用状态，生成分别与一个或多个样本位置中的每个样本位置相关联的连接性信息(例如，处于元数据330的形式)，和/或传输所生成的、分别与一个或多个样本位置中的每个样本位置相关联的连接性信息(例如，处于元数据330的形式)。
图8是示出根据本公开的实施例的网格重建的流程图。
在操作步骤805处，可以对所接收的占用图、属性图和几何图进行解码。作为示例，解码器351可以对已编码的占用图315、几何图320和属性图325进行解码，以生成已解码占用图335、已解码几何图340和已解码属性图345。
在操作步骤810处，可恢复与已解码占用图中的每个已占用位置相关联的相应顶点。作为示例，解码器351可基于已解码占用图335，恢复与每个已占用位置和/或像素相关联的相应顶点。
在操作步骤815处，可基于已解码占用图和已解码几何图，获得与每个已占用位置相关联的3D几何坐标。作为示例，解码器351可基于已解码占用图335和已解码几何图340，获得与每个已占用位置相关联的3D几何坐标。
在操作步骤820处，可基于已解码占用图和已解码属性图，获得与每个已占用位置相关联的属性值。作为示例，解码器351可基于已解码占用图335和已解码属性图345，获得与每个已占用位置相关联的属性值。
在操作步骤825处，可基于已解码图来推断连接性信息，或者可以从显式用信号表示推断连接性信息。作为示例，解码器351可基于已解码占用图335、已解码几何图340、已解码属性图345和元数据350来推断连接性信息。
在一些实施例中，与输入网格和/或2D UV atlas相关联的连接性信息可通过某些规则(例如，图5的(1)-(5))从已解码占用图上的相邻点的占用状态隐式地推断。连接性的方向(顺时针或逆时针)可以从高级语法(例如，序列标头、切片标头等)解析，或者由编码器和解码器确定(fixed)(假设)。在一些实施例中，已重建网格可以是混合类型网格，例如，网格帧中的一些区域生成三角形网格，而其它区域生成四边形网格。连接性类型可以在高级语法(例如，序列标头、切片标头)中用信号表示。
在一些实施例中，连接性信息还可通过显式用信号表示来重建。如果多边形不能通过隐式规则恢复，则编码器可以在码流中用信号表示连接性信息(例如，作为元数据)。例如，根据多边形的边界，可使用任何合适的手段来减少显式用信号表示的开销。
在操作步骤830处，可基于已解码图和连接性信息来重建网格。作为示例，解码器351可基于已解码占用图335、已解码几何图340、已解码属性图345和元数据350来生成已重建网格360。解码器351可使用合适的重建滤波器和/或后处理技术来生成已重建网格360。根据一些实施例，已重建网格可具有与输入网格不同的连接性。作为示例，输入网格可以是三角形网格，而已重建网格可以是四边形网格。
上述技术可实现为计算机软件，该计算机软件使用计算机可读指令，且物理地存储在一个或多个计算机可读介质中。例如，图9示出了适于实施本公开的某些实施例的计算机系统900。
可使用任何合适的机器代码或计算机语言对计算机软件进行编码，任何合适的机器代码或计算机语言可经受汇编、编译、链接或类似的机制以创建包括指令的代码，指令可由一个或多个计算机中央处理单元(CPU)、图形处理单元(GPU)等直接执行，或者通过解释、微代码执行等执行。
指令可以在各种类型的计算机或其组件上执行，计算机或其组件包括例如个人计算机、平板计算机、服务器、智能电话、游戏设备、物联网设备等。
图9所示的计算机系统900的组件是示例性的，并不旨在对实施本公开的实施例的计算机软件的用途或功能的范围提出任何限制。组件的配置也不应解释为具有与计算机系统900的非限制性实施例中所示的组件中的任何一个组件或组件的组合相关的任何依赖或要求。
计算机系统900可包括某些人机接口输入设备。此类人机接口输入设备可响应于一个或多个人类用户通过例如下述的输入：触觉输入(例如：击键、划动，数据手套移动)、音频输入(例如：语音、拍手)、视觉输入(例如：手势)、嗅觉输入(未描绘)。人机接口设备还可用于捕获不一定与人的意识输入直接相关的某些媒介，例如音频(例如：语音、音乐、环境声音)、图像(例如：扫描图像、从静止图像相机获取的拍摄图像)、视频(例如，二维视频、包括立体视频的三维视频)。
人机接口输入设备可包括下述的一项或多项(每种中仅示出一个)：键盘901、鼠标902、触控板903、触摸屏910、数据手套、操纵杆905、麦克风906、扫描仪907、相机908。
计算机系统900还可包括某些人机接口输出设备。此类人机接口输出设备可通过例如触觉输出、声音、光和气味/味道来刺激一个或多个人类用户的感官。此类人机接口输出设备可包括触觉输出设备(例如，触摸屏910的触觉反馈、数据手套或操纵杆905，但还可以是不作为输入设备的触觉反馈设备)。例如，此类设备可以是音频输出设备(例如：扬声器909、耳机(未描绘))、视觉输出设备(例如，包括CRT屏幕、LCD屏幕、等离子屏幕、OLED屏幕的屏幕910，每种屏幕具有或没有触摸屏输入功能，每种屏幕具有或没有触觉反馈功能，其中的一些屏幕能够通过诸如立体图像输出之类的装置、虚拟现实眼镜(未描绘)、全息显示器和烟箱(未描绘)以及打印机(未描绘)来输出二维视觉输出或超过三维的输出。
计算机系统900还可包括人类可访问存储设备及其关联介质，例如包括具有CD/DVD等介质921的CD/DVD ROM/RW 920的光学介质、指状驱动器922、可拆卸硬盘驱动器或固态驱动器923、诸如磁带和软盘之类的传统磁性介质(未描绘)、诸如安全软件狗之类的基于专用ROM/ASIC/PLD的设备(未描绘)等。
本领域技术人员还应该理解，结合当前公开的主题所使用的术语“计算机可读介质”不涵盖传输介质、载波或其它暂时性信号。
计算机系统900还可包括通向一个或多个通信网络的接口。网络可例如是无线网络、有线网络、光网络。网络可进一步是本地网络、广域网络、城域网络、车辆和工业网络、实时网络、延迟容忍网络等。网络的示例包括诸如以太网之类的局域网、无线LAN、包括GSM、3G、4G、5G、LTE等的蜂窝网络、包括有线电视、卫星电视和地面广播电视的电视有线或无线广域数字网络、包括CANBus的车辆和工业网络等。某些网络通常需要附接到某些通用数据端口或外围总线949的外部网络接口适配器(例如，计算机系统900的USB端口)；如下所述，其它网络接口通常通过附接到系统总线而集成到计算机系统900的内核中(例如，连接到PC计算机系统中的以太网接口或连接到智能手机计算机系统中的蜂窝网络接口)。计算机系统900可使用这些网络中的任何网络与其它实体通信。此类通信可以是仅单向接收的(例如，广播电视)、仅单向发送的(例如，连接到某些CANBus设备的CANBus)或双向的，例如，使用局域网或广域网数字网络连接到其它计算机系统。此类通信可包括与云计算环境955的通信。如上所述，可以在那些网络和网络接口中的每一个上使用某些协议和协议栈。
上述人机接口设备、人机可访问的存储设备和网络接口954可附接到计算机系统900的内核940。
内核940可包括一个或多个中央处理单元(CPU)941、图形处理单元(GPU)942、现场可编程门区域(FPGA)943形式的专用可编程处理单元、用于某些任务的硬件加速器944等。这些设备以及只读存储器(ROM)945、随机存取存储器946、诸如内部非用户可访问的硬盘驱动器、SSD等之类的内部大容量存储器947可通过系统总线948连接。在一些计算机系统中，可以以一个或多个物理插头的形式访问系统总线948，以能够通过附加的CPU、GPU等进行扩展。外围设备可直接附接到内核的系统总线948或通过外围总线949附接到内核的系统总线948。外围总线的架构包括PCI、USB等。图形适配器950可包括在内核940中。
CPU 941、GPU 942、FPGA 943和加速器944可执行某些指令，这些指令可组合来构成上述计算机代码。该计算机代码可存储在ROM 945或RAM 946中。过渡数据也可存储在RAM946中，而永久数据可例如存储在内部大容量存储器947中。可通过使用高速缓存来进行通向任何存储设备的快速存储及检索，该高速缓存可与下述紧密关联：一个或多个CPU 941、GPU 942、大容量存储947、ROM 945、RAM 946等。
计算机可读介质可以在其上具有执行各种由计算机实现的操作的计算机代码。介质和计算机代码可以是出于本公开的目的而专门设计和构造的介质和计算机代码，或者介质和计算机代码可以是计算机软件领域的技术人员公知且可用的类型。
作为示例，而非限制，可由于一个或多个处理器(包括CPU、GPU、FPGA、加速器等)执行包含在一种或多种有形的计算机可读介质中的软件而使得具有架构900，特别是内核940的计算机系统提供功能。此类计算机可读介质可以是与如上所介绍的用户可访问的大容量存储相关联的介质，以及某些非暂时性内核940的存储器，例如内核内部大容量存储器947或ROM 945。实施本公开的各种实施例的软件可存储在此类设备中并由内核940执行。根据特定需要，计算机可读介质可包括一个或多个存储设备或芯片。软件可使得内核940，特别是其中的处理器(包括CPU、GPU、FPGA等)执行本文所描述的特定过程或特定过程的特定部分，包括定义存储在RAM 946中的数据结构以及根据由软件定义的过程来修改此类数据结构。附加地或作为替代，可由于硬连线或以其它方式体现在电路(例如：加速器944)中的逻辑而使得计算机系统提供功能，该电路可替代软件或与软件一起运行以执行本文描述的特定过程或特定过程的特定部分。在适当的情况下，提及软件的部分可包含逻辑，反之亦然。在适当的情况下，提及计算机可读介质的部分可包括存储用于执行的软件的电路(例如，集成电路(IC))、体现用于执行的逻辑的电路或包括两者。本公开包括硬件和软件的任何合适的组合。
虽然本公开已描述多个非限制性实施例，但是存在落入本公开的范围内的修改、置换和各种替换等效物。因此，应理解，本领域技术人员将能够设计出许多虽然未在本文中明确示出或描述，但是体现了本公开的原理，因此落入本公开的精神和范围内的系统和方法。

Claims (20)

1.一种用于基于采样的动态网格压缩的方法，所述方法由至少一个处理器执行，所述方法包括：
基于一个或多个采样率，确定与输入网格相关联的一个或多个样本位置；
确定分别与所述一个或多个样本位置中的每个样本位置相关联的占用状态，其中，所述占用状态指示所述一个或多个样本位置中的每一个是否位于由所述输入网格限定的一个或多个多边形的边界内；
基于分别与所述一个或多个样本位置中的每个样本位置相关联的所述占用状态，生成基于样本的占用图；以及
使用视频编解码器将所述基于样本的占用图压缩成多个单通道图像或多个多通道图像。
2.根据权利要求1所述的方法，其中，所述一个或多个采样率基于第一轴的第一采样率和第二轴的第二采样率。
3.根据权利要求1所述的方法，其中，所述输入网格被划分成一个或多个区域，并且其中，所述一个或多个采样率基于所述一个或多个区域中每个区域的相应的一个或多个采样率。
4.根据权利要求1所述的方法，其中，所述一个或多个采样率在高级语法中用信号表示。
5.根据权利要求3所述的方法，其中，所述一个或多个区域中每个区域的相应的一个或多个采样率基于所述一个或多个区域的相应的特性。
6.根据权利要求5所述的方法，其中，所述相应的特性为以下至少一项：
区域的纹理；
所述区域的活跃度；以及
所述区域的平滑度。
7.根据权利要求1所述的方法，其中，所述一个或多个采样率基于相邻区域的采样率。
8.根据权利要求1所述的方法，其中，所述一个或多个采样率基于一个或多个已编码的网格帧的先前的一个或多个采样率。
9.根据权利要求1所述的方法，其中，所述方法进一步包括：
基于由所述输入网格限定的所述一个或多个多边形的顶点，确定分别与所述一个或多个样本位置中的每个样本位置相关联的3D几何坐标；以及
基于分别与所述一个或多个样本位置中的每个样本位置相关联的所述3D几何坐标，生成基于样本的几何图。
10.根据权利要求9所述的方法，其中，所述基于样本的几何图包括三个单通道几何图，并且其中，所述三个单通道几何图中的第一图指示与所述一个或多个样本位置中的每个样本位置相关联的x轴位置，所述三个单通道几何图中的第二图指示与所述一个或多个样本位置中的每个样本位置相关联的y轴位置，以及所述三个单通道几何图中的第三图指示与所述一个或多个样本位置中的每个样本位置相关联的z轴位置。
11.根据权利要求1所述的方法，其中，所述方法进一步包括：
基于由所述输入网格限定的所述一个或多个多边形的顶点，确定分别与所述一个或多个样本位置中的每个样本位置相关联的属性值；以及
基于分别与所述一个或多个样本位置中的每个样本位置相关联的属性值，生成基于样本的属性图。
12.根据权利要求11所述的方法，其中，所述基于样本的属性图是以下一者：n通道属性图，或n个单通道属性图。
13.根据权利要求1所述的方法，其中，所述方法进一步包括：
基于与一个或多个相邻样本位置相关联的占用状态，生成分别与所述一个或多个样本位置中的每个样本位置相关联的连接性信息。
14.一种用于基于采样的动态网格压缩的装置，所述装置包括：
至少一个存储器，配置成存储程序代码；以及
至少一个处理器，配置成读取所述程序代码并按照所述程序代码的指令进行操作，所述程序代码包括：
第一确定代码，配置成使得所述至少一个处理器基于一个或多个采样率，确定与输入网格相关联的一个或多个样本位置；
第二确定代码，配置成使得所述至少一个处理器确定分别与所述一个或多个样本位置中的每个样本位置相关联的占用状态，其中，所述占用状态指示所述一个或多个样本位置中的每一个是否位于由所述输入网格限定的一个或多个多边形的边界内；
第一生成代码，配置成使得所述至少一个处理器基于分别与所述一个或多个样本位置中的每个样本位置相关联的所述占用状态，生成基于样本的占用图；以及
压缩代码，配置成使得所述至少一个处理器使用视频编解码器将所述基于样本的占用图压缩成多个单通道图像或多个多通道图像。
15.根据权利要求14所述的装置，其中，所述程序代码进一步包括：
第三确定代码，配置成使得所述至少一个处理器基于由所述输入网格限定的所述一个或多个多边形的顶点，确定分别与所述一个或多个样本位置中的每个样本位置相关联的3D几何坐标；以及
第二生成代码，配置成使得所述至少一个处理器基于分别与所述一个或多个样本位置中的每个样本位置相关联的所述3D几何坐标，生成基于样本的几何图。
16.根据权利要求14所述的装置，其中，所述程序代码进一步包括：
第四确定代码，配置成使得所述至少一个处理器基于由所述输入网格限定的所述一个或多个多边形的顶点，确定分别与所述一个或多个样本位置中的每个样本位置相关联的属性值；以及
第三生成代码，配置成使得所述至少一个处理器基于分别与所述一个或多个样本位置中的每个样本位置相关联的属性值，生成基于样本的属性图。
17.根据权利要求14所述的装置，其中，所述程序代码进一步包括：
第四生成代码，配置成使得所述至少一个处理器基于与一个或多个相邻样本位置相关联的占用状态，生成分别与所述一个或多个样本位置中的每个样本位置相关联的连接性信息。
18.根据权利要求14所述的装置，其中，所述输入网格被划分成一个或多个区域，并且其中，所述一个或多个采样率基于所述一个或多个区域中每个区域的相应的一个或多个采样率。
19.根据权利要求18所述的装置，其中，所述一个或多个区域中每个区域的相应的一个或多个采样率基于所述一个或多个区域的相应的特性。
20.一种非暂时性计算机可读介质，存储有指令，所述指令包括一个或多个指令，当所述一个或多个指令由用于基于采样的动态网格压缩的装置的一个或多个处理器执行时使得所述一个或多个处理器：
基于一个或多个采样率，确定与输入网格相关联的一个或多个样本位置；
确定分别与所述一个或多个样本位置中的每个样本位置相关联的占用状态，其中，所述占用状态指示所述一个或多个样本位置中的每一个是否位于由所述输入网格限定的一个或多个多边形的边界内；
基于分别与所述一个或多个样本位置中的每个样本位置相关联的所述占用状态，生成基于样本的占用图；以及
使用视频编解码器将所述基于样本的占用图压缩成多个单通道图像或多个多通道图像。
CN202280011456.0A 2021-08-16 2022-08-16 基于二维uv地图集采样的用于动态网格压缩的方法 Pending CN116848553A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202163233475P 2021-08-16 2021-08-16
US63/233,475 2021-08-16
US17/887,918 2022-08-15
US17/887,918 US20230048897A1 (en) 2021-08-16 2022-08-15 2d uv atlas sampling based methods for dynamic mesh compression
PCT/US2022/040401 WO2023023011A1 (en) 2021-08-16 2022-08-16 2d uv atlas sampling based methods for dynamic mesh compression

Publications (1)

Publication Number Publication Date
CN116848553A true CN116848553A (zh) 2023-10-03

Family

ID=85177441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280011456.0A Pending CN116848553A (zh) 2021-08-16 2022-08-16 基于二维uv地图集采样的用于动态网格压缩的方法

Country Status (6)

Country Link
US (1) US20230048897A1 (zh)
EP (1) EP4200808A4 (zh)
JP (1) JP2023550110A (zh)
KR (1) KR20230052944A (zh)
CN (1) CN116848553A (zh)
WO (1) WO2023023011A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7750914B2 (en) * 2004-08-26 2010-07-06 Intel Corporation Subdividing geometry images in graphics hardware
EP2531952B1 (en) * 2010-02-01 2018-08-08 VITO NV (Vlaamse Instelling voor Technologisch Onderzoek NV) System and method for 2d occupancy sensing
US11212506B2 (en) * 2018-07-31 2021-12-28 Intel Corporation Reduced rendering of six-degree of freedom video
US11284091B2 (en) * 2019-03-25 2022-03-22 Apple Inc. Video based point cloud compression-patch alignment and size determination in bounding box
US20230063575A1 (en) * 2021-08-25 2023-03-02 Tencent America LLC Patch zippering for mesh compression

Also Published As

Publication number Publication date
EP4200808A4 (en) 2024-01-17
WO2023023011A1 (en) 2023-02-23
JP2023550110A (ja) 2023-11-30
US20230048897A1 (en) 2023-02-16
EP4200808A1 (en) 2023-06-28
KR20230052944A (ko) 2023-04-20

Similar Documents

Publication Publication Date Title
US20230306701A1 (en) Parallel approach to dynamic mesh alignment
CN116848553A (zh) 基于二维uv地图集采样的用于动态网格压缩的方法
US20240078713A1 (en) Texture coordinate prediction in mesh compression
US20240185471A1 (en) Texture coordinate compression using chart partition
US20230334714A1 (en) Coding of boundary uv2xyz index for mesh compression
US20240135594A1 (en) Adaptive geometry filtering for mesh compression
US20240007670A1 (en) Dynamic mesh vertex displacements coding
US20230316585A1 (en) Atlas sampling based mesh compression with charts of general topology
US11606556B2 (en) Fast patch generation for video based point cloud coding
US20230306648A1 (en) Mesh parameterization with temporally correlated uv atlases
US20230306647A1 (en) Geometry filtering for mesh compression
US20230319293A1 (en) Triangulation methods with boundary information for dynamic mesh compression
WO2024086314A2 (en) Texture coordinate compression using chart partition
CN117223030A (zh) 用于网格压缩的边界uv2xyz索引的预测编解码
KR20230012558A (ko) 비디오 기반 포인트 클라우드 코딩을 위한 고속 재채색
CN117203673A (zh) 用于网格压缩的边界uv信息的预测编解码
WO2024063811A1 (en) Multiple attribute maps merging
JP2023533423A (ja) ビデオベースの点群コーディングのための非バイナリ占有マップ
KR20230011406A (ko) 비디오 기반 포인트 클라우드 코딩을 위한 조건적 재채색
CN116635905A (zh) 非流形网格中边界环的检测

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination