CN117280688A - 用于网格压缩的几何滤波 - Google Patents

用于网格压缩的几何滤波 Download PDF

Info

Publication number
CN117280688A
CN117280688A CN202380011540.7A CN202380011540A CN117280688A CN 117280688 A CN117280688 A CN 117280688A CN 202380011540 A CN202380011540 A CN 202380011540A CN 117280688 A CN117280688 A CN 117280688A
Authority
CN
China
Prior art keywords
vertices
filter
boundary
mesh
boundary vertices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202380011540.7A
Other languages
English (en)
Inventor
张翔
黄超
田军
许晓中
刘杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of CN117280688A publication Critical patent/CN117280688A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了用于网格压缩的几何滤波的方法、设备和系统。该方法可以包括接收与网格相关联的已编码码流，其中所述已编码码流包括与所述网格相关联的边界信息；以及基于所述边界信息确定与所述网格相关联的一个或多个边界顶点。该方法还可以包括基于与所述网格相关联的所述一个或多个边界顶点以及滤波算法中的一个或多个滤波参数生成与所述网格相关联的经滤波的几何图；以及使用视频编解码器将所述经滤波的几何图压缩成多个单通道图像或多个多通道图像。

Description

用于网格压缩的几何滤波
相关申请的交叉引用
本申请要求2022年3月25日提交的美国临时申请63/323,865和2023年3月16日提交的美国申请18/185,024的优先权，其公开内容通过参引整体并入本文中。
技术领域
本公开涉及一组先进的视频编码技术。更具体地，本公开涉及基于视频的动态网格对齐和压缩。
背景技术
世界的高级三维(3D)表示使互动和交流的形式更具沉浸感。为了在3D表示中实现真实感，3D模型变得越来越复杂，并且大量的数据与这些3D模型的创建和消耗相关联。3D网格被广泛用于对沉浸式内容进行3D建模。
3D网格可以包括描绘体积对象(volumetric object)的表面的多个多边形。动态网格序列可能需要大量数据，因为它可能具有大量随时间变化的信息。因此，需要高效的压缩技术来存储和传输这种内容。
虽然先前开发了网格压缩标准IC、MESHGRID、FAMC，用以寻址具有恒定连接性以及时变几何和顶点属性的动态网格。然而，这些标准没有考虑时变属性图和连接性信息。
此外，对于体积采集技术而言，生成恒定连接性的动态网格也是具有挑战性的，尤其是在实时约束下。现有标准不支持这种类型的动态网格内容。
除此之外，许多对齐方法(尤其是时间对齐)都是基于序列技术的。换言之，一帧的处理依赖于其他帧，例如使用来自前一帧的图表分配结果作为分配当前帧的图表的基础。依赖性使得这些方法不适合并行化，因此对网格进行编码/解码很慢。因此，需要消除这种依赖性的方法来实现并行化并提高编解码效率。
发明内容
根据实施例，可以提供一种用于网格压缩的几何滤波的方法。该方法可以包括接收与网格相关联的已编码码流，其中，所述已编码码流包括与所述网格相关联的边界信息；基于所述边界信息确定与所述网格相关联的一个或多个边界顶点；基于与所述网格相关联的所述一个或多个边界顶点以及滤波算法中的一个或多个滤波参数，生成与所述网格相关联的经滤波的几何图；以及使用视频编解码器将所述经滤波的几何图压缩成多个单通道图像或多个多通道图像。
根据实施例，可以提供一种用于网格压缩的几何滤波的设备。该设备可以包括至少一个存储器，所述至少一个存储器被配置成存储程序代码；以及至少一个处理器，所述至少一个处理器被配置成读取所述程序代码并按照所述程序代码的指示进行操作。所述程序代码可以包括第一接收代码，所述第一接收代码被配置成使所述至少一个处理器接收与网格相关联的已编码码流，其中，所述已编码码流包括与所述网格相关联的边界信息；第一确定代码，所述第一确定代码被配置成使所述至少一个处理器基于所述边界信息确定与所述网格相关联的一个或多个边界顶点；第一生成代码，所述第一生成代码被配置成使所述至少一个处理器基于与所述网格相关联的所述一个或多个边界顶点以及滤波算法中的一个或多个滤波参数来生成与所述网格相关联的经滤波的几何图；以及第一压缩代码，所述第一压缩代码被配置成使所述至少一个处理器使用视频编解码器将所述经滤波的几何图压缩成多个单通道图像或多个多通道图像。
根据实施例，可以提供一种存储计算机指令的非暂时性计算机可读介质。所述指令可以包括一个或多个指令，所述一个或多个指令在由用于网格压缩的几何滤波的设备的一个或多个处理器执行时使所述一个或多个处理器接收与网格相关联的已编码码流，其中，所述已编码码流包括与所述网格相关联的边界信息；基于所述边界信息确定与所述网格相关联的一个或多个边界顶点；基于与所述网格相关联的所述一个或多个边界顶点以及滤波算法中的一个或多个滤波参数，生成与所述网格相关联的经滤波的几何图；以及使用视频编解码器将所述经滤波的几何图压缩成多个单通道图像或多个多通道图像。
附图说明
所公开的主题的进一步特征、性质和各种优势将根据以下具体实施方式和附图而更加明显，在附图中：
图1是根据本公开的实施例的通信系统的简化框图的示意图。
图2是根据本公开的实施例的流式传输系统的简化框图的示意图。
图3是根据本公开的实施例的视频编码器和解码器的简化框图的示意图。
图4A至图4B是根据本公开的实施例的从3D网格段到2D图表的UV参数化映射的示例性图示。
图5是根据本公开的实施例的UV图表中的边界顶点的示例性图示。
图6是根据本公开的实施例的示出网格压缩的几何滤波的示例性流程图。
图7是适于实现实施例的计算机系统的示意图。
具体实施方式
网格可以包括描绘体积对象的表面的若干多边形。网格在3D空间中的顶点和顶点如何连接的信息(被称为连接性信息)可以限定每个多边形。可选地，诸如颜色、法线等的顶点属性可以与网格顶点相关联。通过利用用2D属性图对网格进行参数化的映射信息，属性还可以与网格的表面相关联。可使用称为UV坐标或纹理坐标并与网格顶点相关联的参数坐标的集合来限定这种映射。2D属性图可以用于存储诸如纹理、法线、位移等的高分辨率属性信息。高分辨率属性信息可以用于诸如纹理映射和明暗处理(texture mapping andshading)之类的各种目的。
如上所述，3D网格或动态网格可能需要大量数据，因为它可能包含大量随时间变化的信息。现有标准没有考虑时变属性图和连接性信息。现有标准也不支持生成恒定连接性动态网格的体积采集技术，尤其是在实时条件下。
因此，需要新的网格压缩标准来直接处理具有时变连接性信息和可选的时变属性图的动态网格。本公开的实施例使得高效压缩技术能够存储和传输这种动态网格。本公开的实施例使得有损和/或无损压缩能够用于各种应用，例如实时通信、存储、自由视点视频、AR和VR。
为了实现高效压缩，本公开的实施例采用空间对齐和时间对齐来获得帧内相关性和/或帧间相关性。在相关技术中，许多对齐方法都是基于序列技术的，尤其是时间对齐。换言之，一帧的处理依赖于其他帧，例如使用来自前一帧的图表分配结果作为分配当前帧的图表的基础。依赖性使得这些方法不适合并行化，因此对网格进行编码/解码很慢。因此，需要消除这种依赖性的方法以实现并行化并提高编解码效率。
根据本公开的一个方面，提供了用于动态网格压缩的并行处理的方法、系统和非暂时性存储介质。本公开的实施例也可以应用于静态网格。
参照图1至图2，描述了用于实现本公开的编解码结构的实施例。
图1示出了根据本公开的实施例的通信系统100的简化框图。系统100可以包括经由网络150互连的至少两个终端110、120。对于单向数据传输，第一终端110可以在本地位置对视频数据进行编码以经由网络150传输至另一终端120，该视频数据可以包括网格数据。第二终端120可以从网络150接收另一终端的已编码的视频数据，对已编码的视频数据进行解码并显示恢复的视频数据。单向数据传输在媒体服务等应用中是较常见的。
图1示出了第二对终端130、140，提供第二对终端130、140以支持已编码视频的双向传输，该双向传输可以例如在视频会议期间发生。对于数据的双向传输，每个终端130、140可以对在本地位置采集的视频数据进行编码，以经由网络150传输至另一终端。每个终端130、140还可以接收由另一终端传输的已编码的视频数据，可以对已编码的视频数据进行解码，并且可以在本地显示设备上显示恢复的视频数据。
在图1中，终端110至140可以是例如服务器、个人计算机和智能电话，和/或任何其他类型的终端。例如，终端(110至140)可以是膝上型计算机、平板计算机、媒体播放器和/或专用视频会议设备。网络150表示在终端110至140之间传送已编码的视频数据的、任何数目的网络，包括例如有线和/或无线通信网络。通信网络150可以在电路交换和/或分组交换信道中交换数据。代表性网络包括电信网络、局域网、广域网和/或互联网。出于本申请的目的，除非在下文中予以说明，否则网络150的架构和拓扑对于本公开的操作来说可能是无关紧要的。
作为所公开主题的应用的示例，图2示出了视频编码器和解码器在流式传输环境中的放置方式。所公开的主题可以与其他支持视频的应用一起使用，包括例如视频会议、数字电视、在包括CD、DVD、存储棒等的数字介质上存储压缩视频等等。
如图2所示，流式传输系统200可以包括采集子系统213，该采集子系统包括视频源201和编码器203。流式传输系统200还可以包括至少一个流式传输服务器205和/或至少一个流式传输客户端206。
视频源201可以创建例如包括3D网格以及与3D网格相关联的元数据的流202。视频源201可以包括例如3D传感器(例如，深度传感器)或3D成像技术(例如，(一个或多个)数码相机)，以及计算设备，该计算设备被配置成使用从3D传感器或3D成像技术接收的数据来生成3D网格。与已编码视频码流相比，可具有高数据量的样本流202可由耦接到视频源201的编码器203处理。编码器203可以包括硬件、软件或软硬件组合以实现或实施如下文更详细地描述的所公开主题的各方面。编码器203还可以生成已编码的视频码流204。与未压缩的流202相比，已编码的视频码流204可以具有较低的数据量，该已编码的视频码流可以存储在流式传输服务器205上以供将来使用。一个或多个流式传输客户端206可以访问流式传输服务器205以检索视频码流209，该视频码流可以是已编码视频码流204的副本。
流式传输客户端206可以包括视频解码器210和显示器212。视频解码器210可以例如对视频码流209进行解码，该视频码流是已编码视频码流204的输入副本，并且视频解码器210可以创建输出视频样本流211，该输出视频样本流可以在显示器212或另一呈现设备(未描绘)上呈现。在一些流式传输系统中，可以根据特定的视频编码/压缩标准对视频码流204、209进行编码。
图3是用于使用编码器和解码器的动态网格压缩和网格重建的框架300的示例性示意图。
如图3所示，框架300可以包括编码器301和解码器351。编码器301可以包括一个或多个输入网格305、具有UV地图集(UV atlas)的一个或多个网格310、占用图315、几何图320、属性图325以及元数据330。解码器351可以包括已解码占用图335、已解码几何图340、已解码属性图345、已解码元数据350以及重建的网格360。
根据本公开的一个方面，输入网格305可以包括一个或多个帧，并且一个或多个帧中的每一帧可以通过一系列操作进行预处理并用于生成具有UV地图集310的网格。例如，预处理操作可以包括但不限于循迹(tracking)、参数化、重新网格化、体素化等。在一些实施例中，可以仅在编码器侧执行预处理操作，而不在解码器侧执行预处理操作。
网格可以是多边形网格或体积网格(volumetric mesh)。在一些实施例中，多边形网格可以是限定多面体对象的形状的顶点、边和面的集合。在一些实施例中，体积网格可以是对象内部体积的多边形表示。
具有UV地图集310的网格可以是2D网格。具有UV地图集的2D网格可以是一种网格，该网格的每个顶点可以与2D地图集上的UV坐标相关联。具有UV地图集310的网格可以基于采样被处理并被转换成多个图。作为示例，可以基于对具有UV地图集的2D网格进行采样来将UV地图集310处理并转换成占用图、几何图和属性图。可以使用适当的编解码器(例如，HVEC、VVC、AV1等)对所生成的占用图335、几何图340和属性图345进行编码并传输至解码器。在一些实施例中，元数据(例如，连接性信息等)也可以被传输至解码器。
根据一个方面，解码器351可以从编码器接收已编码的占用图、几何图和属性图。除了本文中描述的实施例之外，解码器351可以使用适当的技术和方法来对占用图、几何图和属性图进行解码。在一个实施例中，解码器351可以生成已解码占用图335、已解码几何图340、已解码属性图345和已解码元数据350。可以使用一个或多个重建滤波器和技术，基于已解码占用图335、已解码几何图340、已解码属性图345和已解码元数据350，来将输入网格305重建成重建的网格360。在一些实施例中，元数据330可以直接传输至解码器351，并且解码器351可以基于已解码占用图335、已解码几何图340和已解码属性图345使用元数据来生成重建的网格360。包括但不限于重新网格化、参数化、循迹(tracking)、体素化等的后滤波技术(post-filtering)也可以应用于重建的网格360。
具有2D UV地图集的输入网格可以具有顶点，其中，网格的每个顶点可以在2D地图集上具有相关联的UV坐标。可以通过对UV地图集上的一个或多个点/位置进行采样来生成占用图、几何图和属性图。如果每个样本位置在由网格顶点限定的多边形内，则该样本位置可以已占用或未占用。对于每个已占用的样本，可以通过从相关联的多边形顶点进行插值来计算其相应的3D几何坐标和属性。
根据本公开的一个方面，采样率在整个2D地图集上可以是一致的。在一些实施例中，u轴的采样率和v轴的采样率可以不同，使得各向异性重新网格化成为可能。在一些实施例中，整个2D地图集可以被分成诸如切片(slices)或图块(tiles)之类的多个区域，并且每个这样的区域可以具有不同的采样率。
根据本公开的一个方面，可以用高级语法用信号表示每个区域(或整个2D地图集)的采样率，包括但不限于序列报头、帧报头、切片报头等。在一些实施例中，可以从编码器和解码器两者都假定的预先建立的速率集中选择每个区域(或整个2D地图集)的采样率。因为编码器和解码器两者都知道预先建立的速率集，所以用信号表示一个特定采样率将仅需要用信号表示预先建立的速率集中的索引。这种预先建立的集合的示例可以是每2个像素、每4个像素、每8个像素等。在一些实施例中，网格帧的每个区域(或整个2D地图集)的采样率可以根据以下各项来预测：预先建立的速率集、同一帧的其他已经编码的区域中先前使用的采样率、或者其他已经编码的网格帧中先前使用的采样率。
在一些实施例中，每个区域(或整个2D地图集)的采样率可以基于每个区域(或整个2D地图集)的一些特征。作为一个示例，采样率可以基于活跃度(activity)——对于纹理丰富的区域(或整个2D地图集)，或对于具有高活跃度的区域(或整个2D地图集)，采样率可以设置得较高。作为另一示例，对于平滑区域(或整个2D地图集)，或活跃度低的区域(或整个2D地图集)，采样率可以设置得较低。
在一些实施例中，网格帧的每个区域(或整个2D地图集)的采样率可以用信号表示以使得可允许预测和直接用信号表示(direct signaling)的组合。语法可以构造成指示将要预测采样率还是直接用信号表示采样率。当进行预测时，可以进一步用信号表示要使用哪个预测器采样率。当直接用信号表示时，可以用信号表示代表采样率值的语法。
图4A和图4B是根据本公开的实施例分别示出了从3D网格到2D UV平面(2D UV图表)的UV参数化映射的示例性示意图400和450。
如图4A所示，示意图400示出了将网格段映射到2D UV地图集中的2D图表上的UV参数化过程。
在一些实施例中，3D网格可以被划分成若干段(或贴块(patch)/图表)。每段可以包括与其几何形状、属性和连接性信息相关联的、一组连接的顶点。网格段中的每个顶点可以被分配有2D UV地图集中的2D UV坐标。在一些实施例中，与其3D对应物一样，2D图表中的顶点可以形成连接部件。也可以从每个顶点的3D对应物继承其几何形状、属性和连接性信息。
如图4B所示，示意图450示出了UV参数化的另一示例，其中，3D网格段被映射到多个单独的图表。
在一些实施例中，3D网格段也可以被映射到多个单独的2D图表。在一些示例中，3D中的顶点可以对应于2D UV地图集中的多个顶点。如示意图450所示，在2D UV地图集中，同一3D网格段被映射到2个2D图表，而不是单个图表。3D顶点v1和v4分别有两个2D对应。
3D网格的通用2D UV地图集可以由多个图表组成，其中，各个图表可以包含与其3D几何图形、属性和连接性信息相关联的多个(通常大于或等于3个)顶点。
图5是示出2D图表中的边界顶点的示例性示意图500。
在2D UV空间中限定边界顶点。如示意图500所示，填充的顶点是边界顶点，因为它们位于连接部件(贴块/图表)的边界边上。可以通过检查边是否仅出现在一个三角形中来确定边界边。边界顶点的信息是至关重要的，并且可以写入包括几何信息(即3D xyz坐标和2D UV坐标)的码流中。边界信息可以包括与边界顶点相关联的信息。本领域技术人员将认识到，可以为3D空间限定边界顶点，并且边界信息可以包括与3D边界顶点相关联的信息。
动态网格序列可能需要大量数据，因为它可能包含大量随时间变化的信息。基于采样的方法可能会在重构的网格几何图形上引入一些伪影，这可能会降低视觉质量。需要开发高效算法来减少这种伪影。
本公开的实施例涉及用于在网格压缩中对重建的几何图形进行滤波的方法。本领域技术人员将知道，可以单独应用或通过任何形式的组合来应用所提出的方法。还应当注意，这些方法可以应用于静态网格，其中，仅有一帧网格，或者网格内容不随时间变化。
实施例旨在通过利用编码在码流中的边界信息来对重建网格的几何形状进行滤波。本领域技术人员将知道，为此目的可以应用不同的滤波算法。在本公开中，可以使用拉普拉斯平滑(Laplacian smoothing)。
拉普拉斯平滑方法可以用公式表示如下：
其中，为网格上的第i顶点在第t次迭代时的3D坐标。Ni为第i顶点的相邻顶点的集合，并且λ∈[0,1)为滤波器强度因子。较大的因子可以表示较强的滤波，这将导致较强的平滑。该过程可以通过多次迭代应用于所有顶点。在滤波方法中，不同的权重或参数可以被赋予不同的值，以区分边界顶点和非边界顶点。
在一个实施例中，不同的滤波器强度因子(即，λ)可以用于边界顶点和非边界顶点。该值可以由其他因子确定，所述其他因子例如在编码边界中使用的量化步长以及非边界顶点的坐标。例如，较大的λ可以用于较大的量化步长。在该实施例中，λ可以是量化步长的函数。如果边界顶点和非边界顶点的量化步长不同，则λ可以相应地不同。一种极端的情况可能是：当量化步长为1(意味着顶点的几何形状被无损编码)时，λ可以设置为0，这样将不会对这些顶点应用滤波。
在另一个实施例中，可以设置不同的迭代次数以用于对边界顶点和非边界顶点进行滤波。该值可以由诸如压缩中使用的量化步长之类的其他因子来确定。例如，对于较大的量化步长，可以使用更多的迭代。如果边界顶点和非边界顶点的量化步长不同，则迭代次数可以相应地不同。一种极端的情况可能是：当量化步长为1时(意味着顶点的几何形状被无损编码)，迭代次数可以设置为0，这样将不会对这些顶点应用滤波。
在另一个实施例中，对于边界顶点和非边界顶点，可以在等式中使用不同的加权策略。例如，该等式可以修改如下，
其中，wj为第j相邻顶点的加权因子，以及wj可以为许多其他因子的函数，所述其他因子例如为相邻顶点j是否为边界顶点。它可以表述如下，
例如，对于边界顶点，可以使用较大权重，而对于非边界顶点，可以使用较小权重。
在另一个实施例中，针对边界顶点和非边界顶点，可以使用不同定义的相邻顶点。例如，对于边界顶点，可以使用较小数量的相邻顶点，而对于非边界顶点，可以使用较大数量的相邻顶点，反之亦然。
在另一个实施例中，可以基于用于分类的连接度(connection degree)来选择边界的相邻顶点。边界顶点的连接度为0。如果一个顶点不是边界顶点，而是直接连接至边界顶点，则其连接度为1。如果一个顶点既不是边界顶点，也不是连接度为1的顶点，而是直接连接至连接度为1的顶点，则其连接度为2，依此类推。在一些实施例中，边界的相邻顶点可以被限定为连接度<＝N的顶点，其中，N为正整数。
图6是示出根据本公开的实施例的用于网格压缩的几何滤波的流程600的流程图。
在操作605处，可以接收与网格相关联的已编码码流。在一些实施例中，已编码码流可以包括与网格相关联的边界信息。网格可以是多边形网格或体积网格。在一些实施例中，多边形网格可以是限定多面体对象形状的顶点、边和面的集合。在一些实施例中，体积网格可以是对象的内部体积的多边形表示。
在操作610处，可以基于边界信息确定与网格相关联的一个或多个边界顶点。
在操作615处，可以基于与网格相关联的一个或多个边界顶点以及滤波算法中的一个或多个滤波参数来生成与网格相关联的经滤波的几何图。
在一些实施例中，滤波算法中的一个或多个滤波参数可以包括滤波强度因子、滤波迭代次数、加权因子或相邻顶点数。
在一些实施例中，滤波强度因子可以包括与边界顶点相关联的第一滤波强度因子和与非边界顶点相关联的第二滤波强度因子。在一些实施例中，滤波强度因子可以基于量化步长。
在一些实施例中，滤波迭代次数可以包括与边界顶点相关联的第一滤波迭代次数和与非边界顶点相关联的第二滤波迭代次数。在一些实施例中，滤波迭代次数可以基于量化步长。
在一些实施例中，加权因子可以包括与边界顶点相关联的第一加权因子和与非边界顶点相关联的第二加权因子。
在一些实施例中，相邻顶点数可以包括与边界顶点相关联的第一相邻顶点数和与非边界顶点相关联的第二相邻顶点数。
在操作620处，可以使用视频编解码器将经滤波的几何图压缩成多个单通道图像或多个多通道图像。
上述技术可以使用计算机可读指令实现为计算机软件，并且物理地存储在一个或多个计算机可读介质中。例如，图7示出了适用于实现本公开的某些实施例的计算机系统700。
计算机软件可以使用任何合适的机器代码或计算机语言来编码，计算机软件可以经受汇编、编译、链接或类似机制，以创建包括指令的代码，这些指令可以由计算机中央处理器(CPU)、图形处理器(GPU)等直接执行，或者通过解译、微代码执行等来执行。
可以在各种类型的计算机或其组件上执行指令，包括例如个人计算机、平板计算机、服务器、智能手机、游戏设备、物联网设备等。
图7中所示的用于计算机系统700的组件是示例，并不旨在建议对实现本公开实施例的计算机软件的使用范围或功能范围的任何限制。组件的配置也不应当被解释为具有与计算机系统700的非限制性实施例中所示的组件中的任何一个组件或组件的组合相关的任何依赖性或要求。
计算机系统700可以包括某些人机界面输入设备。这种人机界面输入设备可以通过例如触觉输入(例如：击键、滑动、数据手套移动)、音频输入(例如：语音、鼓掌)、视觉输入(例如：手势)、嗅觉输入(未描绘)来响应一个或多个人类用户的输入。人机界面设备还可以用于采集不一定与人的有意识输入直接相关的某些介质，例如音频(例如：语音、音乐、环境声音)、图像(例如：扫描图像、从静止图像相机获得的摄影图像)、视频(例如二维视频、包括立体视频在内的三维视频)。
人机界面输入设备可以包括下述设备中的一个或多个(每一种仅描述一个)：键盘701、鼠标702、触控板703、触摸屏710、数据手套、操纵杆705、麦克风706、扫描仪707、相机708。
计算机系统700还可以包括某些人机界面输出设备。这种人机界面输出设备可以通过例如触觉输出、声音、光和气味/味觉来刺激一个或多个人类用户的感官。这种人机界面输出设备可以包括触觉输出设备(例如由触摸屏710、数据手套或操纵杆705进行的触觉反馈，但是也可以存在不用作输入设备的触觉反馈设备)。例如，这种设备可以是音频输出设备(例如：扬声器709、耳机(未描绘))、视觉输出设备(例如屏幕710，包括CRT屏幕、LCD屏幕、等离子屏幕、OLED屏幕，每种屏幕具有或不具有触摸屏输入能力，每种屏幕具有或不具有触觉反馈能力——其中一些屏幕能够输出二维视觉输出或通过诸如球面输出之类的手段输出超过三维的输出；虚拟现实眼镜(未描绘)、全息显示器和烟雾箱(未描绘))以及打印机(未描绘)。
计算机系统700还可以包括人类可访问的存储设备及其相关联的介质，例如包括具有CD/DVD或类似介质721的CD/DVD ROM/RW 720的光学介质、拇指驱动器722、可移动硬盘驱动器或固态驱动器723、诸如磁带和软盘(未描绘)之类的传统磁介质、诸如安全加密狗(未描绘)之类的基于专用ROM/ASIC/PLD的设备等等。
本领域技术人员还应当理解，结合当前公开的主题使用的术语“计算机可读介质”不包括传输介质、载波或其他瞬态信号。
计算机系统700还可以包括到一个或多个通信网络的接口。网络可以例如是无线网、有线网、光纤网。网络还可以是本地网、广域网、城域网、车载和工业网、实时网络、延迟容忍网络等等。网络的示例包括：诸如以太网、无线LAN之类的局域网；包括GSM、3G、4G、5G、LTE等的蜂窝网；包括有线电视、卫星电视和地面广播电视的电视有线或无线广域数字网；包括CANBus的车载和工业网，等等。某些网络通常需要外部网络接口适配器，该外部网络接口适配器附接至某些通用数据端口或外围总线749(例如，计算机系统700的USB端口)；其他网络通常通过附接至如下所述的系统总线而集成到计算机系统700的核心中(例如连接到PC计算机系统的以太网接口或连接到智能手机计算机系统的蜂窝网络接口)。计算机系统700可以使用这些网络中的任何网络与其他实体通信。这种通信可以是单向仅接收的(例如，广播电视)、单向仅发送的(例如到某些CANbus设备的CANbus)、或者双向的，例如到使用本地数字网或广域数字网的其他计算机系统的通信。这种通信可以包括到云计算环境755的通信。某些协议和协议栈可以用于如上所述的这些网络和网络接口中的每一者。
前述人机界面设备、人类可访问的存储设备以及网络接口754可以附接至计算机系统700的核心740。
核心740可以包括一个或多个中央处理单元(CPU)741、图形处理单元(GPU)742、呈现场可编程门区(FPGA)743形式的专用可编程处理单元、用于某些任务的硬件加速器744等等。这些设备连同只读存储器(ROM)745、随机存取存储器746、诸如内部非用户可访问的硬盘驱动器、SSD等之类的内部大容量存储器747一起可以通过系统总线748连接。在一些计算机系统中，系统总线748可以以一个或多个物理插头的形式进行访问，以使得能够通过额外的CPU、GPU等进行扩展。外围设备可以直接附接至核心的系统总线748，或者通过外围总线749附接至核心的系统总线。外围总线的架构包括PCI、USB等。图形适配器750可以包括在核心740中。
CPU 741、GPU 742、FPGA 743和加速器744可以执行某些指令，这些指令组合起来可以构成上述计算机代码。该计算机代码可以存储在ROM 745或RAM 746中。过渡数据也可以存储在RAM 746中，而永久数据可以存储在例如内部大容量存储器747中。可以通过使用高速缓冲存储器来实现对任何存储设备的快速存储和检索，高速缓冲存储器可以与一个或多个CPU 741、GPU 742、大容量存储器747、ROM 745、RAM 746等密切相关联。
计算机可读介质上可以具有用于执行各种计算机实现的操作的计算机代码。媒体和计算机代码可以是为本公开的目的而专门设计和构造的那些，或者媒体和计算机代码可以是计算机软件领域的技术人员熟知和可获得的那种。
作为示例而非限制，具有计算机系统700的架构的计算机系统(特别是核心740)可以由于处理器(包括CPU、GPU、FPGA、加速器等)执行包含在一个或多个有形的计算机可读介质中的软件而提供功能。这种计算机可读介质可以是与如上所述的用户可访问的大容量存储器相关联的介质，以及具有非暂时性性质的核心740的某些存储器，例如核心内部大容量存储器747或ROM 745。实现本公开的各种实施例的软件可以存储在这样的设备中并由核心740执行。根据特定需要，计算机可读介质可以包括一个或多个存储设备或芯片。软件可以使核心740(特别是其中的处理器(包括CPU、GPU、FPGA等))执行本文中所描述的特定流程或特定流程的特定部分，包括限定存储在RAM 746中的数据结构，以及根据由软件限定的流程修改这种数据结构。此外或作为替选，计算机系统可以作为硬连线或以其他方式体现在电路(例如：加速器744)中的逻辑的结果提供功能，该功能可以代替软件或与软件一起操作，以执行本文中描述的特定流程或特定流程的特定部分。在适当的情况下，对软件的引用可以包含逻辑，反之亦然。在适当的情况下，对计算机可读介质的引用可以包括存储用于执行的软件的电路(例如集成电路(IC))、包含用于执行的逻辑的电路，或者上述两者。本公开包括硬件和软件的任何合适的组合。
虽然本公开已经描述了几个非限制性实施例，但是存在落入本公开的范围内的变更、排列和各种替代等同物。因此，应当理解，尽管本文中没有明确示出或描述，但本领域技术人员将能够设计出许多系统和方法，这些系统和方法体现了本公开的原则并且因此在本公开的精神和范围内。

Claims (20)

1.一种用于网格压缩的几何滤波的方法，所述方法由至少一个处理器执行，所述方法包括：
接收与网格相关联的已编码码流，其中，所述已编码码流包括与所述网格相关联的边界信息；
基于所述边界信息确定与所述网格相关联的一个或多个边界顶点；
基于与所述网格相关联的所述一个或多个边界顶点以及滤波算法中的一个或多个滤波参数，生成与所述网格相关联的经滤波的几何图；以及
使用视频编解码器将所述经滤波的几何图压缩成多个单通道图像或多个多通道图像。
2.根据权利要求1所述的方法，其中，所述滤波算法中的所述一个或多个滤波参数包括滤波强度因子、滤波迭代次数、加权因子或相邻顶点数。
3.根据权利要求2所述的方法，其中，所述滤波强度因子包括与边界顶点相关联的第一滤波强度因子和与非边界顶点相关联的第二滤波强度因子。
4.根据权利要求3所述的方法，其中，所述滤波强度因子基于量化步长。
5.根据权利要求2所述的方法，其中，所述滤波迭代次数包括与边界顶点相关联的第一滤波迭代次数和与非边界顶点相关联的第二滤波迭代次数。
6.根据权利要求5所述的方法，其中，所述滤波迭代次数基于量化步长。
7.根据权利要求2所述的方法，其中，所述加权因子包括与边界顶点相关联的第一加权因子和与非边界顶点相关联的第二加权因子。
8.根据权利要求2所述的方法，其中，所述相邻顶点数包括与边界顶点相关联的第一相邻顶点数和与非边界顶点相关联的第二相邻顶点数。
9.一种用于网格压缩的几何滤波的设备，所述设备包括：
至少一个存储器，所述至少一个存储器被配置成存储程序代码；以及
至少一个处理器，所述至少一个处理器被配置成读取所述程序代码并按照所述程序代码的指示进行操作，所述程序代码包括：
第一接收代码，所述第一接收代码被配置成使所述至少一个处理器接收与网格相关联的已编码码流，其中，所述已编码码流包括与所述网格相关联的边界信息；
第一确定代码，所述第一确定代码被配置成使所述至少一个处理器基于所述边界信息确定与所述网格相关联的一个或多个边界顶点；
第一生成代码，所述第一生成代码被配置成使所述至少一个处理器基于与所述网格相关联的所述一个或多个边界顶点以及滤波算法中的一个或多个滤波参数来，生成与所述网格相关联的经滤波的几何图；以及
第一压缩代码，所述第一压缩代码被配置成使所述至少一个处理器使用视频编解码器将所述经滤波的几何图压缩成多个单通道图像或多个多通道图像。
10.根据权利要求9所述的设备，其中，所述滤波算法中的所述一个或多个滤波参数包括滤波强度因子、滤波迭代次数、加权因子或相邻顶点数。
11.根据权利要求10所述的设备，其中，所述滤波强度因子包括与边界顶点相关联的第一滤波强度因子和与非边界顶点相关联的第二滤波强度因子。
12.根据权利要求11所述的设备，其中，所述滤波强度因子基于量化步长。
13.根据权利要求10所述的设备，其中，所述滤波迭代次数包括与边界顶点相关联的第一滤波迭代次数和与非边界顶点相关联的第二滤波迭代次数。
14.根据权利要求13所述的设备，其中，所述滤波迭代次数基于量化步长。
15.根据权利要求10所述的设备，其中，所述加权因子包括与边界顶点相关联的第一加权因子和与非边界顶点相关联的第二加权因子。
16.根据权利要求10所述的设备，其中，所述相邻顶点数包括与边界顶点相关联的第一相邻顶点数和与非边界顶点相关联的第二相邻顶点数。
17.一种非暂时性计算机可读介质，存储有指令，所述指令包括：一个或多个指令，所述一个或多个指令在由用于网格压缩的几何滤波的设备的一个或多个处理器执行时使所述一个或多个处理器执行以下操作：
接收与网格相关联的已编码码流，其中，所述已编码码流包括与所述网格相关联的边界信息；
基于所述边界信息确定与所述网格相关联的一个或多个边界顶点；
基于与所述网格相关联的所述一个或多个边界顶点以及滤波算法中的一个或多个滤波参数，生成与所述网格相关联的经滤波的几何图；以及
使用视频编解码器将所述经滤波的几何图压缩成多个单通道图像或多个多通道图像。
18.根据权利要求17所述的非暂时性计算机可读介质，其中，所述滤波算法中的所述一个或多个滤波参数包括滤波强度因子、滤波迭代次数、加权因子或相邻顶点数。
19.根据权利要求18所述的非暂时性计算机可读介质，其中，所述滤波强度因子包括与边界顶点相关联的第一滤波强度因子和与非边界顶点相关联的第二滤波强度因子。
20.根据权利要求18所述的非暂时性计算机可读介质，其中，所述滤波迭代次数包括与边界顶点相关联的第一滤波迭代次数和与非边界顶点相关联的第二滤波迭代次数。
CN202380011540.7A 2022-03-25 2023-03-17 用于网格压缩的几何滤波 Pending CN117280688A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202263323865P 2022-03-25 2022-03-25
US63/323,865 2022-03-25
US18/185,024 US20230306647A1 (en) 2022-03-25 2023-03-16 Geometry filtering for mesh compression
US18/185,024 2023-03-16
PCT/US2023/015445 WO2023183187A1 (en) 2022-03-25 2023-03-17 Geometry filtering for mesh compression

Publications (1)

Publication Number Publication Date
CN117280688A true CN117280688A (zh) 2023-12-22

Family

ID=88096196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202380011540.7A Pending CN117280688A (zh) 2022-03-25 2023-03-17 用于网格压缩的几何滤波

Country Status (5)

Country Link
US (1) US20230306647A1 (zh)
JP (1) JP2024515947A (zh)
KR (1) KR20230158622A (zh)
CN (1) CN117280688A (zh)
WO (1) WO2023183187A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017050858A1 (en) * 2015-09-23 2017-03-30 Koninklijke Philips N.V. Generation of triangle mesh for a three dimensional image
US11514613B2 (en) * 2017-03-16 2022-11-29 Samsung Electronics Co., Ltd. Point cloud and mesh compression using image/video codecs
US11450030B2 (en) * 2019-09-24 2022-09-20 Apple Inc. Three-dimensional mesh compression using a video encoder

Also Published As

Publication number Publication date
KR20230158622A (ko) 2023-11-20
WO2023183187A1 (en) 2023-09-28
JP2024515947A (ja) 2024-04-11
US20230306647A1 (en) 2023-09-28

Similar Documents

Publication Publication Date Title
CN112188209A (zh) 视频流解码方法、装置、计算机设备和存储介质
US20230306701A1 (en) Parallel approach to dynamic mesh alignment
CN117280688A (zh) 用于网格压缩的几何滤波
US20230306648A1 (en) Mesh parameterization with temporally correlated uv atlases
US20230334714A1 (en) Coding of boundary uv2xyz index for mesh compression
US20240078713A1 (en) Texture coordinate prediction in mesh compression
US20240185471A1 (en) Texture coordinate compression using chart partition
JP7434667B2 (ja) ビデオベースの点群コーディングのためのグループオブピクチャベースのパッチパッキング
US20230048897A1 (en) 2d uv atlas sampling based methods for dynamic mesh compression
US20230308669A1 (en) Predictive coding of boundary uv information for mesh compression
US20240135594A1 (en) Adaptive geometry filtering for mesh compression
US20230306649A1 (en) Predictive coding of boundary uv2xyz index for mesh compression
US20230334712A1 (en) Chart based mesh compression
CN117178294A (zh) 使用具有一般拓扑结构的图进行基于图集采样的网格压缩
WO2024086314A2 (en) Texture coordinate compression using chart partition
KR20230011406A (ko) 비디오 기반 포인트 클라우드 코딩을 위한 조건적 재채색
CN117396923A (zh) 利用用于动态网格压缩的边界信息的三角形化方法
KR20230012558A (ko) 비디오 기반 포인트 클라우드 코딩을 위한 고속 재채색
WO2024063811A1 (en) Multiple attribute maps merging
CN116250009A (zh) 基于视频的点云译码的快速块生成

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination