CN117178294A - 使用具有一般拓扑结构的图进行基于图集采样的网格压缩 - Google Patents

使用具有一般拓扑结构的图进行基于图集采样的网格压缩 Download PDF

Info

Publication number
CN117178294A
CN117178294A CN202380010879.5A CN202380010879A CN117178294A CN 117178294 A CN117178294 A CN 117178294A CN 202380010879 A CN202380010879 A CN 202380010879A CN 117178294 A CN117178294 A CN 117178294A
Authority
CN
China
Prior art keywords
map
boundary
mesh
bitstream
manifold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202380010879.5A
Other languages
English (en)
Inventor
黄超
许晓中
张翔
田军
刘杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of CN117178294A publication Critical patent/CN117178294A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame

Abstract

提供了用于基于图集采样的动态网格压缩的方法、装置和系统。过程可以包括：接收具有表示对象的表面的多边形的网格帧；响应于网格帧中的一个或更多个奇异成分，确定网格帧与不规则UV图相关联；对UV图执行边界检测，以识别UV图中的一个或更多个边界环；以及将所识别的一个或更多个边界环的信息压缩到比特流中。

Description

使用具有一般拓扑结构的图进行基于图集采样的网格压缩
相关申请的交叉引用
本申请要求于2022年3月31日提交的标题为“Atlas Sampling Based MeshCompression with Charts of General Topology”的美国临时申请第63/326,182号的优先权，并且本申请是于2023年3月14日提交的标题为“Atlas Sampling Based MeshCompression with Charts of General Topology”的美国专利申请第18/121,334号的继续申请并要求该美国专利申请的优先权，所有这些申请的全部内容通过引用整体并入本文。
技术领域
本公开内容涉及一组高级视频编码技术。更具体地，本公开内容涉及基于视频的动态网格压缩。
背景技术
世界的先进三维(three-dimensional，3D)表示能够实现更具沉浸感的交互和通信形式。为了实现3D表示的逼真性，3D模型变得越来越复杂，并且大量数据与这些3D模型的创建和消费有关。3D网格被广泛用于沉浸式内容的3D建模。
3D网格可以由描述体积对象的表面的若干多边形组成。动态网格序列可能需要大量数据，因为该动态网格序列可能具有随时间变化的大量信息。因此，需要高效的压缩技术来存储并传输这样的内容。
虽然网格压缩标准IC、MESHGRID、FAMC以前都是针对具有恒定连接性和随时间变化的几何和顶点属性的动态网格开发的。然而，这些标准并未考虑随时间变化的属性图和连接性信息。
此外，对于体积获取技术，生成恒定连接性动态网格特别是在实时约束下生成恒定连接性动态网格是具有挑战性的。现有标准不支持这类动态网格内容。
发明内容
根据实施方式，可以提供用于基于采样的动态网格压缩的方法。该方法可以由至少一个处理器执行，并且可以包括基于一个或更多个采样率确定与输入网格相关联的一个或更多个采样位置；确定分别与一个或更多个采样位置中的每一个相关联的占用状态，其中，占用状态指示一个或更多个采样位置中的每一个是否在由输入网格定义的一个或更多个多边形的边界内；基于分别与一个或更多个采样位置中的每一个相关联的占用状态生成基于采样的占用图；以及使用视频编解码器将基于采样的占用图压缩到多个单通道或多通道图像中。
根据实施方式，可以提供用于基于采样的动态网格压缩的装置。该装置可以包括：至少一个存储器，被配置成存储程序代码；以及至少一个处理器，被配置成读取程序代码并且根据程序代码的指示进行操作。程序代码可以包括：第一确定代码，被配置成使至少一个处理器基于一个或更多个采样率确定与输入网格相关联的一个或更多个采样位置；第二确定代码，被配置成使至少一个处理器确定分别与一个或更多个采样位置中的每一个相关联的占用状态，其中，占用状态指示一个或更多个采样位置中的每一个是否在由输入网格定义的一个或更多个多边形的边界内；第一生成代码，被配置成使至少一个处理器基于分别与一个或更多个采样位置中的每一个相关联的占用状态生成基于采样的占用图；以及压缩代码，被配置成使至少一个处理器使用视频编解码器将基于采样的占用图压缩为多个单通道或多通道图像。
根据实施方式，可以提供存储计算机指令的非暂态计算机可读介质。所述指令可以包括一条或更多条指令，这些指令在由用于基于采样的动态网格压缩的装置的一个或更多个处理器执行时，使一个或更多个处理器基于一个或更多个采样率确定与输入网格相关联的一个或更多个采样位置；确定分别与一个或更多个采样位置中的每一个相关联的占用状态，其中，占用状态指示一个或更多个采样位置中的每一个是否在由输入网格定义的一个或更多个多边形的边界内；基于分别与一个或更多个采样位置中的每一个相关联的占用状态生成基于采样的占用图；以及使用视频编解码器将基于采样的占用图压缩为多个单通道或多通道图像。
附图说明
所公开的主题的另外的特征、性质和各种优点将根据以下详细描述和附图更加明显，在附图中：
图1是根据本公开内容的实施方式的通信系统的简化框图的示意图。
图2是根据本公开内容的实施方式的流式传输系统的简化框图的示意图。
图3是根据本公开内容的实施方式的视频编码器和解码器的简化框图的示意图。
图4是根据本公开内容的实施方式的网格的2D图集采样的示例性图示。
图5是根据本公开内容的实施方式的网格的连接性的示例性图示。
图6是根据本公开内容的实施方式的重建网格的示例性图示。
图7A示出了根据本公开内容的实施方式的2D简单连接流形图。
图7B示出了根据本公开内容的实施方式的2D简单连接非流形图。
图7C示出了根据本公开内容的实施方式的2D非简单连接的非流形图。
图8是示出根据本公开内容的实施方式的使用图集采样进行压缩的流程图。
图9是示出根据本公开内容的实施方式的网格重建的流程图。
图10是适用于实现本公开内容的实施方式的计算机系统的框图。
具体实施方式
网格可以由多个多边形构成，多边形描述体积对象的表面。多边形在三维空间中的顶点以及顶点如何连接的信息可以定义每个多边形，该信息称为连接性信息。在一些实施方式中，顶点属性(如颜色、法线等)可以与网格顶点相关联。还可以通过利用映射信息将属性与网格的表面相关联，该映射信息用2D属性图将网格参数化。这种映射可以使用一组参数坐标(称为UV坐标或纹理坐标，并且与网格顶点相关联)来定义。2D属性图可以用于存储高分辨率属性信息，如纹理、法线、位移等。高分辨率属性信息可以用于诸如纹理映射和着色的各种用途。
如上所述，3D网格或动态网格可能需要大量数据，因为它可能包含大量随时间变化的信息。现有标准没有考虑时变属性图和连接性信息。现有标准也不支持生成恒定连接性动态网格的体积获取技术，尤其是在实时条件下。
因此，需要新的网格压缩标准来直接处理具有时变连接性信息并且在一些情况下还具有时变属性图的动态网格。本公开内容的实施方式实现了用于存储和传输这种具有一般拓扑结构的动态网格的高效的压缩技术。本公开内容的实施方式能够为诸如实时通信、存储、自由视点视频、AR和VR的各种应用实现有损和/或无损压缩。
根据本公开内容的一个方面，提供了用于动态网格压缩的方法、系统和非暂态存储介质。本公开内容的实施方式还可以应用于其中只有一帧网格或者网格内容不随时间变化的静态网格。
参照图1至图2，描述了用于实现本公开内容的编码结构和解码结构的本公开内容的实施方式。
图1示出了根据本公开内容的实施方式的通信系统100的简化框图。通信系统100可以包括经由网络150互连的至少两个终端110、120。对于数据的单向传输，第一终端110可以在本地位置处对可以包括网格数据的视频数据进行编码以经由网络150传输至另一终端120。第二终端120可以从网络150接收另一终端的已编码视频数据、对已编码数据进行解码并且显示经恢复的视频数据。单向数据传输可能在媒体服务应用等中是常见的。
图1示出了第二对终端130、140，其被提供以支持可能在例如视频会议期间发生的已编码视频的双向传输。对于数据的双向传输，每个终端130、140可以对在本地位置处捕获的视频数据进行编码，以经由网络150传输至另一终端。每个终端130、140还可以接收由另一终端传输的已编码视频数据、对已编码数据进行解码并且在本地显示装置处显示经恢复的视频数据。
在图1中，终端110至140可以是例如服务器、个人计算机和智能电话、智能电视和/或任何其他类型的终端，这些终端配备有视频编解码器和网络传输软件等，以支持相关应用。网络150表示在终端110至140之间传送已编码视频数据的任何数目的网络，包括例如有线和/或无线通信网络。通信网络150可以在电路交换通道和/或分组交换通道中交换数据。代表性网络包括电信网络、局域网、广域网和/或因特网。出于本讨论的目的，除非在下文中有所说明，否则网络150的架构和拓扑对于本公开内容的操作而言可以是无关紧要的。
作为所公开的主题的应用的示例，图2示出了视频编码器和解码器在流式传输环境中的放置方式。所公开的主题可以与其他支持视频的应用一起使用，所述应用包括例如视频会议、数字TV、在包括CD、DVD、存储棒等的数字介质上存储压缩视频等。
如图2所示，流式传输系统200可以包括捕获子系统213，该捕获子系统包括视频源201和编码器203。流式传输系统200还可以包括至少一个流式传输服务器205和/或至少一个流式传输客户端206。
视频源201可以创建例如包括3D网格以及与3D网格相关联的元数据的流202。视频源201可以包括例如3D传感器(例如深度传感器)或3D成像技术(例如数码摄像装置)以及被配置成利用从3D传感器或3D成像技术接收的数据来生成3D网格的计算装置。与已编码视频比特流相比可以具有较高数据量的样本流202可以由耦接至视频源201的编码器203处理。编码器203可以包括硬件、软件或其组合，以实现或实施如下面更详细地描述的所公开主题的各方面。编码器203还可以生成已编码视频比特流204。与未经压缩的流202相比具有较低数据量的已编码视频比特流204可以存储在流式传输服务器205上以供将来使用。一个或更多个流式传输客户端206可以访问流式传输服务器205以检索可以作为已编码视频比特流204的副本的视频比特流209。
流式传输客户端206可以包括视频解码器210和显示器212。视频解码器210可以例如对作为已编码视频比特流204的传入副本的视频比特流209进行解码，并且创建可以在显示器212或另一呈现装置(未描绘)上呈现的传出视频样本流211。在一些流式传输系统中，可以根据某些视频编码/压缩标准对视频比特流204、209进行编码。
图3是使用编码器和解码器进行动态网格压缩和网格重建的框架300的示例图。
如图3所示，框架300可以包括编码器301和解码器351。编码器301可以包括输入网格305，输入网格305被转换为具有UV图集310的网格，然后具有UV图集310的网格被转换为占用图315、几何图320、属性图325和元数据330。解码器351可以包括已解码占用图335、已解码几何图340、已解码属性图345、已解码元数据350和重建网格360。
根据本公开内容的一个方面，输入网格305可以包括一个或更多个帧，并且一个或更多个帧中的每一个可以通过一系列操作进行预处理，并用于生成具有UV图集310的网格。例如，预处理操作可以包括但不限于跟踪、参数化、重网格化、体素化等。在一些实施方式中，预处理操作可仅在编码器侧执行，而不在解码器侧执行。
具有UV图集310的网格可以是2D网格。具有UV图集的2D网格可以是其中网格的每个顶点可以与2D图集上的UV坐标相关联的网格。具有UV图集310的网格可以基于采样来处理并转换成多个图。例如，可以基于对具有UV图集的2D网格的采样，将UV图集310处理并转换为占用图、几何图和属性图。生成的占用图335、几何图340和属性图345可以使用适当的编解码器(如HVEC、VVC、AV1等)进行编码，并经由网络传输到解码器。在一些实施方式中，元数据(如连接性信息等)也可传输到解码器。
根据一个方面，解码器351可以从编码器接收已编码占用图、几何图和属性图。除了本文所述的实施方式以外，解码器315可以使用适当的技术和方法来解码占用图、几何图和属性图。在实施方式中，解码器351可以生成已解码占用图335、已解码几何图340、已解码属性图345和已解码元数据350。可以基于已解码占用图335、已解码几何图340、已解码属性图345和已解码元数据350，使用一个或更多个重建滤波器和技术将输入网格305重建为重建网格360。在一些实施方式中，元数据330可以直接传输到解码器351，并且解码器351可以基于已解码占用图335、已解码几何图340和已解码属性图345，使用元数据生成重建网格360。还可以对重建网格360应用后过滤技术，包括但不限于重网格化、参数化、跟踪、体素化等。
具有2D UV图集的输入网格可以具有顶点，每个顶点可以具有2D图集上的一组相关联的UV坐标。可以通过对UV图集上的一个或更多个点/位置进行采样，生成占用图、几何图和属性图。每个采样位置如果位于由网格顶点定义的多边形内，则可以被占用或未占用。对于每个被占用的采样位置，可以通过对相关联的多边形顶点集进行插值来计算其对应的3D几何坐标和属性。
根据本公开内容的一个方面，采样率可以在整个2D图集上保持一致。在一些实施方式中，u轴和v轴的采样率可能不同，使得各向异性重网格化成为可能。在一些实施方式中，整个2D图集可以被划分为多个区域，如切片或图块，并且每个区域可以具有不同的采样率。
根据本公开内容的一个方面，每个区域(或整个2D图集)的采样率可以在高级语法中用信号表示，包括但不限于序列标头、帧标头、切片标头等。在一些实施方式中，每个区域(或整个2D图集)的采样率可以从编码器和解码器二者都已假设预先建立的采样率集中选择。由于编码器和解码器二者都知道该预先建立的采样率集，因此只需用信号表示该预先建立的采样率集中的索引，就能够用信号表示特定采样率。例如，这种预先建立的采样率集可以是每2个像素、每4个像素、每8个像素等。在一些实施方式中，网格帧的每个区域(或整个2D图集)的采样率可以根据预先建立的采样率集、同一帧中其他已编码区域先前使用的采样率或者其他已编码网格帧中先前使用的采样率来预测。
在一些实施方式中，每个区域(或整个2D图集)的采样率可以基于每个区域(或整个2D图集)的一些特征。作为示例，采样率可以基于活动性——对于纹理丰富的区域(或整个2D图集)，或者活动性高的区域(或整个2D图集)，采样率可以设置得更高。作为另一示例，对于平滑区域(或整个2D图集)，或者活动性低的区域(或整个2D图集)，采样率可以设置得更低。
在一些实施方式中，网格帧的每个区域(或整个2D图集)的采样率可以通过可以允许预测和直接用信号表示相结合的方式来用信号表示。语法可以被构造成指示是预测还是直接用信号表示采样率。在预测的情况下，可以进一步用信号表示要使用哪种预测器采样率。当直接用信号表示的情况下，可以用信号表示用于表示采样率的值的语法。
图4是根据本公开内容的实施方式对三角形网格400进行2D图集采样的示例性图示。
如图4所示，三角形网格400具有多个位置和顶点，其中，每个整数像素仅表示为圆形。还可以使用其他表示形式。
令V1，V2，...，VD表示网格上的多边形的顶点，其中D定义每个多边形的形状。对于三角形网格，D等于3，即每个三角形具有3个顶点。在不失一般性的前提下，对于本公开内容的其余部分，假设网格由三角形网格组成，即D＝3。
对于每个顶点Vi，其UV坐标表示为(ui，vi)，其3D位置表示为(xi，yi，zi)，其他属性(如颜色和法线)可以表示为ai。顶点的UV坐标即(ui，vi)可以在整数位置上，或者可以在分数位置上。输入网格的2D UV图集的大小可以是W×H，A可以是2D UV图集上的坐标为(uA，vA)的样本点。如果A位于2D UV图集中的由其3个顶点V1，V2，V3的UV坐标(ui，vi)定义的三角形内，则可以将A标记为已占用；否则，可以将A标记为未占用。
根据本公开内容的一个方面，占用图可以基于2D UV图集(有时是网格)的采样生成。占用图上的点和/或位置的连接性可以用信号表示(例如，使用元数据或者以SPS、PPS等)或者由解码器推断。连接性的取向(顺时针或逆时针)可以在高级语法(如序列标头、切片标头等)中用信号表示，或者可以由编码器和解码器固定(假设)。
在实施方式中，可以通过扫描2D图上的所有采样点生成单通道二进制占用图。单通道二进制占用图上的每个点可以指示采样点是否位于任何三角形(或网格多边形的其他形状)内部。在实施方式中，可以使用其他值生成单通道非二进制占用图，以指示采样点是属于顶点位置还是边界。还可以生成多通道占用图，其中不同的通道可以具有不同的指示。在一些实施方式中，可以生成仅具有顶点位置的占用图。这些顶点的连接性可以可以由解码器推断或用信号表示。
占用图可以通过任何适当的图像和视频编解码器进行压缩。它们可以被压缩为单通道或多通道图像，例如YUV420、YUV400、YUV444、RGB444等。它们还可以被压缩为二进制图像或任意位深度图像，如1位、2位、8位、12位、16位等。可以通过有损或无损编解码器进行压缩。
根据本公开内容的一个方面，几何图可以基于对2D UV图集(有时是网格)进行采样来生成。与具有RGB颜色的普通图像不同，几何图可以在其通道中存储对应采样点的3D几何坐标。对于2D UV图集中的每个被占用样本点A，其3D几何位置可以通过三角形的3个顶点(V1，V2，V3)进行插值。这里可以采用任何适当的插值方法。例如，可以使用基于原点的方法来估计A的三维几何位置。
作为示例，假设(λ1，λ2，λ3)是A相对于三角形(V1，V2，V3)的重心坐标，则
(uA，uA)＝λ1·(u1，v1)+λ2·(u2，v2)+λ3·(u3，v3)…等式(1)
λ1+λ2+λ3＝1…等式(2)
对于UV坐标与3D坐标之间的线性关系，Au，v的3D位置即(xA，yA，zA)可以按如下计算：
(xA，yA，zA)＝λ1·(x1，y1，z1)+λ2·(x2，y2，z2)+λ3·(x3，y3，z3)…等式(3)
在一些实施方式中，A的估计3D几何位置即(xA，yA，zA)可以转换为无符号整数，以便由图像和视频编解码器进行编码。
对于未占用点A，其3D几何位置(xA，yA，zA)可以是任意数字。在一些实施方式中，为提高几何图的编码效率，可以将未占用点的3D几何位置指定为与其空间和时间邻近点相似。在一些实施方式中，未占用点的3D几何位置可以被分配有几何位置的非可能值，例如(-1,-1,-1)，在这种情况下，可以不用信号表示占用图。
为了生成与采样位置相关联的几何图，根据本公开内容的一个方面，可以通过扫描2D图上的所有采样点来生成三通道几何图，其中三通道几何图上的每个点都指示其3D几何位置。例如，第一通道可以指示x位置，第二通道可以指示y位置，第三通道可以指示z位置。在一些实施方式中，可以生成三个单通道几何图，其中每个图指示一个轴的3D几何位置。作为示例，第一图可以指示x位置，第二图可以指示y位置，第三图可以指示z位置。在一些实施方式中，可以生成指示到投影平面的深度(距离)的单通道几何图。对于不同的三角形，投影平面可能不同，在这种情况下，投影平面信息可以作为侧信息用信号表示给解码器。
根据本公开内容的一个方面，属性图可以基于2D UV图集(有时是网格)的采样来生成。
每个被占用的采样点A都可以具有属性，并且其属性(如法线、颜色)可以由三角形的3个顶点(V1，V2，V3)进行插值。可以采用任何适当的插值方法。
作为示例，假设(λ1，λ2，λ3)是A相对于三角形(V1，V2，V3)的重心坐标，则
(uA，vA)＝λ1·(u1，v1)+λ2·(u2，v2)+λ3·(u3，v3)…等式(4)
λ1+λ2+λ3＝1…等式(5)
Au，v的属性值即aA可以计算如下：
aA＝λ1·a1+λ2·a2+λ3·a3…等式(6)
在一些实施方式中，对于每个未占用点A，其属性aA可以是任意数字。在一些实施方式中，为提高属性图的编码效率，可以将未占用点的属性值分配为与其空间和时间邻近点相似。在一些实施方式中，可以对未占用点的属性值分配非可能的属性值，例如(-1,-1,-1)，在这种情况下，可以不用信号表示占用图。
为了生成与采样位置相关联的属性图，根据本公开内容的一个方面，可以通过扫描2D图上的所有采样点来生成N通道属性图，其中图上的每个点都指示其属性值。作为示例，对于颜色属性，第一通道可以指示R色，第二通道可以指示G色，第三通道可以指示B色。在属性为法线的实施方式中，3个通道可以是x、y和z轴上的法线值。在一些实施方式中，可以生成N个单通道属性图，其中每个图指示属性值。作为示例，对于颜色属性，第一图可以指示R色，第二图可以指示G色，第三图可以指示B色。在一些实施方式中，与网格相关联的纹理图可以被视为附加属性图，并且可以由任何适当的图像或视频编解码器进行编码。
图5示出了根据本公开内容的实施方式的网格中的连接性的示例，连接性可以用于由编码器生成连接性信息并由解码器重建网格。
解码器可以在对占用图、几何图和属性图进行解码之后重建网格。对于占用图上的每个占用点，解码器可以恢复网格上的一个或更多个顶点，并且可以根据已解码几何图和属性图中的对应位置获得该点的对应几何和属性值。解码器可以根据占用位置来隐式推断或者显式地用信号表示来恢复顶点之间的连接性信息。
根据本公开内容的一个方面，与输入网格和/或2D UV图集相关联的连接性信息可以通过某些规则根据已解码占用图上相邻点的占用状态来隐式推断。连接性的取向(顺时针或逆时针)可以根据高级语法(如序列标头、切片标头等)解析，或者由编码器和解码器固定(假设)。根据一些实施方式，重建网格可以具有与输入网格不同的连接性。作为示例，输入网格可以是三角形网格，而重建网格可以是四边形网格。
根据本公开内容的一个方面，对于已解码占用图上的每4个相邻点，如果占用点的数目大于或等于3，则可以通过某些规则推断出这4个点之间的三角形的连接性。作为示例，如果4个点中有3个点被占用，则这3个点可以直接连接形成三角形，如图5的示例(2)-(5)中所示。作为示例，如果4个点全部被占用，则这4个点可以形成两个三角形，如图5方示例(1)所示。在一些实施方式中，可以将不同的规则应用于不同数目的相邻点。
在一些实施方式中，当4个相邻点全部被占用时，可以重建四边形网格。在一些其他实施方式中，重建网格可以是混合型网格，例如，网格帧中的一些区域生成三角形网格，而其他区域生成四边形网格。连接性类型可以在高级语法(如序列标头或切片标头)中来用信号表示。
在一些实施方式中，连接性信息还可以通过显式信令来重建。如果多边形无法通过隐式规则恢复，则编码器可以用信号表示连接性信息，例如作为比特流中的元数据。可以使用任何适当的方法来减少显式信令的开销，例如取决于多边形的边界。
图6是使用显式信令与图5所述的隐式规则的组合生成的重建网格600的示例性图示。
当基于图集采样的方法用于网格压缩时，网格的几何信息被编码为从2D UV图集采样的几何图像。如图7A至图7C所示，UV图集700可以是或者可以不是流形图(也称为“UV图”)，并且可以是或者可以不是简单连接的。当图中的每个顶点都具有与开放圆盘或半圆盘同构的邻域时，2D UV图是流形图。当图中的每个顶点都是路径连接的，并且两个点之间的每条路径都与相同两点之间的任何其他路径同构时，2D UV图是2D简单连接图。
例如，图7A示出了根据本公开内容的实施方式的2D简单连接流形图。图7B示出了根据本公开内容的实施方式的2D简单连接非流形图。2D简单连接非流形图看起来像个领结，其中两个或更多个区域在单个点(例如顶点v3)处接触。顶点v1是内部顶点，因此是规则顶点。顶点v2以及v4至v10是边界顶点，分别满足等式(1)，并且是规则顶点。例如，顶点v2具有两个入射面和3条入射边；顶点v4具有两个入射面和3条入射边；顶点v5具有两个入射面和3条入射边；顶点v6具有两个入射面和3条入射边；顶点v7具有一个入射面和2条入射边；顶点v8具有一个入射面和2条入射边；顶点v9具有一个入射面和2条入射边；顶点v10具有一个入射面和2条入射边。相比之下，顶点v3是边界顶点，并且具有两个入射面和四条入射边。因此，顶点v3不满足等式(1)，并且是奇异顶点。
根据本公开内容的另一方面，奇异顶点可以通过入射边界边的数目来识别。例如，规则边界顶点仅具有2条入射边界边，而奇异边界顶点具有多于2条的入射边界边。
根据本公开内容的一些方面，为了检测非流形网格中的边界环，可以在不影响边界环配置的情况下将非流形网格转换为流形网格，使得流形网格中的边界环可以与非流形网格中的边界环相对应。流形网格的边界环可通过合适的算法来检测。基于流形网格的边界环，可以确定非流形网格的对应边界环。
在一些示例中，非流形网格的边界环检测程序包括三个步骤，即称为第一步骤、第二步骤和第三步骤。
在第一步骤(也称为拓扑手术步骤)中，对于网格的每个奇异顶点，可以将入射边按顺时针或逆时针方向索引(如排序)到循环序列中。在循环序列中，第一条入射边和最后一条入射边是连续的入射边。基于奇异顶点的入射边的循环序列，可以检测环边对。环边对被定义为：循环序列中的不是同一个面的边的2条连续入射边。需要注意的是，由于索引的循环性质，只要第一条和最后一条入射边不是同一个面的边，就可以使用模块算术惯例将第一条和最后一条入射边定义为循环边对。
对于每个环边对，可以识别两个入射面，并且可以从奇异顶点分割出别名顶点，以替换两个已识别入射面中的奇异顶点。可以将别名顶点配置成仅具有作为环边对的两条入射边界边。具体地，在示例中，可以用新索引替换两个已识别入射面中的奇异顶点的原始索引，并且将新索引记录为奇异顶点的原始索引的别名。
在第一步骤(拓扑手术步骤)之后，非流形网格变为流形网格。
在第二步骤(称为边界环检测步骤)中，流形网格的边界环可以通过为检测流形网格中的边界环而开发的合适算法来检测。
在第三步骤(称为非流形网格的边界环)中，在确定了流形网格的边界环之后，可以根据别名关系用原始索引替换新索引，以确定非流形网格的对应边界环。
在一些示例中，可以在第三步骤中执行验证操作。验证操作可以验证非流形网格中检测到的内部边界环的数目是否与基于欧拉特性和贝蒂数检测到的孔的数目相匹配。
根据本公开内容的一个方面，简单连接网格的欧拉特性χ与贝蒂数之间的关系可以表达为等式(7)
其中，ki(i＝0，1，2)是第i个单纯形，bi(i＝0，1，2)是第i个贝蒂数。例如，b0是连接的分量的数目，其等于连接的外部边界的数目；b1＝h+2g，其中h是内部边界边所包围的孔的数目，g是“柄”(即属)的数目；b2是封闭的2-流形所包围的孔的数目。在一些示例中，可以计算ki(i＝0，1，2，3)和b0。当可以计算出b2和g时，就可以从式(7)中导出内部边界边所包围的孔的数目，即简单连接网格中的内部边界环的预期数目。
此外，根据本公开内容的一个方面，奇异边的2个顶点为奇异顶点。第一步骤中的拓扑手术可以应用于简单二复杂度网格中的奇异边的顶点，来将非流形网格转换为流形网格，以检测非流形网格中的边界环。
图7C示出了根据本公开内容的实施方式的2D非简单连接非流形图。在本示例中，2D非简单连接非流形网格图包括顶点v0至v10，并且该2D非简单连接非流形网格图具有被另外两个区域接触的单个点(例如顶点v5)，并且该2D非简单连接非流形网格在图中还具有“孔”，如图7C所示。
顶点v10是内部顶点，因此是规则顶点。顶点v0至v9是边界顶点。顶点v0至v4以及v6至v9分别具有两条入射边界边，因此是规则边界顶点。顶点5具有4条入射边界边，并且是奇异顶点。
根据本公开内容的一个方面，上述非流形网格的三步骤边界环检测程序可以应用于2D非简单连接非流形图，以检测边界环。
在一些示例中，可以根据欧拉特性和贝蒂数验证边界环检测结果。在图7C的示例中，欧拉特性χ＝11-22+11＝0，贝蒂数b0＝1，b2＝0，属g＝0，因此预期的孔的数目为h＝b1-2g＝b0+b2-χ-2g＝1。因此，根据欧拉特性和贝蒂数，网格中存在一个孔(内部边界环)，这与非流形格网格的边界环检测程序的结果相匹配。
根据本公开内容的一个方面，非流形网格的边界环检测程序可以推广到处理更高维的简单连接网格。例如，对于简单连接网格的3D网格，可以类似地执行第一步骤中的拓扑手术，以在3D中分割奇异顶点/边，例如由2个或更多个四面体接触的顶点/边，从而将非流形网格转换为3D流形网格。然后，可以在3D流形网格中确定“边界表面”。
还需注意的是，边界环检测程序可以应用于不是单纯形构成的网格。在一些示例中，可以将不是单纯形构成的网格重新网格化为具有简单连接复杂度的网格。例如，可以将四边形网格划分为三角形网格。然后，可以将边界环检测程序应用于具有简单复杂度的网格。
根据本公开内容的一个方面，针对具有一般拓扑结构的UV图，提出了许多方法来改进现有的基于图集采样的网格压缩方法。例如，如果2DUV图是流形且简单连接(如图7A所示)的，则该2D UV图是规则图；否则，该2D UV图是不规则图(如图7B和图7C所示)。
在一些实施方式中，基于图集采样的网格压缩不规则图的问题可以通过在网格压缩之前使用利用像iso-chart算法这样的算法生成规则UV图的算法对网格进行重新参数化来解决。在重新参数化之后，对于每个UV图，编码器301确定UV图是否是规则的，然后将不规则UV图转换为规则UV图。在将不规则UV图转换为规则UV图之后，现有的基于图集采样的方法可以容易地应用，无需任何改变，也无需在比特流中用信号表示附加信息。重新参数化预处理的另一个优点是，通过精心调整的算法，可以减少UV图的数目以及/或者产生在空间和/或时间上一致的UV图，从而提高网格压缩效率。
在其他一些实施方式中，确定UV图是否是规则的。例如，如图7B所示，如果顶点的入射边界边的数目不为2，则识别为非网格顶点；如图7C所示，通过计算UV图的欧拉特性导出UV图中的“孔”的数目。如果UV图是规则的，则可以使用现有的基于图集采样的方法来处理该图。否则，将使用边界环检测算法(如基于拓扑手术的算法)来检测图的所有边界环，包括外部边界环以及包围“孔”的内部边界环。需要注意的是，无论图是规则的还是不规则的，都只存在一个外部边界环。所有边界环信息(包括外部边界和内部边界)都将在比特流中用信号表示，以正确重建网格。
在一个实施方式中，边界环的数目以及每个边界环的长度在比特流中用信号表示。可以在编码器301与解码器351之间关于如何以预定义方式对边界环进行排序建立协议。例如，一种预定义的方式是在用信号表示其他边界环信息之前，首先在比特流中用信号表示边界环的总数。因此，如果边界环的总数为1，则表示UV图内部没有孔。另一种预定义方式是，在用信号表示比特流中的其他内部环之前，用信号表示外部边界环的信息。将用信号表示每个边界环，其中包括边界顶点的UV和3D坐标以及这两种坐标之间的映射。
在另一实施方式中，每个边界环的长度可以从解码器侧预测或推断。例如，可以在编码器301与解码器351之间建立协议，使得如果边界顶点(XYZ或UV坐标)的预测残差大于阈值，则可以指示从当前顶点开始的新边界环。阈值可以是编码器301和解码器351的固定值，或者可以在比特流中用信号表示。
在一些实施方式中，解码器351从比特流中解码边界环信息，并且将每个UV图的已解码边界环用于该UV图的三角测量(将顶点连接成面)。例如，如果UV图用信号表示仅一个边界环，则解码器351使用现有方法对UV图进行三角测量。否则，解码器351确定UV图中存在一个或更多个内部边界环。外部和内部边界环将从比特流中解码，并且在三角测量算法中指定。因此，内部边界所包围的“孔”将不会被三角测量。这样，无论UV图的拓扑结构如何，基于图集采样的方法都能正确重建网格。
图8是示出根据本公开内容的实施方式的使用基于图集采样的动态网格压缩对2DUV图进行编码的过程800的流程图。
在操作S801处，编码器301开始基于图集采样的动态网格压缩过程。
在操作S810处，编码器301接收具有表示对象的表面的多边形的网格帧。在一些实施方式中，可以根据一个或更多个采样率确定与网格帧相关联的一个或更多个采样位置。例如，编码器301可以基于一个或更多个采样率确定与输入网格帧305相关联的一个或更多个采样位置。在一些实施方式中，编码器301可以基于一个或更多个采样率确定与具有UV图集310的已处理网格相关联的一个或更多个采样位置。
在一些实施方式中，一个或更多个采样率可以基于第一轴的第一采样率和第二轴的第二采样率。在一些实施方式中，一个或更多个采样率可以在高级语法中用信号表示。在一些实施方式中，输入网格和/或已处理网格可以被划分为一个或更多个区域，并且一个或更多个采样率可以基于一个或更多个区域中的每一个的一个或更多个各自的采样率。在一些实施方式中，一个或更多个区域中的每一个的一个或更多个各自的采样率可以基于一个或更多个区域的各自的特性。各自的特性可以包括区域的纹理、区域的活动性和区域的平滑度。在一些实施方式中，一个或更多个采样率可以基于相邻区域的采样率。在一些实施方式中，一个或更多个采样率可以基于一个或更多个已编码网格帧的先前的一个或更多个采样率。
在操作S820处，编码器301响应于网格帧中的一个或更多个奇异成分确定网格帧是否与不规则UV图相关联。例如，如果2D UV图是流形和简单连接的，则该2D UV图是规则图。如图7A所示，顶点v1是规则的内部顶点。顶点v2以及v4至v6是规则的边界顶点，并且分别满足等式(1)。具体地，顶点v2具有两个入射面和3条入射边；顶点v4具有两个入射面和3条入射边；顶点v5具有两个入射面和3条入射边；顶点v6具有两个入射面和3条入射边。因此，与图7A中描绘的网格相关联的UV图是规则UV图。相比之下，图7B中描绘网格的顶点v3是边界顶点，并且具有两个入射面和四条入射边。因此，顶点v3不满足等式(1)，并且顶点v3是奇异顶点；而顶点v7至v10是规则边界顶点，并且分别满足等式(1)。因此，与图7B和图7C中描述的网格相关联的2D UV图是不规则UV图(图7C中描述的网格具有内部边界环)。换句话说，如果UV图是非流形图和非简单连接图中的至少一种，则该UV图是不规则的。当网格帧具有至少一个非流形顶点时，该网格帧被确定为与不规则UV图相关联。当网格帧中的顶点(例如图7B中的v3或图7C中的v5)具有多于两条的入射边界边时，该顶点是非流形的。
在操作S830处，编码器301对UV图执行边界检测，以识别UV图中的一个或更多个边界环。在一些实施方式中，在确定UV图是不规则UV图之后，编码器301确定UV图的欧拉特性，然后基于所确定的UV图的欧拉特性识别UV图中的一个或更多个边界环。如上所述，在非流形网格中检测到的内部边界环的数目与基于欧拉特性和贝蒂数在UV图中检测到的孔的数目相匹配。如图7C所示，欧拉特性χ＝11-22+11＝0，贝蒂数b0＝1，b2＝0，属g＝0，因此预期孔的数目为h＝b1-2g＝b0+b2-χ-2g＝1。因此，根据欧拉特性和贝蒂数，网格中存在一个孔(内部边界环)，这与非流形网格的边界环检测程序的结果相匹配。
在操作S840处，编码器301将所识别的一个或更多个边界环的信息以及包括占用图315、几何图320、属性图325等的其余视频编解码器压缩(例如编码)到与网格帧相关联的比特流中的元数据330中。在一些实施方式中，编码器301在比特流中用信号表示所识别的一个或更多个边界环的数目以及每个边界图的顶点的UV坐标和对应3D坐标。在一些实施方式中，编码器301根据预定义协议对所识别的一个或更多个边界环的信息进行编码，使得解码器351可以从比特流中解码所识别的一个或更多个边界环的信息，并且相应地重建网格帧。
图9是示出根据本公开内容的实施方式的网格重建的流程图。
在操作S901处，解码器351使网格重建处理器开始。在操作S910处，解码器315从比特流中解码与表示对象的表面的多边形的网格帧相关联的边界环的信息。在一些实施方式中，编码器301与解码器351之间存在预定义协议。根据协议，编码器301将与网格帧相关联的边界环的信息编码到比特流中，并且解码器351相应地对该信息进行解码。
在操作S920处，解码器351基于从比特流中解码信息，确定网格帧具有有一个或更多个内部边界环的UV图。如上所述，当网格帧具有至少一个内部边界环时，UV图是不规则UV图。
在操作S930处，解码器351基于UV图中的一个或更多个内部边界环对网格帧的顶点进行三角测量。
在操作S940处，解码器351通过UV图的图集采样重建网格帧。
在一些实施方式中，解码器351可以对接收到的占用图、属性图和几何图进行解码。例如，解码器351可以对已编码占用图315、几何图320和属性图325进行解码，以生成已解码占用图335、已解码几何图340和已解码属性图345。可以恢复与已解码占用图中的每个占用位置相关联的相应顶点。作为示例，解码器351可以基于已解码占用图335恢复与每个占用位置和/或像素相关联的相应顶点。与每个占用位置相关联的3D几何坐标可以基于已解码占用图和已解码几何图获得。作为示例，解码器351可以基于已解码占用图335和已解码几何图340获得与每个占用位置相关联的3D几何坐标。可以基于已解码占用图和已解码属性图获得与每个占用位置相关联的属性值。作为示例，解码器351可以基于已解码占用图335和已解码属性图345获得与每个占用位置相关联的属性值。
连接性信息可以基于已解码图来推断，或者可以根据元数据中的显式信令来推断。作为示例，解码器351可以基于已解码占用图335、已解码几何图340、已解码属性图345和元数据350来推断连接性信息。
在一些实施方式中，与输入网格和/或2D UV图集相关联的连接性信息可以通过某些规则(例如图5(1)-(5))从解码已占用图上的相邻点的占用状态来隐式推断。连接性的取向(顺时针或逆时针)可以从高级语法(如序列标头、切片标头等)中解析，或者可以由编码器和解码器固定(假定)。在一些实施方式中，重建网格可以是混合型网格，例如，网格帧中的一些区域生成三角形网格，而其他区域生成四边形网格。连接性类型可以在高级语法(如序列标头、切片标头)用信号表示。
在一些实施方式中，连接性信息还可以通过显式信令重建。如果多边形无法通过隐式规则恢复，则编码器可以在比特流中用信号表示连接性信息(例如，作为元数据)。可以使用任何适当的方法来减少显式信令的开销，例如取决于多边形的边界。
最后，可以根据已解码图和连接性信息重建网格。例如，解码器351可以基于已解码占用图335、已解码几何图340、已解码属性图345和元数据350生成重建网格360。解码器351可以使用适当的重建滤波器和/或后处理技术来生成重建网格360。根据一些实施方式，重建网格可以具有与输入网格不同的连接性。例如，输入网格可以是三角形网格，而重建网格可以是四边形网格。
上述技术可以被实现为使用计算机可读指令的计算机软件并且被物理地存储在一个或更多个计算机可读介质中。例如，图10示出了适于实现本公开内容的某些实施方式的计算机系统1000。
可以使用任何合适的机器代码或计算机语言对计算机软件进行编码，所述机器代码或计算机语言可以经受汇编、编译、链接等机制，以创建包括可以由计算机中央处理单元(central processing unit，CPU)、图形处理单元(Graphics Processing Unit，GPU)等直接执行或者通过解译、微代码执行等执行的指令的代码。
该指令可以在各种类型的计算机或者其部件上执行，包括例如个人计算机、平板计算机、服务器、智能电话、游戏装置、物联网装置等。
图10中所示的用于计算机系统1000的部件是示例，并且不旨在对实现本公开内容的实施方式的计算机软件的使用范围或功能提出任何限制。部件的配置也不应被解释为关于计算机系统1000的非限制性实施方式中示出的部件中的任一部件或其组合具有任何依赖性或要求。
计算机系统1000可以包括某些人机接口输入装置。这样的人机接口输入装置可以响应于一个或更多个人类用户通过例如触觉输入(例如：键击、挥击、数据手套移动)、音频输入(例如：语音、拍手)、视觉输入(例如：手势)、嗅觉输入(未描绘)的输入。人机接口装置还可以用来捕获不一定与由人类进行的有意识输入直接相关的某些媒体，例如音频(例如：语音、音乐、环境声音)、图像(例如：扫描图像、从静止图像摄像装置获得的摄影图像)、视频(例如：2D视频、包括立体视频的三维视频)。
输入人机接口装置可以包括以下各项中的一个或更多个(每项仅描绘一个)：键盘1001、鼠标1002、触控板1003、触摸屏1010、数据手套、操纵杆1005、麦克风1006、扫描仪1007、摄像装置1008。
计算机系统1000还可以包括某些人机接口输出装置。这样的人机接口输出装置可以通过例如触觉输出、声音、光和气味/味道刺激一个或更多个人类用户的感觉。这样的人机接口输出装置可以包括触觉输出装置(例如，通过触摸屏1010、数据手套或操纵杆1005进行的触觉反馈，但是也可以存在不用作输入装置的触觉反馈装置)。例如，这样的装置可以是音频输出装置(例如，扬声器1009、耳机(未描绘))、视觉输出装置(例如，包括CRT屏幕、LCD屏幕、等离子体屏幕、OLED屏幕的屏幕1010，各自具有或不具有触摸屏输入能力，各自具有或不具有触觉反馈能力——其中的一些可以能够通过诸如立体输出、虚拟现实眼镜(未描绘)、全息显示器和发烟器(未描绘)的装置输出二维视觉输出或超过三维输出)以及打印机(未描绘)。
计算机系统1000还可以包括人类可访问存储装置及其相关联的介质，例如包括具有CD/DVD等介质1021的CD/DVD ROM/RW1020的光学介质、拇指驱动器1022、可移除硬盘驱动器或固态驱动器1023、遗留磁性介质(例如磁带和软盘(未描绘))、基于专用ROM/ASIC/PLD的装置(例如安全加密狗(未描绘))等。
本领域技术人员还应当理解，结合当前公开的主题使用的术语“计算机可读介质”不包含传输介质、载波或其他瞬态信号。
计算机系统1000还可以包括到一个或更多个通信网络的接口。网络可以例如是无线的、有线连接的、光学的。网络还可以为局域网、广域网、城域网、车载和工业网络、实时网络、延迟容忍网络等。网络的示例包括局域网，例如以太网、无线LAN、蜂窝网络(包括GSM、3G、4G、5G、LTE等)、电视有线或无线广域数字网络(包括有线电视、卫星电视和地面广播电视)、车载的和工业的(包括CANBus)等。某些网络通常需要附接至某些通用数据端口或外围总线1049(例如，诸如计算机系统1000的USB端口)的外部网络接口适配器；其他网络通常通过附接至如下所描述的系统总线而集成到计算机系统1000的核中(例如，通过以太网接口集成到PC计算机系统中或通过蜂窝网络接口集成到智能电话计算机系统中)。使用这些网络中的任何网络，计算机系统1000可以与其他实体进行通信。这样的通信可以是单向、仅接收的(例如，广播TV)、单向仅发送的(例如CANbus到某些CANbus装置)或双向的，例如到使用局域或广域数字网络的其他计算机系统。这样的通信可以包括到云计算环境1055的通信。如上所描述的，某些协议和协议栈可以用在这些网络和网络接口中的每一个上。
以上提及的人机接口装置、人类可访问存储装置和网络接口1054可以附接至计算机系统1000的核1040。
核1040可以包括一个或更多个中央处理单元(CPU)1041、图形处理单元(GPU)1042、现场可编程门区域(Field Programmable Gate Area，FPGA)1043形式的专用可编程处理单元、用于某些任务的硬件加速器1044等。这些装置连同只读存储器(Read-onlymemory，ROM)1045、随机存取存储器1046、诸如内部非用户可访问硬盘驱动器、SSD等的内部大容量存储装置1047一起可以通过系统总线1048连接。在一些计算机系统中，可以以一个或更多个物理插头的形式访问系统总线1048，以使得能够由附加的CPU、GPU等进行扩展。外围装置可以直接地或通过外围总线1049附接至核的系统总线1048。外围总线的架构包括PCI、USB等。图形适配器1050可以包括在核1040中。
CPU 1041、GPU 1042、FPGA 1043和加速器1044可以执行某些指令，这些指令组合起来可以构成以上提及的计算机代码。该计算机代码可以存储在ROM 1045或RAM 1046中。瞬态数据也可以存储在RAM 1046中，而永久数据可以存储在例如内部大容量存储装置1047中。可以通过使用高速缓存存储器来实现对存储器装置中的任何存储器装置的快速存储及检索，该高速缓存存储器可以与一个或更多个CPU 1041、GPU 1042、大容量存储装置1047、ROM 1045、RAM 1046等紧密相关联。
计算机可读介质上可以具有计算机代码，该代码用于执行各种计算机实现的操作。介质和计算机代码可以是为本公开内容的目的而专门设计和构造的介质和计算机代码，或者它们可以是对计算机软件领域的技术人员公知且可获得的类型。
作为示例而非限制，具有架构的计算机系统1000——特别是核1040——可以由于处理器(包括CPU、GPU、FPGA、加速器等)执行实施在一个或更多个有形计算机可读介质中的软件而提供功能。这样的计算机可读介质可以是与以下各项相关联的介质：如上面所介绍的用户可访问的大容量存储装置、以及核1040的具有非暂态性质的某些存储装置例如核内部大容量存储装置1047或ROM 1045。实现本公开内容的各种实施方式的软件可以存储在这样的装置中并且由核1040执行。根据特定需要，非暂态计算机可读介质可以包括一个或更多个存储装置或者芯片。软件可以使核1040，特别是其中的处理器(包括CPU、GPU、FPGA等)执行本文中描述的特定过程或特定过程的特定部分，包括定义存储在RAM 1046中的数据结构，以及根据软件定义的过程修改这种数据结构。另外地或者作为替选方案，计算机系统可以由于逻辑硬连线或以其他方式实施在电路(例如：加速器1044)中而提供功能，该电路可以代替软件或与软件一起运行以执行本文中描述的特定过程或特定过程的特定部分。在适当的情况下，提及软件可以包含逻辑，反之提及逻辑也可以包含软件。在适当的情况下，提及计算机可读介质可以包含存储用于执行的软件的电路(例如集成电路(IC))、实施用于执行的逻辑的电路或两者。本公开内容包含硬件和软件的任何合适组合。
尽管本公开内容已经描述了若干非限制性实施方式，但是存在落入本公开内容的范围内的改变、置换和各种替换等效物。因此将认识到，虽然本文中没有明确示出或描述，但是本领域技术人员能够设想实施本公开内容的原理并且因此在其精神和范围内的许多系统和方法。

Claims (20)

1.一种由至少一个处理器执行的用于基于图集采样的动态网格压缩的方法，所述方法包括：
接收具有表示对象的表面的多边形的网格帧；
响应于所述网格帧中的一个或更多个奇异成分，确定所述网格帧与不规则UV图相关联；
对所述UV图执行边界检测，以识别所述UV图中的一个或更多个边界环；以及
将所识别的一个或更多个边界环的信息压缩到比特流中。
2.根据权利要求1所述的方法，其中，如果所述UV图是非流形图和非简单连接图中的至少一种，则UV图是不规则的。
3.根据权利要求1所述的方法，其中，所述网格帧被划分为一个或更多个区域，所述一个或更多个区域中的每一个具有该区域各自的采样率。
4.根据权利要求3所述的方法，其中，在所述比特流中以高级语法用信号表示所述一个或更多个区域的采样率。
5.根据权利要求1所述的方法，其中，当所述网格帧具有至少一个非流形顶点时，确定所述网格帧与不规则UV图相关联。
6.根据权利要求5所述的方法，其中，当所述网格帧中的顶点具有多于两条的入射边界边时，所述顶点是非流形的。
7.根据权利要求1所述的方法，其中，对所述UV图执行边界检测以识别所述UV图中的一个或更多个边界环还包括：
确定所述UV图的欧拉特性；以及
基于所确定的所述UV图的欧拉特性，识别所述UV图中的一个或更多个边界环。
8.根据权利要求1所述的方法，其中，将所识别的一个或更多个边界环的信息压缩到比特流中还包括：
在所述比特流中用信号表示所识别的一个或更多个边界环的数目；以及
在所述比特流中用信号表示边界图中的每一个的顶点的UV坐标和对应3D坐标。
9.一种计算装置，包括：
至少一个存储器，被配置成存储程序代码；以及
至少一个处理器，被配置成执行所述程序代码，以执行用于基于图集采样的动态网格压缩的方法，所述方法包括：
接收具有表示对象的表面的多边形的网格帧；
响应于所述网格帧中的一个或更多个奇异成分，确定所述网格帧与不规则UV图相关联；
对所述UV图执行边界检测，以识别所述UV图中的一个或更多个边界环；以及
将所识别的一个或更多个边界环的信息压缩到比特流中。
10.根据权利要求9所述的计算装置，其中，如果所述UV图是非流形图和非简单连接图中的至少一种，则UV图是不规则的。
11.根据权利要求9所述的计算装置，其中，所述网格帧被划分为一个或更多个区域，所述一个或更多个区域中的每一个具有该区域各自的采样率。
12.根据权利要求11所述的计算装置，其中，在所述比特流中以高级语法用信号表示所述一个或更多个区域的采样率。
13.根据权利要求9所述的计算装置，其中，当所述网格帧具有至少一个非流形顶点时，确定所述网格帧与不规则UV图相关联。
14.根据权利要求13所述的计算装置，其中，当所述网格帧中的顶点具有多于两条的入射边界边时，所述顶点是非流形的。
15.根据权利要求9所述的计算装置，其中，对所述UV图执行边界检测以识别所述UV图中的一个或更多个边界环还包括：
确定所述UV图的欧拉特性；以及
基于所确定的所述UV图的欧拉特性，识别所述UV图中的一个或更多个边界环。
16.根据权利要求9所述的计算装置，其中，将所识别的一个或更多个边界环的信息压缩到比特流中还包括：
在所述比特流中用信号表示所识别的一个或更多个边界环的数目；以及
在所述比特流中用信号表示边界图中的每一个的顶点的UV坐标和对应3D坐标。
17.一种非暂态计算机可读介质，其存储指令，所述指令在由计算装置的一个或更多个处理器执行时使所述计算装置执行用于基于图集采样的动态网格压缩的方法，所述方法包括：
接收具有表示对象的表面的多边形的网格帧；
响应于所述网格帧中的一个或更多个奇异成分，确定所述网格帧与不规则UV图相关联；
对所述UV图执行边界检测，以识别所述UV图中的一个或更多个边界环；以及
将所识别的一个或更多个边界环的信息压缩到比特流中。
18.根据权利要求17所述的非暂态计算机可读介质，其中，如果所述UV图是非流形图和非简单连接图中的至少一种，则所述UV图是不规则的。
19.根据权利要求17所述的非暂态计算机可读介质，其中，当所述网格帧具有至少一个非流形顶点时，确定所述网格帧与不规则UV图相关联。
20.根据权利要求17所述的非暂态计算机可读介质，其中，对所述UV图执行边界检测以识别所述UV图中的一个或更多个边界环还包括：
确定所述UV图的欧拉特性；以及
基于所确定的所述UV图的欧拉特性，识别所述UV图中的一个或更多个边界环。
CN202380010879.5A 2022-03-31 2023-03-15 使用具有一般拓扑结构的图进行基于图集采样的网格压缩 Pending CN117178294A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202263326182P 2022-03-31 2022-03-31
US63/326,182 2022-03-31
US18/121,334 US20230316585A1 (en) 2022-03-31 2023-03-14 Atlas sampling based mesh compression with charts of general topology
US18/121,334 2023-03-14
PCT/US2023/015304 WO2023192027A1 (en) 2022-03-31 2023-03-15 Atlas sampling based mesh compression with charts of general topology

Publications (1)

Publication Number Publication Date
CN117178294A true CN117178294A (zh) 2023-12-05

Family

ID=88193222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202380010879.5A Pending CN117178294A (zh) 2022-03-31 2023-03-15 使用具有一般拓扑结构的图进行基于图集采样的网格压缩

Country Status (3)

Country Link
US (1) US20230316585A1 (zh)
CN (1) CN117178294A (zh)
WO (1) WO2023192027A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6577310B1 (en) * 1998-12-01 2003-06-10 Samsung Electronics Co., Ltd. 3D mesh coding/decoding method and apparatus for error resilience and incremental rendering
EP3417381A4 (en) * 2016-02-16 2019-12-04 Board of Regents, University of Texas System SPLINE SURFACE CONSTRUCTION MECHANISMS PROVIDING CONTINUITY BETWEEN SURFACES
US10685430B2 (en) * 2017-05-10 2020-06-16 Babylon VR Inc. System and methods for generating an optimized 3D model
US10431000B2 (en) * 2017-07-18 2019-10-01 Sony Corporation Robust mesh tracking and fusion by using part-based key frames and priori model
KR102406845B1 (ko) * 2020-04-13 2022-06-10 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법

Also Published As

Publication number Publication date
WO2023192027A9 (en) 2024-02-22
WO2023192027A1 (en) 2023-10-05
US20230316585A1 (en) 2023-10-05

Similar Documents

Publication Publication Date Title
US20230306701A1 (en) Parallel approach to dynamic mesh alignment
US20230316585A1 (en) Atlas sampling based mesh compression with charts of general topology
US20230048897A1 (en) 2d uv atlas sampling based methods for dynamic mesh compression
US20230334714A1 (en) Coding of boundary uv2xyz index for mesh compression
US20240135594A1 (en) Adaptive geometry filtering for mesh compression
US20230308669A1 (en) Predictive coding of boundary uv information for mesh compression
US20240078713A1 (en) Texture coordinate prediction in mesh compression
US20230334712A1 (en) Chart based mesh compression
US20230306647A1 (en) Geometry filtering for mesh compression
US20240007670A1 (en) Dynamic mesh vertex displacements coding
US20230306648A1 (en) Mesh parameterization with temporally correlated uv atlases
US11606556B2 (en) Fast patch generation for video based point cloud coding
US20230319293A1 (en) Triangulation methods with boundary information for dynamic mesh compression
KR20240066268A (ko) 일반적인 토폴로지의 차트를 사용한 atlas 샘플링 기반 메시 압축
US20230306649A1 (en) Predictive coding of boundary uv2xyz index for mesh compression
WO2024081393A1 (en) Adaptive geometry filtering for mesh compression
WO2024086314A2 (en) Texture coordinate compression using chart partition
KR20230010258A (ko) 비디오 기반의 포인트 클라우드 코딩을 위한 비2진 점유 맵
KR20230012558A (ko) 비디오 기반 포인트 클라우드 코딩을 위한 고속 재채색
KR20230054434A (ko) 비디오 기반의 포인트 클라우드 코딩을 위한 픽처들의 그룹 기반 패치 팩킹
CN118020093A (zh) 网格压缩中的纹理坐标预测

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication