CN118369693A - 多个属性图合并 - Google Patents

Abstract

可以提供合并用于网格压缩的多个属性图的方法、装置和系统。该过程可以包括获得与包括一个或多个纹理图的网格相关联的多个属性图。可以将多个属性图串接成单个串接图，并且可以基于重新计算单个串接图内的多个属性图中的每一个属性图的原始UV坐标来生成多个属性图中的每一个属性图的串接UV坐标。

Description

多个属性图合并

交叉引用

本申请要求于2022年9月22日提交的美国临时申请第63/408,994号和于2023年5月9日提交的美国申请第18/314,307号的优先权，这两个申请的公开内容通过引用整体结合在本申请中。

技术领域

本公开涉及一组高级视频编码技术。更具体地，本公开涉及基于多个属性图合并的动态网格压缩。

背景技术

世界的高级三维(3D)表示正在实现更多的沉浸式交互和通信形式。为了在3D表示中实现真实感，3D模型正变得越来越复杂，并且大量的数据与这些3D模型的创建和消耗有关联。3D网格被广泛用于3D模型沉浸式内容。

3D网格可以包括描述体积对象的表面的若干多边形。每个多边形由其在3D空间中的顶点和关于顶点如何连接的信息定义，该信息被称为连接性信息。在一些实施例中，诸如颜色、法线等顶点属性可以与网格顶点相关联。还可以通过利用映射信息来将属性与网格的表面相关联，所述映射信息用于用2D属性图来参数化网格。这种映射通常可以通过与网格顶点相关联的称为UV坐标或纹理坐标的一组参数坐标来描述。2D属性图用于存储高分辨率属性信息，诸如纹理、法线、位移等。这种信息可以用于各种目的，诸如纹理映射和阴影。

动态网格序列可能需要大量数据，因为它可能具有随时间变化的大量信息。因此，需要有效压缩技术来存储和传输此类内容。

虽然先前开发了网格压缩标准IC、MESHGRID、FAMC以寻址具有持续连接性和时变几何和顶点属性的动态网格。然而，这些标准没有考虑时变属性图和连接性信息。

虽然使用通用测试条件来评估压缩方案的性能，但至少对于静态网格，评估可能不一致。因此，需要方法和系统始终适合评估系统。

发明内容

根据实施例，可以提供一种合并用于网格压缩的多个属性图的方法。该方法可以包括获得与网格相关联的多个属性图，其中，该多个属性图包括与网格相关联的两个或更多个纹理图；基于对多个属性图进行串接，来生成单个串接图；以及基于重新计算单个串接图内的多个属性图中的每一个属性图的原始UV坐标，来生成多个属性图中的每一个属性图的串接UV坐标。

根据实施例，可以提供一种用于合并用于网格压缩的多个属性图的装置。该装置可以包括至少一个存储器，该至少一个存储器被配置为存储程序代码；以及至少一个处理器，该至少一个处理器被配置为读取程序代码并且按照该程序代码的指示进行操作。该程序代码可以包括：获得代码，该获得代码被配置为使至少一个处理器获得与网格相关联的多个属性图，其中，该多个属性图包括与网格相关联的两个或更多个纹理图；第一生成代码，该第一生成代码被配置为使至少一个处理器基于对多个属性图进行串接，来生成单个串接图；以及第二生成代码，该第二生成代码被配置为使至少一个处理器基于重新计算单个串接图内多个属性图中的每一个属性图的原始UV坐标，来生成多个属性图中的每一个属性图的串接UV坐标。

根据实施例，可以提供一种存储计算机指令的非易失性计算机可读介质。该指令可以包括一个或多个指令，该一个或多个指令在由合并用于网格压缩的多个属性图的设备的一个或多个处理器执行时使一个或多个处理器获得与网格相关联的多个属性图，其中，该多个属性图包括与网格相关联的两个或更多个纹理图；基于对多个属性图进行串接，来生成单个串接图；以及基于重新计算单个串接图内的多个属性图中的每一个属性图的原始UV坐标来生成多个属性图中的每一个属性图的串接UV坐标。

附图说明

从以下详细描述和附图中，所公开的主题的其它特征、性质以及各种优点将更加明显，其中：

图1是根据本公开的实施例的通信系统的简化框图的示意图。

图2是根据本公开的实施例的流传输系统的简化框图的示意图。

图3是根据本公开的实施例的视频编码器和解码器的简化框图的示意图。

图4是根据本公开的实施例的用于有损网格压缩的通用文本条件的示例性拟议框架。

图5是图示根据本公开的实施例的纹理图合并流水线的流程图。

图6是根据本公开的实施例的示例性串接纹理图图示串接和像素填充。

图7A至图7B是图示根据本公开的实施例的纹理图的串接的示例性纹理图。

图8是图示根据本公开的实施例的纹理图的串接的示例性纹理图。

图9A至图9B是图示根据本公开的实施例的纹理图的串接的示例性纹理图。

图10A至图10B是图示根据本公开的实施例的纹理图的串接的示例性纹理图。

图11是图示根据本公开的实施例的多个属性图合并的示例性流程图。

图12是适用于实施实施例的计算机系统的图。

具体实施方式

网格可以包括描述体积对象的表面的若干多边形。其在3D空间中的顶点和顶点如何连接的信息可以定义每个多边形，该信息被称为连接性信息。可选地，诸如颜色、法线等顶点属性可以与网格顶点相关联。还可以通过利用映射信息来将属性与网格的表面相关联，所述映射信息用于用2D属性图来参数化网格。这种映射可以使用称为UV坐标或纹理坐标并且与网格顶点相关联的一组参数坐标来定义。2D属性图可以用于存储高分辨率属性信息，诸如纹理、法线、位移等。高分辨率属性信息可以用于各种目的，诸如纹理映射和阴影。

如上所述，3D网格或动态网格可能需要大量数据，因为它可能由随时间变化的大量信息组成。现有标准没有考虑时变属性图和连接性信息。现有标准也不支持生成持续连接性动态网格的体积采集技术，尤其是在实时条件下。

虽然使用通用测试条件来评估压缩方案的性能，但至少对于静态网格，评估可能不一致。因此，需要方法和系统始终适合评估系统。

因此，为了始终适合评估系统，尤其是对于具有多个属性图的那些网格，将属性图(例如，纹理图)串接成单个属性图。可以将每个属性图的UV坐标重新计算为单个串接属性图中的对应大小和位置。属性图合并(例如，纹理图合并)可以认为是用于具有多个属性图和多个纹理图的网格的网格压缩的预处理步骤。

根据本公开的一方面，提供了用于在动态网格压缩期间合并属性图的方法、系统和非易失性存储介质。本公开的实施例还可以应用于静态网格。

参考图1至图2，描述了用于实施本公开的编码和解码结构的本公开的实施例。

图1图示了根据本公开的实施例的通信系统100的简化框图。系统100可以包括经由网络150互连的至少两个终端110、120。对于数据的单向传输，第一终端110可以在本地位置处对可以包括网格数据的视频数据进行编码以经由网络150传输到另一终端120。第二终端120可以从网络150接收另一终端的已编码视频数据，对已编码数据进行解码并且显示已恢复的视频数据。单向数据传输在媒体服务应用等中可能是常见的。

图1图示了第二对终端130、140，提供该第二对终端130、140以支持例如在视频会议期间可能发生的已编码视频的双向传输。对于数据的双向传输，每个终端130、140可以对在本地位置处捕获的视频数据进行编码，以经由网络150传输到另一终端。每个终端130、140还可以接收由另一终端传输的已编码视频数据，可以对已编码数据进行解码，并且可以在本地显示设备上显示已恢复的视频数据。

在图1中，终端110至140可以是例如服务器、个人计算机和智能电话和/或任何其它类型的终端。例如，终端(110至140)可以是膝上型计算机、平板计算机、媒体播放器和/或专用视频会议设备。网络150表示在终端110至140中传送已编码视频数据的任何数量的网络，包括例如有线和/或无线通信网络。通信网络150可以在电路交换和/或分组交换信道中交换数据。代表性网络包括电信网、局域网、广域网和/或因特网。为了本讨论的目的，网络150的架构和拓扑结构对于本公开的操作可以是不重要的，除非下面给出解释。

图2作为所公开主题的应用的示例图示了视频编码器和解码器在流传输环境中的布置。所公开的主题可以与其它视频使能应用一起使用，包括例如视频会议、数字TV、在包括CD、DVD、记忆棒等的数字媒体上存储压缩视频等。

如图2所图示的，流传输系统200可以包括捕获子系统213，该捕获子系统213包括视频源201和编码器203。流传输系统200可以进一步包括至少一个流传输服务器205和/或至少一个流传输客户端206。

视频源201可以创建例如包括3D网格和与该3D网格相关联的元数据的流202。视频源201可以包括例如3D传感器(例如深度传感器)或3D成像技术(例如一个或多个数字相机)，以及被配置为使用从3D传感器或3D成像技术接收的数据来生成3D网格的计算设备。当与已编码视频码流相比时，可能具有高数据量的样本流202可以由耦合到视频源201的编码器203处理。编码器203可以包括硬件、软件或其组合，以实现或实施以下更详细描述的所公开的主题的各方面。编码器203还可以生成已编码视频码流204。与未压缩流202相比，可能具有较低数据量的已编码视频码流204可以被存储在流传输服务器205上以供将来使用。一个或多个流传输客户端206可以访问流传输服务器205以检索可以是已编码视频码流204的副本的视频码流209。

流传输客户端206可以包括视频解码器210和显示器212。视频解码器210可以例如对作为已编码视频码流204的输入副本的视频码流209进行解码，并且创建可以在显示器212或另一渲染设备(未描绘)上渲染的输出视频样本流211。在一些流传输系统中，可以根据某些视频编码/压缩标准对视频码流204、209进行编码。

图3是用于使用编码器和解码器的动态网格压缩和网格重建的框架300的示例性示意图。

如在图3中所见，框架300可以包括编码器301和解码器351。编码器301可以包括一个或多个输入网格305、具有UV图谱310的一个或多个网格、占用图(occupancy map)315、几何图320、属性图325和元数据330。解码器351可以包括已解码占用图335、已解码几何图340、已解码属性图345、已解码元数据350和重建网格360。

如上所述，可以通过利用映射信息来将属性与网格的顶点或表面相关联，所述映射信息用于用2D属性图来参数化网格。这种映射可以使用一组参数坐标来定义，所述一组参数坐标被称为UV坐标或纹理坐标并且与网格顶点相关联。2D属性图可以用于存储高分辨率属性信息，诸如纹理、法线、位移等。高分辨率属性信息可以用于各种用途，诸如纹理映射和阴影。3D属性图可以用于存储网格中节点的多个属性。

根据本公开的一方面，输入网格305可以包括一个或多个帧，并且所述一个或多个帧中的每一帧可以通过一系列操作来进行预处理，并且用于生成具有UV图谱310的网格。作为示例，预处理操作可以包括并且可以不限于跟踪、参数化、重新网格化、体素化等。在一些实施例中，预处理操作可以仅在编码器侧而不在解码器侧执行。

具有UV图谱310的网格可以是2D网格。具有UV图谱的2D网格可以是其中每个顶点可以与2D图谱上的UV坐标相关联的网格。基于采样，具有UV图谱310的网格可以被处理并且转换成多个图。作为示例，基于对具有UV图谱的2D网格进行采样，UV图谱310可以被处理并且转换成占用图、几何图和属性图。可以使用适当的编解码器(例如，HVEC、VVC、AV1等)对所生成的占用图335、几何图340和属性图345进行编码并且将其传输到解码器。在一些实施例中，元数据(例如，连接性信息等)也可以被传输到解码器。

根据一方面，解码器351可以从编码器接收已编码占用图、几何图和属性图。除了本文描述的实施例之外，解码器351还可以使用适当的技术和方法来对占用图、几何图和属性图进行解码。在实施例中，解码器351可以生成已解码占用图335、已解码几何图340、已解码属性图345和已解码元数据350。基于已解码占用图335、已解码几何图340、已解码属性图345和已解码元数据350，可以使用一个或多个重建滤波器和技术将输入网格305重建为重建网格360。在一些实施例中，元数据330可以被直接传输到解码器351，并且解码器351可以基于已解码占用图335、已解码几何图340和已解码属性图345使用元数据来生成重建网格360。还可以在重建网格360上应用后置滤波技术，包括但不限于重新网格化、参数化、跟踪、体素化等。

具有2D UV图谱的输入网格可以具有顶点，其中网格的每个顶点可以具有2D图谱上的相关联的UV坐标。可以通过对UV图谱上的一个或多个点/位置进行采样来生成占用图、几何图和属性图。如果每个样本位置在由网格顶点定义的多边形内，则该样本位置可以被占用或不被占用。对于每个被占用的样本，可以通过从相关联的多边形顶点进行插值，来计算其对应的3D几何坐标和属性。

根据本公开的一方面，采样速率在整个2D图谱上可以是一致的。在一些实施例中，u和v轴的采样速率可以不同，使得各向异性重新网格化成为可能。在一些实施例中，整个2D图谱可以被分成多个区域，诸如切片或图块，并且每个这样的区域可以具有不同的采样速率。

根据本公开的一方面，每个区域(或整个2D图谱)的采样速率可以以高级语法来发信号通知，包括但不限于序列头、帧头、条带头等。在一些实施例中，每个区域(或整个2D图谱)的采样速率可以从编码器和解码器两者都假定的预先建立的速率集合中选择。因为编码器和解码器都知道预先建立的速率集合，一个特定采样速率的信令只需要发信号通知预先建立的速率集合中的索引。这种预先建立的集合的示例可以是每2个像素、每4个像素，每8个像素等。在一些实施例中，网格帧的每个区域(或整个2D图谱)的采样速率可以根据预先建立的速率集合、根据同一帧的其它已经编码的区域中先前使用的采样速率，或根据其它已经编码的网格帧中先前使用的采样速率来预测。

在一些实施例中，每个区域(或整个2D图谱)的采样速率可以基于每个区域(或整个2D图谱)的一些特征。作为示例，采样速率可以基于活动性-对于富纹理区域(或整个2D图谱)，或具有高活动性的区域(或整个2D图谱)，采样速率可以被设置为较高。作为另一示例，对于平滑区域(或整个2D图谱)，或具有低活动性的区域(或整个2D图谱)，采样速率可以被设置为较低。

在一些实施例中，可以以允许预测和直接信令的组合的方式来发信号通知网格帧的每个区域(或整个2D图谱)的采样速率。语法可以被构造为指示采样速率是被预测还是被直接发信号通知。当预测时，可以进一步发信号通知要使用哪个预测器采样速率(predictor-sampling rate)。当直接发信号通知时，可以发信号通知表示速率的值的语法。

图4图示了用于有损网格压缩的通用文本条件的框架400。在相关技术中，在编码期间，用于有损网格压缩的通用文本条件的过程可以包括三角化410、体素化420和编码430。解码可以包括解码440、去体素化450。该过程还可以包括生成网格点云460和470。所生成的网格点云460和470可以用于确定误差480。误差480可以包括D1 PSNR、D2 PSNR、UVPSNR和YCrCb PSNR。然而，该框架导致网格压缩的不一致评估。

为了始终适合评估系统，对于具有多个纹理图的那些网格，可以将多个纹理图串接成单个纹理图。可以将每个纹理图的UV坐标重新计算为所述单个串接纹理图中的对应大小和位置。根据本公开的实施例，纹理图或属性图的这种串接和重新计算可以是对框架400的预处理，并且改善了评估系统一致性。该预处理在框架400中被示为纹理合并或属性合并405。

本公开的实施例涉及一种合并网格中的属性的方法。本领域技术人员可以理解，网格中的属性可以是法线或纹理或与网格相关联的任何其它属性。作为示例，本公开的实施例可以用于纹理属性合并。本公开的实施例可以应用于其它属性(即，法线)。

网格中的多个纹理图可以具有不同的大小，并且每个纹理图的UV坐标可以在[0，1]的范围内，本公开涉及将具有其原始大小的这些图串接成单个图，并且计算串接图中的新UV坐标。

在一些实施例中，网格中的一些UV坐标在范围[0，1]之外或跨越纹理图的边界。本公开还提供了与这些性质相关的特定方法和过程，以合并纹理图，并且计算对应的新UV坐标。

图5示出了由主要程序组成的属性合并流水线。作为示例，描述纹理图合并流水线。可以发信号通知跨越纹理图的边界的网格的面。如果存在跨越纹理图的边界的面，则可以修改纹理图并且计算经修改的UV坐标。在针对所有纹理图这样做之后，可以对包括经修改的纹理图在内的纹理图进行串接和像素填充。可以为串接图重新计算网格的UV坐标。如果不存在跨越纹理图的边界的面，则可以通过串接和像素填充直接合并纹理图，而不修改纹理图。

图5是图示根据本公开的实施例的纹理图合并过程500的流程图。

如过程500中所示，在操作505处，可以发信号通知跨越纹理图的边界的网格的面。如果存在跨越纹理图的边界的面，则可以在操作510中修改纹理图，并且可以在操作515中计算经修改的UV坐标。在针对所有纹理图这样做之后，可以在操作520中对包括经修改的纹理图在内的纹理图进行串接，并且在操作525中进行像素填充。在操作530中，可以为串接图重新计算网格的UV坐标。

然而，在不存在跨越纹理图的边界的面的实施例中，可以在操作520中串接和在操作525中像素填充之后在操作530中直接合并纹理图，而不在操作510至515中修改纹理图。

根据一个实施例，多个纹理图在2维(U和V)中串接成正方形。也可以使用任何适当的形状。纹理图的数量用于如下计算串接纹理图的宽度和长度：

N_长度，N_宽度＝max(floor(log₂N)，2)，ceil(log₂N)…等式(1)

其中，N表示纹理图的总数，并且N_长度、N_宽度分别表示纹理图在长度(竖直)和宽度(水平)上的数量。

纹理图可以以它们的原始大小串接。对于具有不同大小的纹理图，可以使用像素填充来填充这些图之间的空白部分。像素填充可以是零填充或非零填充。零填充可以是在RGB(″红-绿-蓝″)通道中填充具有零值的像素。非零填充可以是在RGB通道中填充具有非零值的像素。图6包括具有零填充的纹理图。也可以使用非零填充。

图6是根据本公开的实施例的示例性串联纹理图600图示串接和像素填充。如在串接纹理图600中所见，提供了网格″冬天的女孩(Winter Girl)″的串接纹理图以示出纹理图串接和像素填充的示例。在串接纹理图600中，12个纹理图被串接为4×3的串接纹理图。不同大小的纹理图之间的空白部分被零填充。

纹理图中的原始UV坐标通常在[0，1]的范围内。在将多个纹理图串接成单个纹理图之后，可以重新计算反映单独纹理图中的相对位置的原始UV坐标(或具有交叉面的纹理图的经修改的UV坐标)，以拟合到范围[0，1]中，该范围反映新合并的纹理图中的相对位置。因此，新UV坐标可以根据串接图中对应的单独纹理图的大小和位置来计算。UV坐标可以用单独纹理图大小和整体串接图大小的比率进行归一化，然后移位到串接图中的对应位置。U和V坐标的计算可以如下：

其中，(U_原始，V_原始)是反映原始单独纹理图中相对位置的旧UV坐标；(U_偏移，V_偏移)是单独纹理图在新合并的图中分别在U和V维度中的位置。点(0，0)在单独纹理图中的位置可以是其在新合并的纹理图中的位置。

图7A至图7B是根据本公开的实施例的分别图示纹理图的串接的示例性纹理图700和750。

如在图7A中所见，图7A包括1×1的大纹理图和0.5×0.5的小纹理图。小纹理图中黑点的UV坐标为(0.75，0.25)。图7B图示了串接纹理图750，该串接纹理图750是图7A中的两个纹理图的串接。如图7B所示，黑点的新U坐标计算为(0.75×0.5+1)/1.5＝0.917，其中U_偏移为1。黑点的新V坐标计算为(0.25×0.5+0.5)/1＝0.625，其中V_偏移为0.5。

在一些实施例中，网格可以具有小于0或大于1的坐标。此类坐标指示图中的重复。作为示例，图8示出了具有重复背景的纹理图800。

如果U(或V)是一些参数，其中0＜U＜1(或0＜V＜1)，则U+1、U+2(或V+1、V+2)等是纹理图中的相同位置。因此，UV坐标可以表示为：

UV＝remainder(UV/1.0)+floor(UV/1.0)…等式(4)

为了计算串接纹理图中的新UV坐标，我们对UV/1.0的余数进行归一化和移位，然后加上向下取整(floor)的UV/1.0，以保持UV坐标中的纹理重复性质。

网格中每个面的颜色可以通过对纹理图中UV坐标的采样颜色进行插值来计算。图8示出了纹理图到具有不同UV坐标的面的颜色映射。如果该面不跨越纹理图的边界，则颜色映射可以与UV坐标的余数的颜色映射相同。如图8所示，右边灰色三角形的UV余数与左边灰色三角形的UV坐标相同。两个灰色三角形在网格的面上具有相同的颜色映射。然而，如果该面作为黑色三角形跨越纹理图的边界，则由UV坐标的余数采样的颜色将改变为虚线黑色三角形的颜色，并且导致不正确的颜色映射结果。

因此，对于大于1的UV或小于0的UV，跨越纹理图边界的面的UV坐标不能表示为UV/1.0的余数。

为了处理这样的问题，在网格中跨越纹理图的边界的面被发信号通知。如果存在跨越边界的面，则修改具有此类面的纹理图，并且计算经修改的UV坐标，以确保所有的面在纹理图中并且在经修改的纹理图中没有面跨越边界。如果在原始纹理图中没有跨越边界的面，则可以跳过纹理图修改和UV坐标重新计算的程序。

图9A至图9B是图示根据本公开的实施例的纹理图的串接的示例性纹理图。

图9A图示了原始纹理图和跨越纹理图的边界的UV坐标。图9B图示了经修改的纹理图和重新计算的UV坐标。

如图9A所示，跨越纹理图的右边界的UV坐标具有与接近纹理图的左边界的UV坐标相同的颜色。因此，纹理图的左区在跨越所述边界的UV坐标对应的宽度上进行复制并且被粘贴到纹理图的右侧。可以基于复制区的位置和大小来计算经修改的纹理图的经修改的UV坐标。

在实施例中，如果复制区在右侧：

在实施例中，如果复制区在左侧：

在实施例中，如果复制区在顶侧：

V_新＝V_原始/(长度_原始+长度_{复制_区})…等式(7)

在实施例中，如果复制区在底侧：

V_新＝(V_原始+长度_{复制_区})+/(长度_原始+长度_{复制_区})…等式(8)

图9B图示了经修改的纹理图中黑色虚线中的复制区和粘贴区。如图9B所示，复制区在原始纹理图的右侧，并且其宽度为0.125。三个新UV坐标可以计算为(0.75/1.125，0)、(1.125/1.125，0)、(0.938/1.125，0.5)，其等于(0.667，0)、(1，0)、(0.833，0.5)。在计算新UV坐标之后，在网格中没有跨越纹理图的边界的面。因此，对于在[0，1]之外的UV，UV/1的余数可以用于合并所有纹理图。

图10A至图10B是图示根据本公开的实施例的纹理图的串接的示例性纹理图。

图10A图示了当U和V坐标都跨域纹理图的边界时的示例。由于UV坐标的重复性质，纹理图外的右下点等于纹理图中的左上点。如本公开所提及的，复制并且粘贴跨越边界区以修改纹理图并且重新计算UV坐标。

图10B图示了经修改的纹理图，该经修改的纹理图包括三个新UV坐标(0.75/1.125，(-1.125+1.125)/1.125)、(1.125/1.125，(-1.125+1.125)/1.125)、(0.938/1.125，(0.375+0.125)/1.125)，其在经修改的纹理图中等于(0.667，0)、(1，0)、(0.833，0.444)。

图11图示了合并用于网格压缩的多个属性图的示例性过程1100。

在操作1105中，可以获得与网格相关联的多个属性图。

在一些实施例中，多个属性图包括与网格相关联的两个或更多个纹理图。多个图可以包括任何适当类型的属性图。

在操作1110中，可以生成基于对多个属性图进行串接的单个串接图。

在一些实施例中，在2D中的多个属性图可以被串接，并且单个串接图的长度和幅度可以基于包括在多个属性图中的属性图的数量。在一些实施例中，单个串接图中的多个属性图之间的空白像素可以用填充值填充。在一些实施例中，填充可以包括为空白像素中的RGB通道分配零值或非零值。

在操作1115中，可以基于重新计算单个串接图内的多个属性图中的每一个属性图的原始UV坐标，来生成多个属性图中的每一个属性图的串接UV坐标。

在一些实施例中，生成串接UV坐标可以包括确定单个串接图内的多个属性图中的每一个属性图的原始UV坐标，以及确定单个串接图内的多个属性图中的每一个属性图的原始UV坐标的偏移。该操作还可以包括基于原始UV坐标和原始UV坐标的偏移，来生成单个串接图内的多个属性图中的每一个属性图的串接UV坐标。

在一些实施例中，当多个属性图中的纹理图具有重复的图案时，可以基于第一纹理图的原始UV坐标的余数的归一化移位，来生成第一纹理图的串接UV坐标。

在一些实施例中，在操作1110之前，该过程可以包括确定多个属性图中的至少一个纹理图的一个或多个面跨越该至少一个纹理图的边界，并且然后发信号通知跨越该至少一个纹理图的边界的一个或多个面。可以重复该至少一个纹理图的相应区域，所述相应区域与跨越所述至少一个纹理图的边界的一个或多个面的每个相应面的宽度或高度相对应。

可以基于相应重复区的相应位置和相应重复区的相应大小，来生成具有经修改的UV坐标的至少一个纹理图的经修改的纹理图。最后，可以基于对经修改的纹理图和多个属性图进行串接来生成单个串接图。

可以理解，可以对网格压缩中使用的任何类型的图(包括属性图、纹理图等)执行过程1100。

上述技术可以通过计算机可读指令实现为计算机软件，并且物理地存储在一个或多个计算机可读介质中。例如，图12示出了计算机系统1200，其适于实现所公开某些实施例。

所述计算机软件可通过任何合适的机器代码或计算机语言进行编码，通过汇编、编译、链接等机制创建包括指令的代码，所述指令可由计算机中央处理单元(CPU)，图形处理单元(GPU)等直接执行或通过译码、微代码等方式执行。

所述指令可以在各种类型的计算机或其组件上执行，包括例如个人计算机、平板电脑、服务器、智能手机、游戏设备、物联网设备等。

图12所示的用于计算机系统1200的组件本质上是示例性的，并不用于对实现本申请实施例的计算机软件的使用范围或功能进行任何限制。也不应将组件的配置解释为与计算机系统1200的非限制性实施例中所示的任一组件或其组合具有任何依赖性或要求。

计算机系统1200可以包括某些人机界面输入设备。这种人机界面输入设备可以通过触觉输入(如：键盘输入、滑动、数据手套移动)、音频输入(如：声音、掌声)、视觉输入(如：手势)、嗅觉输入(未示出)，对一个或多个人类用户的输入做出响应。所述人机界面设备还可用于捕获某些媒体，气与人类有意识的输入不必直接相关，如音频(例如：语音、音乐、环境声音)、图像(例如：扫描图像、从静止影像相机获得的摄影图像)、视频(例如二维视频、包括立体视频的三维视频)。

人机界面输入设备可包括以下中的一个或多个(仅绘出其中一个)：键盘1201、鼠标1202、触控板1203、触摸屏1210、数据手套、操纵杆1205、麦克风1206、扫描仪1207、照相机1208。

计算机系统1200还可以包括某些人机界面输出设备。这种人机界面输出设备可以通过例如触觉输出、声音、光和嗅觉/味觉来刺激一个或多个人类用户的感觉。这样的人机界面输出设备可包括触觉输出设备(例如通过触摸屏1210、数据手套或操纵杆1205的触觉反馈，但也可以有不用作输入设备的触觉反馈设备)。这些设备可以是音频输出设备(例如，扬声器1209、耳机(未示出))、视觉输出设备(例如，包括阴极射线管屏幕、液晶屏幕、等离子屏幕、有机发光二极管屏的屏幕1210，其中每一个都具有或没有触摸屏输入功能、每一个都具有或没有触觉反馈功能——其中一些可通过诸如立体画面输出的手段输出二维视觉输出或三维以上的输出；虚拟现实眼镜(未示出)、全息显示器和放烟箱(未示出))以及打印机(未示出)。

计算机系统1200还可以包括人可访问的存储设备及其相关介质，如包括具有CD/DVD的高密度只读/可重写式光盘(CD/DVD ROM/RW)1220或类似介质1221的光学介质、拇指驱动器1222、可移动硬盘驱动器或固体状态驱动器1223，诸如磁带和软盘(未示出)的传统磁介质，诸如安全软件保护器(未示出)等的基于ROM/ASIC/PLD的专用设备，等等。

本领域技术人员还应当理解，结合所公开的主题使用的术语″计算机可读介质″不包括传输介质、载波或其它瞬时信号。

计算机系统1200还可以包括通往一个或多个通信网络的接口。所述网络可以是无线的、有线的、光学的。网络还可为局域网、广域网、城域网、车载网络和工业网络、实时网络、延迟容忍网络等等。网络的示例可以包括以太网、无线局域网、蜂窝网络(GSM、3G、4G、5G、LTE等)等局域网、电视有线或无线广域数字网络(包括有线电视、卫星电视、和地面广播电视)、车载和工业网络(包括CANBus)等等。某些网络通常需要外部网络接口适配器，用于连接到某些通用数据端口或外围总线1249(例如，计算机系统1200的USB端口)；其它系统通常通过连接到如下所述的系统总线集成到计算机系统1200的核心(例如，以太网接口集成到PC计算机系统或蜂窝网络接口集成到智能电话计算机系统)。通过使用这些网络中的任何一个，计算机系统1200可以与其它实体进行通信。所述通信可以是单向的，仅用于接收(例如，无线电视)，单向的仅用于发送(例如CAN总线到某些CAN总线设备)，或双向的，例如通过局域或广域数字网络到其它计算机系统。这些通信可以包括与云计算环境1255的通信。上述的每个网络和网络接口可使用某些协议和协议栈。

上述的人机界面设备、人可访问的存储设备以及网络接口1254可以连接到计算机系统1200的核心1240。

核心1240可包括一个或多个中央处理单元(CPU)1241、图形处理单元(GPU)1242、以现场可编程门阵列(FPGA)1243形式的专用可编程处理单元、用于特定任务的硬件加速器1244等。这些设备以及只读存储器(ROM)1245、随机存取存储器1246、内部大容量存储器(例如内部非用户可存取硬盘驱动器、固态硬盘等)1247等可通过系统总线1248进行连接。在某些计算机系统中，可以以一个或多个物理插头的形式访问系统总线1248，以便可通过额外的中央处理单元、图形处理单元等进行扩展。外围装置可直接附接到核心的系统总线1248，或通过外围总线1249进行连接。外围总线的体系结构包括外部控制器接口PCI、通用串行总线USB等。外围总线的架构包括PCI、USB等。图形适配器1250可以包括在核心1240中。

CPU 1241、GPU 1242、FPGA 1243和加速器1244可以执行某些指令，这些指令组合起来可以构成上述计算机代码。该计算机代码可以存储在ROM 1245或RAM 1246中。过渡数据也可以存储在RAM 1246中，而永久数据可以存储在例如内部大容量存储器1247中。通过使用高速缓冲存储器可实现对任何存储器设备的快速存储和检索，高速缓冲存储器可与一个或多个CPU1241、GPU 1242、大容量存储器1247、ROM 1245、RAM 1246等紧密关联。

所述计算机可读介质上可具有计算机代码，用于执行各种计算机实现的操作。介质和计算机代码可以是为本申请的目的而特别设计和构造的，也可以是计算机软件领域的技术人员所熟知和可用的介质和代码。

作为实施例而非限制，具有体系结构的计算机系统1200，特别是核心1240，可以作为处理器(包括CPU、GPU、FPGA、加速器等)提供执行包含在一个或多个有形的计算机可读介质中的软件的功能。这种计算机可读介质可以是与上述的用户可访问的大容量存储器相关联的介质，以及具有非易失性的核心1240的特定存储器，例如核心内部大容量存储器1247或ROM1245。实现本申请的各种实施例的软件可以存储在这种设备中并且由核心1240执行。根据特定需要，计算机可读介质可包括一个或一个以上存储设备或芯片。该软件可以使得核心1240特别是其中的处理器(包括CPU、GPU、FPGA等)执行本文所述的特定过程或特定过程的特定部分，包括定义存储在RAM 1246中的数据结构以及根据软件定义的过程来修改这种数据结构。另外或作为替代，计算机系统可以提供逻辑硬连线或以其它方式包含在电路(例如，加速器1244)中的功能，该电路可以代替软件或与软件一起运行以执行本文所述的特定过程或特定过程的特定部分。在适当的情况下，对软件的引用可以包括逻辑，反之亦然。在适当的情况下，对计算机可读介质的引用可包括存储执行软件的电路(如集成电路(IC))，包含执行逻辑的电路，或两者兼备。本申请包括任何合适的硬件和软件组合。

虽然本申请已对多个示例性实施例进行了描述，但实施例的各种变更、排列和各种等同替换均属于本申请的范围内。因此应理解，本领域技术人员能够设计多种系统和方法，所述系统和方法虽然未在本文中明确示出或描述，但其体现了本申请的原则，因此属于本申请的精神和范围之内。

Claims (20)

1.一种合并用于网格压缩的多个属性图的方法，其特征在于，所述方法由至少一个处理器执行，所述方法包括：

获得与网格相关联的多个属性图，其中，所述多个属性图包括与所述网格相关联的两个或更多个纹理图；

基于对所述多个属性图进行串接，来生成单个串接图；以及

基于重新计算所述单个串接图内的所述多个属性图中的每一个属性图的原始UV坐标，来生成所述多个属性图中的每一个属性图的串接UV坐标。

2.根据权利要求1所述的方法，其特征在于，生成所述单个串接图包括：

在2D中对所述多个属性图进行串接，其中，所述单个串接图的长度和幅度基于包括在所述多个属性图中的属性图的数量；以及

用填充值来填充所述单个串接图中的所述多个属性图之间的空白像素。

3.根据权利要求2所述的方法，其特征在于，所述填充值为零，并且其中，所述填充包括为所述空白像素中的红-绿-蓝(RGB)通道分配零值。

4.根据权利要求2所述的方法，其特征在于，所述填充值为非零，并且其中，所述填充包括为所述空白像素中的RGB通道分配非零值。

5.根据权利要求1所述的方法，其特征在于，生成所述串接UV坐标包括：

确定所述单个串接图内的所述多个属性图中的每一个属性图的所述原始UV坐标；

确定所述单个串接图内的所述多个属性图中的每一个属性图的所述原始UV坐标的偏移；以及

基于所述原始UV坐标和所述原始UV坐标的所述偏移，来生成所述单个串接图内的所述多个属性图中的每一个属性图的所述串接UV坐标。

6.根据权利要求5所述的方法，其特征在于，基于确定所述多个属性图中的第一纹理图具有重复的图案，基于所述第一纹理图的所述原始UV坐标的余数的归一化移位，来生成所述第一纹理图的所述串接UV坐标。

7.根据权利要求1所述的方法，其特征在于，在生成所述单个串接图之前，所述方法进一步包括：

基于所述多个属性图中的至少一个纹理图的一个或多个面跨越所述至少一个纹理图的边界，发信号通知跨越所述至少一个纹理图的所述边界的所述一个或多个面；

重复所述至少一个纹理图中的相应区域，所述相应区域与跨越所述至少一个纹理图的所述边界的所述一个或多个面的每个相应面的宽度或高度相对应；

基于相应重复区域的相应位置和所述相应重复区域的相应大小，来生成具有经修改的UV坐标的所述至少一个纹理图对应的经修改的纹理图；以及

基于对所述经修改的纹理图和所述多个属性图进行串接，来生成所述单个串接图，其中，所述多个属性图不包括用于生成所述经修改的纹理图的所述至少一个纹理图。

8.一种合并用于网格压缩的多个属性图的装置，其特征在于，所述装置包括：

至少一个存储器，所述至少一个存储器被配置为存储程序代码；以及

至少一个处理器，所述至少一个处理器被配置为读取所述程序代码，并且按照所述程序代码的指示进行操作，所述程序代码包括：

获得代码，所述获得代码被配置为使所述至少一个处理器获得与网格相关联的多个属性图，其中，所述多个属性图包括与所述网格相关联的两个或更多个纹理图；

第一生成代码，所述第一生成代码被配置为使所述至少一个处理器基于对所述多个属性图进行串接，来生成单个串接图；以及

第二生成代码，所述第二生成代码被配置为使所述至少一个处理器基于重新计算所述单个串接图内所述多个属性图中的每一个属性图的原始UV坐标，来生成所述多个属性图中的每一个属性图的串接UV坐标。

9.根据权利要求8所述的装置，其特征在于，所述第一生成代码包括：

第一串接代码，所述第一串接代码被配置为使所述至少一个处理器在2D中对所述多个属性图进行串接，其中，所述单个串接图的长度和幅度基于包括在所述多个属性图中的属性图的数量；以及

填充代码，所述填充代码被配置为使所述至少一个处理器用填充值来填充所述单个串接图中的所述多个属性图之间的空白像素。

10.根据权利要求9所述的装置，其特征在于，所述填充值为零，并且其中所述填充包括为所述空白像素中的红-绿-蓝(RGB)通道分配零值。

11.根据权利要求9所述的装置，其特征在于，所述填充值为非零，并且其中所述填充包括为所述空白像素中的RGB通道分配非零值。

12.根据权利要求8所述的装置，其特征在于，所述第二生成代码包括：

第一确定代码，所述第一确定代码被配置为使所述至少一个处理器确定所述单个串接图内的所述多个属性图中的每一个属性图的所述原始UV坐标；

第二确定代码，所述第二确定代码被配置为使所述至少一个处理器确定所述单个串接图内的所述多个属性图中的每一个属性图的所述原始UV坐标的偏移；以及

第三生成代码，所述第三生成代码被配置为使所述至少一个处理器基于所述原始UV坐标和所述原始UV坐标的所述偏移来生成所述单个串接图内的所述多个属性图中的每一个属性图的所述串接UV坐标。

13.根据权利要求12所述的装置，其特征在于，基于确定所述多个属性图中的第一纹理图具有重复的图案，基于所述第一纹理图的所述原始UV坐标的余数的归一化移位，来生成所述第一纹理图的所述串接UV坐标。

14.根据权利要求8所述的装置，其特征在于，所述方法进一步包括：

基于所述多个属性图中的至少一个纹理图的一个或多个面跨越所述至少一个纹理图的边界，信令代码被配置为使所述至少一个处理器发信号通知跨越所述至少一个纹理图的所述边界的所述一个或多个面；

重复代码，所述重复代码被配置为使所述至少一个处理器重复所述至少一个纹理图中的相应区域，所述相应区域与跨越所述至少一个纹理图的所述边界的所述一个或多个面的每个相应面的宽度或高度相对应；

第四生成代码，所述第四生成代码被配置为使所述至少一个处理器基于相应重复区域的相应位置和所述相应重复区域的相应大小，来生成具有经修改的UV坐标的所述至少一个纹理图对应的经修改的纹理图；以及

第五生成代码，所述第五生成代码被配置为使所述至少一个处理器基于对所述经修改的纹理图和所述多个属性图进行串接，来生成所述单个串接图，其中，所述多个属性图不包括用于生成所述经修改的纹理图的所述至少一个纹理图。

15.一种存储指令的非易失性计算机可读介质，其特征在于，所述指令包括：一个或多个指令，所述一个或多个指令在由合并用于网格压缩的多个属性图的设备的一个或多个处理器执行时使所述一个或多个处理器：

获得与网格相关联的多个属性图，其中，所述多个属性图包括与所述网格相关联的两个或更多个纹理图；

基于对所述多个属性图进行串接，来生成单个串接图；以及

基于重新计算所述单个串接图内的所述多个属性图中的每一个属性图的原始UV坐标，来生成所述多个属性图中的每一个属性图的串接UV坐标。

16.根据权利要求15所述的非易失性计算机可读介质，其特征在于，生成所述单个串接图包括：

在2D中对所述多个属性图进行串接，其中，所述单个串接图的长度和幅度基于包括在所述多个属性图中的属性图的数量；以及

用填充值来填充所述单个串接图中的所述多个属性图之间的空白像素。

17.根据权利要求16所述的非易失性计算机可读介质，其特征在于，所述填充值为零，并且其中所述填充包括为所述空白像素中的红-绿-蓝(RGB)通道分配零值。

18.根据权利要求15所述的非易失性计算机可读介质，其特征在于，生成所述串接UV坐标包括：

确定所述单个串接图内的所述多个属性图中的每一个属性图的所述原始UV坐标；

确定所述单个串接图内的所述多个属性图中的每一个属性图的所述原始UV坐标的偏移；以及

基于所述原始UV坐标和所述原始UV坐标的所述偏移，来生成所述单个串接图内的所述多个属性图中的每一个属性图的所述串接UV坐标。

19.根据权利要求18所述的非易失性计算机可读介质，其特征在于，基于确定所述多个属性图中的第一纹理图具有重复的图案，基于所述第一纹理图的所述原始UV坐标的余数的归一化移位，来生成所述第一纹理图的所述串接UV坐标。

20.根据权利要求15所述的非易失性计算机可读介质，其特征在于，在生成所述单个串接图之前，所述一个或多个指令在由所述一个或多个处理器执行时进一步使所述一个或多个处理器：

基于所述多个属性图中的至少一个纹理图的一个或多个面跨越所述至少一个纹理图的边界，发信号通知跨越所述至少一个纹理图的所述边界的所述一个或多个面；

重复所述至少一个纹理图中的相应区域，所述相应区域与跨越所述至少一个纹理图的所述边界的所述一个或多个面的每个相应面的宽度或高度相对应；

基于相应重复区域的相应位置和所述相应重复区域的相应大小，来生成具有经修改的UV坐标的所述至少一个纹理图对应的经修改的纹理图；以及

基于对所述经修改的纹理图和所述多个属性图进行串接，来生成所述单个串接图，其中，所述多个属性图不包括用于生成所述经修改的纹理图的所述至少一个纹理图。