CN117203672A - 具有时间相关的uv图谱的网格参数化 - Google Patents

Abstract

提供了用于生成时间相关的UV图谱的方法、设备和系统。过程可以包括：基于与一个或更多个先前帧相关联的分割信息生成多个一致的UV图表；基于将与一个或更多个非流形顶点相关联的一个或更多个关联面指定给对应UV图表，从多个一致的UV图表中去除一个或更多个非流形顶点；基于多个一致的UV图表和与一个或更多个先前帧相关联的一个或更多个参考图表之间的相似性合并多个一致的UV图表中的多于一个的一致的UV图表；以及基于使多个一致的UV图表和与一个或更多个先前帧相关联的一个或更多个参考图表对准来生成当前帧的时间相关的UV图谱。

Description

具有时间相关的UV图谱的网格参数化

相关申请的交叉引用

本申请要求于2022年3月25日提交的美国临时申请第63/323,885号和于2023年3月16日提交的美国申请第18/185,033号的优先权，上述两件申请的公开内容通过引用整体并入本文中。

技术领域

本公开内容涉及一组高级视频编码技术。更具体地，本公开内容涉及基于视频的动态网格对准和压缩。

背景技术

世界的高级三维(3D)表示正在实现更具沉浸感的交互和通信形式。为了在3D表示中实现真实感，3D模型变得越来越复杂，并且大量数据与这些3D模型的创建和消耗相关。3D网格广泛用于3D模型沉浸式内容。

3D网格可以包括对体积对象的表面进行描绘的几个多边形。动态网格序列可能需要大量数据，因为它可能具有随时间变化的大量信息。因此，需要高效的压缩技术来存储和传输这样的内容。

虽然先前开发了网格压缩标准IC、MESHGRID和FAMC来解决具有持续不断的连接性和时变几何和顶点属性的动态网格。然而，这些标准没有考虑时变属性图和连接性信息。

此外，对于体积获取技术，尤其是在实时约束下生成持续不断的连接性动态网格也是具有挑战性的。现有标准不支持这种类型的动态网格内容。

除上述之外，许多对准方法、尤其是时间对准基于顺序技术。换言之，一帧的处理依赖于其他帧，例如使用来自先前帧的图表分配的结果作为用于分配当前帧的图表的基础。依赖性使得这些方法不适合并行化，因此对网格进行编码/解码很慢。因此，需要使这种依赖性消除的方法来实现并行化并提高编码和解码效率。

发明内容

根据实施方式，用于生成时间相关的UV图谱(atlas)的方法包括：基于与一个或更多个先前帧相关联的分割信息生成与当前帧相关联的多个一致的UV图表；基于将与一个或更多个非流形顶点相关联的一个或更多个关联(incident)面指定给多个一致的UV图表当中的对应UV图表，从多个一致的UV图表中去除一个或更多个非流形顶点；基于多个一致的UV图表和与一个或更多个先前帧相关联的一个或更多个参考图表之间的相似性合并多个一致的UV图表中的多于一个的一致的UV图表；以及基于使多个一致的UV图表和与一个或更多个先前帧相关联的一个或更多个参考图表对准来生成当前帧的时间相关的UV图谱，其中，对准基于与一个或更多个参考图表相关联的打包信息。

根据实施方式，用于生成时间相关的UV图谱的装置包括：至少一个存储器，其被配置成存储程序代码；以及至少一个处理器，其被配置成读取程序代码并且如程序代码所指示的进行操作，所述程序代码包括：第一生成代码，其被配置成使至少一个处理器基于与一个或更多个先前帧相关联的分割信息生成与当前帧相关联的多个一致的UV图表；第一去除代码，其被配置成使至少一个处理器基于将与一个或更多个非流形顶点相关联的一个或更多个关联面指定给多个一致的UV图表当中的对应UV图表，从多个一致的UV图表中去除一个或更多个非流形顶点；第一合并代码，其被配置成使至少一个处理器基于多个一致的UV图表和与一个或更多个先前帧相关联的一个或更多个参考图表之间的相似性合并多个一致的UV图表中的多于一个的一致的UV图表；以及第二生成代码，其被配置成使至少一个处理器基于使多个一致的UV图表和与一个或更多个先前帧相关联的一个或更多个参考图表对准来生成当前帧的时间相关的UV图谱，其中，对准基于与一个或更多个参考图表相关联的打包信息。

根据实施方式，非暂态计算机可读介质存储指令，所述指令包括一个或更多个指令，所述一个或更多个指令在由用于生成时间相关的UV图谱的装置的一个或更多个处理器执行时使一个或更多个处理器：基于与一个或更多个先前帧相关联的分割信息生成与当前帧相关联的多个一致的UV图表；基于将与一个或更多个非流形顶点相关联的一个或更多个关联面指定给多个一致的UV图表当中的对应UV图表，从多个一致的UV图表中去除一个或更多个非流形顶点；基于多个一致的UV图表和与一个或更多个先前帧相关联的一个或更多个参考图表之间的相似性合并多个一致的UV图表中的多于一个的一致的UV图表；以及基于使多个一致的UV图表和与一个或更多个先前帧相关联的一个或更多个参考图表对准来生成当前帧的时间相关的UV图谱，其中，对准基于与一个或更多个参考图表相关联的打包信息。

附图说明

根据以下详细描述和附图，所公开的主题的另外的特征、性质和各种优点将更加明显，在附图中：

图1是根据本公开内容的实施方式的通信系统的简化框图的示意性图示。

图2是根据本公开内容的实施方式的流式传输系统的简化框图的示意性图示。

图3是根据本公开内容的实施方式的视频编码器和解码器的简化框图的示意性图示。

图4是根据本公开内容的实施方式的将3D图表投影至2D UV平面上的示例性图示。

图5是根据本公开内容的实施方式的填充图表中的“洞”的图示。

图6是示出根据本公开内容的实施方式的用于生成时间相关的UV图谱的过程的示例性流程图。

图7是适于实现实施方式的计算机系统的图。

具体实施方式

网格可以包括对体积对象的表面进行描绘的几个多边形。其在3D空间中的顶点以及顶点如何连接的信息可以定义每个多边形，被称为连接性信息。可选地，顶点属性例如颜色、法线等可以与网格顶点相关联。属性还可以通过利用用2D属性图对网格进行参数化的映射信息与网格的表面相关联。这样的映射可以使用一组参数坐标——称为UV坐标或纹理坐标——来定义，并与网格顶点相关联。2D属性图可以用于存储高分辨率属性信息，例如纹理、法线、位移等。高分辨率属性信息可以用于各种目的，例如纹理映射和着色。

如上所述，3D网格或动态网格可能需要大量数据，因为它可能包括随时间变化的大量信息。现有标准没有考虑时变属性图和连接性信息。现有标准也不支持尤其是在实时条件下生成持续不断的连接性动态网格的体积获取技术。

因此，需要新的网格压缩标准来直接处理具有时变连接性信息和可选地时变属性图的动态网格。本公开内容的实施方式使得高效的压缩技术能够存储和传输这样的动态网格。本公开内容的实施方式使得能够对各种应用例如实时通信、存储、自由视点视频、AR和VR进行有损和/或无损压缩。

为了实现高效压缩，本公开内容的实施方式采用空间和时间对准来获得帧内和/或帧间相关性。在相关技术中，许多对准方法、尤其是时间对准基于顺序技术。换言之，一帧的处理依赖于其他帧，例如使用来自先前帧的图表分配的结果作为用于分配当前帧的图表的基础。依赖性使得这些方法不适合并行化，因此对网格进行编码/解码很慢。因此，需要使这种依赖性消除的方法来实现并行化并提高编码和解码效率。

根据本公开内容的一方面，提供了用于并行处理动态网格压缩的方法、系统和非暂态存储介质。本公开内容的实施方式也可以应用于静态网格。

参照图1至图2，描述了用于实现本公开内容的编码结构和解码结构的本公开内容的实施方式。

图1示出了根据本公开内容的实施方式的通信系统100的简化框图。系统100可以包括经由网络150互连的至少两个终端110、120。对于数据的单向传输，第一终端110可以在本地位置处对可以包括网格数据的视频数据进行编码以经由网络150传输至另一终端120。第二终端120可以从网络150接收另一终端的编码视频数据、对编码数据进行解码并且显示经恢复的视频数据。单向数据传输在媒体服务应用等中可能是常见的。

图1示出了第二对终端130、140，所述第二对终端被提供以支持例如在视频会议期间可能发生的编码视频的双向传输。对于数据的双向传输，每个终端130、140可以对在本地位置处捕获的视频数据进行编码以经由网络150传输至另一终端。每个终端130、140还可以接收由另一终端传输的编码视频数据、可以对编码数据进行解码并且可以在本地显示装置处显示经恢复的视频数据。

在图1中，终端110至140可以是例如服务器、个人计算机和智能电话以及/或者任何其他类型的终端。例如，终端(110至140)可以是膝上型计算机、平板计算机、媒体播放器和/或专用视频会议装备。网络150表示在终端110至140之中传送编码视频数据的任何数量的网络，包括例如有线和/或无线通信网络。通信网络150可以在电路交换和/或分组交换信道中交换数据。代表性网络包括电信网络、局域网、广域网和/或因特网。出于本讨论的目的，除非在下文中有所说明，否则网络150的架构和拓扑对于本公开内容的操作而言可以是不重要的。

作为所公开的主题的应用的示例，图2示出了视频编码器和解码器在流式传输环境中的放置方式。所公开的主题可以与其他支持视频的应用一起使用，所述应用包括例如视频会议、数字电视、在包括CD、DVD、存储棒等的数字介质上存储经压缩的视频等。

如图2所示，流式传输系统200可以包括捕获子系统213，该捕获子系统包括视频源201和编码器203。流式传输系统200还可以包括至少一个流式传输服务器205和/或至少一个流式传输客户端206。

视频源201可以创建例如包括3D网格和与3D网格相关联的元数据的流202。视频源201可以包括例如3D传感器(例如深度传感器)或3D成像技术(例如数字摄像装置)以及被配置成利用从3D传感器或3D成像技术接收的数据来生成3D网格的计算装置。与编码视频比特流相比具有较高数据量的样本流202可以由耦接至视频源201的编码器203处理。编码器203可以包括硬件、软件或其组合，以实现或实施如下面更详细地描述的所公开主题的各方面。编码器203还可以生成编码视频比特流204。与未经压缩的流202相比具有较低数据量的编码视频比特流204可以被存储在流式传输服务器205上以供将来使用。一个或更多个流式传输客户端206可以访问流式传输服务器205以检索可以作为编码视频比特流204的副本的视频比特流209。

流式传输客户端206可以包括视频解码器210和显示器212。视频解码器210可以例如对作为编码视频比特流204的传入副本的视频比特流209进行解码，并且创建可以在显示器212或另一呈现装置(未描绘)上呈现的传出视频样本流211。在一些流式传输系统中，可以根据某些视频编码/压缩标准对视频比特流204、209进行编码。

图3是用于使用编码器和解码器进行动态网格压缩和网格重建的框架300的示例性图。

如图3所示，框架300可以包括编码器301和解码器351。编码器301可以包括一个或更多个输入网格305、一个或更多个具有UV图谱的网格310、占用图315、几何图320、属性图325和元数据330。解码器351可以包括解码的占用图335、解码的几何图340、解码的属性图345、解码的元数据350和重建的网格360。

根据本公开内容的一方面，输入网格305可以包括一个或更多个帧，并且一个或更多个帧中的每一帧可以通过一系列操作进行预处理，并用于生成具有UV图谱的网格310。作为示例，预处理操作可以包括但可以不限于跟踪、参数化、重新网格化、体素化等。在一些实施方式中，预处理操作可以仅在编码器侧执行，而不在解码器侧执行。

具有UV图谱的网格310可以是2D网格。具有UV图谱的2D网格可以是如下网格：网格的每个顶点可以与2D图谱上的UV坐标相关联。基于采样，具有UV图谱的网格310可以被处理并且被转换成多个图。作为示例，基于对具有UV图谱的2D网格进行采样，UV图谱310可以被处理并且被转换成占用图、几何图和属性图。所生成的占用图335、几何图340和属性图345可以使用适当的编解码器(例如，HVEC、VVC、AV1等)进行编码，并被传输至解码器。在一些实施方式中，元数据(例如，连接性信息等)也可以被传输至解码器。

根据一方面，解码器351可以从编码器接收编码的占用图、几何图和属性图。除了本文中描述的实施方式之外，解码器351还可以使用适当的技术和方法对占用图、几何图和属性图进行解码。在实施方式中，解码器351可以生成解码的占用图335、解码的几何图340、解码的属性图345和解码的元数据350。可以使用一个或更多个重建滤波器和技术基于解码的占用图335、解码的几何图340、解码的属性图345和解码的元数据350将输入网格305重建为重建的网格360。在一些实施方式中，元数据330可以被直接传输至解码器351，并且解码器351可以使用元数据来基于解码的占用图335、解码的几何图340和解码的属性图345生成重建的网格360。后滤波技术——包括但不限于重新网格化、参数化、跟踪、体素化等——也可以应用于重建的网格360。

具有2D UV图谱的输入网格可以具有顶点，其中网格的每个顶点可以在2D图谱上具有相关联的UV坐标。可以通过对UV图谱上的一个或更多个点/位置进行采样来生成占用图、几何图和属性图。如果每个样本位置在由网格顶点限定的多边形内，则它可能被占用或者未被占用。对于每个被占用的样本，可以通过从相关联的多边形顶点进行插值来计算其对应的3D几何坐标和属性。

根据本公开内容的一方面，采样率可以在整个2D图谱上是一致的。在一些实施方式中，u轴和v轴的采样率可以不同，使得各向异性重新网格化成为可能。在一些实施方式中，整个2D图谱可以被分成多个区域例如切片或图块，并且每个这样的区域可以具有不同的采样率。

根据本公开内容的一方面，每个区域(或整个2D图谱)的采样率可以以高级语法用信号通知，所述高级语法包括但不限于序列报头、帧报头、切片报头等。在一些实施方式中，每个区域(或整个2D图谱)的采样率可以从由编码器和解码器两者已经假定的预先建立的速率集中选择。由于编码器和解码器两者都知道的预先建立的速率集，因此用信号通知一个特定的采样率将只需要用信号通知预先建立的速率集中的索引。这样的预先建立的集合的示例可以是每2个像素、每4个像素、每8个像素等。在一些实施方式中，网格帧的每个区域(或整个2D图谱)的采样率可以根据预先建立的速率集、根据同一帧的其他已编码的区域中先前使用的采样率、或者根据其他已编码的网格帧中先前使用的采样率来预测。

在一些实施方式中，每个区域(或整个2D图谱)的采样率可以基于每个区域(或整个2D图谱)的一些特性。作为示例，采样率可以基于活动性——对于纹理丰富的区域(或整个2D图谱)或具有高活动性的区域(或整个2D图谱)，可以将采样率设置得更高。作为另一示例，对于平滑区域(或整个2D图谱)或具有低活动性的区域(或整个2D图谱)，可以将采样率设置得更低。

在一些实施方式中，网格帧的每个区域(或整个2D图谱)的采样率可以以如下方式用信号通知：可以允许预测和直接用信号通知的结合。语法可以被构造成指示采样率是否将被预测或直接用信号通知。当被预测时，要使用哪个预测器采样率可以进一步用信号通知。当直接用信号通知时，表示速率值的语法可以用信号通知。

图4是示出根据本公开内容的实施方式的将3D图表投影至2D UV平面(2D UV图表)上的示例性图400。

如图4所示，3D网格可以拆分成多个图表，每个图表可以投影至2D平面上。在2D UV平面上，网格的属性信息例如纹理信息可以查找其与3D顶点的对应关系。

如图4所示，UV坐标信息可以用于在2D UV平面上查找3D位置(例如顶点)的纹理信息。在实施方式中，图表的分割过程可能不相同，从而得到在2D平面上跨不同网格帧的各种形状的图表和分配。

如上所述，动态网格序列可能需要大量数据，因为它可能包括随时间变化的大量信息。特别地，如果不同网格帧的UV图谱之间的相关性低，则纹理图或几何图像的压缩可能是低效的。因此，对于动态网格压缩，期望跨不同网格帧的高度相关的UV图谱。

本公开内容的实施方式旨在生成时间相关的UV图谱用于动态网格压缩。实施方式可以单独应用或者通过任何形式的组合来应用。

创建网格UV图谱的框架可以包括5个步骤——网格预处理、分割、参数化、合并和打包。

根据实施方式，可能需要网格预处理来满足网格参数化算法的输入要求。在实施方式中，可以首先通过去除重复的、孤立的或退化的面或顶点清洁网格。然后，根据网格的平滑度，可以对清洁后的网格应用平滑滤波器，从而减少产生的UV图表的数目。在一些实施方式中，网格的连接性在平滑操作下是不变的。

根据实施方式，为了生成高度相关的UV图谱，可以首先生成一致的UV图表。一致的UV图表可以包括下述图表：当前帧中的一些图表在3D位置、形状、大小等方面类似于先前帧中的一些图表。可以通过使用来自先前帧的分割信息获得一致的UV图表。

在一个实施方式中，用于网格分割的先前帧中采用的代表性顶点可以用作参考顶点。当前帧中用于分割的代表性顶点可以从最接近这些参考顶点的地标顶点中选择。由于分割可能基于面和代表性顶点之间的测地线距离，因此相似的代表性顶点将产生相似的分割，并因此产生一致的图表。

在另一实施方式中，先前帧中的一些图表可以用作当前帧中用于分割的参考图表。例如，可以基于在2D或3D中的顶点的数目、面或图表区域的数目等方面最大的图表来选择参考图表。在确定先前帧中的参考图表之后，可以使用它们的信息查找当前帧中的对应图表。例如，可以利用参考图表中每个面的质心来查找当前帧中最接近的面，其将是对应图表中的面。

在一些实施方式中，可以验证生成的图表。在一个示例中，从参考图表中获得的对应图表可能不是流形或简单连通的(根据标准定义)，所以因此，可能需要去除非流形顶点以及/或者可能需要填充图表中的“洞”。可以通过将所有关联面指定给对应图表来检测和去除非流形顶点。为了检测图表中的“洞”，可以计算图表的欧拉特性。

其中，k₀、k₁、k₂是图表中顶点、边和面的数目，χ＝b₀-b₁，其中b₀是连通分量的数目，b₁是由内部边界环包围的“洞”的数目。因此，对于单个图表，b₀＝1，因此图表中“洞”的数目可以计算为：

b₁＝b₀-χ＝1-k₀+k₁-k₂。 式(2)

在一些实施方式中，可以通过查找图表中的所有内部边界环来检测“洞”。在检测到“洞”之后，可以通过以下来填充“洞”：将“洞”中的连通分量指定给对应图表或者迭代地将关联到内部边界的各个面重新标记为对应图表的各部分。

作为示例，图5示出了根据本公开内容的实施方式的图表中的“洞”的填充。在图5中，左侧板和右侧板分别示出了填充“洞”之前和之后的图表。

在验证对应图表的拓扑之后，可能需要验证对应图表是否不会因上述的面重新指定操作而变得太大。作为示例，可以确定经验证的图表中的图表区域或面的数目是否与参考图表显著不同。如果是这样，则可以删除作为从参考图表推断出的图表的图表。

在接下来的实施方式中，图表可能必须被合并。期望在合并期间保持先前帧中的参考图表与当前帧中的对应图表之间的相似性。因此，合并图表需要一些限制，以免相似性被合并破坏。作为一个非限制性示例，可以采用具体策略合并图表。作为初始事项，可以为从参考图表推断出的每个对应图表指定唯一的合并ID。例外可能是，如果参考图表在先前帧中被合并，则对应图表可以具有与它们也可以被允许合并的相同的合并ID。不是从参考图表推断出的所有其他图表可能具有与对应图表不同的相同的合并ID。在一些实施方式中，所有后代图表可以继承与其祖先图表相同的合并ID。然后，只有具有相同的合并ID的图表可以合并。当合并大的对应图表和小的图表——其不会使对应图表在例如面或图表区域的数目方面改变太多——时，可以在要求相同的合并ID方面做出例外。然后，它们可以被允许合并，而不管合并ID。

用于生成UV网格图谱的最后一步可以是打包图表。在一些实施方式中，来自先前帧的参考图表和当前帧中的对应图表可以对准。首先，可以通过使用参考图表的打包信息例如位置、取向等来打包对应图表。之后，可以对不是从参考图表推断出的图表进行打包。

图6是示出根据本公开内容的实施方式的用于生成时间相关的UV图谱的过程600的流程图。

在操作605处，可以通过去除重复的、孤立的或退化的面或顶点来预处理当前帧。

在一些实施方式中，在预处理之后，根据网格的平滑度，可以对清洁后的网格可选地应用平滑滤波器，从而减少产生的UV图表的数目。

在操作610处，可以基于与一个或更多个先前帧相关联的分割信息生成与当前帧相关联的一个或更多个一致的UV图表。

在一些实施方式中，分割信息可以包括来自一个或更多个先前帧的参考顶点和来自一个或更多个先前帧的参考图表中的至少一者。在一些实施方式中，用于分割当前帧的代表性顶点可以从当前帧中的在测地线上(geodesically)接近来自一个或更多个先前帧的参考顶点的地标顶点当中选择。在一些实施方式中，用于分割当前帧的代表性图表可以从与一个或更多个先前帧相关联的参考图表当中选择，并且其中该选择可以基于参考图表中的顶点的数目、参考图表中的面的数目或参考图表中的图表区域的数目中的至少一者。

在操作615处，可以基于将与一个或更多个非流形顶点相关联的一个或更多个关联面指定给一个或更多个一致的UV图表当中的对应UV图表来从一个或更多个一致的UV图表中去除一个或更多个非流形顶点。

在操作620处，可以基于一个或更多个一致的UV图表和与一个或更多先前帧相关联的一个或更多个参考图表之间的相似性来合并一个或更多个一致的UV图表中的多于一个的一致的UV图表。

在一些实施方式中，合并可以包括为从一个或更多个参考图表推断出的与当前帧相关联的每个UV图表指定合并ID，其中基于一个或更多个参考图表当中的参考图表在一个或更多个先前帧中被合并，相同的合并ID可以被指定给与当前帧相关联的一个或更多个一致的UV图表当中的UV图表的合并。在一些实施方式中，合并可以包括合并一个或更多个一致的UV图表中的具有相同的合并ID的多于一个的一致的UV图表。

在一些实施方式中，合并可以包括合并一个或更多个一致的UV图表当中的大的UV图表和一个或更多个一致的UV图表当中的小的UV图表，其中合并大的UV图表和小的UV图表可以不改变合并的UV图表的面的数目，并且其中大的UV图表可以具有与小的UV图表不同的合并ID。

在操作625处，可以基于使一个或更多个一致的UV图表和与一个或更多个先前帧相关联的一个或更多个参考图表对准来生成当前帧的时间相关的UV图谱，其中，所述对准基于与一个或更多个参考图表相关联的打包信息。

上述技术可以使用计算机可读指令被实现为计算机软件并且被物理地存储在一个或更多个计算机可读介质中。例如，图7示出了适合于实现本公开内容的某些实施方式的计算机系统700。

计算机软件可以使用任何合适的机器代码或计算机语言来编码，所述机器代码或计算机语言可以经受汇编、编译、链接等机制以创建包括指令的代码，指令可以由计算机中央处理单元(CPU)、图形处理单元(GPU)等直接执行或者通过解释、微代码执行等来执行。

指令可以在各种类型的计算机或其部件上执行，所述计算机或其部件包括例如个人计算机、平板计算机、服务器、智能电话、游戏装置、物联网装置等。

图7中所示的用于计算机系统700的部件是示例，并且不旨在对实现本公开内容的实施方式的计算机软件的使用范围或功能提出任何限制。部件的配置也不应该被解释为具有与计算机系统700的非限制性实施方式中所示的部件中的任何一个或部件的组合有关的任何依赖性或要求。

计算机系统700可以包括某些人机接口输入装置。这样的人机接口输入装置可以响应于由一个或更多个人类用户通过例如触觉输入(例如：击键、滑动、数据手套移动)、音频输入(例如：语音、拍打)、视觉输入(例如：姿势)、嗅觉输入(未描绘)的输入。人机接口装置还可以用于捕获不一定与人的意识输入直接有关的某些媒体，例如，音频(例如：语音、音乐、环境声音)、图像(例如：扫描图像、从静态图像摄像装置获得的摄影图像)、视频(例如二维视频、包括立体视频的三维视频)。

输入人机接口装置可以包括以下中的一个或更多个(描绘的每种中的仅一个)：键盘701、鼠标702、触控板703、触摸屏710、数据手套、操纵杆705、麦克风706、扫描仪707、摄像装置708。

计算机系统700还可以包括某些人机接口输出装置。这样的人机接口输出装置可以通过例如触觉输出、声音、光和气味/味道来刺激一个或更多个人类用户的感觉。这样的人机接口输出装置可以包括：触觉输出装置(例如，通过触摸屏710、数据手套或操纵杆705进行的触觉反馈，但是也可以存在不用作输入装置的触觉反馈装置)。例如，这样的装置可以是音频输出装置(例如：扬声器709、头戴式耳机(未描绘))；视觉输出装置(例如，屏幕710，包括CRT屏幕、LCD屏幕、等离子屏幕、OLED屏幕，每个屏幕具有或不具有触摸屏输入能力，每个具有或不具有触觉反馈能力——其中的一些可能能够通过诸如立体输出的方式输出二维视觉输出或多于三维输出；虚拟现实眼镜(未描绘)；全息显示器和发烟器(未描绘))；以及打印机(未描绘)。

计算机系统700还可以包括人类可访问存储装置及其相关联的介质，例如包括具有CD/DVD等介质721的CD/DVD ROM/RW 720的光学介质、拇指驱动器722、可移除硬盘驱动器或固态驱动器723、传统磁性介质例如磁带和软盘(未描绘)、基于专用ROM/ASIC/PLD的装置例如安全加密狗(未描绘)等。

本领域技术人员还应当理解，结合目前公开的主题使用的术语“计算机可读介质”不包含传输介质、载波或其他瞬态信号。

计算机系统700还可以包括到一个或更多个通信网络的接口。网络例如可以是无线网络、有线网络、光网络。网络还可以为局域网、广域网、城域网、车载和工业网络、实时网络、延迟容忍网络等。网络的示例包括：局域网(例如以太网、无线LAN)，包括GSM、3G、4G、5G、LTE等的蜂窝网络，包括有线电视、卫星电视和地面广播电视的电视有线或无线广域数字网络，包括CAN总线的车辆和工业网络等。某些网络通常需要附接至某些通用数据端口或外围总线749(例如，计算机系统700的USB端口)的外部网络接口适配器；其他的网络通常通过如下所述(例如，至PC计算机系统的以太网接口或至智能电话计算机系统的蜂窝网络接口)附接至系统总线而集成到计算机系统700的核心中。使用这些网络中的任何网络，计算机系统700可以与其他实体通信。这样的通信可以是仅单向接收的(例如，广播电视)、仅单向发送的(例如，至某些CAN总线装置的CAN总线)、或双向的(例如，使用局域数字网络或广域数字网络至其他计算机系统)。这样的通信可以包括到云计算环境的通信755。可以在如上面所描述的这些网络和网络接口中的每个网络和网络接口上使用某些协议和协议栈。

以上提及的人机接口装置、人类可访问的存储装置和网络接口754可以附接至计算机系统700的核心740。

核心740可以包括一个或更多个中央处理单元(CPU)741、图形处理单元(GPU)742、呈现场可编程门区域(FPGA)743形式的专用可编程处理单元、用于某些任务的硬件加速器744等。这些装置连同只读存储器(ROM)745、随机存取存储器746、内部大容量存储装置例如内部非用户可访问硬盘驱动器、SSD等747可以通过系统总线748连接。在一些计算机系统中，可以以一个或更多个物理插头的形式访问系统总线748，以允许通过附加的CPU、GPU等进行扩展。外围装置可以直接地或者通过外围总线749附接至核心的系统总线748。外围总线的架构包括PCI、USB等。图形适配器750可以被包括在核心740中。

CPU 741、GPU 742、FPGA 743和加速器744可以执行某些指令，这些指令组合起来可以构成以上提及的计算机代码。计算机代码可以存储在ROM 745或RAM 746中。瞬时数据也可以存储在RAM 746中，而永久性数据可以存储在例如内部大容量存储装置747中。可以通过使用高速缓存存储器来实现对存储器装置中的任何存储器装置的快速存储和检索，该高速缓存存储器可以与一个或更多个CPU 741、GPU 742、大容量存储装置747、ROM 745、RAM746等紧密相关联。

计算机可读介质可以在其上具有用于执行各种计算机实现的操作的计算机代码。这些介质和计算机代码可以是出于本公开内容的目的而专门设计和构造的介质和计算机代码，或者他们可以具有计算机软件领域的技术人员公知且可用的类型。

作为示例而非限制，具有与计算机系统700相对应的架构的计算机系统，并且特别是核心740可以提供作为处理器(包括CPU、GPU、FPGA、加速器等)执行在一个或更多个有形计算机可读介质中实现的软件的结果的功能。这样的计算机可读介质可以是与如以上介绍的用户可访问的大容量存储装置相关联的介质，以及核心740的具有非暂态性质的某些存储装置，例如核心内部大容量存储装置747或ROM 745。可以将实现本公开内容的各种实施方式的软件存储在这样的装置中并且由核心740执行。根据特定需求，计算机可读介质可以包括一个或更多个存储器装置或芯片。软件可以使核心740并且特别是其中的处理器(包括CPU、GPU、FPGA等)执行本文中描述的特定处理或特定处理的特定部分，包括限定存储在RAM746中的数据结构以及根据由软件限定的处理修改这样的数据结构。另外地或可替选地，计算机系统可以提供作为逻辑硬连线或以其他方式在电路(例如：加速器744)中实现的结果的功能，所述电路可以代替软件而操作或与软件一起操作以执行本文中描述的特定处理或特定处理的特定部分。在适当的情况下，提及软件可以涵盖逻辑，并且反之提及逻辑也可以涵盖软件。在适当的情况下，对计算机可读介质的提及可以包含存储用于执行的软件的电路(例如，集成电路(IC))、体现用于执行的逻辑的电路或上述两者。本公开内容涵盖硬件与软件的任何合适的组合。

虽然本公开内容已经描述了几个非限制性实施方式，但是存在落入本公开内容的范围内的改变、置换和各种替换等同物。因此，应当认识到，本领域技术人员将能够构思许多系统和方法，这些系统和方法虽然本文中没有被明确示出或描述，但是实施了本公开内容的原理并且因此在本公开内容的精神和范围内。

Claims (20)

1.一种用于生成时间相关的UV图谱的方法，所述方法由至少一个处理器执行，所述方法包括：

基于与一个或更多个先前帧相关联的分割信息生成与当前帧相关联的多个一致的UV图表；

基于将与一个或更多个非流形顶点相关联的一个或更多个关联面指定给所述多个一致的UV图表当中的对应UV图表，从所述多个一致的UV图表中去除所述一个或更多个非流形顶点；

基于所述多个一致的UV图表和与所述一个或更多个先前帧相关联的一个或更多个参考图表之间的相似性合并所述多个一致的UV图表中的多于一个的一致的UV图表；以及

基于使所述多个一致的UV图表和与所述一个或更多个先前帧相关联的所述一个或更多个参考图表对准来生成所述当前帧的时间相关的UV图谱，其中，所述对准基于与所述一个或更多个参考图表相关联的打包信息。

2.根据权利要求1所述的方法，其中，所述分割信息包括来自所述一个或更多个先前帧的参考顶点和来自所述一个或更多个先前帧的参考图表中的至少一者。

3.根据权利要求2所述的方法，其中，用于分割所述当前帧的代表性顶点从所述当前帧中的在测地线上接近来自所述一个或更多个先前帧的所述参考顶点的地标顶点当中选择。

4.根据权利要求2所述的方法，其中，用于分割所述当前帧的代表性图表从与所述一个或更多个先前帧相关联的所述参考图表当中选择，并且其中，所述选择基于所述参考图表中的顶点的数目、所述参考图表中的面的数目或所述参考图表中的图表区域的数目中的至少一者。

5.根据权利要求1所述的方法，其中，所述合并包括：

为从所述一个或更多个参考图表推断出的与所述当前帧相关联的每个UV图表指定合并ID，其中：

基于所述一个或更多个参考图表当中的参考图表在所述一个或更多个先前帧中被合并，相同的合并ID被指定给与所述当前帧相关联的所述多个一致的UV图表当中的UV图表的合并。

6.根据权利要求5所述的方法，其中，所述合并还包括合并所述多个一致的UV图表中的具有相同的合并ID的多于一个的一致的UV图表。

7.根据权利要求6所述的方法，其中，所述合并还包括合并所述多个一致的UV图表当中的大的UV图表和所述多个一致的UV图表当中的小的UV图表，其中，合并所述大的UV图表和所述小的UV图表不改变所合并的UV图表的面的数目，并且其中，所述大的UV图表具有与所述小的UV图表不同的合并ID。

8.一种用于生成时间相关的UV图谱的装置，所述装置包括：

至少一个存储器，所述至少一个存储器被配置成存储程序代码；以及

至少一个处理器，所述至少一个处理器被配置成读取所述程序代码并且如所述程序代码所指示的进行操作，所述程序代码包括：

第一生成代码，所述第一生成代码被配置成使所述至少一个处理器基于与一个或更多个先前帧相关联的分割信息生成与当前帧相关联的多个一致的UV图表；

第一去除代码，所述第一去除代码被配置成使所述至少一个处理器基于将与一个或更多个非流形顶点相关联的一个或更多个关联面指定给所述多个一致的UV图表当中的对应UV图表，从所述多个一致的UV图表中去除所述一个或更多个非流形顶点；

第一合并代码，所述第一合并代码被配置成使所述至少一个处理器基于所述多个一致的UV图表和与所述一个或更多个先前帧相关联的一个或更多个参考图表之间的相似性合并所述多个一致的UV图表中的多于一个的一致的UV图表；以及

第二生成代码，所述第二生成代码被配置成使所述至少一个处理器基于使所述多个一致的UV图表和与所述一个或更多个先前帧相关联的所述一个或更多个参考图表对准来生成所述当前帧的时间相关的UV图谱，其中，所述对准基于与所述一个或更多个参考图表相关联的打包信息。

9.根据权利要求8所述的装置，其中，所述分割信息包括来自所述一个或更多个先前帧的参考顶点和来自所述一个或更多个先前帧的参考图表中的至少一者。

10.根据权利要求9所述的装置，其中，用于分割所述当前帧的代表性顶点从所述当前帧中的在测地线上接近来自所述一个或更多个先前帧的所述参考顶点的地标顶点当中选择。

11.根据权利要求9所述的装置，其中，用于分割所述当前帧的代表性图表从与所述一个或更多个先前帧相关联的所述参考图表当中选择，并且其中，所述选择基于所述参考图表中的顶点的数目、所述参考图表中的面的数目或所述参考图表中的图表区域的数目中的至少一者。

12.根据权利要求8所述的装置，其中，所述第一合并代码包括：

为从所述一个或更多个参考图表推断出的与所述当前帧相关联的每个UV图表指定合并ID，其中：

基于所述一个或更多个参考图表当中的参考图表在所述一个或更多个先前帧中被合并，相同的合并ID被指定给与所述当前帧相关联的所述多个一致的UV图表当中的UV图表的合并。

13.根据权利要求12所述的装置，其中，所述第一合并代码还包括合并所述多个一致的UV图表中的具有相同的合并ID的多于一个的一致的UV图表。

14.根据权利要求13所述的装置，其中，所述第一合并代码还包括合并所述多个一致的UV图表当中的大的UV图表和所述多个一致的UV图表当中的小的UV图表，其中，合并所述大的UV图表和所述小的UV图表不改变所合并的UV图表的面的数目，并且其中，所述大的UV图表具有与所述小的UV图表不同的合并ID。

15.一种存储指令的非暂态计算机可读介质，所述指令包括一个或更多个指令，所述一个或更多个指令在由用于生成时间相关的UV图谱的装置的一个或更多个处理器执行时使所述一个或更多个处理器：

基于与一个或更多个先前帧相关联的分割信息生成与当前帧相关联的多个一致的UV图表；

基于将与一个或更多个非流形顶点相关联的一个或更多个关联面指定给所述多个一致的UV图表当中的对应UV图表，从所述多个一致的UV图表中去除所述一个或更多个非流形顶点；

基于所述多个一致的UV图表和与所述一个或更多个先前帧相关联的一个或更多个参考图表之间的相似性合并所述多个一致的UV图表中的多于一个的一致的UV图表；以及

基于使所述多个一致的UV图表和与所述一个或更多个先前帧相关联的所述一个或更多个参考图表对准来生成所述当前帧的时间相关的UV图谱，其中，所述对准基于与所述一个或更多个参考图表相关联的打包信息。

16.根据权利要求15所述的非暂态计算机可读介质，其中，所述分割信息包括来自所述一个或更多个先前帧的参考顶点和来自所述一个或更多个先前帧的参考图表中的至少一者。

17.根据权利要求16所述的非暂态计算机可读介质，其中，用于分割所述当前帧的代表性顶点从所述当前帧中的在测地线上接近来自所述一个或更多个先前帧的所述参考顶点的地标顶点当中选择。

18.根据权利要求16所述的非暂态计算机可读介质，其中，用于分割所述当前帧的代表性图表从与所述一个或更多个先前帧相关联的所述参考图表当中选择，并且其中，所述选择基于所述参考图表中的顶点的数目、所述参考图表中的面的数目或所述参考图表中的图表区域的数目中的至少一者。

19.根据权利要求18所述的非暂态计算机可读介质，其中，所述合并包括：

为从所述一个或更多个参考图表推断出的与所述当前帧相关联的每个UV图表指定合并ID，其中：

基于所述一个或更多个参考图表当中的参考图表在所述一个或更多个先前帧中被合并，相同的合并ID被指定给与所述当前帧相关联的所述多个一致的UV图表当中的UV图表的合并。

20.根据权利要求16所述的非暂态计算机可读介质，其中，所述合并还包括合并所述多个一致的UV图表中的具有相同的合并ID的多于一个的一致的UV图表。