CN117897731A - 网格拉链扣紧 - Google Patents

Abstract

本文描述了通过修改补丁边界处顶点的位置以确保相邻补丁之间没有间隙(也称为拉链扣紧)来改进网格重建的方法。公开了实现后期处理操作的六种不同方法，以及用于传输滤波器参数的语法元素和语义。分层方法指示可以在补丁之间产生间隙的几何失真。发送每帧或每补丁或每边界对象的值。对值进行编码的位数也取决于先前的几何失真。一种方法发送索引匹配而不是几何失真。根据边界顶点发送匹配的索引，但是也实现了只发送该对的一个索引的方法。

Description

网格拉链扣紧

相关申请的交叉引用

本申请根据35 U.S.C.§119(e)要求2022年3月25日提交的标题为“MESHZIPPERING”的序列号为63/269,911的美国临时专利申请的优先权，其在此以引用的方式整体并入用于所有目的。

技术领域

本发明涉及三维图形。更具体地说，本发明涉及三维图形的编码。

背景技术

最近，一种基于从3D到2D投影来压缩诸如点云之类的体积内容的新颖方法正在标准化。也称为V3C(基于视觉体积视频的压缩)的该方法将3D体积数据映射成几个2D补丁(patch)，然后进一步将这些补丁排列成图集图像，该图集图像随后用视频编码器进行编码。图集图像对应于点的几何形状、各自的纹理以及占用图(occupancy map)，该占用图指示针对点云重建要考虑哪些位置。

2017年，MPEG发布了用于点云压缩的建议书(CfP)。在评估了几个建议之后，目前MPEG正在考虑两种不同的用于点云压缩的技术：3D本机编码技术(基于八叉树和类似的编码方法)，或3D到2D投影，接着是传统的视频编码。在动态3D场景的情况下，MPEG正在使用基于补丁表面建模的测试模型软件(TMC2)、从3D到2D图像的补丁的投影、以及用诸如HEVC之类的视频编码器对2D图像进行编码。该方法已被证明比本机3D编码更有效，并且能够以可接受的质量实现具有竞争力的比特率。

由于基于投影的方法(也称为基于视频的方法，或V-PCC)的3D点云编码的成功，该标准预计将在未来的版本中包括更多的3D数据，诸如3D网格。然而，该标准的当前版本仅适用于未连接的点集的传输，因此没有发送点的连通性的机制，而它在3D网格压缩中是必需的。

已经提出了将V-PCC的功能也扩展到网格的方法。一种可能的方法是使用V-PCC对顶点进行编码，然后使用像TFAN或Edgebreaker那样的网格压缩方法对连通性进行编码。该方法的限制在于原始网格必须是密集的，使得从顶点生成的点云不是稀疏的，并且可以在投影后有效地编码。此外，顶点的顺序影响连通性的编码，并且重组网格连通性的不同方法已被提出。对稀疏网格进行编码的替代方法是使用原始补丁数据对3D中的顶点位置进行编码。由于原始补丁直接对(x，y，z)进行编码，因此在该方法中，所有顶点都被编码为原始数据，而连通性则通过如前所述的类似网格压缩方法进行编码。注意，在原始补丁中，顶点可能以任何优选顺序发送，因此可以使用从连通性编码生成的顺序。该方法可以对稀疏点云进行编码，然而，原始补丁对3D数据的编码效率不高，并且该方法可能缺少诸如三角形面的属性之类的进一步数据。

发明内容

本文描述了通过修改补丁边界处顶点的位置以确保相邻补丁之间没有间隙(也称为拉链扣紧，zippering)来改进网格重建的方法。公开了实现后期处理操作的六种不同方法，以及用于传输滤波器参数的语法元素和语义。分层方法指示可以在补丁之间产生间隙的几何失真。发送每帧或每补丁或每边界对象的值。对值进行编码的位数也取决于先前的几何失真。一种方法发送索引匹配而不是几何失真。根据边界顶点发送匹配的索引，但是也实现了只发送该对的一个索引的方法。

在一个方面，一种编程在设备的非暂时性存储器中的方法包括查找多个边界点，从多个网格拉链扣紧实现中选择拉链扣紧实现，以及基于所选择的网格拉链扣紧实现来合并顶点。多个网格拉链扣紧实现包括：每个序列固定值实现，每个序列最大失真实现，每帧最大失真实现，每个补丁最大失真实现，每个边界点实现，以及匹配的补丁/顶点索引实现。每个序列固定值实现包括基于距离来限制对匹配边界点的搜索范围。每个边界点实现包括接收失真信息而不执行搜索。匹配的补丁/顶点索引实现包括匹配索引。从多个网格拉链扣紧实现中选择拉链扣紧实现是编程的。从多个网格拉链扣紧实现中选择拉链扣紧实现是基于一组检测到的标准自适应地选择的。

在另一个方面，一种装置包括用于存储应用程序的非暂时性存储器，该应用程序用于：查找多个边界点，从多个网格拉链扣紧实现中选择拉链扣紧实现，以及基于所选择的网格拉链扣紧实现来合并顶点；以及耦合到存储器的处理器，该处理器被配置用于处理应用程序。多个网格拉链扣紧实现包括：每个序列固定值实现，每个序列最大失真实现，每帧最大失真实现，每个补丁最大失真实现，每个边界点实现，以及匹配的补丁/顶点索引实现。每个序列固定值实现包括基于距离来限制对匹配边界点的搜索范围。每个边界点实现包括接收失真信息而不执行搜索。匹配的补丁/顶点索引实现包括匹配索引。从多个网格拉链扣紧实现中选择拉链扣紧实现是编程的。从多个网格拉链扣紧实现中选择拉链扣紧实现是基于一组检测到的标准自适应地选择的。

在另一个方面，一种系统包括被配置用于对内容进行编码的编码器，以及解码器，该解码器被配置用于：查找内容的多个边界点，从多个网格拉链扣紧实现中选择拉链扣紧实现，以及基于所选择的网格拉链扣紧实现来合并顶点。多个网格拉链扣紧实现包括：每个序列固定值实现，每个序列最大失真实现，每帧最大失真实现，每个补丁最大失真实现，每个边界点实现，以及匹配的补丁/顶点索引实现。每个序列固定值实现包括基于距离来限制对匹配边界点的搜索范围。每个边界点实现包括接收失真信息而不执行搜索。匹配的补丁/顶点索引实现包括匹配索引。从多个网格拉链扣紧实现中选择拉链扣紧实现是编程的。从多个网格拉链扣紧实现中选择拉链扣紧实现是基于一组检测到的标准自适应地选择的。

附图说明

图1示出了根据一些实施例的网格拉链扣紧的方法的流程图。

图2示出了根据一些实施例的拉链扣紧方面的图像。

图3示出了示出根据一些实施例的每个拉链扣紧实现的优点和缺点的图像。

图4示出了被配置为实施根据一些实施例的网格拉链扣紧方法的示例性计算设备的框图。

具体实施方式

本文描述了通过修改补丁边界处顶点的位置以确保相邻补丁之间没有间隙(也称为拉链扣紧)来改进网格重建的方法。公开了实现后期处理操作的六种不同方法，以及用于传输滤波器参数的语法元素和语义。分层方法指示可以在补丁之间产生间隙的几何失真。发送每帧或每补丁或每边界对象的值。对值进行编码的位数也取决于先前的几何失真。一种方法发送索引匹配而不是几何失真。根据边界顶点发送匹配的索引，但是也实现了只发送该对的一个索引的方法。

如在在此以引用的方式整体并入用于所有目的的2021年1月28日提交的标题为“PROJECTION-BASED MESH COMPRESSION”的美国专利申请序列号17/161,300和2020年3月18日提交的标题为“PROJECTION-BASED MESH COMPRESSION”的美国临时专利申请序列号62/991,128中所述，拉链扣紧解决了未对齐顶点的问题。

图1示出了根据一些实施例的网格拉链扣紧的方法的流程图。在步骤100中，查找到边界点。能够以任何方式查找到边界点。在查找到边界点后，实施网格拉链扣紧。网格拉链扣紧包括确定边界顶点的邻居和合并特定的相邻边界顶点。网格拉链扣紧能够使用一个或多个不同的实现来实现。网格拉链扣紧用于查找匹配的点/顶点，以消除网格中的任何间隙。为了查找匹配点，通过搜索点的相邻点来在3D空间中执行搜索。搜索能够在范围上受到限制(例如，基于诸如最大距离5的固定值或基于最大失真)。因此，如果距离大于5，则该点将永远找不到其匹配。搜索也能够基于最大失真进行限制。每个点的最大失真可能不同。每个序列的网格拉链扣紧能够使用距离或最大失真来限制搜索。由于基于最大失真的搜索对于整个序列来说可能太耗时或计算昂贵，因此在每帧基础上搜索可能更佳。例如，基于固定值(例如，最大距离)搜索大多数帧，但是基于最大失真搜索一个特定帧。能够在每个补丁的基础上实现最大失真。例如，存在大的补丁，并且失真可能更小。在另一示例中，存在小的补丁，并且失真可能更大。能够在每个边界/边界点的情况下发送失真。对于该实现，不执行搜索；而是，按接收到的原样应用失真。然而，发送更多的失真信息，因此位速率更高，但网格重建更佳(例如更准确)。

在步骤102中，实施每帧的拉链扣紧。如上所述，拉链扣紧使用最大失真对帧中的每个点执行搜索。通过执行每帧而不是整个序列的拉链扣紧，在没有失真信息的情况下执行一些处理，并且只有更失真的帧使用基于最大失真的拉链扣紧。在步骤104中，实施每个补丁的拉链扣紧。通过执行每个补丁的拉链扣紧，在没有失真信息的情况下执行一些处理，并且只有更失真的补丁使用基于最大失真的拉链扣紧。在步骤106中，实施每个边界点的拉链扣紧。对于每个边界点的拉链扣紧，不执行搜索；而是，按接收到的原样应用失真。然而，发送更多的失真信息，因此位速率更高，但网格重建更佳(例如更准确)。在步骤108中，实施拉链扣紧边界点匹配。发送相互匹配的索引。解码器将基于匹配的顶点来确定补丁在3D空间中的去向(例如，平均两个点之间的距离或选择点中的一个点)。拉链扣紧实现能够以诸如被编程或基于一组检测到的标准(例如，检测到帧或补丁包括高于阈值的失真量)自适应地选择的任何方式进行选择。

在步骤110中，顶点被合并。能够以任何方式执行合并顶点。在一些实施例中，实施更少或附加的步骤。在一些实施例中，步骤的顺序被修改。在解码器侧执行拉链扣紧实现。

图2示出了根据一些实施例的拉链扣紧方面的图像。图像200能够在边界点之间具有间隙。在图像202中，拉链扣紧被应用于边界顶点以缩小或消除间隙。如所描述的，拉链扣紧涉及：将顶点分类为边界顶点或非边界顶点，确定边界顶点的邻居和合并相邻边界顶点。图像204示出了通过利用拉链扣紧而没有间隙的解码后的图像。

图3示出了示出根据一些实施例的每个拉链扣紧实现的优点和缺点的图像。图像300是原始图像。图像302示出没有拉链扣紧—12.172Mbps。图像304示出拉链扣紧—12.222Mbps。图像306示出拉链扣紧—13.253Mbps。图像308示出拉链扣紧—13.991Mbps。通过拉链扣紧，能够诸如在面部、头发和耳朵中填充间隙。

本文描述了更新后的拉链扣紧语法：

gs_zippering_max_match_distance[k]指定当使用拉链扣紧滤波处理时用于针对索引为k的几何平滑实例处理当前网格帧的变量zipperingMaxMatchDistance[k]的值。

“gs_zippering_send_border_point_match[k]等于1”指定通过发送匹配索引进行的拉链扣紧被应用于索引为k的几何平滑实例的边界点。“gs_zippering_send_border_point_match[k]等于0”指定通过发送匹配索引进行的拉链扣紧不被应用于索引为k的几何平滑实例的边界点。gs_zippering_send_border_point_match[k]的默认值等于0。

gs_zippering_number_of_patches[k]指示当前SEI消息要过滤的补丁数。gs_zippering_number_of_patches的值应在0到MaxNumPatches[frameIdx](含)的范围内。gs_zippering_number_of_patches的默认值等于0。

gs_zippering_number_of_border_points[k][p]指示索引为p的补丁的边界点数numBorderPoints[p]。

gs_zippering_border_point_match_patch_index[k][p][b]指定当使用拉链扣紧滤波处理时用于针对索引为k的几何平滑实例处理当前网格帧中的索引为p的当前补丁中的索引为b的当前边界点的变量zipperingBorderPointMatchPatchIndex[k][p][b]的值。

gs_zippering_border_point_match_border_point_index[k][p][b]指定当使用拉链扣紧滤波处理时用于针对索引为k的几何平滑实例处理当前网格帧中的索引为p的当前补丁中的索引为b的当前边界点的变量zipperingBorderPointMatchBorderPointindex[k][p][b]的值。

“gs_zippering_send_distance_per_patch[k]等于1”指定通过发送每个补丁的匹配距离进行的拉链扣紧被应用于索引为k的几何平滑实例的边界点。“gs_zippering_send_distance_per_patch[k]等于0”指定通过每个补丁的匹配距离进行的拉链扣紧不被应用于索引为k的几何平滑实例的边界点。gs_zippering_send_distance_per_patch[k]的默认值等于0。

“gs_zippering_send_distance_per_border_point[k]等于1”指定通过发送每个边界点的匹配距离进行的拉链扣紧被应用于索引为k的几何平滑实例的边界点。“gs_zippering_send_distance_per_border_point[k]等于0”指定通过每个边界点的匹配距离进行的拉链扣紧不被应用于索引为k的几何平滑实例的边界点。gs_zippering_send_distance_per_border_point[k]的默认值等于0。

gs_zippering_max_match_distance_per_patch[k]指定当使用拉链扣紧滤波处理时用于针对索引为k的几何平滑实例处理当前网格帧中的索引为p的当前补丁的变量zipperingMaxMatchDistancePerPatch[k][p]的值。

gs_zippering_border_point_distance[k][p][b]指定当使用拉链扣紧滤波处理时用于针对索引为k的几何平滑实例处理当前网格帧中的索引为p的当前补丁中的索引为b的当前边界点的变量zipperingMaxMatchDistancePerBorderpoint[k][p][b]的值。

如上所述，能够通过选择不同的拉链扣紧方法来实现权衡。针对整个序列发送单个距离只使用一个单个SEI消息，而发送每帧距离、补丁或边界距离包括每帧发送SEI消息。然而，主观影响可能是显著的，因为孔可能是可见的，或可能是不可见的，这取决于所选择的拉链扣紧方法。

图4示出了被配置为实施根据一些实施例的网格拉链扣紧方法的示例性计算设备的框图。计算设备400能够用于获取、存储、计算、处理、传送和/或显示包括3D内容的诸如图像和视频之类的信息。计算设备400能够实现编码/解码方面中的任何一个。一般而言，适用于实现计算设备400的硬件结构包括网络接口402、存储器404、处理器406、(一个或多个)I/O设备408、总线410和存储设备412。只要选择具有足够速度的合适处理器，处理器的选择就不是关键。存储器404能够是本领域已知的任何常规计算机存储器。存储设备412能够包括硬盘驱动器、CDROM、CDRW、DVD、DVDRW、高清晰度光盘/驱动器、超高清驱动器、闪存卡或任何其它存储设备。计算设备400能够包括一个或多个网络接口402。网络接口的示例包括连接到以太网或其它类型的LAN的网络卡。(一个或多个)I/O设备408能够包括以下中的一个或多个：键盘、鼠标、监视器、屏幕、打印机、调制解调器、触摸屏、按钮接口和其它设备。用于实现网格拉链扣紧实现的(一个或多个)网格拉链扣紧应用程序430很可能被存储在存储设备412和存储器404中并且如应用程序通常被处理那样被处理。在图4中示出的更多或更少的组件能够被包括在计算设备400中。在一些实施例中，网格拉链扣紧硬件420被包括。虽然图4中的计算设备400包括用于网格拉链扣紧实现的应用程序430和硬件420，但是网格拉链扣紧方法能够在计算设备上以硬件、固件、软件或其任何组合来实现。例如，在一些实施例中，网格拉链扣紧应用程序430被编程在存储器中并使用处理器来执行。在另一示例中，在一些实施例中，网格拉链扣紧硬件420是包括专门设计用于实现网格拉链扣紧方法的门的编程硬件逻辑。

在一些实施例中，(一个或多个)网格拉链扣紧应用程序430包括几个应用程序和/或模块。在一些实施例中，模块也包括一个或多个子模块。在一些实施例中，能够包括更少的或附加的模块。

合适的计算设备的示例包括个人计算机、膝上型计算机、计算机工作站、服务器、大型计算机、手持计算机、个人数字助理、蜂窝/移动电话、智能器具、游戏机、数码相机、数码摄像机、照相电话、智能电话、便携式音乐播放器、平板计算机、移动设备、视频播放器、视频光盘写入器/播放器(例如，DVD写入器/播放器、高清晰度光盘写入器/播放器、超高清晰度光盘写入器/播放器)、电视机、家庭娱乐系统、增强现实设备、虚拟现实设备、智能珠宝(例如，智能手表)、车辆(例如，自动驾驶车辆)或任何其他合适的计算设备。

为了利用网格拉链扣紧方法，设备获取或接收3D内容(例如，点云内容)。网格拉链扣紧方法能够在用户协助下实现或在没有用户参与的情况下自动实现。

在操作中，网格拉链扣紧方法实现了与先前实现相比更高效和更精确的3D内容解码。

网格拉链扣紧的一些实施例

1.一种编程在设备的非暂时性存储器中的方法，包括：

查找多个边界点；

从多个网格拉链扣紧实现中选择拉链扣紧实现；以及

基于所选择的网格拉链扣紧实现来合并顶点。

2.如条款1所述的方法，其中，所述多个网格拉链扣紧实现包括：

每个序列固定值实现；

每个序列最大失真实现；

每帧最大失真实现；

每个补丁最大失真实现；

每个边界点实现；以及

匹配的补丁/顶点索引实现。

3.如条款2所述的方法，其中，每个序列固定值实现包括基于距离来限制对匹配边界点的搜索范围。

4.如条款2所述的方法，其中，每个边界点实现包括接收失真信息而不执行搜索。

5.如条款2所述的方法，其中，匹配的补丁/顶点索引实现包括匹配索引。

6.如条款1所述的方法，其中，从所述多个网格拉链扣紧实现中选择拉链扣紧实现是编程的。

7.如条款1所述的方法，其中，从所述多个网格拉链扣紧实现中选择拉链扣紧实现是基于一组检测到的标准自适应地选择的。

8.一种装置，包括：

用于存储应用程序的非暂时性存储器，该应用程序用于：

查找多个边界点；

从多个网格拉链扣紧实现中选择拉链扣紧实现；以及

基于所选择的网格拉链扣紧实现来合并顶点；以及

耦合到存储器的处理器，该处理器被配置用于处理应用程序。

9.如条款8所述的装置，其中，所述多个网格拉链扣紧实现包括：

每个序列固定值实现；

每个序列最大失真实现；

每帧最大失真实现；

每个补丁最大失真实现；

每个边界点实现；以及

匹配的补丁/顶点索引实现。

10.如条款9所述的装置，其中，每个序列固定值实现包括基于距离来限制对匹配边界点的搜索范围。

11.如条款9所述的装置，其中，每个边界点实现包括接收失真信息而不执行搜索。

12.如条款9所述的装置，其中，匹配的补丁/顶点索引实现包括匹配索引。

13.如条款8所述的装置，其中，从所述多个网格拉链扣紧实现中选择拉链扣紧实现是编程的。

14.如条款8所述的装置，其中，从所述多个网格拉链扣紧实现中选择拉链扣紧实现是基于一组检测到的标准自适应地选择的。

15.一种系统，包括：

编码器，其被配置用于对内容进行编码；以及

解码器，其被配置用于：

查找内容的多个边界点；

从多个网格拉链扣紧实现中选择拉链扣紧实现；以及

基于所选择的网格拉链扣紧实现来合并顶点。

16.如条款15所述的系统，其中，所述多个网格拉链扣紧实现包括：

每个序列固定值实现；

每个序列最大失真实现；

每帧最大失真实现；

每个补丁最大失真实现；

每个边界点实现；以及

匹配的补丁/顶点索引实现。

17.如条款16所述的系统，其中，每个序列固定值实现包括基于距离来限制对匹配边界点的搜索范围。

18.如条款16所述的系统，其中，每个边界点实现包括接收失真信息而不执行搜索。

19.如条款16所述的系统，其中，匹配的补丁/顶点索引实现包括匹配索引。

20.如条款15所述的系统，其中，从所述多个网格拉链扣紧实现中选择拉链扣紧实现是编程的。

21.如条款15所述的系统，其中，从所述多个网格拉链扣紧实现中选择拉链扣紧实现是基于一组检测到的标准自适应地选择的。

本发明已经在结合细节的具体实施例方面进行了描述，以便于理解本发明的构造和操作的原理。本文中对特定实施例及其细节的此类引用并不旨在限制所附权利要求的范围。对于本领域技术人员将容易明显的是，可以在为了说明而选择的实施例中进行其他各种修改，而不背离由权利要求限定的本发明的精神和范围。

Claims (21)

1.一种编程在设备的非暂时性存储器中的方法，包括：

查找多个边界点；

从多个网格拉链扣紧实现中选择拉链扣紧实现；以及

基于所选择的网格拉链扣紧实现来合并顶点。

2.如权利要求1所述的方法，其中，所述多个网格拉链扣紧实现包括：

每个序列固定值实现；

每个序列最大失真实现；

每帧最大失真实现；

每个补丁最大失真实现；

每个边界点实现；以及

匹配的补丁/顶点索引实现。

3.如权利要求2所述的方法，其中，每个序列固定值实现包括基于距离来限制对匹配边界点的搜索范围。

4.如权利要求2所述的方法，其中，每个边界点实现包括接收失真信息而不执行搜索。

5.如权利要求2所述的方法，其中，匹配的补丁/顶点索引实现包括匹配索引。

6.如权利要求1所述的方法，其中，从所述多个网格拉链扣紧实现中选择拉链扣紧实现是编程的。

7.如权利要求1所述的方法，其中，从所述多个网格拉链扣紧实现中选择拉链扣紧实现是基于一组检测到的标准自适应地选择的。

8.一种装置，包括：

用于存储应用程序的非暂时性存储器，该应用程序用于：

查找多个边界点；

从多个网格拉链扣紧实现中选择拉链扣紧实现；以及

基于所选择的网格拉链扣紧实现来合并顶点；以及

耦合到所述存储器的处理器，该处理器被配置用于处理所述应用程序。

9.如权利要求8所述的装置，其中，所述多个网格拉链扣紧实现包括：

每个序列固定值实现；

每个序列最大失真实现；

每帧最大失真实现；

每个补丁最大失真实现；

每个边界点实现；以及

匹配的补丁/顶点索引实现。

10.如权利要求9所述的装置，其中，每个序列固定值实现包括基于距离来限制对匹配边界点的搜索范围。

11.如权利要求9所述的装置，其中，每个边界点实现包括接收失真信息而不执行搜索。

12.如权利要求9所述的装置，其中，匹配的补丁/顶点索引实现包括匹配索引。

13.如权利要求8所述的装置，其中，从所述多个网格拉链扣紧实现中选择拉链扣紧实现是编程的。

14.如权利要求8所述的装置，其中，从所述多个网格拉链扣紧实现中选择拉链扣紧实现是基于一组检测到的标准自适应地选择的。

15.一种系统，包括：

编码器，其被配置用于对内容进行编码；以及

解码器，其被配置用于：

查找内容的多个边界点；

从多个网格拉链扣紧实现中选择拉链扣紧实现；以及

基于所选择的网格拉链扣紧实现来合并顶点。

16.如权利要求15所述的系统，其中，所述多个网格拉链扣紧实现包括：

每个序列固定值实现；

每个序列最大失真实现；

每帧最大失真实现；

每个补丁最大失真实现；

每个边界点实现；以及

匹配的补丁/顶点索引实现。

17.如权利要求16所述的系统，其中，每个序列固定值实现包括基于距离来限制对匹配边界点的搜索范围。

18.如权利要求16所述的系统，其中，每个边界点实现包括接收失真信息而不执行搜索。

19.如权利要求16所述的系统，其中，匹配的补丁/顶点索引实现包括匹配索引。

20.如权利要求15所述的系统，其中，从所述多个网格拉链扣紧实现中选择拉链扣紧实现是编程的。

21.如权利要求15所述的系统，其中，从所述多个网格拉链扣紧实现中选择拉链扣紧实现是基于一组检测到的标准自适应地选择的。