CN113557745B - 点云几何结构填充 - Google Patents

Abstract

本申请公开了点云几何结构填充。本文中描述了一种点云几何结构填充方法。该方法在压缩占位图中搜索重建点以实施几何结构填充，而不是使用未压缩占位图。

Description

点云几何结构填充

相关申请的交叉引用

本申请在35U.S.C.§119(e)下要求2019年3月19日提交的标题为“POINT CLOUDGEOMETRY PADDING(点云几何结构填充)”的美国临时专利申请序列号62/820,723的优先权，该申请出于所有目的通过引用的方式被全文合并在本文中。

技术领域

本发明涉及三维图形。更具体来说，本发明涉及三维图形的编码。

背景技术

点云被考虑作为用于3D数据的传输的候选格式，该3D数据由3D扫描仪、LIDAR传感器捕获，或者被使用在比如虚拟现实/增强现实(VR/AR)之类的受欢迎的应用中。点云是3D空间中的点集合。除了空间位置(X,Y,Z)之外，每一个点通常具有相关联的属性，比如颜色(R,G,B)或者甚至反射率和时间标记(例如在LIDAR图像中)。为了获得目标3D对象的高保真表示，设备捕获大约数以千计或者甚至数以百万计的点的点云。此外，对于使用在VR/AR应用中的动态3D场景，每一帧常常具有独有的稠密点云，从而导致每秒传输几百万个点云。对于这样大的数据量的可行传输，常常应用压缩。

在2017年，MPEG发出了针对点云压缩的提议征集(CfP)。在评估了几项提议之后，MPEG对于点云压缩正在考虑两种不同的技术：3D原生编码技术(基于八叉树和类似的编码方法)，或者3D到2D投影，随后是传统的视频编码。在动态3D场景的情况下，MPEG正在使用基于贴片表面建模的测试模型软件(TMC2)，从3D到2D图像的贴片投影，以及利用比如HEVC之类的视频编码器对2D图像进行编码。该方法已被证明比原生3D编码更加高效，并且能够以可接受的质量实现具有竞争力的比特率。

在对点云进行编码时，TMC2对贴片投影的相关辅助信息进行编码，比如2D画布图像中的贴片位置和边框尺寸。对于辅助信息的时间编码，来自当前点云的贴片与来自即刻解码的点云的贴片之间的贴片匹配被用于预测。该规程被限制到紧接的邻域，并且包括对于序列中的所有帧实施增量编码。

使用视频编码器的点云压缩中的现有技术将点云表示为3D贴片，并且对通过将几何结构和属性投影到2D画布中所形成的2D图像进行编码。此外，2D图像具有许多通过图像填充处理进行充填的空白空间。通过占位图来识别空白空间。当前的图像填充处理是实施2D扩张(dilation)，其中将块的边界平滑地扩展到空白位置中。该处理仅考虑2D信息。由于占位图也被编码，占位图中的改变导致其中一些空白位置将被合并到重建点云中。因此，由于填充算法仅考虑图像的2D结构，先前利用填充算法充填的位置可能会被合并到重建点云中，从而可能导致一些几何失真。

发明内容

本文中描述了一种点云几何结构填充方法。该方法在压缩占位图中搜索重建点以实施几何结构填充，而不是使用未压缩占位图。

在一个方面中，一种被编程在设备的非瞬时性存储器中的方法包括：从点云生成几何结构图像，将几何结构图像放置在2D画布上，以及利用填充方法来充填2D画布上的空白空间，该填充方法考虑到由于占位图的有损压缩而新添加的点的3D位置。该填充方法包括在3D空间中搜索当被重建时尽可能地接近点云的值。所述方法还包括由于占位图的有损压缩而将新的值添加到重建点云。所述方法还包括通过搜索以2D画布中的局部点的代表值为中心的有限值范围来实施3D空间中的搜索。在3D空间中实施搜索包括开始于三个相邻点的平均值。在3D空间中实施搜索包括顺序地加或减值并且反复比较值，以确定替换点。在3D空间中实施搜索包括仅搜索指定范围内的点。所述方法还包括生成压缩几何结构图像。所述方法还包括生成点云的压缩比特流。

在另一方面中，一种装置包括：用于存储应用的非瞬时性存储器，该应用用于：从点云生成几何结构图像，将几何结构图像放置在2D画布上，以及利用填充方法来充填2D画布上的空白空间，该填充方法考虑到由于占位图的有损压缩而新添加的点的3D位置；以及耦合到该存储器的处理器，该处理器被配置来处理该应用。该填充方法包括在3D空间中搜索当被重建时尽可能地接近点云的值。该应用还被配置为由于占位图的有损压缩而将新的值添加到重建点云。该应用还被配置为通过搜索以2D画布中的局部点的代表值为中心的有限值范围来实施3D空间中的搜索。在3D空间中实施搜索包括开始于三个相邻点的平均值。在3D空间中实施搜索包括顺序地加或减值并且反复比较值，以确定替换点。在3D空间中实施搜索包括仅搜索指定范围内的点。该应用还被配置为生成压缩几何结构图像。该应用还被配置为生成点云的压缩比特流。

在另一方面中，一种系统包括用于获取三维内容的一个或多个摄影机，以及用于通过如下操作对三维内容进行编码的编码器：从三维内容生成几何结构图像，将几何结构图像放置在2D画布上，以及利用填充方法来充填2D画布上的空白空间，该填充方法考虑到由于占位图的有损压缩而新添加的点的3D位置。该填充方法包括在3D空间中搜索当被重建时尽可能地接近点云的值。该编码器还被配置为由于占位图的有损压缩而将新的值添加到重建点云。该编码器还被配置为通过搜索以2D画布中的局部点的代表值为中心的有限值范围来实施3D空间中的搜索。在3D空间中实施搜索包括开始于三个相邻点的平均值。在3D空间中实施搜索包括顺序地加或减值并且反复比较值，以确定替换点。在3D空间中实施搜索包括仅搜索指定范围内的点。该编码器还被配置为生成压缩几何结构图像。该编码器还被配置为生成点云的压缩比特流。

附图说明

图1示出了根据一些实施例的用于实施点云编码的示意图。

图2示出了根据一些实施例的添加了3D点的示例性图像。

图3示出了根据一些实施例的生成用于3D几何结构填充的重建点的图示。

图4示出了根据一些实施例的实施点云几何结构填充的方法的流程图。

图5示出了根据一些实施例的被配置为实施点云几何结构填充的示例性计算设备的方框图。

具体实施方式

本文中描述了一种对通过将3D点云数据映射到2D表面中而生成的几何结构图像进行填充的新颖方法。使用3D表面贴片来表示点云，实施3D贴片表面数据到2D画布图像中的灵活映射，并且通过考虑3D信息来填入几何结构图像的空白位置(几何结构图像填充)。

将表示几何结构的贴片放置在2D画布图像中，随后对空白位置进行充填(图像填充)以用于高效压缩。但是由于编码处理，其中一些空白位置将被合并到重建点云中。可以识别出这些位置，并且可以基于3D信息使用某种填充原理来填入这些位置。

本文中描述了利用3D信息来实施2D图像填充。过去的图像填充(或者还有图像修补)算法利用图像的2D结构。使用3D空间来实施图像填充。

图1示出了根据一些实施例的用于实施点云编码的示意图。用于点云编码的组件可以是被配置为实施其特定任务的标准或经过修改的组件。为了简明起见，本文中不描述一般点云编码组件的细节。本文中将进一步描述图像/几何结构填充。取代使用来自未压缩占位图的数据，利用来自压缩占位图的数据进行图像填充。取代使用原始占位图，使用对应于在填充几何结构图像时由于占位图编码而将被添加的位置的3D重建值。随后对经过填充的几何结构图像进行视频压缩，并且最终生成压缩比特流。

图2示出了根据一些实施例的添加了3D点的示例性图像。利用本文中描述的实现方式，用更准确的点来填充几何结构图像。

图3示出了根据一些实施例的生成用于3D几何结构填充的重建点的图示。3D几何结构填充包括为生成尽可能地接近原始点云的重建点的位置选择值。在可行的深度值范围内实施搜索。如图3中所示，目标是确定X。在过去，通过对d1、d2和d3取平均来确定X。但是图3示出了通过找到d_optimal来确定X的最优方式。搜索规程开始于均值，随后加1或减1，随后加2或减2，后面以此类推，从而确定该点是否接近原始点云。该点可能最终与均值相同或不同。此外，其值仅能比d1、d2和d3的平均值略高或略低。

I(i)是指示函数，如果相邻位置不可用则为0，或者如果相邻位置可用则为1。正如本文中所讨论的那样，可以使用不同的起始值，比如中值。这仅仅是搜索范围的起点。在3D空间中确定用于选择最适当的值的标准；计算重建值；并且该值与原始点云之间的距离将决定对于2D值的选择。

利用本文中描述的几何结构填充，减小了重建点云与原始点云之间的距离，具体来说是贴片之间的距离。

图4示出了根据一些实施例的实施点云几何结构填充的方法的流程图。在步骤400中，生成几何结构图像。以任何方式从输入/原始云帧生成几何结构图像。将表示几何结构的贴片放置在2D画布图像中。但是存在应当利用填充方法来填入(图像填充)的空白空间/位置，其中该填充方法考虑到由于占位图的有损压缩而新添加的点的3D位置。该填充方法包括在3D中搜索当被重建时尽可能地接近原始点云的值。由于占位图的有损压缩而将新的值添加到重建点云，其在一些实施例中可以被编码在较低分辨率中，并且当被上采样到正常分辨率时将把额外的点添加到重建点云。还可以考虑用于占位图的其他有损压缩方法。在步骤402中，生成压缩占位图。使用视频压缩生成压缩占位图。使用压缩占位图来识别将要充填的空白空间。举例来说，对压缩占位图进行分析以确定几何结构的边界中的任何间隙。在步骤404中，实施搜索以选择用来生成用于填充的重建点的值。在一些实施例中，通过搜索以2D画布中的局部点的代表值为中心的有限值范围来实施3D空间中的搜索。举例来说，考虑新添加的点的位置及其属于原始点云的相邻值。可以将可用点的代表值用作起始点，随后从该起始点加/减值，直到重建值足够接近原始点云。在一些实施例中，可以将紧邻当前位置的可用点的平均值或类似操作(例如中值)用作代表值。举例来说，如果三个点(一个在当前位置上方，一个在左侧，另一个在左上方)处于原始点云中，则它们都可以被用来估计用于3D中的搜索的初始值。如果仅有这些点的子集可用，则可以对于有限数目的相邻点进行相同的操作。此外，可以限制搜索范围，以便仍然保持与2D值的相似度，以及对于经过填充的几何结构图像的良好压缩能力。在步骤406中，利用所确定(重建)的点对点云几何结构进行填充(例如填入)。具体来说，基于压缩是空白/开放的区域被填入。在一些实施例中，实施更少的或附加的步骤。举例来说，在一些实施例中，所述方法包括生成压缩几何结构图像和/或生成点云的压缩比特流。在一些实施例中，修改各步骤的顺序。

图5示出了根据一些实施例的被配置为实施点云几何结构填充的示例性计算设备的方框图。计算设备500能够被用来获取、存储、计算、处理、通信和/或显示信息，比如包括3D内容的图像和视频。计算设备500能够实施点云几何结构填充的任何方面。一般来说，适于实施计算设备500的硬件结构包括网络接口502、存储器504、处理器506、(一个或多个)I/O设备508、总线510和存储设备512。处理器的选择并非关键，只要选择具有足够速度的适当处理器即可。存储器504可以是本领域内已知的任何传统的计算机存储器。存储设备512可以包括硬盘驱动器、CDROM、CDRW、DVD、DVDRW、高清晰度盘/驱动器、超高清晰度驱动器、闪存卡或者任何其他存储设备。计算设备500可以包括一个或多个网络接口502。网络接口的一个示例包括连接到以太网或其他类型的LAN的网卡。(一个或多个)I/O设备508可以包括以下各项当中的一项或多项：键盘、鼠标、监视器、屏幕、打印机、调制解调器、触摸屏、按钮接口和其他设备。被用来实施点云几何结构填充的(一个或多个)点云几何结构填充应用530可以被存储在存储设备512和存储器504中，并且按照应用通常被处理的那样被处理。在计算设备500中可以包括比图5中所示的更多或更少的组件。在一些实施例中包括点云几何结构填充硬件520。虽然图5中的计算设备500包括用于点云几何结构填充的应用530和硬件520，但是点云几何结构填充可以通过硬件、固件、软件或者其任何组合被实施在计算设备上。举例来说，在一些实施例中，点云几何结构填充应用530被编程在存储器中并且使用处理器来执行。在另一个示例中，在一些实施例中，点云几何结构填充硬件520是包括专门被设计为实施点云几何结构填充的门的编程硬件逻辑。

在一些实施例中，(一个或多个)点云几何结构填充应用530包括几个应用和/或模块。在一些实施例中，模块还包括一个或多个子模块。在一些实施例中，可以包括更少的或附加的模块。

适当的计算设备的示例包括个人计算机、膝上型计算机、计算机工作站、服务器、大型计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能电器、游戏机、数字摄影机、数字摄录一体机、摄影机电话、智能电话、便携式音乐播放器、平板计算机、移动设备、视频播放器、视频盘写入器/播放器(例如DVD写入器/播放器、高清晰度盘写入器/播放器、超高清晰度盘写入器/播放器)、电视、家庭娱乐系统、增强现实设备、虚拟现实设备、智能首饰(例如智能手表)、车辆(例如自动驾驶车辆)或者任何其他适当的计算设备。

为了利用点云几何结构填充方法，设备获取或接收3D内容，并且以优化的方式处理和/或发送该内容，从而允许正确、高效地显示3D内容。点云几何结构填充可以在用户的帮助下实施，或者在没有用户参与的情况下自动实施。

在操作中，点云几何结构填充在编码方面更加高效。

点云几何结构填充的一些实施例

1、一种被编程在设备的非瞬时性存储器中的方法，包括：

从点云生成几何结构图像；

将几何结构图像放置在2D画布上；以及

利用填充方法来充填2D画布上的空白空间，该填充方法考虑到由于占位图的有损压缩而新添加的点的3D位置。

2、第1条的方法，其中，该填充方法包括在3D空间中搜索当被重建时尽可能地接近点云的值。

3、第1条的方法，还包括由于占位图的有损压缩而将新的值添加到重建点云。

4、第1条的方法，还包括通过搜索以2D画布中的局部点的代表值为中心的有限值范围来实施3D空间中的搜索。

5、第1条的方法，其中，在3D空间中实施搜索包括开始于三个相邻点的平均值。

6、第1条的方法，其中，在3D空间中实施搜索包括顺序地加或减值并且反复比较值，以确定替换点。

7、第1条的方法，其中在3D空间中实施搜索包括仅搜索指定范围内的点。

8、第1条的方法，还包括生成压缩几何结构图像。

9、第1条的方法，还包括生成点云的压缩比特流。

10、一种装置，包括：

用于存储应用的非瞬时性存储器，该应用用于：

从点云生成几何结构图像；

将几何结构图像放置在2D画布上；以及

利用填充方法来充填2D画布上的空白空间，该填充方法考虑到由于占位图的有损压缩而新添加的点的3D位置；以及

耦合到该存储器的处理器，该处理器被配置来处理该应用。

11、第10条的装置，其中，该填充方法包括在3D空间中搜索当被重建时尽可能地接近点云的值。

12、第10条的装置，其中，该应用还被配置为由于占位图的有损压缩而将新的值添加到重建点云。

13、第10条的装置，其中，该应用还被配置为通过搜索以2D画布中的局部点的代表值为中心的有限值范围来实施3D空间中的搜索。

14、第10条的装置，其中，在3D空间中实施搜索包括开始于三个相邻点的平均值。

15、第10条的装置，其中，在3D空间中实施搜索包括顺序地加或减值并且反复比较值，以确定替换点。

16、第10条的装置，其中，在3D空间中实施搜索包括仅搜索指定范围内的点。

17、第10条的装置，其中，该应用还被配置为生成压缩几何结构图像。

18、第10条的装置，其中，该应用还被配置为生成点云的压缩比特流。

19、一种系统，包括：

用于获取三维内容的一个或多个摄影机；以及

用于通过如下操作对三维内容进行编码的编码器：

从三维内容生成几何结构图像；

将几何结构图像放置在2D画布上；以及

利用填充方法来充填2D画布上的空白空间，该填充方法考虑到由于占位图的有损压缩而新添加的点的3D位置。

20、第19条的系统，其中，该填充方法包括在3D空间中搜索当被重建时尽可能地接近点云的值。

21、第19条的系统，其中，该编码器还被配置为由于占位图的有损压缩而将新的值添加到重建点云。

22、第19条的系统，其中，该编码器还被配置为通过搜索以2D画布中的局部点的代表值为中心的有限值范围来实施3D空间中的搜索。

23、第19条的系统，其中，在3D空间中实施搜索包括开始于三个相邻点的平均值。

24、第19条的系统，其中，在3D空间中实施搜索包括顺序地加或减值并且反复比较值，以确定替换点。

25、第19条的系统，其中，在3D空间中实施搜索包括仅搜索指定范围内的点。

26、第19条的系统，其中，该编码器还被配置为生成压缩几何结构图像。

27、第19条的系统，其中，该编码器还被配置为生成点云的压缩比特流。

前面通过具体实施例描述了本发明，在具体实施例中合并有细节以促进与本发明的构造和操作原理的理解。本文中所提及的具体实施例和细节不意图限制所附权利要求的范围。本领域技术人员将很容易认识到，在不背离由权利要求限定的本发明的精神和范围的情况下，在被选择用来进行说明的实施例中可以做出其他各种修改。

Claims (15)

1.一种被编程在设备的非瞬时性存储器中的方法，包括：

从点云生成几何结构图像；

将几何结构图像放置在2D画布上；以及

利用填充方法来充填2D画布上的空白空间，该填充方法考虑到由于占位图的有损压缩而新添加的点的3D位置，其中所述填充方法包括在3D空间中搜索当被重建时使到所述点云的距离最小化的值，其中在所述3D空间中搜索包括搜索以所述2D画布中的局部点的代表值为中心的有限范围的值，其中在所述3D空间中搜索包括开始于三个相邻点的平均值，然后将从1开始的值顺序地加到所述平均值上或从所述平均值减去所述从1开始的值以确定结果，并且将所述结果与原始点云值反复比较以确定重建点，其中所述填充方法包括将所述重建点添加到所述空白空间的空白空间中。

2.根据权利要求1所述的方法，还包括由于占位图的有损压缩而将新的值添加到重建点云。

3.根据权利要求1所述的方法，其中在3D空间中实施搜索包括仅搜索指定范围内的点。

4.根据权利要求1所述的方法，还包括生成压缩几何结构图像。

5.根据权利要求1所述的方法，还包括生成点云的压缩比特流。

6.一种装置，包括：

用于存储应用的非瞬时性存储器，该应用用于：

从点云生成几何结构图像；

将几何结构图像放置在2D画布上；以及

利用填充方法来充填2D画布上的空白空间，该填充方法考虑到由于占位图的有损压缩而新添加的点的3D位置，其中所述填充方法包括在3D空间中搜索当被重建时使到所述点云的距离最小化的值，其中在所述3D空间中搜索包括搜索以所述2D画布中的局部点的代表值为中心的有限范围的值，其中在所述3D空间中搜索包括开始于三个相邻点的平均值，然后将从1开始的值顺序地加到所述平均值上或从所述平均值减去所述从1开始的值以确定结果，并且将所述结果与原始点云值反复比较以确定重建点，其中所述填充方法包括将所述重建点添加到所述空白空间的空白空间中；以及

耦合到该存储器的处理器，该处理器被配置来处理该应用。

7.根据权利要求6所述的装置，其中，该应用还被配置为由于占位图的有损压缩而将新的值添加到重建点云。

8.根据权利要求6所述的装置，其中，在3D空间中实施搜索包括仅搜索指定范围内的点。

9.根据权利要求6所述的装置，其中，该应用还被配置为生成压缩几何结构图像。

10.根据权利要求6所述的装置，其中，该应用还被配置为生成点云的压缩比特流。

11.一种系统，包括：

用于获取三维内容的一个或多个摄影机；以及

用于通过如下操作对三维内容进行编码的编码器：

从三维内容生成几何结构图像，其中所述三维内容为点云；

将几何结构图像放置在2D画布上；以及

利用填充方法来充填2D画布上的空白空间，该填充方法考虑到由于占位图的有损压缩而新添加的点的3D位置，其中所述填充方法包括在3D空间中搜索当被重建时使到所述点云的距离最小化的值，其中在所述3D空间中搜索包括搜索以所述2D画布中的局部点的代表值为中心的有限范围的值，其中在所述3D空间中搜索包括开始于三个相邻点的平均值，然后将从1开始的值顺序地加到所述平均值上或从所述平均值减去所述从1开始的值以确定结果，并且将所述结果与原始点云值反复比较以确定重建点，其中所述填充方法包括将所述重建点添加到所述空白空间的空白空间中。

12.根据权利要求11所述的系统，其中，该编码器还被配置为由于占位图的有损压缩而将新的值添加到重建点云。

13.根据权利要求11所述的系统，其中，在3D空间中实施搜索包括仅搜索指定范围内的点。

14.根据权利要求11所述的系统，其中，该编码器还被配置为生成压缩几何结构图像。

15.根据权利要求11所述的系统，其中，该编码器还被配置为生成点云的压缩比特流。