CN111316330A

CN111316330A - 用于对点云进行上采样的方法和装置

Info

Publication number: CN111316330A
Application number: CN201880072232.4A
Authority: CN
Inventors: 蔡康颖; C.格德; J.拉赫-平萨克; S.拉塞尔
Original assignee: InterDigital VC Holdings Inc
Current assignee: InterDigital VC Holdings Inc
Priority date: 2017-10-06
Filing date: 2018-10-02
Publication date: 2020-06-19
Also published as: US11455748B2; EP3692508B1; WO2019070703A1; EP3467784A1; US20200258261A1; EP3692508A1

Abstract

用于对表示3D对象的点云进行上采样的方法包括：‑基于至少一个期望的采样率(K)来检测(2)属于该点云的至少一个欠采样区域的点；‑对于每个检测到的点，获得(12)关联的切面；‑如果邻近点和与检测到的点关联的切面之间的距离小于第一阈值，则在点云中插入(14)每个检测到的点的至少一个邻近点。

Description

用于对点云进行上采样的方法和装置

技术领域

本公开一般涉及表示3D对象的点云数据源的领域。

更具体地，它处置点云的后处理。

因此，本公开涉及用于对点云进行上采样的方法和对应装置。它还涉及用于编码和解码点云的方法以及对应的编码器和解码器。它还涉及实现本发明的上采样方法的计算机程序。

背景技术

可以执行本部分中描述的方案，但这些方案不一定是先前已经设想或执行的方案。因此，除非本文另外指出，否则本部分中描述的方案不是本申请中的权利要求的现有技术，并且不通过包括在本部分中而被承认为现有技术。

点云可以包括通常意欲表示3D对象的外表面的点的集合，也可以包括可能无法通过其他数据格式(如网格)有效地表示的较复杂的几何形状(如头发或毛发)。每个点都由其3D空间位置(3D空间中的x、y和z坐标)(即几何信息)定义，并且可能由其他关联属性定义，这些关联属性通常包括以RGB或YUV或任何其他颜色坐标系统表示的颜色信息。其他属性可以包括透明度、反射率等。几何形状可以被视为属性数据之一。在本公开的其余部分中，将几何形状和其他属性数据都视为点的属性。

在下文中，考虑有色点云，即6成分点的集合(X，Y，Z，R，G，B)或等效地(X，Y，Z，Y，U，V)，其中(X，Y，Z)定义3D空间中的点的空间位置，并且(R，G，B)或(Y，U，V)定义该点的颜色。

有色点云可以是静态的或者动态的，取决于该云是否相对于时间演化。应当注意，在动态点云的情况下，点的数目不是恒定的，但是相反，通常随着时间演化。因此，动态点云是点集的按时间排序的列表。

在许多应用中发现点云数据源。可以在地理信息系统、机器人、医学断层扫描和科学可视化中，发现依赖于巨大点云数据源的重要应用。

除了更加工业化和有科学导向的这些应用之外，基于飞行时间或其他深度感测技术的廉价3D扫描仪普及的兴起、移动装置上的3D捕获以及基于云的3D打印的兴起，正在创建对消费者市场中的大规模可共同操作的压缩3D点云存储和传输数据格式的巨大需求。

扫描的通常具有数千个点，并占用大量存储空间。此外，当从3D扫描仪捕获实况时，可以按照高速率生成3D点云，这甚至进一步增加数据速率。因此，点云压缩对于有效的网络分发和存储至关重要。

碰巧有些点云(例如使用商用激光测距扫描仪捕获的点云)总是有噪声，这主要是由扫描仪伪影和扫描之间的对准误差引起的。另外，被遮挡或尖锐的区域通常被欠采样。由于噪声和欠采样，原始点的直接渲染或表面重构会产生颗粒状的表面、间隙和孔、以及不规则的边界。这些伪像尤其在视觉上造成干扰，必须通过包括上采样在内的后处理进行校正，所述后处理是在数据集的原始样本之间插入样本的处理，以便增加整个数据集或数据集的几个部分的采样率。

在动态点云压缩的情况下，欠采样问题更严重，其中通过内部编码模式压缩的点云的欠采样部分可能会严重损害编解码器性能。

关于点云上采样的现有技术工作主要基于多项式拟合，其中将某一次数(通常为2或3次)的多项式局部拟合在点云的每个点周围。

多项式拟合运算在计算上很复杂。因此，点云的基于多项式拟合的上采样方案不适用于要求低复杂度的用例，例如即时(on-the-fly)点云渲染和点云解码。

发明内容

本公开提出了一种用于改善情况的解决方案，并且提供了根据所附权利要求的方法和装置。

因此，本公开提供了一种用于对表示3D对象的点云进行上采样的方法，包括：

-基于至少一个期望的采样率，来检测属于点云的至少一个欠采样区域的点；

-为每个检测到的点获得关联的切面；

-如果邻近点和与检测到的点关联的切面之间的距离小于第一阈值，则在点云中插入每个检测到的点的至少一个邻近点。

因此，本公开的上采样方法通过用局部点插入操作代替现有技术的多项式拟合而允许显著降低的复杂度，该局部点插入操作是适合于实时应用的高度可并行化的处理。而且，通过使用点周围的局部切面，可以合理地保留由点云表示的底层局部表面。

期望的采样率在此被有利地定义为以点为中心并且具有给定大小的球体或立方体中的点云的每个点的最小邻域数。

有利地，如果满足以下条件，则将点检测为属于欠采样区域：

-其距离S的邻域的数目小于第二阈值K，其中S是整数；和

-其距离S’的邻域的数目至少等于第三阈值K’，其中S’是大于S的整数。

这意味着，如果点云的点P的距离S的邻域的数目小于K，并且其距离S的邻域的数目至少为K’，则P周围的空间被视为欠采样。然后，根据本公开的方法，应在P周围插入新点。

点的距离S的邻域在此定义为落入其中心为该点并且球体直径或立方体标度(scale)等于2*S的球体或立方体中的邻近点。

因此，有利地需要两个条件，以便检测属于至少一个欠采样区域的点。第一条件与期望的采样率直接相关，而第二条件避免在点云的隔离点周围添加新点，例如可以由编码伪像导致的不需要的嘈杂点。

有利地，取决于以下条件来确定是否插入邻近点：

-它的距离S的邻域的数目；和/或

-当插入邻近点时，由距离S’定义的另一邻域与由检测点的距离S定义的局部邻域之间的距离的变化。

这意味着邻近点的距离S的邻域的数目越多，越可能将该邻近点添加到点云。

有利地，使用主成分分析PCA技术，来确定与检测到的点关联的切面。

有利地，该方法包括确定每个插入点的属性。

有利地，该属性是颜色。

根据实施例，通过插值从所述点云的附近点确定所述属性。

根据实施例，在(R，G，B)颜色空间中执行插值。

根据另一实施例，在(Y，U，V)颜色空间中执行插值。

本公开还提供了一种用于对表示3D对象的点云进行上采样的上采样装置，包括：

-检测模块，被配置为基于至少一个期望的采样率，来检测属于点云的至少一个欠采样区域的点；

-切面模块，被配置为针对每个检测到的点获得关联的切面；和

-插入模块，被配置为如果邻近点和与检测到的点关联的切面之间的距离小于第一阈值，则在点云中插入每个检测到的点的至少一个邻近点。

有利地，所述上采样装置的模块由一个或多个处理器实现。

根据另一方面，本公开提供了一种用于对表示3D对象的点云进行编码的方法，包括根据本公开的上采样后处理。

本公开还提供了一种用于从比特流解码表示3D对象的点云的方法，该方法包括根据本公开的上采样后处理。

本公开还提供了一种编码器，包括本公开的上采样装置。

本公开进一步提供了一种解码器，包括本公开的上采样装置。

根据本公开的方法可以在可编程设备上的软件中实现。它们可以仅以硬件或软件或其组合来实现。

由于这些方法可以用软件实现，因此它们可以实施为计算机可读代码，用于提供到任何合适的载体介质上的可编程设备。载体介质可以包括诸如软盘、CD-ROM、硬盘驱动器、磁带装置或固态存储装置等的存储介质。

因此，本公开提供了一种包括计算机可执行指令的计算机可读程序，以使得计算机能够执行本发明的上采样方法。

图1的图图示了用于这种计算机程序的通用算法的示例。

附图说明

在附图的各图中，作为示例而非作为限制图示了本发明，其中相同的附图标记指代相似的元件，并且其中：

-图1是示出了根据本公开的实施例的对点云进行上采样的步骤的流程图；

-图2是图示了根据本公开的实施例的编码器的示意图；和

-图3是图示了根据本公开的实施例的解码器的示意图。

具体实施方式

在图1的流程图中图示了根据本公开的实施例的用于对点云进行上采样的方法。

该方法通过检测属于点云的至少一个欠采样区域的点，而在步骤2开始。在下面的描述中，这些点被称为欠采样点。

根据定义，在欠采样区域中，采样率小于所需或期望的采样率K。

所需的采样率在此被定义为以点为中心并具有给定大小的球体或立方体中的、点云的每个点的最小邻域数目。

因此，用于检测欠采样点的第一条件是其距离S的邻域的数目小于K。

3D点云的点P的距离S的邻域可以定义为落入以P为中心、并且具有球体直径或立方体标度2*S的球体或立方体中的邻近点。这里，点P(x_p,y_p,z_p)的距离S的邻域Neigh(x_Neigh,y_Neigh,z_Neigh)由下式定义：

{Neigh(x_Neigh,y_Neigh,z_Neigh)||x_Neigh-x_P|≤S&&|y_Neigh-y_p|≤S&&|z_Neigh-z_p|≤S}

用于检测欠采样点的第二条件是其距离S’的邻域的数目至少等于阈值K’，其中S’大于S。此第二条件允许避免在点云中插入隔离点周围的新点，它们是不想要的嘈杂点，并且可能是由编码伪像引起的。

根据实施例，阈值K’等于所需的采样率K。

以上参数的可能值为：

·S＝1，

·K＝9，

·S’＝4，

·K’＝9。

根据另一实施例，K’不同于K，例如K＝8并且K’＝9。

这意味着，如果点P的距离为1的邻域的数目小于K并且其距离为4的邻域的数目至少为K’，则P周围的区域将被视为欠采样。然后，根据本公开，应在P周围插入新点。

在检测到所有欠采样点之后，在步骤4将它们排序(sorted)到队列中，使得它们的距离S的邻域的数目减少。

在步骤6，检查欠采样点的队列是否为空。如果是这种情况，则处理结束。

如果队列不为空，则在步骤8从队列的开头提取第一欠采样点。

然后，在步骤10测试该欠采样点的当前S邻域的数目Kcur是否仍小于所需的采样率K。

如果不是，则处理返回到步骤6。

否则，在步骤12，针对欠采样点的每个未占用的距离S的邻域，确定它是否可以被占用，即，它是否能成为点云中插入的新点。

根据第一实施例，S＝1，即仅考虑欠采样点的距离为1的邻域，以确定它们是否可以被占用。该第一实施例的优点在于，由于可能重新计算新点的切面，因此更有保证填充点云的细节部分，例如拐角和折痕(creases)。

根据第二实施例，将其中将在每个欠采样点周围添加新点的邻域的范围确定为：

其中

是欠采样点的距离1的邻域的数目，并且

是欠采样点的距离S_Fill的邻域的数目，并且其中Thres^{AdaptiveRange}和Thres^Fill是预定阈值，例如ThreS^{AdaptiveRange}＝2,Thres^Fill＝8。

该第二实施例需要较少的计算复杂度，因为它不需要递归处理在该处理期间刚生成的新点。

在该步骤12期间，计算欠采样点的局部切面。

所考虑的欠采样点是属于欠采样区域的点，并标注为P_UnderSampled。

使用P_UnderSampled的距离为S_Normal的邻域，来确定P_UnderSampled的局部切面。由于P_UnderSampled周围存在较少的点，因此应收集相对较大的邻域。我们设S_Normal>S。例如，当S＝1时，可能值为S_Normal＝2。

根据优选实施例，为了避免由嘈杂点引起的干扰，在计算P_UnderSampled的局部切面之前，首先通过下式将其距离为S_Normal的每一邻域平滑化

其中Neigh_Normal是P_UnderSampled的距离为S_Normal的邻域之一，

是Neigh_Normal的距离为S_Smooth的邻域，并且Neigh′_Normal是Neigh_Normal的平滑化结果。

例如，当S＝1时，S_Smooth的可能值为2。

然后，通过P_UnderSampled的平滑化的距离为S_Normal的邻域的主成分分析(PCA)，来确定P_UnderSampled的切面。

根据PCA技术，根据以下公式，使用P的距离S的邻域，来计算平均点M和协方差矩阵C：

其中n是P的距离S的邻域的数目。

然后，计算C的特征向量和对应的特征值。特征向量按特征值的降序排序。对应于C的最小特征值的归一化特征向量被视为P的法线。

然后，使用确定的平均点M和P的法线，来确定切面。

在此，仅将具有整数空间位置的点视为要在点云中插入的新点候选。

根据第一实施例，对于P_UnderSampled的每个未占用的距离S的邻域

基于以下三个因素来确定其被插入到P_UnderSampled周围的可能性。

1.第1因素

第一因素是

的距离S的邻域的数目。

这个因素不利于需要在其周围插入更多点的那些潜在新点。

越高，越可能将向点云添加

2.第2因素

根据第一变型，第二因素如果插入

则在P_UnderSamoled的另一邻域和局部邻域之间的距离的改变，表示为

P_UnderSampled的另一邻域和局部邻域之间的距离由下式定义

其中

和

是P_UnderSampled的局部和另一邻域，即，

并且

由P_UnderSampled的距离为S′的邻域定义。

注意

如果其被添加到点云的话。

由下式定义

其中Dis_Neighborhood和Dis′_Neighborhood是在添加

作为新点之前和之后的、P_UnderSampled的另一邻域和局部邻域之间的距离。

注意

的值不能为负的。该因素量化了

如何帮助连接P_UnderSampled的另一邻域和局部邻域。

越高，越可能将向点云添加

根据第二变型，第二因素被定义为如果插入

P_UnderSampled的距离为S_Large的邻域和

之间的距离的改变，标注为

S_Large被定义为大于S_Fill的邻域范围。例如，S_Large＝S_Fill+3。

标注邻域范围S_Fill内的P_Undersampled的所有现有邻域，即

P_UnderSampled的距离为S_Large的邻域和

之间的距离由下式定义

其中

是P_UnderSampled的距离为S_Large的邻域。

由下式定义

其中Dis_Neighborhood和Dis′_Neighborhood是在向点云添加

之前和之后的、P_Undersampled的距离为S_Large的邻域和

之间的距离。

注意

的值不能为负的。该因素量化了

如何能帮助连接P_Undersampled的距离为S_Large的邻域和

越高，越可能将添加

3.第3因素

第三因素是

和P_UnderSaepled的局部切面之间的距离

其中

和

是P_UnderSampled的均值和法线，即，使用PCA确定的平均点M和P_UnderSampled的法线。该因素表示

如何靠近由点云表示的P_UnderSampled周围的底层局部表面。

越高，越不可能将向点云添加

根据实施例，

是

的平均点。

中的每三个不同点形成三角形。认为

是所有这些三角形的法线的均值。

然后，

成为占用的可能性由下式确定

如果

其中w₁和w₂是预定义的权重，例如w₁＝w₂＝1/2，并且THRES_Tang是预定义的阈值，例如THRES_Tang＝1.0。

因此，具有较高可能性值的

更适合添加到点云。

假设P_UnderSampled的当前距离S的邻域的数目为K_Cur。在优选实施例中，如果具有较高可能性的P_UnderSampled的(K_TargInsert-K_Cur)个未占用的距离为S的邻域被占用的可能性不为零，则在步骤14将这些邻域插入点云。排除具有被占用的零可能性的那些未占用邻域，将保留由P_UnderSampled周围的邻域表示的原始局部表面。优选地，K_TargInsert＞K。例如，当K＝9时，K_TargInsert＝12。

判断是否向重构的点云添加未占用位置

的第二实施例如下。如果

并且

则向重构的点云添加

例如，可能的值为Thres_Tangent＝1.0和Thres_{NeighDisChange}＝1。

对于上述实施例，将其中将在每个欠采样点周围添加新点的邻域的范围确定为S_Fill。对于范围S_Fill内的每个未占用的邻域，根据上述实施方式确定是否将其添加到点云。

根据该实施例，以P_Undersampled为中心并且大小为2S_Fill*2S_Fill*2S_Fill的边界框内的每个未占用位置被视为要向重构的点云添加的候选新点。

根据变型，使用

代替P_Undersampled用于确定候选新点。这使得能够进一步避免在嘈杂或隔离点周围添加新点。

然后，在步骤16，对于在步骤14在点云中插入的每个新点P_New，通过对点云的其附近现有点的颜色属性进行插值，来确定其颜色。

可以在(R，G，B)或(Y，U，V)空间中执行颜色插值。

例如，插值有利地使用在(Y，U，V)空间中表达的以下公式：

其中P_Nearest是除了P_UnderSampled之外的P_New的最近邻域。

通过用(R，G，B)替代(Y，U，V)，可以在(R，G，B)空间中写入相同的公式。

在步骤18，将其距离S的邻域的数目小于K的最新添加的点检测为新的欠采样点。

根据优选实施例，在步骤20，根据新的欠采样点的距离S的邻域的数目，将新的欠采样点插入到欠采样点的排序队列中，因为排序队列中的点的距离S的邻域的数目始终保持减少。

根据计算新的欠采样点的法线的实施例，为了降低处理的复杂度，将P_UnderSampled周围插入的新点的法线设置为P_UnderSampled的法线，用于确定它们的局部切面。

根据另一实施例，不插入新的欠采样点，以便降低处理的复杂度。

图2是实现本公开的3D点云的编码方法的编码器30的示例性实施例的框图。

有利地，编码器30包括一个或多个处理器和存储器32。

编码器30包括编码模块34，其被配置为将输入的3D点云编码为比特流。

根据本公开，编码器30还包括上采样装置36，该上采样装置36包括：

-检测模块38，被配置为基于至少一个期望的采样率，来检测属于点云的至少一个欠采样区域的点；

-切面模块40，被配置为针对每个检测到的点获得关联的切面；和

-插入模块42，被配置为如果邻近点和与检测到的点关联的切面之间的距离小于第一阈值，则在点云中插入每个检测到的点的至少一个邻近点。

根据所表示的实施例，总线44提供编码器30的各个元件之间的通信路径。其他点对点互连选项(例如，非总线架构)也是可行的。

图3是实现本公开的解码器方法的解码器50的示例性实施例的框图。

有利地，解码器50包括一个或多个处理器和存储器52。

解码器50包括解码模块54，被配置为将输入比特流解码为3D点云。

根据本公开，解码器50还包括上述的上采样装置36。

根据所表示的实施例，总线56提供解码器50的各个元件之间的通信路径。其他点对点互连选项(例如，非总线架构)也是可行的。

尽管已经图示和描述了目前被认为是本发明的优选实施例的内容，但是本领域技术人员将理解，在不脱离本发明的真实范围的情况下，可以做出各种其他修改，并且可以替换等效物。另外，在不脱离本文描述的中心发明构思的情况下，可以做出许多修改以使特定情况适应本发明的教义。此外，本发明的实施例可以不包括上述所有特征。因此，意图是本发明不限于所公开的特定实施例，而是本发明包括落入所附权利要求的范围内的所有实施例。

在解释说明书及其关联权利要求时，将以非排他性的方式解释诸如“包括”、“包含”、“合并”、“含有”、“是”和“具有”的表达，即解释为允许还存在未明确定义的其他项目或组件。对单数的引用也应被解释为对复数的引用，并且反之亦然。

本领域技术人员将容易理解，可以修改说明书中公开的各种参数，并且可以组合公开和/或要求保护的各种实施例，而不脱离本发明的范围。

Claims

1.一种方法，包括：

-基于至少一个采样率(K)来检测(2)点云的多个点；

-对于多个检测到的点，获得(12)关联的平面；

-基于邻近点和与检测到的点相关联的平面之间的距离，在点云中插入(14)用于多个检测到的点中的每一个的至少一个邻近点。

2.一种装置(36)，包括：

-检测模块(38)，配置为基于至少一个采样率来检测点云的多个点；

-平面模块(40)，配置为对于多个检测到的点获得关联的平面；和

-插入模块(42)，配置为基于邻近点和与检测到的点相关联的平面之间的距离，在点云中插入用于多个检测到的点中的每一个的至少一个邻近点。

3.根据权利要求1所述的方法或根据权利要求2所述的装置，其中所述采样率被定义为其中心是所述点并且具有给定大小的球体或立方体中的、点云的每个点的最小邻域数目。

4.根据权利要求1或3所述的方法或根据权利要求2或3所述的装置，其中，如果满足以下条件，则检测到点：

-它的距离S的邻域的数目小于第一值；和

-它的距离S’的邻域的数目大于第二值，其中S’大于S。

5.根据权利要求4所述的方法或装置，其中，根据取决于以下情况来确定是否插入邻近点：

-它的距离S的邻域的数目；和/或

-当插入邻近点时、由距离S’定义的另一邻域与由检测到的点的距离S定义的局部邻域之间的距离的变化。

6.根据权利要求1或3至5中任一项所述的方法或根据权利要求2至5中任一项所述的装置，其中使用主成分分析PCA技术来确定与检测到的点关联的平面。

7.根据权利要求1或3至6中任一项所述的方法，包括用于确定(16)每个插入点的属性的步骤，或者根据权利要求2至6中任一项所述的装置，包括用于确定(16)每个插入点的属性的部件。

8.根据权利要求7所述的方法或装置，其中所述属性是颜色。

9.根据权利要求7或8所述的方法或装置，其中通过插值从所述点云的附近点确定所述属性。

10.根据权利要求9所述的方法或装置，其中在(R，G，B)或在(Y，U，V)颜色空间中执行插值。

11.一种用于编码表示3D对象的点云的方法，包括根据权利要求1或2至10中的任一项所述的上采样后处理。

12.一种用于从比特流中解码表示3D对象的点云的方法，包括根据权利要求1或2至10中的任一项所述的上采样后处理。

13.一种编码器(30)，包括根据权利要求1至10中任一项所述的装置(36)。

14.一种解码器(50)，包括根据权利要求1至10中任一项所述的装置(36)。

15.一种计算机可读程序，包括计算机可执行指令，使得计算机能够执行权利要求11所述的编码方法。

16.一种计算机可读程序，包括计算机可执行指令，使得计算机能够执行权利要求12所述的解码方法。

17.一种非瞬时计算机可读介质，包含根据权利要求11所述的方法或根据权利要求13所述的装置生成的数据内容。

18.一种信号，包括根据权利要求11所述的方法或由权利要求13所述的装置生成的数据。