CN114091628B - 基于双分支网络的三维点云上采样方法及系统 - Google Patents

基于双分支网络的三维点云上采样方法及系统 Download PDF

Info

Publication number
CN114091628B
CN114091628B CN202210063333.3A CN202210063333A CN114091628B CN 114091628 B CN114091628 B CN 114091628B CN 202210063333 A CN202210063333 A CN 202210063333A CN 114091628 B CN114091628 B CN 114091628B
Authority
CN
China
Prior art keywords
global
module
result
local
upsampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210063333.3A
Other languages
English (en)
Other versions
CN114091628A (zh
Inventor
周元峰
孙彦增
魏广顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202210063333.3A priority Critical patent/CN114091628B/zh
Publication of CN114091628A publication Critical patent/CN114091628A/zh
Application granted granted Critical
Publication of CN114091628B publication Critical patent/CN114091628B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于深度学习和图形处理领域，为解决因数据不同局部分布而降低整体采样质量的问题，提供了基于双分支网络的三维点云上采样方法及系统。其中三维点云上采样方法包括对三维模型数据集进行数据预处理，得到成片的输入数据；再进行随机下采样及数据增强，得到增强后的输入数据；得到局部上采样结果和全局上采样结果；将局部上采样结果和全局上采样结果依次进行组合和池化操作，得到组合模型；将组合模型进行特征编码并与全局几何特征进行拼接，再求得组合模型中每个点的偏移量；将组合模型与相应偏移量累加，得到融合细化结果；对局部上采样结果、全局上采样结果、组合模型和融合细化结果进行约束，得到最终上采样结果，提升了整体采样质量。

Description

基于双分支网络的三维点云上采样方法及系统
技术领域
本发明属于深度学习和图形处理领域，尤其涉及一种基于双分支网络的三维点云上采样方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
点云作为三维数据的简单表示形式，具有获取方便，表达方式简单等特点，被广泛应用于汽车驾驶、机器人、渲染和医学分析等领域。然而，三维扫描产生的原始点云局部通常稀疏不均匀，对分割、分类、识别的后续任务带来很大挑战，所以现在普遍采用的方法是将点云进行上采样，期望得到一个分布均匀的密集点云。
点云上采样的目标不仅限于从稀疏输入得到一个密集点集，更重要的是，这个密集点集要完美的贴合输入点云所表示的潜在表面。但由于输入点云通常是稀疏的、不均匀的和嘈杂的，它们可能不能很好的表示潜在表面的精细结构，这就对提出的方法有鲁棒性的要求。
目前点云上采样方法分为两种：传统方法以及基于深度学习的方法。传统方法主要是基于优化的各种形状先验（如，表面和法线的局部平滑度等）作为约束，只能处理一些简单对象。基于深度学习的方法大都将不同尺度的上采样看作独立的任务，对于每个尺度都需要单独训练一个特定的网络。但在实际应用中，由于不同规模、不同设备获取的原始点云的密度是不能确定的，如果对每一尺度单独训练一个网络，这无疑是低效的，不切实际的。现有技术中一些成倍增长的方法被提出解决这个问题，但仍无法实现对如非整数尺度等任意倍数的上采样。
综上所述，目前点云上采样方法存在因数据不同局部分布而给数据融合带来缺陷，从而降低了整体采样质量。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供一种基于双分支网络的三维点云上采样方法及系统，其通过局部感知分支来获取输入点云稠密区域的特征，通过全局感知分支来获取输入点元稀疏、破损区域的特征，能够有效地避免数据因不同局部而分布带来的数据融合缺陷，通过有针对性的单独优化分支来实现整体采样质量的提升。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种基于双分支网络的三维点云上采样方法，其包括：
对三维模型数据集进行数据预处理，得到成片的输入数据；
对成片的输入数据进行随机下采样及数据增强，得到增强后的输入数据；
基于双分支网络分别提取增强后输入数据的局部几何特征和全局几何特征，进而得到局部上采样结果和全局上采样结果；
将局部上采样结果和全局上采样结果依次进行组合和池化操作，得到期望点数的组合模型；
将组合模型进行特征编码并与全局几何特征进行拼接，再基于自注意力机制求得组合模型中每个点的偏移量；
将组合模型与相应偏移量累加，得到融合细化结果；
利用曲面重建信息与频域信息对局部上采样结果、全局上采样结果、组合模型和融合细化结果进行约束，得到最终上采样结果。
本发明的第二个方面提供一种基于双分支网络的三维点云上采样系统，其包括：
数据预处理模块，其用于对三维模型数据集进行数据预处理，得到成片的输入数据；
随机采样及增强模块，其用于对成片的输入数据进行随机下采样及数据增强，得到增强后的输入数据；
特征提取模块，其用于基于双分支网络分别提取增强后输入数据的局部几何特征和全局几何特征，进而得到局部上采样结果和全局上采样结果；
组合模型获取模块，其用于将局部上采样结果和全局上采样结果依次进行组合和池化操作，得到期望点数的组合模型；
偏移量计算模块，其用于将组合模型进行特征编码并与全局几何特征进行拼接，再基于自注意力机制求得组合模型中每个点的偏移量；
融合细化模块，其用于将组合模型与相应偏移量累加，得到融合细化结果；
结果约束模块，其用于利用曲面重建信息与频域信息对局部上采样结果、全局上采样结果、组合模型和融合细化结果进行约束，得到最终上采样结果。
与现有技术相比，本发明的有益效果是：
（1）本发明提出了一种综合局部特征和全局特征的双分支网络架构，提取增强后输入数据的局部几何特征和全局几何特征，得到局部上采样结果和全局上采样结果，能够感知不同范围的数据特征，最终得到了高质量的采样结果。
（2）本发明利用曲面重建信息与频域信息对局部上采样结果、全局上采样结果、组合模型和融合细化结果进行约束，得到最终上采样结果，根据数据分布特征在监督信息中应用频域约束，从而使得结果分布更理想。
（3）基于双分支网络的三维点云上采样方法为端到端的任意倍数上采样方法，与单一倍率相比更有实用价值；而且与现有的任意尺度上采样方法相比，能够更好的应对随机输入带来的小范围缺失的情况。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例中基于双分支网络的三维点云上采样方法流程图；
图2为本发明实施例中全局特征提取模块示意图；
图3为本发明实施例中残差图卷积模块示意图；
图4为本发明实施例中卡方卷积模块示意图；
图5为本发明实施例中自注意力模块示意图；
图6为本发明实施例中分片的输入数据组成的完整模型；
图7为本发明实施例中局部感知结果；
图8为本发明实施例中全局感知结果；
图9为本发明实施例中融合细化之后的最终结果；
图10为本发明事实例中的数据增强后的输入数据。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
参照图1，本实施例提供了一种基于双分支网络的三维点云上采样方法，其具体包括如下步骤：
步骤1：对三维模型数据集进行数据预处理，得到成片的输入数据。
在步骤1中，对三维模型数据集进行数据预处理的过程包括：
步骤1.1：对三维模型数据集进行蓝噪声采样，得到均匀的点云模型数据；
步骤1.2：对均匀的点云模型数据进行分片，得到成片的输入数据。
例如：
从Visionair仓库中选取60个3D网格模型，这些模型有平滑的非刚性物体（如：兔子）和带有锐利边缘的刚性物体（如：椅子）。其中，随机选取40个作为测试集，20个作为训练集。
对网格模型进行蓝噪声采样，采样量为
Figure 354216DEST_PATH_IMAGE001
，采样结果按照<x,y,z>格式进行存储。由于复杂度与采样质量的约束，本实例选取较为简单的泊松圆盘采样作为蓝噪声采样的具体实现。由于泊松圆盘采样难以得到确定数量的采样结果，所以我们实际采样量大于等于
Figure 741335DEST_PATH_IMAGE001
，然后在对结果进行最远点采样，从而得到准确的采样量
Figure 720923DEST_PATH_IMAGE001
，在本实例中，
Figure 877098DEST_PATH_IMAGE001
为20000。
对得到的点云模型进行分片。由于上采样作为低级视觉问题，目标聚焦于局部几何形状，所以本实施例采用分片的方式进行训练，将每个训练模型剪切为200个片，共8000片模型作为训练集。具体地，对于每一个训练模型，首先利用最远点采样，采样得到200个种子点，作为片的中心。对每一个种子点，利用K近邻算法，得到离种子点最近的N r 个点，作为输入数据，其中N r 为4096。图6给出了分片的输入数据组成的完整模型。
此步骤得到的结果为双分支网络用于监督的ground truth。其中，在机器学习中，ground truth指的是训练集对监督学习技术的分类的准确性。这在统计模型中被用来证明或否定研究假设。ground truth是为测试收集适当的目标（可证明的）数据的过程。
步骤2：对成片的数据进行随机下采样及数据增强，得到增强后的输入数据。
其中，采用蒙特卡洛对成片的输入数据进行随机下采样。随机下采样比率为双分支网络的上采样比率，上采样比率是小于等于预设最大上采样率的任意正实数。
步骤2的具体过程包括：
步骤2.1：对ground truth数据进行随机下采样，得到采样后的点云数据与上采样率R。
具体地，首先输入最大上采样率
Figure 549519DEST_PATH_IMAGE002
作为超参（本实例中
Figure 158355DEST_PATH_IMAGE003
），利用numpy库随机生成小于等于
Figure 472793DEST_PATH_IMAGE002
的正实数R作为上采样率（注意R可以不是整数，并且每个输入数据对应的R值不同）。根据上采样率R，求得下采样数
Figure 483474DEST_PATH_IMAGE004
。同时，将ground truth的个数
Figure 326796DEST_PATH_IMAGE005
，更新为
Figure 422928DEST_PATH_IMAGE006
，更新方式是直接取前
Figure 478740DEST_PATH_IMAGE007
个。采用蒙特卡洛随机下采样，将ground truth下采样到N个，为了便于描述，在下文中将随机下采样的结果称为输入数据。
步骤2.2：对输入数据进行随机缩放操作。遍历每一片输入数据并将每个点的坐标
Figure 609507DEST_PATH_IMAGE008
乘以随机缩放因子即可。
具体地，首先设置一个缩放幅值因子，其大小为0.4。然后根据设置的这个缩放幅值来定义缩放的比例范围为[0.8,1.2]。利用numpy库提供的随机生成数，从上述提供的比例范围内选择一个缩放比例因子。遍历每一片的点云数据并将每一片内的点云数据乘以上述缩放比例因子即可获得随机缩放后的输入数据。
步骤2.3：对输入的输入数据进行随机旋转操作。遍历每一片输入数据，并将每个点的坐标
Figure 889310DEST_PATH_IMAGE008
乘以一个自定义的旋转矩阵M。
具体地，首先利用numpy库提供的随机生成数，从
Figure 472738DEST_PATH_IMAGE009
之间随机生成三个轴方向的旋转角度
Figure 332241DEST_PATH_IMAGE010
，根据三维旋转变换得到三个轴方向的旋转矩阵：
Figure 317514DEST_PATH_IMAGE011
Figure 627273DEST_PATH_IMAGE012
Figure 573363DEST_PATH_IMAGE013
由上述的三个轴方向的旋转矩阵得到最终的旋转矩阵
Figure 626770DEST_PATH_IMAGE014
。遍历每一片的点云数据并将每一片内的点云数据
Figure 607495DEST_PATH_IMAGE008
左乘上述旋转矩阵M即可获得随机旋转后的输入数据，如图10所示。
步骤3：基于双分支网络分别提取增强后输入数据的局部几何特征和全局几何特征，进而得到局部上采样结果和全局上采样结果。其中，局部上采样结果如图7所示，全局上采样结果如图8所示。
在具体实施过程中，所述双分支网络包括局部感知模块和全局感知模块，所述局部感知模块和全局感知模块用于分别提取增强后输入数据的局部几何特征和全局几何特征。
其中，所述局部感知模块由17个局部特征编码模块组成，每个模块由一个图卷积和一个卡方卷积串联组成。利用其局部感知能力强的特点，提取出点云的局部特征；利用残差跳跃连接，防止过拟合。
利用局部感知模块来提取局部几何特征，从而约束生成点紧贴模型的潜在表面。
对于输入点数较为稠密区域，当前点
Figure 88155DEST_PATH_IMAGE015
所在的潜在表面
Figure 990383DEST_PATH_IMAGE016
可由点
Figure 847481DEST_PATH_IMAGE017
与其近邻
Figure 682713DEST_PATH_IMAGE018
大致表示出来即
Figure 334274DEST_PATH_IMAGE019
。基于这个认知，将学习局部几何特征转化为如何表示出隐式函数
Figure 254957DEST_PATH_IMAGE020
，以利用
Figure 650166DEST_PATH_IMAGE020
来表征局部几何特征。。
具体地，局部感知模块被设计成一个渐进的模式，将输入
Figure 808746DEST_PATH_IMAGE021
通过（3，128，128）的多层感知机，得到简单结构特征
Figure 896788DEST_PATH_IMAGE022
，本实例中C=128。将
Figure 39187DEST_PATH_IMAGE023
通过7个残差图卷积与卡方卷积的局部特征编码组合，再通过一个局部上采样，得到采样结果
Figure 972508DEST_PATH_IMAGE024
；再经过10个残差图卷积与卡方卷积的局部特征编码组合，再通过一个局部上采样层采样到局部感知模块的最终结果
Figure 516753DEST_PATH_IMAGE025
。残差图卷积与卡方卷积模块用于局部特征提取，上采样模块用于产生新点，三个部分的定义在下文具体说明。
如图3所示，残差图卷积设计如下：
对于图
Figure 775696DEST_PATH_IMAGE026
，V为节点的集合，E为边的集合，对于每个节点v，均有其特征
Figure 139812DEST_PATH_IMAGE027
，可以用矩阵
Figure 142403DEST_PATH_IMAGE028
表示。其中n表示节点数，d表示每个节点的特征数，也可以说是特征向量的维度。
图卷积作为定义在图上的卷积，其定义为：
Figure 806734DEST_PATH_IMAGE029
其中
Figure 970999DEST_PATH_IMAGE030
和
Figure 822412DEST_PATH_IMAGE031
为学习参数，
Figure 363114DEST_PATH_IMAGE032
表示顶点
Figure 881952DEST_PATH_IMAGE033
在
Figure 482697DEST_PATH_IMAGE034
层的特征。
Figure 821406DEST_PATH_IMAGE035
是邻接矩阵定义下与
Figure 165799DEST_PATH_IMAGE033
相连的顶点。由于点云没有预定义的邻接矩阵，所以将
Figure 273564DEST_PATH_IMAGE036
定义为
Figure 779631DEST_PATH_IMAGE033
在欧几里得空间中的k个最近邻。
为了提高收敛速度，更好的利用低维特征与高维特征的相似性，本实例在图卷积的基础上，还引入了残差跳跃连接。残差连接不仅提高了速度，还减缓了网络的退化，提高了深层网络的实际表达能力。
具体地，首先将输入点
Figure 136795DEST_PATH_IMAGE037
通过一个ReLU激活函数，得到非线性变化后的输入
Figure 19300DEST_PATH_IMAGE038
。然后，对ReLu(P)求8近邻，得到成组的点集
Figure 981571DEST_PATH_IMAGE039
。将得到的近邻特征
Figure 658540DEST_PATH_IMAGE040
拼接上ReLu激活后的点集
Figure 971841DEST_PATH_IMAGE041
，得到融合了局部特征的点集
Figure 658037DEST_PATH_IMAGE042
。对点集
Figure 5973DEST_PATH_IMAGE042
的第三个维度求均值，得到归一化后的点集
Figure 119422DEST_PATH_IMAGE043
。最后，建立残差连接，将
Figure 654440DEST_PATH_IMAGE043
与输入
Figure 878748DEST_PATH_IMAGE044
逐元素相加，得到融合了局部特征的点集
Figure 81190DEST_PATH_IMAGE045
。
如图4所示，卡方卷积模块的设计如下：
卡方卷积是在pointCNN提出的一种新的卷积方案，对每个点的邻居点进行特征重排，获取顺序无关的邻域特征序列，从而减小相同邻域关系因输入顺序不同而带来的误差。卡方卷积具体实现如下：
输入：
Figure 365541DEST_PATH_IMAGE046
，
Figure 653434DEST_PATH_IMAGE047
，
Figure 681433DEST_PATH_IMAGE048
，
Figure 472803DEST_PATH_IMAGE049
(
Figure 928055DEST_PATH_IMAGE046
为卷积核，
Figure 968823DEST_PATH_IMAGE050
为输入数据，
Figure 534934DEST_PATH_IMAGE048
为点集
Figure 204247DEST_PATH_IMAGE047
的
Figure 705767DEST_PATH_IMAGE051
邻域集（本实例中为3），
Figure 827307DEST_PATH_IMAGE049
为每个输入数据的特征)
输出：
Figure 338053DEST_PATH_IMAGE052
(
Figure 494228DEST_PATH_IMAGE048
点的聚合特征)
步骤ⅰ：
Figure 901070DEST_PATH_IMAGE053
(将
Figure 978747DEST_PATH_IMAGE047
移动到
Figure 558764DEST_PATH_IMAGE048
的局部坐标系中)
步骤ⅱ：
Figure 569446DEST_PATH_IMAGE054
(通过多层感知机
Figure 412768DEST_PATH_IMAGE055
将每个点的维度由
Figure 118687DEST_PATH_IMAGE056
抬升到
Figure 830291DEST_PATH_IMAGE057
维度)
步骤ⅲ：
Figure 102004DEST_PATH_IMAGE058
(拼接
Figure 240861DEST_PATH_IMAGE059
和
Figure 168497DEST_PATH_IMAGE060
，得到的
Figure 559158DEST_PATH_IMAGE061
是一个
Figure 544431DEST_PATH_IMAGE062
的矩阵)
步骤ⅳ：
Figure 995135DEST_PATH_IMAGE063
(学习
Figure 800280DEST_PATH_IMAGE064
的
Figure 463474DEST_PATH_IMAGE065
变换矩阵)
步骤ⅴ：
Figure 444200DEST_PATH_IMAGE066
(用学到的
Figure 924859DEST_PATH_IMAGE065
变换矩阵去加权重排
Figure 358246DEST_PATH_IMAGE067
)
步骤ⅵ：
Figure 949764DEST_PATH_IMAGE068
(最后，用
Figure 909630DEST_PATH_IMAGE046
与
Figure 170978DEST_PATH_IMAGE069
进行卷积得到最终的聚合特征)。
局部上采样模块的设计如下：
在点云上的深度学习中，增加点数的方法通常有两种：复制或变形。在本模块中，主要采用变形的方式使得点数增加。
将残差图卷积与卡方卷积提取的特征
Figure 950715DEST_PATH_IMAGE070
作为输入，通过一个ReLU激活函数，再求8近邻，得到成组的点集。将得到的近邻特征拼接上原点集，通过一个一维卷积，将
Figure 486870DEST_PATH_IMAGE071
变换为
Figure 301242DEST_PATH_IMAGE072
得到
Figure 733492DEST_PATH_IMAGE073
。再将第三个维度求均值，得到
Figure 875891DEST_PATH_IMAGE074
。最后，通过矩阵变形，将
Figure 74791DEST_PATH_IMAGE075
变形为
Figure 743670DEST_PATH_IMAGE076
。由于此时得到的点数是最大采样率下的结果，所以要对此结果进行下采样，在本实例中，用最远点采样的方法得到最终与ground truth相同点数的采样结果
Figure 877979DEST_PATH_IMAGE077
。
其中，所述全局感知模块包括特征提取模块、上采样模块和坐标回归模块；如图2所示，特征提取模块由一系列多层感知机组成；上采样模块采用特征复制的方式产生新点，在特征下添加规则的网格特征来区分新旧点集；坐标回归模块由通道逐渐减小的多层感知机组成。
利用全局感知模块来提取全局几何特征，使得输入较稀疏的部分也能够很好的拟合出潜在表面。
对于输入点数较为稀疏的区域，由于点与点之间的空隙较大，很难通过局部的几个点拟合出潜在表面。基于此，抛弃局部观点，从整体的角度看流形的曲率变化，从而学习出潜在表面。
利用全局感知模块来提取全局几何特征的目标是将输入数据
Figure 632309DEST_PATH_IMAGE078
通过全局感知模块，得到全局感知下的结果
Figure 244687DEST_PATH_IMAGE079
。具体地，我们首先将聚合特征
Figure 768072DEST_PATH_IMAGE080
通过一个特征提取单元转化成
Figure 73283DEST_PATH_IMAGE081
，其中
Figure 314908DEST_PATH_IMAGE082
表示特征提取后的新的特征通道。然后将
Figure 730977DEST_PATH_IMAGE083
输入一个特征扩展单元，生成扩展后的特征
Figure 108869DEST_PATH_IMAGE084
。在这一步中，采用常用的扩展操作，将
Figure 116139DEST_PATH_IMAGE083
复制R个副本，并与一个规则的2D网格连接，得到
Figure 923689DEST_PATH_IMAGE085
。最后，将得到的
Figure 268083DEST_PATH_IMAGE085
通过一个由多层感知机组成的坐标回归模块，得到最终希望的
Figure 110268DEST_PATH_IMAGE086
。
其中，特征提取模块由一系列稠密连接的密集块组成。在神经网络的图像处理中，跳跃连接是提取不同层特征的有力工具。在pointnet++后，大多数基于点的网络通常都是分层下采样输入点集从而提取多尺度信息。然而，由于下采样会引起点位置变化，使得跳跃连接前的对点进行搜索非常费时。
本实例用一个简单架构改善上述问题，在每个密集多层感知机中，将输入压缩为固定数量的特征，使用基于特征的KNN搜索，通过密集连接的多层感知机，对每个邻域组特征进行细化，最后通过最大池化层计算出顺序不变的点特征。每个密集块产生的特征作为输入供后面的模块使用，通过跳跃连接支持信息的显式复用，这在显著减小模型尺寸的同时提高了重构精度，并且该方法还在没有点集下采样的情况下获得了远程和全局的信息。
步骤4：将局部上采样结果和全局上采样结果依次进行组合和池化操作，得到期望点数的组合模型。
具体地，由上述局部感知模块和全局感知模块这两个分支得到结果
Figure 881915DEST_PATH_IMAGE087
和
Figure 707920DEST_PATH_IMAGE088
，组合成新的结果
Figure 590425DEST_PATH_IMAGE089
。由于目标是得到
Figure 83854DEST_PATH_IMAGE090
，所以要对得到的点集进行池化操作。在本实例中，使用了简单的最远点采样方法进行池化操作，得到粗糙点集
Figure 26403DEST_PATH_IMAGE091
。
步骤5：将组合模型进行特征编码并与全局几何特征进行拼接，再基于自注意力机制求得组合模型中每个点的偏移量。
为了使生成的点集更好的贴合潜在表面，本实例添加了一个融合细化模块，求得每个点的偏移量，对生成的点集进行进一步细化处理。
与偏移量相比，绝对点坐标更加多样化，在3D空间中分布更广。网络很难在不引入噪声、保持均匀性和结构信息的情况下，融合点的信息。所以在该模块中，本实例舍弃直接回归的方法，只学习每个点的偏移量，从而得到更好的效果。
具体地，将得到的
Figure 74124DEST_PATH_IMAGE092
通过一个编码器，得到深层的特征聚合
Figure 901266DEST_PATH_IMAGE093
。为了方便，本实例使用了预训练的pointnet Encoder结构作为编码器，用于提取特征。在本实例中，使用三层一维卷积、三层BatchNorm层、三层激活层ReLU作为sharedMLP（共享多层感知机）将输入的3通道
Figure 108256DEST_PATH_IMAGE008
全部点云数据提取特征升维至256维，再经过一层最大池化与一层一维卷积计算得到1个256维的向量，作为
Figure 221706DEST_PATH_IMAGE093
。再将
Figure 22303DEST_PATH_IMAGE093
与提取到的全局特征
Figure 246611DEST_PATH_IMAGE083
进行拼接，然后通过一个如图5所示的自注意力模块来获得精细的特征图。因为该单元对所有
Figure 183474DEST_PATH_IMAGE094
点的注意力权重进行回归，从而引入了远程上下文依赖。最后通过一个多层感知机组成的坐标回归模块，得到点的偏移量
Figure 202245DEST_PATH_IMAGE095
。
步骤6：将组合模型与相应偏移量累加，得到融合细化结果，如图9所示。
将得到的上采样结果
Figure 755718DEST_PATH_IMAGE096
加上偏移量
Figure 783716DEST_PATH_IMAGE097
，得到细化后的结果
Figure 551649DEST_PATH_IMAGE098
。
步骤7：利用曲面重建信息与频域信息对局部上采样结果、全局上采样结果、组合模型和融合细化结果进行约束，得到最终上采样结果。
本实例对每个输入的稀疏点集P，求得局部感知结果
Figure 6901DEST_PATH_IMAGE099
、全局感知结果
Figure 516511DEST_PATH_IMAGE100
、粗糙的上采样结果
Figure 82621DEST_PATH_IMAGE101
和细化后的结果
Figure 259656DEST_PATH_IMAGE102
。作为一个端到端的网络，本实例采用复合Loss去对四个结果进行监督：
Figure 885809DEST_PATH_IMAGE103
其中，
Figure 882715DEST_PATH_IMAGE104
是对局部感知结果的监督，
Figure 252517DEST_PATH_IMAGE105
是对全局感知结果的监督，
Figure 549637DEST_PATH_IMAGE106
是对下采样后粗糙的结果的监督，
Figure 346691DEST_PATH_IMAGE107
是对最终结果的监督。参数
Figure 830894DEST_PATH_IMAGE108
控制每一项的相对重要性。在网络训练早期，设置一个小的
Figure 738807DEST_PATH_IMAGE109
，使网络更专注训练生成部分，产生更好的
Figure 359275DEST_PATH_IMAGE110
和
Figure 327231DEST_PATH_IMAGE111
。随着训练进行，
Figure 564308DEST_PATH_IMAGE112
的值逐渐增加，让局部感知模块与全局感知模块更加平衡。随着生成部分的训练逐渐平稳，
Figure 275913DEST_PATH_IMAGE113
的值也逐渐增大，让融合细化模块也得到充分的训练。
损失函数
Figure 750887DEST_PATH_IMAGE114
的计算：
损失函数
Figure 889745DEST_PATH_IMAGE114
组要由两部分组成：
Figure 348539DEST_PATH_IMAGE115
由于想得到的结果是具有随机、均匀等蓝噪声特征的泊松盘采样，所以根据蓝噪声高频含量较高，低频含量较低的性质，本实例对点云的频域信息进行约束。实值周期图像信号可以表示为各频率、幅度和相移的正弦振荡之和。傅里叶变换可以将信号转换到频域，在信号分析中得到了广泛的应用。本实例提出了频域损失去计算经过傅里叶变换后的输入与ground truth的差异，从而得到更均匀的结果。具体地，对点云的傅里叶变化定义如下：
Figure 863834DEST_PATH_IMAGE116
Figure 724474DEST_PATH_IMAGE117
Figure 34232DEST_PATH_IMAGE118
其中，P表示空间域上的点云坐标，Q表示经过傅里叶变换后的频域上的点云坐标。
在具体度量两个点集的相似度时，尝尝采用倒角距离（CD）或推土机距离（EMD）。因为倒角距离的计算成本较小，所以我们在计算
Figure 714743DEST_PATH_IMAGE119
时，采用倒角距离进行计算。
Figure 768150DEST_PATH_IMAGE120
表示点集P、Q间的倒角距离，具体定义如下：
Figure 748876DEST_PATH_IMAGE121
第一项表示点集P中任意一点x到点集Q的最小距离之和，第二项则表示点集Q中的任意一点y到点集P中的最小距离之和。如果该距离较大，则说明两组点云区别较大；如果距离较小，则说明重建效果较好。
损失函数
Figure 229535DEST_PATH_IMAGE122
的计算：
在对最终结果进行监督的时候，采用了频域上的倒角距离与空域上的推土机距离（ Earth Mover’s Distance,简称EMD,用来表示两个分布的相似程度,在计算机中经常用到）进行监督：
Figure 662922DEST_PATH_IMAGE123
表示融合细化模块的结果经过傅里叶变换后，频域下的倒角距离；第二项，表示结果在推土机距离下的定义。推土机距离
Figure 254440DEST_PATH_IMAGE124
是评估两个点集之间相似性的另一种候选方法。但与倒角距离相比，推土机距离能更好地捕捉形状以鼓励输出点靠近物体的潜在表面。但因其计算复杂，成本较高，所以本实例只在对最终结果进行约束时使用。
实施例二
本实施例提供了一种基于双分支网络的三维点云上采样系统，其具体包括如下模块：
数据预处理模块，其用于对三维模型数据集进行数据预处理，得到成片的输入数据；
随机采样及增强模块，其用于对成片的输入数据进行随机下采样及数据增强，得到增强后的输入数据；
特征提取模块，其用于基于双分支网络分别提取增强后输入数据的局部几何特征和全局几何特征，进而得到局部上采样结果和全局上采样结果；
组合模型获取模块，其用于将局部上采样结果和全局上采样结果依次进行组合和池化操作，得到期望点数的组合模型；
偏移量计算模块，其用于将组合模型进行特征编码并与全局几何特征进行拼接，再基于自注意力机制求得组合模型中每个点的偏移量；
融合细化模块，其用于将组合模型与相应偏移量累加，得到融合细化结果；
结果约束模块，其用于利用曲面重建信息与频域信息对局部上采样结果、全局上采样结果、组合模型和融合细化结果进行约束，得到最终上采样结果。
其中，所述双分支网络包括局部感知模块和全局感知模块，所述局部感知模块和全局感知模块用于分别提取增强后输入数据的局部几何特征和全局几何特征。
所述全局感知模块包括特征提取模块、上采样模块和坐标回归模块；特征提取模块由一系列多层感知机组成；上采样模块采用特征复制的方式产生新点，在特征下添加规则的网格特征来区分新旧点集；坐标回归模块由通道逐渐减小的多层感知机组成。
此处需要说明的是，本实施例中的各个模块与实施例一中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
本发明是参照本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于双分支网络的三维点云上采样方法，其特征在于，包括：
对三维模型数据集进行数据预处理，得到成片的输入数据；
对成片的输入数据进行随机下采样及数据增强，得到增强后的输入数据；
基于双分支网络分别提取增强后输入数据的局部几何特征和全局几何特征，进而得到局部上采样结果和全局上采样结果；
将局部上采样结果和全局上采样结果依次进行组合和池化操作，得到期望点数的组合模型；
将组合模型进行特征编码并与全局几何特征进行拼接，再基于自注意力机制求得组合模型中每个点的偏移量；
将组合模型与相应偏移量累加，得到融合细化结果；
利用曲面重建信息与频域信息对局部上采样结果、全局上采样结果、组合模型和融合细化结果进行约束，得到最终上采样结果。
2.如权利要求1所述的基于双分支网络的三维点云上采样方法，其特征在于，所述双分支网络包括局部感知模块和全局感知模块，所述局部感知模块和全局感知模块用于分别提取增强后输入数据的局部几何特征和全局几何特征。
3.如权利要求2所述的基于双分支网络的三维点云上采样方法，其特征在于，所述局部感知模块由17个残差图卷积和卡方卷积组成；其中，卡方卷积是在pointCNN提出的一种新的卷积方案，对每个点的邻居点进行特征重排，获取顺序无关的邻域特征序列，从而减小相同邻域关系因输入顺序不同而带来的误差。
4.如权利要求2所述的基于双分支网络的三维点云上采样方法，其特征在于，所述全局感知模块包括特征提取模块、上采样模块和坐标回归模块；特征提取模块由一系列多层感知机组成；上采样模块采用特征复制的方式产生新点，在特征下添加规则的网格特征来区分新旧点集；坐标回归模块由通道逐渐减小的多层感知机组成。
5.如权利要求1所述的基于双分支网络的三维点云上采样方法，其特征在于，对三维模型数据集进行数据预处理的过程包括：
对三维模型数据集进行蓝噪声采样，得到均匀的点云模型数据；
对均匀的点云模型数据进行分片，得到成片的输入数据。
6.如权利要求1所述的基于双分支网络的三维点云上采样方法，其特征在于，采用蒙特卡洛对成片的输入数据进行随机下采样。
7.如权利要求1所述的基于双分支网络的三维点云上采样方法，其特征在于，在对成片的输入数据进行随机下采样的过程中，随机下采样比率为双分支网络的上采样比率，上采样比率是小于预设最大上采样率的任意正实数。
8.一种基于双分支网络的三维点云上采样系统，其特征在于，包括：
数据预处理模块，其用于对三维模型数据集进行数据预处理，得到成片的输入数据；
随机采样及增强模块，其用于对成片的输入数据进行随机下采样及数据增强，得到增强后的输入数据；
特征提取模块，其用于基于双分支网络分别提取增强后输入数据的局部几何特征和全局几何特征，进而得到局部上采样结果和全局上采样结果；
组合模型获取模块，其用于将局部上采样结果和全局上采样结果依次进行组合和池化操作，得到期望点数的组合模型；
偏移量计算模块，其用于将组合模型进行特征编码并与全局几何特征进行拼接，再基于自注意力机制求得组合模型中每个点的偏移量；
融合细化模块，其用于将组合模型与相应偏移量累加，得到融合细化结果；
结果约束模块，其用于利用曲面重建信息与频域信息对局部上采样结果、全局上采样结果、组合模型和融合细化结果进行约束，得到最终上采样结果。
9.如权利要求8所述的基于双分支网络的三维点云上采样系统，其特征在于，所述双分支网络包括局部感知模块和全局感知模块，所述局部感知模块和全局感知模块用于分别提取增强后输入数据的局部几何特征和全局几何特征。
10.如权利要求9所述的基于双分支网络的三维点云上采样系统，其特征在于，所述全局感知模块包括特征提取模块、上采样模块和坐标回归模块；特征提取模块由一系列多层感知机组成；上采样模块采用特征复制的方式产生新点，在特征下添加规则的网格特征来区分新旧点集；坐标回归模块由通道逐渐减小的多层感知机组成。
CN202210063333.3A 2022-01-20 2022-01-20 基于双分支网络的三维点云上采样方法及系统 Active CN114091628B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210063333.3A CN114091628B (zh) 2022-01-20 2022-01-20 基于双分支网络的三维点云上采样方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210063333.3A CN114091628B (zh) 2022-01-20 2022-01-20 基于双分支网络的三维点云上采样方法及系统

Publications (2)

Publication Number Publication Date
CN114091628A CN114091628A (zh) 2022-02-25
CN114091628B true CN114091628B (zh) 2022-04-22

Family

ID=80308908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210063333.3A Active CN114091628B (zh) 2022-01-20 2022-01-20 基于双分支网络的三维点云上采样方法及系统

Country Status (1)

Country Link
CN (1) CN114091628B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661340B (zh) * 2022-10-13 2024-05-28 南京航空航天大学 一种基于源信息融合的三维点云上采样方法与系统
CN115830375A (zh) * 2022-11-25 2023-03-21 中国科学院自动化研究所 点云分类方法及装置
CN116468767B (zh) * 2023-03-28 2023-10-13 南京航空航天大学 基于局部几何特征和隐式距离场的飞机表面重建方法
CN117808721B (zh) * 2024-02-28 2024-05-03 深圳市瓴鹰智能科技有限公司 基于深度学习的低照度图像增强方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034077A (zh) * 2018-08-01 2018-12-18 湖南拓视觉信息技术有限公司 一种基于多尺度特征学习的三维点云标记方法和装置
CN112101278A (zh) * 2020-09-25 2020-12-18 湖南盛鼎科技发展有限责任公司 基于k近邻特征提取和深度学习的宅基地点云分类方法
CN112750198A (zh) * 2021-01-12 2021-05-04 南京理工大学 一种基于非刚性点云的稠密对应预测方法
CN113177555A (zh) * 2021-05-21 2021-07-27 西南大学 基于跨层级跨尺度跨注意力机制的目标处理方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102215101B1 (ko) * 2019-07-16 2021-02-09 연세대학교 산학협력단 이미지로부터 획득한 객체의 특징을 이용한 포인트 클라우드 생성 장치 및 방법
CN111724478B (zh) * 2020-05-19 2021-05-18 华南理工大学 一种基于深度学习的点云上采样方法
CN111862289B (zh) * 2020-08-04 2022-04-19 天津大学 一种基于gan网络的点云上采样方法
CN112037228A (zh) * 2020-11-05 2020-12-04 中南大学 一种基于双倍注意力的激光雷达点云目标分割方法
CN112529015A (zh) * 2020-12-17 2021-03-19 深圳先进技术研究院 一种基于几何解缠的三维点云处理方法、装置及设备
CN112541908B (zh) * 2020-12-18 2023-08-29 广东工业大学 基于机器视觉的铸件飞边识别方法及存储介质
CN112991273B (zh) * 2021-02-18 2022-12-16 山东大学 三维牙齿模型的正畸特征自动检测方法及系统
AU2021105154A4 (en) * 2021-08-09 2021-11-11 Yunshigao Technology Company Limited Adaptive Hierarchical Sampling for image Classification
CN113870160B (zh) * 2021-09-10 2024-02-27 北京交通大学 一种基于变换器神经网络的点云数据处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034077A (zh) * 2018-08-01 2018-12-18 湖南拓视觉信息技术有限公司 一种基于多尺度特征学习的三维点云标记方法和装置
CN112101278A (zh) * 2020-09-25 2020-12-18 湖南盛鼎科技发展有限责任公司 基于k近邻特征提取和深度学习的宅基地点云分类方法
CN112750198A (zh) * 2021-01-12 2021-05-04 南京理工大学 一种基于非刚性点云的稠密对应预测方法
CN113177555A (zh) * 2021-05-21 2021-07-27 西南大学 基于跨层级跨尺度跨注意力机制的目标处理方法及装置

Also Published As

Publication number Publication date
CN114091628A (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
CN114091628B (zh) 基于双分支网络的三维点云上采样方法及系统
CN110211045B (zh) 基于srgan网络的超分辨率人脸图像重建方法
CN111724478B (zh) 一种基于深度学习的点云上采样方法
CN111047548B (zh) 姿态变换数据处理方法、装置、计算机设备和存储介质
Wang et al. Hierarchical attention learning of scene flow in 3d point clouds
CN110929736B (zh) 多特征级联rgb-d显著性目标检测方法
CN112001960A (zh) 基于多尺度残差金字塔注意力网络模型的单目图像深度估计方法
Djemame et al. Solving reverse emergence with quantum PSO application to image processing
CN113159232A (zh) 一种三维目标分类、分割方法
CN116797787B (zh) 基于跨模态融合与图神经网络的遥感影像语义分割方法
Song et al. S^ 2 RGAN S 2 RGAN: sonar-image super-resolution based on generative adversarial network
CN116563682A (zh) 一种基于深度霍夫网络的注意力方案和条带卷积语义线检测的方法
CN113988147A (zh) 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置
CN115311502A (zh) 基于多尺度双流架构的遥感图像小样本场景分类方法
Wei et al. A-ESRGAN: Training real-world blind super-resolution with attention U-Net Discriminators
Srivastava et al. Drought stress classification using 3D plant models
CN116258877A (zh) 土地利用场景相似度变化检测方法、装置、介质及设备
CN114693873A (zh) 一种基于动态图卷积和注意力机制的点云补全方法
Alhamazani et al. 3DCascade-GAN: Shape completion from single-view depth images
Chen et al. Remote Sensing Image Super-Resolution with Residual Split Attention Mechanism
JP7190147B1 (ja) ３次元形状記述子抽出器の製造方法、３次元形状検索方法及び３次元形状検索システム
CN117635962B (zh) 基于多频率融合的通道注意力图像处理方法
CN117593702B (zh) 远程监控方法、装置、设备及存储介质
Balaji Prabhu et al. Super-resolution of level-17 images using generative adversarial networks
Liu et al. Zero-shot ultrasound nondestructive testing image super-resolution based on reflection projection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant