CN114565738A - 一种基于局部几何一致性与特征一致性的点云补全方法 - Google Patents

一种基于局部几何一致性与特征一致性的点云补全方法 Download PDF

Info

Publication number
CN114565738A
CN114565738A CN202210195181.2A CN202210195181A CN114565738A CN 114565738 A CN114565738 A CN 114565738A CN 202210195181 A CN202210195181 A CN 202210195181A CN 114565738 A CN114565738 A CN 114565738A
Authority
CN
China
Prior art keywords
point cloud
point
layer
consistency
completion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210195181.2A
Other languages
English (en)
Inventor
施云惠
王一波
王瑾
尹宝才
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202210195181.2A priority Critical patent/CN114565738A/zh
Publication of CN114565738A publication Critical patent/CN114565738A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Generation (AREA)

Abstract

本发明涉及一种基于局部几何一致性与特征一致性的点云补全方法，用于解决点云补全任务中补全结果细节丢失严重以及补全的点云分布不均匀的问题，具体方案包括：基于特征一致性的方法通过加强预测值与真实值之间对应局部区域点云分布的一致性，解决细节丢失问题；此外，在点云生成过程中，本发明采用“粗糙到细节”多阶段方式生成不同尺度的点云，所以，基于特征一致性的方法通过将不同尺度点云映射到特征空间，通过加强不同尺度点云在特征空间的一致性，使得不同尺度的点云在几何形状上更加一致，使得最终的补全结果更加接近真实值。本发明与现有的方法比，很大程度上克服了上述提及的问题，本发明具有明显的提升效果。

Description

一种基于局部几何一致性与特征一致性的点云补全方法
技术领域
本发明属于计算机视觉领域，涉及一种局部几何一致性与特征一致性的点云补全方法。具体涉及深度学习神经网络方法、三维图像特征提取等技术。
背景技术
在计算机视觉领域中，三维点云是三维坐标系中的一组向量的集合，用来表示物体几何形状，由于点云数据数据获取容易、能够有效表示复杂三维形状、无需维护拓扑连接关系等优点得到普遍重视和广泛应用。同时相较于二维图像，三维点云具备的高维度信息量的优点，对客观事物描述具有天然的优势。近年来随着自动驾驶技术、虚拟现实、增强现实技术以及电信技术的发展，点云数据的应用越来越广泛。然而点云数据在采集过程中受到遮挡、反射、人员操作失误以及设备分辨率的限制，导致采集到的点云数据带有缺失，会对下游任务(比如目标检测、识别)的应用造成限制。所以点云补全越来越受到研究人员的重视。点云补全方法主要可以分为三类，分别是：基于几何的补全方法，基于对齐的方法以及基于学习的方法。
(1)基于几何的补全方法
基于几何的方法通过利用来自不完整点云数据所含几何信息进行点云形状补全，不需要任何外部辅助信息。例如，表面重建方法通过产生平滑的插值填充由于采集点云数据时不完整扫描所生成的漏洞。基于形状对称的方法通过确定对称轴去复制已知区域的部分形状去补全缺失的区域。这些方法都假设输入的数据比较完整的，可以从直接观测到的区域推断出缺失区域的几何结构。
此类方法的优点是简单，容易通过简单的算法实现。缺点也非常明显,首先是对输入点云数据要求非常高,当输入点云的残缺区域过大时,无法估计出缺失区域的几何形状,从而无法对缺失区域进行补全；其次，此类方法的泛化性较差, 当不同的点云数据残缺的区域几何形状差异较大时,需要对每种缺失的几何形状构建补全算法,导致算法成本非常高而无法完成对大规模的点云数据进行补全。
(2)基于对齐的补全方法
基于对齐的方法通过对带缺失的点云与大型数据库的点云模型进行匹配，进而对缺失点云进行补全。有的方法直接检索完整的形状进行匹配，有的方法匹配物体的部分形状，然后将这些部分形状组合起来以获得完整的形状。有的方法将检索到的模型进行变形合成与输入更一致的形状。还有一些方法使用几何代替，如平面、二次曲面等几何结构来代替形状数据库中的结构。这些方法在推理过程中需要高昂的优化代价，在线应用不切实际，同时也容易受到噪声的影响。
综上，基于对齐的方法通过手工方式制作相同或相似的CAD模型，然后根据有缺失点云的特征完成与CAD模型的匹配对齐，进而完成三维点云的形状修复。在实际扫描过程中，扫描的场景一般复杂多变，传统算法针对已知的场景虽有效，但实用性不高。
(3)基于学习的点云补全方法
随着深度学习的兴起，神经网络大范围的应用，现在的点云补全方法主要集中在基于学习的方法。通过学习一个参数化的模型(一般为深度神经网络)直接将有缺失的点云映射到完整点云。或者根据有缺失点云的信息，直接生成缺失区域的点云。本文采取仅仅生成缺失区域的方式。这种方式定义为：给定带缺失的点云数据坐标：X＝{x1,x2,...,xn},xi∈RN*3，对应地给定缺失区域点云数据的坐标： Y＝{y1,y2,...,ym},yi∈RM*3。在给定缺失点云X的条件下，补全网络预测点云缺失区域Y。
基于学习的方法在补全的过程中，可以大致分解为两个目标：第一，保留原始的输入点云几何形状信息，确保在网络对其补全的过程尽量不被改变或者引入噪声。第二，在给定输入的条件下，预测出缺失的区域。这类方法相比于传统的非学习的方法有快速得推理能力以及更好的泛化能力。这类方法在早期的发展中，为了将传统的卷积思想应用在三维点云这种不规则的数据上，提出了体素化的方法，如图1，将点云进行离散化处理，将点云限制在规则的规则排列的网格中，然后应用卷积提取特征。但是，这种体素化点云的方法产生了高内存消耗，增加计算复杂度，限制了输出分辨率，更进一步来说，离散化过程中会丢失细节信息。直到Point-Net出现，直接对点云数据进行提取特征，不需要进行体素化的过程，因此避免了体素化带来的一系列的弊端。之后，大部分的点云处理网络都采用基于Point-Net的方法。现有的基于学习的点云补全方法有Folding-Net、Top-Net、PCN、PF-Net、VRC-Net等。
相较于早期的基于对齐、基于几何的点云补全方法，基于学习的补全方法泛化性能高，补全速度快，不易受噪音的影响。现有基于学习的点云补全方法大部分都采用的基于Point-Net的结构，利用基于多层感知机的编码器对带缺失的点云特征提取特征，然后通过基于全连接层与多层感知机的解码器对提取到的特征进行解码重建，通过“由粗糙到细节”多阶段的生成方式，最终得到包含丰富细节的点云，本发明所采用的主体框架就是基于这种结构，如图2所示。然而，这种方式在对模型训练时，使用倒角距离(CD)作为损失函数，如下式，倒角距离越小，说明重建损失越小，预测值越接近真实值。
Figure BDA0003525226470000031
其中，S1表示预测点云，S2表示真实点云，第一项表示预测点云中的每一个点到真实点云中最近点距离的平均值，衡量了预测与真实之间的差异；第二项表示真实点云中的每一个点到预测点云中最近点距离的平均值，衡量了真实点云被预测点云覆盖的程度。由于解码器分多阶段生成缺失区域的点云，所以总的损失函数为：
Figure BDA0003525226470000032
但是这种方式只是单纯的考虑了预测点云与真实点云之间点对点的损失，如图3(左)所示，没有考虑对应局部区域的损失，局部区域没有受到约束，故不能很好的把局部几何关系保留下来，造成点云的局部区域细节失真以及点云的分布不均。
发明内容
本发明解决的问题是：克服现有基于学习的点云补全方法存在的不足，能有效改善现有基于学习的方法在点云补全过程中存在的细节丢失、点云分布不均匀的问题。本发明提供一种基于局部几何一致性与特征一致性的点云补全方法。
基于局部几何一致性。由于传统基于学习的方法没有考虑局部区域的损失，为此，本文通过局部几何一致性的思想，使得预测点云与真实点云对应的局部区域几何关系保持一致，进而优化了现有基于学习的方法的不足。具体实现过程如下，首先是分别对预测点云与真实点云进行最远点采样(Farthest Point Sampling，FPS)，得到M个可以代表整个点云的关键点，然后以这些关键点为中心，将点云划分成M个不同的局部小区域，在点云重建时，考虑预测点云与真实点云对应局部小区域之间的损失，使得预测点云的局部几何关系与真实点云局部几何关系趋于一致，预测点云进而保留下更多的细节。如图3(右)所示，加粗的点为用最远点采样(FPS)方式获得M个(这里以M＝20为例)关键点，虽然稀疏，但是仍能表示物体的几何形状；以关键点为中心，取每个关键点的k (这里以k＝7为例)个近邻点，形成多个以关键点为中心的局部小区域，这样就完成了对点云区域划分。之后，为了建立预测点云与真实点云的局部小区域之间的对应关系，首先根据欧式距离,建立预测与真实点云关键点之间的对应关系，由于关键点作为各个局部小区域的中心，因此，关键点之间的对应关系可以作为预测与真实点云局部小区域之间的对应关系，有了对应关系，就可以求对应局部小区域之间的损失。单相较于单纯的点云之间点对点求损失的方式来说，这种局部对局部求损失的方式会对局部区域产生一个约束，能够保留更多的局部几何关系，在很大程度上保持了预测点云与真实点云局部区域的一致性，进而使预测点云保持了更多的细节。在实验具体操作中，本发明的方法将预测与真实点云分别采集128(即M＝128)个关键带点，根据关键点划分成128个局部小区域，每个局部区域包含1个关键点以及其7个邻居点(即k＝7)。加入局部区域损失后的整体损失函数如下：
Figure BDA0003525226470000041
其中dCD_local代表将点云进行区域划分后，用CD倒角距离求损失。
基于点云特征一致性。由于点云补全网络采用的“粗糙到细节”的多阶段方式生成点云，同时粗糙的点云对细节点云的生成具有指导作用，故不同尺度的点云在特征空间存在着一定的相关性，所以可以通过增强不同尺度点云特征的相关性，来加强粗糙点云对细腻点云生成的指导作用，使得生成的不同尺度的点云在几何结构上更加一致、连贯，同时也使生成的细腻点云更加合理、更加真实。首先，将缺失区域的点云真实值通过一个多尺度点云重建神经网络进行重建训练，得到一个稳定的预训练模型。如图5，这个网络与点云补全网络类似，也是由编码器、解码器两部分组成，编码器用来提取点云特征，解码器根据提取到的特征对点云缺失区域进行解码重建。在训练点云补全网络时，我们仅仅使用预训练模型的编码器，用来提取补全网络生成点云的特征。
在对点云补全网络进行训练时，补全网络的解码器预测生成不同尺度缺失区域的点云，即
Figure BDA0003525226470000051
将其中的
Figure BDA0003525226470000052
与
Figure BDA0003525226470000053
分别送入预训练模型的编码器，利用其对不同尺度缺失区域的点云分别提取维度为n(以 n＝1920为例)的特征向量Cs与Cd，分别代表提取到的粗糙
Figure BDA0003525226470000054
与细腻
Figure BDA0003525226470000055
点云的特征。通过优化特征向量之间的距离，使得Cs与Cd的分布尽可能相近，进而保持两者的一致性，使得补全网络生成不同尺度的缺失区域点云在几何形状保持一致连贯，更加合理。在对特征之间的距离进行优化时，本发明使用了不同的方式进行试验，如余弦相似度，曼哈顿距离，欧几里得距离等，最终，根据最优的试验结果采用了欧几里得距离，作为本文中的优化方法。所以两个特征向量之间的损失如下式：
Figure BDA0003525226470000056
其Cs＝(x1,x2,...,xn)T和Cd＝(y1,y2,...,yn)T分别代表从
Figure BDA0003525226470000057
和
Figure BDA0003525226470000058
提取的特征。所以加入特征向量损失后的损失函数为：
Figure BDA0003525226470000059
由于点云补全网络采用的是多阶段的点云生成方式，所以很自然的就可以将局部一致性应用到多尺度层面，从而进一步增强模型的补全性能。再结合点云特征一致性的方法，形成了最终的基于多尺度局部几何一致性与特征一致性的点云补全网络，如图2。因此，最终的损失函数为：
Figure BDA0003525226470000061
有益效果:通过局部几何一致性的方法，将预测点云与真实点云划分区域，对应区域求损失，克服了传统点云补全过程中仅仅考虑点对点求损失所造成的细节缺失的问题。再通过特征一致性的方法，将网络预测的不同尺度的点云映射到特征空间，通过距离损失函数来使不同尺度点云在特征空间分布一致，进而最终使网络生成的不同尺度点云在几何上保持一致连贯。实验结果表明，本发明内容相较于现有的方法补全性能提升14％左右。
附图说明
图1点云体素化过程
图2点云补全网络整体框架
图3点对点求损失与划分小区域求损失对比
图4预训练模型
图5ShapeNet-Part数据集下不同方法主观质量对比
具体实施方式
以上就是对本发明方法的一个总体的描述，本部分将对具体实施过程进行阐述。本方法通过点云补全网络对缺失区域的点云进行预测补全，其中涉及的预训练通过得到稳定的编码器模型提取预测点云
Figure BDA0003525226470000062
与
Figure BDA0003525226470000063
的特征，进一步用于补全网络损失函数的计算，以下按照预训练阶段、点云补全网络训练阶段、预测阶段进行描述。
预训练阶段就是利用神经网络，图4所示，得到一个针对缺失区域重建的稳定模型，目的是利用其编码器提取缺失区域点云的特征，用于特征损失函数中，使得不同尺度点云在特征空间相近，进而使解码器重建的不同尺度点云在几何上保持一致。
步骤1：通过随机方式选取一个视点，以视点为中心，选择完整点云中与视点最近的M(以M＝512为例)个点作为点云缺失区域，以此来获取该阶段的训练数据，同时也作为该阶段网络损失函数的Ground truth。对点云的缺失区域进行m(以m＝2为例)次下采样，分别得到包含M，M/k，M/k2(k为下采样系数，以k＝2为例)个点的不同尺度点云。
步骤2：将这三种不同尺度的点云输入到编码器中，编码器有三条并行支路，每条支路为一个结构相同，参数不同的多层感知机，一种尺度的点云输入到一个多层感知机，每个多层感知机用于提取一种尺度点云的特征，这三种尺度的特征维度均为1×d(以d＝1920为例)。
步骤3：将这三种特征进行拼接(CONCAT)，得到3×d特征，经过卷积(CONV)操作，将拼接好的特征进行融合，最终得到1×d的融合特征F。
步骤4：将特征F经过一层Linear线性层输入到解码器，得到被重建的缺失区域；解码器通过由“粗糙到细节”的多阶段生成方式，逐渐生成具有细节性的点云。解码器是一个三层的结构。为了方便生成不同尺度的点云，在解码器首先对特征F进行3次Linear线性变换得到不同维度的特征向量Fi,其中i＝1,2,3。然后分别对这三个特征向量进行解码重建。其中，第一层由一个线性层组成，作用是对F1进行解码重建，其输出为
Figure BDA0003525226470000071
代表缺失区域的关键点，虽然稀疏，但是能表示整体的形状。第二层由Linear线性层与CONV卷积层组成，作用是对F2解码重建，输出为
Figure BDA0003525226470000072
代表的是以
Figure BDA0003525226470000073
为中心进行上采样，得到稍微密集的点云；第三层同样是由Linear线性层与CONV卷积层组成，作用是对F3解码重建，输出的是
Figure BDA0003525226470000074
代表的是以
Figure BDA0003525226470000075
为中心进行上采样，得到最密集的点云，包含着最丰富的细节。
Figure BDA0003525226470000076
是最终需要的结果。
在预训练的过程中，采取的是端到端的训练方式，即网络输入是缺失区域，输出是被网络重建的缺失区域。训练过程中采用的是CD倒角距离作为网络的损失函数。迭代200轮损失值趋于稳定，即得到稳定的预训练模型。
其中，损失函数表示如下：
Figure BDA0003525226470000081
其中，
Figure BDA0003525226470000082
代表的是预训练模型重建的不同尺度的缺失区域的点云， Ygt，Y”gt，Y’gt是与
Figure BDA0003525226470000083
对应的Ground truth。Y’gt，Y”gt是通过不同的下采样系数，对Ygt下采样得到的，Ygt就是根据视点去除的包含M个点的区域。
点云补全网络的训练与预训练模型类似，都是通过编码器提取特征，解码器进行点云缺失区域的预测。
步骤1：首先通过随机方式选取一个视点，以视点为中心，选择完整点云中与视点最近的M(以M＝512为例)个点去除，以此来获取带有缺失点云(包含 N个点，以N＝2048为例)作为该阶段的训练数据，同时这包含M个点的缺失区域作为该阶段网络损失函数的Ground truth。对有缺失的点云进行m(以m＝2 为例)次下采样，分别得到包N，N/k，N/k2(k为下采样系数，以k＝2为例) 个点不同尺度的点云作为输入。
步骤2：将这三种不同尺度的点云输入到编码器中，编码器有三条并行支路，每条支路为一个结构相同，参数不同的多层感知机，一种尺度的点云输入到一个多层感知机，每个多层感知机用于提取一种尺度点云的特征，这三种尺度的特征维度均为1×d(以d＝1920为例)。
步骤3：将这三种特征进行拼接(CONCAT)，得到3×d特征，经过卷积操作(CONV)，将这拼接的特征进行融合，得到1×d的融合特征V。
步骤4：将特征V经过一层Linear线性层输入到解码器，
Figure BDA0003525226470000089
解码器通过由“粗糙到细节”的多阶段生成方式，逐渐生成具有细节性的点云，其结构与训练模型的解码器相同。其中
Figure BDA0003525226470000084
代表缺失区域的关键点，虽然稀疏，但是能表示整体的形状。
Figure BDA0003525226470000085
代表的是
Figure BDA0003525226470000086
以为中心，进行上采样，得到稍微密集的点云；
Figure BDA0003525226470000087
代表的是
Figure BDA0003525226470000088
以为中心，进行上采样，得到最密集的点，包含着最丰富的细节，
Figure BDA0003525226470000091
即为点云补全网络的预测结果。
步骤65：分别将
Figure BDA0003525226470000092
与
Figure BDA0003525226470000093
送入到预训练模型的编码器中，提取对应的特征C1与C2，利用欧式距离作为损失函数，来衡量两者之间的差异，通过缩小差异来优化网络进而使两者在特征空间分布保持一致。同时对
Figure BDA0003525226470000094
及其对应真实值Y’gt，
Figure BDA0003525226470000095
及其对应的真实值Ygt应用局部几何一致性方法，使预测值与真实值之间的局部几何关系保持一致。具体损失函数如下：
Figure BDA0003525226470000096
其中，
Figure BDA0003525226470000097
点云补全网络预测的不同尺度的缺失区域的点云，Ygt，Y’gt，Y”gt是与
Figure BDA0003525226470000098
对应的Ground truth。Y’gt， Y”gt是通过用不同的下采样系数，对Ygt下采样得到的，Ygt就是根据视点去除的包含M个点的区域。
在正式训练的过程中，采取的是端到端的训练方式，即网络输入是带有缺失点云，训练数据来自公共数据集Shapenet-Part，输出是缺失区域的点云。训练过程中采用的是CD倒角距离、欧氏距离组成该网络的损失函数。迭代200轮损失值趋于稳定，即得到稳定的点云模型。之后就可以用此模型对测试集中缺失点云进行补全。
上述训练过程完成后，点云补全网络对待补全的点云数据进行预测补全，具体过程即为点云补全网络训练过程的前四步，此处不再赘述。
图5从上到下依次为输入数据，PCN、VRC-Net、PF-Net、以及LGP-Net(本发明方法)的补全结果，以及真实值。浅色区域代表的是带有缺失的输入，深色区域代表的是缺失区域的预测值。从主观视觉来比较，本发明克服了现有基于学习的点云补全方法所带来的细节丢失以及分布不均匀的问题。在主观质量上，本发明的方法实验结果明显优于其他方法的结果。比如，第6列是对缺失的笔记本进行补全。可以明显看到，基于PCN方法生成的缺失区域点云分布不均匀；基于 VRC-Net生成的缺失区域点云边缘处很不规则；基于PF-Net生成的缺失区域产生了明显的点聚集；而本发明方法(LGP-Net)产生的缺失区域点云分布均匀，边缘处比较规则，与真实值很接近。
Figure BDA0003525226470000101
表一ShapeNet-Part数据集下不同方法重建客观质量对比
从表一可以得知，与其他方法相比，我们的方法在8类数据中，有7类的重建结果在客观质量上取得了最优。从损失的平均值角度来比较，我们的方法比第二名的损失低14.15％。由此可见，本发明所提出的方法能够提升点云补全的质量。
综合图5的可视化结果与表一客观指标衡量，表明本发明提出的点云补全方法可以有效的使预测点云保留更多的细节信息，同时降低了重建损失。说明本发明提出的方法是可行有效的。

Claims (3)

1.一种基于局部几何一致性与特征一致性的点云补全方法，其特征在于：本方法通过点云补全网络对缺失区域的点云进行预测补全，点云补全网络的工作过程如下：
步骤1：对有缺失的点云进行m次下采样，分别得到包含N，N/k，N/k2个点的不同尺度的点云；
步骤2：将这三种不同尺度的点云输入到编码器中，编码器有三条并行支路，每条支路为一个结构相同，参数不同的多层感知机，一种尺度的点云输入到一个多层感知机，每个多层感知机用于提取一种尺度点云的特征，这三种尺度的特征维度均为1×d；
步骤3：将这三种特征进行CONCAT拼接，得到3×d特征，经过卷积CONV操作，将这拼接的特征进行融合，得到1×d的融合特征V；
步骤4：将特征V经过一层Linear线性层输入到解码器，得到被重建的缺失区域；其中，解码器是一个三层的结构，其中，第一层由一个线性层组成，其输出为
Figure FDA0003525226460000011
代表缺失区域的关键点；第二层依次由线性层与卷积层组成，输出为
Figure FDA0003525226460000012
代表以
Figure FDA0003525226460000013
为中心进行上采样，得到稍微密集的点云；第三层依次由线性层与卷积层组成，输出的是
Figure FDA0003525226460000014
代表的是以
Figure FDA0003525226460000015
为中心进行上采样，得到最密集的点云，包含着最丰富的细节，
Figure FDA0003525226460000016
是最终需要的结果。
2.根据权利要求1所述的一种基于局部几何一致性与特征一致性的点云补全方法，其特征在于：
点云补全网络的损失函数如下：
Figure FDA0003525226460000017
Figure FDA0003525226460000021
其中，
Figure FDA0003525226460000022
是点云补全网络生成的不同尺度的缺失区域的点云；Ygt，Y′gt，Y″gt分别是与
Figure FDA0003525226460000023
对应的Ground truth。Y′gt，Y″gt分别是通过不同下采样系数，对Ygt下采样得到的，Ygt就是根据视点去除的包含M个点的缺失区域，Cs与Cd分别代表预训练模型的编码器从点云
Figure FDA0003525226460000024
与
Figure FDA0003525226460000025
提取的特征。
3.根据权利要求1所述的一种基于局部几何一致性与特征一致性的点云补全方法，其特征在于：
在预训练的过程中，采取的是端到端的训练方式，即网络输入是缺失区域，输出是被网络重建的缺失区域，训练过程中采用的是CD倒角距离作为该阶段的损失函数，预训练的目的是得到稳定的编码器模型用于提取预测点云
Figure FDA0003525226460000026
与
Figure FDA0003525226460000027
的特征用于补全网络损失函数的计算，具体过程包括，
步骤1：通过随机方式选取一个视点，以视点为中心，选择完整点云中与视点最近的M个点作为点云缺失区域，以此来获取该阶段的训练数据，同时也作为该阶段网络损失函数的Ground truth；对点云的缺失区域进行m次下采样，分别得到包含M，M/k，M/k2个点的不同尺度点云，k为下采样系数；
步骤2：将这三种不同尺度的点云输入到编码器中，编码器有三条并行支路，每条支路为一个结构相同，参数不同的多层感知机，一种尺度的点云输入到一个多层感知机，每个多层感知机用于提取一种尺度点云的特征，这三种尺度的特征维度均为1×d；
步骤3：将这三种特征进行CONCAT拼接，得到3×d特征，经过卷积CONV操作，将拼接好的特征进行融合，最终得到1×d的融合特征V；
步骤4：将特征V经过一层Linear线性层输入到解码器，得到被重建的缺失区域；其中，解码器是一个三层的结构，其中，第一层由一个线性层组成，其输出为
Figure FDA0003525226460000031
代表缺失区域的关键点；第二层依次由线性层与卷积层组成，输出为
Figure FDA0003525226460000032
代表以
Figure FDA0003525226460000033
为中心进行上采样，得到稍微密集的点云；第三层依次由线性层与卷积层组成，输出的是
Figure FDA0003525226460000034
代表的是以
Figure FDA0003525226460000035
为中心进行上采样，得到最密集的点云，包含着最丰富的细节，
Figure FDA0003525226460000036
是最终需要的结果。
CN202210195181.2A 2022-03-01 2022-03-01 一种基于局部几何一致性与特征一致性的点云补全方法 Pending CN114565738A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210195181.2A CN114565738A (zh) 2022-03-01 2022-03-01 一种基于局部几何一致性与特征一致性的点云补全方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210195181.2A CN114565738A (zh) 2022-03-01 2022-03-01 一种基于局部几何一致性与特征一致性的点云补全方法

Publications (1)

Publication Number Publication Date
CN114565738A true CN114565738A (zh) 2022-05-31

Family

ID=81714892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210195181.2A Pending CN114565738A (zh) 2022-03-01 2022-03-01 一种基于局部几何一致性与特征一致性的点云补全方法

Country Status (1)

Country Link
CN (1) CN114565738A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115775214A (zh) * 2023-02-13 2023-03-10 广东工业大学 一种基于多阶段分形组合的点云补全方法及系统
WO2024011426A1 (zh) * 2022-07-12 2024-01-18 Oppo广东移动通信有限公司 一种点云几何数据增强、编解码方法、装置和系统
EP4365851A1 (en) * 2022-11-04 2024-05-08 Dassault Systemes Deutschland GmbH Inferring missing details of a point cloud rendering

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024011426A1 (zh) * 2022-07-12 2024-01-18 Oppo广东移动通信有限公司 一种点云几何数据增强、编解码方法、装置和系统
EP4365851A1 (en) * 2022-11-04 2024-05-08 Dassault Systemes Deutschland GmbH Inferring missing details of a point cloud rendering
CN115775214A (zh) * 2023-02-13 2023-03-10 广东工业大学 一种基于多阶段分形组合的点云补全方法及系统
CN115775214B (zh) * 2023-02-13 2023-04-21 广东工业大学 一种基于多阶段分形组合的点云补全方法及系统

Similar Documents

Publication Publication Date Title
CN111047548B (zh) 姿态变换数据处理方法、装置、计算机设备和存储介质
Fahim et al. Single-View 3D reconstruction: A Survey of deep learning methods
CN114565738A (zh) 一种基于局部几何一致性与特征一致性的点云补全方法
CN110390638B (zh) 一种高分辨率三维体素模型重建方法
CN110738697A (zh) 基于深度学习的单目深度估计方法
Wang et al. Laplacian pyramid adversarial network for face completion
CN113379646A (zh) 一种利用生成对抗网络进行稠密点云补全的算法
CN110781894A (zh) 点云语义分割方法、装置及电子设备
Huang et al. A convolutional attention residual network for stereo matching
CN116229079A (zh) 一种基于视觉辅助和特征增强的三维点云语义分割方法及系统
Liu et al. High-quality textured 3D shape reconstruction with cascaded fully convolutional networks
Jin et al. Contour-based 3d modeling through joint embedding of shapes and contours
CN112906813A (zh) 一种基于密度聚类和胶囊神经网络的浮选工况识别方法
CN115131560A (zh) 基于全局特征学习和局部特征判别聚合的点云分割方法
CN116797787A (zh) 基于跨模态融合与图神经网络的遥感影像语义分割方法
CN113362242A (zh) 基于多特征融合网络的图像修复方法
Sharma et al. Point cloud upsampling and normal estimation using deep learning for robust surface reconstruction
CN117315169A (zh) 基于深度学习多视密集匹配的实景三维模型重建方法和系统
CN115830375A (zh) 点云分类方法及装置
Xu et al. Learning inverse depth regression for pixelwise visibility-aware multi-view stereo networks
CN112686830B (zh) 基于图像分解的单一深度图的超分辨率方法
Zhou et al. A superior image inpainting scheme using Transformer-based self-supervised attention GAN model
Han Texture image compression algorithm based on self-organizing neural network
Xiao et al. Image inpainting network for filling large missing regions using residual gather
Correia et al. 3D reconstruction of human bodies from single-view and multi-view images: A systematic review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination