CN113379646A - 一种利用生成对抗网络进行稠密点云补全的算法 - Google Patents
一种利用生成对抗网络进行稠密点云补全的算法 Download PDFInfo
- Publication number
- CN113379646A CN113379646A CN202110768864.8A CN202110768864A CN113379646A CN 113379646 A CN113379646 A CN 113379646A CN 202110768864 A CN202110768864 A CN 202110768864A CN 113379646 A CN113379646 A CN 113379646A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- feature
- feature vector
- encoder
- completion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000013598 vector Substances 0.000 claims abstract description 128
- 238000012549 training Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 31
- 238000011176 pooling Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000009191 jumping Effects 0.000 claims 1
- 230000017105 transposition Effects 0.000 claims 1
- 239000000284 extract Substances 0.000 abstract description 3
- 238000013508 migration Methods 0.000 abstract description 3
- 230000005012 migration Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 16
- 230000008901 benefit Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011069 regeneration method Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种利用生成对抗网络进行稠密点云补全的算法，包括以下步骤：S1、设定生成器，将缺失点云输入EncoderC编码器提取特征，得到高维全局特征向量GFVx；S2、利用生成器将目标点云经过EncoderN‑DPC编码器，得到高维全局特征向量GFVy；S3、利用生成对抗网络在高维全局特征向量空间训练，实现x→y之间的“风格迁移”；S4、从生成器生成的新特征向量GFVG(x)通过解码器DecoderN‑DPC补全得到稠密点云；本发明当点云80％比例缺失时其补全点云分类精度高达86.5％。
Description
技术领域
本发明涉及自动驾驶以及机器人技术领域，具体的说是一种利用生成对抗网络进行稠密点云补全的算法。
背景技术
点云是一种常用的3D数据格式，可以在三维空间中保持物体原有的几何信息，广泛应用于数字保存、逆向工程测量、建筑、3D游戏、机器人和虚拟现实等多个领域。
点云数据通常是通过使用激光扫描仪、立体摄像机或RGB-D扫描仪来获得。实际采集过程中由于遮挡、表面材料的透明度、光线反射、传感器分辨率和视角的限制等因素,会造成物体几何和语义信息的丢失,导致扫描得到的点云数据不完整。因此,为了更好的将点云数据应用到后续其他领域,需要进行形状补全,获得尽可能完整的点云。传统的3D形状补全方法主要包括基于几何的方法和基于模板匹配的方法。基于几何的方法可以利用物体本身的几何信息(表面光滑,对称性等)修复较小的孔洞；基于模板匹配的方法从数据库中搜索相似模板进行替换以实现形状补全。这些方法对于数据要求比较高,且难以实现点云较大比例缺失情况下的补全，模型泛化性能较差。
为了克服上述缺陷，后来发展了两种典型的方法。其中一种方法考虑到点云具有无序性的特点,将点云体素化并利用卷积神经网络进行训练，以进行点云补全。该方法有以下缺陷：(1)、计算内存消耗巨大；(2)、随着3D体素网格分辨率的提高,难以实现细节信息的补全。另一种方法中，通过稀疏点云的补全克服上述缺陷，即单个数据样本补全之后的点云数量不超过2048。该方法的优点在于较少的内存开支，降低了神经网络训练的困难程度，但同样存在以下缺陷：(1)、细节特征表现方面不如稠密点云；(2)、如何更有效的提取信息生成量级更大的、信息更加更富的点云数据是一个很大的挑战。
发明内容
本发明的目的在于提出了一种利用生成对抗网络进行稠密点云补全的算法N-DPC-GAN，其能够利用生成对抗网络构建缺失点云的高维全局特征向量和目标点云的高维全局特征向量之间的一一映射关系，进一步“优化”缺失点云的高维全局特征向量，进而从缺失点云中重构生成完整的点云。
为实现上述目的，本发明采用以下技术方案：
一种利用生成对抗网络进行稠密点云补全的算法，包括以下步骤：
S1、设定生成器，将缺失点云输入EncoderC编码器提取特征，得到高维全局特征向量GFVx；
S2、利用生成器将目标点云经过EncoderN-DPC编码器，得到高维全局特征向量GFVy；
S3、利用生成对抗网络在高维全局特征向量空间训练，实现x→y之间的“风格迁移”；
S4、从生成器生成的新特征向量GFVG(x)通过解码器DecoderN-DPC补全得到稠密点云。
优选地，步骤S1中EncoderC解码器得到高维全局特征向量GFVx通过以下步骤实现：
S11、将编码器经ShapeNet数据集训练得到EncoderC编码器；将解码器经训练得到DecoderC解码器；
S12、将输入的缺失点云标记为Pi(x,y,z)，其中i＝1,...,N，N表示点云的总数量，x、y和z表示点云的三维坐标信息；将输入的N个点的三维坐标信息输入结构为(128，256)的多层感知机中得到[N×256]的点云特征信息f，其中点云特征信息f中的每一行都代表一个点的特征信息，利用最大池化得到维度为[1×256]的特征向量g；
S13、将特征向量g经过复制操作并且和点云特征信息f连接得到维度为[N×512]的点云特征信息F；
S14、将点云特征信息F输入Self-attention注意力机制得到赋予每个点特征不同权重的新点云特征F′，新点云特征F′的特征维度保持为[N×512]；
S15、经过一个结构为(512，1024)的多层感知机以及最大池化操作得到最终的全局特征向量G，全局特征向量G的特征维度为[1×1024]；
S16、将点云特征信息F输入三个不同的多层感知机，分别得到特征G、H和K，利用G和H得到不同特征的分配权重W，权重W的计算公式如下：
W＝fsoftmax(GTH)
其中，GT表示特征G的转置矩阵，即对于G中的每一个元素Gi,j(i＝1,…,m；j＝1,…,n)转置之后变为Gj,i(j＝1,…,n；i＝1,…,m)，fsoftmax函数将数值归一化到0-1之间；再将得到的权重W和K相乘计算出带有权重的特征，并且结合输入的点云特征信息F得到信息更加丰富的点云特征F′。
优选地，所述生成器在特征向量空间采用全连接层，利用不同层之间的跳跃连接生成新的向量，使其共享更多的有效信息；所述生成器利用高维全局特征向量GFVx重新生成新的高维全局特征向量GFVG(x)。
优选地，步骤S2通过以下步骤实现：
S21、将缺失点云经编码器得到的高维全局特征向量GFVx经过三个输出维度为512，256和256的全连接层分别得到特征向量V1、V2和V3；
S22、拼接特征向量V2和V3得到新的维度为512的特征向量M1，再经过一个全连接层得到维度为512的特征向量V4，跳跃拼接向量V1和V4得到1024维度的特征向量M2；
S23、经过输出维度为1024的全连接层得到最终的高维全局特征向量GFVG(x)，高维全局特征向量GFVG(x)用于后续经过解码器进行点云补全。
优选地，步骤S3中使用判别器用于判别高维全局特征向量来源于目标点云还是生成器，具体步骤为：将1024维度的全局特征向量分为每个维度为d的特征向量，设置d为128，每个小的特征向量之间不重叠，共8个特征向量(128×8＝1024)，具体为[1:128,129:256,…,897:1024]；再将特征向量分别经过基于全连接层的判别器进行判断得到[o1,o2,…,o8]，对所有结果求均值获得最终输出；所述判别器的结构是输出维度为128，64和1的全连接层。
优选地，步骤S3中的损失函数如下：
令X表示缺失点云，x＝EncoderC(X)表示缺失点云的高维全局特征向量；Y表示目标点云，y＝Encoderc(Y)表示目标点云的高维全局特征向量，生成器用于构建x→y之间的映射关系使得判别器无法判断全局特征向量来自y还是来自x经过生成器映射之后的G(x)；
判别器的训练将一一对应的全局特征向量对(x,y)分类为1(real)，将(x,G(x))判别为0(fake)；该阶段固定生成器的权重，迭代更新生成器的权重，损失函数如下所示：
LossD＝0.5Lbce(D(x,y),1)+0.5Lbce(D(x,G(x)),0)
Lbce(z,t)＝-(tlog(z)+(1-t)log(1-z))
其中，x服从缺失点云的高维全局特征向量分布，y服从目标点云的高维全局特征向量分布；Lbce为二元交叉熵损失函数，z表示网络预测输出，t表示0或者1的标签；
生成器的训练同样需要固定判别器的参数，生成器的损失函数如下所示：
LossG adv＝Lbce(D(x,G(x)),1)
将生成器生成的G(x)和y的L1距离引入损失函数，最终的损失函数公式如下所示：
LossL1＝‖y-G(x)‖1
LossG＝αLossG adv+βLossL1
其中，α为损失函数中LossGadv的参数，β为LossL1的参数。
优选地，步骤S4中所述解码器DecoderN-DPC包括以下内容：所述解码器DecoderN-DPC负责将全局特征向量G解码重构生成稠密点云，整个过程分为粗略补全和稠密补全两个阶段。
优选地，所述粗略补全阶段首先将通过EncoderC编码器获得的全局特征向量G输入三个输出特征维度分别为1024，1024和M×3的全连接层，其中最后一层全连接网络的特征维度为M×3是因为M个点云中每一个点云都有(x,y,z)三个坐标信息，经过三个全连接层得到新特征的维度为[1×(M×3)]，然后经过变形Reshape操作得到M个粗略点云的坐标信息[M×3]。
优选地，所述稠密补全阶段通过引入点云局部特征提取模块，丰富了用于稠密补全的特征信息，用于由粗略点云进一步得到稠密点云，该稠密点云的数量为16384。
优选地，步骤S4的具体过程为：
S41、粗略点云的点云数量为M，M数值为1024，点云的局部特征提取模块基于PointNet++网络，以点云中的每个点为中心建立一个球体邻域，并将球体内的每一个点通过(64,128，256)的多层感知机获得邻域内每一个点的特征P；
S42、将球体内的点云特征进行邻域特征池化得到维度为[M×256]的点云局部特征信息L；
S43、利用点云的局部特征信息L，由Encoder编码器获得的全局特征向量G和粗略点云的三维坐标信息C来生成稠密点云；由于粗略点云的数量M为1024，将点云局部特征信息L和粗略点云的三维坐标信息C复制16倍，将全局特征向量G复制扩展至16384行；
S44、拼接全局特征向量G、局部特征信息L和三维坐标信息C得到新的特征{Gf+Lf+Cp}，采样点为16个，信息维度为2，得到的点的特征用{Gf+Lf+Cp+2}来表示，将该特征放入结构为(512，512，3)的多层感知机中并与粗略点云的坐标C合并，最终获得数量为16384的稠密点云。
采用上述技术方案后，本发明与背景技术相比，具有如下优点：
1、本发明基于PointNet的点特征提取的基础上引入了Self-attention注意力机制，使得其更加关注不同点的特征上下文之间的依赖。
2、本发明取得了与Topnet等杰出方法可比较的结果，且与同为稠密点云补全算法的PCN模型相比在Completion 3D提供的CD指标上误差减少7％。
3、本发明在不同点云模型缺失比例下表现最优，具有很好的鲁棒性。
4、本发明建立缺失点云高维全局特征向量和目标点云高维特征全局特征向量之间的一一映射关系，进一步优化点云补全效果，当点云80％比例缺失时其补全点云分类精度高达86.5％。
附图说明
图1为本发明中N-DPC-GAN算法的整体网络结构；
图2为本发明中N-DPC-GAN算法生成器的网络结构；
图3为本发明中N-DPC-GAN算法判别器的网络结构；
图4为本发明中点云80％比例缺失下点云补全的可视化；
图5为本发明中不同测试输入数据的比较。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明主要涉及的是一种利用生成对抗网络进行稠密点云补全的算法，下面结合附图对本实施例进行详细说明。
请参阅图1至图5，本发明公开了一种利用生成对抗网络进行稠密点云补全的算法，其包括以下步骤：
S1、设定生成器(G)，将缺失点云输入EncoderC编码器提取特征，得到高维全局特征向量GFVx(维度为1024)；
步骤S1中EncoderC解码器得到高维全局特征向量GFVx通过以下步骤实现：
S11、定义结合Self-attention注意力机制的编码器(Encoder)以及融合多种特征信息的解码器(Decoder)。将编码器(Encoder)经ShapeNet数据集训练得到EncoderC编码器；将解码器(Decoder)经训练得到DecoderC解码器；
S12、将输入的缺失点云标记为Pi(x,y,z)，其中i＝1,...,N，N表示点云的总数量，x、y和z表示点云的三维坐标信息；将输入的N个点的三维坐标信息输入结构为(128，256)的多层感知机(MLPs)中得到[N×256]的点云特征信息f，其中点云特征信息f中的每一行都代表一个点的特征信息，利用最大池化(Maxpool)得到维度为[1×256]的特征向量g；
S13、将特征向量g经过复制操作并且和点云特征信息f连接得到维度为[N×512]的点云特征信息F；
S14、将点云特征信息F输入Self-attention注意力机制得到赋予每个点特征不同权重的新点云特征F′，新点云特征F′的特征维度保持为[N×512]；
S15、经过一个结构为(512，1024)的多层感知机(MLPs)以及最大池化(Maxpool)操作得到最终的全局特征向量G，全局特征向量G的特征维度为[1×1024]；
S16、将点云特征信息F输入三个不同的多层感知机(MLPs)，分别得到特征G、H和K，利用G和H得到不同特征的分配权重W，权重W的计算公式如下：
W＝fsoftmax(GTH)
其中，GT表示特征G的转置矩阵，即对于G中的每一个元素Gi,j(i＝1,…,m；j＝1,…,n)转置之后变为Gj,i(j＝1,…,n；i＝1,…,m)，fsoftmax函数将数值归一化到0-1之间；再将得到的权重W和K相乘计算出带有权重的特征，并且结合输入的点云特征信息F得到信息更加丰富的点云特征F′。
所述生成器(G)在特征向量空间采用全连接层，利用不同层之间的跳跃连接生成新的向量，使其共享更多的有效信息；所述生成器(G)利用高维全局特征向量GFVx重新生成新的高维全局特征向量GFVG(x)。
S2、利用生成器(G)将目标点云(GT)经过EncoderN-DPC编码器，得到高维全局特征向量GFVy(维度为1024)；
步骤S2通过以下步骤实现：
S21、如图2，将高维全局特征向量GFVx经过三个输出维度为512，256和256的全连接层分别得到特征向量V1、V2和V3；
S22、拼接特征向量V2和V3得到新的维度为512的特征向量M1，再经过一个全连接层得到维度为512的特征向量V4，跳跃拼接向量V1和V4得到1024维度的特征向量M2；
S23、经过输出维度为1024的全连接层得到最终的高维全局特征向量GFVG(x)，高维全局特征向量GFVG(x)用于后续经过解码器进行点云补全。
S3、利用生成对抗网络在高维全局特征向量空间训练，实现x→y之间的“风格迁移”。
如图3所示，步骤S3中使用判别器(D)用于判别高维全局特征向量来源于目标点云(GT)还是生成器(G)，具体步骤为：将1024维度的全局特征向量分为每个维度为d的特征向量，设置d为128，每个小的特征向量之间不重叠，共8个特征向量(128×8＝1024)，具体为[1:128,129:256,…,897:1024]；再将特征向量分别经过基于全连接层的判别器(D)进行判断得到[o1,o2,…,o8]，对所有结果求均值获得最终输出；所述判别器(D)的结构是输出维度为128，64和1的全连接层；
步骤S3中的损失函数如下：
令X表示缺失点云，x＝EncoderC(X)表示缺失点云的高维全局特征向量；Y表示目标点云(GT)，y＝EncoderC(Y)表示目标点云(GT)的高维全局特征向量，生成器(G)用于构建x→y之间的映射关系使得判别器(D)无法判断全局特征向量来自y还是来自x经过生成器(G)映射之后的G(x)；
判别器(D)的训练将一一对应的全局特征向量对(x,y)分类为1(real)，将(x,G(x))判别为0(fake)；该阶段固定生成器(G)的权重，迭代更新生成器(G)的权重，损失函数如下所示：
LossD＝0.5Lbce(D(x,y),1)+0.5Lbce(D(x,G(x)),0)
Lbce(z,t)＝-(tlog(z)+(1-t)log(1-z))
其中，x服从缺失点云的高维全局特征向量分布，y服从目标点云(GT)的高维全局特征向量分布；Lbce为二元交叉熵损失函数，z表示网络预测输出，t表示0或者1的标签；
生成器(G)的训练同样需要固定判别器(D)的参数，生成器(G)的损失函数如下所示：
LossG adv＝Lbce(D(x,G(x)),1)
将生成器(G)生成的G(x)和y的L1距离引入损失函数，最终的损失函数公式如下所示：
LossL1＝‖y-G(x)‖1
LossG＝αLossG adv+βLossL1
其中，α为损失函数中LossGadv的参数，β为LossL1的参数；
S4、从生成器(G)生成的新特征向量GFVG(x)通过解码器DecoderN-DPC补全得到稠密点云；
步骤S4中所述解码器DecoderN-DPC包括以下内容：所述解码器DecoderN-DPC负责将全局特征向量G解码重构生成稠密点云，整个过程分为粗略补全和稠密补全两个阶段。
所述粗略补全阶段首先将通过EncoderC编码器获得的全局特征向量G输入三个输出特征维度分别为1024，1024和M×3的全连接层，其中最后一层全连接网络的特征维度为M×3是因为M个点云中每一个点云都有(x,y,z)三个坐标信息，经过三个全连接层得到新特征的维度为[1×(M×3)]，然后经过变形Reshape操作得到M个粗略点云的坐标信息[M×3]。
所述稠密补全阶段通过引入点云局部特征提取模块，丰富了用于稠密补全的特征信息，用于由粗略点云进一步得到稠密点云，该稠密点云的数量为16384。
步骤S4的具体过程为：
S41、粗略点云的点云数量为M，M数值为1024，点云的局部特征提取模块基于PointNet++网络，以点云中的每个点为中心建立一个球体邻域，并将球体内的每一个点通过(64,128，256)的多层感知机(MLPs)获得邻域内每一个点的特征P；
S42、将球体内的点云特征进行邻域特征池化(Neigbourhood Feature Pooling)得到维度为[M×256]的点云局部特征信息L；
S43、利用点云的局部特征信息L，由Encoder编码器获得的全局特征向量G和粗略点云的三维坐标信息C来生成稠密点云；由于粗略点云的数量M为1024，，为了将数据维度扩充至16384，将点云局部特征信息L和粗略点云的三维坐标信息C复制(Tile)16倍，将全局特征向量G复制扩展至16384行；
S44、拼接全局特征向量G、局部特征信息L和三维坐标信息C得到新的特征{Gf+Lf+Cp}，由于复制(Tile)操作导致新的特征每16行数据均相同，为了区分这些行特征加入了2D网格数据D，其来源于一个固定大小的网格内的线性采样，采样点为16个，信息维度为2，即一个二维数据足以定位网格内采样点数据的唯一位置，得到的点的特征用{Gf+Lf+Cp+2}来表示，将该特征放入结构为(512，512，3)的多层感知机(MLPs)中并与粗略点云的坐标C合并，最终获得数量为16384的稠密点云。
为了能够更直观地理解本发明，以具体的重建过程为例进行说明。实验部分首先测试了本发明在ShapeNet中2.5D深度图反投影得到的缺失点云数据上的表现(图4)，之后进一步探究了本发明在点云不同缺失比例下的表现。结果表明本发明在点云较大比例缺失的情况下表现最优，且缺失比例越大优势越明显，并以点云80％比例缺失为例，从量化和可视化的角度详细探究了不同模型的表现(图5)。同时，对比分析两种测试数据表明本发明在点云较大比例缺失导致数据模型整体结构性缺失较大的情况下具有显著优越性。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (10)
1.一种利用生成对抗网络进行稠密点云补全的算法，其特征在于，包括以下步骤：
S1、设定生成器，将缺失点云输入EncoderC编码器提取特征，得到高维全局特征向量GFVx；
S2、利用生成器将目标点云经过EncoderN-DPC编码器，得到高维全局特征向量GFVy；
S3、利用生成对抗网络在高维全局特征向量空间训练，实现x→y之间的“风格迁移”；
S4、从生成器生成的新特征向量GFVG(x)通过解码器DecoderN-DPC补全得到稠密点云。
2.如权利要求1所述的一种利用生成对抗网络进行稠密点云补全的算法，其特征在于，步骤S1中EncoderC解码器得到高维全局特征向量GFVx通过以下步骤实现：
S11、将编码器经ShapeNet数据集训练得到EncoderC编码器；将解码器经训练得到DecoderC解码器；
S12、将输入的缺失点云标记为Pi(x，y，z)，其中i＝1，...，N，N表示点云的总数量，x、y和z表示点云的三维坐标信息；将输入的N个点的三维坐标信息输入结构为(128，256)的多层感知机中得到[N×256]的点云特征信息f，其中点云特征信息f中的每一行都代表一个点的特征信息，利用最大池化得到维度为[1×256]的特征向量g；
S13、将特征向量g经过复制操作并且和点云特征信息f连接得到维度为[N×512]的点云特征信息F；
S14、将点云特征信息F输入Self-attention注意力机制得到赋予每个点特征不同权重的新点云特征F′，新点云特征F′的特征维度保持为[N×512]；
S15、经过一个结构为(512，1024)的多层感知机以及最大池化操作得到最终的全局特征向量G，全局特征向量G的特征维度为[1×1024]；
S16、将点云特征信息F输入三个不同的多层感知机，分别得到特征G、H和K，利用G和H得到不同特征的分配权重W，权重W的计算公式如下：
W＝fsoftmax(GTH)
其中，GT表示特征G的转置矩阵，即对于G中的每一个元素Gi，j(i＝1，...，m；j＝1，...，n)转置之后变为Gj，i(j＝1，...，n；i＝1，...，m)，fsoftmax函数将数值归一化到0-1之间；再将得到的权重W和K相乘计算出带有权重的特征，并且结合输入的点云特征信息F得到信息更加丰富的点云特征F′。
3.如权利要求2所述的一种利用生成对抗网络进行稠密点云补全的算法，其特征在于：所述生成器在特征向量空间采用全连接层，利用不同层之间的跳跃连接生成新的向量，使其共享更多的有效信息；所述生成器利用高维全局特征向量GFVx重新生成新的高维全局特征向量GFVG(x)。
4.如权利要求3所述的一种利用生成对抗网络进行稠密点云补全的算法，其特征在于，步骤S2通过以下步骤实现：
S21、将缺失点云经编码器得到的高维全局特征向量GFVx经过三个输出维度为512，256和256的全连接层分别得到特征向量V1、V2和V3；
S22、拼接特征向量V2和V3得到新的维度为512的特征向量M1，再经过一个全连接层得到维度为512的特征向量V4，跳跃拼接向量V1和V4得到1024维度的特征向量M2；
S23、经过输出维度为1024的全连接层得到最终的高维全局特征向量GFVG(x)，高维全局特征向量GFVG(x)用于后续经过解码器进行点云补全。
5.如权利要求4所述的一种利用生成对抗网络进行稠密点云补全的算法，其特征在于，步骤S3中使用判别器用于判别高维全局特征向量来源于目标点云还是生成器，具体步骤为：将1024维度的全局特征向量分为每个维度为d的特征向量，设置d为128，每个小的特征向量之间不重叠，共8个特征向量(128×8＝1024)，具体为[1：128，129：256，…，897：1024]；再将特征向量分别经过基于全连接层的判别器进行判断得到[o1，o2，…，o8]，对所有结果求均值获得最终输出；所述判别器的结构是输出维度为128，64和1的全连接层。
6.如权利要求5所述的一种利用生成对抗网络进行稠密点云补全的算法，其特征在于，步骤S3中的损失函数如下：
令X表示缺失点云，x＝EncoderC(X)表示缺失点云的高维全局特征向量；Y表示目标点云，y＝Encoderc(Y)表示目标点云的高维全局特征向量，生成器用于构建x→y之间的映射关系使得判别器无法判断全局特征向量来自y还是来自x经过生成器映射之后的G(x)；
判别器的训练将一一对应的全局特征向量对(x，y)分类为1(real)，将(x，G(x))判别为0(fake)；该阶段固定生成器的权重，迭代更新生成器的权重，损失函数如下所示：
LossD＝0.5Lbce(D(x，y)，1)+0.5Lbce(D(x，G(x))，0)
Lbce(z，t)＝-(tlog(z)+(1-t)log(1-z))
其中，x服从缺失点云的高维全局特征向量分布，y服从目标点云的高维全局特征向量分布；Lbce为二元交叉熵损失函数，z表示网络预测输出，t表示0或者1的标签；
生成器的训练同样需要固定判别器的参数，生成器的损失函数如下所示：
LossG adv＝Lbce(D(x，G(x))，1)
将生成器生成的G(x)和y的L1距离引入损失函数，最终的损失函数公式如下所示：
LossL1＝||y-G(x)||1
LossG＝αLossG adv+βLossL1
其中，α为损失函数中LossGadv的参数，β为LossL1的参数。
7.如权利要求2所述的一种利用生成对抗网络进行稠密点云补全的算法，其特征在于，步骤S4中所述解码器DecoderN-DPC包括以下内容：所述解码器DecoderN-DPC负责将全局特征向量G解码重构生成稠密点云，整个过程分为粗略补全和稠密补全两个阶段。
8.如权利要求7所述的一种利用生成对抗网络进行稠密点云补全的算法，其特征在于：所述粗略补全阶段首先将通过EncoderC编码器获得的全局特征向量G输入三个输出特征维度分别为1024，1024和M×3的全连接层，其中最后一层全连接网络的特征维度为M×3是因为M个点云中每一个点云都有(x，y，z)三个坐标信息，经过三个全连接层得到新特征的维度为[1×(M×3)]，然后经过变形Reshape操作得到M个粗略点云的坐标信息[M×3]。
9.如权利要求8所述的一种利用生成对抗网络进行稠密点云补全的算法，其特征在于：所述稠密补全阶段通过引入点云局部特征提取模块，丰富了用于稠密补全的特征信息，用于由粗略点云进一步得到稠密点云，该稠密点云的数量为16384。
10.如权利要求9所述的一种利用生成对抗网络进行稠密点云补全的算法，其特征在于，步骤S4的具体过程为：
S41、粗略点云的点云数量为M，M数值为1024，点云的局部特征提取模块基于PointNet++网络，以点云中的每个点为中心建立一个球体邻域，并将球体内的每一个点通过(64，128，256)的多层感知机获得邻域内每一个点的特征P；
S42、将球体内的点云特征进行邻域特征池化得到维度为[M×256]的点云局部特征信息L；
S43、利用点云的局部特征信息L，由Encoder编码器获得的全局特征向量G和粗略点云的三维坐标信息C来生成稠密点云；由于粗略点云的数量M为1024，将点云局部特征信息L和粗略点云的三维坐标信息C复制16倍，将全局特征向量G复制扩展至16384行；
S44、拼接全局特征向量G、局部特征信息L和三维坐标信息C得到新的特征{Gf+Lf+Cp}，采样点为16个，信息维度为2，得到的点的特征用{Gf+Lf+Cp+2}来表示，将该特征放入结构为(512，512，3)的多层感知机中并与粗略点云的坐标C合并，最终获得数量为16384的稠密点云。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110768864.8A CN113379646B (zh) | 2021-07-07 | 2021-07-07 | 一种利用生成对抗网络进行稠密点云补全的算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110768864.8A CN113379646B (zh) | 2021-07-07 | 2021-07-07 | 一种利用生成对抗网络进行稠密点云补全的算法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113379646A true CN113379646A (zh) | 2021-09-10 |
| CN113379646B CN113379646B (zh) | 2022-06-21 |
Family
ID=77581322
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110768864.8A Active CN113379646B (zh) | 2021-07-07 | 2021-07-07 | 一种利用生成对抗网络进行稠密点云补全的算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113379646B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114004871A (zh) * | 2022-01-04 | 2022-02-01 | 山东大学 | 一种基于点云补全的点云配准方法及系统 |
| CN114048845A (zh) * | 2022-01-14 | 2022-02-15 | 深圳大学 | 点云修复方法、装置、计算机设备和存储介质 |
| CN114298946A (zh) * | 2022-03-10 | 2022-04-08 | 武汉大学 | 一种框架细节增强的深度学习点云补全方法 |
| CN114332302A (zh) * | 2021-12-02 | 2022-04-12 | 广东工业大学 | 一种基于多尺度自注意力网络的点云补全系统及方法 |
| CN114638751A (zh) * | 2022-02-24 | 2022-06-17 | 南京邮电大学 | 基于生成对抗网络的端到端点云补全方法 |
| CN114863062A (zh) * | 2022-06-07 | 2022-08-05 | 南京航空航天大学深圳研究院 | 基于点、体素特征表示的工业场景3d点云模型构建方法 |
| CN115496881A (zh) * | 2022-10-19 | 2022-12-20 | 南京航空航天大学深圳研究院 | 单目图像辅助的大型飞机点云补全方法 |
| CN115578265A (zh) * | 2022-12-06 | 2023-01-06 | 中汽智联技术有限公司 | 点云增强方法、系统和存储介质 |
| CN117115225A (zh) * | 2023-09-01 | 2023-11-24 | 安徽羽亿信息科技有限公司 | 一种自然资源智慧综合信息化管理平台 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107481313A (zh) * | 2017-08-18 | 2017-12-15 | 深圳市唯特视科技有限公司 | 一种基于学习有效点云生成的密集三维物体重建方法 |
| CN111724443A (zh) * | 2020-06-09 | 2020-09-29 | 中国科学院自动化研究所 | 基于生成式对抗网络的统一场景视觉定位方法 |
| CN112561796A (zh) * | 2020-12-02 | 2021-03-26 | 西安电子科技大学 | 基于自注意生成对抗网络的激光点云超分辨率重建方法 |
| CN112785526A (zh) * | 2021-01-28 | 2021-05-11 | 南京大学 | 一种用于图形处理的三维点云修复方法 |
| CN112927359A (zh) * | 2021-03-22 | 2021-06-08 | 南京大学 | 一种基于深度学习和体素的三维点云补全方法 |
| CN113052955A (zh) * | 2021-03-19 | 2021-06-29 | 西安电子科技大学 | 一种点云补全方法、系统及应用 |
-
2021
- 2021-07-07 CN CN202110768864.8A patent/CN113379646B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107481313A (zh) * | 2017-08-18 | 2017-12-15 | 深圳市唯特视科技有限公司 | 一种基于学习有效点云生成的密集三维物体重建方法 |
| CN111724443A (zh) * | 2020-06-09 | 2020-09-29 | 中国科学院自动化研究所 | 基于生成式对抗网络的统一场景视觉定位方法 |
| CN112561796A (zh) * | 2020-12-02 | 2021-03-26 | 西安电子科技大学 | 基于自注意生成对抗网络的激光点云超分辨率重建方法 |
| CN112785526A (zh) * | 2021-01-28 | 2021-05-11 | 南京大学 | 一种用于图形处理的三维点云修复方法 |
| CN113052955A (zh) * | 2021-03-19 | 2021-06-29 | 西安电子科技大学 | 一种点云补全方法、系统及应用 |
| CN112927359A (zh) * | 2021-03-22 | 2021-06-08 | 南京大学 | 一种基于深度学习和体素的三维点云补全方法 |
Non-Patent Citations (3)
| Title |
|---|
| MING CHENG ET AL.: "Dense Point Cloud Completion Based on Generative Adversarial Network", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 * |
| MUHAMMAD SARMAD ET AL.: "RL-GAN-Net: A Reinforcement Learning Agent Controlled GAN Network for Real-Time Point Cloud Shape Completion", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
| 陈坤源 等: "铁路高精度点云智能的处理技术", 《厦门大学学报（自然科学版）》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114332302A (zh) * | 2021-12-02 | 2022-04-12 | 广东工业大学 | 一种基于多尺度自注意力网络的点云补全系统及方法 |
| CN114004871A (zh) * | 2022-01-04 | 2022-02-01 | 山东大学 | 一种基于点云补全的点云配准方法及系统 |
| CN114048845B (zh) * | 2022-01-14 | 2022-06-03 | 深圳大学 | 点云修复方法、装置、计算机设备和存储介质 |
| CN114048845A (zh) * | 2022-01-14 | 2022-02-15 | 深圳大学 | 点云修复方法、装置、计算机设备和存储介质 |
| CN114638751A (zh) * | 2022-02-24 | 2022-06-17 | 南京邮电大学 | 基于生成对抗网络的端到端点云补全方法 |
| CN114638751B (zh) * | 2022-02-24 | 2024-11-08 | 南京邮电大学 | 基于生成对抗网络的端到端点云补全方法 |
| CN114298946B (zh) * | 2022-03-10 | 2022-06-14 | 武汉大学 | 一种框架细节增强的深度学习点云补全方法 |
| CN114298946A (zh) * | 2022-03-10 | 2022-04-08 | 武汉大学 | 一种框架细节增强的深度学习点云补全方法 |
| CN114863062A (zh) * | 2022-06-07 | 2022-08-05 | 南京航空航天大学深圳研究院 | 基于点、体素特征表示的工业场景3d点云模型构建方法 |
| CN114863062B (zh) * | 2022-06-07 | 2023-09-15 | 南京航空航天大学深圳研究院 | 基于点、体素特征表示的工业场景3d点云模型构建方法 |
| CN115496881A (zh) * | 2022-10-19 | 2022-12-20 | 南京航空航天大学深圳研究院 | 单目图像辅助的大型飞机点云补全方法 |
| CN115496881B (zh) * | 2022-10-19 | 2023-09-22 | 南京航空航天大学深圳研究院 | 单目图像辅助的大型飞机点云补全方法 |
| CN115578265A (zh) * | 2022-12-06 | 2023-01-06 | 中汽智联技术有限公司 | 点云增强方法、系统和存储介质 |
| CN117115225A (zh) * | 2023-09-01 | 2023-11-24 | 安徽羽亿信息科技有限公司 | 一种自然资源智慧综合信息化管理平台 |
| CN117115225B (zh) * | 2023-09-01 | 2024-04-30 | 安徽羽亿信息科技有限公司 | 一种自然资源智慧综合信息化管理平台 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113379646B (zh) | 2022-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113379646A (zh) | 一种利用生成对抗网络进行稠密点云补全的算法 | |
| Chen et al. | Joint hand-object 3d reconstruction from a single image with cross-branch feature fusion | |
| CN112819833B (zh) | 一种大场景点云语义分割方法 | |
| CN110659727A (zh) | 一种基于草图的图像生成方法 | |
| CN115439694A (zh) | 一种基于深度学习的高精度点云补全方法及装置 | |
| CN114782634B (zh) | 基于表面隐函数的单目图像着装人体重建方法与系统 | |
| CN108876814B (zh) | 一种生成姿态流图像的方法 | |
| CN115457197A (zh) | 基于素描草图的人脸三维重建模型训练方法、重建方法及装置 | |
| CN110598601A (zh) | 一种基于分布式热力图的人脸3d关键点检测方法及系统 | |
| CN114638751A (zh) | 基于生成对抗网络的端到端点云补全方法 | |
| CN112258625B (zh) | 基于注意力机制的单幅图像到三维点云模型重建方法及系统 | |
| CN114758152A (zh) | 一种基于注意力机制和邻域一致性的特征匹配方法 | |
| CN112418235A (zh) | 一种基于膨胀最近邻特征增强的点云语义分割方法 | |
| CN117274764B (zh) | 一种多模态特征融合的三维点云补全方法 | |
| CN114743123A (zh) | 一种基于隐函数三维表示和图神经网络的场景理解方法 | |
| CN118279367A (zh) | 一种基于双特征融合和邻域感知上采样的点云补全方法 | |
| CN117576312A (zh) | 手部模型构建方法、装置以及计算机设备 | |
| CN115272599A (zh) | 一种面向城市信息模型的三维语义地图构建方法 | |
| Zhuang et al. | A survey of point cloud completion | |
| CN116740323A (zh) | 一种跨模态三维点云补全系统及方法 | |
| CN116524070A (zh) | 一种基于文本的场景图片编辑方法及系统 | |
| CN113763539B (zh) | 一种基于图像和三维输入的隐式函数三维重建方法 | |
| CN118470221B (zh) | 一种基于非标定单视图的三维目标重建方法 | |
| CN118015192A (zh) | 一种基于2d图像的3d模型快速重建方法 | |
| CN117392224A (zh) | 基于重建-仿真-感知自动驾驶零样本域迁移方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Li Yuan Inventor after: Chen Yiping Inventor after: Li Guoyan Inventor after: Cheng Ming Inventor after: Wang Cheng Inventor after: Li Jun Inventor after: Huang Jingxiong Inventor before: Li Yuan Inventor before: Chen Yiping Inventor before: Li Guoyan Inventor before: Cheng Ming Inventor before: Wang Cheng Inventor before: Li Jun Inventor before: Jing Xiong |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |