CN113593043A - 一种基于生成对抗网络的点云三维重建方法与系统 - Google Patents
一种基于生成对抗网络的点云三维重建方法与系统 Download PDFInfo
- Publication number
- CN113593043A CN113593043A CN202110953337.4A CN202110953337A CN113593043A CN 113593043 A CN113593043 A CN 113593043A CN 202110953337 A CN202110953337 A CN 202110953337A CN 113593043 A CN113593043 A CN 113593043A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- generator
- dimensional
- discriminator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000006870 function Effects 0.000 claims description 31
- 238000006073 displacement reaction Methods 0.000 claims description 20
- 238000010606 normalization Methods 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 claims description 6
- 230000002457 bidirectional effect Effects 0.000 claims description 6
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000007704 transition Effects 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于生成对抗网络的点云三维重建方法与系统。包括：首先处理等待重建的点云数据，其次搭建生成器模块和判别器模块，然后对生成器和判别器进行多次对抗训练得到训练完成后的生成器，最终训练完成的生成器生成的就是等待重建的点云数据对应的三维模型。本发明以已经拥有的点云数据为基准最终得到相对应的三维模型，能够应用于多种多样的单个物体，并且在多个模型的不同部分的拼接任务中能够生成较为光滑的过度区域，而不会很出现非常突兀的变化，其次损失函数的设计更好地加快网络模型的收敛速度，体现点云数据的三维特性，最终生成的对应三维模型精确度更高。
Description
技术领域
本发明涉及三维重建，深度学习领域，具体涉及一种基于生成对抗网络的点云三维重建方法、系统、设备及存储介质。
背景技术
近些年来，随着互联网和多媒体技术不断地发展、数字设备和大容量存储设备的普及，三维点云数据的应用也走进人们的视野之中。例如在虚拟现实中可以人们可以通过手绘而得到三维模型。又比如在自动驾驶中通过激光扫描的到三维的点云数据，在经过一定的处理使得计算机能够根据点云数据辨别当时所处的环境，知道哪里有障碍物，从而推断出汽车之后要如何通行。除此之外，三维模型也广泛应用于视频以及游戏制作之中。
三维重建技术是计算机图形学中的一个重要研究方向。它是指通过处理一些已知的数据从而推测原来的三维模型。例如通过一个物体的多张不同角度的图片来合成原来的三维物体，或者通过带有深度信息的图像来推测出三维物体，还有就是通过三维点云数据来获得三维模型等。近几年来随着深度学习的迅速发展，人们也将深度学习应用于三维点云数据的分类分割任务之中，并且取得了比较好的效果。通过深度学习技术计算机能够较好的将点云进行语义分割，从而知道哪些点云是属于同一类的，这在自动驾驶技术的研究中具有重要的意义。此外也有将深度学习应用于三维重建的研究，也取得了较好的效果。
目前的现有技术之一是一种基于深度学习的管道三维重建方法、系统、介质及设备，该技术方案为：(1)利用深度学习方法学习点云的特征，至少得到点所属组件的类别、点所属组件的半径和点的方向向量；(2)利用点所属组件的半径和点的方向向量计算轴线点，结合点所属组件的类别标签对轴线点进行聚类得到候选实例；(3)用基于图的方法得到不同候选实例之间的连接关系，以组件为节点构成图的结构；(4)用实际的三维组件模型替代图中的节点以完成整个管道重建。其缺点是：此方案并不是针对点云数据进行三维重建，而是通过点云的到各个点云的所属的组件，在通过使用已存在的三维组件来完成整个管道，此方案专门用于实现管道的三维重建，其通用性不强。
目前的现有技术之二是一种基于RGB数据与生成对抗网络的点云三维重建方法，该技术方案为：(1)使用便宜的普通相机捕获二维图像；(2)通过生成对抗网络从单个RGB图像生成深度图像估计；(3)通过生成训练数据深度相机的参数生成深度图像估计，根据深度计算得到三维点云数据；(4)通过球面映射得到粗略表面模型，最后使用判别器对模型判别以得到完整的三维模型。其缺点是：(1)此方案通过二维图像来获得点云数据，之后再进行三维重建。注意到从二维图像来获得点云数据，这其中是通过估计实现的，因此这里必定会出现一定的损失。(2)此外三维重建过程中采用的是简单的球面映射，再通过细化得到完整的三维模型，通过这种方法得到的三维模型只是粗略的近似，所得三维模型不够精确。
发明内容
本发明的目的是克服现有方法的不足，提出了一种基于生成对抗网络的点云三维重建方法。本发明解决的主要问题：一是现有的三维重建技术大多针对专门的物体或场景而设计的，普适性不够强的问题；二是通过二维图像获取点云数据导致数据损失的问题；三是通过简单映射而建立的三维模型导致模型精度不高的问题。
为了解决上述问题，本发明提出了一种基于生成对抗网络的点云三维重建方法，所述方法包括：
处理等待重建的点云数据，得到一个包围该等待重建的点云数据的三维网格模型；
搭建生成器模块，输入是所述三维网格模型，得到该模型中各个顶点的位移，该位移与所述三维网格模型的顶点坐标相加，得到一个新的三维网格模型，从该新模型中均匀采样一些点，得到生成器生成的点云数据；
搭建判别器模块，输入是所述等待重建的点云数据和从所述生成器中生成的点云数据，输出是一个小于1的概率值；
对所述判别器和所述生成器进行多次训练优化，得到训练完成的判别器和训练完成的生成器；
最终所述训练完成的生成器所生成的就是所述等待重建的点云数据对应的三维模型。
优选地，所述处理等待重建的点云数据，得到一个包围该等待重建的点云数据的三维网格模型，具体为：
对等待重建的点云数据进行归一化处理，将每个点的坐标归一化到-1到1之间；
如果要得到的三维模型是多个三维模型的不同部分拼接而成的，需要将待拼接部分的点云摆放到相对应的位置，并且也进行归一化处理；
归一化处理后所得的点云数据使用三维建模软件，得到一个能够包围该点云数据的三维网格模型。
优选地，所述搭建生成器模块，输入是所述三维网格模型，得到该模型中各个顶点的位移，该位移与所述三维网格模型的顶点坐标相加，得到一个新的三维网格模型，从该新模型中均匀采样一些点，得到生成器生成的点云数据，具体为：
生成器采用MeshCNN，是一个作用于三维网格中每一条边的神经网络，它首先根据三维网格计算出各条边所拥有的五个特征，这五个特征分别为每条边所在的两个三角面片之间的二面角、以及那条边所在两个三角面片中所对的对角和那条边所在两个三角面片的高与那条边的比值；
计算好的特征类比于图像的卷积神经网络送到网络中进行计算，从而得到三维网格中每一个顶点所需的位移；
把点的位移与所述三维网格模型的顶点坐标相加，从而得到一个更加接近真实点云数据的三维网格模型；
从该新模型中均匀采样一些点，得到生成器生成的点云数据。
优选地，所述搭建判别器模块，输入是所述等待重建的点云数据和从所述生成器中生成的点云数据，输出是一个小于1的概率值，具体为：
判别器是一个二分类器，采用PointNet++网络模型作为判别器，输入是所述等待重建的点云数据和从所述生成器中生成的点云数据；
修改PointNet++全连接后的输出个数为1，判别器判断是否是所述等待重建的点云数据，PointNet++的输出是一个小于1的概率值；
当PointNet++输出接近1时则表示当前输入的点云数据是真实是的点云数据，而当PointNet++输出接近0时则表示当前输入是从生成器生成的点云数据。
优选地，所述对所述判别器和所述生成器进行多次训练优化，得到训练完成的判别器和训练完成的生成器，具体为：
采用最小二乘GANs的损失函数进行网络的优化，生成对抗网络的损失函数包括判别器的损失函数和生成器的损失函数；
判别器的损失函数计算，如公式所示：
X代表所述等待重建的点云数据，D(X)代表向判别器中输入X所得的概率值，而G(X)则代表从生成器中生成的点云数据，D(G(X))代表向判别器中输入G(X)所得的概率值，LD则是最终的判别器损失；
生成器的损失函数计算，如公式所示：
LG＝γ1LGD+γ2D
其中γ1和γ2是自行定义的参数，可以根据实际情况调整，LGD为对抗损失，计算的是判别器将生成器生成的点云数据判别为真实点云数据的误差，其中X代表的是整个所述等待重建的点云数据集，X代表所述等待重建的点云数据，G(X)代表从生成器生成的点云数据，D(G(X))代表向判别器中输入G(X)所得的概率值；
D是双向倒角距离，指的是所述等待重建的点云数据与生成器生成的点云数据之间的双向倒角距离，其中X和Y分别代表所述等待重建的点云数据和生成器生成的点云数据，x和y分别代表所述等待重建的点云数据和生成器生成的点云数据中一个点的坐标，LG则是最终的生成器损失；
实际训练次数根据所需要的三维模型的复杂度而定，多次训练优化，得到训练完成的判别器和训练完成的生成器。
相应地，本发明还提供了一种基于生成对抗网络的点云三维重建系统，包括：
数据处理单元，处理等待重建的点云数据，得到一个包围该等待重建的点云数据的三维网格模型；
模块搭建单元，搭建生成器模块和搭建判别器模块；
模块训练单元，对判别器和生成器进行多次训练优化，得到训练完成的判别器和训练完成的生成器，最终训练完成的生成器所生成的就是等待重建的点云数据对应的三维模型。
相应地，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行上述一种基于生成对抗网络的点云三维重建方法的步骤。
相应地，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于生成对抗网络的点云三维重建方法的步骤。
实施本发明，具有如下有益效果：
第一，首先当前我们获得点云数据大多是通过激光扫描来获得，然而通过在现实生活中通过激光扫描而获得的点云数据大部分分布不均匀，会出现一些非常稀疏的地方，而且会出现法向量缺失或错误的情况，这些不理想的情况对于三维重建具有很大的影响，而本发明能够较好的应对这种情况；第二，在处理多个不同三维模型不同部位进行拼接的任务时能够生成光滑的过度区域，而不会只是简单的拼接在一起，另外由于三维模型的网格组成是不一样，有可能是三角网格、四边形网格和多边形网格，本方案可以将不同网格模型进行拼接，最终得到三角网格；第三，此方案可以应用多种多样的单个物体，在三维重建上的应用比较广泛。
附图说明
图1是本发明实施例的一种基于生成对抗网络的点云三维重建方法总体流程图；
图2是本发明实施例的生成器计算特征图；
图3是本发明实施例的一种基于生成对抗网络的点云三维重建系统的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术发明进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例的一种基于生成对抗网络的点云三维重建方法总体流程图，如图1所示，该方法包括：
S1，处理等待重建的点云数据，得到一个包围该等待重建的点云数据的三维网格模型；
S2，搭建生成器模块，输入是所述三维网格模型，得到该模型中各个顶点的位移，该位移与所述三维网格模型的顶点坐标相加，得到一个新的三维网格模型，从该新模型中均匀采样一些点，得到生成器生成的点云数据；
S3，搭建判别器模块，输入是所述等待重建的点云数据和从所述生成器中生成的点云数据，输出是一个小于1的概率值；
S4，对所述判别器和所述生成器进行多次训练优化，得到训练完成的判别器和训练完成的生成器；
S5，最终所述训练完成的生成器所生成的就是所述等待重建的点云数据对应的三维模型。
步骤S1，具体如下：
S1-1：对要进行重建的点云数据进行归一化处理，将每个点的坐标归一化到-1到1之间。如果要得到的三维模型是多个三维模型的不同部分拼接而成的，需要将待拼接部分的点云摆放到相对应的位置，并且也需要进行归一化处理。
S1-2：使用三维建模软件例如Blend等，根据S1-1所得的点云数据得到一个能够包围该点云数据的三角网格模型。
步骤S2，具体如下：
S2-1：如图2所示，生成器采用MeshCNN，MeshCNN是一个作用于三维网格中每一条边的神经网络，它的输入是一个能够包围原始点云数据的封闭的三维网格模型。它首先根据三维网格计算出各条边所拥有的五个特征。这五个特征分别为每条边所在的两个三角面片之间的二面角、以及那条边所在两个三角面片中所对的对角和那条边所在两个三角面片的高与那条边的比值。
S2-2：将S2-1中计算好的特征类比于图像的卷积神经网络送到网络中进行计算，从而得到三维网格中每一个顶点应该要的位移。之后把点的位移与原来的三维网格顶点的坐标相加，从而得到一个更加接近真实点云数据的三维网格。从新的三维网格模型中均匀采样一些点，从而得到生成器生成的点云数据。
步骤S3，具体如下：
S3-1：判别器总的来说是一个二分类器，采用在点云数据分类中有较好表现的PointNet++网络模型作为判别器，输入是所述等待重建的点云数据和从生成器中生成的三维模型中采样得到的点云数据。
S3-2：修改PointNet++全连接后的输出个数为1，因为此处是进行二分类，只需判断是否是所述等待重建的点云数据。PointNet++的输出是一个小于1的概率值。当PointNet++输出接近1时则表示当前输入的点云数据是真实是的点云数据，而当PointNet++输出接近0时则表示当前输入是从生成器生成三维模型中采样得到的点云数据。
步骤S4，具体如下：
S4-1：由于生成对抗网络训练困难，本方案参考最小二乘GANs，采用它的损失函数进行网络模型的优化。生成对抗网络的损失函数包括判别器的损失函数和生成器的损失函数。
S4-2：判别器的损失函数计算公式如公式(1)所示。其中X代表所述等待重建的点云数据，D(X)代表向判别器中输入X所得的概率值，而G(X)则代表从生成器中得到的点云数据，D(G(X))代表向判别器中输入G(X)所得的概率值，LD则是最终的判别器损失，用于反馈传播优化判别网络。
S4-3：生成器损失函数计算公式如公式(4)所示。其中γ1和γ2是自行定义的参数，建议设置为0.01和100，可以根据实际情况调整，而LGD和D的计算方式如公式(2)和(3)所示。公式(2)计算的是判别器将生成器生成点云数据判别为真实点云数据的误差，其中X代表的是整个所述等待重建的点云数据集，G(X)代表将X输入生成器中得到的点云数据集，D(G(X))代表向判别器中输入G(X)所得的概率值。公式(3)计算的是所述等待重建的点云数据与生成点云数据之间的双向倒角距离，其中X和Y分别代表所述等待重建的点云数据和生成的点云数据，x和y分别代表所述等待重建的点云数据和生成的点云数据中一个点的坐标。
LG＝γ1LGD+γ2D (4)
相应地，本发明还提供了一种基于生成对抗网络的点云三维重建系统，如图3所示，包括：
数据处理单元1，处理等待重建的点云数据，得到一个包围该等待重建的点云数据的三维网格模型。
具体地，对等待重建的点云数据进行归一化处理，将每个点的坐标归一化到-1到1之间，如果要得到的三维模型是多个三维模型的不同部分拼接而成的，需要将待拼接部分的点云摆放到相对应的位置，并且也进行归一化处理，归一化处理后所得的点云数据使用三维建模软件例如Blend等，得到一个能够包围该点云数据的三维网格模型。
模块搭建单元2，搭建生成器模块和搭建判别器模块。
具体地，搭建生成器模块，生成器采用MeshCNN，输入是三维网格模型，得到该模型中各个顶点的位移，该位移与三维网格模型的顶点坐标相加，得到一个新的三维网格模型，从该新模型中均匀采样一些点，得到生成器生成的点云数据，搭建判别器模块，输入是所述等待重建的点云数据和从生成器中生成的点云数据，输出是一个小于1的概率值。
模块训练单元3，对判别器和生成器进行多次训练优化，得到训练完成的判别器和训练完成的生成器，最终训练完成的生成器所生成的就是等待重建的点云数据对应的三维模型。
具体地，采用最小二乘GANs的损失函数进行网络的优化，生成对抗网络的损失函数包括判别器的损失函数和生成器的损失函数，实际训练次数根据所需要的三维模型的复杂度而定，多次训练优化，得到训练完成的判别器和训练完成的生成器，最终训练完成的生成器所生成的就是等待重建的点云数据对应的三维模型。
因此，本发明通过构建生成器模块和判别器模块，使用PointNet++作为判别器来构建生成对抗网络，来进行点云的三维重建；同时，判别器的损失函数参照LSGANs(最小二乘GANs)，生成器的损失函数对抗损失和真实点云数据与采样得到的点云数据的双向倒角距离的线性组合，次损失函数能够更好的体现点云数据的三维特性，能够加快网络模型的收敛速度，能够使得生成器所得结果更好的收敛到我们所期望的地方；最后，本发明以已经拥有的点云数据为基准最终得到相对应的三维模型，能够应用于多种多样的单个物体，并且在多个模型的不同部分的拼接任务中能够生成较为光滑的过度区域，而不会很出现非常突兀的变化。
相应地，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述一种基于生成对抗网络的点云三维重建方法的步骤。同时，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于生成对抗网络的点云三维重建方法的步骤。
以上对本发明实施例所提供的一种基于生成对抗网络的点云三维重建方法、系统、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (11)
1.一种基于生成对抗网络的点云三维重建方法，其特征在于，所述方法包括：
处理等待重建的点云数据，得到一个包围该等待重建的点云数据的三维网格模型；
搭建生成器模块，输入是所述三维网格模型，得到该模型中各个顶点的位移，该位移与所述三维网格模型的顶点坐标相加，得到一个新的三维网格模型，从该新模型中均匀采样一些点，得到生成器生成的点云数据；
搭建判别器模块，输入是所述等待重建的点云数据和从所述生成器中生成的点云数据，输出是一个小于1的概率值；
对所述判别器和所述生成器进行多次训练优化，得到训练完成的判别器和训练完成的生成器；
最终所述训练完成的生成器所生成的就是所述等待重建的点云数据对应的三维模型。
2.如权利要求1所述的一种基于生成对抗网络的点云三维重建方法，其特征在于，所述处理等待重建的点云数据，得到一个包围该等待重建的点云数据的三维网格模型，具体为：
对等待重建的点云数据进行归一化处理，将每个点的坐标归一化到-1到1之间；
如果要得到的三维模型是多个三维模型的不同部分拼接而成的，需要将待拼接部分的点云摆放到相对应的位置，并且也进行归一化处理；
归一化处理后所得的点云数据使用三维建模软件，得到一个能够包围该点云数据的三维网格模型。
3.如权利要求1所述的一种基于生成对抗网络的点云三维重建方法，其特征在于，所述搭建生成器模块，输入是所述三维网格模型，得到该模型中各个顶点的位移，该位移与所述三维网格模型的顶点坐标相加，得到一个新的三维网格模型，从该新模型中均匀采样一些点，得到生成器生成的点云数据，具体为：
生成器采用MeshCNN，是一个作用于三维网格中每一条边的神经网络，它首先根据三维网格计算出各条边所拥有的五个特征，这五个特征分别为每条边所在的两个三角面片之间的二面角、以及那条边所在两个三角面片中所对的对角和那条边所在两个三角面片的高与那条边的比值；
计算好的特征类比于图像的卷积神经网络送到网络中进行计算，从而得到三维网格中每一个顶点所需的位移；
把点的位移与所述三维网格模型的顶点坐标相加，从而得到一个更加接近真实点云数据的三维网格模型；
从该新模型中均匀采样一些点，得到生成器生成的点云数据。
4.如权利要求1所述的一种基于生成对抗网络的点云三维重建方法，其特征在于，所述搭建判别器模块，输入是所述等待重建的点云数据和从所述生成器中生成的点云数据，输出是一个小于1的概率值，具体为：
判别器是一个二分类器，采用PointNet++网络模型作为判别器，输入是所述等待重建的点云数据和从所述生成器中生成的点云数据；
修改PointNet++全连接后的输出个数为1，判别器判断是否是所述等待重建的点云数据，PointNet++的输出是一个小于1的概率值；
当PointNet++输出接近1时则表示当前输入的点云数据是等待重建的点云数据，而当PointNet++输出接近0时则表示当前输入是从生成器生成的点云数据。
5.如权利要求1所述的一种基于生成对抗网络的点云三维重建方法，其特征在于，所述对所述判别器和所述生成器进行多次训练优化，得到训练完成的判别器和训练完成的生成器，具体为：
采用最小二乘GANs的损失函数进行网络的优化，生成对抗网络的损失函数包括判别器的损失函数和生成器的损失函数；
判别器的损失函数计算，如公式所示：
X代表所述等待重建的点云数据，D(X)代表向判别器中输入X所得的概率值，而G(X)则代表从生成器中生成的点云数据，D(G(X))代表向判别器中输入G(X)所得的概率值，LD则是最终的判别器损失；
生成器的损失函数计算，如公式所示：
LG＝γ1LGD+γ2D
其中γ1和γ2是自行定义的参数，可以根据实际情况调整，LGD为对抗损失，计算的是判别器将生成器生成的点云数据判别为真实点云数据的误差，其中X代表的是整个所述等待重建的点云数据集，X代表所述等待重建的点云数据，G(X)代表从生成器生成的点云数据，D(G(X))代表向判别器中输入G(X)所得的概率值；
D是双向倒角距离，指的是所述等待重建的点云数据与生成器生成的点云数据之间的双向倒角距离，其中X和Y分别代表所述等待重建的点云数据和生成器生成的点云数据，x和y分别代表所述等待重建的点云数据和生成器生成的点云数据中一个点的坐标，LG则是最终的生成器损失；
实际训练次数根据所需要的三维模型的复杂度而定，多次训练优化，得到训练完成的判别器和训练完成的生成器。
6.一种基于生成对抗网络的点云三维重建系统，其特征在于，所述系统包括：
数据处理单元，处理等待重建的点云数据，得到一个包围该等待重建的点云数据的三维网格模型；
模块搭建单元，搭建生成器模块和搭建判别器模块；
模块训练单元，对判别器和生成器进行多次训练优化，得到训练完成的判别器和训练完成的生成器，最终训练完成的生成器所生成的就是等待重建的点云数据对应的三维模型。
7.如权利要求6所述的一种基于生成对抗网络的点云三维重建系统，其特征在于，所述数据处理单元，对等待重建的点云数据进行归一化处理，将每个点的坐标归一化到-1到1之间，如果要得到的三维模型是多个三维模型的不同部分拼接而成的，需要将待拼接部分的点云摆放到相对应的位置，并且也进行归一化处理，归一化处理后所得的点云数据使用三维建模软件，得到一个能够包围该点云数据的三维网格模型。
8.如权利要求6所述的一种基于生成对抗网络的点云三维重建系统，其特征在于，所述模块搭建单元，搭建生成器模块，生成器采用MeshCNN，输入是三维网格模型，得到该模型中各个顶点的位移，该位移与三维网格模型的顶点坐标相加，得到一个新的三维网格模型，从该新模型中均匀采样一些点，得到生成器生成的点云数据，搭建判别器模块，输入是所述等待重建的点云数据和从生成器中生成的点云数据，输出是一个小于1的概率值。
9.如权利要求6所述的一种基于生成对抗网络的点云三维重建系统，其特征在于，所述模块训练单元，采用最小二乘GANs的损失函数进行网络的优化，生成对抗网络的损失函数包括判别器的损失函数和生成器的损失函数，实际训练次数根据所需要的三维模型的复杂度而定，多次训练优化，得到训练完成的判别器和训练完成的生成器，最终训练完成的生成器所生成的就是等待重建的点云数据对应的三维模型。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110953337.4A CN113593043B (zh) | 2021-08-19 | 2021-08-19 | 一种基于生成对抗网络的点云三维重建方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110953337.4A CN113593043B (zh) | 2021-08-19 | 2021-08-19 | 一种基于生成对抗网络的点云三维重建方法与系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113593043A true CN113593043A (zh) | 2021-11-02 |
| CN113593043B CN113593043B (zh) | 2024-03-08 |
Family
ID=78238306
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110953337.4A Active CN113593043B (zh) | 2021-08-19 | 2021-08-19 | 一种基于生成对抗网络的点云三维重建方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113593043B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114529689A (zh) * | 2022-04-24 | 2022-05-24 | 广州易道智慧信息科技有限公司 | 基于对抗神经网络的陶瓷杯缺陷样本扩增方法及系统 |
| CN116502548A (zh) * | 2023-06-29 | 2023-07-28 | 湖北工业大学 | 一种基于深度学习的三维玩具设计方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111899328A (zh) * | 2020-07-10 | 2020-11-06 | 西北工业大学 | 一种基于rgb数据与生成对抗网络的点云三维重建方法 |
| US20210044787A1 (en) * | 2018-05-30 | 2021-02-11 | Panasonic Intellectual Property Corporation Of America | Three-dimensional reconstruction method, three-dimensional reconstruction device, and computer |
| CN112561796A (zh) * | 2020-12-02 | 2021-03-26 | 西安电子科技大学 | 基于自注意生成对抗网络的激光点云超分辨率重建方法 |
| US20210241106A1 (en) * | 2020-01-30 | 2021-08-05 | Dassault Systemes | Deformations basis learning |
-
2021
- 2021-08-19 CN CN202110953337.4A patent/CN113593043B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210044787A1 (en) * | 2018-05-30 | 2021-02-11 | Panasonic Intellectual Property Corporation Of America | Three-dimensional reconstruction method, three-dimensional reconstruction device, and computer |
| US20210241106A1 (en) * | 2020-01-30 | 2021-08-05 | Dassault Systemes | Deformations basis learning |
| CN111899328A (zh) * | 2020-07-10 | 2020-11-06 | 西北工业大学 | 一种基于rgb数据与生成对抗网络的点云三维重建方法 |
| CN112561796A (zh) * | 2020-12-02 | 2021-03-26 | 西安电子科技大学 | 基于自注意生成对抗网络的激光点云超分辨率重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 龚珍 等: "无序三维点云重建技术研究", 测绘通报, no. 9, pages 17 - 19 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114529689A (zh) * | 2022-04-24 | 2022-05-24 | 广州易道智慧信息科技有限公司 | 基于对抗神经网络的陶瓷杯缺陷样本扩增方法及系统 |
| CN116502548A (zh) * | 2023-06-29 | 2023-07-28 | 湖北工业大学 | 一种基于深度学习的三维玩具设计方法 |
| CN116502548B (zh) * | 2023-06-29 | 2023-09-15 | 湖北工业大学 | 一种基于深度学习的三维玩具设计方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113593043B (zh) | 2024-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wynn et al. | Diffusionerf: Regularizing neural radiance fields with denoising diffusion models | |
| US11481973B2 (en) | Method, device, and storage medium for segmenting three-dimensional object | |
| CN112862874B (zh) | 点云数据匹配方法、装置、电子设备及计算机存储介质 | |
| CN109815847B (zh) | 一种基于语义约束的视觉slam方法 | |
| US20230206603A1 (en) | High-precision point cloud completion method based on deep learning and device thereof | |
| CN113593043B (zh) | 一种基于生成对抗网络的点云三维重建方法与系统 | |
| CN110223382B (zh) | 基于深度学习的单帧图像自由视点三维模型重建方法 | |
| WO2022041437A1 (zh) | 植物模型生成方法、装置、计算机设备和存储介质 | |
| CN117015806A (zh) | 高分辨率神经渲染 | |
| CN112767478B (zh) | 一种基于表观指导的六自由度位姿估计方法 | |
| CN113936090A (zh) | 三维人体重建的方法、装置、电子设备及存储介质 | |
| CN116563493A (zh) | 基于三维重建的模型训练方法、三维重建方法及装置 | |
| CN112257810A (zh) | 一种基于改进FasterR-CNN的海底生物目标检测方法 | |
| Zhang et al. | Object detection and grabbing based on machine vision for service robot | |
| CN114743123A (zh) | 一种基于隐函数三维表示和图神经网络的场景理解方法 | |
| CN112906432A (zh) | 一种应用于人脸关键点定位任务的检错纠错方法 | |
| Colom et al. | 3D shape reconstruction from non-realistic multiple-view depictions using NVDiffRec | |
| US20240028784A1 (en) | Segmenting a building scene | |
| CN114549917B (zh) | 一种数据表征增强的点云分类方法 | |
| CN113869120B (zh) | 一种基于视图过滤的聚合卷积三维模型分类方法 | |
| CN113792357B (zh) | 树木生长模型构建方法及计算机存储介质 | |
| US11308699B2 (en) | Method and system for data generation | |
| US20240161391A1 (en) | Relightable neural radiance field model | |
| US20230290057A1 (en) | Action-conditional implicit dynamics of deformable objects | |
| Fu et al. | Simulation design of mechanical laser radar sensor based on raytrace technology |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |