CN111028335A - 一种基于深度学习的点云数据的分块面片重建方法 - Google Patents
一种基于深度学习的点云数据的分块面片重建方法 Download PDFInfo
- Publication number
- CN111028335A CN111028335A CN201911172325.7A CN201911172325A CN111028335A CN 111028335 A CN111028335 A CN 111028335A CN 201911172325 A CN201911172325 A CN 201911172325A CN 111028335 A CN111028335 A CN 111028335A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- sdf
- neural network
- cube
- cloud data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Generation (AREA)
Abstract
本文提出的发明称为一种基于深度学习的点云数据的分块表面重建方法。本发明公开了一种基于深度学习的从点云重建表面模型方法,该方法利用三维空间中的点云数据分块地生成出SDF(Signed Distance Field,有向距离场)并整合各个块得到完整的SDF,最后采用Marching Cubes算法得到最后的面片数据。本发明可以在点云数据存在噪声,尤其是法向信息偏差的情况下仍然表现鲁棒,大大地降低了对采集点云数据的方向准确度的要求;在运行时,本发明还可以并行处理,效率高。关于本发明的用途,主要集中在三维物体重建的领域,在数字娱乐中的三维建模,计算机辅助设计等等方面有广泛的应用空间。
Description
技术领域
本发明属于计算机图形学,人工智能领域,尤其涉及一种基于深度学习的点云数据的分块面片重建方法。
背景技术
三维重建在最近几年来的数字娱乐,计算机辅助设计领域有着极其广泛的应用;虚拟现实技术,增强显示技术,三维动画电影,地图成像等等都需要大量的三维模型。若这些三维模型都需要人为设计的话将会耗费巨大人力资源,但目前全自动的基于图片,基于点云等等的三维重建技术都存在各自的缺陷。
本发明针对的是利用点云数据的三维面片重建工作。以往的点云三维重建工作都存在着一定的缺陷。例如经典的泊松表面重建方法非常依赖点云的法向信息,若法向信息有噪声就会对生成的结果产生较大的误差。最近提出的DeepSDF(J.J.Park etal.ICCV2019)方法也是基于深度学习的点云三维重建方法,该方法不依赖点云的法向信息,但是这种方法只能针对个别类别的模型,如飞机、沙发等,进行三维重建。
发明内容
本发明的目的在于针对现有技术的不足,基于深度学习提供一种高效,高质量的利用点云数据的面片重建方法。
本发明的目的是通过如下技术方案实现的:
一种基于深度学习的点云数据的分块面片重建方法,包括以下步骤:
步骤一:将三维空间划分成C个N×N×N正方体块区域,N为分辨率;
步骤二:选取正方体块区域点云中距离正方体体心最近的点为圆心,以正方体块区域外接球的半径为半径,构成一个球形区域。
步骤三:以正方体体心为原点建立坐标系,将步骤二中构成的球形区域对应的点云转化为体素。得到的体素中包含了点云在以正方体体心为原点建的立坐标系中的三个轴位置坐标和法向信息。
步骤四:将步骤三中转化好的体素作为预先训练好的三维卷积神经网络的输入,输出对应块区域的SDF。
步骤五:将步骤一划分得到的每个正方体块区域通过步骤二至四得到对应的SDF,将所有正方体块区域得到的SDF根据距离融合得到最终完整的SDF。融合分块SDF的公式为:
步骤六:使用Marching Cubes算法对步骤五得到的最终完整的SDF重建得到最后的面片结果。
进一步地,所述步骤一中,划分正方体块区域为不平均的划分,当划分的正方体块区域的点较为密集时,将该块区域继续细分成多个更小的正方体块区域;所述阈值为128或者不大于网络输入体素网格数的1/16。
进一步地,所述步骤四中,预先训练好的三维卷积神经网络通过如下方法训练获得:
(4.1)构建深度卷积神经网络模型:深度卷积神经网络模型由降采样部分,中间连接部分和升采样部分构成。降采样部分由两个残差神经网络块构成,每个残差神经网络块之后都进行最大值池化;中间连接部分是两个残差神经网络块;升采样部分由升采样网络层和残差神经网络交叉以及最后进行的一个降低特征维度的卷积构成。整个网络结构中,每一层卷积操作之后都有一个激活函数层,激活函数采用ReLu激活函数。训练采用的损失函数是:
(4.2)获取包含法向信息的点云数据,并整体生成SDF,在点云中随机选取点作为圆心,固定尺寸半径搜索区域内的临近点并生成体素,以体素作为深度卷积神经网络模型的输入、再在整体生成的SDF中选取对应区域的SDF作为真值进行训练,获得训练好的深度卷积神经网络模型。本方法对点云数据的法向量加一定的高斯噪声合成法向带噪声的点集,然后再合成体素,通过这样的方式来减小本发明对点云数据的法向信息的依赖,提高鲁棒性。
进一步地,步骤(4.1)中,α,β分别为0.8,0.2。
本发明的有益效果是,本发明利用深度学习的强大的拟合能力,根据输入点云对应的体素来生成SDF,避免了复杂的几何操作;并通过分块的SDF的融合来计算整合完整的SDF来提高计算得到的SDF的可靠性。同时本文分块的方法可以对每个单独的块并行处理,因而本发明具有高效率。
附图说明
图1是本发明中深度卷积神经网络的结构示意图。
图2是本发明针对点云数据重建的整体流程示意图。
具体实施方式
下面根据附图详细说明本发明。
参阅图1,本发明采用的深度卷积神经网络需要以点云转化的体素信息作为输入,输出对应的SDF,因此在训练时本方法准备了匹配的体素信息和SDF作为网络训练的数据集。本方法使用Princeton University开源的A Benchmark for 3D Mesh Segmentation数据集中原本的面片数据计算出对应的包含法向信息的点云数据,并生成对应的SDF。在生成出的点云中随机选取点作为圆心,固定尺寸半径搜索区域内的临近点并生成体素作为深度卷积神经网络的输入数据,然后再在对应的区域中选取SDF作为真值进行训练。
图1描述的深度卷积神经网络由降采样部分,中间连接部分和升采样部分构成。降采样部分由两个残差神经网络块构成,每个残差神经网络块之后都进行最大值池化;中间连接部分是两个残差神经网络块;升采样部分由升采样网络层和残差神经网络交叉以及最后进行的一个降低特征维度的卷积构成。整个网络结构中,每一层卷积操作之后都有一个激活函数层,本方法采用ReLu激活函数。
深度卷积神经网络的训练过程需要设定损失函数,本方法采用的损失函数是:
Y,分别表示真值和输出的分块SDF,Δ是拉普拉斯运算符。α,β是两个部分损失的权重,值得大小分别为0.8,0.2。第一项表示的真值和网络输出值的平方误差,该项能够使得网络输出的结果接近真值;第二项表示的是真值和网络输出的Laplacian之间的误差,该项强调了网络的结果的梯度和真值梯度的分布,使得生成的SDF在每个单元之间的过渡中能够和真值保持一致的平滑。
网络训练完成之后就可以作用于整个三维重建的流水线中,按照本发明阐述的技术方案,本发明需要在针对点云的三维重建过程中完成以下步骤:
步骤一:将三维空间划分成C个N×N×N正方体块区域,然后对每一块包含点云中点的正方体区域进行步骤二;对于点云密集的区域,优选地,本方法将该空间进一步细分多个更小的正方体块区域,以保证采集足够多的点云信息来生成的细节面片,通常情况下,正方体块区域的点密度不超过128,或者不大于网络输入体素网格数的1/16;选取的正方体块区域为Ωi,i∈[1,C+c],c是进一步细分得到的正方体块区域数。
步骤二:以选取的正方体块区域Ωi点云中距离正方体体心最近的点云中的点为圆心,以正方体块区域外接球的半径为半径,构成一个球形区域并选取该区域中所有的点云中的点。
步骤三:以正方体体心为原点建立坐标系,将对应的点云转化为体素。得到的体素中包含了点云在以正方体体心为原点建的立坐标系中的三个轴位置坐标和法向信息,可以表示为张量X,X∈RN×N×N×6,N为分辨率。
步骤四:将转化好的体素作为预先训练好的三维卷积神经网络的输入,输出对应区域的SDF。
步骤五:将步骤一划分得到的每个正方体区域通过步骤二至四得到对应输出的SDF,将所有正方体块区域得到的SDF根据距离融合得到最终完整的SDF。融合分块SDF的公式为:
步骤六:对SDF使用多分辨率的Marching Cubes算法得到最后的面片结果。如图2流程图最后一步所示,Marching Cubes算法是通过片面匹配的方法将SDF转化为面片数据的算法,多分辨率的Marching Cubes就是可以对不均匀的SDF进行匹配的算法。
以上所述为本发明的主要内容,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (4)
1.一种基于深度学习的点云数据的分块面片重建方法,其特征在于,包括以下步骤:
步骤一:将三维空间划分成C个N×N×N正方体块区域,N为分辨率,C为正整数;
步骤二:选取正方体块区域点云中距离正方体体心最近的点为圆心,以正方体块区域外接球的半径为半径,构成一个球形区域。
步骤三:以正方体体心为原点建立坐标系,将步骤二中构成的球形区域对应的点云转化为体素。得到的体素中包含了点云在以正方体体心为原点建的立坐标系中的三个轴位置坐标和法向信息。
步骤四:将步骤三中转化好的体素作为预先训练好的三维卷积神经网络的输入,输出对应块区域的有向距离场SDF。
步骤五:将步骤一划分得到的每个正方体块区域通过步骤二至四得到对应的SDF,将所有正方体块区域得到的SDF根据距离融合得到最终完整的SDF。融合分块SDF的公式为:
步骤六:使用Marching Cubes算法对步骤五得到的最终完整的SDF重建得到最后的面片结果。
2.根据权利要求1所述基于深度学习的点云数据的分块面片重建方法,其特征在于,所述步骤一中,划分正方体块区域为不平均的划分,当划分的正方体块区域的点较为密集时,将该块区域继续细分成多个更小的正方体块区域;所述阈值为128或者不大于网络输入体素网格数的1/16。
3.根据权利要求1所述基于深度学习的点云数据的分块面片重建方法,其特征在于,所述步骤四中,预先训练好的三维卷积神经网络通过如下方法训练获得:
(4.1)构建深度卷积神经网络模型:深度卷积神经网络模型由降采样部分,中间连接部分和升采样部分构成。降采样部分由两个残差神经网络块构成,每个残差神经网络块之后都进行最大值池化;中间连接部分是两个残差神经网络块;升采样部分由升采样网络层和残差神经网络交叉以及最后进行的一个降低特征维度的卷积构成。整个网络结构中,每一层卷积操作之后都有一个激活函数层,激活函数采用ReLu激活函数。训练采用的损失函数是:
(4.2)获取包含法向信息的点云数据,并整体生成SDF,在点云中随机选取点作为圆心,固定尺寸半径搜索区域内的临近点并生成体素,以体素作为深度卷积神经网络模型的输入、再在整体生成的SDF中选取对应区域的SDF作为真值进行训练,获得训练好的深度卷积神经网络模型。
4.根据权利要求3所述基于深度学习的点云数据的分块面片重建方法,其特征在于,所述步骤(4.1)中,α,β分别为0.8,0.2。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911172325.7A CN111028335B (zh) | 2019-11-26 | 2019-11-26 | 一种基于深度学习的点云数据的分块面片重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911172325.7A CN111028335B (zh) | 2019-11-26 | 2019-11-26 | 一种基于深度学习的点云数据的分块面片重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111028335A true CN111028335A (zh) | 2020-04-17 |
CN111028335B CN111028335B (zh) | 2021-10-29 |
Family
ID=70202212
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911172325.7A Active CN111028335B (zh) | 2019-11-26 | 2019-11-26 | 一种基于深度学习的点云数据的分块面片重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111028335B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112184899A (zh) * | 2020-11-06 | 2021-01-05 | 中山大学 | 一种基于符号距离函数的三维重建方法 |
CN112634149A (zh) * | 2020-12-10 | 2021-04-09 | 浙江大学 | 一种基于图卷积网络的点云去噪方法 |
CN113470180A (zh) * | 2021-05-25 | 2021-10-01 | 杭州思看科技有限公司 | 三维网格重建方法、装置、电子装置和存储介质 |
CN113570692A (zh) * | 2021-06-03 | 2021-10-29 | 清华大学 | 一种使用面片卷积的三维模型特征提取方法 |
CN116029022A (zh) * | 2022-12-23 | 2023-04-28 | 内蒙古自治区交通建设工程质量监测鉴定站(内蒙古自治区交通运输科学发展研究院) | 一种用于隧道的三维可视化温度场构建方法及相关设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106971414A (zh) * | 2017-03-10 | 2017-07-21 | 江西省杜达菲科技有限责任公司 | 一种基于深度循环神经网络算法的三维动画生成方法 |
US20190019311A1 (en) * | 2017-07-14 | 2019-01-17 | Microsoft Technology Licensing, Llc | Fully convolutional color constancy with confidence weighted pooling |
CN110223387A (zh) * | 2019-05-17 | 2019-09-10 | 武汉奥贝赛维数码科技有限公司 | 一种基于深度学习的三维模型重建技术 |
US20190327115A1 (en) * | 2018-04-30 | 2019-10-24 | Intel Corporation | Channel state information reference signal (csi-rs) and sounding reference signal (srs) triggering |
CN110379001A (zh) * | 2019-07-04 | 2019-10-25 | 新拓三维技术(深圳)有限公司 | 一种足制品定制方法、装置、终端设备及计算机可读存储介质 |
-
2019
- 2019-11-26 CN CN201911172325.7A patent/CN111028335B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106971414A (zh) * | 2017-03-10 | 2017-07-21 | 江西省杜达菲科技有限责任公司 | 一种基于深度循环神经网络算法的三维动画生成方法 |
US20190019311A1 (en) * | 2017-07-14 | 2019-01-17 | Microsoft Technology Licensing, Llc | Fully convolutional color constancy with confidence weighted pooling |
US20190327115A1 (en) * | 2018-04-30 | 2019-10-24 | Intel Corporation | Channel state information reference signal (csi-rs) and sounding reference signal (srs) triggering |
CN110223387A (zh) * | 2019-05-17 | 2019-09-10 | 武汉奥贝赛维数码科技有限公司 | 一种基于深度学习的三维模型重建技术 |
CN110379001A (zh) * | 2019-07-04 | 2019-10-25 | 新拓三维技术(深圳)有限公司 | 一种足制品定制方法、装置、终端设备及计算机可读存储介质 |
Non-Patent Citations (4)
Title |
---|
GH: "SDF和marching cubes算法", 《HTTP://GHX0X0.GITHUB.IO/2015/01/15/SDF-MESHING/》 * |
JEONG JOON PARK等: "DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
YOUYI ZHENG: "Mesh Segmentation with Concavity-Aware Fields", 《IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS》 * |
姚兰: "一种基于体素的三维重建方法", 《微电子学与计算机》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112184899A (zh) * | 2020-11-06 | 2021-01-05 | 中山大学 | 一种基于符号距离函数的三维重建方法 |
CN112634149A (zh) * | 2020-12-10 | 2021-04-09 | 浙江大学 | 一种基于图卷积网络的点云去噪方法 |
CN113470180A (zh) * | 2021-05-25 | 2021-10-01 | 杭州思看科技有限公司 | 三维网格重建方法、装置、电子装置和存储介质 |
CN113470180B (zh) * | 2021-05-25 | 2022-11-29 | 思看科技(杭州)股份有限公司 | 三维网格重建方法、装置、电子装置和存储介质 |
CN113570692A (zh) * | 2021-06-03 | 2021-10-29 | 清华大学 | 一种使用面片卷积的三维模型特征提取方法 |
CN116029022A (zh) * | 2022-12-23 | 2023-04-28 | 内蒙古自治区交通建设工程质量监测鉴定站(内蒙古自治区交通运输科学发展研究院) | 一种用于隧道的三维可视化温度场构建方法及相关设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111028335B (zh) | 2021-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111028335B (zh) | 一种基于深度学习的点云数据的分块面片重建方法 | |
CN109147048B (zh) | 一种利用单张彩色图的三维网格重建方法 | |
CN108921926B (zh) | 一种基于单张图像的端到端三维人脸重建方法 | |
CN110458939B (zh) | 基于视角生成的室内场景建模方法 | |
CN110443842B (zh) | 基于视角融合的深度图预测方法 | |
CN108038906B (zh) | 一种基于图像的三维四边形网格模型重建方法 | |
CN104268934B (zh) | 一种由点云直接重建三维曲面的方法 | |
CN113096234B (zh) | 利用多张彩色图片生成三维网格模型的方法及装置 | |
CN112257597B (zh) | 一种点云数据的语义分割方法 | |
CN110223370B (zh) | 一种从单视点图片生成完整人体纹理贴图的方法 | |
CN110570522B (zh) | 一种多视图三维重建方法 | |
CN112927357A (zh) | 一种基于动态图网络的3d物体重建方法 | |
CN114782634B (zh) | 基于表面隐函数的单目图像着装人体重建方法与系统 | |
Zhang et al. | Point cloud completion via skeleton-detail transformer | |
CN115115797B (zh) | 大场景稀疏光场语义驱动智能重建方法、系统与装置 | |
Sharma et al. | Point cloud upsampling and normal estimation using deep learning for robust surface reconstruction | |
CN110766786A (zh) | 基于生成对抗网络的草图到浅浮雕模型生成的方法 | |
CN116543117A (zh) | 一种无人机影像的高精度大场景三维建模方法 | |
CN117315169A (zh) | 基于深度学习多视密集匹配的实景三维模型重建方法和系统 | |
CN113808006B (zh) | 一种基于二维图像重建三维网格模型的方法及装置 | |
Bhardwaj et al. | SingleSketch2Mesh: generating 3D mesh model from sketch | |
CN112991402B (zh) | 一种基于改进差分进化算法的文物点云配准方法及系统 | |
CN113593007B (zh) | 一种基于变分自编码的单视图三维点云重建方法及系统 | |
CN110689618A (zh) | 基于多尺度变分图卷积的三维可变形物补全方法 | |
CN116363329B (zh) | 基于CGAN与LeNet-5的三维图像生成方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |