CN114863062A - 基于点、体素特征表示的工业场景3d点云模型构建方法 - Google Patents

基于点、体素特征表示的工业场景3d点云模型构建方法 Download PDF

Info

Publication number
CN114863062A
CN114863062A CN202210632332.6A CN202210632332A CN114863062A CN 114863062 A CN114863062 A CN 114863062A CN 202210632332 A CN202210632332 A CN 202210632332A CN 114863062 A CN114863062 A CN 114863062A
Authority
CN
China
Prior art keywords
point
point cloud
voxel
cloud model
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210632332.6A
Other languages
English (en)
Other versions
CN114863062B (zh
Inventor
魏明强
李新
刘云
丁萁琦
燕雪峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Research Institute Of Nanjing University Of Aeronautics And Astronautics
Original Assignee
Shenzhen Research Institute Of Nanjing University Of Aeronautics And Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Research Institute Of Nanjing University Of Aeronautics And Astronautics filed Critical Shenzhen Research Institute Of Nanjing University Of Aeronautics And Astronautics
Priority to CN202210632332.6A priority Critical patent/CN114863062B/zh
Publication of CN114863062A publication Critical patent/CN114863062A/zh
Application granted granted Critical
Publication of CN114863062B publication Critical patent/CN114863062B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Image Generation (AREA)

Abstract

基于点、体素特征表示的工业场景3D点云模型构建方法，包括：基于“点+体素”的点局部特征与全局特征融合技术，得到密集、均匀的高分辨率点云模型，利用体素的3D特征提取粗精度邻域信息，结合高精度点特征生成器提取的点特征进行补充；通过点云局部特征和全局特征进行点云法向量估算，由粗到细、逐步求精生成适用于高效的三维深度学习的3D点云模型，增强点云特征；探索融合法向量等多特征的3D点云对抗网络构建方法，进一步优化3D点云特征。设计点精度、点密度、法向量准确度等的损失函数，引导3D点云局部特征和全局特征修正。本申请处理三维数据存在噪声及缺失，进行增强完善，从低质量三维数据中快速重构高精度点云模型。

Description

基于点、体素特征表示的工业场景3D点云模型构建方法
技术领域
本发明涉及三维点云模型构建技术领域，特别涉及基于点、体素特征表示的工业场景3D点云模型构建方法。
背景技术
复杂工业场景下，对于3D点云模型构建技术提出了更多需求，如高准确性、高细节性和多特征性。但在此场景下，获取到的三维数据不仅存在噪声，在更复杂的条件下，甚至存在缺失。因此，需要将将复杂工业场景数据增强处理，并转换为细节完善、特征丰富的高精度3D点云模型，换言之，即从低质量三维数据中快速重构高精度点云模型。
为解决上述问题，本发明提出了一种基于“点+体素”特征表示的复杂工业场景3D点云模型构建方法，由全局和局部特征融合、由粗到细、逐步求精的高精度3D点云生模型生成方法，实现几何数据实时增强处理。
发明内容
本发明针对现有技术中的不足，提供基于点、体素特征表示的工业场景3D点云模型构建方法，以对现有的三维数据进行质量增强的处理。
为实现上述目的，本发明采用以下技术方案：
基于点、体素特征表示的工业场景3D点云模型构建方法，包括以下步骤：
S1：将采集的点云数据进行重建，得到重建后的点云模型；具体为:
S101、将采集的3D点云数据转换成体素网格；
S102、通过基于体素的3D卷积操作对步骤S101中的体素网格进行聚合以提取点全局特征；
S103、构建基于点的点特征生成器，提取点局部特征，为每个独立的点提取特征信息；
S104、构建一个预定义的基于点的三维点云重建网络，并融合点全局特征和点局部特征，然后将融合之后的特征输出为点云Q；
S105、根据输出的点云Q计算点均匀度函数
Figure BDA0003680528550000011
并构建重建后点云模型的损失函数
Figure BDA0003680528550000012
S106、以端到端方式训练步骤S104中的基于点的三维点云重建网络，并利用步骤S105的损失函数
Figure BDA0003680528550000013
使得点以均匀的分布位于底层对象表面，最终得到重建后的点云模型；
S2：生成法向量估计网络；具体为：
S201、在步骤S1中获得的重建后点云模型的基础上，以多层感知机方式提取3D模型的细粒度局部特征；
S202、在步骤S1中获得的重建后点云模型的基础上，将点云数据体素化，体素化后的数据为xvoxels∈{0，1}D×D×D，其中D表示体素网格的分辨率；
S203、通过3D卷积网络提取步骤S202中的体素化后数据的空间特征；
S204、通过三线性插值去体素化将体素网格转化为离散点云，以确保映射到每个点的特征相异性；
S205、在步骤S204的基础上提取出点局部特征和点全局特征，然后将步骤S201中的细粒度局部特征以串联的方式进行融合，得到对应于每个点的包含了局部细节和高层抽象的高维向量，形成法向量估计网络；
S3：根据步骤S1和步骤S2的内容，生成质量增强的点云模型。
为优化上述技术方案，采取的具体措施还包括：
进一步地，步骤S102的具体内容为：
通过基于体素的3D卷积操作对步骤S101中的体素网格进行聚合以提取点全局特征，即，对每一个以P0点为中心，大小为r×r×r的体素V进行方向编码卷积，其中对每一个r×r×r子体素通过一组多层感知器进行特征提取，沿X、Y、Z轴依次对聚合后的2×2×2的体素立方体进行卷积，对特征进行聚合：
Figure BDA0003680528550000021
Figure BDA0003680528550000022
Figure BDA0003680528550000023
式中，Vx、Vxy、Vxyz，表示沿X、Y、Z轴，依次对聚合后的体素立方体进行卷积，
Figure BDA0003680528550000024
为卷积操作的权值。
进一步地，步骤S105中“根据输出的点云Q计算点均匀度函数
Figure BDA0003680528550000025
”的具体内容为：
使用一个半径为rd的球来查询并裁剪点云Q中的一个点子集Sj，同样的，也使用一个半径为rd的球来查询并裁剪标准密集点云
Figure BDA0003680528550000026
中的一个点子集Sj′；
针对点子集Sj，求取其中点的个数|Sj|；针对点子集Sj′，求取其中均匀点集中点的个数
Figure BDA0003680528550000027
采用二范数计算点子集Sj中的点与点子集Sj′中的均匀点集中点之间的偏差LPglobal：
Figure BDA0003680528550000028
针对点子集Sj，求取其中各个点dj与其邻近点dk之间的距离dj，k；针对点子集Sj′，求取其中点之间的平均距离
Figure BDA0003680528550000031
采用二范数计算距离dj，k与平均距离
Figure BDA0003680528550000032
之间的偏差LPlocal：
Figure BDA0003680528550000033
将衡量点的全局均匀性的LPglobal和点之间的局部均匀性的LPlocal联合起来作为点均匀度函数
Figure BDA0003680528550000034
Figure BDA0003680528550000035
进一步地，步骤S105中“构建重建后点云模型的损失函数
Figure BDA0003680528550000036
”的具体内容为利用EMD构建重建后点云模型的损失函数
Figure BDA0003680528550000037
Figure BDA0003680528550000038
式中，φ：Q→
Figure BDA0003680528550000039
为生成点云：点云Q到目标点云：标准密集点云
Figure BDA00036805285500000310
的双射映射；qi为点云Q中的点。
进一步地，步骤S2还包括步骤S206：计算法向量准确度损失函数
Figure BDA00036805285500000311
Figure BDA00036805285500000312
式中，ni表示法向量估计网络输出的对应第i个点的法向，
Figure BDA00036805285500000313
表示第i个点对应的真实法向，N代表点云的个数。
进一步地，步骤S3的具体内容为：
S301、把步骤S1生成的重建后的点云模型和步骤S2生成的法向量估计网络联合作为生成器；
S302、判别器包括体素特征提取网络和点特征聚类模块构成的下采样子网路和体素特征提取模块与特征传递插值模块构成的上采样网络；
S303、根据点重建损失
Figure BDA00036805285500000314
点均匀度损失
Figure BDA00036805285500000315
法向量准确度损失函数
Figure BDA00036805285500000316
生成器损失函数Lgan进行联合，确定最终的生成器损失函数
Figure BDA00036805285500000317
确定判别器的损失函数L(D)；
S304、生成器旨在通过最小化L(G)生成接近真实点云的Q，判别器旨在最小化L(D)学习从
Figure BDA0003680528550000041
中正确识别出Q；通过生成器和判别器之间的对抗训练，最终得到一个密集、完整、均匀的具有质量增强的3D点云模型。
进一步地，步骤S303中的生成器损失函数Lgan计算公式为：
Figure BDA0003680528550000042
式中，D(Q)为判别器从生成点云Q预测到的置信值。
进一步地，步骤S303中最终的生成器损失函数
Figure BDA0003680528550000043
具体计算公式为：
Figure BDA0003680528550000044
式中：λgan，λU，λP和λV为各损失函数的权值；
步骤S303中判别器的损失函数L(D)具体计算公式为：
Figure BDA0003680528550000045
式中：D(Q)为判别器从生成点云Q预测到的置信值，
Figure BDA0003680528550000046
为判别器从目标点云
Figure BDA0003680528550000047
预测到的置信值。
本发明的有益效果是：
本发明的方法考虑到获取的三维数据存在噪声及缺失，将复杂工业场景数据增强处理转换为细节完善、特征丰富的高精度3D点云模型构建问题，采用高分辨率点云重建点云、法向量估算等方法，最终得到一个密集、完整、均匀的具有高分辨率的3D点云模型。可以很好的应对复杂工业场景下获取到的三维数据有噪声和缺失等问题。
附图说明
图1是本发明整体流程框架示意图。
图2是本发明三维点云高分辨率重建结构示意图。
图3是本发明采用的生成器与判别器的对抗网络模型示意图。
图4是本发明采用的判别器结构示意图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
参考图1。本申请提供一种基于“点+体素”特征表示的复杂工业场景3D点云模型构建方法，其特征在于，包括以下步骤：
S1、高分辨率点云重建；
S2、点云法向量估算；
S3、基于生成对抗神经网络(GAN)的高精度点云模型。
参考图2。步骤S1包括：
S101、将点云转换成低分辨率的体素网格；
S102、通过基于体素的3D卷积操作对S101体素网格进行聚合以提取点全局特征，对每一个以P0点为中心，大小为r×r×r的体素V进行方向编码卷积，对每一个r×r×r子体素通过一组多层感知器进行特征提取，沿X、Y、Z轴依次对聚合后的2×2×2的体素立方体进行卷积，对特征进行聚合：
Figure BDA0003680528550000051
Figure BDA0003680528550000052
Figure BDA0003680528550000053
其中
Figure BDA0003680528550000054
为卷积操作的权值；
(给定点(p0，p0)，其对应的特征为f0f0；以(p0，p0)为中心点的3D空间中，可以根据8个方向分为8个子空间。从其中分别寻找最近邻点，如果在某个子空间内，搜索半径内没有找到点，就将这个子空间的特征认为等于f0f0。采样之后原本一个中心点d维度的特征变为了2x2x2xd的特征，表示八个象限对应的特征向量。然后分别在X、Y、Z轴上进行三阶段的卷积。使用的卷积核为[1,2]，stride为[1,2]。)
S103、构建基于点的点特征生成器，提取点局部特征，为每个独立的点提取高分辨率特征信息；
S104、构建一个预定义的基于点的三维点云重建网络首先融合全局体素特征和局部点特征，然后将融合之后的特征输出为点云Q；
S105、结合均匀度和重构损失的联合损失函数。利用重构损失来评估预测生成点云Q和标准密集点云
Figure BDA0003680528550000055
之间的相似性。使用一个半径为rd的球查询来裁剪一个点子集(标记为Sj，j＝1，…，M)，求得
Figure BDA0003680528550000056
上Sj中均匀点集中点的个数
Figure BDA0003680528550000057
与实际Q上Sj中点的个数|Sj|，采用二范数计算二者之间的偏差：
Figure BDA0003680528550000058
求得
Figure BDA0003680528550000059
上Sj中点之间的平均距离
Figure BDA00036805285500000510
与实际Q上Sj中各个点dj与其最邻近点dk之间的距离dj，k，采用二范数计算二者之间的偏差：
Figure BDA0003680528550000061
将衡量Sj内点的全局均匀性的LPlocal和Sj中个点之间的局部均匀性的LPlocal联合起来作为点均匀度函数：
Figure BDA0003680528550000062
利用Earth Mover’s Distance(简称EMD)构建重建损失函数：
Figure BDA0003680528550000063
其中φ：
Figure BDA0003680528550000064
为生成点云到目标点云的双射映射；
S106、以端到端方式训练S104网络，利用S105损失函数，使得生成的点以更均匀的分布位于底层对象表面，最终得到重建后的高分辨率点云模型。
其中，步骤S2包括在获得高分辨率点云模型的基础上，进行基于局部细粒度特征和全局粗粒度特征融合的法向量估计方法；具体为：
S201、为保存原始点云数据的高分辨率细节，对较高分辨率的点云数据以多层感知机方式提取3D模型的细粒度局部特征；
S202、为提取粗粒度的全局特征，同时保证模型的低存储、快速查找，结合体素卷积在内存中顺序访问的优势，将点云数据体素化，体素化后的数据xvoxels∈{0，1}D×D×D，其中D表示体素网格的分辨率；
S203、通过3D卷积网络提取S202中的3D体素数据的空间特征；
S204、通过三线性插值去体素化将体素网格转化为离散点云，以确保映射到每个点的特征相异性；
S205、在提取出局部特征和全局特征的基础上，粗细粒度特征以串联的方式进行融合，得到对应于每个点的包含了局部细节和高层抽象的高维向量；
S206、通过法向量估计网络将高维向量映射为高精度的3D法向；
S207、拟采用平均绝对误差作为损失函数：
Figure BDA0003680528550000065
其中ni表示网络输出的对应第i个点的法向，
Figure BDA0003680528550000066
表示第i个点对应的真实法向。
参考图3和图4。步骤S3包括：
S301、把S106三维点云重建网络和S206法向量估计网络联合作为生成器；
S302、判别器(参考图4)包括现有的体素特征提取(VE)网络和点特征聚类模块(SA)构成的下采样子网路和体素特征提取(VE)模块与特征传递插值模块(FP)构成的上采样网络；
S303、将点重建损失、点均匀度损失、法向量准确度损失函数、生成器损失函数
Figure BDA0003680528550000071
联合，作为最终的生成器损失函数：
Figure BDA0003680528550000072
其中λgan，λU，λP和λV为各损失函数的权值。判别器损失函数为：
Figure BDA0003680528550000073
其中，D(Q)为判别器D从生成点云Q预测到的置信值。生成器旨在通过最小化L(G)生成更接近真实点云的Q，判别器旨在最小化L(D)学习从
Figure BDA0003680528550000074
中正确识别出Q，即判别生成的模型和同分辨率下同类别的其它模型是否来自相同的模型空间；
S304、通过对抗训练，最终得到一个密集、完整、均匀的具有高分辨率的3D点云模型。
(使用生成器和判别器，使其互相博弈。生成器其输出点云需要尽量接近标准点云，使用L(G)作为loss。判别器的输入则为标准点云或生成器的输出，其目的是将生成网络的输出从真实样本中尽可能分辨出来，用L(D)作为loss。而生成器则要尽可能地欺骗判别器。两个网络相互对抗、不断调整参数，最终目的是使判别器无法判断生成器的输出结果是否真实。生成器此时也就是一个密集、完整、均匀的具有高分辨率的3D点云模型了)。
需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (8)

1.基于点、体素特征表示的工业场景3D点云模型构建方法，其特征在于，包括以下步骤：
S1：将采集的点云数据进行重建，得到重建后的点云模型；具体为:
S101、将采集的3D点云数据转换成体素网格；
S102、通过基于体素的3D卷积操作对步骤S101中的体素网格进行聚合以提取点全局特征；
S103、构建基于点的点特征生成器，提取点局部特征，为每个独立的点提取特征信息；
S104、构建一个预定义的基于点的三维点云重建网络，并融合点全局特征和点局部特征，然后将融合之后的特征输出为点云
Figure FDA0003680528540000011
S105、根据输出的点云
Figure FDA0003680528540000012
计算点均匀度函数
Figure FDA0003680528540000013
并构建重建后点云模型的损失函数
Figure FDA0003680528540000014
S106、以端到端方式训练步骤S104中的基于点的三维点云重建网络，并利用步骤S105的损失函数
Figure FDA0003680528540000015
使得点以均匀的分布位于底层对象表面，最终得到重建后的点云模型；
S2：生成法向量估计网络；具体为：
S201、在步骤S1中获得的重建后点云模型的基础上，以多层感知机方式提取3D模型的细粒度局部特征；
S202、在步骤S1中获得的重建后点云模型的基础上，将点云数据体素化，体素化后的数据为xvoxels∈{0，1}D×D×D，其中D表示体素网格的分辨率；
S203、通过3D卷积网络提取步骤S202中的体素化后数据的空间特征；
S204、通过三线性插值去体素化将体素网格转化为离散点云，以确保映射到每个点的特征相异性；
S205、在步骤S204的基础上提取出点局部特征和点全局特征，然后将步骤S201中的细粒度局部特征以串联的方式进行融合，得到对应于每个点的包含了局部细节和高层抽象的高维向量，形成法向量估计网络；
S3：根据步骤S1和步骤S2的内容，生成质量增强的点云模型。
2.根据权利要求1所述的基于点、体素特征表示的工业场景3D点云模型构建方法，其特征在于，步骤S102的具体内容为：
通过基于体素的3D卷积操作对步骤S101中的体素网格进行聚合以提取点全局特征，即，对每一个以P0点为中心，大小为r×r×r的体素V进行方向编码卷积，其中对每一个r×r×r子体素通过一组多层感知器进行特征提取，沿X、Y、Z轴依次对聚合后的2×2×2的体素立方体进行卷积，对特征进行聚合：
Figure FDA0003680528540000021
Figure FDA0003680528540000022
Figure FDA0003680528540000023
式中，Vx、Vxy、Vxyz，表示沿X、Y、Z轴，依次对聚合后的体素立方体进行卷积，
Figure FDA0003680528540000024
为卷积操作的权值。
3.根据权利要求1所述的基于点、体素特征表示的工业场景3D点云模型构建方法，其特征在于，步骤S105中“根据输出的点云
Figure FDA0003680528540000025
计算点均匀度函数
Figure FDA0003680528540000026
的具体内容为：
使用一个半径为rd的球来查询并裁剪点云
Figure FDA0003680528540000027
中的一个点子集Sj，同样的，也使用一个半径为rd的球来查询并裁剪标准密集点云
Figure FDA0003680528540000028
中的一个点子集Sj′；
针对点子集Sj，求取其中点的个数|Sj|；针对点子集Sj′，求取其中均匀点集中点的个数
Figure FDA0003680528540000029
采用二范数计算点子集Sj中的点与点子集Sj′中的均匀点集中点之间的偏差LPglobal：
Figure FDA00036805285400000210
针对点子集Sj，求取其中各个点dj与其邻近点dk之间的距离dj，k；针对点子集Sj′，求取其中点之间的平均距离
Figure FDA00036805285400000211
采用二范数计算距离dj，k与平均距离
Figure FDA00036805285400000212
之间的偏差LPlocal：
Figure FDA00036805285400000213
将衡量点的全局均匀性的LPglobal和点之间的局部均匀性的LPlocal联合起来作为点均匀度函数
Figure FDA00036805285400000214
Figure FDA00036805285400000215
4.根据权利要求1所述的基于点、体素特征表示的工业场景3D点云模型构建方法，其特征在于，步骤S105中“构建重建后点云模型的损失函数
Figure FDA00036805285400000216
的具体内容为利用EMD构建重建后点云模型的损失函数
Figure FDA00036805285400000217
Figure FDA00036805285400000218
式中，
Figure FDA0003680528540000031
为生成点云：点云
Figure FDA0003680528540000032
到目标点云：标准密集点云
Figure FDA0003680528540000033
的双射映射；qi为点云
Figure FDA0003680528540000034
中的点。
5.根据权利要求1所述的基于点、体素特征表示的工业场景3D点云模型构建方法，其特征在于，步骤S2还包括步骤S206：计算法向量准确度损失函数
Figure FDA0003680528540000035
Figure FDA0003680528540000036
式中，ni表示法向量估计网络输出的对应第i个点的法向，
Figure FDA0003680528540000037
表示第i个点对应的真实法向，N代表点云的个数。
6.根据权利要求5所述的基于点、体素特征表示的工业场景3D点云模型构建方法，其特征在于，步骤S3的具体内容为：
S301、把步骤S1生成的重建后的点云模型和步骤S2生成的法向量估计网络联合作为生成器；
S302、判别器包括体素特征提取网络和点特征聚类模块构成的下采样子网路和体素特征提取模块与特征传递插值模块构成的上采样网络；
S303、根据点重建损失
Figure FDA0003680528540000038
点均匀度损失
Figure FDA0003680528540000039
法向量准确度损失函数
Figure FDA00036805285400000310
生成器损失函数Lgan进行联合，确定最终的生成器损失函数
Figure FDA00036805285400000311
确定判别器的损失函数L(D)；
S304、生成器旨在通过最小化L(G)生成接近真实点云的
Figure FDA00036805285400000312
判别器旨在最小化L(D)学习从
Figure FDA00036805285400000313
中正确识别出
Figure FDA00036805285400000314
通过生成器和判别器之间的对抗训练，最终得到一个密集、完整、均匀的具有质量增强的3D点云模型。
7.根据权利要求6所述的基于点、体素特征表示的工业场景3D点云模型构建方法，其特征在于，
步骤S303中的生成器损失函数Lgan计算公式为：
Figure FDA00036805285400000315
式中，
Figure FDA00036805285400000316
为判别器从生成点云
Figure FDA00036805285400000317
预测到的置信值。
8.根据权利要求6所述的基于点、体素特征表示的工业场景3D点云模型构建方法，其特征在于：
步骤S303中最终的生成器损失函数
Figure FDA00036805285400000318
具体计算公式为：
Figure FDA0003680528540000041
式中：λgan，λU，λP和λV为各损失函数的权值；
步骤S303中判别器的损失函数L(D)具体计算公式为：
Figure FDA0003680528540000042
式中：
Figure FDA0003680528540000043
为判别器从生成点云
Figure FDA0003680528540000044
预测到的置信值，
Figure FDA0003680528540000045
为判别器从目标点云
Figure FDA0003680528540000046
预测到的置信值。
CN202210632332.6A 2022-06-07 2022-06-07 基于点、体素特征表示的工业场景3d点云模型构建方法 Active CN114863062B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210632332.6A CN114863062B (zh) 2022-06-07 2022-06-07 基于点、体素特征表示的工业场景3d点云模型构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210632332.6A CN114863062B (zh) 2022-06-07 2022-06-07 基于点、体素特征表示的工业场景3d点云模型构建方法

Publications (2)

Publication Number Publication Date
CN114863062A true CN114863062A (zh) 2022-08-05
CN114863062B CN114863062B (zh) 2023-09-15

Family

ID=82624456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210632332.6A Active CN114863062B (zh) 2022-06-07 2022-06-07 基于点、体素特征表示的工业场景3d点云模型构建方法

Country Status (1)

Country Link
CN (1) CN114863062B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115496881A (zh) * 2022-10-19 2022-12-20 南京航空航天大学深圳研究院 单目图像辅助的大型飞机点云补全方法
CN116468892A (zh) * 2023-04-24 2023-07-21 北京中科睿途科技有限公司 三维点云的语义分割方法、装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190370989A1 (en) * 2017-02-17 2019-12-05 SZ DJI Technology Co., Ltd. Method and apparatus for 3-dimensional point cloud reconstruction
CN112396703A (zh) * 2020-11-18 2021-02-23 北京工商大学 一种单图像三维点云模型重建方法
CN112561796A (zh) * 2020-12-02 2021-03-26 西安电子科技大学 基于自注意生成对抗网络的激光点云超分辨率重建方法
CN113096239A (zh) * 2021-04-07 2021-07-09 天津大学 一种基于深度学习的三维点云重建方法
CN113379646A (zh) * 2021-07-07 2021-09-10 厦门大学 一种利用生成对抗网络进行稠密点云补全的算法
CN113850270A (zh) * 2021-04-15 2021-12-28 北京大学 基于点云-体素聚合网络模型的语义场景补全方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190370989A1 (en) * 2017-02-17 2019-12-05 SZ DJI Technology Co., Ltd. Method and apparatus for 3-dimensional point cloud reconstruction
CN112396703A (zh) * 2020-11-18 2021-02-23 北京工商大学 一种单图像三维点云模型重建方法
CN112561796A (zh) * 2020-12-02 2021-03-26 西安电子科技大学 基于自注意生成对抗网络的激光点云超分辨率重建方法
CN113096239A (zh) * 2021-04-07 2021-07-09 天津大学 一种基于深度学习的三维点云重建方法
CN113850270A (zh) * 2021-04-15 2021-12-28 北京大学 基于点云-体素聚合网络模型的语义场景补全方法及系统
CN113379646A (zh) * 2021-07-07 2021-09-10 厦门大学 一种利用生成对抗网络进行稠密点云补全的算法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
RAJAT SHARMA,ETC.: "Point Cloud Upsampling and Normal Estimation using Deep Learning for Robust Surface Reconstruction", 《ARXIV:2102.13391V1》, pages 1 - 10 *
ZHIJIAN LI，ETC.: "Point-Voxel CNN for Efficient 3D Deep Learning", 《ARXIV:1907.03739V1》, pages 1 - 11 *
刘彩霞,等: "基于深度学习的三维点云修复技术综述", 《计算机辅助设计与图形学学报》, pages 1936 - 1951 *
缪永伟;刘家宗;陈佳慧;舒振宇;: "基于生成对抗网络的点云形状保结构补全", 中国科学:信息科学, no. 05, pages 675 - 691 *
肖铭杰: "基于深度学习的单视图 三维点云重建方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, pages 138 - 1625 *
袁华;庞建铿;莫建文;: "基于体素化网格下采样的点云简化算法研究", 电视技术, no. 17, pages 43 - 47 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115496881A (zh) * 2022-10-19 2022-12-20 南京航空航天大学深圳研究院 单目图像辅助的大型飞机点云补全方法
CN115496881B (zh) * 2022-10-19 2023-09-22 南京航空航天大学深圳研究院 单目图像辅助的大型飞机点云补全方法
CN116468892A (zh) * 2023-04-24 2023-07-21 北京中科睿途科技有限公司 三维点云的语义分割方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN114863062B (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
Zhu et al. Vpfnet: Improving 3d object detection with virtual point based lidar and stereo data fusion
Park et al. Deepsdf: Learning continuous signed distance functions for shape representation
CN109410307B (zh) 一种场景点云语义分割方法
Zhang et al. PC-RGNN: Point cloud completion and graph neural network for 3D object detection
Xu et al. Pvsnet: Pixelwise visibility-aware multi-view stereo network
Wang et al. Self-supervised multiscale adversarial regression network for stereo disparity estimation
CN114863062A (zh) 基于点、体素特征表示的工业场景3d点云模型构建方法
CN111627065A (zh) 一种视觉定位方法及装置、存储介质
Zhang et al. Point cloud completion via skeleton-detail transformer
CN113096239B (zh) 一种基于深度学习的三维点云重建方法
WO2024060395A1 (zh) 一种基于深度学习的高精度点云补全方法及装置
CN115984494A (zh) 一种基于深度学习的月面导航影像三维地形重建方法
Li et al. Dictionary optimization and constraint neighbor embedding-based dictionary mapping for superdimension reconstruction of porous media
CN112560865A (zh) 一种室外大场景下点云的语义分割方法
Samavati et al. Deep learning-based 3D reconstruction: a survey
Fu et al. Pt-flownet: Scene flow estimation on point clouds with point transformer
Sipiran et al. Data-driven restoration of digital archaeological pottery with point cloud analysis
CN111860668B (zh) 一种针对原始3d点云处理的深度卷积网络的点云识别方法
Yan et al. Vaccine-style-net: Point cloud completion in implicit continuous function space
CN117115359A (zh) 一种基于深度图融合的多视图电网三维空间数据重建方法
Zhang et al. Ps-net: Point shift network for 3-d point cloud completion
CN116485892A (zh) 一种弱纹理物体的六自由度位姿估计方法
CN115909319A (zh) 一种基于分层图网络在点云上用于3d对象检测方法
CN115578574A (zh) 一种基于深度学习和拓扑感知的三维点云补全方法
CN115497085A (zh) 基于多分辨率双特征折叠的点云补全方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant