CN113052955B - 一种点云补全方法、系统及应用 - Google Patents
一种点云补全方法、系统及应用 Download PDFInfo
- Publication number
- CN113052955B CN113052955B CN202110294698.2A CN202110294698A CN113052955B CN 113052955 B CN113052955 B CN 113052955B CN 202110294698 A CN202110294698 A CN 202110294698A CN 113052955 B CN113052955 B CN 113052955B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- point
- completion
- points
- cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000000605 extraction Methods 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000007670 refining Methods 0.000 claims abstract description 20
- 230000000295 complement effect Effects 0.000 claims description 45
- 238000005070 sampling Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 20
- 238000010276 construction Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 238000012935 Averaging Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 3
- 230000010076 replication Effects 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 8
- 238000004088 simulation Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000012113 quantitative test Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明属于计算机视觉技术领域,公开了一种点云补全方法、系统及应用,所述点云补全方法包括:先构建输入点云先验信息提取单元;再构建中间点云先验信息提取单元;再构建点云精化单元;接着判断输出点云点数是否满足要求,不满足则再次构建点云精化单元直至满足要求;再生成训练集来训练点云补全模型;最后利用训练完成的模型对残缺点云进行补全。本发明提供的点云补全方法,通过充分利用残缺输入点云以及一般点云补全网络的输出点云提供的物体形状先验信息,通过级联的精化单元对先验信息进行整合处理,使网络可以更好地保留原始输入点云中的细节信息,从而更好地推断物体点云残缺的形状,进而达到更优的补全效果。
Description
技术领域
本发明属于计算机视觉技术领域,尤其涉及一种点云补全方法、系统及应用。
背景技术
目前,三维视觉在学术界及商业界备受关注,三维点云成为一种在计算视觉、机器人领域被广泛应用的基础数据形式,在客观事物的描述上拥有比二维图像更高一维信息量的独特优势。然而,由于物体遮挡及自身遮挡等原因,由激光雷达采集的现实世界的三维数据通常都是残缺、不完整且分布不均匀。这些数据丢失了重要的几何和语义信息,因为它实际上畸化了原始物体形状的尺寸,改变了物体的体积,破坏了物体的表面结构。这样不完整的点云数据将极大地影像到其自身的潜在价值。因此,能够从深度相机或激光雷达扫描获取的不完整的点云中推断出物体完整结构的点云补全方法将会对点云数据的应用产生深远的影响。
一般来说,点云补全的方法可以大致分为基于几何、基于检索、基于学习的方法。(1)基于几何的补全方法非常依赖物体的几何信息,例如局部信息的连续性以及空间分布的平滑性。目前基于该方法的一些工作已成功应用于输入点云在缺少一些小洞或小孔情况下的表面修复中。除此之外,一些研究工作关注于自然物体本身的对称性,将残缺的输入相对于求解出的对称轴作对称变换得到的对称点云作为先验信息来重建目标的缺失部分。然而,对于较大区域的缺失点,它是无法补全的。(2)基于对齐的补全思想是将点云补全的问题转化为若干个检索任务,即通过从预准备的三维形状数据库中检索最相似的模板来间接达到补全的目的。(3)基于学习的补全方法是借助人工神经网络来训练具有形状补全功能的深度网络模型。在不同三维模型表现形式下,例如:体素格网、点云和三维网格,基于学习的领先方法都展现了卓越的补全表现。在早期的研究中,研究学者们倾向于选择使用体素格网的方式来表示三维物体,因为通过体素化的方式可以方便应用三维卷积的操作来处理这些离散点阵化的数据。相较于三维网格、体素格网等表示结构,三维点云是一种易于处理简单的结构。除此之外,在点云中添加新点和插值会非常简单,由于点云中所有点均是互相独立,故无需再更新点之间的连接信息。基于学习的补全方法随着最近几年大规模三维合成CAD模型数据集的出现取得了卓有成效的发展。
以上的方法中,基于几何的补全方法虽然简单高效,但是它们要求输入点云几乎完整或对称性明显,当物体缺失区域较大或形状复杂无对称性时,这些方法将束手无策;基于对齐的补全方法在某种程度上是有效可行的,但是同时也会遇到一些瓶颈。一方面,检索过程需要大量的运算开销,这使得这种方法很难移植与实时处理平台;另一方面,输入点云噪声度的大小将会很大程度上影响最后补全结果;基于学习的补全方法在形状补全任务上的表现令人印象深刻,同时也将三维形状补全工作的效果提升到一个新的高度上。然而,它们依然还不能同时生成均匀分布且具有细粒度细节的补全点云。
针对以上问题,目前需要一种新的方法,既能保留残缺输入点云中的细节信息,又能补全物体的缺失部位,并生成分布均匀的补全点云。
通过上述分析,现有技术存在的问题及缺陷为:
(1)基于几何的点云补全方法,对于较大区域的缺失点,是无法补全的;当物体缺失区域较大或形状复杂无对称性时,该方法将束手无策。
(2)基于对齐的补全方法,检索过程需要大量的运算开销,这使得这种方法很难移植与实时处理平台。
(3)基于对齐的补全方法,输入点云噪声度的大小将会很大程度上影响最后补全结果。
(4)基于学习的补全方法,依然还不能同时生成均匀分布且具有细粒度细节的补全点云。
解决以上问题及缺陷的难度为:对于基于几何的点云补全方法:当输入点云缺失的数据区域过大时,点云的几何形状信息损失过多导致算法无法有效提取点云的表面和对称信息,从而导致补全效果无法达到需求精度;除此之外,此类算法的泛化性也较差,当不同的点云数据残缺区域几何形状差异较大时,需要针对特定的几何形状设计不同的补全算法,这大大地加剧了研究者们的工作量以及限制了算法在大规模点云数据集上的推广与应用。基于对齐的补全方法在移植于实时处理平台时效果会很差。对于基于学习的补全方法:由于三维点云数据通常是以无序和非结构化的形式保存,这使得将传统的卷积神经网络直接应用于三维点云处理中。
解决以上问题及缺陷的意义为:在三维交通监控这样的基础应用中,完整的车辆几何形状是车辆提取、类型分类、轨迹估计等三维感知任务的基本保障;在自动驾驶方面,定位和建图均是在残缺且稀疏的点云数据下完成的,如果可以将点云补全技术应用于点云数据获取之后,这将会更加有益于实时定位与建图系统(SLAM:SimultaneousLocalization And Mapping)以及运动恢复结构系统(SFM:Structure-from-Motion)的部署。除此之外,机器人的导航操控、大规模场景的理解以及增加现实都将得益于有效的点云补全方案。因此,能够从深度相机或激光雷达扫描获取的不完整的点云中推断出物体完整结构的点云补全方法将会对点云数据的应用产生深远的影响。
发明内容
针对现有技术存在的问题,本发明提供了一种点云补全方法、系统及应用,尤其涉及一种基于先验信息与级联精化单元的点云补全方法、系统及应用。
本发明是这样实现的,一种点云补全方法,所述点云补全方法包括:先构建输入点云先验信息提取单元;再构建中间点云先验信息提取单元;再构建点云精化单元;接着判断输出点云点数是否满足要求,不满足则再次构建点云精化单元直至满足要求;再生成训练集来训练点云补全模型;最后利用训练完成的模型对残缺点云进行补全。
进一步,所述点云补全方法包括以下步骤:
步骤一,构建输入点云先验信息提取单元,解决点云数据无序性的问题,满足处理前后点云的置换不变性;
步骤二,构建中间点云先验信息提取单元,借助更多的点云先验形状信息,来推断物体缺失部分的形状信息;
步骤三,构建点云精化单元,对先验点云信息进行整合和优化,使最终生成点云分布更加均匀,细节特征更加合理;
步骤四,判断输出点云点数是否满足要求,满足不同分辨率需求的应用场景;
步骤五,构建点云补全模型;
步骤六,生成训练集,并训练点云补全模型;
步骤七,利用训练完成的模型对残缺点云进行补全。
进一步,步骤一中,所述构建输入点云先验信息提取单元,包括:
分别搭建针对输入点云的一个镜像变换操作和一个FPS采样操作网络,获得处理后的点云P1;其中,所述镜像操作为将点云在其三维空间中相对于x=0平面进行对称;所述FPS采样法为最远点采样法,采样点数为128个点。
进一步,步骤二中,所述构建中间点云先验信息提取单元,包括:
对于任意点云补全网络的输出点云,搭建一个FPS采样操作网络,获得处理后的点云P2;其中,所述FPS采样点数为256个点。
进一步,步骤三中,所述构建点云精化单元,包括:
(1)对于输入精化单元的点云P,将P进行复制两倍得到P′;搭建一个二维网格生成器网络生成的二维网络G,对二维网格G进行复制,复制的倍数为P′中点的个数,并将复制后的每一份都分别附加在一个点的后面;
(2)将提取到的点云全局特征f也复制相同的倍数,并将复制后的每一份都分别附加在一个点的后面,最后得到点特征F;搭建一组共享权值感知机,将点特征通过感知机得到点特征F′;将P′与F′对应相加得到输出点云P″;其中假设输入至点云精化单元的点云P中有N个点,则P∈RN×3,精化单元能完成对输入点云两倍的上采样;
(3)假设输出点云中有N′个点,则N′=2N,那么复制后的点云和输出点云均有P′,P″∈RN′×3;通过在[-0.2,0.2]区间中均匀生成二维网格,并选取某个格点的坐标作为G,即G∈R1×2,并将G复制N′倍附加在P′中每个点之后;提取的点云全局特征f为1024维,即f∈R1 ×1024,并将f复制N′倍附加在P′中每个点之后,得到点特征F,此时F∈RN′×1029;
(4)将点特征通过三层维度分别为512、512、3的共享权重感知机,得到经过感知机降维后的点特征F′,其中F′∈RN′×3;再将经过感知器处理后的点特征F′与经过复制后得到的输入点云进行相加便可得到经过一次精化后的输出点云P″,公式为:
P″=P′+F′;
若将整个精化单元看成一个对复制点云的一个自动处理函数f(·),则整个精化单元的公式为:
P″=P′+f(P′);
其中,P″∈RN′×3,整个精化单元可以视为对复制后的点云P′的坐标偏移的预测。
进一步,步骤四中,所述判断输出点云点数是否满足要求,包括:
判断输出点云P″点数是否满足,若不满足,则将P″作为输入重复步骤三,直到点云点云满足输出分辨率要求;其中点云的输出分辨率,即输出点云中点的个数有2048、4096、8192、16384四种选择;
级联网络会根据所需的输出分辨率调整精化单元迭代的次数;若输出分辨率为2048,则需要迭代一次;若分辨率为4096,则需要迭代两次;若输出分辨率为8192,则需要迭代三次;若输出分辨率为16384,则需要迭代四次。
进一步,步骤五中,所述构建点云补全模型,包括:
将输入点云先验信息提取单元、任意点云补全网络、中间点云先验信息提取单元、级联精化单元依次连接组成点云补全模型;其中任意点云补全网络可以为具有“编码器-解码器”结构的任意点云补全网络。
进一步,步骤六中,所述生成训练集,包括:
输入一对残缺点云和完整点云,将其分别处理到固定的点数并输出;其中将任意点数处理为固定点数点云的方法为:设需要固定点云个数到M,输入点云个数为M′,若:
M>M′;
则从[0,M-M′]随机生成M-M′个整数,再从输入点云中选取自身所有点以及序号为生成数的点作为输出点云;当:
M<M′;
则从[0,M]中随机生成M个整数,并从输入点云中选取序号为生成数的点组成输出点云。
进一步,步骤六中,所述训练点云补全模型,包括:
利用倒角距离,计算补全后输出点云与完整点云之间的损失值;利用梯度下降算法,更新点云补全模型中的网络参数,直至模型收敛,得到训练好的点云补全模型;其中网络的损失函数为倒角距离,其公式定义为:
其中,分别为网络生成点云和完整真值点云,p和q分别为网络生成点云与完整真值点云中的点,NP和NQ分别为生成点云与完整点云点的个数;公式左边表示,对于点云P中的每个点p,从点云Q中找到与该点距离最小的点,如此计算点云P中所有点的距离并取平均;公式右侧则反之,对于点云Q中的每个点q,从点云P中找到与该点距离最小的点,如此计算点云Q中所有点的距离并取平均;在计算点云P与点云Q之间的倒角距离时,点云P与点云Q中点的数目可以不同。
进一步,步骤七中,所述对残缺点云进行补全,包括:
将待补全的残缺点云处理至与训练集中残缺点云相同的点数,并通过训练好的点云补全模型处理,输出补全后的点云。
本发明的另一目的在于提供一种应用所述的点云补全方法的点云补全系统,所述点云补全系统包括:
信息提取单元构建模块,用于分别构建输入点云先验信息提取单元和中间点云先验信息提取单元;
点云精化单元构建模块,用于构建点云精化单元;
判断模块,用于判断输出点云点数是否满足要求;
点云补全模型构建模块,用于构建点云补全模型;
模型训练模块,用于生成训练集,并训练点云补全模型;
残缺点云补全模块,用于利用训练完成的模型对残缺点云进行补全。
本发明的另一目的在于提供一种所述的点云补全方法在计算视觉及机器人领域中的应用。
结合上述的所有技术方案,本发明所具备的优点及积极效果为:本发明提供的点云补全方法,具体涉及一种可以从残缺的三维点云中恢复出完整物体信息的点云补全方法。本发明充分利用残缺输入点云以及一般点云补全网络的输出点云提供的物体形状先验信息,通过级联的精化单元对先验信息进行整合处理,使网络可以更好地保留原始输入点云中的细节信息,从而更好地推断物体点云残缺的形状,达到更优的补全效果。
本发明充分利用残缺点云和中间点云补全网络的输出点云提供的先验信息,并通过级联的精化单元网络对先验信息进行整合,在保留残缺输入点云中的细节结构的同时还能有效推理出点云的残缺部位。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图做简单的介绍,显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的点云补全方法流程图。
图2是本发明实施例提供的点云补全方法原理图。
图3是本发明实施例提供的点云补全系统结构框图;
图中:1、信息提取单元构建模块;2、点云精化单元构建模块;3、判断模块;4、点云补全模型构建模块;5、模型训练模块;6、残缺点云补全模块。
图4是本发明实施例提供的构建的点云补全网络模型结构图。
图5是本发明实施例提供的构建的精化单元网络结构模型图。
图6是本发明实施例提供的仿真结果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
针对现有技术存在的问题,本发明提供了一种点云补全方法、系统及应用,下面结合附图对本发明作详细的描述。
如图1所示,本发明实施例提供的点云补全方法包括以下步骤:
S101,构建输入点云先验信息提取单元;
S102,构建中间点云先验信息提取单元;
S103,构建点云精化单元;
S104,判断输出点云点数是否满足要求;
S105,构建点云补全模型;
S106,生成训练集,并训练点云补全模型;
S107,利用训练完成的模型对残缺点云进行补全。
本发明实施例提供的点云补全方法原理图如图2所示。
如图3所示,本发明实施例提供的点云补全系统包括:
信息提取单元构建模块1,用于分别构建输入点云先验信息提取单元和中间点云先验信息提取单元;
点云精化单元构建模块2,用于构建点云精化单元;
判断模块3,用于判断输出点云点数是否满足要求;
点云补全模型构建模块4,用于构建点云补全模型;
模型训练模块5,用于生成训练集,并训练点云补全模型;
残缺点云补全模块6,用于利用训练完成的模型对残缺点云进行补全。
下面结合实施例对本发明的技术方案作进一步描述。
本发明的流程如图2所示,其具体步骤如下:
步骤1、构建输入点云先验信息提取单元。分别搭建针对输入点云的一个镜像变换操作和一个FPS采样操作网络,获得处理后的点云P1。所述的镜像操作为将点云在其三维空间中相对于x=0平面进行对称。所述的FPS采样法为最远点采样法,采样点数为128个点。
步骤2、构建中间点云先验信息提取单元。对于任意点云补全网络的输出点云,搭建一个FPS采样操作网络,获得处理后的点云P2。所述的FPS采样点数为256个点。
步骤3、构建点云精化单元。对于输入精化单元的点云P,先将P进行复制两倍得到P′。搭建一个二维网格生成器网络生成的二维网络G,对二维网格G进行复制,复制的倍数为P′中点的个数,并将复制后的每一份都分别附加在一个点的后面。将提取到的点云全局特征f也复制相同的倍数,并将复制后的每一份都分别附加在一个点的后面,最后得到点特征F。搭建一组共享权值感知机,将点特征通过感知机得到点特征F′。将P′与F′对应相加得到输出点云P″。其中假设输入至点云精化单元的点云P中有N个点,则P∈RN×3,精化单元能完成对输入点云两倍的上采样。假设输出点云中有N′个点,则N′=2N,那么复制后的点云和输出点云均有P′,P″∈RN′×3。首先通过在[-0.2,0.2]区间中均匀生成二维网格,并选取某个格点的坐标作为G,即G∈R1×2,并将G复制N′倍附加在P′中每个点之后。提取的点云全局特征f为1024维,即f∈R1×1024,并将f复制N′倍附加在P′中每个点之后,得到点特征F,此时F∈RN ′×1029。进而再将点特征通过三层维度分别为512、512、3的共享权重感知机,得到经过感知机降维后的点特征F′,其中F′∈RN′×3。最后再将经过感知器处理后的点特征F′与经过复制后得到的输入点云进行相加便可得到经过一次精化后的输出点云P″,公式为:
P″=P′+F′;
若将整个精化单元看成一个对复制点云的一个自动处理函数f(·),则整个精化单元的公式为:
P″=P′+f(P′);
其中,P″∈RN′×3,整个精化单元可以视为对复制后的点云P′的坐标偏移的预测。本发明构建的精化单元网络结构模型图如图5所示。
步骤4、判断输出点云P″点数是否满足,若不满足,则将P″作为输入重复步骤3,直到点云点云满足输出分辨率要求。其中点云的输出分辨率(即输出点云中点的个数)有2048、4096、8192、16384四种选择。级联网络会根据所需的输出分辨率调整精化单元迭代的次数,若输出分辨率为2048,则需要迭代一次,若分辨率为4096,则需要迭代两次,若输出分辨率为8192,则需要迭代三次,若输出分辨率为16384,则需要迭代四次。
步骤5、构建点云补全模型。将输入点云先验信息提取单元、任意点云补全网络、中间点云先验信息提取单元、级联精化单元依次连接组成点云补全模型。其中任意点云补全网络可以为具有“编码器-解码器”结构的任意点云补全网络。本发明构建的点云补全网络模型结构图如图4所示。
步骤6、生成训练集。输入一对残缺点云和完整点云,将其分别处理到固定的点数并输出。其中将任意点数处理为固定点数点云的方法为:设需要固定点云个数到M,输入点云个数为M′,若:
M>M′;
则从[0,M-M′]随机生成M-M′个整数,再从输入点云中选取自身所有点以及序号为生成数的点作为输出点云;当:
M<M′;
则从[0,M]中随机生成M个整数,并从输入点云中选取序号为生成数的点组成输出点云。
步骤7、训练点云补全模型。利用倒角距离,计算补全后输出点云与完整点云之间的损失值。利用梯度下降算法,更新点云补全模型中的网络参数,直至模型收敛,得到训练好的点云补全模型。其中网络的损失函数为倒角距离,其公式定义为:
其中,分别为网络生成点云和完整真值点云,p和q分别为网络生成点云与完整真值点云中的点,NP和NQ分别为生成点云与完整点云点的个数。公式左边表示,对于点云P中的每个点p,从点云Q中找到与该点距离最小的点,如此计算点云P中所有点的距离并取平均;公式右侧则反之,对于点云Q中的每个点q,从点云P中找到与该点距离最小的点,如此计算点云Q中所有点的距离并取平均。在计算点云P与点云Q之间的倒角距离时,点云P与点云Q中点的数目可以不同。
步骤8、对残缺点云进行补全。将待补全的残缺点云处理至与训练集中残缺点云相同的点数,并通过训练好的点云补全模型处理,输出补全后的点云。
下面结合仿真实验对本发明的技术效果作进一步描述。
1.仿真实验条件:
本发明的仿真实验的软件平台为:Ubuntu16.04操作系统和Python3.6,Tensorflow 1.12.0深度学习框架。
本发明仿真实验所使用的点云数据来自Carbegie Mellon大学的Wentao Yuan基于ShapeNet数据集制作的用于点云补全的数据集,数据集中共包含30794个不同物体,这些物体被分类为8类物体,其中残缺点云的点数不确定,完整点云的点数为16384个点,数据格式为lmdb文件。
2.仿真内容及其结果分析:
本发明仿真实验是采用本发明和现有点云补全网络,分别对ShapeNet数据集中测试集进行补全,获得点云补全定性结果图,如图6所示。
在仿真实验中,采用的现有技术是指:
Wentao Yuan等人在其发表的论文“Pcn:Point completionnetwork.In2018International Conference on 3D Vision(3DV)(pp.728-737).IEEE.”中提出的点云补全网络。
下面结合图6的仿真图对本发明的效果做进一步的描述。
图6中第一列、第六列分别为按步骤6被处理到固定点数为2048和4096个点的残缺输入点云和完整真值点云,第二列、第三列分别为现有技术在输出点数分辨率分别为2048、4096个点下的补全结果,第四列、第五列分别为本发明方法在输出点数分辨率分别为2048、4096个点下的补全结果。从图6定性的测试结果中可以清晰看出现有技术与本发明补全结果相比,不能很好保存输入残缺点云中的细节突出部位,对残缺部位的推理效果不够准确,且补全点云的点数分布不够均匀。
利用步骤7提及的倒角距离作为点云补全结果的评价标准,将所有补全结果与真值点云之间的倒角距离绘制成表1。
表1仿真实验中本发明和现有技术补全的定量测试结果
结合表1可以看出,本发明在输出分辨率为2048个点和4096个点补全结果的倒角距离均小于现有技术,证明本发明可以得到与真值点云更相似的补全点云。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现,所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。
Claims (9)
1.一种点云补全方法,其特征在于,所述点云补全方法包括:先构建输入点云先验信息提取单元;再构建中间点云先验信息提取单元;再构建点云精化单元;接着判断输出点云点数是否满足要求,不满足则再次构建点云精化单元直至满足要求;再生成训练集来训练点云补全模型;最后利用训练完成的模型对残缺点云进行补全;
所述构建点云补全模型,包括:将输入点云先验信息提取单元、任意点云补全网络、中间点云先验信息提取单元、级联精化单元依次连接组成点云补全模型;其中任意点云补全网络为具有“编码器-解码器”结构的任意点云补全网络。
2.如权利要求1所述的点云补全方法,其特征在于,所述点云补全方法包括以下步骤:
步骤一,构建输入点云先验信息提取单元;
步骤二,构建中间点云先验信息提取单元;
步骤三,构建点云精化单元;
步骤四,判断输出点云点数是否满足要求;
步骤五,构建点云补全模型;
步骤六,生成训练集,并训练点云补全模型;
步骤七,利用训练完成的模型对残缺点云进行补全。
3.如权利要求2所述的点云补全方法,其特征在于,步骤一中,所述构建输入点云先验信息提取单元,包括:分别搭建针对输入点云的一个镜像变换操作和一个FPS采样操作网络,获得处理后的点云P1;其中,所述镜像变换操作为将点云在其三维空间中相对于x=0平面进行对称;所述FPS采样法为最远点采样法,采样点数为128个点。
4.如权利要求2所述的点云补全方法,其特征在于,步骤二中,所述构建中间点云先验信息提取单元,包括:对于任意点云补全网络的输出点云,搭建一个FPS采样操作网络,获得处理后的点云P2;其中,所述FPS采样点数为256个点。
5.如权利要求2所述的点云补全方法,其特征在于,步骤三中,所述构建点云精化单元,包括:
(1)对于输入精化单元的点云P,将P进行复制两倍得到P′;搭建一个二维网格生成器网络生成的二维网格G,对二维网格G进行复制,复制的倍数为P′中点的个数,并将复制后的每一份都分别附加在一个点的后面;
(2)将提取到的点云全局特征f也复制相同的倍数,并将复制后的每一份都分别附加在一个点的后面,最后得到点特征F;搭建一组权值感知机,将点特征通过感知机得到点特征F′;将P′与F′对应相加得到输出点云P″;其中假设输入至点云精化单元的点云P中有N个点,则P∈RN×3,精化单元能完成对输入点云两倍的上采样;
(3)输出点云中有N′个点,则N′=2N,那么复制后的点云和输出点云均有P′,P″∈RN′×3;通过在[-0.2,0.2]区间中均匀生成二维网格G,即G∈R1×2,并将G复制N′倍附加在P′中每个点之后;提取的点云全局特征f为1024维,即f∈R1×1024,并将f复制N′倍附加在P′中每个点之后,得到点特征F,此时F∈RN′×1029;
(4)将点特征通过三层维度分别为512、512、3的权值感知机,得到经过感知机降维后的点特征F′,其中F′∈RN′×3;再将经过权值感知机处理后的点特征F′与经过复制后得到的输入点云进行相加便可得到经过一次精化后的输出点云P″,公式为:
P″=P′+F′;
若将整个精化单元看成一个对复制点云的一个自动处理函数f(·),则整个精化单元的公式为:
P″=P′+f(P′);
其中,P″∈RN′×3,整个精化单元视为对复制后的点云P′的坐标偏移的预测。
6.如权利要求2所述的点云补全方法,其特征在于,步骤四中,所述判断输出点云点数是否满足要求,包括:判断输出点云P″点数是否满足,若不满足,则将P″作为输入重复步骤三,直到点云满足输出分辨率要求;其中点云的输出分辨率,即输出点云中点的个数有2048、4096、8192、16384四种选择;
级联网络会根据所需的输出分辨率调整精化单元迭代的次数;若输出分辨率为2048,则需要迭代一次;若分辨率为4096,则需要迭代两次;若输出分辨率为8192,则需要迭代三次;若输出分辨率为16384,则需要迭代四次。
7.如权利要求2所述的点云补全方法,其特征在于,步骤六中,所述生成训练集,包括:输入一对残缺点云和完整点云,将其分别处理到固定的点数并输出;其中将任意点数处理为固定点数点云的方法为:设需要固定点云个数到M,输入点云个数为M′,若:
M>M′;
则从[0,M-M′]随机生成M-M′个整数,再从输入点云中选取自身所有点以及序号为生成数的点作为输出点云;当:
M<M′;
则从[0,M]中随机生成M个整数,并从输入点云中选取序号为生成数的点组成输出点云;
步骤六中,所述训练点云补全模型,包括:利用倒角距离,计算补全后输出点云与完整点云之间的损失值;利用梯度下降算法,更新点云补全模型中的网络参数,直至模型收敛,得到训练好的点云补全模型;其中网络的损失函数为倒角距离,其公式定义为:
其中,分别为网络生成点云和完整真值点云,p和q分别为网络生成点云与完整真值点云中的点,NP和NQ分别为生成点云与完整点云点的个数;公式左边表示,对于点云P中的每个点p,从点云Q中找到与该点距离最小的点,如此计算点云P中所有点的距离并取平均;公式右侧则反之,对于点云Q中的每个点q,从点云P中找到与该点距离最小的点,如此计算点云Q中所有点的距离并取平均;在计算点云P与点云Q之间的倒角距离时,点云P与点云Q中点的数目可以不同;
步骤七中,所述对残缺点云进行补全,包括:将待补全的残缺点云处理至与训练集中残缺点云相同的点数,并通过训练好的点云补全模型处理,输出补全后的点云。
8.一种实施权利要求1~7任意一项所述的点云补全方法的点云补全系统,其特征在于,所述点云补全系统包括:
信息提取单元构建模块,用于分别构建输入点云先验信息提取单元和中间点云先验信息提取单元;
点云精化单元构建模块,用于构建点云精化单元;
判断模块,用于判断输出点云点数是否满足要求;
点云补全模型构建模块,用于构建点云补全模型;
模型训练模块,用于生成训练集,并训练点云补全模型;
残缺点云补全模块,用于利用训练完成的模型对残缺点云进行补全。
9.一种如权利要求1~7任意一项所述的点云补全方法在计算视觉及机器人领域中的应用。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110294698.2A CN113052955B (zh) | 2021-03-19 | 2021-03-19 | 一种点云补全方法、系统及应用 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110294698.2A CN113052955B (zh) | 2021-03-19 | 2021-03-19 | 一种点云补全方法、系统及应用 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113052955A CN113052955A (zh) | 2021-06-29 |
CN113052955B true CN113052955B (zh) | 2023-06-30 |
Family
ID=76513565
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110294698.2A Active CN113052955B (zh) | 2021-03-19 | 2021-03-19 | 一种点云补全方法、系统及应用 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113052955B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113379646B (zh) * | 2021-07-07 | 2022-06-21 | 厦门大学 | 一种利用生成对抗网络进行稠密点云补全的算法 |
CN113486988B (zh) * | 2021-08-04 | 2022-02-15 | 广东工业大学 | 一种基于适应性自注意力变换网络的点云补全装置和方法 |
WO2023044605A1 (zh) * | 2021-09-22 | 2023-03-30 | 深圳先进技术研究院 | 极端环境下脑结构的三维重建方法、装置及可读存储介质 |
CN113902061A (zh) * | 2021-11-15 | 2022-01-07 | 深圳先进技术研究院 | 一种点云补全方法和装置 |
CN117422645A (zh) * | 2023-11-14 | 2024-01-19 | 中国科学院长春光学精密机械与物理研究所 | 基于置信度聚合的雷达点云形状补全方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111383355A (zh) * | 2020-04-03 | 2020-07-07 | 贝壳技术有限公司 | 三维点云补全方法、装置和计算机可读存储介质 |
CN111899353A (zh) * | 2020-08-11 | 2020-11-06 | 长春工业大学 | 一种基于生成对抗网络的三维扫描点云孔洞填补方法 |
CN112241997A (zh) * | 2020-09-14 | 2021-01-19 | 西北大学 | 基于多尺度点云上采样的三维模型建立、修复方法及系统 |
CN112435343A (zh) * | 2020-11-24 | 2021-03-02 | 杭州唯实科技有限公司 | 点云数据处理方法和装置、电子设备及存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101901588B1 (ko) * | 2012-01-02 | 2018-09-28 | 삼성전자주식회사 | 물체 인식 방법과, 물체 인식을 위한 기술자 생성 방법, 물체 인식을 위한 기술자 생성 장치 |
US10229533B2 (en) * | 2016-11-03 | 2019-03-12 | Mitsubishi Electric Research Laboratories, Inc. | Methods and systems for fast resampling method and apparatus for point cloud data |
US10176589B2 (en) * | 2017-01-31 | 2019-01-08 | Mitsubishi Electric Research Labroatories, Inc. | Method and system for completing point clouds using planar segments |
-
2021
- 2021-03-19 CN CN202110294698.2A patent/CN113052955B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111383355A (zh) * | 2020-04-03 | 2020-07-07 | 贝壳技术有限公司 | 三维点云补全方法、装置和计算机可读存储介质 |
CN111899353A (zh) * | 2020-08-11 | 2020-11-06 | 长春工业大学 | 一种基于生成对抗网络的三维扫描点云孔洞填补方法 |
CN112241997A (zh) * | 2020-09-14 | 2021-01-19 | 西北大学 | 基于多尺度点云上采样的三维模型建立、修复方法及系统 |
CN112435343A (zh) * | 2020-11-24 | 2021-03-02 | 杭州唯实科技有限公司 | 点云数据处理方法和装置、电子设备及存储介质 |
Non-Patent Citations (4)
Title |
---|
PCN:Point Completion Network;Wentao Yuan,et al.;《arXiv》;20190926;全文 * |
Point Cloud Completion by Skip-attention Network with Hierarchical Folding;Xin Wen,et al.;《IEEE》;20201231;全文 * |
基于点云的路面建模技术研究;吴启芳;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160215;全文 * |
基于生成对抗网络的点云形状保结构补全;缪永伟 等;《中国科学》;20200417;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113052955A (zh) | 2021-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113052955B (zh) | 一种点云补全方法、系统及应用 | |
Liu et al. | Masc: Multi-scale affinity with sparse convolution for 3d instance segmentation | |
Lei et al. | Spherical kernel for efficient graph convolution on 3d point clouds | |
Xie et al. | Point clouds learning with attention-based graph convolution networks | |
CN112927357B (zh) | 一种基于动态图网络的3d物体重建方法 | |
De Floriani et al. | Morse complexes for shape segmentation and homological analysis: discrete models and algorithms | |
Fujishiro et al. | Automating transfer function design for comprehensible volume rendering based on 3D field topology analysis | |
Hu et al. | Structure‐aware 3D reconstruction for cable‐stayed bridges: A learning‐based method | |
US20200348969A1 (en) | Techniques for workflow analysis and design task optimization | |
Brüel‐Gabrielsson et al. | Topology‐Aware Surface Reconstruction for Point Clouds | |
CN106780458B (zh) | 一种点云骨架提取方法及装置 | |
CN114187310A (zh) | 基于八叉树和PointNet++网络的大规模点云分割方法 | |
Singh et al. | MeshNet++: A Network with a Face. | |
CN115546061A (zh) | 一种具有形状感知的三维点云模型修复方法 | |
Wang et al. | Manufacturing process classification based on distance rotationally invariant convolutions | |
US20220138554A1 (en) | Systems and methods utilizing machine learning techniques for training neural networks to generate distributions | |
Tesema et al. | Point Cloud Completion: A Survey | |
CN115661340B (zh) | 一种基于源信息融合的三维点云上采样方法与系统 | |
CN112837420B (zh) | 基于多尺度和折叠结构的兵马俑点云的形状补全方法及系统 | |
CN113808006B (zh) | 一种基于二维图像重建三维网格模型的方法及装置 | |
Vetsch et al. | Neuralmeshing: Differentiable meshing of implicit neural representations | |
Wu et al. | Diffusion-based network for unsupervised landmark detection | |
CN114913330A (zh) | 点云部件分割方法、装置、电子设备与存储介质 | |
Chen et al. | Point cloud 3D object detection method based on density information-local feature fusion | |
CN114881850A (zh) | 点云超分辨率方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |