CN111709450B - 一种基于多尺度特征融合的点云法向量估计方法及系统 - Google Patents
一种基于多尺度特征融合的点云法向量估计方法及系统 Download PDFInfo
- Publication number
- CN111709450B CN111709450B CN202010434599.5A CN202010434599A CN111709450B CN 111709450 B CN111709450 B CN 111709450B CN 202010434599 A CN202010434599 A CN 202010434599A CN 111709450 B CN111709450 B CN 111709450B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- point
- feature vectors
- feature
- normal vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000013598 vector Substances 0.000 title claims abstract description 387
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000004927 fusion Effects 0.000 title claims abstract description 34
- 238000000605 extraction Methods 0.000 claims abstract description 66
- 238000012545 processing Methods 0.000 claims abstract description 26
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000011176 pooling Methods 0.000 claims description 21
- 238000005070 sampling Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 2
- 238000007499 fusion processing Methods 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 49
- 230000009466 transformation Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多尺度特征融合的点云法向量估计方法及系统，所述点云法向量估计方法通过获取s个点云块，将所述s个点云块输入特征提取网络，得到s×n个点特征向量和s个点云块特征向量；将所述s×n个点特征向量和s个点云块特征向量进行拼接处理，得到s×n个拼接特征向量；将所述s×n个拼接特征向量输入法向量估计网络，得到所述点云法向量。本发明的点云法向量估计方法融合了点云中各点的特征和所有点云块的特征，能够在抑制噪声的干扰的同时，保证边缘等尖锐特征的估计法向量的精度，具有极高的稳定性，估计过程具有更好的鲁棒性与普适性，大大提高了点云法向量估计的精度，有助于后续的点云配准和曲面重建等点云处理工作。
Description
技术领域
本发明涉及三维点云数据处理领域，尤其涉及一种基于多尺度特征融合的点云法向量估计方法及系统。
背景技术
三维点云数据处理是计算机视觉近期研究的热点之一。而在进行点云数据处理过程中，法向量估计是一项必不可少的前置任务。法向量包含着点云的局部表面特征。点云分类、点云配准、表面重建等都依赖准确的法向量估计。目前点云法向量的估计方法可分为传统的法向量估计方法和基于深度学习的法向量估计方法两大类。
对于基于深度学习的法向量估计，Boulch等通过将表示法线方向的离散化霍夫空间映射到卷积神经网络中，设计了一种估计点云的不定向法向量的结构。尽管没有三维模型形式的转换，该方法需要将点云特征投射到二维的离散化霍夫空间中，因此会造成部分法向量信息的丢失。Guerrero等提出了一种估计点云局部三维形状特征的多尺度神经网络，该网络可以估计可靠的法向量，也可以得到点云的其他表面特性，但是无法选定最优的邻域尺度，造成各尺度的平均化，无法有效处理不同尺度的特征信息，导致估计准确度降低。
因此，现有技术还有待于改进和发展。
发明内容
鉴于上述现有技术的不足，本发明的目的在于提供一种基于多尺度特征融合的点云法向量估计方法及系统，旨在提高点云法向量的估计速度和精确度。
本发明的技术方案如下：
一种基于多尺度特征融合的点云法向量估计方法，其中，包括步骤：
获取s个点云块，将所述s个点云块输入特征提取网络，通过所述特征提取网络，得到s×n个点特征向量和s个点云块特征向量；其中，s≥1且为正整数，每个所述点云块中的点数量均为n；
将所述s×n个点特征向量和s个点云块特征向量进行拼接处理，得到s×n个拼接特征向量；
将所述s×n个拼接特征向量输入法向量估计网络，通过所述法向量估计网络，得到所述点云法向量。
所述的点云法向量估计方法，其中，所述特征提取网络包括点特征提取网络和点云块特征提取网络。
所述的点云法向量估计方法，其中，所述将所述s个点云块输入特征提取网络，通过所述特征提取网络，得到s×n个点特征向量和s个点云块特征向量包括：
将所述s个点云块输入所述点特征提取网络，通过所述点特征提取网络，得到s×n个点特征向量；
将所述s×n个点特征向量输入所述点云块特征提取网络，通过所述点云块特征提取网络，得到s个点云块特征向量。
所述的点云法向量估计方法，其中，所述将所述s×n个点特征向量和s个点云块特征向量进行拼接处理，得到s×n个拼接特征向量包括：
针对每一个点特征向量，将所述s个点云块特征向量横向拼接在该点特征向量之后，得到该点特征向量对应的拼接特征向量，以确定s×n个拼接特征向量。
所述的点云法向量估计方法，其中，所述法向量估计网络包括第一多层感知器、对称函数和第二多层感知器。
所述的点云法向量估计方法，其中，所述将所述s×n个拼接特征向量输入法向量估计网络，通过所述法向量估计网络，得到所述点云法向量包括：
将所述s×n个拼接特征向量输入所述第一多层感知器，通过所述第一多层感知器，得到s×n个融合特征向量；
将所述s×n个拼接特征向量输入所述对称函数，通过所述对称函数，得到s个池化特征向量；
将所述s个池化特征向量输入所述第二多层感知器，通过所述第二多层感知器，得到所述点云法向量。
所述的点云法向量估计方法，其中，所述对称函数包括最大值池化函数或平均值池化函数；所述第一多层感知器和第二多层感知器均包括三层感知器网络。
所述的点云法向量估计方法，其中，所述法向量估计网络的损失函数包括第一损失函数项和第二损失函数项；其中，所述第一损失函数项为法矢偏差损失项，所述第二损失函数项为欧氏距离损失项。
所述的点云法向量估计方法，其中，所述获取s个点云块包括：
获取点云，对所述点云中的任意一点及其邻域内的点进行采样，得到所述点云对应的s个第一子集；其中，各第一子集的邻域半径互不相同；
将所述s个第一子集分别进行归一化处理，得到所述点云对应的s个第二子集；
将s个第二子集中的点分别进行删补处理，使每个点云块具有n个点，得到所述s个点云块。
一种基于多尺度特征融合的点云法向量估计系统，其中，包括：
特征向量提取模块，用于获取s个点云块，将所述s个点云块输入特征提取网络，通过所述特征提取网络，得到s×n个点特征向量和s个点云块特征向量；其中，s≥1且为正整数，每个所述点云块中的点数量为n；
特征融合模块，用于将所述s×n个点特征向量和s个点云块特征向量进行拼接处理，得到s×n个拼接特征向量；
法向量估计模块，用于将所述s×n个融合特征向量输入法向量估计网络，通过所述法向量估计网络，得到所述点云法向量。
有益效果：本发明通过获取s个点云块，将所述s个点云块输入特征提取网络，通过所述特征提取网络，得到s×n个点特征向量和s个点云块特征向量；将所述s×n个点特征向量和s个点云块特征向量进行拼接处理，得到s×n个拼接特征向量；将所述s×n个拼接特征向量输入法向量估计网络，通过所述法向量估计网络，得到所述点云法向量。本发明的点云法向量估计方法融合了点云中各点的特征和所有点云块的特征，能够在抑制噪声的干扰的同时，保证边缘等尖锐特征的估计法向量的精度，具有极高的稳定性，估计过程具有更好的鲁棒性与普适性，大大提高了点云法向量估计的精度，有助于后续的点云配准和曲面重建等点云处理工作。
附图说明
图1为本实施例提供的一种基于多尺度特征融合的点云法向量估计方法的流程图。
图2为本实施例提供的一种基于多尺度特征融合的点云法向量估计方法的单尺度模式流程示意图。
图3为本实施例提供的一种基于多尺度特征融合的点云法向量估计方法的多尺度模式流程示意图。
具体实施方式
本发明提供一种基于多尺度特征融合的点云法向量估计方法及系统，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本实施例提供了一种基于多尺度特征融合的点云法向量估计方法及系统，如图1所示，所述方法包括：
S10、获取s个点云块，将所述s个点云块输入特征提取网络，通过所述特征提取网络，得到s×n个点特征向量和s个点云块特征向量；其中，s≥1且为正整数，每个所述点云块中的点数量均为n。
具体的，从获取的点云中对点云块进行采样，采集的点云块可以是1个，也可以是多个，每个点云块中的点数量相同。特征向量提取网络是指已训练的特征提取网络，通过已训练的特征提取网络，提取所有点云块中每一个点的特征，以及每个点云块的特征，从而得到s×n个点特征向量和s个点云块特征向量。
进一步，所述获取s个点云块包括：
S1、获取点云，对所述点云中的任意一点及其邻域内的点进行采样，得到所述点云对应的s个第一子集；其中，各第一子集的邻域半径互不相同；
S2、将所述s个第一子集进行归一化处理，得到所述点云对应的s个第二子集；
S3、将s个第二子集中的点进行删补处理，使每个点云块具有n个点，得到所述s个点云块。
对于点云P＝{p1,p2,…,pi,…,pN}内的任意一点pi，其中，N是点云中点的数量，i∈{1,2,3,…,N}，在pi的半径分别为r1、……、rs的邻域内对pi及其邻域内的点进行采样，得到所述点云对应的s个第一子集
且
接着针对每一个第一子集，将所述第一子集平移处理，使所述第一子集的中心点pi对齐原点位置，并将其半径转化为1，使第一子集的点聚集到单位球体范围内，也就是对第一子集进行归一化处理，得到所述点云对应的s个第二子集。最后，由于每个输入的点云块的点数量要一致，但是实际在不同大小的邻域内采集到的点数量并不相同，因此需要对第二子集中的点进行删补，若第二子集中包含点数量较少，则补充零点(中心点)；若第二子集中包含的点数量较多，则对点数进行随机采样，从而使每个第二子集中的点数量一致，均为n个点，从而得到s个具有n个点的点云块
在本实施例的一个实现方式中，所述特征提取网络包括点特征提取网络和点云块特征提取网络，所述步骤S10包括：
S11、将所述s个点云块输入所述点特征提取网络，通过所述点特征提取网络，得到s×n个点特征向量；
S12、将所述s×n个点特征向量输入所述点云块特征提取网络，通过所述点云块特征提取网络，得到s个点云块特征向量。
具体地，对于点特征的提取，所述点特征提取网络包括第三多层感知器，通过第三多层感知器分别提取s个点云块中各点特征向量f(pj)，得到s×n个点特征向量，其中，pj是s个点云块中的任意一点。进一步，在提取点特征向量之前，还可采用第一对齐网络对s个点云块中各点进行对齐操作，由于点云数据具有置换不变性，即对点云块进行某些空间变换不会改变其固有属性，为保证后续采用的第三多层感知器能够对不同结构的点云块具有普遍适用性，采用第一对齐网络生成四元数据转换矩阵，通过该四元转换矩阵，将输入的s个点云块分别对齐到规范空间，能够使后续采用的第三多层感知器网络对点云块的平移、旋转等变换操作更加鲁棒。进一步，在提取点特征向量之后，可采用第二对齐网络，生成一个64×64的转换矩阵，以实现s个点云块中各点特征向量的对齐操作。更进一步，所述点特征提取网络包括第一对齐网络、第三多层感知器、第二对齐网络，首先采用第一对齐网络将输入的s个点云块分别对齐到规范空间，再通过第三多层感知器分别提取s个点云块中各点的特征向量；最后采用第二对齐网络实现s个点云块中各点特征向量的对齐操作，得到s×n个点特征向量。优选的，所述第一对齐网络和所述第二对齐网络均为卷积神经网络，所述第三多层感知器为三层的感知器网络。
在一种实现方式中，如图2所示，由于点云块的输入实际上是点坐标的输入，每个点坐标是一个3维的向量，对于每一个点云块，将经过第一对齐网络处理的n个点坐标输入三层感知器网络进行特征提取后，输出的点特征向量是n个64维的向量，点特征向量经过第二对齐网络处理后，向量的维度不变。如图3所示，采集了s个点云块，则得到的点特征向量是s×n个64维的向量。
对于点云块特征的提取，所述点云块特征提取网络包括第四多层感知器、第一对称函数和第五多层感知器，其中所述第四多层感知器和第五多层感知器均为三层的感知器网络，所述第一对称函数为最大值池化函数或平均值池化函数。
首先，由于每个点数据所包含的信息十分有限，为避免在点云块特征向量的提取过程中丢失大量特征信息，将采样点的坐标映射成维度更大的特征空间，以丰富采样点的特征信息。本实施例中，采用第四多层感知器对s×n个点特征向量进行升维处理，得到每个点的升维点特征向量，对s×n个点特征向量中任一点特征向量的升维过程表示为：
g(pj)＝mlpw(f(pj))，
其中，pj为s个点云块中任意一点的坐标，j∈{1，2，3，...，(s-1)×n+1，(s-1)×n+2，...，s×n}，g(pj)是pj的升维点特征向量，f(pj)是pj的点特征向量，g(pj)的维度高于f(pj)的维度，mlp1是第四多层感知器。
其次，采用第一对称函数进行点云块特征向量的提取，可以保持所有网络对点的不同排列方式的普遍适用性，有效解决了传统卷积神经网络无法解决的点云无序性的问题。针对每一个点云块，通过点云块中的每个升维点特征向量g(p1)、……、g(pn)经第一对称函数计算得到该点云块的基础特征向量，第一对称函数的输出值不随输入向量的排列方式而改变，第一对称函数映射表示为：
其中，
是任一点云块的基础特征向量，S1是第一对称函数。最后，为减少点云块对应的全局特征中的冗余信息，将多层感知器的特征提取映射推广到对点云块基础特征向量的处理上，采用第五多层感知器对每一个点云块进行处理表示为：
其中，
是任一点云块特征向量，
是删除冗余信息后得到的点云块特征向量，mlp2是第五多层感知器。
在一种实现方式中，如图3所示，s×n个点的基础特征向量均是一64维的向量，经过三层的感知器网络处理后，得到的是s×n个1024维的点特征向量，再采用最大池化函数分别对s个点云块中所有的1024维的点特征向量进行处理，得到s个1024维的点云块基础特征向量，通过三层的感知器网络分别对s个点云块基础特征向量进行冗余信息删除处理，得到s个128维的点云块特征向量。
S20、将所述s×n个点特征向量和s个点云块特征向量进行拼接处理，得到s×n个拼接特征向量。
具体的，点云法向量是表示点云在某点几何形状变化的属性，其不仅与该点的特征信息相关，也能够反映该点邻域内点云块的特征。因此，为了得到准确的法向量，需要点特征向量与所有点云块特征向量进行拼接处理，得到每个点特征向量对应的拼接特征向量。针对每一个点特征向量，将s个点云块分别对应的s个点云块特征向量横向拼接在点特征向量之后，需要说明的是，s个点云块特征向量的横向拼接顺序没有要求，拼接顺序可以是随机的顺序，也可以是根据不同点云块的采集邻域的从小到大或从大到小的顺序，依次在点特征向量之后从左到右拼接，从而确定s×n个拼接特征向量。
举例来说，当s＝1时，如图2所示，则需要拼接的对象是n个点特征向量(64维)和1个点云块特征向量(128维)，则将1个点云块特征向量拼接在每一个点特征向量之后，得到分别与n个点对应的n个拼接特征向量(192维)。当s>1时，如图3所示，则需要拼接的对象是s×n个点特征向量(64维)和s个点云块特征向量(128维)(每个点云块对应n个点特征向量，有3个点云块)，s个点云块的采集邻域半径r1、r2、……、rs-1、rs的大小顺序为r1<r2<…<rs-1<rs，对应的s个的点云块特征向量(128维)分别是H1、H2、……、Hs-1、Hs，设每一点的点特征向量是fj(64维)，则将H1拼接在fj后，将H2拼接在H1后，依次类推，将Hs拼接在Hs-1后，对s个点云块对应的点特征向量同时分别进行拼接，得到s×n个拼接特征向量((64+128×s)维)。例如，当s＝3时，则需要拼接的对象是3×n个点特征向量(64维)和3个点云块特征向量(128维)，3个点云块的采集邻域半径r1、r2、r3分别是0.01、0.03、0.07，对应的3个128维的点云块特征向量分别是H1、H2、H3，设每一点的点特征向量是fj(64维)，则将H1拼接在fj后，将H2拼接在H1后，将H3拼接在H2后，对3个点云块对应的点特征向量同时分别进行拼接，得到3×n个拼接特征向量(448维)。
S30、将所述s×n个拼接特征向量输入法向量估计网络，通过所述法向量估计网络，得到所述点云法向量。在本实施例的一个实现方式中，所述法向量估计网络包括第一多层感知器、对称函数和第二多层感知器；所述步骤S30包括：
S31、将所述s×n个拼接特征向量输入所述第一多层感知器，通过所述第一多层感知器，得到s×n个融合特征向量。
S32、将所述s×n个融合特征向量输入所述对称函数，通过所述对称函数，得到s个池化特征向量；
S33、将所述s个池化特征向量输入所述第二多层感知器，通过所述第二多层感知器，得到所述点云法向量。
具体地，为了剔除点云块中的无效信息点，采用第一多层感知器对s×n个拼接特征向量进行有效特征的提取，从而得到s×n个融合特征向量，采用第一多层感知器对每一个拼接特征向量进行处理表示为：
m(pj)＝mlp3(γ(pj))，
其中γ(pj)是s×n个拼接特征向量中任一拼接特征向量，m(pj)是γ(pj)任一对应的融合特征向量，mlp3是第一多层感知器。融合特征向量中包含着点云块大量的特征信息，采用对称函数分别对每个点云块的n个融合特征向量进行池化处理，得到每个点云块对应的池化特征向量，同时分别处理s个点云块即得到s个点云块分别对应的s个池化特征向量，对于处理任一点云块的对称函数的映射为：
其中，
是任一点云块
对应的池化特征向量，S2是对称函数。最后采用第二多层感知器先对s个池化特征向量进行或不进行拼接处理，拼接顺序没有要求，拼接顺序可以是随机的顺序，也可以是根据不同点云块的采集邻域的从小到大或从大到小的顺序，依次将与不同点云块对应的池化特征向量从左到右拼接，从而得到点云的特征向量，再根据点云的特征向量估计出点云法向量，第二多层感知器的法向量估计表示为：
其中，
是点云法向量，M(P)是点云的特征向量，mlp4是第二多层感知器。举例来说，如图2所示，当s＝1时，最大值池化函数对n个融合特征向量进行池化处理后，得到1个点云块的池化特征向量，第二多层感知器直接根据所述点云块的池化特征向量进行法向量估计，得到所述点云法向量。如图3所示，当s>1时，第二多层感知器先对s个池化特征向量按照所对应的点云块的采集邻域大小从小到大的顺序，再依次横向拼接成一个更高维度(s×池化特征向量的维度)的池化特征向量，如s＝3时，池化特征向量的是一个128维的向量，3个池化特征向量拼接后得到一个384(3×128)维的池化特征向量，再根据拼接的池化特征向量进行法向量估计，得到所述点云法向量。
在本实施例的一个实现方式中，所述对称函数包括最大值池化函数或平均值池化函数；所述第一多层感知器和第二多层感知器均包括三层感知器网络。
在本实施例的一个实现方式中，所述法向量估计网络的损失函数包括第一损失函数项和第二损失函数项。所述法向量估计网络是已训练的法向量估计网络，在法向量估计网络的训练过程中，根据点云对应的法向量的估计值和点云对应的法向量的参考值分别计算第一损失函数值和第二损失函数值，根据第一损失函数和第二损失函数值对法向量估计网络中的参数进行修正，并继续执行点云法向量的计算过程，直至法向量的估计值的精度达到预设精度，以得到已训练的法向量估计网络。
其中，所述第一损失函数项为法矢偏差损失项，所述第二损失函数项为欧氏距离损失项。对于法向量估计的过程中，损失函数需要考虑估计值与参考值之间的欧氏距离损失，同时法向量的偏差角能够更直观地反映法向量估计结果的可靠性，损失函数表示为：
其中，
和N分别是单位化的法向量估计值和法向量参考值，Leu是法向量估计值与法向量参考值之间的欧氏距离损失，本实施例采用为Smooth L1损失函数来表示Leu：
Smooth L1损失函数光滑，处处可导，具有良好的稳定性，避免产生梯度爆炸等问题。同时，Smooth L1损失函数对噪声和外点具有更好的鲁棒性。Lang是估计法向量与参考法向量的法矢偏差损失，本实施例采用估计法矢偏差角的余弦值的均值平方差来表示：
当偏差角太大时，Lang具有较大的导数值，能够通过对法向量估计网络使损失值迅速减小；同时，当估计法向量与参考法向量相近时，Lang的取值逐渐趋近于0，减少振荡。
进一步，特征提取网络是已训练的特征提取网络，特征提取网络的损失函数与法向量估计网络的损失函数相同。
本实施例还提供一种基于多尺度特征融合的点云法向量估计系统，其中，包括：
特征向量提取模块，用于获取s个点云块，将所述s个点云块输入特征提取网络，通过所述特征提取网络，得到s×n个点特征向量和s个点云块特征向量；其中，s≥1且为正整数，每个所述点云块中的点数量均为n；
特征拼接模块，用于将所述s×n个点特征向量和s个点云块特征向量进行拼接处理，得到s×n个拼接特征向量；
法向量估计模块，用于将所述s×n个融合特征向量输入法向量估计网络，通过所述法向量估计网络，得到所述点云法向量。
所述的点云法向量估计系统，其中，所述特征向量提取模块包括：
点特征提取单元，用于将所述s个点云块输入所述点特征提取网络，通过所述点特征提取网络，得到s×n个点特征向量；
点云块特征提取单元，将所述s×n个点特征向量输入所述点云块特征提取网络，通过所述点云块特征提取网络，得到s个点云块特征向量。
所述的点云法向量估计系统，其中，所述特征拼接模块包括：
特征向量拼接单元，用于针对每一个点特征向量，将所述s个点云块特征向量横向拼接在该点特征向量之后，得到该点对应的拼接特征向量，以确定s×n个拼接特征向量。
所述的点云法向量估计系统，其中，所述法向量估计模块包括：
融合单元，用于将所述s×n个拼接特征向量输入所述第一多层感知器，通过所述第一多层感知器，得到s×n个融合特征向量；
池化单元，用于将所述s×n个拼接特征向量输入所述对称函数，通过所述对称函数，得到s个池化特征向量；
估计单元，用于将所述s个池化特征向量输入所述第二多层感知器，通过所述第二多层感知器，得到所述点云法向量。
所述的点云法向量估计系统，其中，所述特征向量提取模块还包括：点云预处理模块，所述点云预处理模块包括：
采样单元，用于获取点云，对所述点云中的任意一点及其邻域内的点进行采样，得到所述点云对应的s个第一子集；其中，各第一子集的邻域半径互不相同；
归一化单元，用于将所述s个第一子集分别进行归一化处理，得到所述点云对应的s个第二子集；
数据删补单元，用于将s个第二子集中的点分别进行删补处理，使每个点云块具有n个点，得所述s个点云块。
综上所述，本发明通过获取s个点云块，将所述s个点云块输入特征提取网络，通过所述特征提取网络，得到s×n个点特征向量和s个点云块特征向量；将所述s×n个点特征向量和s个点云块特征向量进行拼接处理，得到s×n个拼接特征向量；将所述s×n个拼接特征向量输入法向量估计网络，通过所述法向量估计网络，得到所述点云法向量。本发明的点云法向量估计方法融合了点云的局部特征与全局特征，能够在抑制噪声的干扰的同时，保证边缘等尖锐特征的估计法向量的精度，具有极高的稳定性，具有更好的鲁棒性与普适性，大大提高了点云法向量估计的精度，有助于后续的点云配准和曲面重建等点云处理工作。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (7)
1.一种基于多尺度特征融合的点云法向量估计方法，其特征在于，包括步骤：
获取s个点云块，将所述s个点云块输入特征提取网络，通过所述特征提取网络，得到s×n个点特征向量和s个点云块特征向量；其中，s≥1且为正整数，每个所述点云块中的点数量均为n；
将所述s×n个点特征向量和s个点云块特征向量进行拼接处理，得到s×n个拼接特征向量；
将所述s×n个拼接特征向量输入法向量估计网络，通过所述法向量估计网络，得到所述点云法向量；
所述法向量估计网络包括第一多层感知器、对称函数和第二多层感知器；
所述将所述s×n个拼接特征向量输入法向量估计网络，通过所述法向量估计网络，得到所述点云法向量包括：
将所述s×n个拼接特征向量输入所述第一多层感知器，通过所述第一多层感知器，得到s×n个融合特征向量；
将所述s×n个融合特征向量输入所述对称函数，通过所述对称函数，得到s个池化特征向量；
将所述s个池化特征向量输入所述第二多层感知器，通过所述第二多层感知器，得到所述点云法向量；
所述对称函数包括最大值池化函数或平均值池化函数；所述第一多层感知器和第二多层感知器均包括三层感知器网络；
对于点云块特征的提取，所述点云块特征提取网络包括第四多层感知器、第一对称函数和第五多层感知器，其中所述第四多层感知器和第五多层感知器均为三层的感知器网络，所述第一对称函数为最大值池化函数或平均值池化函数；
采用第四多层感知器对s×n个点特征向量进行升维处理，得到每个点的升维点特征向量，对s×n个点特征向量中任一点特征向量的升维过程表示为：
g(pj)＝mlp1(f(pj))，
其中，pj为s个点云块中任意一点的坐标，j∈{1,2,3,…,(s-1)×n+1,(s-1)×n+2,…,s×n}，g(pj)是pj的升维点特征向量，f(pj)是pj的点特征向量，g(pj)的维度高于f(pj)的维度，mlp1是第四多层感知器；
针对每一个点云块，通过点云块中的每个升维点特征向量
g(p1)、……、g(pn)经第一对称函数计算得到该点云块的基础特征向量，第一对称函数的输出值不随输入向量的排列方式而改变，第一对称函数映射表示为：
其中，
是任一点云块的基础特征向量，S1是第一对称函数。最后，为减少点云块对应的全局特征中的冗余信息，将多层感知器的特征提取映射推广到对点云块基础特征向量的处理上，采用第五多层感知器对每一个点云块进行处理表示为：
其中，
是任一点云块的基础特征向量，
是删除冗余信息后得到的点云块特征向量，mlp2是第五多层感知器。
2.根据权利要求1所述的点云法向量估计方法，其特征在于，所述特征提取网络包括点特征提取网络和点云块特征提取网络。
3.根据权利要求2所述的点云法向量估计方法，其特征在于，所述将所述s个点云块输入特征提取网络，通过所述特征提取网络，得到s×n个点特征向量和s个点云块特征向量包括：
将所述s个点云块输入所述点特征提取网络，通过所述点特征提取网络，得到s×n个点特征向量；
将所述s×n个点特征向量输入所述点云块特征提取网络，通过所述点云块特征提取网络，得到s个点云块特征向量。
4.根据权利要求1所述的点云法向量估计方法，其特征在于，所述将所述s×n个点特征向量和s个点云块特征向量进行拼接处理，得到s×n个拼接特征向量包括：
针对每一个点特征向量，将所述s个点云块特征向量横向拼接在该点特征向量之后，得到该点特征向量对应的拼接特征向量，以确定s×n个拼接特征向量。
5.根据权利要求1所述的点云法向量估计方法，其特征在于，所述法向量估计网络的损失函数包括第一损失函数项和第二损失函数项；其中，所述第一损失函数项为法矢偏差损失项，所述第二损失函数项为欧氏距离损失项。
6.根据权利要求1所述的点云法向量估计方法，其特征在于，所述获取s个点云块包括：
获取点云，对所述点云中的任意一点及其邻域内的点进行采样，得到所述点云对应的s个第一子集；其中，各第一子集的邻域半径互不相同；
将所述s个第一子集分别进行归一化处理，得到所述点云对应的s个第二子集；
将s个第二子集中的点分别进行删补处理，使每个点云块均具有n个点，得到所述s个点云块。
7.一种基于多尺度特征融合的点云法向量估计系统，其特征在于，包括：
特征向量提取模块，用于获取s个点云块，将所述s个点云块输入特征提取网络，通过所述特征提取网络，得到s×n个点特征向量和s个点云块特征向量；其中，s≥1且为正整数，每个所述点云块中的点数量为n；
特征融合模块，用于将所述s×n个点特征向量和s个点云块特征向量进行融合处理，得到s×n个融合特征向量；
法向量估计模块，用于将所述s×n个融合特征向量输入法向量估计网络，通过所述法向量估计网络，得到所述点云法向量；
所述法向量估计网络包括第一多层感知器、对称函数和第二多层感知器；
所述将所述s×n个拼接特征向量输入法向量估计网络，通过所述法向量估计网络，得到所述点云法向量包括：
将所述s×n个拼接特征向量输入所述第一多层感知器，通过所述第一多层感知器，得到s×n个融合特征向量；
将所述s×n个融合特征向量输入所述对称函数，通过所述对称函数，得到s个池化特征向量；
将所述s个池化特征向量输入所述第二多层感知器，通过所述第二多层感知器，得到所述点云法向量；
所述对称函数包括最大值池化函数或平均值池化函数；所述第一多层感知器和第二多层感知器均包括三层感知器网络；
对于点云块特征的提取，所述点云块特征提取网络包括第四多层感知器、第一对称函数和第五多层感知器，其中所述第四多层感知器和第五多层感知器均为三层的感知器网络，所述第一对称函数为最大值池化函数或平均值池化函数；
采用第四多层感知器对s×n个点特征向量进行升维处理，得到每个点的升维点特征向量，对s×n个点特征向量中任一点特征向量的升维过程表示为：
g(pj)＝mlp1(f(pj))，
其中，pj为s个点云块中任意一点的坐标，j∈{1,2,3,…,(s-1)×n+1,(s-1)×n+2,…,s×n}，g(pj)是pj的升维点特征向量，f(pj)是pj的点特征向量，g(pj)的维度高于f(pj)的维度，mlp1是第四多层感知器；
针对每一个点云块，通过点云块中的每个升维点特征向量
g(p1)、……、g(pn)经第一对称函数计算得到该点云块的基础特征向量，第一对称函数的输出值不随输入向量的排列方式而改变，第一对称函数映射表示为：
其中，
是任一点云块的基础特征向量，S1是第一对称函数。最后，为减少点云块对应的全局特征中的冗余信息，将多层感知器的特征提取映射推广到对点云块基础特征向量的处理上，采用第五多层感知器对每一个点云块进行处理表示为：
其中，
是任一点云块的基础特征向量，
是删除冗余信息后得到的点云块特征向量，mlp2是第五多层感知器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010434599.5A CN111709450B (zh) | 2020-05-21 | 2020-05-21 | 一种基于多尺度特征融合的点云法向量估计方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010434599.5A CN111709450B (zh) | 2020-05-21 | 2020-05-21 | 一种基于多尺度特征融合的点云法向量估计方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111709450A CN111709450A (zh) | 2020-09-25 |
| CN111709450B true CN111709450B (zh) | 2023-05-26 |
Family
ID=72537858
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010434599.5A Active CN111709450B (zh) | 2020-05-21 | 2020-05-21 | 一种基于多尺度特征融合的点云法向量估计方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111709450B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112672168B (zh) * | 2020-12-14 | 2022-10-18 | 深圳大学 | 基于图卷积的点云压缩方法及装置 |
| CN114228637B (zh) * | 2021-12-02 | 2024-02-20 | 科大讯飞股份有限公司 | 一种车辆断电保护方法、装置、存储介质及设备 |
| CN113920149B (zh) * | 2021-12-14 | 2022-03-01 | 星际空间（天津）科技发展有限公司 | 基于激光点云图模型的云分割方法及设备 |
| CN115841510B (zh) * | 2022-09-19 | 2023-12-12 | 南京航空航天大学 | 基于几何知识和深度学习的桌面冰壶场景下单幅图像的深度及法矢估算方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110197223A (zh) * | 2019-05-29 | 2019-09-03 | 北方民族大学 | 基于深度学习的点云数据分类方法 |
| CN110222580A (zh) * | 2019-05-09 | 2019-09-10 | 中国科学院软件研究所 | 一种基于三维点云的人手三维姿态估计方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2528669B (en) * | 2014-07-25 | 2017-05-24 | Toshiba Res Europe Ltd | Image Analysis Method |
-
2020
- 2020-05-21 CN CN202010434599.5A patent/CN111709450B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110222580A (zh) * | 2019-05-09 | 2019-09-10 | 中国科学院软件研究所 | 一种基于三维点云的人手三维姿态估计方法和装置 |
| CN110197223A (zh) * | 2019-05-29 | 2019-09-03 | 北方民族大学 | 基于深度学习的点云数据分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111709450A (zh) | 2020-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111709450B (zh) | 一种基于多尺度特征融合的点云法向量估计方法及系统 | |
| He et al. | Sparse template-based 6-D pose estimation of metal parts using a monocular camera | |
| WO2017219391A1 (zh) | 一种基于三维数据的人脸识别系统 | |
| CN111178250A (zh) | 物体识别定位方法、装置及终端设备 | |
| CN105160686B (zh) | 一种基于改进sift算子的低空多视角遥感影像匹配方法 | |
| CN107818598B (zh) | 一种基于视觉矫正的三维点云地图融合方法 | |
| CN108830888B (zh) | 基于改进的多尺度协方差矩阵特征描述子的粗匹配方法 | |
| CN109886124B (zh) | 一种基于线束描述子图像匹配的无纹理金属零件抓取方法 | |
| CN104200461A (zh) | 基于互信息图像选块和sift特征的遥感图像配准方法 | |
| CN110895683B (zh) | 一种基于Kinect的单视点手势姿势识别方法 | |
| CN109766903B (zh) | 一种基于曲面特征的点云模型曲面匹配方法 | |
| CN112419497A (zh) | 基于单目视觉的特征法与直接法相融合的slam方法 | |
| CN107194984A (zh) | 移动端实时高精度三维建模方法 | |
| CN111915661B (zh) | 基于ransac算法的点云配准方法、系统及计算机可读存储介质 | |
| CN111199558A (zh) | 一种基于深度学习的图像匹配方法 | |
| CN115393519A (zh) | 一种基于红外可见光融合图像的三维重构方法 | |
| CN109784297A (zh) | 一种基于深度学习的三维目标识别与最优抓取方法 | |
| CN111739071A (zh) | 基于初始值的快速迭代配准方法、介质、终端和装置 | |
| CN111664845B (zh) | 交通标志定位、视觉地图制作方法及装置、定位系统 | |
| CN113592015B (zh) | 定位以及训练特征匹配网络的方法和装置 | |
| CN114898041A (zh) | 一种基于光度误差的改进icp方法 | |
| CN115222912A (zh) | 目标位姿估计方法、装置、计算设备及存储介质 | |
| CN106651756B (zh) | 一种基于sift和验证机制的图像配准方法 | |
| CN117237428A (zh) | 一种面向三维点云的数据配准方法、装置及介质 | |
| CN117351078A (zh) | 基于形状先验的目标尺寸与6d姿态估计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |