CN113205465B - 点云数据集分割方法及系统 - Google Patents

点云数据集分割方法及系统 Download PDF

Info

Publication number
CN113205465B
CN113205465B CN202110488953.7A CN202110488953A CN113205465B CN 113205465 B CN113205465 B CN 113205465B CN 202110488953 A CN202110488953 A CN 202110488953A CN 113205465 B CN113205465 B CN 113205465B
Authority
CN
China
Prior art keywords
point cloud
data set
segmentation
filtering
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110488953.7A
Other languages
English (en)
Other versions
CN113205465A (zh
Inventor
李文举
田文超
马倩文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Institute of Technology
Original Assignee
Shanghai Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Institute of Technology filed Critical Shanghai Institute of Technology
Priority to CN202110488953.7A priority Critical patent/CN113205465B/zh
Publication of CN113205465A publication Critical patent/CN113205465A/zh
Application granted granted Critical
Publication of CN113205465B publication Critical patent/CN113205465B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于图卷积滤波网络的点云数据集分割方法及系统，包括获取点云数据集；统计滤波处理所述点云数据集，以得到滤除离群点的滤波数据集；提取所述滤波数据集中的每个点的法向量特征；分类和分割处理所述法向量特征属性相同的点云，以得到点云分割数据集。本发明以图卷积提取点云特征，相比于传统体素方法，信息损失较小，同时使用图卷积网络初步完成点云分割后，结合目标图像的二维图像进一步优化分割效果，提高分割精确度。

Description

点云数据集分割方法及系统
技术领域
本发明涉及点云数据处理技术领域，尤其涉及一种基于图卷积滤波网络的点云数据集分割方法及系统。
背景技术
点云是在某个坐标系下大量点的集合，每个点都有坐标和属性，可以有效表示物体表面的信息。点云分割是将同属性的点云物体分割出来，以便于单独处理。因此，为了更好地利用点云信息，对点云进行处理和分割显得尤为重要，为点云后续的应用提供了基础。
传统的点云分割大多是模型驱动的方法，是利用输入点云进行网格化或是体素化来构建图形。模型驱动的方法计算量很大，无法检测连续的边界点，分割后需细化处理，且对噪声很敏感，鲁棒性不强。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种点云数据集分割方法及系统。
根据本发明提供的一种点云数据集分割方法，包括如下步骤：
获取点云数据集；
统计滤波处理所述点云数据集，以得到滤除离群点的滤波数据集；
提取所述滤波数据集中的每个点的法向量特征；
分类和分割处理所述法向量特征属性相同的点云，以得到点云分割数据集。
优选的，所述方法还包括如下步骤：
映射所述点云数据集成二维图像；
输入所述二维图像至目标检测框架中，以检测出所述点云数据集中的目标对象；
利用IoU标准对比检测出的所述目标对象和所述分割数据集；
取对比后的IoU平均值，找出在所述点云分割数据集中符合所述IoU平均值的点云数据，以得到进一步分割的所述点云分割数据集。
优选的，所述统计滤波处理点云数据集，以得到滤除离群点的滤波数据集的步骤还包括：
计算距离所述点云数据集中每个点云最近的K个点的平均距离；
剔除位于预设的均值和预设方差之外的点云，以得到滤除离群点的所述滤波数据集。
优选的，计算距离所述点云数据集中每个点云最近的点的距离时，采用如下公式来计算两点间的欧式距离；
其中，
wi，j是完全图G＝(V，E)中边上的权重；
完全图G是以顶点集V、边集E构成的点云的拓扑图；
(xi，yi，zi)是所述滤波数据集中的点云的坐标；
i和j为正整数。
优选的，在提取所述滤波数据集中的每个点的法向量特征时：
在完全图G上使用低阶切比雪夫多项式进行近似处理；
在近似处理时，利用低通滤波方式限定切比雪夫多项式的阶数。
优选的，利用图卷积网络进行所述法向量特征的提取。
优选的，所述的图卷积网络的其中两层中：
每一层的消息传递机制符合下列公式限定：
其中：
w(l)是权重；
x(l)是l层的输入；
x(l+1)是l层的输出；
σ是作为激活函数使用的sigmod函数。
优选的，在对所述法向量特征分类和分割处理时采用如下方式：
池化操作，
池化操作后利用Softmax逻辑回归模型进行分类；
分类操作后利用MLP模型进行分割处理，以得到点云分割数据集。
优选的，采用YOLO目标检测框对所述二维图像进行目标检测。
本发明还提供了一种点云数据集分割系统，能够用来实现前述的点云数据集分割方法的步骤。该系统包括：
数据获取模块，用于获取点云数据集；
统计滤波处理模块，用于统计滤波处理所述点云数据集，以得到滤除离群点的滤波数据集；
特征提取模块，用于提取所述滤波数据集中的每个点的法向量特征；
特征处理模块，用于分类和分割处理所述法向量特征属性相同的点云，以得到点云分割数据集。
与现有技术相比，本发明具有如下的有益效果：
1、本发明以图卷积提取点云特征，相比于传统体素方法，信息损失较小。
2、本发明在图的卷积操作中将切比雪夫多项式低阶化，在信号处理的角度来看是对拓扑图上的信息做了平滑处理，有利于降低计算量，去除噪声，提高精度。
3、本发明先对原始点云进行滤波操作，和图卷积的操作在根本意义上相似，都是对拓扑图上节点信息的平滑，这有利于减少特征提取的计算量。
4、本发明在使用图卷积网络初步完成点云分割后，结合目标图像的二维图像进一步优化分割效果，提高分割精确度。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例提供的点云数据集分割方法流程示意图；
图2为本发明实施例提供的基于ShapeNet数据集的分割效果示意图；
图3真实表示的目标对象示意图；
图4为本发明实施例提供的进一步优化分割的方法步骤示意图；
图5为本发明实施例提供的统计滤波处理点云数据集的方法步骤示意图；
图6为本发明实施例提供的点云数据集分割系统示意图；
图7为本发明实施例提供的点云分割效果对比示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
如图1所示，在本发明提供的一种点云数据集分割方法，该方法包括如下步骤：
S100：获取点云数据集；
S200：统计滤波处理所述点云数据集，以得到滤除离群点的滤波数据集；
S300：提取所述滤波数据集中的每个点的法向量特征；
S400：分类和分割处理所述法向量特征属性相同的点云，以得到点云分割数据集。
在现实环境中，由于点云数据的采集设备存在或多或少的误差，总是会在采集到的点云数据中存在一些离群点。如果使用这些离群点来构造拓扑图，会大大增加拓扑图中的节点数，从而增加计算复杂度，所以我们首先需要对点云数据进行统计滤波，从而滤除离群点。本实施例中的点云数据集可以采用Shapenet数据集(3D形状数据集)，ShapeNet数据集有16个类别(飞机，椅子，汽车等)，共16，881个形状。对这类点云数据集进行分割处理后的处理效果如图2中，而真实标记的点云数据如图3中所示。当分割后的不同部分使用不同颜色区分时，可以看到分割结果接近真实值。
本发明提供的点云数据集分割方法，相比于传统体素方法，信息损失较小。
同时，由于对原始点云进行滤波操作，是对拓扑图上节点信息的平滑，这有利于减少特征提取的计算量。
如图4所示，为了提供分割精确度，进一步优化分割效果，本发明在步骤S100-步骤S400的基础上还提供了如下优化方法：
S500：映射所述点云数据集成二维图像；
S600：输入所述二维图像至目标检测框架中，以检测出所述点云数据集中的目标对象；
S700：利用IoU(Intersection over Union，检测评价函数)标准对比检测出的所述目标对象和所述分割数据集；
S800：取对比后的IoU平均值，找出在所述点云分割数据集中符合所述IoU平均值的点云数据，以得到进一步分割的所述点云分割数据集。
其中，目标检测框可以选用YOL0(You only look once)目标检测框。
如图5所示，在进行统计滤波处理点云数据集，以得到滤除离群点的滤波数据集的步骤还包括：
S201：计算距离所述点云数据集中每个点云最近的K个点的平均距离；
S202：剔除位于预设的均值和预设方差之外的点云，以得到滤除离群点的所述滤波数据集。
根据给定均值与方差，可剔除方差之外的点。即使方差之外的点是正确的目标点，但是由于实际上这类正确的目标点太过于稀疏，带来的信息也会很少，被剔除后并不会给整个数据集带来明显影响。
在得到滤除离群点的滤波数据集之后，可以设滤波数据集中的点云数据n为点的数量，Pi是点云中的一点，具有坐标(xi，yi，zi)。如此，在计算距离所述点云数据集中每个点云最近的点的距离时，可以采用如下公式来计算两点间的欧式距离；
其中，
wi，j是完全图G＝(V，E)中边上的权重；
完全图G是以顶点集v、边集E构成的点云的拓扑图；
(xi，yi，zi)是所述滤波数据集中的点云的坐标；
i和j为正整数。
对于拓扑图G，构成这样一个完全图，能最大限度地传播整个图上的特征。虽然完全图会将两个看似无关的点相连，但是这样的边权重会很低。设A是大小为n×n的带权邻接矩阵，D为度矩阵，是一个对角矩阵(即只有对角线元素不为0)，
进一步，在提取滤波数据集中的每个点的法向量特征时还可以通过如下方式进行近似处理：
在完全图G上使用低阶切比雪夫多项式进行近似处理；
在近似处理时，利用低通滤波方式限定切比雪夫多项式的阶数。
当然，本实施例中可以利用图卷积网络进行法向量特征的提取。而这里的图卷积网络可以有两层。每一层的消息传递机制符合下列公式限定：
其中：
w(l)是权重；
x(l)是l层的输入；
x(l+1)是l层的输出；
σ是作为激活函数使用的sigmod函数。
由于图卷积无法像CNN那样叠加多层是因为，层数过多会使每个点的嵌入(embedding)较相近，造成过度平滑，后续分类工作无法进行。
本实施例中利用分类器进行分类和分割处理时可以采用如下方式：
首先进行池化(Maxpolling)操作，然后利用Softmax逻辑回归模型进行分类；进而可以利用MLP(多层感知机，Multilayer Perceptron)模型进行分割处理，以得到点云分割数据集。
如图6所示，本发明一实施例还提供了一种点云数据集分割系统，用于实现前面所述的点云数据集分割方法的各个步骤。该系统包括：
数据获取模块，用于获取点云数据集；
统计滤波处理模块，用于统计滤波处理所述点云数据集，以得到滤除离群点的滤波数据集；
特征提取模块，用于提取所述滤波数据集中的每个点的法向量特征；
特征处理模块，用于分类和分割处理所述法向量特征属性相同的点云，以得到点云分割数据集。
在图7中，纵坐标数值表示精确度，横坐标表示数值高斯噪声大小，还可以看出，加入噪声后的精度曲线，可以看到随着噪声的增大，本发明的模型(实线，而虚线表示现有技术的精确度曲线)仍然保持了一定的精度，这是因为点云滤波和图卷积去除了大量的噪声，提高了构图的精度，从而增加了模型的鲁棒性。
通过上述说明可知，本发明以图卷积提取点云特征，相比于传统体素方法，信息损失较小；在图的卷积操作中将切比雪夫多项式低阶化，在信号处理的角度来看是对拓扑图上的信息做了平滑处理，有利于降低计算量，去除噪声，提高精度。而且本发明先对原始点云进行滤波操作，和图卷积的操作在根本意义上相似，都是对拓扑图上节点信息的平滑，这有利于减少特征提取的计算量。最后，在使用图卷积网络初步完成点云分割后，结合目标图像的二维图像进一步优化分割效果，提高分割精确度。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (6)

1.一种点云数据集分割方法，其特征在于，包括如下步骤：
获取点云数据集；
统计滤波处理所述点云数据集，以得到滤除离群点的滤波数据集；
提取所述滤波数据集中的每个点的法向量特征；
分类和分割处理所述法向量特征属性相同的点云，以得到点云分割数据集；
还包括如下步骤：
映射所述点云数据集成二维图像；
输入所述二维图像至目标检测框架中，以检测出所述点云数据集中的目标对象；
利用IoU标准对比检测出的所述目标对象和所述分割数据集；
取对比后的IoU平均值，找出在所述点云分割数据集中符合所述IoU平均值的点云数据，以得到进一步分割的所述点云分割数据集；
在提取所述滤波数据集中的每个点的法向量特征时的步骤还包括：
在完全图G上使用低阶切比雪夫多项式进行近似处理；
在近似处理时，利用低通滤波方式限定切比雪夫多项式的阶数；利用图卷积网络进行所述法向量特征的提取；
所述的图卷积网络的其中两层中：
每一层的消息传递机制符合下列公式限定：
其中：
w(l)是权重；
x(l)是l层的输入；
x(l+1)是l层的输出；
σ是作为激活函数使用的sigmod函数；
A是大小为n×n的带权邻接矩阵，n为点的数量；
D为度矩阵，是一个对角矩阵。
2.根据权利要求1所述的点云数据集分割方法，其特征在于，所述统计滤波处理点云数据集，以得到滤除离群点的滤波数据集的步骤还包括：
计算距离所述点云数据集中每个点云最近的K个点的平均距离；
剔除位于预设的均值和预设方差之外的点云，以得到滤除离群点的所述滤波数据集。
3.根据权利要求2所述的点云数据集分割方法，其特征在于，计算距离所述点云数据集中每个点云最近的点的距离时，采用如下公式来计算两点间的欧式距离；
其中，
wi,j是完全图G＝(V,E)中边上的权重；
完全图G是以顶点集V、边集E构成的点云的拓扑图；
(xi,yi,zi)是所述滤波数据集中的点云的坐标；
i和j为正整数。
4.根据权利要求1所述的点云数据集分割方法，其特征在于，在对所述法向量特征分类和分割处理时采用如下方式：
池化操作，
池化操作后利用Softmax逻辑回归模型进行分类；
分类操作后利用MLP模型进行分割处理，以得到点云分割数据集。
5.根据权利要求1所述的点云数据集分割方法，其特征在于，采用YOLO目标检测框对所述二维图像进行目标检测。
6.一种点云数据集分割系统，其特征在于，用于实现权利要求1至5中任意一项所述的点云数据集分割方法的步骤；所述系统包括：
数据获取模块，用于获取点云数据集；
统计滤波处理模块，用于统计滤波处理所述点云数据集，以得到滤除离群点的滤波数据集；
特征提取模块，用于提取所述滤波数据集中的每个点的法向量特征；
特征处理模块，用于分类和分割处理所述法向量特征属性相同的点云，以得到点云分割数据集。
CN202110488953.7A 2021-04-29 2021-04-29 点云数据集分割方法及系统 Active CN113205465B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110488953.7A CN113205465B (zh) 2021-04-29 2021-04-29 点云数据集分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110488953.7A CN113205465B (zh) 2021-04-29 2021-04-29 点云数据集分割方法及系统

Publications (2)

Publication Number Publication Date
CN113205465A CN113205465A (zh) 2021-08-03
CN113205465B true CN113205465B (zh) 2024-04-19

Family

ID=77030046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110488953.7A Active CN113205465B (zh) 2021-04-29 2021-04-29 点云数据集分割方法及系统

Country Status (1)

Country Link
CN (1) CN113205465B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117378204A (zh) * 2021-08-12 2024-01-09 Oppo广东移动通信有限公司 点云编解码方法、编码器、解码器及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019100647A1 (zh) * 2017-11-21 2019-05-31 江南大学 一种基于rgb-d相机的物体对称轴检测方法
WO2019174236A1 (zh) * 2018-03-14 2019-09-19 浙江大学 一种基于ViBe的三维声纳点云图像分割方法
CN110264468A (zh) * 2019-08-14 2019-09-20 长沙智能驾驶研究院有限公司 点云数据标注、分割模型确定、目标检测方法及相关设备
CN110838122A (zh) * 2018-08-16 2020-02-25 北京大学 点云的分割方法、装置及计算机存储介质
CN111028238A (zh) * 2019-12-17 2020-04-17 湖南大学 一种基于机器人视觉的复杂异形曲面三维分割方法及系统
CN111583263A (zh) * 2020-04-30 2020-08-25 北京工业大学 一种基于联合动态图卷积的点云分割方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019100647A1 (zh) * 2017-11-21 2019-05-31 江南大学 一种基于rgb-d相机的物体对称轴检测方法
WO2019174236A1 (zh) * 2018-03-14 2019-09-19 浙江大学 一种基于ViBe的三维声纳点云图像分割方法
CN110838122A (zh) * 2018-08-16 2020-02-25 北京大学 点云的分割方法、装置及计算机存储介质
CN110264468A (zh) * 2019-08-14 2019-09-20 长沙智能驾驶研究院有限公司 点云数据标注、分割模型确定、目标检测方法及相关设备
CN111028238A (zh) * 2019-12-17 2020-04-17 湖南大学 一种基于机器人视觉的复杂异形曲面三维分割方法及系统
CN111583263A (zh) * 2020-04-30 2020-08-25 北京工业大学 一种基于联合动态图卷积的点云分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张新良 ; 付鹏飞 ; 赵运基 ; 谢恒 ; 王琬如 ; .融合图卷积和差异性池化函数的点云数据分类分割模型.中国图象图形学报.2020,(第06期),全文. *

Also Published As

Publication number Publication date
CN113205465A (zh) 2021-08-03

Similar Documents

Publication Publication Date Title
WO2024077812A1 (zh) 基于点云语义分割与结构拟合的单体建筑三维重建方法
CN108596053B (zh) 一种基于ssd和车辆姿态分类的车辆检测方法和系统
CN108596961B (zh) 基于三维卷积神经网络的点云配准方法
CN110334762B (zh) 一种基于四叉树结合orb和sift的特征匹配方法
WO2023193401A1 (zh) 点云检测模型训练方法、装置、电子设备及存储介质
CN111160407B (zh) 一种深度学习目标检测方法及系统
CN110930387A (zh) 基于深度可分离卷积神经网络的织物疵点检测方法
CN110796616B (zh) 基于范数约束和自适应加权梯度的湍流退化图像恢复方法
CN102169581A (zh) 一种基于特征向量的快速高精度鲁棒性匹配方法
CN114998890B (zh) 一种基于图神经网络的三维点云目标检测算法
CN110490915B (zh) 一种基于卷积受限玻尔兹曼机的点云配准方法
CN107967675B (zh) 一种基于自适应投影移动最小二乘的结构化点云去噪方法
CN113888461A (zh) 基于深度学习的小五金件缺陷检测方法、系统及设备
CN110706256A (zh) 一种基于多核异构平台的检测跟踪算法优化方法
CN113971669A (zh) 应用于管道损伤识别的三维检测系统
CN113205465B (zh) 点云数据集分割方法及系统
CN115482268A (zh) 一种基于散斑匹配网络的高精度三维形貌测量方法与系统
CN114155406A (zh) 一种基于区域级特征融合的位姿估计方法
CN117315518A (zh) 一种增强现实目标初始注册方法及系统
CN112200831A (zh) 一种基于动态模板的密集连接孪生神经网络目标跟踪方法
CN109816710B (zh) 一种双目视觉系统高精度且无拖影的视差计算方法
Shui et al. Automatic planar shape segmentation from indoor point clouds
CN106652048B (zh) 基于3d-susan算子的三维模型感兴趣点提取方法
CN118196762B (zh) 三维占据任务动静态真值稠密生成方法
CN118675213B (zh) 一种ai面部关键点自动识别系统及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant