CN115578398A - 一种基于区域增长法的焊缝点云分割方法 - Google Patents

一种基于区域增长法的焊缝点云分割方法 Download PDF

Info

Publication number
CN115578398A
CN115578398A CN202211308441.9A CN202211308441A CN115578398A CN 115578398 A CN115578398 A CN 115578398A CN 202211308441 A CN202211308441 A CN 202211308441A CN 115578398 A CN115578398 A CN 115578398A
Authority
CN
China
Prior art keywords
point
point cloud
normal vector
points
seed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211308441.9A
Other languages
English (en)
Inventor
王念峰
傅钰
张宪民
郑永忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanji Precision Technology Guangdong Co ltd
South China University of Technology SCUT
Original Assignee
Sanji Precision Technology Guangdong Co ltd
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanji Precision Technology Guangdong Co ltd, South China University of Technology SCUT filed Critical Sanji Precision Technology Guangdong Co ltd
Priority to CN202211308441.9A priority Critical patent/CN115578398A/zh
Publication of CN115578398A publication Critical patent/CN115578398A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于区域增长法的焊缝点云分割方法，包括：对焊缝点云进行降采样；将点云离群点去除；对点云进行平滑处理；进行点云法向量重定向；基于区域增长法对点云进行分割；对分割结果进行欧式聚类，并将点数少的聚类结果舍弃。本发明提出的方法考虑了由于传感器精度问题导致的点云重建误差，能够保证对焊缝点云的分割精确性。

Description

一种基于区域增长法的焊缝点云分割方法
技术领域
本发明涉及机器视觉领域，特别涉及一种基于区域增长法的焊缝点云分割方法。
背景技术
随着三维重建技术的发展，越来越多的三维重建技术应用在工业领域。对于焊接来说，采用三维重建技术，可以较完整地获得焊缝形貌特征。三维重建后的点云，往往具有极大的数量，往往会使得点云的计算速度缓慢，这对电脑的性能提出巨大的挑战。因此，将重建后的焊缝点云进行分割，分成增材制造部分和母材部分，是提高点云计算速度、精确分析焊缝形貌特征的关键技术。
发明内容
为了克服现有技术的上述缺点与不足，本发明的目的在于提供一种基于区域增长法的焊缝点云分割方法。
本发明将重建后的焊缝点云进行分割，分成增材制造的点云部分和母材部分，进而对增材制造的点云部分进行分析，这不仅提高运算速度，还能实现对焊缝形貌的精确分析。
本发明的目的通过以下技术方案实现：
一种基于区域增长法的焊缝点云分割方法，包括：
对焊缝点云进行降采样；
去除点云离群点；
进行点云法向量重定向；
基于区域增长法对点云进行分割；
对分割结果进行欧式聚类，并将点数少的聚类结果舍弃。
进一步，所述对焊缝点云进行降采样，具体为：
遍历点云，找到焊缝点云的最大坐标值，并在该坐标值范围内将点云数据划分为多个相同大小的立方体即体素；
通过体素边长和点的坐标关系将点的索引值记录在特定的体素中，对于每一个体素，计算其内的点集中心C，对于每个体素，用C代替该体素内的所有点，实现点云降采样的目的。
进一步，采用统计滤波的方法进行离群点去除。
进一步，所述统计滤波的方法包括两次迭代，具体为：
在第一次迭代中，计算每个点到距离其最近的F个邻居点的平均距离d，并认为该距离结果近似满足高斯分布，计算这些距离的平均值μ和标准差σ，以此确定距离阈值，距离阈值等于:
dthreshold＝μ±k·σ
其中k为标准偏差的乘数；
在第二次迭代中，如果点云内所有点的平均邻域距离不在这些范围内，则它们将被认为是离群点，将被滤除。
进一步，所述进行点云法向量重定向，具体为：
采用PCA法计算点云法向量和曲率，并以原点O(x，y，z)为中心，调整法向量方向使得：
Figure BDA0003906907050000021
Figure BDA0003906907050000022
采用公式如下，对法向量方向进行调整
Figure BDA0003906907050000023
其中，pi是点云中的点，pi'是pi的邻域点，
Figure BDA0003906907050000024
是点的法向量，
Figure BDA0003906907050000025
是pi'的法向量；
Figure BDA0003906907050000026
其中θ(r)和
Figure BDA0003906907050000027
是空间的权重函数和法向量的权重，R是两点间的距离，σp是Pi的邻域半径，
Figure BDA0003906907050000028
是法向量的角度阈值。
进一步，所述基于区域增长法对点云进行分割，具体为：
对整幅点云构建kd树，计算点云法向量与曲率，初始化label值为-1，选取label值为-1的最小曲率的点作为种子点seed，加入种子点队列queue，将其labelcur置为0，对队列中的点进行最近邻搜索，比对该点和近邻点的法向量夹角，若小于夹角阈值thetath，则将该近邻点归为当前的类别；比较近邻点的曲率大小，若小于曲率阈值cth，则将该点作为种子点，继续搜索，直到所有的点被遍历完成。
进一步，对分割结果进行欧式聚类，并将点数少的聚类结果舍弃，具体为：
在点云中选取一个点，作为种子点，归为C1类，通过kd树搜索与之紧邻的点，若搜索到的点与种子点的欧几里得距离小于预设的距离阈值，则将该点也归为C1类，并将该点更新为当前种子点；
继续遍历，直到没有点满足距离阈值条件；
寻找未被归类的点，作为新的种子点，重复前两个步骤，直到所有点被分类过；
将点云数目小于某一阈值的类别去除，可得到分割后的焊缝点云。
进一步，设体素的边长为d，一幅点云可以划分成m*n*l个体素，则有如下关系：
Figure BDA0003906907050000031
进一步，去除点云离群点后还包括采用移动最小二乘法对点云进行平滑处理步骤。
工业上常见的点云分割技术主要为简单的曲面拟合或者基于母材模型的配准等方法，但由于焊接会产生热变形，因此均不适用于焊缝与母材点云的分割。
与现有技术相比，本发明具有以下优点和有益效果：
本发明采用降采样、离群点去除、移动最小二乘法和点云法向量重定向对点云进行预处理，然后基于计算出来的点云法向量和曲率采用区域增长法对点云进行分割，然后将分割后的结果采用欧氏距离聚类，将点数较少的类别进行去除，得到焊缝点云。
该方法考虑了重建点云的传感器精度问题、重建过程中的噪声问题以及焊接过程中分布在母材上的飞溅点云，同时不受焊接热变形的影响，可以实现对焊缝位置的精确定位以及分割。
附图说明
图1是本发明的工作流程图；
图2是本发明的焊缝点云体素图；
图3是本发明欧式聚类流程示意图。
具体实施方式
下面结合实施例，对本发明作进一步地详细说明，但本发明的实施方式不限于此。
本发明基于区域增长法进行点云分割，该方法是一种结合点云法向量夹角和点云曲率的深度优先搜索法，主要原理为将具有相同性质的点合并到一类。但在此之前，需要对重建的点云进行预处理，下面将详细进行说明。
如图1所示，一种基于区域增长法的焊缝点云分割方法，包括如下步骤：
S1对焊缝点云进行降采样，降低点云点数，提高运算速度；如图2，遍历点云，可以找到点云数据的最大坐标值，在这样的坐标值范围内将点云栅格化，划分为一个个大小相同的立方体(体素)。设体素的边长为d，一幅点云可以划分成m*n*l个体素，则有如下关系
Figure BDA0003906907050000041
通过体素边长和点的坐标关系可以将点的索引值记录在特定的体素中，因此，对于每一个体素栅格，计算其内的点集重心C，其中k为体素栅格内点的数量。
Figure BDA0003906907050000042
对于每个体素，用C代替该体素内的所有点，以此达到点云降采样的目的。
具体为：所述点的索引值点的索引值就是给点云中每个点一个编号，通过记录这个编号，就可以找到点云中每个独一无二的点。特定体素即某点所在位置的那个体素。
通过边长和坐标关系选取点就是将整个点云划分成等边长的一个个立方体(体素)，按照每个点的三维坐标，就可以确定这个点属于哪个体素单元。
例如按10为单位长度划分点云体素，(3，14，5)这个点就属于(0-10，10-20，0-10)这个体素单元。
S2将点云离群点去除。对整个输入进行两次迭代，在第一次迭代中，它将计算每个点到距离其最近的k个邻居点的平均距离d,并认为该距离结果近似满足高斯分布。接下来，计算这些距离的平均值μ和标准差σ，以此确定距离阈值。距离阈值等于:
dthreshold＝μ±k·σ
其中k为标准偏差的乘数。在下一次迭代中，如果这些点的平均邻域距离不在这些范围内，则它们将被认为是离群点，将被滤除。
具体地，这些点是指点云内所有的点，不在范围是指大于指定阈值。
S3采用移动最小二乘法对点云进行平滑处理。
S4进行点云法向量重定向。采用PCA法计算点云法向量和曲率，并以原点O(x，y，z)为中心，调整法向量方向使得：
Figure BDA0003906907050000051
Figure BDA0003906907050000052
采用公式如下，对法向量方向进行调整：
Figure BDA0003906907050000053
其中，pi是点云中的点，pi'是pi的邻域点，
Figure BDA0003906907050000054
是点的法向量，
Figure BDA0003906907050000055
是pi'的法向量。
Figure BDA0003906907050000056
其中θ(r)和
Figure BDA0003906907050000057
是空间的权重函数和法向量的权重。R是两点间的距离，σp是Pi的邻域半径，
Figure BDA0003906907050000058
是法向量的角度阈值。
所述重定向的目的是计算点云中每一个点的法向量，PCA具体是主成分分析法。
S5基于区域增长法对点云进行分割。
具体为：对整幅点云构建kd树，计算点云法向量与曲率，初始化label值为-1。选取label值为-1的最小曲率的点作为种子点seed，加入种子点队列queue，将其labelcur置为0。对队列中的点进行最近邻搜索。比对该点和近邻点的法向量夹角，若小于夹角阈值thetath，则将该近邻点归为当前的类别。比较近邻点的曲率大小，若小于曲率阈值cth，则将该点作为种子点，继续搜索。直到所有的点被遍历完成。
如图3所示，S6对分割结果进行欧式聚类，并将点数少的聚类结果舍弃，图3中①、②、③表示聚类的流程顺序。
具体为：
在点云中选取一个点，作为种子点，归为C1类，通过kd树搜索与之紧邻的点，若搜索到的点与种子点的欧几里得距离小于预设的距离阈值，则将该点也归为C1类，并将该点更新为当前种子点；
继续遍历，直到没有点满足距离阈值条件；
寻找未被归类的点，作为新的种子点，重复前两个步骤，直到所有点被分类过；
将点云数目小于某一阈值的类别去除，可得到分割后的焊缝点云。
所述距离阈值和归类阈值是通过整体点云密度和需要分割的目标点云个数，经过多次实验确定的，是一个经验值。
本发明提出的方法考虑了由于传感器精度问题导致的点云重建误差，能够保证对焊缝点云的分割精确性
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于区域增长法的焊缝点云分割方法，其特征在于，包括：
对焊缝点云进行降采样；
去除点云离群点；
进行点云法向量重定向；
基于区域增长法对点云进行分割；
对分割结果进行欧式聚类，并将点数少的聚类结果舍弃。
2.根据权利要求1所述的焊缝点云分割方法，其特征在于，所述对焊缝点云进行降采样，具体为：
遍历点云，找到焊缝点云的最大坐标值，并在该坐标值范围内将点云数据划分为多个相同大小的立方体即体素；
通过体素边长和点的坐标关系将点的索引值记录在特定的体素中，对于每一个体素，计算其内的点集中心C，对于每个体素，用C代替该体素内的所有点，实现点云降采样的目的。
3.根据权利要求1所述的焊缝点云分割方法，其特征在于，采用统计滤波的方法进行离群点去除。
4.根据权利要求3所述的焊缝点云分割方法，其特征在于，所述统计滤波的方法包括两次迭代，具体为：
在第一次迭代中，计算每个点到距离其最近的F个邻居点的平均距离d，并认为该距离结果近似满足高斯分布，计算这些距离的平均值μ和标准差σ，以此确定距离阈值，距离阈值等于:
dthreshold＝μ±k·σ
其中k为标准偏差的乘数；
在第二次迭代中，如果点云内所有点的平均邻域距离不在这些范围内，则它们将被认为是离群点，将被滤除。
5.根据权利要求1所述的焊缝点云分割方法，其特征在于，所述进行点云法向量重定向，具体为：
采用PCA法计算点云法向量和曲率，并以原点O(x，y，z)为中心，调整法向量方向使得：
Figure FDA0003906907040000011
Figure FDA0003906907040000012
采用公式如下，对法向量方向进行调整
Figure FDA0003906907040000021
其中，pi是点云中的点，pi'是pi的邻域点，
Figure FDA0003906907040000022
是点的法向量，
Figure FDA0003906907040000023
是pi'的法向量；
Figure FDA0003906907040000024
其中θ(r)和
Figure FDA0003906907040000025
是空间的权重函数和法向量的权重，R是两点间的距离，σp是Pi的邻域半径，
Figure FDA0003906907040000026
是法向量的角度阈值。
6.根据权利要求1所述的焊缝点云分割方法，其特征在于，所述基于区域增长法对点云进行分割，具体为：
对整幅点云构建kd树，计算点云法向量与曲率，初始化label值为-1，选取label值为-1的最小曲率的点作为种子点seed，加入种子点队列queue，将其labelcur置为0，对队列中的点进行最近邻搜索，比对该点和近邻点的法向量夹角，若小于夹角阈值thetath，则将该近邻点归为当前的类别；比较近邻点的曲率大小，若小于曲率阈值cth，则将该点作为种子点，继续搜索，直到所有的点被遍历完成。
7.根据权利要求6所述的焊缝点云分割方法，其特征在于，对分割结果进行欧式聚类，并将点数少的聚类结果舍弃，具体为：
在点云中选取一个点，作为种子点，归为C1类，通过kd树搜索与之紧邻的点，若搜索到的点与种子点的欧几里得距离小于预设的距离阈值，则将该点也归为C1类，并将该点更新为当前种子点；
继续遍历，直到没有点满足距离阈值条件；
寻找未被归类的点，作为新的种子点，重复前两个步骤，直到所有点被分类过；
将点云数目小于某一阈值的类别去除，可得到分割后的焊缝点云。
8.根据权利要求2所述的焊缝点云分割方法，其特征在于，设体素的边长为d，一幅点云可以划分成m*n*l个体素，则有如下关系：
Figure FDA0003906907040000031
9.根据权利要求1-8任一项所述的焊缝点云分割方法，其特征在于，去除点云离群点后还包括采用移动最小二乘法对点云进行平滑处理步骤。
CN202211308441.9A 2022-10-25 2022-10-25 一种基于区域增长法的焊缝点云分割方法 Pending CN115578398A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211308441.9A CN115578398A (zh) 2022-10-25 2022-10-25 一种基于区域增长法的焊缝点云分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211308441.9A CN115578398A (zh) 2022-10-25 2022-10-25 一种基于区域增长法的焊缝点云分割方法

Publications (1)

Publication Number Publication Date
CN115578398A true CN115578398A (zh) 2023-01-06

Family

ID=84587767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211308441.9A Pending CN115578398A (zh) 2022-10-25 2022-10-25 一种基于区域增长法的焊缝点云分割方法

Country Status (1)

Country Link
CN (1) CN115578398A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116030104A (zh) * 2023-03-29 2023-04-28 山东港口渤海湾港集团有限公司 点云最近邻数据结构构建方法及其系统
CN116612132A (zh) * 2023-05-25 2023-08-18 重庆茂侨科技有限公司 基于集料特征的3d点云目标分割方法
CN117291936A (zh) * 2023-11-27 2023-12-26 法奥意威(苏州)机器人系统有限公司 点云分割方法、装置、设备和介质
CN117576087A (zh) * 2024-01-15 2024-02-20 海克斯康制造智能技术(青岛)有限公司 基于点云法线的物体表面凹凸性的检测方法
CN117808703A (zh) * 2024-02-29 2024-04-02 南京航空航天大学 一种多尺度大型部件装配间隙点云滤波方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116030104A (zh) * 2023-03-29 2023-04-28 山东港口渤海湾港集团有限公司 点云最近邻数据结构构建方法及其系统
CN116030104B (zh) * 2023-03-29 2023-08-11 山东港口渤海湾港集团有限公司 点云最近邻数据结构构建方法及其系统
CN116612132A (zh) * 2023-05-25 2023-08-18 重庆茂侨科技有限公司 基于集料特征的3d点云目标分割方法
CN117291936A (zh) * 2023-11-27 2023-12-26 法奥意威(苏州)机器人系统有限公司 点云分割方法、装置、设备和介质
CN117291936B (zh) * 2023-11-27 2024-02-20 法奥意威(苏州)机器人系统有限公司 点云分割方法、装置、设备和介质
CN117576087A (zh) * 2024-01-15 2024-02-20 海克斯康制造智能技术(青岛)有限公司 基于点云法线的物体表面凹凸性的检测方法
CN117808703A (zh) * 2024-02-29 2024-04-02 南京航空航天大学 一种多尺度大型部件装配间隙点云滤波方法
CN117808703B (zh) * 2024-02-29 2024-05-10 南京航空航天大学 一种多尺度大型部件装配间隙点云滤波方法

Similar Documents

Publication Publication Date Title
CN115578398A (zh) 一种基于区域增长法的焊缝点云分割方法
CN109541997B (zh) 一种面向平面/近似平面工件的喷涂机器人快速智能编程方法
CN113298833A (zh) 目标物点云特征线面提取方法及系统
CN107622499A (zh) 一种基于目标二维轮廓模型的识别与空间定位方法
CN113628263A (zh) 一种基于局部曲率及其近邻特征的点云配准方法
CN115496746A (zh) 基于图像和点云数据融合的板材表面缺陷检测方法和系统
CN102169581A (zh) 一种基于特征向量的快速高精度鲁棒性匹配方法
CN111681300B (zh) 轮廓素描线组成的目标区域获取方法
US11941329B2 (en) Method for analyzing fuselage profile based on measurement data of whole aircraft
CN115294125B (zh) 基于图形识别的肿瘤ct图像处理方法
CN111783722B (zh) 一种激光点云的车道线提取方法和电子设备
CN108594764B (zh) 一种三角网格模型的等残留高度刀触点轨迹生成方法
CN113204871A (zh) 一种航空叶片气膜孔的识别方法、装置和系统
CN109597354A (zh) 一种三角网格模型的多约束数控加工轨迹生成方法
CN115331245A (zh) 一种基于图像实例分割的表格结构识别方法
CN116109601A (zh) 一种基于三维激光雷达点云的实时目标检测方法
CN117274167A (zh) 一种基于三维信息的成形焊缝外观缺陷提取方法
CN114325760A (zh) 基于多线激光雷达的公路隧道质检避障方法及系统
CN115147433A (zh) 点云配准方法
CN116452826A (zh) 基于机器视觉的遮挡情况下煤矸石轮廓估计方法
Wang et al. Removal of critical regions by radius-varying trochoidal milling with constant cutting forces
Takashima et al. Recognition of free-form features for finite element meshing using deep learning
Su et al. SLIBO-Net: Floorplan Reconstruction via Slicing Box Representation with Local Geometry Regularization
CN115564792A (zh) 基于八叉树区域生长的焊接路径提取方法
CN114970247A (zh) 一种面向叶盘结构的高保真有限元模型自动建模方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination