CN117292181A - 基于3d点云处理的钣金件孔组分类及全尺寸测量方法 - Google Patents

基于3d点云处理的钣金件孔组分类及全尺寸测量方法 Download PDF

Info

Publication number
CN117292181A
CN117292181A CN202311219754.1A CN202311219754A CN117292181A CN 117292181 A CN117292181 A CN 117292181A CN 202311219754 A CN202311219754 A CN 202311219754A CN 117292181 A CN117292181 A CN 117292181A
Authority
CN
China
Prior art keywords
point cloud
data
point
hole
sheet metal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311219754.1A
Other languages
English (en)
Inventor
刘思远
李虹霖
张云辉
王艳皓
赵雪微
李昳娴
孟祥瑞
孔柯楠
任真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202311219754.1A priority Critical patent/CN117292181A/zh
Publication of CN117292181A publication Critical patent/CN117292181A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/08—Measuring arrangements characterised by the use of optical techniques for measuring diameters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Nonlinear Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于3D点云处理的钣金件孔组分类及全尺寸测量方法，属于机器视觉测量技术领域。首先通过线扫描摄像机对已加工的钣金覆盖件进行扫描，获取点云数据，并针对原始点云数据进行预处理，其中包括降采样、滤波以及分割。之后针对预处理后的点云进行边界点提取，并采用基于密度的聚类算法对圆孔等数据进行单独存储。接着基于统计学设立数据点与该数据集质心距离的方差阈值，完成对数据的分类并赋予相应标签。最后根据标签类型采用相应的拟合算法，实现了圆孔孔径与位置度测量和腰形孔全尺寸测量。本发明在保证测量精度的基础上，首次提出了腰形孔的非接触测量模型，并实现了圆孔与腰形孔及噪声的自动分类，显著提高了孔组全尺寸测量效率。

Description

基于3D点云处理的钣金件孔组分类及全尺寸测量方法
技术领域
本发明涉及计算机视觉相关技术领域，特别涉及机器视觉测量技术领域，尤指一种基于3D点云处理的钣金件孔组分类及全尺寸测量方法。
背景技术
钣金件被广泛应用于汽车以及航空航天等领域。由于其生产的特点，即加工速度快、生产批量大，很难实现钣金件尺寸的在线监测。而其通过冲裁形成的关键孔的尺寸与位置度在装配配合阶段起到了重要的作用。传统生产线采用的人工抽检效率低、误差较大且无法实现全检。
随着计算机科学的进步，以光学以及机器视觉技术为基础的非接触测量不断发展。三维点云处理技术的不断进步以及硬件性能的不断提高，使得通过三维信息进行在线非接触测量成为可能。三维信息常见的表达方式有空间网格、点云以及体素等，当点云密度较大时物体的三维形貌信息便可以被精确地描述出来。目前获取点云的方式分为主动测量和被动测量，被动测量即只通过摄像机获取采集物体图像并经由图像处理相关算法完成测量得到结果，该方法的测量精度受环境影响较大。而主动测量方法一般是利用特殊人造光源如激光器和摄像机组成的测量系统获得物体表面三维信息。
目前，关于腰形孔与圆形孔的自动分类与测量相关技术很少，且多数方法仅测量了圆孔的孔径，并没有测量出空间的位置信息。针对腰型孔的测量目前多数技术停留在二维，且由于腰形孔需要确定两半圆的圆心位置进而求得孔的尺寸信息，造成了人工无法精确测量以及效率较低的问题。
发明内容
本发明的目的在于提供一种基于3D点云处理的钣金件孔组分类及全尺寸测量方法，从根本上解决传统接触测量效率低下、无法在线测量以及精度低的问题，改善冲压大批量生产过程中漏检错检的问题。本发明使用线扫描相机对已加工完成的薄壁钣金件进行扫描，获取其三维点云，获得其几何及尺寸特征；基于已获得的点云进行点云的去噪，其过程包括直通滤波、统计滤波和区域生长分割算法，对点云进行去噪处理后可以有效去除环境背景点云、边缘由反光造成的误差点以及空间离群点。针对经过处理后的点云，通过体素滤波完成降采样，从而提升后续处理的算法效率。针对经过降采样的点云，通过角度判断准则(Angle Criterion)完成边界点的提取，提取后的边界点包含钣金覆盖件外轮廓、内部圆孔以及腰形孔；对提取后的边界点云进行基于基于密度的聚类算法(Density-Based SpatialClustering of Applications with Noise)，可单独将孔作为独立点云数据存储在容器中。为了完成对圆孔以及腰形孔的分类，本发明依据统计学方法设立了方差阈值，通过方差阈值的设定可以将独立的点云数据进行自动分类。其会被分为噪声、圆孔、腰形孔三类，通过对容器内数据的遍历逐一进行筛选并给予标签。针对圆孔拟合，采用基于随机采样一致性(RANSAC)的最小二乘空间圆拟合，经过拟合后可得到薄壁钣金件上圆孔的圆心位置空间坐标，即位置度和圆孔的直径。针对腰形孔拟合则分为两步：首先经过RANSAC完成空间两直线的拟合，求解空间中腰形孔两直边的空间方程后确定其内点，获得点云。求解其中一条直线上的内点到另一条空间直线的距离并求其平均值，便可以得到腰形孔的孔宽。随后，依据点云索引剔除对应点云，并对剩余的两半圆弧分别进行基于RANSAC的最小二乘空间圆拟合，求得的两圆圆心空间坐标距离与上述求解的孔宽之和便为腰形孔孔长。至此便完成了钣金件孔组分类及全尺寸测量。
本发明的上述目的通过以下技术方案实现：
基于3D点云处理的钣金件孔组分类及全尺寸测量方法，利用点云处理传统算法，实现了钣金件孔组分类及全尺寸测量，其具体过程包括下列步骤：
步骤1)安装线扫描设备并获取点云；
1.1)钣金覆盖件以规定速度在传送带上移动并通过线扫描视场范围区域；
1.2)使用经过标定校准后的线扫描仪获得钣金覆盖件实时点云，并将其存储在设备硬盘中；
步骤2)对获取的钣金覆盖件点云进行遍历，实施去噪以及降采样，获得数据量较原始点云小5～10倍且数据噪声较原始点云少的点云，以便为后续算法提高运行效率；
步骤3)提取处理后的点云边界，并通过聚类方法将边界点云中各孔数据和噪声数据进行独立存储；根据数据方差阈值对圆孔、腰形孔以及噪声进行分类并给予标签；
步骤4)剔除具有噪声标签的点云数据，并针对圆孔、腰形孔分别进行拟合，完成全尺寸测量；其中圆孔采用基于空间圆的随机采样一致性最小二乘法拟合，完成圆孔孔径以及位置度测量；针对腰形孔两直边采用随机采样一致性空间直线拟合，并根据索引剔除直线部分,其余两圆弧分别进行基于空间圆的随机采样一致性最小二乘拟合。
步骤2)是对获取的不同钣金覆盖件点云进行遍历、实施去噪以及降采样，具体步骤如下：
2.1)首先，获取的点云经由直通滤波器去除背景点云以及过度偏离待测零件的点云，在大幅度减少点云数据量的同时初步对点云数据进行筛选；
2.2)通过体素滤波完成对点云的降采样，经由线扫描仪获取的点云密度过大，为了能够减少算法的运行时间并实现在线监测，需对点云完成降采样；经由体素滤波降采样后的点云，在保留原有几何特征的同时能够减小数据量；
2.3)通过统计滤波去除点云数据中明显的离群点，离群点的特征往往表现为在空间中分布稀疏，通过计算统计点与其周围点的平均距离并构建高斯分布，并给定阈值便可以剔除离群点；
2.4)在扫描过程中由于反射以及反光会造成在边缘处出现垂直于表面的点云，通过使用区域生长分割算法，给定平滑参数以及曲率半径，可完成对点云数据不同区域的分割，最终获得噪点相对步骤(2.3)更少的钣金覆盖件表面点云数据。
步骤3)是提取点云数据边界，聚类并单独存储各孔缘点云，依据方差阈值给定标签，具体步骤如下：
3.1)给定邻域范围，通过Kdtree加速并使用主成分分析求解点云法向量信息；
3.2)依据点云已有法向量信息，通过角度判断准则(Angle Criterion)提取边界点；
3.3)针对提取边界点的数据，利用基于密度的聚类算法(Density-Based SpatialClustering of Applications with Noise)进行处理，从而分割存在空间距离的各孔并单独完成存储；依据点数量阈值上限将点数最多的外廓去除，依据点数量阈值下限剔除计算错误的零散边界；
3.4)对单独存储的数据进行遍历，统计各点与质心间的距离并求解分布方差；依据方差特性给定相应阈值；
3.5)根据方差阈值对腰形孔、圆孔以及噪声完成分类并给定对应标签。
步骤4)是针对不同的数据标签类型，带入不同算法模型中进行拟合求解，具体步骤如下：
4.1)根据点云标签差异，将点云数据输入对应的算法模型；
4.2)标签为圆孔时，采用基于随机采样一致性(RANSAC)的最小二乘空间圆拟合；经过该算法求解得到的空间圆方程受误差点干扰较直接采用最小二乘拟合更小，最终根据拟合结果可以得到圆孔的直径以及圆心坐标；特征即包含了圆孔的几何与位置信息；
4.3)标签为腰形孔时，首先采用空间直线的随机采样一致性方法进行拟合，得到两空间直线方程；选取其中一条直线，根据给定阈值得到该方程下的内点并获取其索引；遍历内点，求解内点至空间直线的距离并计算其平均值，该平均值则为腰形孔的孔宽；剔除两空间直线附近的点，剩余点云为两半圆弧；针对两半圆弧分别采用基于随机采样一致性(RANSAC)的最小二乘空间圆拟合，求解出两半圆弧的圆心坐标以及半径值，两圆心坐标距离与两半圆弧半径之和便为腰形孔孔长；
4.4)标签为噪声时，则将该部分数据清空并释放内存空间。
本发明的有益效果在于：
1、本发明首先使用线扫描摄像机对已加工的钣金覆盖件进行扫描并获取点云数据，对原始点云数据进行预处理，包括降采样、滤波以及分割。针对预处理后的点云进行边界点提取，并采用基于密度的聚类算法对圆孔等数据进行单独存储。基于统计学设立数据点与该数据集质心距离方差的阈值，完成对数据的分类并赋予相应标签。最后依据标签类型采用相应的拟合算法，实现了圆孔孔径与位置度测量、腰形孔全尺寸测量。本发明在保证测量精度的基础上，首次提出了腰形孔的非接触测量模型并实现了圆孔与腰形孔及噪声的自动分类，显著提高了孔组全尺寸测量效率。
2、本发明相较于传统的接触式测量方法，显著提高了测量的效率，降低了钣金覆盖件孔组测量成本；与其他非接触测量方法相比，本发明首次实现了孔组尺寸的在线检测。
3、本发明采用传统三维点云算法，测量方法占用资源较少，运行与维护成本较低。
4、本发明适用领域可扩充至汽车箱体、航空钣铆结构中多孔结构，可拓展范围较大。
5、本发明相较于已有的非接触测量孔径开创式地给出了腰形孔的测量方法，并通过对数据的分类，集成式地完成了多孔结构的尺寸测量。并且得益于点云数据格式，可以轻松得到结构的位置度信息。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明的基于3D点云处理的钣金件孔组分类及全尺寸测量方法的流程示意图；
图2为获取的钣金件点云，其灰度信息与高度信息成正比，即Z高度越高，其灰度色彩越趋近于白色；
图3为本发明中经过降采样以及滤波后的点云；
图4为本发明中提取到的边缘点；
图5为本发明中设定阈值后聚类结果，不同类别其灰度值不同；
图6为不同几何形状其点与质心距离分布的方差阈值分类原理；
图7为基于随机采样一致性(RANSAC)的最小二乘空间圆拟合示意流程图；
图8为基于已知腰形孔单边直线方程求解孔宽度示意图。
具体实施方式
下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
由于主动测量鲁棒性较好且受到外界环境影响较少，故本发明所采用的点云便是基于主动测量获得。经由传统的点云处理算法完成对钣金覆盖件孔组的分类以及全尺寸测量，该方法大大提高了测量精度与测量效率，并且不会对零件本身造成由于接触导致的变形及损伤。
参见图1至图8所示，本发明的基于3D点云处理的钣金件孔组分类及全尺寸测量方法，可以高效率、自动化在线测量圆孔以及腰形孔的几何尺寸与位置度。不仅首次实现了腰形孔的非接触测量，还可针对数据统计学特征进行自动分类。从根本解决了传统接触测量导致的效率低下无法在线测量以及精度低的问题，改善了冲压大批量生产过程中漏检错检的问题。首先通过线扫描相机获取已加工钣金件点云数据，并针对原始数据进行预处理；其次针对预处理后的数据进行边界点提取，针对边界点进行密度聚类，对空间上独立的孔进行单独存储。对单独存储的点云数据进行遍历，统计各数据集中点到质心的距离并求解分布方差，依据方差特性设定相应阈值，完成对圆孔与腰形孔的自动分类并赋予标签。最后根据标签类型的不同，放入不同的模型中进行求解，当数据被判定为圆孔时采用基于随机采样一致性(RANSAC)的最小二乘空间圆拟合求解圆孔的尺寸与位置度；当数据被判定为腰形孔时首先进行基于空间直线的随机采样一致性最小二乘拟合，完成腰形孔两直边方程求解，遍历其中一条直线上的内点并求其至另一条直线的距离进而求得腰形孔宽，剔除直线模型内点数据并针对剩余点分别进行基于空间圆的随机采样一致性(RANSAC)最小二乘拟合，求解出两半圆弧的圆心坐标以及半径值，两圆心坐标距离与两半圆弧半径之和便为腰形孔孔长；当数据为噪声时则进行剔除。
实施例
本实施例提供一种基于3D点云处理的钣金件孔组分类及全尺寸测量方法，主要结合了3D点云传统算法中的直通滤波技术、统计滤波技术、自动生长分割技术、角度判断准则判断边界点等技术，完成了钣金件孔组分类及全尺寸测量。针对车身覆盖钣金件孔组测量其技术路线图见图1，具体过程包括下列步骤：
步骤(1)安装线扫描设备并获取点云。
步骤(1.1)钣金覆盖件在传送带上以规定速度移动并通过线扫描视场范围区域。
在本实施例中，依据钣金覆盖件放置在线扫描设备近视场中精度相较于放置于远视场中较高的原理，将承载钣金件的传送带布置在合适高度并以平稳姿态放置钣金件。考虑钣金覆盖件的体积同时为了保障扫描精度，将传送带运行速度设置为30mm/s，使得钣金覆盖件匀速通过线扫描设备的最佳视场范围。
步骤(1.2)经过标定校准后的线扫描仪获得钣金覆盖件实时点云并存储在设备硬盘中。
为了消除由于畸变导致的误差，对线扫描设备进行标定，且为了将获取的点云数据从相机坐标系转换为世界坐标系，需对线扫描设备进行校准，直至传送带平面平行于XOY平面且Z坐标为0。根据钣金覆盖件的反光情况设定合理的传感器曝光时间并启动扫描，并将扫描后的原始点云存储在设备硬盘中，原始点云数据见图2所示。
步骤(2)对获取的钣金覆盖件点云进行遍历，经过去噪以及降采样获得数据量相对较小且数据噪声较少的点云，以便为后续算法提高运行效率。
步骤(2.1)首先点云经由直通滤波器去除背景点云以及过度偏离待测零件的点云，大幅度减少点云数据量的同时实现对点云数据的初步筛选。
直通滤波即使得指定频率范围内的信号通过，剔除范围外的信号。在点云中直观表现为对XYZ任一维度指定范围外的点云数据进行剔除，从而去除背景点云及由于反射造成的错误生成点，实现对点云原始数据的筛选。其给定区间范围可以根据已获得的数据进行设置，完成设置后在传感器与步骤(1.1)所述传送带相对位置不变的情况下便可延续使用。
步骤(2.2)通过体素滤波完成对点云的降采样，经由线扫描仪获取的点云密度较大，为了减少算法的运行时间并实现在线监测，需对点云完成降采样。经由体素滤波降采样后的点云，其在保留原有几何特征的同时能够降低数据量。
在本实例中经过步骤(2.1)直通滤波处理后的点云数量为1400万，庞大的点云数据对硬件、算法、运行时间的压力无疑是巨大的。为了在提高运算效率、降低运算量的同时保持结构原有几何特性，本发明采用体素滤波完成对点云数据的降采样。体素滤波简要实现原理如下：首先根据点云确定其数据在X、Y、Z三个维度的最大值xmax、ymax、zmax与最小值xmin、ymin、zmin并计算其最小包围盒边长lx、ly、lz。
设置体素栅格边长r，将X、Y、Z三坐标轴等分为L、M、N份。L、M、N计算原则见式(2)，其中为向下取整，本实施例中体素栅格选择为0.25。
对每个体素栅格进行编号(i,j,k)，确认每一个点(xi,yi,zi)其所属的体素栅格，编号流程如下：
最终使用每一个体素栅格内点云重心或离重心最近的数据点代替该栅格内的所有点，从而完成数据的降采样，体素栅格边长选择越大则处理后的点云数据量越小，几何特征丢失越严重。为了更好地保留原有的数据，可以采用距离体素栅格重心最近的点来替代体素栅格内的点云数据，其原因在于该数据点相较于直接使用重心替代，其数据值没有发生变动。
步骤(2.3)通过统计滤波去除点云数据中明显的离群点，离群点的特征往往表现为在空间中分布稀疏且离散，通过统计点与其周围点的平均距离并构建高斯分布，通过给定阈值便可以剔除离群点；
针对经步骤(2.2)处理后点云数据，仍然在空间接近钣金件点云附近存在离散且稀疏的点无法剔除。本发明通过引入统计滤波针对稀疏离散点进行处理，统计滤波的基本原理如下。
统计滤波假设，点云中点的距离满足高斯分布。其分布由均值μ及标准差σ决定，统计滤波的主要思想为统计点pi与其邻域任意点pj求解距离dis：
dis＝||pi-pj|| (4)
并求解距离的均值与标准差，其中n为样本点数量：
通过设定搜索范围以及标准差系数即可完成对离群点的剔除，本实施例中标准差系数选择为2。
步骤(2.4)在扫描过程中由于反射以及反光会造成在边缘处出现垂直于表面的点云，通过使用区域生长分割算法，给定平滑参数以及曲率半径完成对点云数据不同区域的分割，最终即可获得噪声相对较少的钣金覆盖件表面点云数据；
针对点云中垂直于空圆切平面的由于反射造成的噪声，本发明采用区域生长分割算法进行剔除，该算法通过设定种子点，并依据邻域点同种子点连线与种子点法线夹角作为平滑值，当计算结果小于设定的平滑阈值，该邻域便被加入到聚类区域之中。通过计算邻域点的曲率并将其与已设定的曲率阈值相比较，若小于给定阈值则将该点加入空的种子点序列，直至完成初始邻域点判断之后，删除种子点并在种子点序列中重新选择种子点并重复上述步骤，直至种子点序列置空，则一个聚类区域完成生成。最初种子点的选择与曲率相关，选择的种子点曲率为点集中曲率最小的点。本实施例中曲率阈值设置为10，平滑阈值设置为80通过上述步骤(2)最终去噪的效果见图3所示。
步骤(3)提取处理后的点云边界，并通过聚类方法将边界点云中各孔数据以及噪声数据进行独立存储。依据数据方差阈值对圆孔、腰形孔以及噪声进行分类并给予标签。
步骤(3.1)给定邻域范围通过Kdtree加速并使用主成分分析求解点云法向量信息；
为了为步骤(3.2)提供法向信息，需对处理后的点云进行法向信息计算。具体思路为通过Kdtree进行邻域点索引，并经过最小二乘法拟合局部平面，局部平面的方向向量可以通过主成分分析求得。
步骤(3.2)依据点云已有法向量信息通过角度判断准则(Angle Criterion)提取边界点；
角度判断准则进行边界点判定的基本思路为选定一点p，确定该点的切平面并将邻域点向该平面进行投影。以p为中心按照固定方向进行旋转搜寻，将搜寻到的点与p点进行连线并求解邻近连线之间的夹角。通过遍历邻域后便可以获得一系列夹角θ。
θ＝{θ1,θ2,....,θn} (7)
其中n＝邻域点数-1。
在夹角中寻找其中的最大值并与设定的角度阈值进行对比，若大于设定阈值ξ则判定该点为边界点，本实施例中阈值ξ选择为1.88496。
θmax＞ξ (8)
最终获得的点云边界点见图4所示。
步骤(3.3)针对提取边界点的数据进行基于基于密度的聚类算法(Density-BasedSpatial Clustering of Applications with Noise)的处理，从而分割存在空间距离的各孔并单独完成存储。依据点数量阈值上限将点数较多的外廓去除，依据点数量阈值下限将计算错误的零散边界剔除；
为了便于后续步骤对数据进行模型分类以及拟合，且基于孔缘点云在空间上类内聚集、类间离散的特点。本发明使用基于密度的聚类算法完成对孔的信息单独存储，以便后续进行遍历。
该算法依据密度连通性进行聚类，抵御形状干扰能力强。在应用前不需要预先设定好聚类的数量，当输入的钣金件孔洞数量未知时有较好的鲁棒性，且针对非线性数据有较好的分类结果。算法需要提供邻域点半径以及邻域点最小数目阈值，当该点半径范围内满足最小数目阈值时其被定义为核心点。核心点通过迭代搜寻密度可达的对象并对其进行合并，直至没有点可以被添加到该簇中时该聚类过程结束，继续寻找新的核心点循环上述过程。本实施例中邻域点半径选择为3.7mm，邻域点最小数目阈值选择为20。
经过边缘提取的点云中包含数据量较大的外轮廓，以及由于反光造成沟壑位置数据丢失导致的边缘错误提取点云。外轮廓由于点数远超孔缘点数量，通过设定聚类内点上限便可成功剔除。而针对数据量远小于孔缘点的类型便可通过聚类过程中设定内点下限进行剔除。最终聚类结果见图5所示，不同灰度值代表不同的聚类。其中被聚类的数据类型包括有圆孔、腰形孔以及噪声。
步骤(3.4)对单独存储的数据进行遍历，统计各点到质心的距离并求解分布方差。依据方差特性给定相应阈值；
为了自动区分步骤(3.3)中聚类结果的数据类型，本发明通过设立数据点与其质心距离分布方差的阈值进行判别。考虑到数据形状及其空间分布特性，到质心距离的离散程度规律可以概括为：噪声类大于腰形孔类，腰形孔类大于圆孔类。最终通过对三类数据的遍历，其各自数据类型分布直方图见图6所示。
步骤(3.5)根据方差阈值对腰形孔、圆孔以及噪声完成分类并给定相应标签；
通过计算不同数据的方差分布情况，将阈值区间内的数据进行分类。并给定标签，便于后续步骤算法模型的自动判别。
步骤4)针对不同的数据标签类型代入不同算法模型中进行拟合求解，具体步骤如下：
步骤(4.1)根据点云标签差异，将点云数据输入相应的算法模型；
通过IF语句将不同的数据类型置入相应的算法模型。
步骤(4.2)标签为圆孔时，采用基于随机采样一致性(RANSAC)的最小二乘空间圆拟合。经过该算法求解得到的空间圆方程受误差点干扰较小，最终根据拟合结果可以得到圆孔的直径以及圆心坐标。该特征即包含了圆孔的几何与位置信息。
由于直接应用最小二乘拟合会导致最终拟合模型受到外点影响，故本发明通过引入RANSAC思想避免该问题发生。相较于传统二维相机非接触测量孔径，本发明由于使用空间圆拟合，可以更精确地获得倾斜表面圆孔的位置度信息。
其实现的具体流程见图7所示，RANSAC中需依据经验选择三个参数，分别为采样点数量n、内点判定距离阈值t以及内点占比值d。采样点数量n为每次迭代用来求解模型参数的数据点，内点判定距离阈值t用于将已求解模型指定范围内的点纳入内点用于后期模型质量评估，内点占比值d则为认定模型及参数较好的最少内点数量值。迭代次数k可根据如下公式进行计算。
其中：p表示RANSAC算法结果有用的概率，w表示数据为内点集的概率，其满足式(10)：
1-p＝(1-wn)k (10)
本实施例中最大迭代次数设置为100，距离阈值设置为0.2mm。
本流程中所需求解的空间圆可通过一个平面方程与一个球面方程联立。表示见式(11)，即需知道圆心坐标、半径以及空间圆平面法向向量。
式中A、B、C、D为平面方程系数，R为球半径。(x,y,z)为样本点坐标，(x0,y0,z0)为球心坐标。
该模型通过最小二乘法估计空间方程系数并不断迭代求得最优解。
本实施例中视游标卡尺测量结果为真值。与游标卡尺测量结果对比，其平均误差为0.05mm。
步骤(4.3)标签为腰形孔时，首先采用空间直线的随机采样一致性方法进行拟合，得到两空间直线方程。选取其中一条直线，根据给定阈值得到该方程下的内点并获取其索引。遍历内点，求解其至空间直线的距离并计算其平均值。该平均值则为腰形孔的孔宽。剔除两空间直线附近的点，剩余点云为两半圆弧。针对两半圆弧分别采用基于随机采样一致性(RANSAC)的最小二乘空间圆拟合，求解出两半圆弧的圆心坐标以及半径值，两圆心坐标距离与两半圆弧半径之和便为腰形孔孔长。
由于腰形孔其两边为两空间直线，故将步骤(4.2)中RANSAC模型拟合方法替换为最小二乘法拟合空间直线。并在进行内点求解时记录其索引，当该模型为最佳模型时，将参与计算的内点及其邻域点剔除。任选其中一条空间直线，求解另一条直线模型内点到该直线方程距离并求解平均值，该平均值便为腰形孔孔宽。针对余下的两段半圆弧分别使用步骤(4.2)中拟合方法进行求解，可获得两半圆弧的中心距，至此便完成腰形孔的全尺寸测量。
经与游标卡尺测得尺寸对比，其平均误差可保证在0.1mm以内。
步骤(4.4)标签为噪声时，则将该部分数据清空并释放内存空间
若数据被判定为噪声，则直接删除并释放内存空间。
以上所述仅为本发明的优选实例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于3D点云处理的钣金件孔组分类及全尺寸测量方法，其特征在于：包括下列步骤：
步骤1)安装线扫描设备并获取点云；
步骤2)对获取的钣金覆盖件点云进行遍历，实施去噪以及降采样，获得数据量较原始点云小5～10倍且数据噪声较原始点云少的点云，以便为后续算法提高运行效率；
步骤3)提取处理后的点云边界，并通过聚类方法将边界点云中各孔数据以及噪声数据进行独立存储；通过数据方差阈值对圆孔、腰形孔以及噪声进行分类并给予标签；
步骤4)剔除具有噪声标签的点云数据，并针对圆孔、腰形孔分别进行拟合，完成全尺寸测量；其中圆孔采用基于空间圆的随机采样一致性最小二乘法拟合，完成圆孔孔径以及位置度测量；腰形孔针对两直边采用随机采样一致性空间直线拟合，并根据索引剔除直线部分,其余两圆弧分别进行基于空间圆的随机采样一致性最小二乘拟合。
2.根据权利要求1所述的基于3D点云处理的钣金件孔组分类及全尺寸测量方法，其特征在于：步骤2)所述的对获取的钣金覆盖件点云进行遍历，实施去噪以及降采样，具体步骤如下：
2.1)首先点云经由直通滤波器，去除背景点云和过度偏离待测零件的点云，大幅度减少点云数据量的同时，初步对点云数据进行筛选；
2.2)通过体素滤波完成对点云的降采样，经由线扫描仪获取的点云密度大，为了能够减少算法的运行时间并实现在线监测，需对点云完成降采样；经由体素滤波降采样后的点云，在保留原有几何特征的同时能够降低数据量；
2.3)通过统计滤波去除点云数据中明显的离群点，离群点的特征表现为在空间中分布稀疏，通过统计点与其周围点的平均距离并构建高斯分布，通过给定阈值剔除离群点；
2.4)在扫描过程中由于反射以及反光，会在边缘处出现垂直于表面的点云，利用区域生长分割算法给定平滑参数和曲率半径完成对点云数据不同区域的分割，最终获得噪点相对步骤(2.3)更少的钣金覆盖件表面点云数据。
3.根据权利要求1所述的基于3D点云处理的钣金件孔组分类及全尺寸测量方法，其特征在于：步骤3)所述的提取处理后的点云边界，并通过聚类方法将边界点云中各孔数据以及噪声数据进行独立存储；通过数据方差阈值对圆孔、腰形孔以及噪声进行分类并给予标签，具体步骤如下：
3.1)给定邻域范围通过Kdtree加速，并使用主成分分析求解点云法向量信息；
3.2)依据点云已有法向量信息，通过角度判断准则提取边界点；
3.3)针对提取边界点的数据使用基于密度的聚类算法，从而分割存在空间距离的各孔并单独完成存储；依据点数量阈值上限将点数最多的外廓去除，依据点数量阈值下限将计算错误的零散边界剔除；
3.4)对单独存储的数据进行遍历，统计各点距离质心距离并求解分布方差；依据方差特性给定阈值；
3.5)根据方差阈值对腰形孔、圆孔以及噪声完成分类并给定对应标签。
4.根据权利要求1所述的基于3D点云处理的钣金件孔组分类及全尺寸测量方法，其特征在于：步骤4)是针对不同的数据标签类型带入不同算法模型中进行拟合求解，具体步骤如下：
4.1)根据点云标签差异，将点云数据输入对应的算法模型；
4.2)标签为圆孔时，采用基于随机采样一致性的最小二乘空间圆拟合；经过该算法求解得到的空间圆方程受误差点干扰较直接采用最小二乘拟合更小，最终根据拟合结果得到圆孔的直径以及圆心坐标；特征即包含了圆孔的几何与位置信息；
4.3)标签为腰形孔时，首先采用空间直线的随机采样一致性方法进行拟合，得到两空间直线方程；选取其中一条直线，根据给定阈值得到该方程下的内点并获取其索引；遍历内点并求解内点至空间直线的距离，并计算距离平均值，该平均值即为腰形孔的孔宽；剔除两空间直线附近的点，剩余点云为两半圆弧；对两半圆弧分别采用基于随机采样一致性的最小二乘空间圆拟合，求解出两半圆弧的圆心坐标以及半径值，两圆心坐标距离与两半圆弧半径之和便为腰形孔孔长；
4.4)标签为噪声时，则将该部分数据清空并释放内存空间。
CN202311219754.1A 2023-09-20 2023-09-20 基于3d点云处理的钣金件孔组分类及全尺寸测量方法 Pending CN117292181A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311219754.1A CN117292181A (zh) 2023-09-20 2023-09-20 基于3d点云处理的钣金件孔组分类及全尺寸测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311219754.1A CN117292181A (zh) 2023-09-20 2023-09-20 基于3d点云处理的钣金件孔组分类及全尺寸测量方法

Publications (1)

Publication Number Publication Date
CN117292181A true CN117292181A (zh) 2023-12-26

Family

ID=89252882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311219754.1A Pending CN117292181A (zh) 2023-09-20 2023-09-20 基于3d点云处理的钣金件孔组分类及全尺寸测量方法

Country Status (1)

Country Link
CN (1) CN117292181A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117808703A (zh) * 2024-02-29 2024-04-02 南京航空航天大学 一种多尺度大型部件装配间隙点云滤波方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117808703A (zh) * 2024-02-29 2024-04-02 南京航空航天大学 一种多尺度大型部件装配间隙点云滤波方法
CN117808703B (zh) * 2024-02-29 2024-05-10 南京航空航天大学 一种多尺度大型部件装配间隙点云滤波方法

Similar Documents

Publication Publication Date Title
CN112581457B (zh) 一种基于三维点云的管道内表面检测方法及装置
CN111299815B (zh) 一种用于低灰度橡胶垫视觉检测与激光切割轨迹规划方法
Woo et al. A new segmentation method for point cloud data
CN107622277B (zh) 一种基于贝叶斯分类器的复杂曲面缺陷分类方法
CN111640158B (zh) 基于对应掩模的端到端的摄像头与激光雷达外参标定方法
CN111696210A (zh) 一种基于三维点云数据特征轻量化的点云重构方法及系统
Liu et al. Automatic segmentation of unorganized noisy point clouds based on the Gaussian map
CN114202470A (zh) 一种压力容器主螺栓孔螺纹三维重建及缺陷自动识别方法
CN110807781B (zh) 一种保留细节与边界特征的点云精简方法
CN113470090A (zh) 基于sift-shot特征的多固态激光雷达外参标定方法
CN113628263A (zh) 一种基于局部曲率及其近邻特征的点云配准方法
CN117292181A (zh) 基于3d点云处理的钣金件孔组分类及全尺寸测量方法
CN113781585B (zh) 一种增材制造零件表面缺陷在线检测方法及系统
Senin et al. Characterisation of individual areal features
CN112116553B (zh) 一种基于k-d树的无源三维点云模型缺陷识别方法
CN111968224A (zh) 船舶3d扫描点云数据处理方法
CN111783722B (zh) 一种激光点云的车道线提取方法和电子设备
CN116305436A (zh) 一种基于三维激光扫描结合bim的既有桥梁监测方法
CN117274167A (zh) 一种基于三维信息的成形焊缝外观缺陷提取方法
CN117635615B (zh) 基于深度学习实现冲孔模具的缺陷检测方法及系统
CN117115012A (zh) 一种道路路面点云标线分割去噪方法
CN114419140A (zh) 一种轨道激光测量装置光斑中心的定位算法
CN117706577A (zh) 基于激光雷达三维点云算法的船舶尺寸测量方法
CN115147433A (zh) 点云配准方法
CN116579949A (zh) 适用于城市多噪声环境下机载点云地面点滤波方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination