CN114881955A - 基于切片的环状点云缺陷提取方法、装置、设备存储介质 - Google Patents

基于切片的环状点云缺陷提取方法、装置、设备存储介质 Download PDF

Info

Publication number
CN114881955A
CN114881955A CN202210461415.3A CN202210461415A CN114881955A CN 114881955 A CN114881955 A CN 114881955A CN 202210461415 A CN202210461415 A CN 202210461415A CN 114881955 A CN114881955 A CN 114881955A
Authority
CN
China
Prior art keywords
point cloud
annular
defect
slice
outer ring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210461415.3A
Other languages
English (en)
Other versions
CN114881955B (zh
Inventor
林福赐
张雪枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Weiya Intelligent Technology Co.,Ltd.
Original Assignee
Xiamen Weiya Intelligence Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Weiya Intelligence Technology Co ltd filed Critical Xiamen Weiya Intelligence Technology Co ltd
Priority to CN202210461415.3A priority Critical patent/CN114881955B/zh
Publication of CN114881955A publication Critical patent/CN114881955A/zh
Application granted granted Critical
Publication of CN114881955B publication Critical patent/CN114881955B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E60/00—Enabling technologies; Technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02E60/10—Energy storage using batteries
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本申请涉及缺陷检测，本申请提供一种基于切片的环状点云缺陷提取方法、装置、设备及存储介质，采用3D相机获取待检测密封钉焊缝的环状点云，提取所述环状点云的边缘，得到点云内环和点云外环；通过对所述点云内环和所述点云外环分别进行聚类分析，得到点云内环集合和点云外环集合；通过所述点云内环集合和所述点云外环集合，定位所述环状点云的圆心；根据所述环状点云圆心为基准点，沿所述环状点云的半径方向，通过切片的方式生成搜索切片数据；通过所述搜索切片数据提取所述环状点云的缺陷点云；对所述缺陷点云进行量化分析，得到缺陷特征信息，避免人工目检和手动触检，提高了工件缺陷检测的效率和精准度。

Description

基于切片的环状点云缺陷提取方法、装置、设备存储介质
技术领域
本发明涉及缺陷检测技术领域，尤其涉及一种基于切片的环状点云缺陷提取方法、装置、设备和计算机可读存储介质。
背景技术
随着市场对低碳环保电动汽车产品需求的不断增高，汽车的锂电池是新能源汽车中的重要零件。此外，机器视觉和点云算法的高速发展，无人化和智能化已经成为很多高新技术工厂追求的目标。通过利用机器视觉可以获得待测对象表面的点云信息，实现点云信息的可视化，利用点云算法可以对待测对象进行分析，以一定的规则获得缺陷处的点云聚类。
目前，锂电池密封钉焊接后，需要对密封钉圆环状的焊缝进行检测，传统的检测方法一般为人工目检或手动触检的方式进行检测，这种方法无法做到完全的统一标准，检测的时间和成本也较大，检测过程中，也因为视觉和精神上的疲劳而导致误检，同时人手触摸进行检测也容易将手上的汗渍留在密封钉表面，对其造成破坏，反而产生新的缺陷。因此，如何统一检测标准、降低误检率、提升检测效率成为了目前亟待解决的技术问题。
发明内容
本发明的主要目的在于提供一种基于切片的环状点云缺陷提取方法、装置、设备及计算机可读存储介质，旨在解决现有检测方式的标准不统一、误检率高和检测效率低下的技术问题。
为实现上述目的，本发明提供一种基于切片的环状点云缺陷提取方法，所述基于切片的环状点云缺陷提取方法包括：采用3D相机获取待检测密封钉焊缝的环状点云，提取所述环状点云的边缘，得到点云内环和点云外环；通过对所述点云内环和所述点云外环分别进行聚类分析，得到点云内环集合和点云外环集合；通过所述点云内环集合和所述点云外环集合，定位所述环状点云的圆心；以所述环状点云圆心为基准点，沿所述环状点云的半径方向，在所述环状点云上截取得到新环状点云，作为生成搜索切片数据；根据所述搜索切片数据，生成所述环状点云的缺陷点云；对所述缺陷点云进行量化分析，得到缺陷特征信息。
此外，为实现上述目的，本发明还提供一种基于切片的环状点云缺陷提取装置，所述基于切片的环状点云缺陷提取装置包括提取点云边缘模块，用于获取待检测工件的环状点云，提取所述环状点云的边缘；聚类分析模块，用于对所述点云内环和所述点云外环分别进行聚类分析，得到点云内环集合和点云外环集合；定位圆心模块，用于根据所述点云内环集合和所述点云外环集合，定位所述环状点云的圆心；生成搜索切片数据模块，用于用于以所述环状点云圆心为基准点，沿所述环状点云的半径方向，在所述环状点云上截取得到新环状点云，作为生成搜索切片数据；提取缺陷点云模块，用于根据所述搜索切片数据，生成所述环状点云的缺陷点云；量化分析模块，用于对所述缺陷点云进行量化分析，得到缺陷特征信息。
此外，为实现上述目的，本发明还提供一种基于切片的环状点云缺陷提取设备，所述基于切片的环状点云缺陷提取设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的基于切片的环状点云缺陷提取程序，其中所述基于切片的环状点云缺陷提取程序被所述处理器执行时，实现如上述的基于切片的环状点云缺陷提取方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于切片的环状点云缺陷提取程序，其中所述基于切片的环状点云缺陷提取程序被处理器执行时，实现如上述的基于切片的环状点云缺陷提取方法的步骤。
本发明提供一种基于切片的环状点云缺陷提取方法，所述方法采用3D相机获取待检测密封钉焊缝的环状点云，提取所述环状点云的边缘，得到点云内环和点云外环；通过对所述点云内环和所述点云外环分别进行聚类分析，得到点云内环集合和点云外环集合；通过所述点云内环集合和所述点云外环集合，定位所述环状点云的圆心；根据所述环状点云圆心为基准点，沿所述环状点云的半径方向，通过切片的方式生成搜索切片数据；通过所述搜索切片数据提取所述环状点云的缺陷点云；对所述缺陷点云进行量化分析，得到缺陷特征信息。本发明针对密封钉圆环状的焊缝缺陷检测，提出一种基于切片的环状点云缺陷提取方法，相比于人工检测方法，不仅统一了检测标准，降低了误检率，还提高了检测效率。
附图说明
图1为本发明实施例方案中涉及的基于切片的环状点云缺陷提取设备的硬件结构示意图；
图2为本发明提供的一种基于切片的环状点云缺陷提取方法第一实施例的流程示意图；
图3为本发明提供的一种基于切片的环状点云缺陷提取方法中降采样后的点云示意图；
图4为本发明提供的一种基于切片的环状点云缺陷提取方法中提取环状点云边缘示意图；
图5为本发明提供的一种基于切片的环状点云缺陷提取方法中得到的薄圆环切片数据示意图；
图6为本发明提供的一种基于切片的环状点云缺陷提取方法中提取的缺陷点云示意图；
图7为本发明提供的一种基于切片的环状点云缺陷提取方法中对缺陷点云进行量化分析的操作示意图；
图8为本发明提供的一种基于切片的环状点云缺陷提取装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例涉及的基于切片的环状点云缺陷提取方法主要应用于基于切片的环状点云缺陷提取设备，该基于切片的环状点云缺陷提取设备可以是PC、便携计算机、移动终端等具有显示和处理功能的设备。
参照图1，图1为本发明实施例方案中涉及的基于切片的环状点云缺陷提取设备的硬件结构示意图。
本发明实施例中，基于切片的环状点云缺陷提取设备可以包括处理器1001(例如CPU)，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信；用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)；网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)；存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器，存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的硬件结构并不构成对基于切片的环状点云缺陷提取设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
继续参照图1，图1中作为一种计算机可读存储介质的存储器1005可以包括操作系统、网络通信模块以及基于切片的环状点云缺陷提取程序。
在图1中，网络通信模块主要用于连接服务器，与服务器进行数据通信；而处理器1001可以调用存储器1005中存储的基于切片的环状点云缺陷提取程序，并执行本发明实施例提供的基于切片的环状点云缺陷提取方法。
本发明实施例提供了一种基于切片的环状点云缺陷提取方法。
参照图2，图2为本发明提供的一种基于切片的环状点云缺陷提取方法第一实施例的流程示意图。
本实施例中，所述基于切片的环状点云缺陷提取方法包括以下步骤：
步骤S10，采用3D相机获取待检测密封钉焊缝的环状点云，提取所述环状点云的边缘，得到点云内环和点云外环；
本实施例中，预先采用3D相机扫描待检测密封钉焊缝得到焊缝环状点云，所述环状点云上包含若干关键点，这些关键点的数量相比于原始点云或图像的数据量减小很多，常用来形成对原始数据的表示，而且不失代表性和描述性，从而加快了后续的识别，追踪等对数据的处理了速度。通常在二维图像上，有Harris、SIFT、SURF、KAZE这样的关键点提取算法，将这种特征点的思想在三维空间同样适用。在本实施例中，采取KAZE提取算法对提取关键点，连接提取的关键点得到所述环状点云的边缘，区分环状点云的点云内环和点云外环。
具体地，采用3D相机获取待检测密封钉焊缝的环状点云，对所述环状点云进行降采样，减少环状点云的数据量，再通过提取环状点云的若干关键点，得到所述环状点云的边缘，区分点云区分环状点云的点云内环和点云外环。
步骤S20，通过对所述点云内环和所述点云外环分别执行聚类分析算法，得到点云内环集合和点云外环集合；
其中，所述聚类分析算法可以包括K-Means(K-均值)算法、K-Mediods(K-中心点)算法、层次分析算法、基于密度(density-based method)算法。本实施例采用上述聚类算法中的层次分析算法，确定点间距离计算方法，采用闵科夫斯基距离计算方法，
Figure BDA0003621852930000051
特别的，取q＝2，为欧式距离，对所述点云内环和所述点云外环，进行欧式聚类，形成两个点云集合。
具体的过程包括:以空间中某一点云P为起始点，设定距离阈值，若环状点云中的点与P点的距离小于阈值，则将点归入集合Q中，直到集合Q不再增加为止，重复上述过程，可得到多个点云集合，根据点云数量和大小对点云集合进行过滤，即可得到点云内环集合和点云外环集合。
步骤S30，通过所述点云内环集合和所述点云外环集合，定位所述环状点云的圆心；
在得到所述点云内环集合和所述点云外环集合后，环状点云变得有序，可以分别对所述点云内环集合和所述点云外环集合进行圆拟合，分别确定所述点云内环集合和所述点云外环集合的圆心和半径，定位所述环状点云的圆心。
曲线拟合也就是求一条曲线,使数据点均在离此曲线的上方或下方不远处,它既能反映数据的总体分布,又不至于出现局部较大的波动,能反映被逼近函数的特性,使求得的逼近函数与已知函数从总体上来说其偏差按某种方法度量达到最小。具体地，通过对所述点云内环集合和所述点云外环集合进行圆拟合圆拟合的方法有非常多种，本实施例采用随机采样一致性的圆拟合方法分别对所述点云内环集合和所述点云外环集合进行圆拟合，其原理是采用迭代的方式从一组包含离群的被观测数据中估算出数学模型的参数，它的优点是它能鲁棒的估计出模型参数，对噪声具有一定容忍度；例如，它能从包含大量局外点的环状点云数据集中估计出高精度的参数，用来确定所述点云内环和所述点云外环的圆心和半径。
可以理解的是，在通过随机采样一致性的圆拟合方法分别对所述点云内环集合和所述点云外环集合进行圆拟合后，我们就能够获得所述点云内环和所述点云外环的圆心和半径，进而定位出所述环状点云的圆心。
步骤S40，以所述环状点云圆心为基准点，沿所述环状点云的半径方向，在所述环状点云上截取得到新环状点云，作为生成搜索切片数据；
以圆环圆心为基准点，沿半径方向设定足够小的步长，通过切片的方式生成搜索切片数据，获得一组呈现薄圆环状的切片点云。以圆环圆心为基准参考点，构建环状点云的K近邻搜索树。此外，给定圆环圆心为根节点，以垂直于x轴、y轴和z轴的直线划分三维空间，确定左子树和右子树，直到遍历所有点云为止，建立了搜索树后，对其进行搜索节点将变的更加容易。
步骤S50，通过所述搜索切片数据提取所述环状点云的缺陷点云；
本实施例中，在针对每一个切片，其步长足够小的情况下，可以近似地将每个切片视为一个平面，即可将超过拟合平面一定阈值的点云视为异常点云。通过将所述搜索切片数据转换成切片平面方程；再根据随机采样一致性的平面拟合方法拟合所述切片平面方程，得到拟合平面；最后通过计算所述搜索切片数据上的点到所述拟合平面间的距离，确定超出所述拟合平面阈值的异常缺陷点，所述异常缺陷点的集合作为所述缺陷点云。
步骤S60，对所述缺陷点云进行量化分析，得到缺陷特征信息。
本实施例中，为了便于将缺陷点云中一些不具体，模糊的因素用具体的数据来表示，从而对所述缺陷点云进行量化分析，达到分析比较的目的。量化研究遵循传统的科学研究方法，包括提出假设、构建模型、创设实验、收集数据和验证假设。通过对缺陷点云的数据特征进行观察比较，本实施例决定采用点云库PCL对缺陷点云量化分析，进一步定位缺陷特征信息。
本实施例提供一种基于切片的环状点云缺陷提取方法，所述方法采用3D相机获取待检测密封钉焊缝的环状点云，提取所述环状点云的边缘，得到点云内环和点云外环；通过对所述点云内环和所述点云外环分别进行聚类分析，得到点云内环集合和点云外环集合；通过所述点云内环集合和所述点云外环集合，定位所述环状点云的圆心；根据所述环状点云圆心为基准点，沿所述环状点云的半径方向，通过切片的方式生成搜索切片数据；通过所述搜索切片数据提取所述环状点云的缺陷点云；对所述缺陷点云进行量化分析，得到缺陷特征信息。本发明针对密封钉圆环状的焊缝缺陷检测，提出一种基于切片的环状点云缺陷提取方法，相比于人工检测方法，不仅统一了检测标准，降低了误检率，还提高了检测效率。
基于上述图2所示实施例，本实施例中，所述步骤S10之前，还包括：
通过体素网格滤波法对所述环状点云进行降采样，使得所述环状点云数量减少；
通过计算所述环状点云至少两个法向量，利用法向量之间的夹角确定所述环状点云边缘点；
通过所述环状点云边缘点，得到所述点云内环和所述点云外环。
由于是使用高分辨率相机等设备对点云进行采集，使得点云分布较为密集。过多的点云数量会对后续分割工作带来困难，所以通过体素网格滤波法对所述环状点云进行降采样，减少所述环状点云的数据数量。执行结果如图3所示，图3为本发明提供的一种基于切片的环状点云缺陷提取方法中降采样后的点云示意图。
体素网格滤波法是指对点云数据进行体素滤波，进一步去掉噪声点和离群点，同时采用体素化网格法对点云密集的区域进行下采样，在空间中将数据划分成给定尺度的体素网格，提取体素网格重心作为降采样后的点云，得到过滤后的点云数据，能够在保持点云的形状特征的前提下，减少点云数据，控制点云数据密度，可以提高算法的运行效率。
此外，通过计算所述环状点云至少两个法向量，利用法向量之间的夹角确定所述环状点云边缘点；
在计算机图形学(computer graphics)领域里，法线决定着曲面与光源(lightsource)的强弱处理(Flat Shading)，对于每个点光源位置，其亮度取决于曲面法线的方向，而平面的法线是垂直于该平面的向量。若方程ax+by+cz＝d表示为一个平面，那么向量(a,b,c)就是其法向量。对于环状点云来说，法线的获取方式有两种，一是使用曲面重建方法，从点云数据中得到采样点对应的曲面，然后再用曲面模型计算其表面的法线，二是直接使用近似值直接从点云数据集推断出曲面法线。这样确定表面一点法线的问题近似于估计表面的一个相切面法线的问题，因此转变成一个最小二乘法平面拟合估计问题。解决表面法线估计的问题可以最终化简为对一个协方差矩阵的特征向量和特征值的分析(PCA-Principal Component Analysis主成分分析)，这个协方差矩阵是由环状点云上某点P的最近邻产生的。利用完全最小二乘平面计算通过某点p且拟合邻近数据平面，把环状点云上每个点投影到拟合平面上，得到每个点的极坐标表示，按照平面上的投影夹角大小对所有投影点进行排序。
如果其中有一个角度满足|αi-αi+1|>β，i＝1，2，...，m，αm+1＝α1，β是预设的一个角度，例如为100°，则p为边缘点；否则，p不是边缘点。
最后，通过所述环状点云边缘点，得到所述点云内环和所述点云外环，得到的结果如图4所示，图4为本发明提供的一种基于切片的环状点云缺陷提取方法中提取环状点云边缘示意图。
通过对所述环状点云的边缘点的提取，可以得到两组边界。所述两组边界区分了圆环的内环和外环。圆环中的小圆边界称为点云内环，圆环中的大圆边界称为点云外环。
具体地，通过体素网格滤波法对所述环状点云进行降采样，使得所述环状点云数量减少；通过计算所述环状点云至少两个法向量，利用法向量之间的夹角确定所述环状点云边缘点；通过所述环状点云边缘点，得到所述点云内环和所述点云外环。
进一步地，所述步骤S20之前，还包括：
根据所述点云内环和所述点云外环，进行欧式聚类，根据所述环状点云的数量和大小对所述点云内环和所述点云外环进行过滤，得到点云内环集合和点云外环集合。
由于圆心定位和半径检测的准确性会对后续的缺陷提取产生重要影响，所以准确定位圆心和半径为成为圆环缺陷检测的关键步骤。
在本实施中采用了随机采样一致性的圆拟合方法，随机抽样一致性(RANSAC)算法能够有效的剔除特征匹配中的错误匹配点，有效拟合存在噪声模型下的拟合函数。以点云外环集合为例，确定点云外环集合的圆拟合函数包括以下步骤：
从所述点云外环集合点中随机抽取3个坐标点，计算3点所得的圆方程，得到圆心p,与半径r；
基于一个距离阈值t,遍历所有点，点与步骤1所得圆心p距离与半径r的差值小于t的则为内点，否则为离群点；
重复上述步骤，记录每次所得的内点数量以及内点，重复N次结束迭代；
选择迭代过程中所内点数量最大的一次迭代结果，基于该次结果的内点做最终的圆拟合方程。
同样的，在所述点云内环集合上执行上述操作，可以找到所述点云内环集合的圆拟合方程；
通过随机采样一致性的圆拟合方法分别对所述点云内环集合和所述点云外环集合进行圆拟合，获得所述点云内环和所述点云外环的圆心和半径，定位所述环状点云的圆心；
假设得到点云内环的圆心和半径为(x0,y0),r0，点云外环的圆心和半径为(x1,y1),r1，取两组点云拟合圆心的平均值作为所述环状点云的圆心(x,y)，即x＝(x0+x1)/2,y＝(y0+y1)/2。
参照图5，图5为本发明提供的一种基于切片的环状点云缺陷提取方法中得到的薄圆环切片数据示意图。
进一步地，步骤S30中所述生成搜索切片数据具体包括以下步骤：
以所述环状点云的圆心为根节点，以垂直于x轴、y轴和z轴的直线划分三维空间，确定左子树和右子树，直到遍历所有点云为止，构建环状点云的K近邻搜索树；
在所述K近邻搜索树中，以所述环状点云的圆心为基准点，沿半径方向设定足够小的步长，通过切片的方式生成搜索切片数据，获得一组呈现薄圆环状的切片点云，作为所述搜索切片数据。
假设步长为k，则第i个切片点云的半径范围为(r0+ik)～[r0+(i+1)k](i＝0,1,2,...)，其中(r0+ik)≥r0,r0+(i+1)k≤r1，则对于给定的焊缝缺陷圆环，总共可以得到ceil[(r1-r0)/k]个切片。
在常见的数据处理软件Python中，切片(slice)是对序列型对象(如list,string,tuple)的一种高级索引方法。普通索引只取出序列中一个下标对应的元素，而切片取出序列中一个范围对应的元素，这里的范围不是狭义上的连续片段，对应本实施例中是切片操作后得到的是一组呈现薄圆环状的切片点云。
此外，基于上述图5所示实施例，本实施例中，所述步骤S50具体包括：
将所述搜索切片数据转换成平面方程；
根据随机采样一致性的平面拟合方法拟合所述平面方程，得到拟合平面；
通过计算所述搜索切片数据所述拟合平面间的距离，得到超出所述拟合平面阈值的点云为异常缺陷点，集合提取得到所述缺陷点云。
进一步的，针对每一个切片，在其步长足够小的情况下，可以近似地将每个切片视为一个平面，所述步骤S51具体实现方式可以是在软件MATLAB上，通过slice函数实现，包括：
slice(X,Y,Z,V,xslice,yslice,zslice)为三维体数据V绘制切片。指定X、Y和Z作为坐标数据；
使用以下形式之一指定xslice、yslice和zslice作为切片位置；
当要绘制一个或多个与特定轴正交的切片平面，请将xslice、yslice和zslice切片参数指定为标量或向量；
当要沿曲面绘制单个切片，请将所有切片参数指定为定义曲面的矩阵。
其中，slice(V,xslice,yslice,zslice)使用V的默认坐标数据，V中每个元素的(x,y,z)位置分别基于列、行和页面索引；slice(___,method)指定插值方法，其中method可以是'linear'(默认值)、'cubic'或'nearest'。可将此选项与上述语法中的任何输入参数一起使用；slice(ax,___)在指定坐标区而不是当前坐标区(gca)中绘图；s＝slice(___)返回创建的Surface对象，slice为每个切片返回一个Surface对象。
通过上述操作可以得到平面方程的一般表达式，在本实施例中设定为Ax+Bx+Cx+D＝0。
所述根据随机采样一致性的平面拟合方法拟合所述平面方程，得到拟合平面，随机采样一致性(RANSAC)的平面拟合的过程如下：
通过步骤S51得到平面方程Ax+Bx+Cx+D＝0；
计算所述环状点云上的点至该平面的代数距离di＝|Axi+Byi+Czi+D|,选取阈值d0，若di≤d0，则该点被认为是模型内样本点，否则为模型外样本点，记录当前内点的个数；
重复以上步骤，选取最佳拟合参数，即内点数量最多的平面对应的模型参数；每次迭代末尾都会根据期望的误差率、最佳内点个数、总样本个数、当前迭代次数计算一个迭代结束评判因子，根据次决定是否停止迭代；
迭代结束后，最佳模型参数就是最终的参数估计值。
在点云库PCL中的Sample—consensus模块提供了RANSAC平面拟合模块。
SACMODEL_PLANE模型：定义为平面模型，共设置四个参数[normal_x，normal_y，normal_z，d]。
其中，(normal_x，normal_y，normal_z)为平面法向量(A,B,C)，d为常数项D。
参照图6，图6为本发明提供的一种基于切片的环状点云缺陷提取方法中提取的缺陷点云示意图。
通过上述过程得到了拟合平面，进一步地，通过计算所述搜索切片数据所述拟合平面间的距离，得到超出所述拟合平面阈值的点云为异常缺陷点，提取得到所述缺陷点云。
进一步地，步骤S60具体包括：
在提取出缺陷点云后，应对其进行量化分析，进一步定位缺陷特征信息，如长、宽、面积等。
参照图7，图7为本发明提供的一种基于切片的环状点云缺陷提取方法中对缺陷点云进行量化分析的操作示意图。
在本实施例中，所述对所述缺陷点云进行量化分析，得到缺陷特征信息，包括以下步骤：
步骤S61，根据主成分分析PCA(Principal Component Analysis)结果得到所述缺陷点云的主方向，根据所述缺陷点云坐标得到所述缺陷点云的质心；
步骤S62，以所述质心为原点，所述主方向为坐标系建立变换到所述缺陷点云的包围盒；
步骤S63，将所述缺陷点云的坐标系转换到建立的新坐标系中，得到聚类点云的最小包围盒后，通过得到上所述聚类点云的长、宽、高、面积，对缺陷进行量化分析。
此外，本发明实施例还提供一种基于切片的环状点云缺陷提取装置。
参照图8，图8为本发明提供的一种基于切片的环状点云缺陷提取装置第一实施例的功能模块示意图。
本实施例中，所述基于切片的环状点云缺陷提取装置包括：
提取点云边缘模块10，用于获取待检测工件的环状点云，提取所述环状点云的边缘；
聚类分析模块20，用于对所述点云内环和所述点云外环分别进行聚类分析，得到点云内环集合和点云外环集合；
定位圆心模块30，用于根据所述点云内环集合和所述点云外环集合，定位所述环状点云的圆心；
生成搜索切片数据模块40，用于以所述环状点云圆心为基准点，沿所述环状点云的半径方向，通过切片的方式生成搜索切片数据；
提取缺陷点云模块50，用于通过所述搜索切片数据提取缺陷点云；
量化分析模块60，用于对所述缺陷点云进行量化分析，得到缺陷特征信息。
其中，上述基于切片的环状点云缺陷提取装置中各个模块与上述基于切片的环状点云缺陷提取方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。
此外，本发明实施例还提供一种计算机可读存储介质。
本发明计算机可读存储介质上存储有基于切片的环状点云缺陷提取程序，其中所述基于切片的环状点云缺陷提取程序被处理器执行时，实现如上述的基于切片的环状点云缺陷提取方法的步骤。
其中，基于切片的环状点云缺陷提取程序被执行时所实现的方法可参照本发明基于切片的环状点云缺陷提取方法的各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于切片的环状点云缺陷提取方法，其特征在于，所述基于切片的环状点云缺陷提取方法包括以下步骤：
采用3D相机获取待检测密封钉焊缝的环状点云，提取所述环状点云的边缘，得到点云内环和点云外环；
通过对所述点云内环和所述点云外环分别进行聚类分析，得到点云内环集合和点云外环集合；
通过所述点云内环集合和所述点云外环集合，定位所述环状点云的圆心；
以所述环状点云圆心为基准点，沿所述环状点云的半径方向，在所述环状点云上截取得到新环状点云，作为生成搜索切片数据；
根据所述搜索切片数据，生成所述环状点云的缺陷点云；
对所述缺陷点云进行量化分析，得到缺陷特征信息。
2.如权利要求1所述的基于切片的环状点云缺陷提取方法，其特征在于，所述采用3D相机获取待检测密封钉焊缝的环状点云，提取所述环状点云的边缘，得到点云内环和点云外环，包括：
通过体素网格滤波法对所述环状点云进行降采样，使得所述环状点云数量减少；
通过计算所述环状点云至少两个法向量，利用法向量之间的夹角确定所述环状点云边缘点；
通过所述环状点云边缘点，得到所述点云内环和所述点云外环。
3.如权利要求1所述的基于切片的环状点云缺陷提取方法，其特征在于，所述通过对所述点云内环和所述点云外环分别执行聚类分析算法，得到点云内环集合和点云外环集合，还包括：
通过对所述点云内环和所述点云外环中的点进行欧式聚类，得到至少两个集合；
根据所述集合的数量和大小对所述点云内环和所述点云外环进行过滤，得到点云内环集合和点云外环集合。
4.如权利要求1所述的基于切片的环状点云缺陷提取方法，其特征在于，所述通过所述点云内环集合和所述点云外环集合，定位所述环状点云的圆心，还包括：
通过随机采样一致性的圆拟合方法分别对所述点云内环集合和所述点云外环集合进行圆拟合，获得所述点云内环和所述点云外环的圆心和半径，所述点云外环和所述点云内环的圆心重合，根据所述点云内环和所述点云外环的圆心和半径定位所述环状点云的圆心和半径。
5.如权利要求1所述的基于切片的环状点云缺陷提取方法，其特征在于，所述以所述环状点云圆心为基准点，沿所述环状点云的半径方向，在所述环状点云上截取得到新环状点云，作为生成搜索切片数据，包括：
以所述环状点云的圆心为根节点，以垂直于x轴、y轴和z轴的直线划分所述环状点云得到三维空间；
在所述三维空间上确定至少两个子区域，开始对所述子区域开始遍历直至遍历所有所述子区域停止，构建所述环状点云的KD搜索树；
以所述环状点云圆心为基准点，沿所述环状点云的半径方向设置步长，以所述步长通过切片的方式在所述KD搜索树中生成搜索切片数据，获得一组呈现薄圆环状的切片点云，作为所述搜索切片数据。
6.如权利要求1所述的基于切片的环状点云缺陷提取方法，其特征在于，所述根据所述搜索切片数据，生成所述环状点云的缺陷点云，包括：
将所述搜索切片数据转换成切片平面方程；
根据随机采样一致性的平面拟合方法拟合所述切片平面方程，得到拟合平面；
通过计算所述搜索切片数据对应的坐标点到所述拟合平面间的距离，确定超出拟合平面阈值的异常缺陷点对应的异常缺陷点的集合，作为所述缺陷点云。
7.如权利要求1-6中任一项所述的基于切片的环状点云缺陷提取方法，其特征在于，所述对所述缺陷点云进行量化分析，得到缺陷特征信息，包括：
对所述缺陷点云进行主成分分析，根据主成分分析结果得到所述缺陷点云的主方向，根据所述缺陷点云坐标得到所述缺陷点云的质心；
以所述质心为原点和所述主方向建立聚类坐标系，并将所述缺陷点云的坐标转换到所述聚类坐标系中，得到聚类点云；
在所述聚类坐标系上，建立所述聚类点云的最小包围盒；
根据包围盒算法，在所述聚类点云的最小包围盒上得到所述聚类点云的长、宽、高、面积；
通过上所述聚类点云的长、宽、高、面积，得到所述缺陷点云的缺陷特征信息。
8.一种基于切片的环状点云缺陷提取装置，其特征在于，所述基于切片的环状点云缺陷提取装置包括：
提取点云边缘模块，用于获取待检测工件的环状点云，提取所述环状点云的边缘；
聚类分析模块，用于对所述点云内环和所述点云外环分别进行聚类分析，得到点云内环集合和点云外环集合；
定位圆心模块，用于根据所述点云内环集合和所述点云外环集合，定位所述环状点云的圆心；
生成搜索切片数据模块，用于以所述环状点云圆心为基准点，沿所述环状点云的半径方向，在所述环状点云上截取得到新环状点云，作为生成搜索切片数据；
提取缺陷点云模块，用于根据所述搜索切片数据，生成所述环状点云的缺陷点云；
量化分析模块，用于对所述缺陷点云进行量化分析，得到缺陷特征信息。
9.一种基于切片的环状点云缺陷提取设备，其特征在于，所述基于切片的环状点云缺陷提取设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的基于切片的环状点云缺陷提取程序，其中所述基于切片的环状点云缺陷提取程序被所述处理器执行时，实现如权利要求1至7中任一项所述的基于切片的环状点云缺陷提取方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于切片的环状点云缺陷提取程序，其中所述基于切片的环状点云缺陷提取程序被处理器执行时，实现如权利要求1至7中任一项所述的基于切片的环状点云缺陷提取方法的步骤。
CN202210461415.3A 2022-04-28 2022-04-28 基于切片的环状点云缺陷提取方法、装置、设备存储介质 Active CN114881955B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210461415.3A CN114881955B (zh) 2022-04-28 2022-04-28 基于切片的环状点云缺陷提取方法、装置、设备存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210461415.3A CN114881955B (zh) 2022-04-28 2022-04-28 基于切片的环状点云缺陷提取方法、装置、设备存储介质

Publications (2)

Publication Number Publication Date
CN114881955A true CN114881955A (zh) 2022-08-09
CN114881955B CN114881955B (zh) 2023-05-12

Family

ID=82671554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210461415.3A Active CN114881955B (zh) 2022-04-28 2022-04-28 基于切片的环状点云缺陷提取方法、装置、设备存储介质

Country Status (1)

Country Link
CN (1) CN114881955B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115408549A (zh) * 2022-08-31 2022-11-29 深圳前海瑞集科技有限公司 工件点云的过滤方法、装置、计算机可读介质及电子设备
CN116051565A (zh) * 2023-04-03 2023-05-02 广州水木星尘信息科技有限公司 基于结构光3d点云的接触网缺陷目标检测方法及装置
CN116503409A (zh) * 2023-06-28 2023-07-28 矽瞻科技(成都)有限公司 一种焊缝缺陷3d点云检测方法、设备和介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103308925A (zh) * 2013-05-31 2013-09-18 中国科学院合肥物质科学研究院 一种一体化三维彩色激光雷达数据点云产生方法及其装置
CN105261047A (zh) * 2015-09-08 2016-01-20 北京控制工程研究所 一种基于近距离短弧段图像的对接环圆心提取方法
CN109902425A (zh) * 2019-03-11 2019-06-18 南京林业大学 地基式点云的隧道断面提取方法
CN110030951A (zh) * 2019-05-14 2019-07-19 武汉大学 一种基于三维激光扫描技术的引水竖井缺陷检测方法
CN111080627A (zh) * 2019-12-20 2020-04-28 南京航空航天大学 一种基于深度学习的2d+3d大飞机外形缺陷检测与分析方法
CN111915724A (zh) * 2020-08-21 2020-11-10 青岛联合创智科技有限公司 一种点云模型切片形状计算方法
CN112581457A (zh) * 2020-12-23 2021-03-30 武汉理工大学 一种基于三维点云的管道内表面检测方法及装置
CN113674236A (zh) * 2021-08-16 2021-11-19 南京航空航天大学 一种基于特征学习的飞机表面多圆孔检测方法
CN113674399A (zh) * 2021-08-16 2021-11-19 杭州图灵视频科技有限公司 一种移动机器人室内三维点云地图构建方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103308925A (zh) * 2013-05-31 2013-09-18 中国科学院合肥物质科学研究院 一种一体化三维彩色激光雷达数据点云产生方法及其装置
CN105261047A (zh) * 2015-09-08 2016-01-20 北京控制工程研究所 一种基于近距离短弧段图像的对接环圆心提取方法
CN109902425A (zh) * 2019-03-11 2019-06-18 南京林业大学 地基式点云的隧道断面提取方法
CN110030951A (zh) * 2019-05-14 2019-07-19 武汉大学 一种基于三维激光扫描技术的引水竖井缺陷检测方法
CN111080627A (zh) * 2019-12-20 2020-04-28 南京航空航天大学 一种基于深度学习的2d+3d大飞机外形缺陷检测与分析方法
CN111915724A (zh) * 2020-08-21 2020-11-10 青岛联合创智科技有限公司 一种点云模型切片形状计算方法
CN112581457A (zh) * 2020-12-23 2021-03-30 武汉理工大学 一种基于三维点云的管道内表面检测方法及装置
CN113674236A (zh) * 2021-08-16 2021-11-19 南京航空航天大学 一种基于特征学习的飞机表面多圆孔检测方法
CN113674399A (zh) * 2021-08-16 2021-11-19 杭州图灵视频科技有限公司 一种移动机器人室内三维点云地图构建方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
NURUNNAB I等: ""Robust statistical approaches for circle fitting in laser scanning three-dimensional point cloud data"" *
张崇军;郑德华;熊欢欢;: "迭代切片算法在点云曲面拟合中的应用" *
徐卫青;陈西江;章光;袁俏俏;: "一种基于高斯映射的三维点云特征线提取方法" *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115408549A (zh) * 2022-08-31 2022-11-29 深圳前海瑞集科技有限公司 工件点云的过滤方法、装置、计算机可读介质及电子设备
CN115408549B (zh) * 2022-08-31 2024-04-12 深圳前海瑞集科技有限公司 工件点云的过滤方法、装置、计算机可读介质及电子设备
CN116051565A (zh) * 2023-04-03 2023-05-02 广州水木星尘信息科技有限公司 基于结构光3d点云的接触网缺陷目标检测方法及装置
CN116503409A (zh) * 2023-06-28 2023-07-28 矽瞻科技(成都)有限公司 一种焊缝缺陷3d点云检测方法、设备和介质
CN116503409B (zh) * 2023-06-28 2023-09-12 矽瞻科技(成都)有限公司 一种焊缝缺陷3d点云检测方法、设备和介质

Also Published As

Publication number Publication date
CN114881955B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
Jovančević et al. 3D point cloud analysis for detection and characterization of defects on airplane exterior surface
CN114881955B (zh) 基于切片的环状点云缺陷提取方法、装置、设备存储介质
CN104616278B (zh) 三维点云兴趣点检测方法和系统
JP2009128075A (ja) 物体認識方法
CN110930456A (zh) 基于pcl点云库的钣金零件的三维立体识别及定位方法
CN114863060A (zh) 基于点云的三维模型重建方法、装置、设备及存储介质
CN113168729B (zh) 一种基于局部参考坐标系的3d形状匹配方法及装置
CN115690184A (zh) 一种基于三维激光扫描的隧道掌子面位移量测方法
CN117475170B (zh) 基于fpp的由局部到全局结构引导的高精度点云配准方法
CN115239625A (zh) 顶盖焊点云缺陷检测方法、装置、设备及存储介质
CN112802101B (zh) 一种基于多维金字塔的分层模板匹配方法
Brandt Describing a solid with the three-dimensional skeleton
Markovic et al. Automatic recognition of cylinders and planes from unstructured point clouds
Tazir et al. Cluster ICP: Towards sparse to dense registration
CN115619780B (zh) 一种激光扫描图像质量评估方法及系统
CN116921932A (zh) 焊接轨迹识别方法、装置、设备及存储介质
CN116255930A (zh) 一种基于点云切片的截面提取及测量方法及系统
CN103870846B (zh) 一种图像表示方法及其在图像匹配、识别中的应用
Vergeest et al. Directed mean Hausdorff distance of parameterized freeform shapes in 3D: a case study
Wu et al. A Systematic Point Cloud Edge Detection Framework for Automatic Aircraft Skin Milling
Hegewald et al. Saliency Features for 3D CAD-Data in the Context of Sampling-Based Motion Planning
Zhu et al. Object detection and recognition method based on binocular
Lu et al. Fast point cloud registration algorithm using multiscale angle features
Mahmood et al. Surface Patch Detection of 3D Point Cloud Using Local Shape Descriptor
Kuno et al. Object recognition using a feature search strategy generated from a 3D model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Room 201a, Jinfeng Building, information optoelectronic Park, torch high tech Zone, Xiamen, Fujian Province

Patentee after: Xiamen Weiya Intelligent Technology Co.,Ltd.

Address before: Room 201a, Jinfeng Building, information optoelectronic Park, torch high tech Zone, Xiamen, Fujian Province

Patentee before: XIAMEN WEIYA INTELLIGENCE TECHNOLOGY Co.,Ltd.