CN109345523B - 表面缺陷检测和三维建模方法 - Google Patents

表面缺陷检测和三维建模方法 Download PDF

Info

Publication number
CN109345523B
CN109345523B CN201811118372.9A CN201811118372A CN109345523B CN 109345523 B CN109345523 B CN 109345523B CN 201811118372 A CN201811118372 A CN 201811118372A CN 109345523 B CN109345523 B CN 109345523B
Authority
CN
China
Prior art keywords
defect
point
points
point cloud
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811118372.9A
Other languages
English (en)
Other versions
CN109345523A (zh
Inventor
戴亚康
周志勇
耿辰
胡冀苏
钱旭升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Institute of Biomedical Engineering and Technology of CAS
Original Assignee
Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Institute of Biomedical Engineering and Technology of CAS filed Critical Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority to CN201811118372.9A priority Critical patent/CN109345523B/zh
Publication of CN109345523A publication Critical patent/CN109345523A/zh
Application granted granted Critical
Publication of CN109345523B publication Critical patent/CN109345523B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P10/00—Technologies related to metal processing
    • Y02P10/25—Process efficiency

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Analytical Chemistry (AREA)
  • Evolutionary Computation (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biochemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Generation (AREA)

Abstract

本发明公开了一种表面缺陷检测和三维建模方法，包括以下步骤：1)原始表面点云数据采集，2)原始缺陷点云数据缺陷分割，得到无缺陷部位和缺陷部位；3)无缺陷部位配准，获取缺陷模型；4)缺陷模型顶部分割；5)缺陷模型顶部杂散点滤波；6)缺陷模型平滑；7)曲面建模，将点云缺陷模型进行表面重建，得到缺陷区域的曲面模型。本发明的表面缺陷检测和三维建模方法，能实现待检测物体表面缺陷的自动检测和三维模型自动构建。可用于实现工业表面自动化修复，可以应用于人体表面皮肤组织损伤部位建模，为皮肤三维打印提供三维模型。

Description

表面缺陷检测和三维建模方法
技术领域
本发明涉及图像处理技术领域，特别涉及一种表面缺陷检测和三维建模方法。
背景技术
待检测物体的表面缺陷建模，是实现工业表面自动化修复的关键步骤；同时，该技术结合三维影像全景建模，也可以应用于人体表面皮肤组织损伤部位建模，为皮肤三维打印提供三维模型。而现在的表面缺陷检测和三维建模技术存在诸多缺陷，难以实现表面缺陷部位模型的精准重建。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种表面缺陷检测和三维建模方法。
为解决上述技术问题，本发明采用的技术方案是：一种表面缺陷检测和三维建模方法，包括以下步骤：
1)原始表面点云数据采集，其包括原始缺陷点云数据和原始无缺陷点云数据；
2)原始缺陷点云数据缺陷分割，得到无缺陷部位和缺陷部位；
3)无缺陷部位配准，获取缺陷模型；
4)缺陷模型顶部分割；
5)缺陷模型顶部杂散点滤波；
6)缺陷模型平滑；
7)曲面建模，将点云缺陷模型进行表面重建，得到缺陷区域的曲面模型。
优选的是，所述步骤1)包括分别扫描含缺陷区域的物体和完整的物体，将含缺陷的三维点云数据记作原始缺陷点云数据Pd，将无缺陷的三维点云数据记作原始无缺陷点云数据Pi。
优选的是，所述步骤2)具体为：在含表面缺陷的原始缺陷点云数据中搜索表征缺陷的点云子集，将符合Pi点云分布的点称为内点，记作pi，不符合Pi点云分布模型的称为外点，记作po；其中，其内点和外点提取的具体步骤为：
2-1)输入Pd，设置内点到模拟模型的距离的阈值d；
2-2)每一轮的迭代中，在Pd中随机选取n个点进行表面模型的参数估计，得到模拟模型；
2-3)对于Pd剩下的点，若他们到模拟模型的距离小于设定阈值d，则将它们划入到内点集合，大于d，则划入到外点集合；
2-4)若内点集合中点的个数超过设定数量Nt，则判定其为一个好的模型，并将它与上一个好模型进行比较；若该模型对Pd的符合程度比上一论迭代出的模型更好，则保存现有模型；若没有上一个好，则舍弃；
2-5)开始新一轮的模型估计迭代；
2-6)循环k次后，输出最好的模拟模型，以及符合该模型的所有内点，该内点即为含表面缺陷的的原始缺陷点云数据中平坦分布的点云数据，记为无缺陷部位，其剩下的即为原始缺陷点云数据中的缺陷部位。
优选的是，所述步骤3)具体包括以下步骤：
3-1)输入Pi和Pd；
3-2)质心粗配准，其具体包括：
3-2-1)首先计算目标点云Pi的中心
Figure GDA0003652495520000021
与待配准点云Pd的中心
Figure GDA0003652495520000022
记Ny是目标点云的点数，Nx是待配准点云的点数；待配准点云是上一步骤2)中分割出的Pd中无缺陷部分，其中：
Figure GDA0003652495520000023
3-2-2)计算待配准点云的平移向量
Figure GDA0003652495520000024
Figure GDA0003652495520000025
3-2-3)根据平移向量实现粗配准，
Figure GDA0003652495520000026
是粗配后的点云:
Figure GDA0003652495520000031
3-3)精配准：在使用粗配准完成点云初始位置设定之后，再进行精配准，其配准模型为
Figure GDA0003652495520000032
经过数次迭代最小化
Figure GDA0003652495520000033
寻找出最优的旋转矩阵
Figure GDA0003652495520000034
以及平移向量
Figure GDA0003652495520000035
其中：
Figure GDA0003652495520000036
Figure GDA0003652495520000037
其中，
Figure GDA0003652495520000038
表示待配准点云与目标点云的平均距离，
Figure GDA0003652495520000039
是待配准点云经过k+1次迭代后的结果，
Figure GDA00036524955200000310
是目标点云经过k+1次迭代后的结果，τ代表示两次迭代前后配准误差的插值；当出现两次迭代之间的差值
Figure GDA00036524955200000311
小于阈值时，则认为迭代结束，完成无缺陷部位配准，并通过数据共享或传递获得配准后的缺陷部位，从而得到配准后的缺陷模型。
优选的是，所述步骤4中使用k-d树最邻近搜索方法检测缺陷模型底部，具体包括以下步骤：
4-1)输入原始无缺陷点云数据Pi，通过设置搜索半径，对该点云的每一个点在半径r的球内寻找在无缺陷区域内的近邻值；
4-2)构造3维KD树：三维点对应一棵三维树，构造树时根节点选取x轴，根节点的孩子选取y轴，根节点的孙子选取z轴，根节点的曾孙子选取x轴，依次循环下去；
4-3)从根结点出发，通过二叉树搜索顺着“搜索路径”在一个叶节点处到最近邻的近似点；其中，二叉树搜索方法为：比较待查询节点和分裂节点的分裂维的值，小于等于就进入左子树分支，大于就进入右子树分支直到叶子结点；
4-4)递归向上回退，每回退一步，如果该回退处的结点比当前“近似紧邻点”更接近目标点，则以该点作为“当前最近邻点”；
4-5)最近邻点一定存在于当前节点的一个子节点对应的区域，检查该节点的父结点的另一个子节点区域内是否有比“当前最近邻点”更接近目标点的点；若有，则在那个节点处进行回退，若没有，则在当前节点处继续回退；
4-6)回退到根节点时，搜索结束，“当前最近邻点”即为“最近近邻点”；
4-7)利用k-d树对配准后的无缺陷部位的每一个点在原始无缺陷点云表面进行近邻搜索，若在所给半径范围的球内找不到一个近邻值，则这个点就是配准后的缺陷模型顶部的点，从而实现配准后的缺陷模型顶部的分割。
优选的是，所述步骤5中采用欧式聚类对点云进行聚类操作，实现对缺陷模型顶的杂散点滤波，具体包括以下步骤：
5-1)输入由步骤4处理后的缺陷模型顶部，设置中k-d树搜索的半径范围r以及一个有效聚类包含的最小点数n；
5-2)找到空间中某点p11，用kd树找到离他最近的n个点，判断这n个点到预先设定的点p10的距离，将距离小于阈值r的点p12,p13,p14....放在队列Q里；
5-3)在Q\p11里找到一点p12，重复步骤5-1；
5-4)在Q\p11,p12找到一点，重复5-1，找到p22,p23,p24....全部放进Q里；
5-5)当Q再也不能有新点加入了，则完成搜索；
5-6)最终完成所有点的分类，并将缺陷模型顶部的点云分成了有效数据点和杂散点两类，将杂散点去除。
优选的是，所述步骤6中使用移动最小二乘方法，在现有数据的基础上，结合重采样算法通过对周围数据点进行高阶多项式插值来重建表面缺失的部分，从而实现缺陷模型平滑，具体包括以下步骤:
6-1)输入由所述步骤5处理后的缺陷模型，使用最小二乘方法对其进行平滑预处理；
6-2)设定参数：KD树查找边缘和邻域时的搜索半径，高阶多项式插值的阶数，以及平面上重采样的密度，即单位网格体素内点的数量；
6-3)对于一个点云，创建一个三角网格；
6-4)使用KD树查找边缘和它的邻域；
6-5)对于一个邻域计算投影平面；
6-6)判定平面上的重采样位置；
6-7)拟合曲面且重新采样；
6-8)重复步骤6-1)-步骤6-5)，直到没有孔洞存在，完成缺陷模型平滑，得到平滑后的点云缺陷模型。
优选的是，所述步骤7)中使用贪婪投影三角化算法完成步骤6)得到的点云缺陷模型的表面重建，最终得到缺陷区域的的曲面模型；具体步骤包括：
7-1)设置以下参数：算法模型估算所需的最少点数，设置连接点之间的最大距离(最大边长)，每个点的最终搜索半径r，搜索最近邻点的最大数量k，生成的三角形的最小角度以及最大角度；
7-2)将步骤6)得到的点云缺陷模型的三维点投影到某一平面；
7-3)对投影得到的点云做平面内的三角化，从而得到各点的连接关系；
7-4)最后根据投影点云的连接关系确定各原始三维点间的拓扑连接，所得三角网格即为重建得到的缺陷区域的曲面模型。
优选的是，所述步骤7-3)中，在平面区域三角化的过程中使用基于Delaunay的空间区域增长算法，该算法通过创建一个起始的三角形启动，并不断添加新的三角形直到所有点云中的点被包含或没有更有效的三角形；其具体步骤为:
7-3-1)最近邻域搜索：对于点云中的每一个点p，选择一个k邻域；这个邻域是由搜索参考点k近邻的范围内创建的，半径为r；最初点云中的所有点都是没有限制的，即这些点没有对应的三角形；当一个点的所有可能三角形被确定，那么点被定义为完成状态；当点被选做一个参考点，但是由于最大允许角度参数的限制而缺失一些三角形，点被定义为边界点；边缘点是那些未被选做参考点的点；
7-3-2)切平面的邻域投影：邻域投影在一个表面上，该表面相切于p点周围有序形成的曲面；
7-3-3)修剪：根据可见度和距离标准修剪点，连接p和靠近边缘的连续点，形成具有最大角度标准和可选最小角度标准的三角形。
本发明的有益效果是：本发明的表面缺陷检测和三维建模方法，能实现待检测物体表面缺陷的自动检测和三维模型自动构建。可用于实现工业表面自动化修复，可以应用于人体表面皮肤组织损伤部位建模，为皮肤三维打印提供三维模型。
附图说明
图1为本发明的一种实施例中的表面缺陷检测和三维建模方法的流程示意图。
具体实施方式
下面结合实施例对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。
物体表面缺陷识别与重建的关键在于建立缺陷的三维轮廓模型。本专利中通过寻找物体缺陷的顶部和底部，并对三维缺陷的底部数据和顶部数据配准的方法实现的三维模型构建。主要技术流程为：1、使用RANSAC准确识别出表面上缺陷所处部位，并精准的将原始点云模型分割成缺陷区域与无缺陷区域两部分，其中，缺陷区域就是缺陷模型底部；2、使用ICP精准地实现上一步分割出的无缺陷部位与原始无缺陷点云数据的配准，从而搜索出缺陷模型顶部；3、将两部分通过Greedy Projection Triangulation算法实现曲面重建。具体技术参见下面内容，重建大致流程参见图1。
本实施例的一种表面缺陷检测和三维建模方法，包括以下步骤：
1)原始表面点云数据采集，其包括原始缺陷点云数据和原始无缺陷点云数据：
步骤1)包括分别扫描含缺陷区域的物体和完整的物体，将含缺陷的三维点云数据记作原始缺陷点云数据Pd，将无缺陷的三维点云数据记作原始无缺陷点云数据Pi。
2)原始缺陷点云数据缺陷分割，得到无缺陷部位和缺陷部位：
步骤2)具体为：在含表面缺陷的原始缺陷点云数据中搜索表征缺陷的点云子集，将符合Pi点云分布的点称为内点，记作pi，不符合Pi点云分布模型的称为外点，记作po；其中，其内点和外点提取的具体步骤为：
2-1)输入Pd，设置内点到模拟模型的距离的阈值d，设置点云特征(法向量)与距离阈值(各个点与估计模型之间的距离)之间的比例；
2-2)每一轮的迭代中，在Pd中随机选取n个点进行表面模型的参数估计，得到模拟模型；
2-3)对于Pd剩下的点，若他们到模拟模型的距离小于设定阈值d，则将它们划入到内点集合，大于d，则划入到外点集合；
2-4)若内点集合中点的个数超过设定数量Nt，则判定其为一个好的模型，并将它与上一个好模型进行比较；若该模型对Pd的符合程度比上一论迭代出的模型更好，则保存现有模型；若没有上一个好，则舍弃；
2-5)开始新一轮的模型估计迭代；
2-6)循环k次后，输出最好的模拟模型，以及符合该模型的所有内点，该内点即为含表面缺陷的的原始缺陷点云数据中平坦分布的点云数据，记为无缺陷部位，其剩下的即为原始缺陷点云数据中的缺陷部位。
3)无缺陷部位配准，获取缺陷模型：
步骤3)具体包括以下步骤：
3-1)输入Pi和Pd；
3-2)由于ICP算法对初始位置敏感，我们首先采用质心匹配进行粗配准，使两幅待配准点云处于较优的初始位置。
质心粗配准，其具体包括：
3-2-1)首先计算目标点云Pi的中心
Figure GDA0003652495520000071
与待配准点云Pd的中心
Figure GDA0003652495520000072
记Ny是目标点云的点数，Nx是待配准点云的点数；待配准点云是上一步骤2)中分割出的Pd中无缺陷部分，其中：
Figure GDA0003652495520000073
3-2-2)计算待配准点云的平移向量
Figure GDA0003652495520000074
Figure GDA0003652495520000075
3-2-3)根据平移向量实现粗配准，
Figure GDA0003652495520000076
是粗配后的点云:
Figure GDA0003652495520000081
3-3)精配准：在使用粗配准完成点云初始位置设定之后，再进行精配准，其配准模型为
Figure GDA0003652495520000082
经过数次迭代最小化
Figure GDA0003652495520000083
寻找出最优的旋转矩阵
Figure GDA0003652495520000084
以及平移向量
Figure GDA0003652495520000085
其中：
Figure GDA0003652495520000086
Figure GDA0003652495520000087
其中，
Figure GDA0003652495520000088
表示待配准点云与目标点云的平均距离，
Figure GDA0003652495520000089
是待配准点云经过k+1次迭代后的结果，
Figure GDA00036524955200000810
是目标点云经过k+1次迭代后的结果，τ代表示两次迭代前后配准误差的插值；当出现两次迭代之间的差值
Figure GDA00036524955200000811
小于阈值时，则认为迭代结束，完成无缺陷部位配准，并通过数据共享或传递获得配准后的缺陷部位，从而得到配准后的缺陷模型。
4)缺陷模型顶部分割：
步骤4中使用k-d树最邻近搜索方法检测缺陷模型底部，具体包括以下步骤：
4-1)输入原始无缺陷点云数据Pi，通过设置搜索半径，对该点云的每一个点在半径r的球内寻找在无缺陷区域内的近邻值；
4-2)构造3维KD树：三维点对应一棵三维树，构造树时根节点选取x轴，根节点的孩子选取y轴，根节点的孙子选取z轴，根节点的曾孙子选取x轴，依次循环下去；
4-3)从根结点出发，通过二叉树搜索顺着“搜索路径”在一个叶节点处到最近邻的近似点；其中，二叉树搜索方法为：比较待查询节点和分裂节点的分裂维的值，小于等于就进入左子树分支，大于就进入右子树分支直到叶子结点；
4-4)递归向上回退，每回退一步，如果该回退处的结点比当前“近似紧邻点”更接近目标点，则以该点作为“当前最近邻点”；
4-5)最近邻点一定存在于当前节点的一个子节点对应的区域，检查该节点的父结点的另一个子节点区域内是否有比“当前最近邻点”更接近目标点的点；若有，则在那个节点处进行回退，若没有，则在当前节点处继续回退；
4-6)回退到根节点时，搜索结束，“当前最近邻点”即为“最近近邻点”；
4-7)利用k-d树对配准后的无缺陷部位的每一个点在原始无缺陷点云表面进行近邻搜索，若在所给半径范围的球内找不到一个近邻值，则这个点就是配准后的缺陷模型顶部的点，从而实现配准后的缺陷模型顶部的分割。
5)缺陷模型顶部杂散点滤波：
步骤5中采用欧式聚类对点云进行聚类操作，实现对缺陷模型顶的杂散点滤波，具体包括以下步骤：
5-1)输入由步骤4处理后的缺陷模型顶部，设置中k-d树搜索的半径范围r以及一个有效聚类包含的最小点数n；
5-2)找到空间中某点p11，用kd树找到离他最近的n个点，判断这n个点到预先设定的点p10的距离，将距离小于阈值r的点p12,p13,p14....放在队列Q里；
5-3)在Q\p11里找到一点p12，重复步骤5-1；
5-4)在Q\p11,p12找到一点，重复5-1，找到p22,p23,p24....全部放进Q里；
5-5)当Q再也不能有新点加入了，则完成搜索；
5-6)最终完成所有点的分类，并将缺陷模型顶部的点云分成了有效数据点和杂散点两类，将杂散点去除。
6)缺陷模型平滑：
步骤6中使用移动最小二乘方法(Moving Least Squares，MLS)，在现有数据的基础上，结合重采样算法通过对周围数据点进行高阶多项式插值来重建表面缺失的部分，从而实现缺陷模型平滑，具体包括以下步骤:
6-1)输入由所述步骤5处理后的缺陷模型，使用最小二乘方法对其进行平滑预处理；
6-2)设定参数：KD树查找边缘和邻域时的搜索半径，高阶多项式插值的阶数，以及平面上重采样的密度，即单位网格体素内点的数量；
6-3)对于一个点云，创建一个三角网格；
6-4)使用KD树查找边缘和它的邻域；
6-5)对于一个邻域计算投影平面；
6-6)判定平面上的重采样位置；
6-7)拟合曲面且重新采样；
6-8)重复步骤6-1)-步骤6-5)，直到没有孔洞存在，完成缺陷模型平滑，得到平滑后的点云缺陷模型。
7)曲面建模，将点云缺陷模型进行表面重建，得到缺陷区域的曲面模型：
所述步骤7)中使用贪婪投影三角化算法完成步骤6)得到的点云缺陷模型的表面重建，最终得到缺陷区域的的曲面模型；具体步骤包括：
7-1)设置以下参数：算法模型估算所需的最少点数，设置连接点之间的最大距离(最大边长)，每个点的最终搜索半径r，搜索最近邻点的最大数量k，生成的三角形的最小角度以及最大角度；
7-2)将步骤6)得到的点云缺陷模型的三维点投影到某一平面；
7-3)对投影得到的点云做平面内的三角化，从而得到各点的连接关系；
7-4)最后根据投影点云的连接关系确定各原始三维点间的拓扑连接，所得三角网格即为重建得到的缺陷区域的曲面模型。
上述算法基于增量表面生长规律，遵循贪婪类型方法。算法通过创建一个起始的三角形启动，并不断添加新的三角形直到所有点云中的点被包含或没有更有效的三角形。
其中，步骤7-3)中，在平面区域三角化的过程中使用基于Delaunay的空间区域增长算法，该算法通过创建一个起始的三角形启动，并不断添加新的三角形直到所有点云中的点被包含或没有更有效的三角形；其具体步骤为:
7-3-1)最近邻域搜索：对于点云中的每一个点p，选择一个k邻域；这个邻域是由搜索参考点k近邻的范围内创建的，半径为r；最初点云中的所有点都是没有限制的，即这些点没有对应的三角形；当一个点的所有可能三角形被确定，那么点被定义为完成状态；当点被选做一个参考点，但是由于最大允许角度参数的限制而缺失一些三角形，点被定义为边界点；边缘点是那些未被选做参考点的点；
7-3-2)切平面的邻域投影：邻域投影在一个表面上，该表面相切于p点周围有序形成的曲面；
7-3-3)修剪：根据可见度和距离标准修剪点，连接p和靠近边缘的连续点，形成具有最大角度标准和可选最小角度标准的三角形。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节。

Claims (5)

1.一种表面缺陷检测和三维建模方法，其特征在于，包括以下步骤：
1)原始表面点云数据采集，其包括原始缺陷点云数据和原始无缺陷点云数据；
2)原始缺陷点云数据缺陷分割，得到无缺陷部位和缺陷部位；
3)无缺陷部位配准，获取缺陷模型；
4)缺陷模型顶部分割；
5)缺陷模型顶部杂散点滤波；
6)缺陷模型平滑；
7)曲面建模，将点云缺陷模型进行表面重建，得到缺陷区域的曲面模型；
所述步骤1)包括分别扫描含缺陷区域的物体和完整的物体，将含缺陷的三维点云数据记作原始缺陷点云数据Pd，将无缺陷的三维点云数据记作原始无缺陷点云数据Pi；
所述步骤2)具体为：在含表面缺陷的原始缺陷点云数据中搜索表征缺陷的点云子集，将符合Pi点云分布的点称为内点，记作pi，不符合Pi点云分布模型的称为外点，记作po；其中，其内点和外点提取的具体步骤为：
2-1)输入Pd，设置内点到模拟模型的距离的阈值d；
2-2)每一轮的迭代中，在Pd中随机选取n个点进行表面模型的参数估计，得到模拟模型；
2-3)对于Pd剩下的点，若它 们到模拟模型的距离小于设定阈值d，则将它们划入到内点集合，大于d，则划入到外点集合；
2-4)若内点集合中点的个数超过设定数量Nt，则判定其为一个好的模型，并将它与上一个好模型进行比较；若该模型对Pd的符合程度比上一论迭代出的模型更好，则保存现有模型；若没有上一个好，则舍弃；
2-5)开始新一轮的模型估计迭代；
2-6)循环k次后，输出最好的模拟模型，以及符合该模型的所有内点，该内点即为含表面缺陷的原始缺陷点云数据中平坦分布的点云数据，记为无缺陷部位，其剩下的即为原始缺陷点云数据中的缺陷部位；
所述步骤3)具体包括以下步骤：
3-1)输入Pi和Pd；
3-2)质心粗配准，其具体包括：
3-2-1)首先计算目标点云Pi的中心
Figure FDA0003688749950000021
与待配准点云Pd的中心
Figure FDA0003688749950000022
记Ny是目标点云的点数，Nx是待配准点云的点数；待配准点云是上一步骤2)中分割出的Pd中无缺陷部分，其中：
Figure FDA0003688749950000023
3-2-2)计算待配准点云的平移向量
Figure FDA0003688749950000024
Figure FDA0003688749950000025
3-2-3)根据平移向量实现粗配准，
Figure FDA0003688749950000026
是粗配后的点云:
Figure FDA0003688749950000027
3-3)精配准：在使用粗配准完成点云初始位置设定之后，再进行精配准，其配准模型为
Figure FDA0003688749950000028
经过数次迭代最小化
Figure FDA0003688749950000029
寻找出最优的旋转矩阵
Figure FDA00036887499500000210
以及平移向量
Figure FDA00036887499500000211
其中：
Figure FDA00036887499500000212
Figure FDA00036887499500000213
其中，
Figure FDA00036887499500000214
表示待配准点云与目标点云的平均距离，
Figure FDA00036887499500000215
是待配准点云经过k+1次迭代后的结果，
Figure FDA00036887499500000216
是目标点云经过k+1次迭代后的结果，τ代表示两次迭代前后配准误差的插值；当出现两次迭代之间的差值
Figure FDA00036887499500000217
小于阈值时，则认为迭代结束，完成无缺陷部位配准，并通过数据共享或传递获得配准后的缺陷部位，从而得到配准后的缺陷模型；
所述步骤4)中使用k-d树最邻近搜索方法检测缺陷模型顶部，具体包括以下步骤：
4-1)输入原始无缺陷点云数据Pi，通过设置搜索半径，对该点云的每一个点在半径r的球内寻找在无缺陷区域内的近邻值；
4-2)构造3维k-d树：三维点对应一棵三维树，构造树时根节点选取x轴，根节点的孩子选取y轴，根节点的孙子选取z轴，根节点的曾孙子选取x轴，依次循环下去；
4-3)从根结点出发，通过二叉树搜索顺着“搜索路径”在一个叶节点处到最近邻的近似点；其中，二叉树搜索方法为：比较待查询节点和分裂节点的分裂维的值，小于等于就进入左子树分支，大于就进入右子树分支直到叶子结点；
4-4)递归向上回退，每回退一步，如果该回退处的结点比当前“近似紧邻点”更接近目标点，则以该点作为“当前最近邻点”；
4-5)最近邻点一定存在于当前节点的一个子节点对应的区域，检查该节点的父结点的另一个子节点区域内是否有比“当前最近邻点”更接近目标点的点；若有，则在那个节点处进行回退，若没有，则在当前节点处继续回退；
4-6)回退到根节点时，搜索结束，“当前最近邻点”即为“最近近邻点”；
4-7)利用k-d树对配准后的无缺陷部位的每一个点在原始无缺陷点云表面进行近邻搜索，若在所给半径范围的球内找不到一个近邻值，则这个点就是配准后的缺陷模型顶部的点，从而实现配准后的缺陷模型顶部的分割。
2.根据权利要求1所述的表面缺陷检测和三维建模方法，其特征在于，所述步骤5)中采用欧式聚类对点云进行聚类操作，实现对缺陷模型顶部的杂散点滤波，具体包括以下步骤：
5-1)输入由步骤4)处理后的缺陷模型顶部，设置k-d树搜索的半径范围r以及一个有效聚类包含的最小点数n；
5-2)找到空间中某点p11，用k-d树找到离他最近的n个点，判断这n个点到预先设定的点p10的距离，将距离小于阈值r的点p12,p13,p14....放在队列Q里；
5-3)在Q\p11里找到一点p12，重复步骤5-1)；
5-4)在Q\p11,p12找到一点，重复步骤5-1)，找到p22,p23,p24....全部放进Q里；
5-5)当Q再也不能有新点加入了，则完成搜索；
5-6)最终完成所有点的分类，并将缺陷模型顶部的点云分成了有效数据点和杂散点两类，将杂散点去除。
3.根据权利要求2所述的表面缺陷检测和三维建模方法，其特征在于，所述步骤6)中使用移动最小二乘方法，在现有数据的基础上，结合重采样算法通过对周围数据点进行高阶多项式插值来重建表面缺失的部分，从而实现缺陷模型平滑，具体包括以下步骤:
6-1)输入由所述步骤5)处理后的缺陷模型，使用最小二乘方法对其进行平滑预处理；
6-2)设定参数：k-d树查找边缘和邻域时的搜索半径，高阶多项式插值的阶数，以及平面上重采样的密度，即单位网格体素内点的数量；
6-3)对于一个点云，创建一个三角网格；
6-4)使用k-d树查找边缘和它的邻域；
6-5)对于一个邻域计算投影平面；
6-6)判定平面上的重采样位置；
6-7)拟合曲面且重新采样；
6-8)重复步骤6-1)-步骤6-5)，直到没有孔洞存在，完成缺陷模型平滑，得到平滑后的点云缺陷模型。
4.根据权利要求3所述的表面缺陷检测和三维建模方法，其特征在于，
所述步骤7)中使用贪婪投影三角化算法完成步骤6)得到的点云缺陷模型的表面重建，最终得到缺陷区域的曲面模型；具体步骤包括：
7-1)设置以下参数：算法模型估算所需的最少点数，设置连接点之间的最大距离，每个点的最终搜索半径r，搜索最近邻点的最大数量k，生成的三角形的最小角度以及最大角度；
7-2)将步骤6)得到的点云缺陷模型的三维点投影到某一平面；
7-3)对投影得到的点云做平面内的三角化，从而得到各点的连接关系；
7-4)最后根据投影点云的连接关系确定各原始三维点间的拓扑连接，所得三角网格即为重建得到的缺陷区域的曲面模型。
5.根据权利要求4所述的表面缺陷检测和三维建模方法，其特征在于，所述步骤7-3)中，在平面区域三角化的过程中使用基于Delaunay的空间区域增长算法，该算法通过创建一个起始的三角形启动，并不断添加新的三角形直到所有点云中的点被包含或没有更有效的三角形；其具体步骤为:
7-3-1)最近邻域搜索：对于点云中的每一个点p，选择一个k邻域；这个邻域是由搜索参考点k近邻的范围内创建的，半径为r；最初点云中的所有点都是没有限制的，即这些点没有对应的三角形；当一个点的所有可能三角形被确定，那么点被定义为完成状态；当点被选做一个参考点，但是由于最大允许角度参数的限制而缺失一些三角形，点被定义为边界点；边缘点是那些未被选做参考点的点；
7-3-2)切平面的邻域投影：邻域投影在一个表面上，该表面相切于p点周围有序形成的曲面；
7-3-3)修剪：根据可见度和距离标准修剪点，连接p和靠近边缘的连续点，形成具有最大角度标准和可选最小角度标准的三角形。
CN201811118372.9A 2018-09-21 2018-09-21 表面缺陷检测和三维建模方法 Active CN109345523B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811118372.9A CN109345523B (zh) 2018-09-21 2018-09-21 表面缺陷检测和三维建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811118372.9A CN109345523B (zh) 2018-09-21 2018-09-21 表面缺陷检测和三维建模方法

Publications (2)

Publication Number Publication Date
CN109345523A CN109345523A (zh) 2019-02-15
CN109345523B true CN109345523B (zh) 2022-08-16

Family

ID=65306328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811118372.9A Active CN109345523B (zh) 2018-09-21 2018-09-21 表面缺陷检测和三维建模方法

Country Status (1)

Country Link
CN (1) CN109345523B (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110068279B (zh) * 2019-04-25 2021-02-02 重庆大学产业技术研究院 一种基于点云数据的预制构件平面圆孔提取方法
CN110176073B (zh) * 2019-05-20 2023-07-04 中国科学院苏州生物医学工程技术研究所 三维缺陷模型自动建模和自适应分层方法
CN110211031B (zh) * 2019-06-05 2020-10-02 山东大学 基于递归划分的多类散点图采样方法、系统、存储介质及设备
CN112526545A (zh) * 2019-08-30 2021-03-19 深圳市速腾聚创科技有限公司 一种激光雷达点云处理方法、装置、存储介质及终端设备
CN110567974B (zh) * 2019-09-30 2021-04-06 华中科技大学 一种基于云端人工智能表面缺陷检测系统
CN111709934B (zh) * 2020-06-17 2021-03-23 浙江大学 一种基于点云特征对比的注塑叶轮翘曲缺陷检测方法
CN111783798B (zh) * 2020-07-01 2023-09-15 北京大学深圳研究生院 基于显著性特征的模拟残缺点云的遮罩生成方法
CN112116553B (zh) * 2020-07-23 2022-05-10 哈尔滨岛田大鹏工业股份有限公司 一种基于k-d树的无源三维点云模型缺陷识别方法
CN112184616A (zh) * 2020-07-23 2021-01-05 哈尔滨岛田大鹏工业股份有限公司 一种基于八叉树的有源三维点云模型缺陷识别方法
CN112906603A (zh) * 2021-03-04 2021-06-04 晶仁光电科技(苏州)有限公司 基于点云数据的三维曲面监控方法、系统及可读介质
CN113205486A (zh) * 2021-04-08 2021-08-03 南京汇川图像视觉技术有限公司 基于三维点云的表面缺陷检测方法、装置及存储介质
CN113096094B (zh) * 2021-04-12 2024-05-17 吴俊� 三维物体表面缺陷检测方法
CN113643273B (zh) * 2021-08-24 2024-05-03 凌云光技术股份有限公司 一种基于点云数据的缺陷检测方法及装置
CN113592862A (zh) * 2021-09-27 2021-11-02 武汉科技大学 钢板表面缺陷的点云数据分割方法、系统、设备、介质
CN113642680B (zh) * 2021-10-13 2022-02-08 常州微亿智造科技有限公司 边缘合成及超球体软拟合缺陷检测方法
CN113888531B (zh) * 2021-11-02 2024-06-25 中南大学 混凝土表面缺陷检测方法、装置、电子设备及存储介质
CN114092433B (zh) * 2021-11-16 2024-06-25 武汉大学 一种基于三角形质心优化的表观缺陷检测方法
CN114131293B (zh) 2021-11-25 2022-11-01 南京航空航天大学 一种飞机结构加强件自动化加工方法
CN114279361B (zh) * 2021-12-27 2023-08-22 哈尔滨工业大学芜湖机器人产业技术研究院 一种筒形零件内壁缺陷尺寸三维测量系统及其测量方法
CN114882020B (zh) * 2022-07-06 2022-11-11 深圳市信润富联数字科技有限公司 产品的缺陷检测方法、装置、设备及计算机可读介质
CN115256950B (zh) * 2022-09-27 2023-02-28 西安知象光电科技有限公司 一种三维复印装置及其工作方法
CN116452583B (zh) * 2023-06-14 2023-09-12 南京信息工程大学 点云缺陷检测方法、装置、系统及存储介质
CN116664575B (zh) * 2023-07-31 2023-11-03 厦门微图软件科技有限公司 一种基于点云配准的缺陷检测方法、装置以及设备
CN118003031B (zh) * 2024-04-09 2024-06-14 中国长江电力股份有限公司 一种增材修复轴瓦的自适应加工方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484507A (zh) * 2014-11-26 2015-04-01 重庆大学 一种基于逆向工程的零部件再制造方法
CN107067469A (zh) * 2016-12-27 2017-08-18 中国人民解放军装甲兵工程学院 获取损伤零件缺损部位模型的系统
CN107886528A (zh) * 2017-11-30 2018-04-06 南京理工大学 基于点云的配电线路作业场景三维重建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484507A (zh) * 2014-11-26 2015-04-01 重庆大学 一种基于逆向工程的零部件再制造方法
CN107067469A (zh) * 2016-12-27 2017-08-18 中国人民解放军装甲兵工程学院 获取损伤零件缺损部位模型的系统
CN107886528A (zh) * 2017-11-30 2018-04-06 南京理工大学 基于点云的配电线路作业场景三维重建方法

Also Published As

Publication number Publication date
CN109345523A (zh) 2019-02-15

Similar Documents

Publication Publication Date Title
CN109345523B (zh) 表面缺陷检测和三维建模方法
CN109658515A (zh) 点云网格化方法、装置、设备及计算机存储介质
CN106600639B (zh) 遗传算法结合自适应阈值约束的icp位姿定位技术
CN113298833A (zh) 目标物点云特征线面提取方法及系统
Sinko et al. 3D registration of the point cloud data using ICP algorithm in medical image analysis
CN107680168B (zh) 三维重建中基于平面拟合的网格简化方法
CN103632371A (zh) 基于兼容性网格分割的骨骼参数计算方法
CN116452583B (zh) 点云缺陷检测方法、装置、系统及存储介质
CN112102494B (zh) 骨架线引导的树状点云表面重建方法及装置
CN114663373A (zh) 一种用于零件表面质量检测的点云配准方法及装置
CN113450269A (zh) 一种基于3d视觉的点云关键点提取方法
CN117132630A (zh) 一种基于二阶空间兼容性度量的点云配准方法
CN116523898A (zh) 一种基于三维点云的烟草表型性状提取方法
CN111079208B (zh) 基于粒子群算法的cad模型之间面对应关系识别方法
CN111783722B (zh) 一种激光点云的车道线提取方法和电子设备
CN113111741A (zh) 一种基于三维特征点的装配状态识别方法
CN110288517B (zh) 基于投影匹配组的骨架线提取方法
CN116310355A (zh) 一种复杂结构件的激光点云去噪和缺陷检测方法
CN114898041A (zh) 一种基于光度误差的改进icp方法
CN117710603B (zh) 一种直线几何结构约束下无人机图像三维建筑物建模方法
CN117152446B (zh) 一种基于高斯曲率和局部凹凸性的改进lccp点云分割方法
CN115147433A (zh) 点云配准方法
CN118052866A (zh) 一种气道树中心线提取方法及系统
CN117746055A (zh) 基于3d点云数据提取立体特征的算法
CN116452604A (zh) 一种复杂变电站场景分割方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant