CN109658398A - 一种基于三维测量点云的零件表面缺陷识别与评估方法 - Google Patents

Abstract

本发明属于工业自动化测量领域，并具体公开了一种基于三维测量点云的零件表面缺陷识别与评估方法，其包括如下步骤：利用光栅式面阵扫描仪采集待测零件的表面点云数据；将采集的点云数据与零件设计模型点云数据进行匹配，获取点云数据的最近点集合数据；根据点云数据与最近点集合数据计算3D误差，并根据3D误差生成误差色谱图，依据误差色谱图预判出缺陷区域；对预判的缺陷区域进行平面度拟合，求解出缺陷区域的平面度；将预判的缺陷区域转化为二维灰度图像并进行边缘提取，然后进行区域填充以计算缺陷区域的面积s，以此完成零件表面缺陷的识别与评估。本发明解决了二维图像不能获取缺陷深度和误差色谱不能获取缺陷大小的不足，适用性广。

Description

一种基于三维测量点云的零件表面缺陷识别与评估方法

技术领域

本发明属于工业自动化测量领域，更具体地，涉及一种基于三维测量点云的零件表面缺陷识别与评估方法。

背景技术

在航空航天与核电领域，环形零件非常常见，如核主泵密封面，航空发动机的环形零部件等，在长时间的服役之后，易产生尺寸变形，表面材料脱落等缺陷，需要定时对其表面进行全面的检测，以便及时检修。一般的检测方式使用三坐标测量仪，这种仪器检测精度较高，但是对于微小的划痕不便于测量深度信息，同时检测效率很慢，检测效率低。另外一种检测方式是利用二维图像识别的方式对零件表面采集图像，通过图像处理以及神经网络的方式对缺陷进行识别，这种方式检测效率高，能够获取较为准确的缺陷大小，但是由于使用的是二维图像识别，丢失了第三维的信息，所以不能识别缺陷的深度。

为了克服上述检测方式的不足，出现了基于三维测量点云的零件表面检测方法，其通过光栅式面阵扫描仪获取零件表面的点云数据，点云数据是空间中零件三维点的集合，通常数据规模达到百万级，通过点云可以提取出关键的三维信息及二维尺寸。现有的点云处理方法多采用Geomagic、GomInspect等通用点云处理软件，这些软件具备点云的显示、删除、精简、点云三维模型匹配、误差色谱显示等通用功能，但缺乏专用缺陷识别功能，无法满足零件表面的缺陷识别需求。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于三维测量点云的零件表面缺陷识别与评估方法，通过三维测量点云匹配的方式获取误差色谱图，再通过色谱图识别缺陷深度和大小，解决了二维图像不能获取缺陷深度和误差色谱不能获取缺陷大小的不足，综合了两种方法的优势，能适用于测量表面为平面的情况，适用性非常广，对核电法兰密封面的缺陷检测有着很重要的意义，同时也可以用于其他平面类的零件缺陷识别。

为实现上述目的，本发明提出了一种基于三维测量点云的零件表面缺陷识别与评估方法，其包括如下步骤：

S1利用光栅式面阵扫描仪采集待测零件的表面点云数据；

S2将采集的点云数据与零件设计模型点云数据进行匹配，获取点云数据的最近点集合数据；

S3根据点云数据与最近点集合数据计算3D误差，并根据3D误差生成误差色谱图，然后依据误差色谱图预判出缺陷区域；

S4对预判的缺陷区域进行平面度拟合，以求解出缺陷区域的深度d；

S5将预判的缺陷区域转化为二维灰度图像并进行边缘提取，然后进行区域填充以计算缺陷区域的面积s，以此完成零件表面缺陷的识别与评估。

作为进一步优选的，步骤S2中点云数据的最近点集合数据采用如下方式获得：

利用采集的点云数据P＝{p₁,p₂,...p_i,...p_s}与零件设计模型点云数据Q＝{q₁,q₂,...q_a,...q_l}进行匹配，求解点云数据坐标系与设计模型坐标系的转换矩阵T；利用转换矩阵T求解q′_i＝T×p_i，然后构建最近点集合Q′＝{q′₁,q′₂,...,q′_i,...q′_s}。

作为进一步优选的，步骤S3中3D误差采用如下方式获得：

d_i＝(p_i-q′_i)·n_i

其中，d_i表示采集的点云数据中第i个点的3D误差，i＝1,2,...,s，n_i表示最近点q′_i的法向量。

作为进一步优选的，步骤S3中依据误差色谱图预判出缺陷区域具体为：根据误差色谱图的颜色获得具有明显颜色梯度变换的区域，并框选出该区域，记为区域A。

作为进一步优选的，步骤S4中缺陷的深度d采用如下方式获得：

S41确定满足的a,b,c作为估计值其中，x_i,y_i,z_i为区域A内对应点的三维坐标，并利用估计值建立平面方程

S42然后计算区域A内所有点离平面的距离，将正反向距离最大值相加即为缺陷深度d。

作为进一步优选的，步骤S5中将预判的缺陷区域转化为二维灰度图像具体为：采用下式将预判缺陷区域内的各点转换为灰度值f_i(x,y)：

其中，f和e分别为上偏差和下偏差。

作为进一步优选的，步骤S5中采用如下方式进行边缘提取：使用DOG算子对二维灰度图像中的各点进行处理以获得对应的图像点h_i(x,y)：

其中，σ₁,σ₂为高斯函数的方差参数，x,y为二维灰度图像中对应点的像素点坐标。

作为进一步优选的，步骤S5中采用如下方式进行区域填充并计算缺陷区域面积s：

S51对提取的图像进行二值化操作，使图像边界的像素值为1，其他为0，然后对二值化操作后的图像进行填充；

S52计算填充后的图像中像素为1的个数，记为N₁，计算缺陷区域面积s：

其中，N为区域A内点云的数量，S为区域A的面积。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，主要具备以下的技术优点：

1.本发明通过引入三维测量点云与设计匹配的方式来解决缺陷识别中深度信息难以获取的难点，通过对所选平面进行平面度拟合来获取该处缺陷的深度，作为缺陷深度的一个估计。

2.本发明通过将三维误差色谱图转换为二维图像，根据颜色梯度的变化分割出缺陷区域，以此计算出缺陷面积的大小，具有简单方便准确的优点。

3.本发明很好的解决了缺陷识别中难以同时获得缺陷深度和缺陷大小的难题，在自动检测领域中可广泛应用。

附图说明

图1是带有缺陷的样件示意图；

图2是利用光栅式面阵扫描仪获取的点云数据图；

图3是经过点云-模型匹配之后的误差色谱图；

图4是误差色谱图转换为二维图像后进行图像边缘提取后的结果图；

图5是基于三维测量点云的零件表面缺陷识别与评估方法的流程图；

图6是图像区域填充流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

以待测量样件为例，目前的缺陷识别大多数通过单目相机采集二维图像，然后经过图像预处理、分割，最终识别出缺陷区域，这种方式只能测量缺陷的大小，而不能测量缺陷的深度，而对于核电密封槽而言，缺陷的深度和缺陷的面积大小都影响着日常的使用，所以，如何能够在获取缺陷深度的同时又能获取缺陷的大小对核电密封槽的检测维修具有重要的意义。

如图1所示，样件表面(平面)上加工了两个缺陷，一个是正方形缺陷，缺陷深度为0.1mm，另外一个为三角形缺陷，缺陷深度为0.05mm，本发明的目的就是将缺陷深度和缺陷大小一并求出。

如图5所示，本发明实施例提供的一种基于三维测量点云的零件表面缺陷识别与评估方法，其包括如下步骤：

S1利用现有的光栅式面阵扫描仪采集待测零件的表面点云数据P＝{p₁,p₂,...p_i,...p_s}，采集的数据点数量根据需要进行设定，采集的点云数据如图2所示；

S2将采集的点云数据P＝{p₁,p₂,...p_i,...p_s}与零件设计模型点云数据Q＝{q₁,q₂,...q_a,...q_l}进行匹配，获取点云数据的最近点集合数据Q′＝{q′₁,q′₂,...,q′_i,...q′_s}，该零件设计模型点云数据预先设定，其为数据集，包含了零件所有点云数据，数量大于采集的点云数据的量；

S3根据点云数据P＝{p₁,p₂,...p_i,...p_s}与最近点集合数据Q′＝{q′₁,q′₂,...,q′_i,...q′_s}计算各点的3D误差，并根据3D误差值生成误差色谱图，依据误差色谱图预判出缺陷区域；

S4对预判的缺陷区域进行平面度拟合，以求解出缺陷区域的平面度，该平面度即为缺陷的深度d；

S5将预判的缺陷区域转化为二维灰度图像并进行边缘提取，然后进行区域填充以计算缺陷区域的面积s，以此完成零件表面缺陷的识别与评估。

对于步骤S2而言，采用如下方式获得最近点集合数据：利用采集的点云数据P＝{p₁,p₂,...p_i,...p_s}与零件设计模型点云数据Q＝{q₁,q₂,...q_a,...q_l}进行匹配求解点云数据坐标系与设计模型坐标系的转换矩阵T；利用转换矩阵T求解q′_i＝T×p_i，构建最近点集合Q′＝{q′₁,q′₂,...,q′_i,...q′_s}。

转换矩阵T采用如下方式确定：

S21对P中所有点p_i从Q中搜索各点对应的最近点q_i，计算质心μ_P、μ_Q及坐标差

S22由点集P、Q计算3×3阶协方差矩阵H：

其中，H_ij表示矩阵H的第i行第j列元素；

S23由H构造4×4阶对称矩阵W；

S24计算矩阵W的特征值，提取最大特征值对应的特征向量进而求解旋转矩阵R和平移矩阵t：

t＝μ_Q-R×μ_P

进而求得

对于步骤S3而言，根据点云数据P＝{p₁,p₂,...p_i,...p_s}与最近点集合Q′＝{q′₁,q′₂,..q′_i,...q′_s}求距离dist，距离dist为每个点3D误差d_i的集合，n_i表示最近点q′_i的法向量，误差集合dist表达式如下：

dist＝{d₁,d₂,...d_i,...d_s}

d_i＝(p_i-q′_i)·n_i

设定误差下限值dist_min的RGB值为(0,0,1)，设定误差上限值dist_max的RGB值为(1,0,0)，根据误差值大小d_i在区间[dist_min,dist_max]位置计算其对应的RGB值，生成误差色谱图，如图3所示；

根据获取的误差色谱图，首先根据色谱图的颜色找出具有颜色梯度变换明显的区域，如绿色变成蓝色，绿色变成红色的区域，然后框选该区域作为区域A，例如利用矩形工具框选该区域，以使框选出来的区域A包围该梯度变换明显的区域，也可采用该梯度变换明显区域的最小包围盒作为区域A。

对于步骤S4而言，采用如下方式计算缺陷深度d：

S41确定满足的a,b,c作为估计值即满足上述方程的a,b,c分别作为平面方程中的参数其中，x_i,yi,zi为区域A内对应点i的三维坐标，n为区域A内点云的个数，利用估计值建立平面方程

S42然后计算区域A内所有点离平面的距离，将正反向距离最大值相加即为缺陷深度d。

对于步骤S5而言，首先将预判的缺陷区域A转化为二维灰度图像，具体是针对框选区域的色谱图，按照上下偏差将对应点的误差值映射到二维灰度图像的[0,255]区间内，第i(i＝1,2…,n)个点的误差d_i对应的灰度值f_i(x,y)为：

其中，f和e分别为上偏差和下偏差，f取缺陷区域A内的最大误差值，e取缺陷区域A内的最小误差值；

采用上式将预判缺陷区域内的所有点均转换为灰度值，如此即实现了将预判的缺陷区域A转化为二维灰度图像，然后进行二维图像的边缘提取。

因为物体的边缘是以图像局部特征不连续的形式出现的，也就是指图像局部亮度变化最显著的部分，如灰度值的突变、颜色的突变、纹理结构的突变等等，同时物体的边缘也是不同区域的分界处。图像边缘有幅度和方向两个特性，通常沿着边缘的方向灰度变化平缓，垂直于边缘走向的灰度变化剧烈，可以根据这一特征来提取色谱图中真正的缺陷区域。本发明中二维图像边缘提取使用DOG算子，使用DOG算子的基本思路是先用高斯函数对图像进行滤波，然后对滤波后的图像进行拉普拉斯运算，得到的值等于0的点认为是边界点，具体而言，对求解出来的二维灰度图像中的各点f_i(x,y)，使用DOG算子为：

其中，σ₁,σ₂为高斯函数的方差参数，x,y为二维图像中第i点的像素点坐标；

DOG运算得到h_i(x,y)：

h_i(x,y)＝[DOG(σ₁,σ₂)]×f_i(x,y)

如此就提取了与二维灰度图像中各点f_i(x,y)对应的点h_i(x,y)，获得提取后的图像；

对于步骤S5而言，进行区域填充并计算缺陷区域面积s具体包括如下子步骤：

S51对上一步提取的图像中的各点h_i(x,y)进行二值化操作得到b_i(x,y)，使得缺陷边界的像素值为1，其他为0，然后对二值化操作后的图像进行填充，本发明采用现有技术中常规的区域填充方法对二值化图像进行填充，此处仅作简要说明：

S511如图6所示，在提取的图像区域内选择任意一点作为初始填充点，定义为s₁；

S512按照上下左右的顺序检查与初始填充点s₁相邻的四个像素，若像素在图像区域内且未置成1，把该像素作为下一个待填充点，定义为s₂，然后将初始填充点s₁像素值置1，当然此处可能有多个像素满足要求，例如三个，那就定义为s₂、s₃、s₄；

S513重复步骤S512，以遍历图像区域内所有的像素点，结束填充，即按照上下左右的顺序检查与下一个待填充点(即s₂)相邻的四个像素，若像素在图像区域内且未置成1，把其作为下一个待填充点，然后将s₂置1，此处的下一个待填充点接着步骤S512中待填充点的编号即可，完成s₂的填充，接着继续s₃的填充，依次类推，直至完成图像区域内所有像素点的填充；

S52计算填充后的图像中像素为1的个数，记为N₁，则缺陷区域面积s为：

其中，N为区域A内点云的数量，S为区域A的面积，S＝l·w，l为区域A的长，w为区域A的宽。

本发明的方法可利用三维点云匹配的方式获取零件表面缺陷的深度信息，同时利用二维图像识别的方式获取零件表面缺陷的形状和面积，实现三维信息和二维信息的融合，可代替传统的人工识别缺陷的方式，实现零件表面缺陷的自动识别和尺寸信息计算。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于三维测量点云的零件表面缺陷识别与评估方法，其特征在于，包括如下步骤：

S1利用光栅式面阵扫描仪采集待测零件的表面点云数据；

S2将采集的点云数据与零件设计模型点云数据进行匹配，获取点云数据的最近点集合数据；

S3根据点云数据与最近点集合数据计算3D误差，并根据3D误差生成误差色谱图，然后依据误差色谱图预判出缺陷区域；

S4对预判的缺陷区域进行平面度拟合，以求解出缺陷区域的深度d；

S5将预判的缺陷区域转化为二维灰度图像并进行边缘提取，然后进行区域填充以计算缺陷区域的面积s，以此完成零件表面缺陷的识别与评估。

2.如权利要求1所述的基于三维测量点云的零件表面缺陷识别与评估方法，其特征在于，步骤S2中点云数据的最近点集合数据采用如下方式获得：

利用采集的点云数据P＝{p₁,p₂,...p_i,...p_s}与零件设计模型点云数据Q＝{q₁,q₂,...q_a,...q_l}进行匹配，求解点云数据坐标系与设计模型坐标系的转换矩阵T；利用转换矩阵T求解q′_i＝T×p_i，然后构建最近点集合Q′＝{q′₁,q′₂,...,q′_i,...q′_s}。

3.如权利要求1所述的基于三维测量点云的零件表面缺陷识别与评估方法，其特征在于，步骤S3中3D误差采用如下方式获得：

d_i＝(p_i-q′_i)·n_i

其中，d_i表示采集的点云数据中第i个点的3D误差，i＝1,2,...,s，n_i表示最近点q′_i的法向量。

4.如权利要求1所述的基于三维测量点云的零件表面缺陷识别与评估方法，其特征在于，步骤S3中依据误差色谱图预判出缺陷区域具体为：根据误差色谱图的颜色获得具有明显颜色梯度变换的区域，并框选出该区域，记为区域A。

5.如权利要求1所述的基于三维测量点云的零件表面缺陷识别与评估方法，其特征在于，步骤S4中缺陷的深度d采用如下方式获得：

S51确定满足的a,b,c作为估计值其中，x_i,y_i,z_i为区域A内对应点i的三维坐标，并利用估计值建立平面方程

S52然后计算区域A内所有点离平面的距离，将正反向距离最大值相加即为缺陷深度d。

6.如权利要求1所述的基于三维测量点云的零件表面缺陷识别与评估方法，其特征在于，步骤S5中将预判的缺陷区域转化为二维灰度图像具体为：采用下式将预判缺陷区域内的各点转换为灰度值f_i(x,y)：

其中，f和e分别为上偏差和下偏差。

7.如权利要求1-6任一项所述的基于三维测量点云的零件表面缺陷识别与评估方法，其特征在于，步骤S5中采用如下方式进行边缘提取：使用DOG算子对二维灰度图像中的各点进行处理以获得对应的图像点h_i(x,y)：

其中，σ₁,σ₂为高斯函数的方差参数，x,y为二维灰度图像中对应点的像素点坐标。

8.如权利要求1-7任一项所述的基于三维测量点云的零件表面缺陷识别与评估方法，其特征在于，步骤S5中采用如下方式进行区域填充并计算缺陷区域面积s：

S51对提取的图像进行二值化操作，使图像边界的像素值为1，其他为0，然后对二值化操作后的图像进行填充；

S52计算填充后的图像中像素为1的个数，记为N₁，计算缺陷区域面积s：

其中，N为区域A内点云的数量，S为区域A的面积。