CN113008895B - 一种基于三维数据的分块拟合缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于三维数据的分块拟合缺陷检测方法，是将具有曲面、反光特性的叶片通过3D相机采集其三维数据，设定特定大小的检测窗口以对三维数据进行分块处理并以此实现缺陷的检测及缺陷高度的计算，处理的方法主要是通过计算该检测窗口内的所有三维数据的拟合平面，以及每个三维数据点到拟合平面的距离，该距离即是缺陷的高度距离，最后通过图像处理技术输出缺陷的结果图像。该方法提出基于三维数据的分块拟合缺陷检测技术能够较好地检测高曲面、高反光的物体表面的缺陷，同时计算出缺陷的高度。

Description

一种基于三维数据的分块拟合缺陷检测方法

技术领域

本发明涉及图像缺陷检测技术领域，尤其涉及一种基于三维数据的分块拟合缺陷检测方法。

背景技术

随着我国航空事业的迅速发展，航空发动机的需求数量不断攀升，其叶片的表面缺陷，如划痕、裂纹、凸点等，会直接影响发动机的使用寿命和安全性能；目前的表面缺陷检测主要是通过人工和自动检测，但人工检测的工作效率与时间成反比，而且无可避免出现漏检或误检的情况。

现有的缺陷自动检测主要分为以下两类：一类是基于2D相机外加光源的二维图像缺陷检测，通过外置光源增强，以及2D相机捕获其表面的二维图像，通过对二维图像的分析，实现缺陷的检测；另一类是基于三维数据的高度映射灰度图像缺陷检测，该方案将高度数据映射为8bit的深度灰度图像，直接对该图像进行图像处理以实现缺陷分析。

基于二维图像缺陷检测技术中检测的准确率依赖于产品缺陷的成像效果，准确率低，而不同物体的不同形态特征、材质以及不同照射角度等都会直接影响成像质量，例如对于高反光，曲面物体的表面缺陷可能无法被2D相机所捕获；同时，二维图像缺陷检测手段只能得到了由产品表面根据光学特性反射的亮度信息，而无法等到产品表面的深度信息。

基于三维数据的高度映射灰度图像缺陷检测通过对高度数据的映射灰度图像分析，以检测缺陷，但对于高曲面的和微小缺陷的物体，其对应的灰度图像难以看出该微小缺陷，故直接对灰度图像进行处理，难以检测高曲面的缺陷。

发明内容

为了解决上述技术所存在的不足之处，本发明提供了一种基于三维数据的分块拟合缺陷检测方法。

为了解决以上技术问题，本发明采用的技术方案是：一种基于三维数据的分块拟合缺陷检测方法，方法的步骤为：

步骤一、使用3D相机扫描叶片缺陷检测区域，以获取缺陷检测区域的三维数据，三维数据即空间中的某点在X，Y，Z轴上的坐标数据，3D相机将扫描出来的三维数据的Z轴的高度数据按行按列保存在CSV文件里，每行的数据即为X轴的数据，每列的数据即为Y轴上的数据，每行和每列上的相邻两个数据的实际距离默认设为1；

步骤二、用图像A(X，Y)来表示每个点的三维数据，图像用矩阵来表示每行每列的Z轴高度数据；

步骤三、新建与图像A同尺寸的图像B(X，Y)，用于保存每个三维数据到检测窗口内的三维数据的拟合平面的距离；

步骤四、设检测窗口K的尺寸为[M，N]，M为宽度，N为高度，用于计算检测窗口K内所有三维数据的拟合平面以及该窗口内的每个三维数据到拟合平面的距离；

步骤五、用检测窗口K遍历图像A并计算图像A在检测窗口K内的所有三维数据的拟合平面，以及检测窗口K内所有三维数据点到拟合平面的距离，并将该距离值赋值到对应坐标上的图像B上；

步骤六、设定认为是缺陷的最小高度为T；

步骤七、对图像B进行操作，即距离值大于T设置为白色，否则设置为黑色，得到缺陷图像C，白色块即为缺陷块；

步骤八、对缺陷图像C进行轮廓检测；

步骤九、设定认为是缺陷块的最大面积E1，最小面积E2，最小外接矩形的长宽比R1，缺陷块的高度数据的最大标准差S；

步骤十、新建与图像C同尺寸的图像D，用于保存符合要求的缺陷数据；

步骤十一、遍历每个轮廓，计算轮廓的面积E_i，以及轮廓的最小外接矩形的长宽比R_i，如果E1＞E_i＞E2，R_i＞R1,则认为是缺陷块并在图像D上填充该轮廓为白色；然后再计算图像B在该轮廓内的所有坐标的高度数据的最大值、平均值、标准差，假设在该轮廓内共有n个缺陷数据：D_i，i＝1，2，3，...，n，计算公式如下：

对这n个缺陷数据按进行由小到大的排序，使用冒泡排序算法，故得到最大值D_max；

对这n个缺陷数据进行求和，得到D_sum；

求出平均值：D_mean＝D_sum/n；标准差：

如果标准差D_std大于S，则以最大值D_max作为该缺陷块的缺陷高度，否则以平均值D_mean作为该缺陷块的缺陷高度，最后输出缺陷高度数据到图像D。

进一步地，步骤五中三维数据的最小二乘法平面拟合和三维数据到拟合平面的距离的计算，推导说明如下：

已知平面一般方程为：Ax+By+Cz+D＝0，A，B，C，D均为实数且C≠0，则有：

设

则有：z＝ax+by+c，设一共有n个需拟合的三维数点:(x_i，y_i，z_i)，i＝1，2，3，...，n,若使用最小二乘法拟合这些三维数据，则有：

要使S最小，需满足

则有：

化简:

转换为矩阵形式，则有：

因此，利用上面的公式1求解n个三维数据的拟合平面方程：

z＝ax+by+c；

已知空间中的某一点(x₀，y₀，z₀)到平面Ax+By+Cz+D＝0，C≠0的距离为：

由

得：

因此，可以利用公式2求解某个三维数据(x₀，y₀，z₀)到拟合平面：z＝ax+by+c的距离；

其中，涉及到的符号含义如下：

符号∑表示求和，如

代表变量k从下界i开始取数，一直到上界n，并将其全部加起来，也可用∑k简化表示，如

；∑y_i＝y₁+y₂+...+y_n；

其中，符号

表示偏导数，如

代表函数S对变量a求偏导；符号||表示绝对值；符号

表示平方根。

进一步地，步骤五中遍历意为在图像A上移动检测窗口，用于提取图像A在该检测窗口上像素值，详细步骤如下，

确定X轴方向上的遍历次数P，已知图像A的宽度为X，检测窗口的宽度为M，每次遍历的步长都为M，则遍历次数为P＝X/M；

同理，确定Y轴方向上的遍历次数L，已知图像A的高度为Y，检测窗口的高度为N，每次遍历的步长都为N，则遍历次数为L＝Y/N；

检测窗口从图像A的左上角原点开始在X轴上从左到右遍历，每次水平移动M，直到遍历P次，然后在Y轴方向移动N，再在X轴方向上依次遍历P次，以此循环，一共遍历L*P次；

检测窗口每遍历一次，都计算图像A在该检测窗口K内的所有三维数据的拟合平面，如所述公式1，然后再计算该窗口内的所有三维数据点到该拟合平面的距离，如所述公式2，并将该距离赋值到对应坐标上的图像B上，作为缺陷高度数据。

本发明公开了一种基于三维数据的分块拟合缺陷检测方法，该方法提出基于三维数据的分块拟合缺陷检测技术能够较好地检测高曲面、高反光的物体表面的缺陷，同时计算出缺陷的高度。

附图说明

图1为本发明的流程示意图。

图2为本发明的检测窗口遍历L*P次的示意图。

图3为本发明的图像A的拟合平面的距离赋值到对应坐标上的图像B上的流程示意图。

图4为本发明的实验数据一的示意图。

图5为本发明的实验数据二的示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明技术方案主要思想是将具有曲面、反光特性的叶片通过3D相机采集其三维数据，设定特定大小的检测窗口以对三维数据进行分块处理并以此实现缺陷的检测及缺陷高度的计算，处理的方法主要是通过计算该检测窗口内的所有三维数据的拟合平面，以及每个三维数据点到拟合平面的距离，该距离即是缺陷的高度距离，最后通过图像处理技术输出缺陷的结果图像。如图1所示的流程框图如下：

1、使用3D相机扫描叶片缺陷检测区域，以获取缺陷检测区域的三维数据，三维数据即空间中的某点在X，Y，Z轴上的坐标数据，而该空间坐标的原点视不同型号的3D相机而有所不同，由厂家给出。该3D相机将扫描出来的三维数据的Z轴的高度数据按行按列保存在CSV文件里，类似于表格形式。每行的数据即为X轴的数据，每列的数据即为Y轴上的数据。每行(X轴)或每列(Y轴)上的相邻两个数据的实际距离由厂家给出，正常处理时，可默认设为1。如3D相机出来的某部分数据如下表：

0.8975	0.8986	0.8978
			0.8983	0.8988	0.8985
0.8985	0.8988	0.8985

则其代表的三维数据(x_i，y_i，z_i)可以是：(1,1,0.8975)，(2,1,0.8986),(3,1,0.8978)，(1,2,0.8983)，(2,2,0.8988),(3,2,0.8985),(1,3,0.8985)，(2,3,0.8988),(3,3,0.8985)。

2、用图像A(X,Y)来表示每个点的三维数据，图像可以理解为矩阵，用矩阵来表示每行每列的Z轴高度数据。如对上述步骤的某段数据用矩阵(图像)表示即为：

该图像的第一行第一列的像素值为0.8975，代表的三维数据即为(1,1,0.8975)。

3、新建与图像A同尺寸的图像B(X,Y)，用于保存每个三维数据到检测窗口内的三维数据的拟合平面的距离。

4、设检测窗口K的尺寸为[M,N],M为宽度，N为高度，用于计算检测窗口K内所有三维数据的拟合平面以及该窗口内的每个三维数据到拟合平面的距离。检测窗口的作用相当于是将叶片的三维数据分块处理，分成多个检测窗口分别处理。

5、用检测窗口K遍历图像A并计算图像A在检测窗口K内的所有三维数据的拟合平面(计算公式如上述的公式1)，以及所有三维数据点到拟合平面的距离(计算公式如上述的公式2)，并将该距离值赋值到对应坐标上的图像B上。遍历的意思是在图像A上移动检测窗口，用于提取图像A在该检测窗口上像素值，详细步骤如下：

5.1、确定X轴方向上的遍历次数P，已知图像A的宽度为X，检测窗口的宽度为M，每次遍历(移动)的步长都为M，则遍历次数为P＝X/M；

5.2、同理确定Y轴方向上的遍历次数L，已知图像A的高度为Y，检测窗口的高度为N，每次遍历的步长都为N，则遍历次数为L＝Y/N；

5.3、检测窗口从图像A的左上角原点开始在X轴上从左到右遍历，每次水平移动M，直到遍历P次，然后在Y轴方向移动N，再在X轴方向上依次遍历P次，以此循环，一共遍历L*P次，如图2所示：

5.4、检测窗口每遍历(移动)一次，都计算图像A在该检测窗口K内的所有三维数据的拟合平面，然后再计算该窗口内的所有三维数据点到该拟合平面的距离，并将该距离赋值到对应坐标上的图像B上，作为缺陷高度数据，如图3所示；检测窗口K的宽高都为3，图像A在第一个检测窗口内的所有三维数据为(1,1,Z1),(2,1,Z2),...,(3,3,Z9)，利用上述的公式1，即可求出拟合平面的三个参数:a，b，c，再利用上述的公式2即可求出检测窗口内所有三维数据到拟合平面的距离，并赋值到图像B的对应坐标的像素值上。

6、设定认为是缺陷的最小高度为T。

7、对图像B进行操作，即距离值大于T设置为白色，否则设置为黑色，得到缺陷图像C，白色块即为缺陷块。某实验数据一如图4所示。

8、对缺陷图像C进行轮廓检测。

9、设定认为是缺陷块的最大面积E1，最小面积E2，最小外接矩形的长宽比R1，缺陷块的高度数据的最大标准差S。

10、新建与图像C同尺寸的图像D，用于保存符合要求的缺陷数据。

11、遍历每个轮廓，计算轮廓的面积E_i，以及轮廓的最小外接矩形的长宽比R_i，如果E1＞E_i＞E2，R_i＞R1,则认为是缺陷块并在图像D上填充该轮廓为白色；然后再计算图像B在该轮廓内的所有坐标的高度数据的最大值、平均值、标准差。假设在该轮廓内共有n个缺陷数据：D_i(i＝1，2，3，...，n)，计算公式如下：

11.1、对这n个缺陷数据按进行由小到大的排序，这里使用冒泡排序算法，故得到最大值D_max；

11.2、对这n个缺陷数据进行求和，得到D_sum；

11.3、求出平均值：D_mean＝D_sum/n；标准差：

如果标准差D_std大于S，则以最大值D_max作为该缺陷区域的缺陷高度，否则以平均值D_mean作为该缺陷区域的缺陷高度，最后输出缺陷高度数据到图像D。如图5所示的实验数据二，其中阈值T取0.01，最大标准差S取0.005，最大面积E1取50000，最小面积E2取1700，最小长宽比R1取1.3。

本发明公开了一种基于三维数据的分块拟合缺陷检测方法，该方法提出基于三维数据的分块拟合缺陷检测技术能够较好地检测高曲面、高反光的物体表面的缺陷，同时计算出缺陷的高度。

上述实施方式并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或替换，也均属于本发明的保护范围。

Claims (3)

1.一种基于三维数据的分块拟合缺陷检测方法，其特征在于：所述方法的步骤为：

步骤一、使用3D相机扫描叶片缺陷检测区域，以获取缺陷检测区域的三维数据，三维数据即空间中的某点在X，Y，Z轴上的坐标数据，3D相机将扫描出来的三维数据的Z轴的高度数据按行按列保存在CSV文件里，每行的数据即为X轴的数据，每列的数据即为Y轴上的数据，每行和每列上的相邻两个数据的实际距离默认设为1；

步骤二、用图像A(X，Y)来表示每个点的三维数据，图像用矩阵来表示每行每列的Z轴高度数据；

步骤三、新建与图像A同尺寸的图像B(X，Y)，用于保存每个三维数据到检测窗口内的三维数据的拟合平面的距离；

步骤四、设检测窗口K的尺寸为[M，N]，M为宽度，N为高度，用于计算检测窗口K内所有三维数据的拟合平面以及该窗口内的每个三维数据到拟合平面的距离；

步骤五、用检测窗口K遍历图像A并计算图像A在检测窗口K内的所有三维数据的拟合平面，以及检测窗口K内所有三维数据点到拟合平面的距离，并将该距离值赋值到对应坐标上的图像B上；

步骤六、设定认为是缺陷的最小高度为T；

步骤七、对图像B进行操作，即距离值大于T设置为白色，否则设置为黑色，得到缺陷图像C，白色块即为缺陷块；

步骤八、对缺陷图像C进行轮廓检测；

步骤九、设定认为是缺陷块的最大面积E1，最小面积E2，最小外接矩形的长宽比R1，缺陷块的高度数据的最大标准差S；

步骤十、新建与图像C同尺寸的图像D，用于保存符合要求的缺陷数据；

步骤十一、遍历每个轮廓，计算轮廓的面积E_i，以及轮廓的最小外接矩形的长宽比R_i，如果E1＞E_i＞E2，R_i＞R1,则认为是缺陷块并在图像D上填充该轮廓为白色；然后再计算图像B在该轮廓内的所有坐标的高度数据的最大值、平均值、标准差，假设在该轮廓内共有n个缺陷数据：D_i，i＝1，2，3，...，n，计算公式如下：

对这n个缺陷数据按进行由小到大的排序，使用冒泡排序算法，故得到最大值D_max；

对这n个缺陷数据进行求和，得到D_sum；

求出平均值：D_mean＝D_sum/n；标准差：

如果标准差D_std大于S，则以最大值D_max作为该缺陷块的缺陷高度，否则以平均值D_mean作为该缺陷块的缺陷高度，最后输出缺陷高度数据到图像D。

2.根据权利要求1所述的基于三维数据的分块拟合缺陷检测方法，其特征在于：所述步骤五中三维数据的最小二乘法平面拟合和三维数据到拟合平面的距离的计算，推导说明如下：

已知平面一般方程为：Ax+By+Cz+D＝0，A，B，C，D均为实数且C≠0，则有：

设

则有：

z＝ax+by+c，设一共有n个需拟合的三维数点:(x_i，y_i，z_i)，i＝1，2，3，...，n,若使用最小二乘法拟合这些三维数据，则有：

要使S最小，需满足

则有：

化简:

转换为矩阵形式，则有：

因此，利用上面的公式1求解n个三维数据的拟合平面方程：

z＝ax+by+c；

已知空间中的某一点(x₀，y₀，z₀)到平面Ax+By+Cz+D＝0，C≠0的距离为：

由

得：

因此，可以利用公式2求解某个三维数据(x₀，y₀，z₀)到拟合平面：z＝ax+by+c的距离。

3.根据权利要求2所述的基于三维数据的分块拟合缺陷检测方法，其特征在于：所述步骤五中遍历意为在图像A上移动检测窗口，用于提取图像A在该检测窗口上像素值，详细步骤如下，

确定X轴方向上的遍历次数P，已知图像A的宽度为X，检测窗口的宽度为M，每次遍历的步长都为M，则遍历次数为P＝X/M；

同理，确定Y轴方向上的遍历次数L，已知图像A的高度为Y，检测窗口的高度为N，每次遍历的步长都为N，则遍历次数为L＝Y/N；

检测窗口从图像A的左上角原点开始在X轴上从左到右遍历，每次水平移动M，直到遍历P次，然后在Y轴方向移动N，再在X轴方向上依次遍历P次，以此循环，一共遍历L*P次；

检测窗口每遍历一次，都计算图像A在该检测窗口K内的所有三维数据的拟合平面，如所述公式1，然后再计算该窗口内的所有三维数据点到该拟合平面的距离，如所述公式2，并将该距离赋值到对应坐标上的图像B上，作为缺陷高度数据。

Images