CN115222730A - 一种基于线扫光谱共聚焦相机的缺陷检测算法 - Google Patents

Abstract

本发明公开了一种基于线扫光谱共聚焦相机的缺陷检测算法，包括如下步骤：S1、通过线扫光谱共聚焦相机采集被测物体表面的点云数据；S2、根据点云数据来拟合标准平面模板；S3、将点云数据与步骤S2中得到的标准平面模板对比，计算每个点的绝对差值；S4、根据步骤S3中计算得到的绝对差值进行阈值判断，若所有点的绝对差值均不大于预设阈值，则判定被测物体表面不存在缺陷，若存在绝对插值大于预设阈值的点，则判定被测物体表面存在缺陷。本发明使用线扫光谱共聚焦来采集被测物体表面的信息，可以很好的获取深度信息，进而更加准确判断是否为缺陷和缺陷类型，具有很好的检出效果，且具有很好的实时性，可以满足生产线上的检测需求。

Description

一种基于线扫光谱共聚焦相机的缺陷检测算法

技术领域

本发明涉及缺陷检测技术领域，尤其是涉及一种基于线扫光谱共聚焦相机的缺陷检测算法。

背景技术

在工业生产中，产品表面上的缺陷不仅影响产品的外观，而且可能会影响产品的性能和使用寿命，严重的情况下会导致不可估量的损失。因此，在生产过程中，需要对产品的表面缺陷进行检测。

目前，通过机器视觉对产品进行表面缺陷检测，以避免人工检测准确率低，成本高，主观性太强的问题。具体地对于当前的计算机视觉检测设备来说，首先会通过控制面阵或者线阵2D工业相机，拍摄被检测产品表面的图像。其次根据图像中缺陷和背景的灰度差异做阈值分割，定位被检测产品，再对图像进行预处理，特征提取算法，确定出缺陷再图像中的位置。然而，对于一些反光比较严重的金属零部件，在光照下被检测区域反光严重无法识别，并且面阵或者线阵2D工业相机无法捕捉深度信息，当缺陷需要深度信息量化的时候，这种相机暴露出明显不足。

线扫光谱共聚焦相机能能捕捉被测物体表面的凹凸不平的特征及深浅信息，目前该相机在行业内只是用于测量扫描被测物体建模领域，在缺陷检测领域还一片空白，更没有配套的缺陷检测算法。

发明内容

为解决上述背景技术中提出的问题，本发明采取的技术方案为：

一种基于线扫光谱共聚焦相机的缺陷检测算法，包括如下步骤：

S1、通过线扫光谱共聚焦相机采集被测物体表面的点云数据；

S2、根据点云数据来拟合标准平面模板；

S3、将点云数据与步骤S2中得到的标准平面模板对比，计算每个点的绝对差值；

S4、根据步骤S3中计算得到的绝对差值进行阈值判断，若所有点的绝对差值均不大于预设阈值，则判定被测物体表面不存在缺陷，若存在绝对插值大于预设阈值的点，则判定被测物体表面存在缺陷。

在一些实施例中，在步骤S1后，步骤S2前，还包括如下步骤：

S1’、对步骤S1中采集的点云数据进行重构；

并且，后续步骤中，所采用的点云数据均为步骤S1’中重构后的点云数据。

在一些实施例中，步骤S1’中，对点云数据进行重构的步骤具体包括：

由于点云数据通过线扫光谱共聚焦相机采集得到，故将点云数据F表示为线集的形式：

F＝{L₁，L₂，L₃，..，L_n-2，L_n-1，L_n}

L₁，L₂，L₃，..，L_n分别指线集中的每一条线，对于其中的任意一条线L_i，由若干个点组成，故将其表示为点集的形式：

L_i＝{x_i1，x_i2，x_i3，..，x_im-2，x_im-1，x_im}

x_i1，x_i2，x_i3，..，x_im分别指点集中的每一个点；

对于任意两条相邻的线L_i和L_i+1，通过下式求出补偿值Δ：

Δ＝MEDIAN{x_i1-x_(i+1)1，x_i2-x_(i+1)2，，..，，x_im-x_(i+1)m}

其中，MEDIAN表示求中值；

然后根据下式得到补偿后的线L′_i：

L′_i＝{x_i1+Δ，x_i2+Δ，x_i3+Δ，..，x_im-1+Δ，x_im+Δ}

最终得到重构后的点云数据F′：

F′＝{L′₁，L′₂，L′₃，..，L′_n-1，L′_n}。

在一些实施例中，步骤S2中，根据点云数据来拟合标准平面模板的步骤具体包括：

S21、在点云数据上随机选取三个不共线的点，以这三个点所在的平面作为待定平面，并计算其平面方程；

S22、计算点云数据中每个点到步骤S21中的待定模板平面的距离，若距离小于预设阈值，则认为该点在待定平面上，得到点云数据中在待定平面上的点的总数量；

S23、多次重复步骤S21和S22，直到重复次数达到预设值，从而得到多个待定平面，选择点云数据中在该平面上的点的总数量最多的待定平面作为标准平面模板。

在一些实施例中，步骤S4中，若被测物体表面存在缺陷，则后续还包括如下步骤：

S5、将所有存在缺陷的点对应位置映射到二值图，根据二值图找到每处缺陷区域的连通域轮廓，并求每个连通域轮廓的外接矩形，根据外接矩形和连通域判定每处缺陷的具体类型。

在一些实施例中，步骤S5中，将所有存在缺陷的点对应位置映射到二值图时，具体包括如下步骤：

首先，从点云数据中的左上方边缘从左到右、从上到下开始遍历；

将点云数据中存在缺陷的点称为缺陷点，当遍历到第一个缺陷点时，将该点作为起点保存，并向周围方向进行遍历生长，若任意方向发现了相邻的缺陷点，则将该点与第一个缺陷点保存为同一个连通域的点，并继续进行遍历生长，直到不存在相邻的缺陷点，从而得到一个连通域；

然后，继续开始遍历，且不再遍历已保持在连通域中的点，直到完成点云数据中所有点的遍历，找到所有连通域，将所有连通域的对应位置映射到二值图。

在一些实施例中，步骤S5中，求每个连通域轮廓的外接矩形，根据外接矩形和连通域判定每处缺陷的具体类型的步骤具体包括：

对于任意一个连通域，分别找到连通域中横坐标最大值Xmax、最小值Xmin，纵坐标的最大值Ymax、最小值Ymin对应的点，则外接矩形为经过这四个点，且边长为Xmax-Xmin与Ymax-Ymin的矩形；

将外接矩形的长和宽分别用L和W表示，该连通域内的点的数目用N来表示；

若满足W/L小于预设阈值，或N/(W*L)小于预设阈值，则判定该连通域的缺陷类型为划痕，否则判定该连通域的缺陷类型为磕伤。

在一些实施例中，若被测物体具有多个表面，则分别对每个表面进行缺陷检测。

在一些实施例中，若被测物体具有多个表面，则在步骤S3中，对于位于相邻的表面的分界处的任意一个点，分别计算该点到相邻的每个表面对应的标准平面模板的绝对差值，以多个计算结果中的最小值作为最终确定的绝对差值，并将该点划分到最小值所对应的表面。

与现有技术相比，本发明的有益效果是：

不同于现有技术中，存在的表面缺陷视觉检测技术的不稳定、非量化生产和低效率状态等问题，且常规缺陷检测设备使用工业相机为主的数据采集方式；本发明提供的基于线扫光谱共聚焦相机的缺陷检测算法，使用线扫光谱共聚焦来采集被测物体表面的信息，可以很好的获取深度信息，进而更加准确判断是否为缺陷和缺陷类型，具有很好的检出效果，可针对不同被检测物体表面适用，且本发明不涉及深度学习或需要较高硬件配置的算法，因此具有很好的实时性，可以满足生产线上的检测需求。

附图说明

图1为本发明提供的基于线扫光谱共聚焦相机的缺陷检测算法的流程示意图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合附图和具体实施方式，进一步阐述本发明是如何实施的。

在一个具体实施例中，参照图1所示，本发明提供了一种基于线扫光谱共聚焦相机的缺陷检测算法，包括如下步骤：

S1、通过线扫光谱共聚焦相机采集被测物体表面的点云数据，该相机能捕捉被测物体表面的凹凸不平的特征及深浅信息。

S1’、对步骤S1中采集的点云数据进行重构；并且，后续步骤中，所采用的点云数据均为步骤S1’中重构后的点云数据。

步骤S1’中，对点云数据进行重构的步骤具体包括：

由于点云数据通过线扫光谱共聚焦相机采集得到，故将点云数据F表示为线集的形式：

F＝{L₁，L₂，L₃，..，L_n-2，L_n-1，L_n}

L₁，L₂，L₃，..，L_n分别指线集中的每一条线，对于其中的任意一条线L_i，由若干个点组成，故将其表示为点集的形式：

L_i＝{x_i1，x_i2，x_i3，..，x_im-2，x_im-1，x_im}

x_i1，x_i2，x_i3，..，x_im分别指点集中的每一个点；

对于任意两条相邻的线L_i和L_i+1，通过下式求出补偿值Δ：

Δ＝MEDIAN{x_i1-x_(i+1)1，x_i2-x_(i+1)2，，..，x_im-x_(i+1)m}

其中，MEDIAN表示求中值；

然后根据下式得到补偿后的线L′_i：

L′_i＝{x_i1+Δ，x_i2+Δ，x_i3+Δ，..，x_im-1+Δ，x_im+Δ}

最终得到重构后的点云数据F′：

F′＝{L′₁，L′₂，L′₃，..，L′_n-1，L′_n}。

S2、根据点云数据来拟合标准平面模板，具体包括：

S21、在点云数据上随机选取三个不共线的点，以这三个点所在的平面作为待定平面，并计算其平面方程；

S22、计算点云数据中每个点到步骤S21中的待定模板平面的距离，若距离小于预设阈值，则认为该点在待定平面上，得到点云数据中在待定平面上的点的总数量；

S23、多次重复步骤S21和S22，直到重复次数达到预设值，从而得到多个待定平面，选择点云数据中在该平面上的点的总数量最多的待定平面作为标准平面模板。

S3、将点云数据与步骤S2中得到的标准平面模板对比，计算每个点的绝对差值。

S4、根据步骤S3中计算得到的绝对差值进行阈值判断，若所有点的绝对差值均不大于预设阈值，则判定被测物体表面不存在缺陷，若存在绝对插值大于预设阈值的点，则判定被测物体表面存在缺陷。

步骤S4中，若被测物体表面不存在缺陷，则结束流程即可，若被测物体表面存在缺陷，则再进入后续的步骤S5。

S5、将所有存在缺陷的点对应位置映射到二值图，根据二值图找到每处缺陷区域的连通域轮廓，并求每个连通域轮廓的外接矩形，根据外接矩形和连通域判定每处缺陷的具体类型。

并且，步骤S5中，将所有存在缺陷的点对应位置映射到二值图时，具体包括如下步骤：

首先，从点云数据中的左上方边缘从左到右、从上到下开始遍历；

将点云数据中存在缺陷的点称为缺陷点，当遍历到第一个缺陷点时，将该点作为起点保存，并向周围方向进行遍历生长，若任意方向发现了相邻的缺陷点，则将该点与第一个缺陷点保存为同一个连通域的点，并继续进行遍历生长，直到不存在相邻的缺陷点，从而得到一个连通域；

然后，继续开始遍历，且不再遍历已保持在连通域中的点，直到完成点云数据中所有点的遍历，找到所有连通域，将所有连通域的对应位置映射到二值图。

另外，步骤S5中，求每个连通域轮廓的外接矩形，根据外接矩形和连通域判定每处缺陷的具体类型的步骤具体包括：

对于任意一个连通域，分别找到连通域中横坐标最大值Xmax、最小值Xmin，纵坐标的最大值Ymax、最小值Ymin对应的点，则外接矩形为经过这四个点，且边长为Xmax-Xmin与Ymax-Ymin的矩形；

将外接矩形的长和宽分别用L和W表示，该连通域内的点的数目用N来表示；

若满足W/L小于预设阈值，或N/(W*L)小于预设阈值，则判定该连通域的缺陷类型为划痕，否则判定该连通域的缺陷类型为磕伤。

一般来说，缺陷类型区分为划痕和磕伤，可以理解的是，划痕的特点是长远大于宽，或者其连通域占外接矩形比例比较小。因此，本发明利用上述方案，能够自动判断出缺陷类型。可以理解的是，根据每个缺陷点与标准平面模板的差值的正负值，还可判断该缺陷处是相对于表面凸起还是凹陷。

另外，若被测物体具有多个表面，则上述步骤中，分别对每个表面进行缺陷检测，每个表面单独进行处理。

在被测物体具有多个表面的情况下，点云数据中位于相邻的表面的分界处的点，可能存在难以划分的问题。因此，在步骤S3中，对于位于相邻的表面的分界处的任意一个点，分别计算该点到相邻的每个表面对应的标准平面模板的绝对差值，以多个计算结果中的最小值作为最终确定的绝对差值，并将该点划分到最小值所对应的表面。

综上，本发明提供的基于线扫光谱共聚焦相机的缺陷检测算法，使用线扫光谱共聚焦来采集被测物体表面的信息，可以很好的获取深度信息，进而更加准确判断是否为缺陷和缺陷类型，具有很好的检出效果，可针对不同被检测物体表面适用；且本发明不涉及深度学习或需要较高硬件配置的算法，不需要大量人工收集数据打标签和训练模型，因此具有很好的实时性，可以满足生产线上的检测需求；本发明提供的算法可用于，但不限于加工零件，医药行业、纺织行业等表面缺陷检测领域。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围中。

Claims (9)

1.一种基于线扫光谱共聚焦相机的缺陷检测算法，其特征在于，包括如下步骤：

S1、通过线扫光谱共聚焦相机采集被测物体表面的点云数据；

S2、根据点云数据来拟合标准平面模板；

S3、将点云数据与步骤S2中得到的标准平面模板对比，计算每个点的绝对差值；

S4、根据步骤S3中计算得到的绝对差值进行阈值判断，若所有点的绝对差值均不大于预设阈值，则判定被测物体表面不存在缺陷，若存在绝对插值大于预设阈值的点，则判定被测物体表面存在缺陷。

2.根据权利要求1所述的基于线扫光谱共聚焦相机的缺陷检测算法，其特征在于，在步骤S1后，步骤S2前，还包括如下步骤：

S1’、对步骤S1中采集的点云数据进行重构；

并且，后续步骤中，所采用的点云数据均为步骤S1’中重构后的点云数据。

3.根据权利要求2所述的基于线扫光谱共聚焦相机的缺陷检测算法，其特征在于，步骤S1’中，对点云数据进行重构的步骤具体包括：

由于点云数据通过线扫光谱共聚焦相机采集得到，故将点云数据F表示为线集的形式：

F＝{L₁，L₂，L₃，..，L_n-2，L_n-1，L_n}

L₁，L₂，L₃，..，L_n分别指线集中的每一条线，对于其中的任意一条线L_i，由若干个点组成，故将其表示为点集的形式：

L_i＝{x_i1，x_i2，x_i3，..，x_im-2，x_im-1，x_im}

x_i1，x_i2，x_i3，..，x_im分别指点集中的每一个点；

对于任意两条相邻的线L_i和L_i+1，通过下式求出补偿值Δ：

Δ＝MEDIAN{x_i1-x_(i+1)1，x_i2-x_(i+1)2，...，，x_im-x_(i+1)m}

其中，MEDIAN表示求中值；

然后根据下式得到补偿后的线L′_i：

L′_i＝{x_i1+Δ，x_i2+Δ，x_i3+Δ，..，x_im-1+Δ，x_im+Δ}

最终得到重构后的点云数据F′：

F′＝{L′₁，L′₂，L′₃，..，L′_n-1，L′_n}。

4.根据权利要求1所述的基于线扫光谱共聚焦相机的缺陷检测算法，其特征在于，步骤S2中，根据点云数据来拟合标准平面模板的步骤具体包括：

S21、在点云数据上随机选取三个不共线的点，以这三个点所在的平面作为待定平面，并计算其平面方程；

S22、计算点云数据中每个点到步骤S21中的待定模板平面的距离，若距离小于预设阈值，则认为该点在待定平面上，得到点云数据中在待定平面上的点的总数量；

S23、多次重复步骤S21和S22，直到重复次数达到预设值，从而得到多个待定平面，选择点云数据中在该平面上的点的总数量最多的待定平面作为标准平面模板。

5.根据权利要求1所述的基于线扫光谱共聚焦相机的缺陷检测算法，其特征在于，步骤S4中，若被测物体表面存在缺陷，则后续还包括如下步骤：

S5、将所有存在缺陷的点对应位置映射到二值图，根据二值图找到每处缺陷区域的连通域轮廓，并求每个连通域轮廓的外接矩形，根据外接矩形和连通域判定每处缺陷的具体类型。

6.根据权利要求5所述的基于线扫光谱共聚焦相机的缺陷检测算法，其特征在于，步骤S5中，将所有存在缺陷的点对应位置映射到二值图时，具体包括如下步骤：

首先，从点云数据中的左上方边缘从左到右、从上到下开始遍历；

将点云数据中存在缺陷的点称为缺陷点，当遍历到第一个缺陷点时，将该点作为起点保存，并向周围方向进行遍历生长，若任意方向发现了相邻的缺陷点，则将该点与第一个缺陷点保存为同一个连通域的点，并继续进行遍历生长，直到不存在相邻的缺陷点，从而得到一个连通域；

然后，继续开始遍历，且不再遍历已保持在连通域中的点，直到完成点云数据中所有点的遍历，找到所有连通域，将所有连通域的对应位置映射到二值图。

7.根据权利要求5所述的基于线扫光谱共聚焦相机的缺陷检测算法，其特征在于，步骤S5中，求每个连通域轮廓的外接矩形，根据外接矩形和连通域判定每处缺陷的具体类型的步骤具体包括：

对于任意一个连通域，分别找到连通域中横坐标最大值Xmax、最小值Xmin，纵坐标的最大值Ymax、最小值Ymin对应的点，则外接矩形为经过这四个点，且边长为Xmax-Xmin与Ymax-Ymin的矩形；

将外接矩形的长和宽分别用L和W表示，该连通域内的点的数目用N来表示；

若满足W/L小于预设阈值，或N/(W*L)小于预设阈值，则判定该连通域的缺陷类型为划痕，否则判定该连通域的缺陷类型为磕伤。

8.根据权利要求1所述的基于线扫光谱共聚焦相机的缺陷检测算法，其特征在于，若被测物体具有多个表面，则分别对每个表面进行缺陷检测。

9.根据权利要求8所述的基于线扫光谱共聚焦相机的缺陷检测算法，其特征在于，若被测物体具有多个表面，则在步骤S3中，对于位于相邻的表面的分界处的任意一个点，分别计算该点到相邻的每个表面对应的标准平面模板的绝对差值，以多个计算结果中的最小值作为最终确定的绝对差值，并将该点划分到最小值所对应的表面。

Images