CN110962046B - 五金件的缺陷识别方法、系统及存储介质 - Google Patents

Abstract

本发明公开了五金件的缺陷识别方法、系统及存储介质，方法包括以下步骤：根据五金件的图像信息进行划痕检测；根据五金件的图像信息进行细微缺陷检测；根据五金件的图像信息提取缺陷区域的点云数据；确定结束检测操作后，根据缺陷区域的点云数据，对缺陷区域的空间位置点进行曲线拟合；根据拟合得到的曲线，生成时间最优加工路径；根据时间最优加工路径控制机器人进行自动打磨。本发明解决了现有技术中人工检测方式存在的问题，提高了检测效率且降低了检测的误差，可广泛应用于金属打磨技术领域。

Description

五金件的缺陷识别方法、系统及存储介质

技术领域

本发明涉及金属打磨技术领域，尤其是五金件的缺陷识别方法、系统及存储介质。

背景技术

金属件表面缺陷主要是从金属成型到各类加工工艺的过程中造成的，例如划痕缺陷、凹凸点缺陷以及污点等细微缺陷。

当金属件表面出现多个缺陷(即多个打磨区域)且缺陷位置分散时的情况下，机器人打磨哪一区域的先后顺序直接决定了整体的加工效率以及打磨系统的智能化程度

五金件表面缺陷的检查是目前很多企业生产中的一项非常关键流程。大批产品生产流程中需要检查表面经过加工处理后表面是否存在缺陷，如电脑面板、汽车零部件和模具等。不同种类的金属件在成型、焊接和热处理等后加工过程可能会对五金件表面造成一定程度的破坏，产生凹陷、划痕和污点等缺陷，直接导致加工件归类为次品，严重影响生产质量和成本。因此能够快速、准确检测出五金件面中存在的缺陷变得至关重要。

目前，五金件表面检测流程主要依赖于人的肉眼观察，受到主观因素的影响，存在着精度有限和效果不稳定等问题，而且近年来不断加剧的用工荒现象也在不断影响着生产的人工成本。虽然人眼目测的视觉检查有其本身的优势，非常适合于在产品品种和缺陷类型都存在有很多变化的情况，然而人眼的视觉检查是一项重复性较大、易枯燥、疲劳的工作。因此，人眼缺陷检查的特点是检测速度慢、效果不稳定而且对于检测标准的判定是非常主观的。由于绝大部分目视检查过程只需要针对相同类型的图像的重复分析发现异常情况，针对这一类的缺陷检测工作，机器视觉自动检测是替代人类肉眼进行缺陷检测的绝佳选择。

发明内容

有鉴于此，本发明实施例提供一种高效且误差小的五金件的缺陷识别方法、系统及存储介质。

一方面，本发明实施例提供了一种五金件的缺陷识别方法，包括以下步骤：

根据五金件的图像信息进行划痕检测；

根据五金件的图像信息进行细微缺陷检测；

根据五金件的图像信息提取缺陷区域的点云数据；

确定结束检测操作后，根据缺陷区域的点云数据，对缺陷区域的空间位置点进行曲线拟合；

根据拟合得到的曲线，生成时间最优加工路径；

根据时间最优加工路径控制机器人进行自动打磨。

进一步，所述根据五金件的图像信息进行划痕检测这一步骤，包括以下步骤：

基于预设的降采样比例，通过高斯降采样对图像中出现的混叠与量化的伪图像进行处理；

计算图像中每个像素点的梯度值以及梯度方向，所述梯度方向包括水平梯度方向和垂直梯度方向；

根据梯度值对所有点进行伪排序，建立状态列表；

根据状态列表进行像素遍历，确定划痕区域。

进一步，所述根据状态列表进行像素遍历，确定划痕区域这一步骤，包括以下步骤：

根据状态列表确定种子像素；

以种子像素为启动，根据梯度方向进行区域扩散；

将扩散区域进行矩形拟合；

若拟合的矩形中的同性点密度不满足预设的阈值要求，则将该矩形截断为若干个矩形框；

计算矩形拟合框的精度误差；

对矩形拟合框进行动态调整，直至矩形拟合框的精度误差小于设定阈值。

进一步，所述根据五金件的图像信息进行细微缺陷检测这一步骤，包括以下步骤：

通过360°动态打光方案对五金件的图像进行打光；

运用基于Hessian矩阵的边缘检测器对五金件的图像进行预处理；

根据预处理的结果，以序列阈值图像中目标缺陷的最小外包矩形的二维点集为建模对象，动态调整模型的学习率以及估计误差的协方差，建立动态变化的缺陷对象，最终确定缺陷的位置。

进一步，所述根据五金件的图像信息提取缺陷区域的点云数据这一步骤，包括以下步骤：

利用双目三维相机数据接口提取缺陷区域的点云；

计算所述点云的包围盒，确定包围盒的中心线；

提取该区域中心线作为该打磨区域的打磨轨迹点。

进一步，所述根据时间最优加工路径控制机器人进行自动打磨这一步骤，包括以下步骤：

确定磨抛工具的初始位置和加工路径点；

确定磨抛工具在加工路径上的第一运动速度和行进路程上的第二运动速度；

根据初始位置、加工路径点、第一运动速度和第二运动速度进行自动打磨。

另一方面，本发明实施例提供了一种五金件的缺陷识别系统，用于实现五金件的缺陷识别方法，包括工作台、电控柜、工控机、机器人本体、打磨头、双目相机、光源以及支架。

另一方面，本发明实施例提供了一种五金件的缺陷识别系统，包括：

划痕检测模块，用于根据五金件的图像信息进行划痕检测；

细微缺陷检测模块，用于根据五金件的图像信息进行细微缺陷检测；

点云提取模块，用于根据五金件的图像信息提取缺陷区域的点云数据；

曲线拟合模块，用于确定结束检测操作后，根据缺陷区域的点云数据，对缺陷区域的空间位置点进行曲线拟合；

路径生成模块，用于根据拟合得到的曲线，生成时间最优加工路径；

打磨模块，用于根据时间最优加工路径控制机器人进行自动打磨。

另一方面，本发明实施例提供了一种五金件的缺陷识别系统，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述的五金件的缺陷识别方法。

另一方面，本发明实施例提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行所述的五金件的缺陷识别方法。

上述本发明实施例中的一个或多个技术方案具有如下优点：本发明的实施例首先根据五金件的图像信息进行划痕检测和细微缺陷检测；然后提取缺陷区域的点云数据；接着对缺陷区域的空间位置点进行曲线拟合，进而生成时间最优加工路径；最后根据时间最优加工路径控制机器人进行自动打磨；本发明解决了现有技术中人工检测方式存在的问题，提高了检测效率且降低了检测的误差。

附图说明

图1为本发明实施例的整体步骤流程图；

图2为本发明实施例的检测系统的结构示意图。

具体实施方式

下面结合说明书附图和具体实施例对本发明作进一步解释和说明。对于本发明实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

本发明的作业对象是各类五金件在加工过程产生的缺陷

本发明的对象特征在于：金属缺陷主要在金属成型以及后加工过程中形成，主要缺陷类型有金属划痕、凹凸坑点以及细微污点等，人为检测难度大，漏检率高，产品质量稳定性差。

其中，本发明的实施例提供了一种实现五金件缺陷识别方法对应的系统装置，如图2所示，包含了工作台、电控柜、工控机、机器人本体、打磨头、双目相机、光源以及支架等，其中1为双目相机、2光源、3六轴机器人、4打磨工具头、5五金件。

参照图1，本发明的五金件的缺陷识别方法具体包括以下步骤：

S1、电脑上位机开始采集图像二维图像，首先使用LSD(Line Segment Detector，线段检测器)算法进行明显的划痕检测和定位；

S2、通过多角度打光方式获取同一工件位置在不同光照下的缺陷图像；

S3、然后通过Hessian矩阵进行边缘检测，进行细微缺陷初检测定位；

S4、通过改进后的Kalman更新算法对细微缺陷进行精确检测定位；

S5、通过三维相机对缺陷位置进行三维重构获取空间位置点；

S6、对空间位置点进行曲线拟合；

S7、计算多个缺陷打磨区域内最优打磨任务顺序，即时间最优加工路径；

S8、最后将最优打磨轨迹点集发送给机器人，控制机器人进行自动打磨。

具体的，本实施例的LSD划痕检测算法的具体流程如下：

检测图像中的直线其实就是寻找图像中梯度变化较大的像素。LSD的目标在于检测图像中局部的直的轮廓，LSD的核心是像素合并于误差控制，LSD直线检测算法流程如下所示：

以默认降采样比例0.8，通过高斯降采样减缓或解决图像中出现混叠与量化的伪图像。

1、计算每个像素点的梯度值以及梯度方向，包括了水平和垂直方向梯度

2、根据梯度值对所有点进行伪排序，建立状态列表，将梯度值小于ρ的状态表中相应位置设置为USED，取出链表头部存储图像坐标位置，作为种子像素seed。

3、从种子seed开始遍历像素进行区域更新，区域更新流程如下：

(1)以seed为起点，根据梯度角方向相似(搜索周围UNUSED并且方向在阈值[-τ,τ]范围内的点)，进行区域扩散。(每扩散一个像素，将该像素坐标从链表中删除，并且做标记(状态改为USED)，之后新的区域扩散，无法再扩散到在像素)。

(2)将扩散区域进行矩形拟合R。

(3)判断同性点密度是否满足阈值D，若不满足，截断R变为多个矩形框，直至满足。

(4)计算NFA(拟合矩形精度误差)，NFA就是通过图中矩形中的对齐点所占比例的大小与引入的一个新的模型的对齐点作比较的概率，来约束这个矩形是不是可以作为一条“线段”

(5)改变R使NFA的值更小直至NFA<＝ε，R加入输出列表；如果改变了还不满足或者矩形区域太小，舍去，ε人为设定阈值。

4、继续下一个种子像素进行区域扩散，至到遍历完全图，得到所有检测到的直线。

优选的，本实施例提供了多角度打光的具体实施过程：传统基于边缘检测的缺陷检测方法，采用的静态打光方案难以增强细微复杂的缺陷，采用360°动态打光方案，例如图2所示，在光源安装平面上以相机为中心等间隔布置4展条形光源，每一次只控制一个方向的光源通亮，此时图像采集系统获取4张不同效果的图像，边缘检测等预处理之后作为Kalman更新方法的输入。

优选的，本实施例提供了基于Hessian矩阵的边缘检测的过程：基于Hessian矩阵的边缘检测算法能够实现边缘中心亚像素精度定位，首先通过构建Hessian矩阵，对于图像中边缘上的任意一点，Hessian矩阵可以表示为H(x,y)，

则，

其中，f_xx表示图像沿x轴的二阶偏导数，f_yy表示图像沿y轴的二阶偏导数，f_xy表示图像沿x轴和y轴的二阶偏导数。

Hessian矩阵最大特征值对应的特征向量对应与边缘的法线方向。其中，边缘的法向量用(n_x,n_y)表示，以点(x₀,y₀)为基准点，则边缘中心亚像素坐标(p_x,p_y)

(p_x,p_y)＝(x₀+tn_x,y₀+tn_y) (2)

其中，

如果(tn_x,tn_y)∈[-0.5,0.5]×[-0.5,0.5]，即一阶导数为零的点位于当前像素内，且(n_x,n_y)方向的二阶导数大于指定阈值，则该点(x₀,y₀)为边缘的中心点，(p_x,p_y)为亚像素坐标。

优选的，本发明还提供了改进的Kalman更新方法：Kalman更新方法的核心思路就是，利用线性系统的状态方程，通过系统输入输出观测数据，对系统状态进行最优估计。发明利用360°动态打光方案，使细微缺陷具有动态特性，从而可以根据每帧图像检测到的缺陷位置实时更新实际缺陷目标的位置。

针对轨迹点，构建动态系统方程X(k)和测量方程Y(k)

X(k)＝F(k-1)X(k-1)+w(k-1) (4)

Y(k)＝H(k)X(k)+v(k) (5)

其中，w(k-1)和v(k)为高斯白噪声，对应协方差矩阵为Q(k-1)和R(k)

k时刻状态变量X(k)和k时刻测量值Y(k)分别表示为：

X(k)＝(x,y,dx,dy)^T

Y(k)＝(x,y)^T

状态转移矩阵F(k)表示为：

其中，dt为单位时间。

令测量矩阵H(k)为单位矩阵

对于k＝1，2，…，执行下面的步骤：

(1)根据测量方程，获取测量值Y(k)

(2)更新先验估计误差协方差P(k|k-1)

P(k|k-1)＝F(k-1)P(k-1|k-1)F(k-1)^T+Q(k-1) (7)

(3)更新Kalman增益K(k)：

K(k)＝P(k|k-1)H(k)^T(H(k)P(k|k-1)H(k)^T+R(k))^-1 (8)

(4)更新后验状态估计X(k|k)

X(k|k)＝X(k|k-1)+K(k)(Y(k)-H(k)X(k|k-1)) (9)

(5)更新后验估计误差协方差P(k|k)

P(k|k)＝(I-K(k)H(k)^T)P(k|k-1)(I-K(k)H(k)^T)+K(k)R(k)K(k)^T (10)

运用基于Hessian矩阵的边缘检测器对图像进行预处理，以序列阈值图像中，目标缺陷的最小外包矩形的二维点集为建模对象，通过模型初始化、自适应改变模型学习率、更新估计误差的协方差，建立动态变化的缺陷对象，实时跟踪缺陷的位置，从而达到检测识别和定位缺陷的目的。

利用双目三维相机数据接口将缺陷区域点云提取出来，计算细小包围盒，包围盒的中心线，即提取该区域中心线作为该打磨区域的打磨轨迹点。

优选的，本发明还提供了多区域打磨任务级时间最优加工路径的生成方法：具体的，当检测目标有多个打磨区域时，打磨哪个区域，对打磨区域的优先顺序进行排列，直接影响加工工序的耗时。给定磨抛区域v₁,v₂,…,v_r，磨抛工具初始位置P₀和n-1个加工路径点v₁₁,v₁₂,v₁₃,…,v_r1,v_r2,…,v_rm，这些点记为π₁,π₂,…,π_n。磨抛工具在加工路径上运动速度为V₁，在行进路程上运动速度为V₂。磨抛工具自P₀出发通过所有点回到P₀，问磨抛工具应该如何选择路线，使每个点仅经过一次，并且花费的总时间最短。

具体包括以下步骤：

1、规划出的最优加工路径的解可表述为一个循环排列

π＝(π₁,π₂,…,π_n)

也可以表示为π₁→π₂→…→π_n→π₁的一条路径，

π_i(1≤i≤n)是该路径中第i个经过的点。显然，满足

π_i≠π_jifi≠j的解才是可行解。

所有可行解的集合构成解空间S，即

S＝{n个打磨路径点的所有循环的排列}

加工的总时间为：

其中，d(v_j(i-1),v_ji)和d(v_k-1,v_k)分别表示相同和不同磨抛区域内的任意两点之间的三维欧几里德距离。

上式可以变形为：

因为上式中

为常数，所以磨抛加工的总时间与两类行程的长度加权和成正比，即：

那么就可以得到规划打磨时间最优问题的目标函数为：

从上面的推导过程可以发现最优加工路径的规划的目标从打磨加工的总时间最短转化为使目标函数f(π)取最小值时，此时的加工路劲排列顺序为时间最优加工路径，最后通过TCP通讯将打磨轨迹点发送给机器人控制器，控制机器人自动精磨后加工。

另一方面，本发明实施例提供了一种五金件的缺陷识别系统，包括：

划痕检测模块，用于根据五金件的图像信息进行划痕检测；

细微缺陷检测模块，用于根据五金件的图像信息进行细微缺陷检测；

点云提取模块，用于根据五金件的图像信息提取缺陷区域的点云数据；

曲线拟合模块，用于确定结束检测操作后，根据缺陷区域的点云数据，对缺陷区域的空间位置点进行曲线拟合；

路径生成模块，用于根据拟合得到的曲线，生成时间最优加工路径；

打磨模块，用于根据时间最优加工路径控制机器人进行自动打磨。

另一方面，本发明实施例提供了一种五金件的缺陷识别系统，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述的五金件的缺陷识别方法。

上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

另一方面，本发明实施例提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行所述的五金件的缺陷识别方法。

综上所述，本发明的五金件的缺陷识别方法、系统及存储介质具有以下优点：

1、适用性强

五金件缺陷检测算法融合适用于各类金属件(镜面五金件除外)在明显划痕，凹凸点等细微缺陷的检测。

2、检测率高

本发明多种类检测算法对金属件的缺陷正确检测率非常高，漏检率低。

3、自动化程度高

解决了人工肉眼检测缺陷，手工精磨精修等耗时耗体力的不足，实现了在线视觉检测并利用机器人自动打磨等自动化程度高的作业。

在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (9)

1.五金件的缺陷识别方法，其特征在于：包括以下步骤：

根据五金件的图像信息进行划痕检测；

根据五金件的图像信息进行细微缺陷检测；

根据五金件的图像信息提取缺陷区域的点云数据；

确定结束检测操作后，根据缺陷区域的点云数据，对缺陷区域的空间位置点进行曲线拟合；

根据拟合得到的曲线，生成时间最优加工路径，所述时间最优加工路径为多个缺陷打磨区域内最优打磨任务顺序；

根据时间最优加工路径控制机器人进行自动打磨；

所述根据五金件的图像信息进行细微缺陷检测这一步骤，包括以下步骤：

通过360°动态打光方案对五金件的图像进行打光，每一次只控制一个方向的光源通亮，获取同一工件位置在不同光照下的缺陷图像；

运用基于Hessian矩阵的边缘检测器对五金件的图像进行预处理；

根据预处理的结果，以序列阈值图像中目标缺陷的最小外包矩形的二维点集为建模对象，动态调整模型的学习率以及估计误差的协方差，建立动态变化的缺陷对象，最终确定缺陷的位置。

2.根据权利要求1所述的五金件的缺陷识别方法，其特征在于：所述根据五金件的图像信息进行划痕检测这一步骤，包括以下步骤：

基于预设的降采样比例，通过高斯降采样对图像中出现的混叠与量化的伪图像进行处理；

计算图像中每个像素点的梯度值以及梯度方向，所述梯度方向包括水平梯度方向和垂直梯度方向；

根据梯度值对所有点进行伪排序，建立状态列表；

根据状态列表进行像素遍历，确定划痕区域。

3.根据权利要求2所述的五金件的缺陷识别方法，其特征在于：所述根据状态列表进行像素遍历，确定划痕区域这一步骤，包括以下步骤：

根据状态列表确定种子像素；

以种子像素为启动，根据梯度方向进行区域扩散；

将扩散区域进行矩形拟合；

若拟合的矩形中的同性点密度不满足预设的阈值要求，则将该矩形截断为若干个矩形框；

计算矩形拟合框的精度误差；

对矩形拟合框进行动态调整，直至矩形拟合框的精度误差小于设定阈值。

4.根据权利要求1所述的五金件的缺陷识别方法，其特征在于：所述根据五金件的图像信息提取缺陷区域的点云数据这一步骤，包括以下步骤：

利用双目三维相机数据接口提取缺陷区域的点云；

计算所述点云的包围盒，确定包围盒的中心线；

提取所述包围盒的中心线作为该打磨区域的打磨轨迹点。

5.根据权利要求1所述的五金件的缺陷识别方法，其特征在于：所述根据时间最优加工路径控制机器人进行自动打磨这一步骤，包括以下步骤：

确定磨抛工具的初始位置和加工路径点；

确定磨抛工具在加工路径上的第一运动速度和行进路程上的第二运动速度；

根据初始位置、加工路径点、第一运动速度和第二运动速度进行自动打磨。

6.五金件的缺陷识别系统，用于实现如权利要求1所述的五金件的缺陷识别方法，其特征在于：包括工作台、电控柜、工控机、机器人本体、打磨头、双目相机、光源以及支架。

7.五金件的缺陷识别系统，其特征在于：包括：

划痕检测模块，用于根据五金件的图像信息进行划痕检测；

细微缺陷检测模块，用于根据五金件的图像信息进行细微缺陷检测；

点云提取模块，用于根据五金件的图像信息提取缺陷区域的点云数据；

曲线拟合模块，用于确定结束检测操作后，根据缺陷区域的点云数据，对缺陷区域的空间位置点进行曲线拟合；

路径生成模块，用于根据拟合得到的曲线计算多个缺陷打磨区域内最优打磨任务顺序，生成时间最优加工路径；

打磨模块，用于根据时间最优加工路径控制机器人进行自动打磨；

所述细微缺陷检测模块包括：

动态打光单元，用于通过360°动态打光方案对五金件的图像进行打光，每一次只控制一个方向的光源通亮以获取同一工件位置在不同光照下的缺陷图像；

边缘检测预处理单元，用于运用基于Hessian矩阵的边缘检测器对五金件的图像进行预处理；

细微缺陷精准定位单元，用于根据预处理的结果，以序列阈值图像中目标缺陷的最小外包矩形的二维点集为建模对象，动态调整模型的学习率以及估计误差的协方差，建立动态变化的缺陷对象，以最终确定缺陷的位置。

8.五金件的缺陷识别系统，其特征在于：包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-5中任一项所述的五金件的缺陷识别方法。

9.一种存储介质，其中存储有处理器可执行的指令，其特征在于：所述处理器可执行的指令在由处理器执行时用于执行如权利要求1-5中任一项所述的五金件的缺陷识别方法。

Images