CN117451722A - 一种基于机器视觉的工件检测系统及方法 - Google Patents

Abstract

本发明提供一种基于机器视觉的工件检测系统及方法，其中，所述系统包括：图像获取单元，用于获取目标工件从不同角度拍摄的多个表面图像；判断单元，用于针对任一表面图像，生成所述表面图像的梯度数据，并根据所述梯度数据，判断所述目标工件的表面是否存在凹槽；凹槽识别单元，用于汇总各个所述表面图像对应的判断结果，若汇总后的判断结果表征所述目标工件的表面存在凹槽，识别所述凹槽的形状和深度；告警单元，用于基于所述凹槽的形状和深度，预测所述凹槽形成的因素，并将所述因素汇报至管理终端。本发明提供的技术方案，能够在降低工件检测成本的情况下，提高工件检测的效率。

Description

一种基于机器视觉的工件检测系统及方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于机器视觉的工件检测系统及方法。

背景技术

在工件加工过程中，受到加工工艺和加工环境的影响，在工件表面可能会形成无法预料的凹槽。在当前的工件检测过程中，可以通过超声波、红外等手段，检测工件中是否存在瑕疵。然而，这样的工件检测方式，通常需要部署比较复杂的检测装置，需要较高的成本投入。

鉴于此，目前需要一种成本更低、更加便捷的工件检测方法。

发明内容

本发明的目的在于提供一种基于机器视觉的工件检测系统及方法，能够在降低成本的情况下，提高工件检测的效率。

本发明一方面提供一种基于机器视觉的工件检测系统，所述系统包括：

图像获取单元，用于获取目标工件从不同角度拍摄的多个表面图像；

判断单元，用于针对任一表面图像，生成所述表面图像的梯度数据，并根据所述梯度数据，判断所述目标工件的表面是否存在凹槽；

凹槽识别单元，用于汇总各个所述表面图像对应的判断结果，若汇总后的判断结果表征所述目标工件的表面存在凹槽，识别所述凹槽的形状和深度；

告警单元，用于基于所述凹槽的形状和深度，预测所述凹槽形成的因素，并将所述因素汇报至管理终端。

在一个实施方式中，所述判断单元，具体用于从所述梯度数据中识别梯度绝对值大于指定阈值的特征点的数量，若所述数量达到预设数量阈值，判定所述目标工件的表面存在凹槽，并确定各个所述特征点的位置。

在一个实施方式中，凹槽识别单元具体用于，绘制所述特征点的点云数据，并根据所述点云数据确定凹槽边缘点序列和凹槽底部参考点；将所述凹槽边缘点序列限定的形状作为所述凹槽的形状，并根据所述凹槽边缘点序列拟合凹槽平面；计算所述凹槽平面和所述凹槽底部参考点之间的深度，并将所述深度作为所述凹槽的深度。

在一个实施方式中，所述凹槽识别单元，具体用于获取不同角度下的识别置信度，并将所述识别置信度与判断结果表征的存在凹槽的概率进行加权求和，得到综合置信度；若所述综合置信度高于预设置信度阈值，判定所述目标工件的表面存在凹槽。

本发明还提供一种基于机器视觉的工件检测方法，所述方法包括：

获取目标工件从不同角度拍摄的多个表面图像；

针对任一表面图像，生成所述表面图像的梯度数据，并根据所述梯度数据，判断所述目标工件的表面是否存在凹槽；

汇总各个所述表面图像对应的判断结果，若汇总后的判断结果表征所述目标工件的表面存在凹槽，识别所述凹槽的形状和深度；

基于所述凹槽的形状和深度，预测所述凹槽形成的因素，并将所述因素汇报至管理终端。

在一个实施方式中，根据所述梯度数据，判断所述目标工件的表面是否存在凹槽包括：

从所述梯度数据中识别梯度绝对值大于指定阈值的特征点的数量，若所述数量达到预设数量阈值，判定所述目标工件的表面存在凹槽，并确定各个所述特征点的位置。

在一个实施方式中，识别所述凹槽的形状和深度包括：

绘制所述特征点的点云数据，并根据所述点云数据确定凹槽边缘点序列和凹槽底部参考点；

将所述凹槽边缘点序列限定的形状作为所述凹槽的形状，并根据所述凹槽边缘点序列拟合凹槽平面；

计算所述凹槽平面和所述凹槽底部参考点之间的深度，并将所述深度作为所述凹槽的深度。

在一个实施方式中，汇总各个所述表面图像对应的判断结果之后，所述方法还包括：

获取不同角度下的识别置信度，并将所述识别置信度与判断结果表征的存在凹槽的概率进行加权求和，得到综合置信度；

若所述综合置信度高于预设置信度阈值，判定所述目标工件的表面存在凹槽。

在一个实施方式中，将所述识别置信度与判断结果表征的存在凹槽的概率进行加权求和包括：

步骤一：设Pi为第i个角度下识别的凹槽置信度，I为识别角度总数，i为大于等于1且小于等于I的整数，对所有识别角度的置信度组成集合为P＝{P0,P1,P2,…,PI}，则集合P中的最大最小值分别为：

其中P_max为集合P中的最大值，P_min为集合P中的最小值；

步骤二：根据第一步中获得的最大最小值，将其从集合P中予以剔除，组成新的集合Q，则对于集合Q，其均值方差分别为：

其中Q_μ为集合Q的均值，Q_σ为集合Q的方差；

步骤三：根据步骤一和步骤二计算的结果，若P_max和P_min在范围[Q_μ-3Q_σ，Q_μ+3Q_σ]内，则综合置信度Z为：

当P_max大于Q_μ+3Q_σ或者小于Q_μ-3Q_σ时，综合置信度为1，即目标工件表面一定存在凹槽。

本发明提供的技术方案，可以仅仅在前端部署成本低廉的图像采集装置，便可以通过图像处理的方式，实现工件检测过程。具体地，工件表面存在凹槽的话，往往会对拍摄得到的图像的梯度造成影响，通过对梯度数据进行识别，可以准确地判定出工件表面是否存在凹槽。此外，在判定工件表面存在凹槽的情况下，还能够进一步地识别出凹槽的形状和深度，为后续预测造成凹槽的因素提供了数据基础。可见，上述的工件检测过程，具备较为低廉的部署成本，同时通过机器视觉的识别方式，可以有效地提升工件检测的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1为本发明提供的一种基于机器视觉的工件检测系统的结构示意图。

图2为本发明提供的一种基于机器视觉的工件检测方法的步骤示意图。

具体实施方式

为使本申请的上述目的、特征和优点能够更为明显易懂，下面结合附图，对本申请的具体实施方式做详细的说明。可以理解的是，此处所描述的具体实施例仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

本申请中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

请参阅图1所示，本申请一实施例提供一种基于机器视觉的工件检测系统，所述系统包括：

图像获取单元，用于获取目标工件从不同角度拍摄的多个表面图像；

判断单元，用于针对任一表面图像，生成所述表面图像的梯度数据，并根据所述梯度数据，判断所述目标工件的表面是否存在凹槽；

凹槽识别单元，用于汇总各个所述表面图像对应的判断结果，若汇总后的判断结果表征所述目标工件的表面存在凹槽，识别所述凹槽的形状和深度；

告警单元，用于基于所述凹槽的形状和深度，预测所述凹槽形成的因素，并将所述因素汇报至管理终端。

在一个实施方式中，所述判断单元，具体用于从所述梯度数据中识别梯度绝对值大于指定阈值的特征点的数量，若所述数量达到预设数量阈值，判定所述目标工件的表面存在凹槽，并确定各个所述特征点的位置。

通常而言，一个光滑的、没有凹槽的工件表面，梯度数据表征的梯度绝对值都处于一个接近于0的状态，而一旦工件表面出现凹槽，由于光照等影响，会使得凹槽附近的梯度数据出现较大的波动。在这种情况下，通过逐点识别表面图像中的梯度数据，可以准确地筛选出梯度值波动较大的特征点。这些特征点，可以共同构成凹槽的形状。

在一个实施方式中，凹槽识别单元具体用于，绘制所述特征点的点云数据，并根据所述点云数据确定凹槽边缘点序列和凹槽底部参考点；将所述凹槽边缘点序列限定的形状作为所述凹槽的形状，并根据所述凹槽边缘点序列拟合凹槽平面；计算所述凹槽平面和所述凹槽底部参考点之间的深度，并将所述深度作为所述凹槽的深度。

在本实施方式中，通过将特征点在三维空间利用点云进行表示，从而可以准确地还原出凹槽的三维形状。在该点云数据中，部分点云与工件表面之间形成边界，该边界上的点云便可以作为凹槽边缘点序列。位于凹槽最底部的点，可以作为凹槽底部参考点。通过拟合凹槽边缘点序列，可以得到凹槽敞口所在的平面，该平面通常与工件表面持平。通过计算该平面与凹槽底部参考点之间的深度，便可以得到凹槽的实际深度。

在得到凹槽的形状和深度后，可以将形状和深度作为待处理的预测数据，输入预测模型中。该预测模型可以经过大量的形状和深度的样本对进行训练，从而可以根据输入的形状和深度，预测对应的因素。

在一个实施方式中，所述凹槽识别单元，具体用于获取不同角度下的识别置信度，并将所述识别置信度与判断结果表征的存在凹槽的概率进行加权求和，得到综合置信度；若所述综合置信度高于预设置信度阈值，判定所述目标工件的表面存在凹槽。

在不同角度下拍摄得到的表面图像，可以具备不同的识别置信度，识别置信度越高，表明基于表面图像推断得到的凹槽识别结果越准确。通常而言，凹槽的判断结果也往往对应一个凹槽识别概率，通过将识别置信度与判断结果表征的存在凹槽的概率进行加权求和，便可以得到最终的综合置信度，基于该综合置信度便可以得到准确的凹槽识别结果。

请参阅图2，本发明还提供一种基于机器视觉的工件检测方法，所述方法包括：

S1：获取目标工件从不同角度拍摄的多个表面图像；

S2：针对任一表面图像，生成所述表面图像的梯度数据，并根据所述梯度数据，判断所述目标工件的表面是否存在凹槽；

S3：汇总各个所述表面图像对应的判断结果，若汇总后的判断结果表征所述目标工件的表面存在凹槽，识别所述凹槽的形状和深度；

S4：基于所述凹槽的形状和深度，预测所述凹槽形成的因素，并将所述因素汇报至管理终端。

在一个实施方式中，根据所述梯度数据，判断所述目标工件的表面是否存在凹槽包括：

从所述梯度数据中识别梯度绝对值大于指定阈值的特征点的数量，若所述数量达到预设数量阈值，判定所述目标工件的表面存在凹槽，并确定各个所述特征点的位置。

在一个实施方式中，识别所述凹槽的形状和深度包括：

绘制所述特征点的点云数据，并根据所述点云数据确定凹槽边缘点序列和凹槽底部参考点；

将所述凹槽边缘点序列限定的形状作为所述凹槽的形状，并根据所述凹槽边缘点序列拟合凹槽平面；

计算所述凹槽平面和所述凹槽底部参考点之间的深度，并将所述深度作为所述凹槽的深度。

在一个实施方式中，汇总各个所述表面图像对应的判断结果之后，所述方法还包括：

获取不同角度下的识别置信度，并将所述识别置信度与判断结果表征的存在凹槽的概率进行加权求和，得到综合置信度；

若所述综合置信度高于预设置信度阈值，判定所述目标工件的表面存在凹槽。

某些情况下其他表面图像识别出是凹槽的置信度很低，即不是或者是深度极低在公差范围内的凹槽，某个表面图像识别出是凹槽的置信度很高，即是很大很深的凹槽，加权求和后由于置信度很高的数据极少，置信度很低的数据非常多，导致整体求和后置信度较低，低于预设置的置信度阈值，被判定为目标工件表面不存在凹槽。实际上由于有某个很大很深的凹槽的存在，即使其他面无凹槽或者凹槽在公差范围内，这种工件也是不合格的，因此为了避免上述误判情况的发生，在对存在凹槽的概率进行加权求和时采用如下算法：

步骤一：设Pi为第i个角度下识别的凹槽置信度，I为识别角度总数，i为大于等于1且小于等于I的整数，对所有识别角度的置信度组成集合为P＝{P0,P1,P2,…,PI}，则集合P中的最大最小值分别为：

其中P_max为集合P中的最大值，P_min为集合P中的最小值。

步骤二：根据第一步中获得的最大最小值，将其从集合P中予以剔除，组成新的集合Q，则对于集合Q，其均值方差分别为：

其中Q_μ为集合Q的均值，Q_σ为集合Q的方差。

步骤三：根据步骤一和步骤二计算的结果，若P_max和P_min在范围[Q_μ-3Q_σ，Q_μ+3Q_σ]内，则综合置信度Z为：

当P_max大于Q_μ+3Q_σ或者小于Q_μ-3Q_σ时，综合置信度为1，即目标工件表面一定存在凹槽。

本算法根据6σ检测法，综合计算各角度下识别的凹槽置信度是否存在异常值，并以此对其进行分情况讨论，准确判定目标工件表面是否存在凹槽，避免上述误判情况的发生。

本发明提供的技术方案，可以仅仅在前端部署成本低廉的图像采集装置，便可以通过图像处理的方式，实现工件检测过程。具体地，工件表面存在凹槽的话，往往会对拍摄得到的图像的梯度造成影响，通过对梯度数据进行识别，可以准确地判定出工件表面是否存在凹槽。此外，在判定工件表面存在凹槽的情况下，还能够进一步地识别出凹槽的形状和深度，为后续预测造成凹槽的因素提供了数据基础。可见，上述的工件检测过程，具备较为低廉的部署成本，同时通过机器视觉的识别方式，可以有效地提升工件检测的效率。

上述仅为本发明的一个具体实施方式，其它基于本发明构思的前提下做出的任何改进都视为本发明的保护范围。

Claims (9)

1.一种基于机器视觉的工件检测系统，其特征在于，所述系统包括：

图像获取单元，用于获取目标工件从不同角度拍摄的多个表面图像；

判断单元，用于针对任一表面图像，生成所述表面图像的梯度数据，并根据所述梯度数据，判断所述目标工件的表面是否存在凹槽；

凹槽识别单元，用于汇总各个所述表面图像对应的判断结果，若汇总后的判断结果表征所述目标工件的表面存在凹槽，识别所述凹槽的形状和深度；

告警单元，用于基于所述凹槽的形状和深度，预测所述凹槽形成的因素，并将所述因素汇报至管理终端。

2.根据权利要求1所述的系统，其特征在于，所述判断单元，具体用于从所述梯度数据中识别梯度绝对值大于指定阈值的特征点的数量，若所述数量达到预设数量阈值，判定所述目标工件的表面存在凹槽，并确定各个所述特征点的位置。

3.根据权利要求2所述的系统，其特征在于，凹槽识别单元具体用于，绘制所述特征点的点云数据，并根据所述点云数据确定凹槽边缘点序列和凹槽底部参考点；将所述凹槽边缘点序列限定的形状作为所述凹槽的形状，并根据所述凹槽边缘点序列拟合凹槽平面；计算所述凹槽平面和所述凹槽底部参考点之间的深度，并将所述深度作为所述凹槽的深度。

4.根据权利要求1所述的系统，其特征在于，所述凹槽识别单元，具体用于获取不同角度下的识别置信度，并将所述识别置信度与判断结果表征的存在凹槽的概率进行加权求和，得到综合置信度；若所述综合置信度高于预设置信度阈值，判定所述目标工件的表面存在凹槽。

5.一种基于机器视觉的工件检测方法，其特征在于，所述方法包括：

获取目标工件从不同角度拍摄的多个表面图像；

针对任一表面图像，生成所述表面图像的梯度数据，并根据所述梯度数据，判断所述目标工件的表面是否存在凹槽；

汇总各个所述表面图像对应的判断结果，若汇总后的判断结果表征所述目标工件的表面存在凹槽，识别所述凹槽的形状和深度；

基于所述凹槽的形状和深度，预测所述凹槽形成的因素，并将所述因素汇报至管理终端。

6.根据权利要求5所述的方法，其特征在于，根据所述梯度数据，判断所述目标工件的表面是否存在凹槽包括：

从所述梯度数据中识别梯度绝对值大于指定阈值的特征点的数量，若所述数量达到预设数量阈值，判定所述目标工件的表面存在凹槽，并确定各个所述特征点的位置。

7.根据权利要求6所述的方法，其特征在于，识别所述凹槽的形状和深度包括：

绘制所述特征点的点云数据，并根据所述点云数据确定凹槽边缘点序列和凹槽底部参考点；

将所述凹槽边缘点序列限定的形状作为所述凹槽的形状，并根据所述凹槽边缘点序列拟合凹槽平面；

计算所述凹槽平面和所述凹槽底部参考点之间的深度，并将所述深度作为所述凹槽的深度。

8.根据权利要求5所述的方法，其特征在于，汇总各个所述表面图像对应的判断结果之后，所述方法还包括：

获取不同角度下的识别置信度，并将所述识别置信度与判断结果表征的存在凹槽的概率进行加权求和，得到综合置信度；

若所述综合置信度高于预设置信度阈值，判定所述目标工件的表面存在凹槽。

9.根据权利要求8所述的方法，其特征在于，将所述识别置信度与判断结果表征的存在凹槽的概率进行加权求和，包括：

步骤一：设Pi为第i个角度下识别的凹槽置信度，I为识别角度总数，i为大于等于1且小于等于I的整数，对所有识别角度的置信度组成集合为P＝{P0,P1,P2,…,PI}，则集合P中的最大最小值分别为：

其中P_max为集合P中的最大值，P_min为集合P中的最小值；

步骤二：根据第一步中获得的最大最小值，将其从集合P中予以剔除，组成新的集合Q，则对于集合Q，其均值方差分别为：

其中Q_μ为集合Q的均值，Q_σ为集合Q的方差；

步骤三：根据步骤一和步骤二计算的结果，若P_max和P_min在范围[Q_μ-3Q_σ，Q_μ+3Q_σ]内，则综合置信度Z为：

当P_max大于Q_μ+3Q_σ或者小于Q_μ-3Q_σ时，综合置信度为1，即目标工件表面一定存在凹槽。