CN115866502A - 一种麦克风零件表面缺陷在线检测流程 - Google Patents

Abstract

本发明提供了一种麦克风零件表面缺陷在线检测流程，产品缺陷通常有十多种，检测的先后次序对准确性具有极大的影响。具体包括三步：首先对表面损坏、打线弯曲、刮痕等大面积缺陷进行检测。其次对其表面水渍、胶水滴落、焊锡不均匀、断裂等易受光线影响的缺陷进行检测。最后，对其表面微小异物、污点、毛刺等进行检测，本阶段同时对前两阶段进行复检。该检测流程降低生产线上麦克风半成品缺陷检测的误检率、漏检率，并极大提高检测效率。

Description

一种麦克风零件表面缺陷在线检测流程

技术领域

本发明涉及缺陷检测技术领域，尤其涉及一种麦克风零件表面缺陷在线检测流程。

背景技术

工业制品在现代社会中无处不在，大到飞机机翼，小到芯片晶粒。工业缺陷检测，旨在发现各种工业制品的外观瑕疵，是保障产品质量、维持生产稳定的重要技术之一。以往的缺陷检测需要人工筛查，成本高、效率低，难以覆盖大规模的质检需求。工业缺陷检测不仅可以用于检测各种工业制品，如金属、纺织物、半导体等，而且具有优秀的检测精度与效率，还能提供简便、安全的操作环境。因此，工业缺陷检测已成为智能制造领域重要的基础研究与技术之一，并被广泛应用于无人质检、智能巡检、生产控制和异常溯源等场景。

近年来，随着工业成像、计算机视觉和深度学习等领域的新技术层出不穷，基于视觉的麦克风缺陷检测技术得到了长足的发展。但当前的麦克风缺陷检测技术仍然存在诸多不足，单一使用传统的方法和深度学习方法在处理较大的数据集或在较高维的数据中检测异常时存在局限性。例如，处理图像等复杂数据时容易失效，基于核方法的一类分类需要大量内存来储存支持向量。当前的缺陷检测方法在背景不单一，图片数据复杂的情况下检测效果仍不理想。

在面对样本匮乏、缺陷模式无法预知、缺陷可视性低且往往具有较低的信噪比、缺陷种类具有多样性等问题，本发明提出的一整套麦克风表面缺陷检测流程实现了高精度和高准确率的检测效果。在实际生产制造中，实现了实际生产制造与智能巡检同步运行，降低了检测的漏检率、误检率。

发明内容

针对现有技术中所存在的不足，本发明提供了一种麦克风零件表面缺陷在线检测流程，在本发明中，提出了一套完整的麦克风零件面缺陷检测流程，该流程使用多个模块相互配合，按顺序针对不同缺陷种类分别进行检测，使用传统方法与神经网络相结合，最后一阶段的检测还对前两阶段的检测起到复检的作用。用于解决由于麦克风半成品缺陷种类多、缺陷产品的样本少甚至没有，导致麦克风半成品缺陷检测系统的鲁棒性差的问题。

本发明的上述技术目的是通过以下技术方案得以实现的：

一种麦克风零件表面缺陷在线检测流程，所述缺陷检测流程包括：

步骤一，对麦克风零件表面损坏、打线弯曲、刮痕等大面积缺陷进行检测；

步骤二，对其表面水渍、胶水滴落、焊锡不均匀、断裂等易受光线影响的缺陷进行检测；

步骤三，对其表面微小异物、污点、毛刺等进行检测，本阶段同时对前两阶段进行复检。

本发明进一步设置为：所述步骤一中对表面损坏、打线弯曲、刮痕等大面积缺陷进行检测，其检测流程包括：

将待检图片进行灰度化操作，将灰度化操作以后的图片进行高斯滤波后做腐蚀操作；

对腐蚀操作后的图像数据做均值滤波，对均值滤波后图像数据做二值化阈值分割；

阈值分割后将图像数据做边缘检测后找其轮廓点，找到其轮廓点后做直线拟合从而找出其缺陷区域。

本发明进一步设置为：所述步骤二中对其表面水渍、胶水滴落、焊锡不均匀、断裂等易受光线影响的缺陷进行检测，其检测流程包括：

将待检图片灰度化操作后做高斯滤波操作，对高斯滤波后操作后的图像数据做腐蚀操作；

将腐蚀操作后的图像数据进行亮度均匀化，对进行亮度均匀化处理后的图像数据做形态学闭操作；

对形态学闭操作后的图像数据做差取反后再次做高斯滤波操作，将高斯滤波后的图像数据进行最大阈值分割；

对最大阈值分割后的数据做边缘检测，将边缘检测后的图像找其轮廓点确定缺陷区域。

本发明进一步设置为：所述步骤三中对其表面微小异物、污点、毛刺等进行检测，本阶段同时对前两阶段进行复检，其检测流程包括：

以ResNet为主干网络用麦克风半成品图片数据集预先训练网络，给定正常图片x,设置patch大小为n以步长S将图片分为多个patch；

对每个patch利用Deep Extreme Cut从图像的最左、最右、最上、最下四个极端点的底部像素从图像中提取出对象，忽略背景；

训练一对编码器和分类器来预测两个patch之间的相对位置，计算并存储所有正常patch的表征；

测试时，以步长S查找最相似的patch，计算他们之间的欧氏距离作为异常分数；

根据异常分数生成异常图定位出缺陷位置，异常分数定义为：

本发明进一步设置为：训练一对编码器，其定义为：

f_big(p)＝gbig(f_small(p))，

其中，f_big、f_small为感受场大小分别为64、32的编码器。

本发明进一步设置为：编码器被训练成使用以下损失函数来最小化特征和超球体中心之间的欧氏距离：

其中，f为编码器，p_i为输入的patch斑块，p_i'为相邻语义相似的patch斑块。

本发明具有以下优点：

1、本发明基于计算机视觉与图像处理，采用多模块综合的检测流程及方法，且具有无监督输入情况下进行模型训练的能力，使得工业实际生产中麦克风半成品陷检测模型的训练过程不需要大量的标注数据，大大节省了生产成本；

2、本发明通过多个模块配合检测，可针对多种缺陷进行检测，极大地利用了无标注数据，后一阶段检测可以对前一阶段进行复检，大大提高了缺陷检测的精度；

3、本发明基于特征距离度量的方法，基于特征距离度量具备强大的表征能力无需优化分界面,是在特征空间匹配相应的“正常模板”,直接与待测样本的特征比较，展现出良好的缺陷检测能力。

综上，本发明提供的麦克风半成品缺陷检测流程在缺陷种类多、缺陷产品的样本少的情况下，依然能够保证产品缺陷检测系统的鲁棒性。多模块综合可达到对前面检测模块进行复检，大大提高检测精度，降低检测过程中漏检率、误检率。

附图说明

图1为本发明实施例提供的一种麦克风半成品缺陷检测的流程示意图；

图2为本发明实施例提供的一种麦克风半成品结构图；

图3为本发明实施例示出的缺陷检测得到的部分结果图，其中(a)为打线弯曲、刮痕缺陷示意图，(b)为损坏缺陷示意图，矩形框为检测到的缺陷区域；

图4为本发明实施例示出的缺陷检测得到的部分结果图，其中(a)为水渍、焊锡不均匀、焊锡断裂缺陷示意图，(b)为胶水露出缺陷示意图，矩形框为检测到的缺陷区域；

图5为本发明实施例示出的缺陷检测得到的部分结果图，其中(a)为污点、毛刺缺陷示意图，(b)为异物缺陷示意图，矩形框为检测到的缺陷区域。

具体实施方式

下面结合附图及实施例对本发明中的技术方案进一步说明。

本发明尤其针对工业生产中麦克风缺陷检测问题，针对当前已有的检测技术耗费时间长、检测精度低、漏检率和误检率高的问题，提出了一种麦克风零件面缺陷在线检测流程，针对不同种类的缺陷分别检测，实现缺陷检测准确率的提升，提供一种麦克风零件表面缺陷在线检测流程，进行以下的逐步操作。

请参阅图1，本发明提出一种麦克风零件表面缺陷在线检测流程包括：

步骤一、首先对麦克风零件表面损坏、打线弯曲、刮痕等大面积缺陷进行检测。

步骤二、其次对其表面水渍、胶水滴落、焊锡不均匀、断裂等易受光线影响的缺陷进行检测。

步骤三、最后，对其表面微小异物、污点、毛刺等进行检测，本阶段同时对前两阶段进行复检。

请参阅图2，麦克风零件个不同结构上可能出现不同种类的缺陷，检测的先后顺序及针对不同的缺陷设置恰当的处理方式对检测效果都有极大的影响，具体处理方式如下所述：在所述步骤一中：

对表面损坏、打线弯曲、刮痕等大面积缺陷进行检测步骤如下：

基于opencv的方法将待检图片进行灰度化操作；

将灰度化操作以后的图片进行高斯滤波后做腐蚀操作；

对腐蚀操作后的图像数据做均值滤波，对均值滤波后图像数据做二值化阈值分割；

阈值分割后将图像数据做边缘检测后找其轮廓点，找到其轮廓点后做直线拟合从而找出其缺陷区域。

其中，所述大面积缺陷为缺陷区域显著的区域。

在所述步骤二中：

对水渍、胶水滴落、焊锡不均匀、断裂等易受光线影响的缺陷进行检测步骤如下：

将待检图片灰度化后做高斯滤波操作；

对高斯滤波作后的图像数据做腐蚀操作；

将腐蚀操作后的图像数据进行亮度均匀化处理；

对进行亮度均匀化处理后的图像数据做形态学闭操作；

对形态学闭操作后的图像数据做差取反后再次做高斯滤波操作；

将高斯滤波操作后的图像数据进行最大阈值分割，对最大阈值分割后的数据做边缘检测；

将边缘检测后的图像找其轮廓点确定缺陷区域。

其中，所述光线差异缺陷检测模块为针对易受光线照射以及光线强弱影响的缺陷检测。

在所述步骤三中：

对微小异物、污点、毛刺等缺陷进行检测，本阶段同时对前两阶段进行复检包括以下步骤：

以ResNet为主干网络用正常麦克风半成品图像数据集预先训练网络；

给定正常图片x,设置patch大小为n，以步长S将图片分为多个patch；

对每个patch利用Deep Extreme Cut从图像的最左、最右、最上、最下四个极端点的底部像素中提取出对象，忽略背景；

训练一对编码器f_θ和分类器来预测两个patch之间的相对位置；

编码器定义为：

f_big(p)＝gbig(f_small(p))

其中，f_big、f_small为感受场大小分别为64、32的编码器。

使用以下损失函数来最小化特征和超球体中心之间的欧氏距离并训练编码器：

其中，f为编码器，p_i为输入的patch斑块，p_i'为相邻语义相似的patch斑块。

计算并存储所有正常patch的表征；

测试时，以步长S查找最相似的patch，计算他们之间的欧氏距离作为异常分数；

异常分数定义为：

根据异常分数生成异常图定位出缺陷位置。

对检测到的缺陷信息进行标注并发送检测报告，标明物体标号与缺陷位置，便于后期处理。如图3所示的缺陷检测图，(a)为打线弯曲、刮痕缺陷示意图，(b)为损坏缺陷示意图，矩形框为检测到的缺陷区域。图4所示的缺陷检测图，(a)为水渍、焊锡不均匀、焊锡断裂缺陷示意图，(b)为胶水漏出缺陷示意图，矩形框为检测到的缺陷区域。图5所示的缺陷检测图，(a)为污点、毛刺缺陷示意图，(b)为异物缺陷示意图，其缺陷类型为微小缺陷中的异物和污点，矩形框为检测到的缺陷区域。

其中，所述微小异物是指麦克风零件表面较小面积且不明显的缺陷。

在本实施案例中，所述Deep Extreme Cut是深度学习中的一个用于分割图像的算法，基于在卷积神经网络中向图像中添加一个额外的通道，该网络包含一个以每个极端点为中心的高斯分布，使用对象的上下左右四个极端点从中提取对象。

在本发明实施案例中，需要说明的是，再将图片进行检测之前，需要对数据做预处理，预处理步骤包括：

定义模板图像，对模板图像进行金字塔下采样；

读取图片，对图片进行金字塔下采样；

调用模板匹配算法、绘制矩形将模板区域截取出来得到待检图片。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种麦克风零件表面缺陷在线检测流程，其特征在于：所述缺陷检测流程包括：

步骤一，对麦克风零件表面损坏、打线弯曲、刮痕等大面积缺陷进行检测；

步骤二，对其表面水渍、胶水滴落、焊锡不均匀、断裂等易受光线影响的缺陷进行检测；

步骤三，对其表面微小异物、污点、毛刺等进行检测，本阶段同时对前两阶段进行复检。

2.如权利要求1所述的一种麦克风零件表面缺陷在线检测流程，其特征在于：所述步骤一中对表面损坏、打线弯曲、刮痕等大面积缺陷进行检测，其检测流程包括：

将待检图片进行灰度化操作，将灰度化操作以后的图片进行高斯滤波后做腐蚀操作；

对腐蚀操作后的图像数据做均值滤波，对均值滤波后图像数据做二值化阈值分割；

阈值分割后将图像数据做边缘检测后找其轮廓点，找到其轮廓点后做直线拟合从而找出其缺陷区域。

3.如权利要求1所述的一种麦克风零件表面缺陷在线检测流程，其特征在于：所述步骤二中对其表面水渍、胶水滴落、焊锡不均匀、断裂等易受光线影响的缺陷进行检测，其检测流程包括：

将待检图片灰度化操作后做高斯滤波操作，对高斯滤波后操作后的图像数据做腐蚀操作；

将腐蚀操作后的图像数据进行亮度均匀化，对进行亮度均匀化处理后的图像数据做形态学闭操作；

对形态学闭操作后的图像数据做差取反后再次做高斯滤波操作，将高斯滤波后的图像数据进行最大阈值分割；

对最大阈值分割后的数据做边缘检测，将边缘检测后的图像找其轮廓点确定缺陷区域。

4.如权利要求1所述的一种麦克风零件表面缺陷在线检测流程，其特征在于：所述步骤三中对其表面微小异物、污点、毛刺等进行检测，本阶段同时对前两阶段进行复检，其检测流程包括：

以ResNet为主干网络用麦克风半成品图片数据集预先训练网络，给定正常图片x,设置patch大小为n以步长S将图片分为多个patch；

对每个patch利用Deep Extreme Cut从图像的最左、最右、最上、最下四个极端点的底部像素从图像中提取出对象，忽略背景；

训练一对编码器和分类器来预测两个patch之间的相对位置，计算并存储所有正常patch的表征；

测试时，以步长S查找最相似的patch，计算他们之间的欧氏距离作为异常分数；根据异常分数生成异常图定位出缺陷位置，异常分数定义为：

5.如权利要求4所述的一种麦克风零件表面缺陷在线检测流程，其特征在于：训练一对编码器，其定义为：

f_big(p)＝gbig(f_small(p))，

其中，f_big、f_small为感受场大小分别为64、32的编码器。

6.如权利要求1所述的一种麦克风零件表面缺陷在线检测流程，其特征在于：编码器被训练成使用以下损失函数来最小化特征和超球体中心之间的欧氏距离：

其中，f为编码器，p_i为输入的patch斑块，p_i'为相邻语义相似的patch斑块。

Images