CN115456944A - 一种基于目标检测的陶瓷基板外观缺陷智能识别方法 - Google Patents

Abstract

本发明提供一种基于目标检测的陶瓷基板外观缺陷智能识别方法，包括采集陶瓷基板样本图像，进行有效区域的分割识别定位；对ROI区域图像的缺陷信息进行标注；缺陷数据图像训练模型搭建；陶瓷基板在线缺陷预测检测。该方法针对陶瓷基板外观类缺陷的多形态和多类别问题，保证陶瓷基板多类别缺陷检测周期的同时提高产品类型和缺陷形态的兼容性。

Description

一种基于目标检测的陶瓷基板外观缺陷智能识别方法

技术领域

本发明涉及一种陶瓷基板外观类缺陷检测方法，具体涉及一种基于目标检测的陶瓷基板外观缺陷智能识别方法。

背景技术

在陶瓷基板加工工艺中容易出现气泡、疙瘩、皱皮、亮斑等多种类别的缺陷形态，缺陷形态的多类别、发生频率、呈现位置具有随机性，现有的基于图像全局搜索和模板局部匹配策略无法较好地兼容多类别缺陷形态的检测，同时对应算法耗时周期较长。

发明内容

本发明提供一种基于目标检测的陶瓷基板外观缺陷智能识别方法，针对陶瓷基板外观类缺陷的多形态和多类别问题，目的在于保证陶瓷基板多类别缺陷检测周期的同时提高产品类型和缺陷形态的兼容性。具体技术方案如下。

一种基于目标检测的陶瓷基板外观类别缺陷智能识别方法，其特征在于，包括：

采集陶瓷基板样本图像，进行有效区域的分割识别定位：采用图像全局阈值分割方法分离陶瓷基板和背景区域，运用形态学小阈值膨胀操作以及区域特征筛选操作进一步获取每片小枚的检测ROI区域，缩小缺陷检测区域；对ROI区域图像的缺陷信息进行标注：外观缺陷信息包括气泡、疙瘩、皱皮、亮斑、打痕和划伤六类缺陷信息，采用水平矩形框方式对待检测缺陷ROI图像中发生的缺陷类别信息进行标识；缺陷数据图像训练模型搭建：进行网络特征提取模块和分类预测模块的搭建，完成后导出作为外观预测模型文件；陶瓷基板在线缺陷预测检测：采集待检测的陶瓷基板图像，通过全局阈值分割和产品小枚匹配算法，获取待检测产品小枚缺陷区域，裁剪缺陷检测区域图像，调用外观缺陷检测模型文件，预测输出信息为不同缺陷类别信息的中心点横纵坐标以及预测缺陷影响范围半径，将不同缺陷预测信息以不同颜色标识绘制在采集陶瓷基板采集图像上，同时输出缺陷信息给下位机PLC信息，即可判断当前采集陶瓷基板是否发生已知外观类缺陷。

进一步，一幅陶瓷基板样本图像中包括M×N个小枚缺陷ROI区域，在全局阈值分割对背景和产品区域进行初步分离后，采用相关性匹配方法匹配所有小枚区域，相关性匹配方法公式一为

，其中R为均值相关值的匹配系数，T为变换矩阵，(x,y)对应待匹配区域的像素横纵坐标信息，匹配完毕后对重复区域进行合并即完成小枚ROI区域的分割。

进一步，基于已识别匹配小枚ROI区域，此区域为待检测缺陷ROI图像区域，背景以及外边框区域已屏蔽处理，在待检测缺陷ROI图像区域内对已发生缺陷进行类别划分标识，勾选对应缺陷发生类别然后对缺陷发生区域以矩形框进行框选标识，要求矩形框区域与真实缺陷发生区域比例不超过10%，选缺陷发生区域最小外接矩形进行框选绘制，缺陷标记信息记录内容包括当前缺陷类别以及对应标记框的四个端点坐标(x0,y0)、(x1,y1)、(x2,y2)、(x3,y3)。

进一步，图像缺陷信息标记完成后采用滑动窗口裁剪策略进行固定尺寸裁剪，裁剪尺寸不足设定数值后图像以128像素值进行填充，从而获取固定裁剪缺陷图像以及对应图像上的缺陷标识信息。

进一步，对于各个类别缺陷信息的特征提取模块，采用3个残差模块后接一个全局池化层和一个Flatten层搭建；缺陷特征识别和分类模块采用五个金字塔层进行搭建，包括P1，P2，P3，P4和P5层，其中P5为高维度信息特征层，P1为最低维度信息特征层，经过最后三层金字塔层模型预测图像维度恢复至原始尺寸，获取已标识缺陷区域x方向和y方向的回归计算系数累加计算为作为预测类别缺陷Circle半径信息，缺陷特征分类网络采用逻辑回归策略，对不同类别信息进行回归分类，有效判定所预测缺陷信息。

进一步，网络特征提取模块和分类预测模块搭建完成后，设置模型最大训练迭代次数为Total_Number，损失函数阈值为loss<1e-8，当模型训练周期次数达到最大设置数值或者模型训练计算loss小于设置阈值后，将特征提取模块和分类预测模块中每层权重信息保存固化导出为陶瓷基板外观类预测模型文件。

进一步，陶瓷基板外观类别缺陷智能识别方法还包括人工干预和修改，人为缺陷判定的主观性和算法预测的客观性导致某些轻微缺陷严重影响产品外观质量，在外观类缺陷检测模型已检测缺陷区域图像基础上，人为进行筛选挑选严重缺陷，重新参与模型训练准备优化模型检测效果。

本发明的基于目标检测的陶瓷基板外观缺陷智能识别方法，适用于多类别缺陷的同时在线检测，在NVIDIA RTX 1660 Super 6G显卡设备上响应耗时<2.5s，采用残差网络模块对多类别缺陷图像信息进行提取，同时避免特征的高维度化和梯度的计算问题，特征提取网络模块采用多个金字塔层，不同金字塔层对应不同的图像尺寸，兼容处理多类别多尺寸缺陷图像，具有较好的产品缺陷兼容特征和检出能力。

本发明附加的方面和优点将在下面的描述中进一步给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1所示为陶瓷基板外观类缺陷检测方法流程图；

图2所示为样本图像有效区域分割定位效果图；

图3所示为检测图像区域内亮斑缺陷信息标注效果图；

图4所示为检测图像区域内疙瘩缺陷信息标注效果图；

图5所示为缺陷标记坐标关系示意图；

图6所示为模型网络架构图；

图7中从左到右从上到下依次所示为气泡、疙瘩、皱皮、亮斑、打痕、划伤不同缺陷识别效果图。

具体实施方式

下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

参照图1，本实施例的一种基于目标检测的陶瓷基板外观类别缺陷智能识别方法，包括：S1：采集陶瓷基板样本图像，进行有效区域的分割识别定位：对于整板陶瓷基板样本图像，其中有效识别区域仅包括小枚产品区域，外边框以及多余残料区域为不检测区域，采用图像全局阈值分割方法分离陶瓷基板和背景区域，运用形态学小阈值膨胀操作以及区域特征筛选操作进一步获取每片小枚的检测ROI区域，缩小缺陷检测区域。

一幅完整的陶瓷基板样本图像中包括M×N个小枚产品，即小枚缺陷ROI区域，产品边框区域和载台背景区域，受产品自身平整度和产品表面属性的影响，不同小枚产品采集呈现效果不同，但是每个小枚内的分布结构是固定的，在全局阈值分割对背景和产品区域进行初步分离后，采用相关性匹配方法匹配所有小枚区域，相关性匹配方法可用公式一描述，公式一为

，其中R为均值相关值的匹配系数，T为变换矩阵，(x,y)对应待匹配区域的像素横纵坐标信息，由于产品小枚区域较大，直接原始尺寸图像进行模板匹配较为耗时，所以将原始图像缩放scaleFactor=0.2倍后进行模板匹配，设置匹配区域分值>0.15即为已识别缺陷检测区域，匹配完毕后对重复区域进行合并即完成小枚缺陷ROI区域的分割，如图2中所示为全局待检测图像，图2中的a-j的矩形区域为分割的小枚缺陷ROI区域，即缺陷匹配待检测区域。

S2：对ROI区域图像的缺陷信息进行标注：外观缺陷信息包括气泡、疙瘩、皱皮、亮斑、打痕和划伤六类缺陷信息，采用水平矩形框方式对待检测缺陷ROI图像中发生的缺陷类别信息进行标识，全部标识完毕后保存每张图像的缺陷标记信息，包括对应缺陷类别和缺陷位置坐标。

进一步而言，基于已识别匹配小枚ROI区域，此区域为待检测缺陷ROI图像区域，背景以及外边框区域做屏蔽处理，在待检测缺陷ROI图像区域内对已发生缺陷进行类别划分标识，具体标识方式为勾选对应缺陷发生类别然后对缺陷发生区域以矩形框进行框选标识，要求矩形框区域与真实缺陷发生区域比例不超过10%，可参考缺陷发生区域最小外接矩形进行框选绘制。缺陷标记信息记录内容包括当前缺陷类别以及对应标记框的四个端点坐标(x0,y0)、(x1,y1)、(x2,y2)、(x3,y3)，如图3中展示的为亮斑的缺陷坐标标记效果，图4中展示的为疙瘩的缺陷坐标标记效果。

图像缺陷信息标记完成后以256×256固定尺寸对待检测缺陷图像进行滑动窗口裁剪，裁剪尺寸不足设定数值后图像以128像素值进行填充，从而获取固定裁剪缺陷图像以及对应图像上的缺陷标识信息。

对于判断已标记缺陷区域是否在裁剪图像内，判定方法可用公式二描述，公式二为

，参照图5，其中bbox_lx和bbox_ly为已标识类别缺陷区域相对全局待检测图像的左上端角像素横纵坐标，对应图3或4中单个缺陷中的（x0,y0），bbox_rx和bbox_ry为已标识类别缺陷区域相对全局待检测图像的右下端角像素横纵坐标，对应图3或4中单个缺陷中的（x2,y2），left_X和left_Y为裁剪图像左上端角像素横纵坐标，right_X和right_Y为裁剪图像右下端角像素横纵坐标，当裁剪图像区域和已标识类别缺陷区域满足上述关系后，记录相对于裁剪图像的缺陷标记信息可用公式三描述，公式三为

，其中_leftx，_lefty，_rightx和_righty对应以表示缺陷区域相对裁剪图像的左上角和右下角像素横纵坐标，完成图像滑动窗口裁剪后可获得N张固定尺寸的裁剪图像，以及对应裁剪图像内的缺陷标识信息，标记缺陷的坐标信息以(_leftx，_lefty)，(_rightx, _righty)表示。

在本实施例中，选取3-5类不同陶瓷基板型号，具体参考每类不同产品小枚内图案分布，每个类别采集100-200张缺陷样本图像，将所有采集缺陷产品图像随机组合后以当前时间格式进行文件重命名，例如“2022_05_29_21_33_52_218345.png”，缺陷数据集汇总时要保准缺陷类别和产品型号的随机性，不同产品型号对应不同的待匹配模板信息，此信息可在产品采集时上位机提供，综合应用全局阈值分割和模板信息匹配获取每张图像的待检测产品小枚区域，裁剪后离线保存为待缺陷标注图像。

S3：缺陷数据图像训练模型搭建：进行网络特征提取模块和分类预测模块的搭建，完成后导出作为外观预测模型文件。

如图7，陶瓷基板外观类缺陷类别共包括气泡、疙瘩、皱皮、亮斑、打痕和划伤共六类缺陷，所搭建缺陷智能识别网络框架需要同时可检测以上上述六类缺陷，并且具备较快的模型响应时间，如图6，对于各个类别缺陷信息的特征提取模块，采用3个残差模块后接一个全局池化层和一个Flatten层搭建，相对于传统卷积层模块很难通过学习变成恒等网络，并且网络训练越深时准确率趋于评估同时网络误差较大，残差网络引入了跳跃连接，可以使上一个残差块的信息没有阻碍的流入到下一个残差块，提高了信息流通同时也避免了由与网络过深所引起的消失梯度问题和退化问题，过多的使用残差模块会导致模型深度加深，严重时出现过拟合或模型衰退等问题，本专利测试后搭建三个残差网络组成的模型架构，可有效避免模型深度较深导致的模型性能减弱问题，相较于传统池化层，全局池化层有效实现了特性信息维度降维，更重要的是极大地减少了网络的参数，Flatten层将不同类别缺陷信息网络层分别实现一维化操作，降低模型计算耗时。

缺陷特征识别和分类模块采用五个金字塔层进行搭建，包括P1，P2，P3，P4和P5层，其中P5为高维度信息特征层，P1为最低维度信息特征层，经过最后三层金字塔层模型预测图像维度恢复至原始尺寸，获取已标识缺陷区域x方向和y方向的回归计算系数累加计算为作为预测类别缺陷Circle半径信息，缺陷特征分类网络采用逻辑回归策略，对不同类别信息进行回归分类，有效判定所预测缺陷信息，缺陷特征预测网络采用多类别交叉熵损失计算，计算方式可用公式四描述，公式四为

，其中Loss对应模型训练损失函数值，n对应输入模型计算图像数量，x为预测向量特征信息维度，y为不同类别缺陷信息编码后对应的索引真实值，即0，1，2，3，4，5对应六类缺陷信息，a对应预测不同类别概率数据集，网络最后输出缺陷类别采用softmax操作，即a数组总和为1。

进一步，网络特征提取模块和分类预测模块搭建完成后，设定训练数据集、验证数据集和测试数据集比例为0.7，0.2和0.1，对应数据集内图像数量为0.7×Number，0.2×Number和0.1×Number，若测试数据集内图像计算后为0，可以将验证数据集同时作为测试数据集，若验证数据集内图像计算后为0，可以将训练数据集同时作为验证数据集或者修改数据集划分比例，划分训练数据集Train_Dataset、验证数据集Valid_Datase和测试数据集Test_Dataset后，选取GTX 1660Ti机器设备为模型训练系统平台，设置单次模型计算图像数量为24，模型训练总周期次数Total_Number为1000，开始模型训练后观察训练数据集和验证数据集的loss数值变化曲线，当其趋于稳定时同时满足损失函数阈值loss<1e-8，或者模型训练达到最大设定周期后，停止模型训练，将特征提取模块和分类预测模块中每层权重信息保存固化导出为陶瓷基板外观类预测模型文件。

S4：陶瓷基板在线缺陷预测检测：采集待检测的陶瓷基板图像，通过全局阈值分割和产品小枚匹配算法，获取待检测产品小枚缺陷区域，裁剪缺陷检测区域图像，调用外观缺陷检测模型文件，预测输出信息为不同缺陷类别信息的中心点横纵坐标以及预测缺陷影响范围半径，将不同缺陷预测信息以不同颜色标识绘制在采集陶瓷基板采集图像上，同时输出缺陷信息给下位机PLC信息，即可实现陶瓷基板外观缺陷识别功能。

其中待检测陶瓷基板图像的匹配、分割、裁剪检测区域图像具体过程与样本图像处理相同。

S5：另外，本实施例陶瓷基板外观类别缺陷智能识别方法还包括人工干预和修改，人为缺陷判定的主观性和算法预测的客观性导致某些轻微缺陷严重影响产品外观质量，在外观类缺陷检测模型已检测缺陷区域图像基础上，人为进行筛选挑选严重缺陷，重新参与模型训练准备优化模型检测效果。

由于和模型预测计算的客观性，模型已预测输出模型在真实产品上呈现缺陷形态更为微弱，即对于基板上已达到判定通过标准的细微缺陷也会预测出来，对于此类缺陷检测信息，可以进行人为主观干预，即将其划分为可通过缺陷类别，在人工对于设备检出缺陷信息进行复判时，对于已达到人工判定OK的缺陷区域图像，收集一定数量的此类图像后，重命名为Train_Resume_Dataset，重新设置训练图像数据集，在模型数据加载阶段，对模型进行优化，会降低此类别的样本抽样频率以及模型训练损失计算参与频率，重新满足模型训练设定指标后，逐步趋向于实际判定标准，提高产品安全质量特性同时保证产品检测通过率。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种基于目标检测的陶瓷基板外观类别缺陷智能识别方法，其特征在于，包括：

采集陶瓷基板样本图像，进行有效区域的分割识别定位：采用图像全局阈值分割方法分离陶瓷基板和背景区域，运用形态学小阈值膨胀操作以及区域特征筛选操作进一步获取每片小枚的检测ROI区域，缩小缺陷检测区域；

对ROI区域图像的缺陷信息进行标注：外观缺陷信息包括气泡、疙瘩、皱皮、亮斑、打痕和划伤六类缺陷信息，采用水平矩形框方式对待检测缺陷ROI图像中发生的缺陷类别信息进行标识；

缺陷数据图像训练模型搭建：进行网络特征提取模块和分类预测模块的搭建，完成后导出作为外观预测模型文件；

陶瓷基板在线缺陷预测检测：采集待检测的陶瓷基板图像，通过全局阈值分割和产品小枚匹配算法，获取待检测产品小枚缺陷区域，裁剪缺陷检测区域图像，调用外观缺陷检测模型文件，预测输出信息为不同缺陷类别信息的中心点横纵坐标以及预测缺陷影响范围半径，将不同缺陷预测信息以不同颜色标识绘制在采集陶瓷基板采集图像上。

2.根据权利要求1中的基于目标检测的陶瓷基板外观类别缺陷智能识别方法，其特征在于：一幅陶瓷基板样本图像中包括M×N个小枚缺陷ROI区域，在全局阈值分割对背景和产品区域进行初步分离后，采用相关性匹配方法匹配所有小枚区域，相关性匹配方法公式一为

，其中R为均值相关值的匹配系数，T为变换矩阵，(x,y)对应待匹配区域的像素横纵坐标信息，匹配完毕后对重复区域进行合并即完成小枚ROI区域的分割。

3.根据权利要求2中的基于目标检测的陶瓷基板外观类别缺陷智能识别方法，其特征在于：基于已识别匹配小枚ROI区域，此区域为待检测缺陷ROI图像区域，在待检测缺陷ROI图像区域内对已发生缺陷进行类别划分标识，勾选对应缺陷发生类别然后对缺陷发生区域以矩形框进行框选标识，选缺陷发生区域最小外接矩形进行框选绘制，缺陷标记信息记录内容包括当前缺陷类别以及对应标记框的四个端点坐标(x0,y0)、(x1,y1)、(x2,y2)、(x3,y3)。

4.根据权利要求3中的基于目标检测的陶瓷基板外观类别缺陷智能识别方法，其特征在于：图像缺陷信息标记完成后采用滑动窗口裁剪策略进行固定尺寸裁剪，裁剪尺寸不足设定数值后图像以128像素值进行填充，从而获取固定裁剪缺陷图像以及对应图像上的缺陷标识信息。

5.根据权利要求1中的基于目标检测的陶瓷基板外观类别缺陷智能识别方法，其特征在于：对于各个类别缺陷信息的特征提取模块，采用3个残差模块后接一个全局池化层和一个Flatten层搭建；缺陷特征识别和分类模块采用五个金字塔层进行搭建，包括P1，P2，P3，P4和P5层，其中P5为高维度信息特征层，P1为最低维度信息特征层，经过最后三层金字塔层模型预测图像维度恢复至原始尺寸，获取已标识缺陷区域x方向和y方向的回归计算系数累加计算为作为预测类别缺陷Circle半径信息，缺陷特征分类网络采用逻辑回归策略，对不同类别信息进行回归分类，有效判定所预测缺陷信息。

6.根据权利要求5中的基于目标检测的陶瓷基板外观类别缺陷智能识别方法，其特征在于：网络特征提取模块和分类预测模块搭建完成后，设置模型最大训练迭代次数为Total_Number，损失函数阈值为loss<1e-8，当模型训练周期次数达到最大设置数值或者模型训练计算loss小于设置阈值后，将特征提取模块和分类预测模块中每层权重信息保存固化导出为陶瓷基板外观类预测模型文件。

7.根据权利要求1中的基于目标检测的陶瓷基板外观类别缺陷智能识别方法，其特征在于：陶瓷基板外观类别缺陷智能识别方法还包括人工干预和修改，人为缺陷判定的主观性和算法预测的客观性导致某些轻微缺陷严重影响产品外观质量，在外观类缺陷检测模型已检测缺陷区域图像基础上，人为进行筛选挑选严重缺陷，重新参与模型训练准备优化模型检测效果。

Images