CN114742818A

CN114742818A - 一种基于工业面阵摄像头视觉缺陷检测系统及其检测方法

Info

Publication number: CN114742818A
Application number: CN202210499964.XA
Authority: CN
Inventors: 陈刚; 徐晓烨
Original assignee: Suzhou Rongshi Software Technology Co ltd
Current assignee: Suzhou Rongshi Software Technology Co ltd
Priority date: 2022-05-09
Filing date: 2022-05-09
Publication date: 2022-07-12

Abstract

本发明公开了一种基于工业面阵摄像头视觉缺陷检测系统，包括现场图像采集装置、边缘计算服务器以及缺陷检测软件；基于工业面阵摄像头视觉缺陷检测方法，包括以下步骤：通过多部高清工业面阵相机采集样本图片，生成高精度图片；对于采集到的高精度图片进行算法处理，合成完整的产品表面样本图片；对合成的产品样本图进行标注；建立AI模型并对标注好的样本图进行训练；对训练好的AI模型进行测试，缺陷的识别率到达预期后进行模型封装，如果没有达到，则返回重新进行样本训练；待检的芯片托盘从传送带上通过工业面阵相机下方，AI缺陷检测软件根据预置的芯片托盘缺陷检测算法模型，自动对其进行缺陷检出和缺陷分类。

Description

一种基于工业面阵摄像头视觉缺陷检测系统及其检测方法

技术领域

本发明涉及自动分拣技术领域，具体为一种基于工业面阵摄像头视觉缺陷检测系统及其检测方法。

背景技术

对芯片托盘进行生产的过程中，由于原材料，生产设备和工艺制程等原因，通常会出现毛刺，异物，凸起，熔结线成裂纹状，破损等多种不同类型缺陷产品。由于芯片行业的检测精度要求比较高，在工厂在对芯片托盘进行缺陷检测时，通常采用人工使用高分辨率电子显微镜的方式，凭借质检人员的个人经验进行判断，该方法效率较低，漏检率比较高，人眼在工作一段时间之后容易疲劳，无法实现缺陷的快速准确检出和分类。

发明内容

本发明的目的在于提供一种基于工业面阵摄像头视觉缺陷检测系统及其检测方法，通过AI人工智能学习，它将不断的从标注的样本中提取到芯片托盘缺陷特征，对芯片托盘缺陷类型进行自动视觉判别，与自动化光学成像装置结合，实现对芯片托盘缺陷的准确检出和缺陷分类。

为实现上述目的，本发明提供如下技术方案：提出一种基于工业面阵摄像头视觉缺陷检测系统，包括现场图像采集装置、边缘计算服务器以及缺陷检测软件，所述现场图像采集装置上设有芯片承载托盘，通过工业面阵摄像头采集芯片图像由所述边缘计算服务器进行处理，在所述边缘计算服务器内通过内置芯片托盘AI算法建立AI模型并对标注好的样本图进行训练，再由所述缺陷检测软件对托盘芯片进行检测，待检的芯片托盘从传送带上通过工业面阵相机下方，AI缺陷检测软件根据预置的芯片托盘缺陷检测算法模型，自动对其进行缺陷检出和缺陷分类。

进一步的，前述的基于工业面阵摄像头视觉缺陷检测系统，所述现场图像采集装置包括待测产品上料平台、背光源、条形光源、工业面阵摄像头以及检测行走运动机构，所述背光源设在所述待测产品上料平台的下方，所述条形光源设在待测产品上料平台上方的两侧，并在所述待测产品上料平台上设有移动芯片托盘的机械装置；所述工业面阵摄像头通过安装支架固定在所述检测行走运动机构，在所述待测产品上料平台两侧布设行走轨道，由所述检测行走运动机构带动工业面阵摄像头在所述待测产品上料平台上对芯片进行检测。

前述的基于工业面阵摄像头视觉缺陷检测系统，所述工业面阵摄像头由至少四台并排设置的摄像头通过相机支架进行固定安装。

本发明公开一种基于工业面阵摄像头视觉缺陷检测方法，包括以下步骤：

步骤1：通过多部高清工业面阵相机采集样本图片，生成高精度图片；

步骤2：对于采集到的高精度图片进行算法处理，合成完整的产品表面样本图片；

步骤3：对合成的产品样本图进行标注；

步骤4：建立AI模型并对标注好的样本图进行训练；

步骤5：对训练好的AI模型进行测试，缺陷的识别率到达预期后进行模型封装，如果没有达到，则返回步骤2重新进行样本训练；

步骤6：待检的芯片托盘从传送带上通过工业面阵相机下方，AI缺陷检测软件根据预置的芯片托盘缺陷检测算法模型，自动对其进行缺陷检出和缺陷分类。

前述的基于工业面阵摄像头视觉缺陷检测方法，所述步骤1中生成高精度图片处理的步骤顺序如下：（1）使用四部工业相机对于芯片托盘的宽度进行覆盖，生成四张2448×2048的高精度图片，覆盖视野宽度为50*150；（2）通过自动化装置，控制机械装置移动芯片托盘40mm，再次采集当前采样区域高清图片；（3）重复步骤2，直到完成所有芯片托盘检测区域的表面区域图像采集。

基于工业面阵摄像头视觉缺陷检测方法，所述步骤2中算法处理的步骤顺序如下：（1）通过OpenCV的图像拼接算法，对于采样步骤1的四张2448×2048像素的高精度图片进行合成，生成50mm×130mm区域的成像；（2）机械装置移动芯片托盘40mm，完成新的图片采样之后，通过OpenCV的图像拼接算法，对于新采样区域的四张2448×2048像素的高精度图片进行合成，生成50mm×130mm区域的成像，同时利用OpenCV图像拼接算法，和步骤1的50mm×130mm区域的成像进行图像合成；（3）重复步骤2，直到完成所有芯片托盘表面的图像还原。

前述的基于工业面阵摄像头视觉缺陷检测方法，所述步骤3标注处理过程：（1）对于芯片托盘缺陷位置进行标注，获得每缺陷对应的图像信息；（2）编写格式转换算法，将缺陷信息转换为张量格式，张量前系数表示对应的缺陷种类，对应卷积神经网络输入端所需格式；（3）将缺陷图像标签和张量名称进行归一化处理，通过排序算法，使之按相同标签名顺序排列。

前述的基于工业面阵摄像头视觉缺陷检测方法，所述步骤4的AI模型算法的产生依赖于神经网络进行，包含自适应锚框计算方法，图像复制和切片，对图像卷积层数，模型深度进行选择，修枝操作；具体算法模型训练过程如下:（1）采用自适应锚框计算方法，在初始锚框的基础上输出预测框，从而和真实框比对，计算二者差值，再反向更新、迭代，对网络权重参数进行调整；每次训练时，以自适应方式输出训练集中的最优锚框值；（2）输入经过预处理的规格为3×640×640的图像，并复制四份，然后采用切片操作将复制的图像裁剪为4个3×320×320的切片；（3）使用concat函数在图像深度上方向上连接四个切片，获得规格为12×320×320的输出图像；（4）通过卷积核数为32的卷积层，生成规格为32×320×320的图像，再通过batch_borm函数和leaky_relu函数将结果输入到下一个卷积层；（5）主干网络上采用Resnet残差网络结构，经卷积核数为32的卷积层卷积后，通过残差结构和初始输入相加，并通过depth_multiple函数控制模型的深度；（6）将原输入分成两个分支，分别进行卷积操作使通道数减半，然后输入分支一进行瓶颈网络倍增操作，随后利用concat函数将输出分为输出分支一和输出分支二，从而使跨阶段局部网络的输入和输出特征大小相同；（7）对高层特征图进行反卷积和反池化上的采样过程，特征融合采用直接相加的方法，使用自适应特征池化恢复每个候选区域和所有特征层次之间被破坏的信息路径，融合每个特征层次上的每个候选区域，避免被任意分配；（8）在spp层输入特征图像，经过1×1的卷积层后输出，然后经过并列的三个Maxpool进行下采样，将结果与其初始特征相加，输出结果。

优选的，前述的基于工业面阵摄像头视觉缺陷检测方法，所述步骤5的算法处理过程：（1）输入预处理完成的芯片托盘图像，进行迭代训练；（2）每次迭代过程中，计算损失函数值，召回率值和平均进度Map值，绘制折线统计图表；（3）获得最佳权重参数文件，每次迭代后进行最佳参数的迭代保存，获得最佳参数集文件，用于芯片托盘缺陷AI检测。

整套设备在运行过程中是具有很强的扩展性和自优化能力的，在不断运行的过程中，算法的识别准确性将可以不断提高，即便由于某缺陷类型芯片托盘的某个特例出现偶然的无法识别或识别错误，将该芯片托盘特征加入训练样本后同样能保证在下次遇到这样特殊情况时能准确识别。而由于在算法得到前就进行了足够的样本训练，这样的情况出现概率本身就很低，系统在初始阶段可以稳定运行。

区别于现有技术的情况，本发明的有益效果是：通过自动化光学成像系统与人工智能系统的融合，该系统省去了人工检测并缺陷分类芯片托盘的过程，提高了生产效率及缺陷分类的准确性，同时生成的图像数据也可为后续的质量追述提供保障。该方法实现成本低，且具有很强的柔性和可扩展性，整套系统的准确性可在运行过程中不断提高。对于与芯片托盘加工相关的企业，该方法可为其提供一套基于特征的视觉识别的判别标准。企业可根据自己的实际情况在该系统上实现自生长，在降低人力成本的同时提高产线带来的经济价值。

附图说明

图1为本发明的数据采集和处理流程图；

图2为本发明自动视觉识别AI模型算法生成的流程图；

图3为本发明的整套设备内部连接图；

图4为本发明的光学成像结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。

本实施例公开一种基于工业面阵摄像头视觉缺陷检测系统，包括现场图像采集装置、边缘计算服务器以及缺陷检测软件，现场图像采集装置上设有芯片承载托盘，通过工业面阵摄像头采集芯片图像由边缘计算服务器进行处理，在边缘计算服务器内通过内置芯片托盘AI算法建立AI模型并对标注好的样本图进行训练，再由缺陷检测软件对托盘芯片进行检测，待检的芯片托盘从传送带上通过工业面阵相机下方，AI缺陷检测软件根据预置的芯片托盘缺陷检测算法模型，自动对其进行缺陷检出和缺陷分类。

本实施例的现场图像采集装置包括待测产品上料平台、背光源、条形光源、工业面阵摄像头以及检测行走运动机构，背光源设在待测产品上料平台的下方，条形光源设在待测产品上料平台上方的两侧，并在待测产品上料平台上设有移动芯片托盘的机械装置；工业面阵摄像头通过安装支架固定在检测行走运动机构，在待测产品上料平台两侧布设行走轨道，由检测行走运动机构带动工业面阵摄像头在待测产品上料平台上对芯片进行检测；工业面阵摄像头由四台并排设置的摄像头通过相机支架进行固定安装。

本实施例的基于工业面阵摄像头视觉缺陷检测方法，如图1和图2所示，包括如下步骤：

步骤1：通过多部高清工业面阵相机采集样本图片：

主要处理过程：本方案中的工业高清面阵相机对于芯片托盘表面的高精度成像和图像预处理方法，每部工业面阵相机生成分辨率为2448×2048的高精度图片，每部相机覆盖的视野宽度为50mm×42mm。处理的步骤顺序如下：（1）使用四部工业相机对于芯片托盘的宽度进行覆盖，生成四张2448×2048的高精度图片，覆盖视野宽度为50*150；（2）通过自动化装置，控制机械装置移动芯片托盘40mm，再次采集当前采样区域高清图片；（3）重复步骤2，直到完成所有芯片托盘检测区域的表面区域图像采集。

步骤2：对于采集到的高精度图片进行图像处理，合成完整的产品表面样本图片；对于缺陷样本进行识别和图像增强处理：

主要图像处理过程：工业高清面阵相机对于芯片托盘表面的高精度成像和图像预处理方法，对于多部工业相机采集的高清样品图片，利用OpenCV的图像拼接算法，进行检测区域的图像合成，还原局部产品表面图像成为完整的产品表面样本图片，从而实现了上亿像素精度的样本图像采集。处理的步骤顺序如下：（1）通过OpenCV的图像拼接算法，对于采样步骤1的四张2448×2048像素的高精度图片进行合成，生成50mm×130mm区域的成像；（2）机械装置移动芯片托盘40mm，完成新的图片采样之后，通过OpenCV的图像拼接算法，对于新采样区域的四张2448×2048像素的高精度图片进行合成，生成50mm×130mm区域的成像，同时利用OpenCV图像拼接算法，和步骤1的50mm×130mm区域的成像进行图像合成；（3）重复步骤2，直到完成所有芯片托盘表面的图像还原。

图像还原之后，利用人工对于芯片托盘表面缺陷进行检测，对于所生成的芯片托盘表面缺陷在图像上进行标定。对于缺陷图像数据进行图像增强处理，主要步骤如下：（1）利用图像裁剪函数，将输入的图像调整为640×640像素的正方形图像；（2）编写图像随机翻转算法，将图像水平方向和竖直方向翻转概率设为0.5，进行图像翻转并保存；（3）编写随机旋转算法，设定步长为5°-15°，各个旋转方向的旋转概率设置为0.5，以保证图像变换的随机性，进行图像旋转并保存；（4）获得共计4倍于原输入缺陷图像数据的互不相同的，像素为640×640的正方形芯片托盘缺陷图像。

步骤3：对合成的产品样本图进行标注:

主要标注处理过程：（1）对于芯片托盘缺陷位置进行标注，获得每缺陷对应的图像信息；（2）编写格式转换算法，将缺陷信息转换为张量格式，张量前系数表示对应的缺陷种类，对应卷积神经网络输入端所需格式；（3）将缺陷图像标签和张量名称进行归一化处理，通过排序算法，使之按相同标签名顺序排列。

步骤4：建立AI模型并对标注好的样本图进行训练:

主要样本训练过程：芯片托盘缺陷识别和分类人工智能算法，其缺陷样本特征在于的训练，验证和测试图像的随机分配包括如下的步骤：（1）编写随机取样算法，通过RandomSample函数按序列顺序排序的图像以及对应的标签进行遍历，5-8：2-4：1的取样比例以随机步长取样；（2）确定文件路径，将缺陷信息以张量形式保存在相应数据集中。

算法模型的产生主要依赖于神经网络进行，包含自适应锚框计算方法，图像复制和切片，对图像卷积层数，模型深度进行选择，修枝等操作，具体算法模型训练过程如下:（1）采用自适应锚框计算方法，在初始锚框的基础上输出预测框，从而和真实框比对，计算二者差值，再反向更新、迭代，对网络权重参数进行调整；每次训练时，以自适应方式输出训练集中的最优锚框值；（2）输入经过预处理的规格为3×640×640的图像，并复制四份，然后采用切片操作将复制的图像裁剪为4个3×320×320的切片；（3）使用concat函数在图像深度上方向上连接四个切片，获得规格为12×320×320的输出图像；（4）通过卷积核数为32的卷积层，生成规格为32×320×320的图像，再通过batch_borm函数和leaky_relu函数将结果输入到下一个卷积层；（5）主干网络上采用Resnet残差网络结构，经卷积核数为32的卷积层卷积后，通过残差结构和初始输入相加，并通过depth_multiple函数控制模型的深度；（6）将原输入分成两个分支，分别进行卷积操作使通道数减半，然后输入分支一进行瓶颈网络倍增操作，随后利用concat函数将输出分为输出分支一和输出分支二，从而使跨阶段局部网络的输入和输出特征大小相同；（7）对高层特征图进行反卷积和反池化上的采样过程，特征融合采用直接相加的方法，使用自适应特征池化恢复每个候选区域和所有特征层次之间被破坏的信息路径，融合每个特征层次上的每个候选区域，避免被任意分配；（8）在spp层输入特征图像，经过1×1的卷积层后输出，然后经过并列的三个Maxpool进行下采样，将结果与其初始特征相加，输出结果。

主要算法优化处理过程：（1）输入预处理完成的芯片托盘图像，进行迭代训练；（2）每次迭代过程中，计算损失函数值，召回率值和平均进度Map值，绘制折线统计图表；（3）获得最佳权重参数文件，每次迭代后进行最佳参数的迭代保存，获得最佳参数集文件，用于芯片托盘缺陷AI检测。

主要算法推理过程：通过使用步骤5的深度学习算法，实现对于芯片托盘表面缺陷的自动检出和分类，主要过程为输入步骤1采集和步骤2合成的芯片托盘样本图片，获得包含缺陷种类的位置信息的缺陷识别结果。

AI模型得到之后，根据本发明的光学成像装置，如图3和图4所示，结合机械结构和AI边缘计算服务器可以得到一整套芯片托盘自动化视觉识别机器设备。需检测的芯片托盘放在摆盘给料机构，芯片托盘通过传送带通过视觉镜头下方，AI算法自动得到该芯片托盘缺陷类型，如果该芯片托盘是有缺陷，可以在设备上内置的AI缺陷检测软件上显示该产品为不良品（NG品），并在样本图上标识出缺陷产生的位置和缺陷种类信息；如果该芯片托盘是没有缺陷的，则在AI缺陷检测软件上展示该产品为良品（OK品）。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims

1.一种基于工业面阵摄像头视觉缺陷检测系统，包括现场图像采集装置、边缘计算服务器以及缺陷检测软件，其特征在于：所述现场图像采集装置上设有芯片承载托盘，通过工业面阵摄像头采集芯片图像由所述边缘计算服务器进行处理，在所述边缘计算服务器内通过内置芯片托盘AI算法建立AI模型并对标注好的样本图进行训练，再由所述缺陷检测软件对托盘芯片进行检测，待检的芯片托盘从传送带上通过工业面阵相机下方，AI缺陷检测软件根据预置的芯片托盘缺陷检测算法模型，自动对其进行缺陷检出和缺陷分类。

2.根据权利要求1所述的基于工业面阵摄像头视觉缺陷检测系统，其特征在于：所述现场图像采集装置包括待测产品上料平台、背光源、条形光源、工业面阵摄像头以及检测行走运动机构，所述背光源设在所述待测产品上料平台的下方，所述条形光源设在待测产品上料平台上方的两侧，并在所述待测产品上料平台上设有移动芯片托盘的机械装置；所述工业面阵摄像头通过安装支架固定在所述检测行走运动机构，在所述待测产品上料平台两侧布设行走轨道，由所述检测行走运动机构带动工业面阵摄像头在所述待测产品上料平台上对芯片进行检测。

3.根据权利要求2所述的基于工业面阵摄像头视觉缺陷检测系统，其特征在于：所述工业面阵摄像头由至少四台并排设置的摄像头通过相机支架进行固定安装。

4.一种基于工业面阵摄像头视觉缺陷检测方法，其特征在于包括以下步骤：

步骤3：对合成的产品样本图进行标注；

步骤4：建立AI模型并对标注好的样本图进行训练；

5.根据权利要求4所述的基于工业面阵摄像头视觉缺陷检测方法，其特征在于：所述步骤1中生成高精度图片处理的步骤顺序如下：（1）使用四部工业相机对于芯片托盘的宽度进行覆盖，生成四张2448×2048的高精度图片，覆盖视野宽度为50*150；（2）通过自动化装置，控制机械装置移动芯片托盘40mm，再次采集当前采样区域高清图片；（3）重复步骤2，直到完成所有芯片托盘检测区域的表面区域图像采集。

6.根据权利要求4所述的基于工业面阵摄像头视觉缺陷检测方法，其特征在于：所述步骤2中算法处理的步骤顺序如下：（1）通过OpenCV的图像拼接算法，对于采样步骤1的四张2448×2048像素的高精度图片进行合成，生成50mm×130mm区域的成像；（2）机械装置移动芯片托盘40mm，完成新的图片采样之后，通过OpenCV的图像拼接算法，对于新采样区域的四张2448×2048像素的高精度图片进行合成，生成50mm×130mm区域的成像，同时利用OpenCV图像拼接算法，和步骤1的50mm×130mm区域的成像进行图像合成；（3）重复步骤2，直到完成所有芯片托盘表面的图像还原。

7.根据权利要求4所述的基于工业面阵摄像头视觉缺陷检测方法，其特征在于：所述步骤3标注处理过程：（1）对于芯片托盘缺陷位置进行标注，获得每缺陷对应的图像信息；（2）编写格式转换算法，将缺陷信息转换为张量格式，张量前系数表示对应的缺陷种类，对应卷积神经网络输入端所需格式；（3）将缺陷图像标签和张量名称进行归一化处理，通过排序算法，使之按相同标签名顺序排列。

8.根据权利要求4所述的基于工业面阵摄像头视觉缺陷检测方法，其特征在于：所述步骤4的AI模型算法的产生依赖于神经网络进行，包含自适应锚框计算方法，图像复制和切片，对图像卷积层数，模型深度进行选择，修枝操作；具体算法模型训练过程如下:（1）采用自适应锚框计算方法，在初始锚框的基础上输出预测框，从而和真实框比对，计算二者差值，再反向更新、迭代，对网络权重参数进行调整；每次训练时，以自适应方式输出训练集中的最优锚框值；（2）输入经过预处理的规格为3×640×640的图像，并复制四份，然后采用切片操作将复制的图像裁剪为4个3×320×320的切片；（3）使用concat函数在图像深度上方向上连接四个切片，获得规格为12×320×320的输出图像；（4）通过卷积核数为32的卷积层，生成规格为32×320×320的图像，再通过batch_borm函数和leaky_relu函数将结果输入到下一个卷积层；（5）主干网络上采用Resnet残差网络结构，经卷积核数为32的卷积层卷积后，通过残差结构和初始输入相加，并通过depth_multiple函数控制模型的深度；（6）将原输入分成两个分支，分别进行卷积操作使通道数减半，然后输入分支一进行瓶颈网络倍增操作，随后利用concat函数将输出分为输出分支一和输出分支二，从而使跨阶段局部网络的输入和输出特征大小相同；（7）对高层特征图进行反卷积和反池化上的采样过程，特征融合采用直接相加的方法，使用自适应特征池化恢复每个候选区域和所有特征层次之间被破坏的信息路径，融合每个特征层次上的每个候选区域，避免被任意分配；（8）在spp层输入特征图像，经过1×1的卷积层后输出，然后经过并列的三个Maxpool进行下采样，将结果与其初始特征相加，输出结果。

9.根据权利要求4所述的基于工业面阵摄像头视觉缺陷检测方法，其特征在于：所述步骤5的算法处理过程：（1）输入预处理完成的芯片托盘图像，进行迭代训练；（2）每次迭代过程中，计算损失函数值，召回率值和平均进度Map值，绘制折线统计图表；（3）获得最佳权重参数文件，每次迭代后进行最佳参数的迭代保存，获得最佳参数集文件，用于芯片托盘缺陷AI检测。