CN109738455A - 一种基于深度学习的封装带检测系统及交互控制方法 - Google Patents

Abstract

本发明实施例公开了一种基于深度学习的封装带检测系统，所述基于人工智能深度学习的封装带检测系统包括基于后台主程序运行的图像采集模块、图像预处理模块、人工智能图像识别算法模块和人机交互模块，所述图像采集模块采集封装带正面、反面以及侧面的图像，所述图像预处理模块对图像采集模块采集的图像进行预处理，所述人工智能图像识别算法模块通过深度学习对经过图像预处理模块处理的图片进行智能识别，对存在封装缺陷的封装带进行报警，所述人机交互模块对人工智能图像识别算法模块的结果进行输出，显示封装缺陷产品标注图像、缺陷类型以及报警提示信息。本发明解决了解决现有贴片电子元件封装带检测效率低、出错率高的问题。

Description

一种基于深度学习的封装带检测系统及交互控制方法

技术领域

本发明实施例涉及元件检测技术领域，具体涉及一种基于深度学习的封装带检测系统及交互控制方法。

背景技术

贴片电子元件在电器行业内具有广泛的应用，其组装密度高、电子产品体积小、重量轻，贴片元件的体积和重量只有传统插装元件的1/10左右，一般采用贴片电子元件之后，电子产品体积缩小40％～60％，重量减轻60％～80％，并且可靠性高、抗振能力强，易于实现自动化，提高生产效率。

在贴片电子元件的生产过程中，由于贴片电子元器件由于体积小，数量多，针脚细小易损，即便厂家在生产过程运用了诸如机器视觉检测等各种自动化检测手段，均难以避免在产品检测完后的封装过程中，出现意外的翻转、漏装等情况，所以为降低缺陷出厂率，厂家一般会在终端检测再额外安排一道人工视检环节，即由工人手动展开料带逐颗查看有无翻转、漏装等情况。人工检测效率低、出错率高，不能应对多种类型的故障缺陷。

发明内容

为此，本发明实施例提供一种基于深度学习的封装带检测系统及交互控制方法，以解决现有贴片电子元件封装带检测效率低、出错率高的问题。

为了实现上述目的，本发明实施例提供如下技术方案：

根据本发明实施例的第一方面，公开了一种基于深度学习的封装带检测系统，所述基于人工智能深度学习的封装带检测系统包括基于后台主程序运行的图像采集模块、图像预处理模块、人工智能图像识别算法模块和人机交互模块，所述图像采集模块采集封装带正面、反面以及侧面的图像，所述图像预处理模块对图像采集模块采集的图像进行预处理，所述人工智能图像识别算法模块通过深度学习对经过图像预处理模块处理的图片进行智能识别，对存在封装缺陷的封装带进行报警，所述人机交互模块对人工智能图像识别算法模块的结果进行输出，显示封装缺陷产品标注图像、缺陷类型以及报警提示信息。

进一步地，所述图像采集模块为多个工业相机，多个工业相机采集封装带内部贴片电子元件正面、反面以及侧面的图像，后台主程序控制工业相机状态检测、拍照触发和图像读取。

进一步地，所述图像预处理模块对工业相机采集的多角度图像进行图像尺寸调整，图像切割，图像灰度、曝光度、聚焦参数的调整以及图像数组张量化处理。

进一步地，所述人工智能图像识别算法模块包括：数据接收单元、深度学习推理单元和推理结果输出单元，人工智能图像识别算法模块通过大量故障贴片电子元件图像进行深度学习训练，训练完成后能够识别预先定义的多种类型的故障图像，将现场采集的图像作为输入，自动识别故障类型并进行分类标注进行输出。

进一步地，所述数据接收单元接收图像预处理模块输出的图像数据，将图像数据打包处理后发送至深度学习推理单元。

进一步地，所述深度学习推理单元利用深度学习图像分类网络判定图像类别，利用深度学习目标检测算法在图像中寻找设定目标，能够识别预先定义的多种图像类型，包括贴片电子元件正面、反面针脚缺陷，贴片电子元件侧面异常鼓胀类别，正面相机拍摄的图像被识别为贴片电子元件反面即针脚面，则判定出现贴片电子元件反装，反面相机拍摄的图像被识别为贴片电子元件正面即字符标识面，则判定出现贴片电子元件反装。

进一步地，所述推理结果输出单元将深度学习推理单元对故障缺陷的判定结果进行分类标识，对故障目标区域进行标注，反馈至人机交互模块。

进一步地，所述人机交互模块实时显示被检测物体的图像，人工智能图像识别算法模块判定出现故障时，故障位置及故障类型在人机交互模块进行显示，并报警提醒操作员排除故障。

根据本发明实施例的第二方面，公开了一种基于深度学习的封装带检测系统的交互控制方法，所述交互控制方法为：

接通电源，后台主程序进行自检，检测与工业相机、PLC控制器和电机的通讯状态；

自检完成没有问题，操作员安装封装带料盘，封装带内封装贴片电子元件；

按下启动按钮，检测系统运行，封装带在电机的带动下移动，工业相机采集封装带的图像；

图像预处理模块对工业相机采集的图像进行处理；

人工智能图像识别算法模块识别图像中的故障状态，向PLC控制器发送急停控制信息；

PLC控制器控制电机停止转动，同时报警器发出警报，人机交互模块显示封装带故障缺陷位置及具体故障缺陷类型；

操作员进行排查，解决故障后，按下启动按钮继续进行封装带检测。

本发明实施例具有如下优点：

本发明实施例公开了一种基于深度学习的封装带检测系统及交互控制方法，通过人工智能图像识别算法模块进行深度学习训练，训练按成后能够识别多种类型的故障状态，通过工业相机采集封装带图像，人工智能图像识别模块对经过预处理的图像进行识别，识别到故障信息后，通过PLC控制器控制电机停止转动，同时对故障缺陷位置和故障缺陷类型进行标注，通过报警器发出警报，并在人机交互界面进行显示，提升了封装带的检测效率，能够识别更多类型的故障，降低出错率。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。

图1为本发明实施例2提供的一种基于深度学习的封装带检测系统的交互控制方法流程图；

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本实施例公开了一种基于深度学习的封装带检测系统，所述基于人工智能深度学习的封装带检测系统包括基于后台主程序运行的图像采集模块、图像预处理模块、人工智能图像识别算法模块和人机交互模块，所述图像采集模块为多个工业相机，多个工业相机采集封装带内部贴片电子元件正面、反面以及侧面的图像，后台主程序控制工业相机状态检测、拍照触发和图像读取，工业相机能够准确抓取封装带内贴片电子元件的特征，对图片的细节进行反映，便于对贴片电子元件的识别。

所述图像预处理模块对工业相机采集的多角度图像进行图像尺寸调整，图像切割，图像灰度、曝光度、聚焦参数的调整以及图像数组张量化处理，剔除不清晰、残缺的图片，使图片符合人工智能图像识别算法模块的识别需求，能够更清晰明确识别贴片电子元件的状态。

所述人工智能图像识别算法模块包括：数据接收单元、深度学习推理单元和推理结果输出单元，人工智能图像识别算法模块通过大量故障贴片电子元件图像进行深度学习训练，训练完成后能够识别预先定义的多种类型的故障图像，将现场采集的图像作为输入，自动识别故障类型并进行分类标注进行输出；所述数据接收单元接收图像预处理模块输出的图像数据，将图像数据打包处理后发送至深度学习推理单元；

所述深度学习推理单元利用深度学习图像分类网络判定图像类别，利用深度学习目标检测算法在图像中寻找设定目标，能够识别预先定义的多种图像类型，包括贴片电子元件正面、反面针脚缺陷，贴片电子元件侧面异常鼓胀类别；

正面相机拍摄的图像被识别为贴片电子元件反面即针脚面，则判定出现贴片电子元件反装，反面相机拍摄的图像被识别为贴片电子元件正面即字符标识面，则判定出现贴片电子元件反装，所述推理结果输出单元将深度学习推理单元对故障缺陷的判定结果进行分类标识，对故障目标区域进行标注，反馈至人机交互模块。

所述人机交互模块实时显示被检测物体的图像，人工智能图像识别算法模块判定出现故障时，故障位置及故障类型在人机交互模块进行显示，并报警提醒操作员及时进行处理，直至故障排除。

实施例2

参考图1，本实施例公开了一种基于深度学习的封装带检测系统的交互控制方法，所述交互控制方法为：

接通电源，后台主程序进行自检，检测与工业相机、PLC控制器和电机的通讯状态；

自检完成没有问题，操作员安装封装带料盘，封装带内封装贴片电子元件；

按下启动按钮，检测系统运行，封装带在电机的带动下移动，工业相机采集封装带的图像；

图像预处理模块对工业相机采集的图像进行处理；

人工智能图像识别算法模块识别图像中的故障状态，向PLC控制器发送急停控制信息；

PLC控制器控制电机停止转动，同时报警器发出警报，人机交互模块显示封装带故障缺陷位置及具体故障缺陷类型；

操作员进行排查，解决故障后，按下启动按钮继续进行封装带检测。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (9)

1.一种基于深度学习的封装带检测系统，其特征在于，所述基于人工智能深度学习的封装带检测系统包括基于后台主程序运行的图像采集模块、图像预处理模块、人工智能图像识别算法模块和人机交互模块，所述图像采集模块采集封装带正面、反面以及侧面的图像，所述图像预处理模块对图像采集模块采集的图像进行预处理，所述人工智能图像识别算法模块通过深度学习对经过图像预处理模块处理的图片进行智能识别，对存在封装缺陷的封装带进行报警，所述人机交互模块对人工智能图像识别算法模块的结果进行输出，显示封装缺陷产品标注图像、缺陷类型以及报警提示信息。

2.如权利要求1所述的一种基于深度学习的封装带检测系统，其特征在于，所述图像采集模块为多个工业相机，多个工业相机采集封装带内部贴片电子元件正面、反面以及侧面的图像，后台主程序控制工业相机状态检测、拍照触发和图像读取。

3.如权利要求1所述的一种基于深度学习的封装带检测系统，其特征在于，所述图像预处理模块对工业相机采集的多角度图像进行图像尺寸调整，图像切割，图像灰度、曝光度、聚焦参数的调整以及图像数组张量化处理。

4.如权利要求1所述的一种基于深度学习的封装带检测系统，其特征在于，所述人工智能图像识别算法模块包括：数据接收单元、深度学习推理单元和推理结果输出单元，人工智能图像识别算法模块通过大量故障贴片电子元件图像进行深度学习训练，训练完成后能够识别预先定义的多种类型的故障图像，将现场采集的图像作为输入，自动识别故障类型并进行分类标注进行输出。

5.如权利要求4所述的一种基于深度学习的封装带检测系统，其特征在于，所述数据接收单元接收图像预处理模块输出的图像数据，将图像数据打包处理后发送至深度学习推理单元。

6.如权利要求4所述的一种基于深度学习的封装带检测系统，其特征在于，所述深度学习推理单元利用深度学习图像分类网络判定图像类别，利用深度学习目标检测算法在图像中寻找设定目标，能够识别预先定义的多种图像类型，包括贴片电子元件正面、反面针脚缺陷，贴片电子元件侧面异常鼓胀类别，正面相机拍摄的图像被识别为贴片电子元件反面即针脚面，则判定出现贴片电子元件反装，反面相机拍摄的图像被识别为贴片电子元件正面即字符标识面，则判定出现贴片电子元件反装。

7.如权利要求4所述的一种基于深度学习的封装带检测系统，其特征在于，所述推理结果输出单元将深度学习推理单元对故障缺陷的判定结果进行分类标识，对故障目标区域进行标注，反馈至人机交互模块。

8.如权利要求4所述的一种基于深度学习的封装带检测系统，其特征在于，所述人机交互模块实时显示被检测物体的图像，人工智能图像识别算法模块判定出现故障时，故障位置及故障类型在人机交互模块进行显示，并报警提醒操作员排除故障。

9.一种基于深度学习的封装带检测系统的交互控制方法，其特征在于，所述交互控制方法为：

接通电源，后台主程序进行自检，检测与工业相机、PLC控制器和电机的通讯状态；

自检完成没有问题，操作员安装封装带料盘，封装带内封装贴片电子元件；

按下启动按钮，检测系统运行，封装带在电机的带动下移动，工业相机采集封装带的图像；

图像预处理模块对工业相机采集的图像进行处理；

人工智能图像识别算法模块识别图像中的故障状态，向PLC控制器发送急停控制信息；

PLC控制器控制电机停止转动，同时报警器发出警报，人机交互模块显示封装带故障缺陷位置及具体故障缺陷类型；

操作员进行排查，解决故障后，按下启动按钮继续进行封装带检测。