CN112691938B - 一种基于视觉与深度学习的芯片管壳检测装置 - Google Patents

Abstract

本申请提供了一种基于视觉与深度学习的芯片管壳缺陷检测装置。该装置包括：管壳上下料系统，用于将来料上料区的待检测芯片管壳移动至管壳检测区域，以及将缺陷检测完毕的芯片管壳移动至下料区；管壳缺陷视觉系统，基于CCD视觉检测技术对管壳检测区域的待检测芯片管壳进行图像采集并发送；管壳缺陷信息化控制系统，与管壳缺陷视觉系统通讯连接，接收管壳缺陷视觉系统发送的待检测芯片管壳的图像，并根据待检测芯片管壳的图像，对待检测芯片管壳的外观缺陷进行检测。通过该装置对待检测芯片管壳的外观缺陷进行检测，找到芯片管壳的缺陷位置，有效提高芯片管壳的检测效率以及准确率，实现芯片管壳缺陷检测的高速、高精度、自动化检测。

Description

一种基于视觉与深度学习的芯片管壳检测装置

技术领域

本申请涉及检测技术领域，特别涉及一种基于视觉与深度学习的芯片管壳检测装置。

背景技术

高档半导体芯片对品质和成品率的控制要求越来越高，如IC卡内的半导体芯片做得越来越薄，厚度为150～200μm，而对于厚度要求在250μm以下以及尺寸小于1.0㎜的芯片，在前、后工序生产中，都会增加芯片表面的缺陷概率。集成电路芯片在进行完封装工序后，需要对其进行严格的检测以确保产品的质量，芯片的外观检测是其中必不可少的重要环节，它将对IC产品的质量以及后续的生产环节顺利进行产生直接的影响。

随着半导体芯片需求量不断增加、芯片产品的不断提高，传统的人工检测方法因受人眼在时间、空间上的分辨率，以及主观因素的限制，已经很难满足半导体芯片高速、高精度的检测需求。

因此，需要提供一种针对上述现有技术不足的改进技术方案。

发明内容

本申请的目的在于提供一种基于视觉与深度学习的芯片管壳检测装置，以解决或缓解上述现有技术中存在的问题。

为了实现上述目的，本申请提供如下技术方案：

本申请提供了一种基于视觉与深度学习的芯片管壳缺陷检测装置，包括：管壳上下料系统，用于将来料上料区的待检测芯片管壳移动至管壳检测区域，以及将缺陷检测完毕的芯片管壳移动至下料区；管壳缺陷视觉系统，基于CCD视觉检测技术对所述管壳检测区域的待检测芯片管壳进行图像采集并发送；管壳缺陷信息化控制系统，与所述管壳缺陷视觉系统通讯连接，接收所述管壳缺陷视觉系统发送的所述待检测芯片管壳的图像，并根据所述待检测芯片管壳的图像，对所述待检测芯片管壳的外观缺陷进行检测。

可选地，在本申请的任一实施例中，所述管壳上下料系统包括：拆盘机构，用于将所述来料上料区中堆叠的料盘逐个拆分，其中，所述料盘中放置有所述待检测芯片管壳；传送带，将所述拆盘机构拆分出的料盘输送至预定位置；定位机构，对所述预定位置处所述料盘中的待检测芯片管壳进行定位；六轴机械臂，根据所述定位机构对所述待检测芯片管壳的定位，吸取所述料盘中的待检测芯片管壳，以将所述待检测芯片管壳移动至所述管壳检测区域；堆盘机构，将所述六轴机械臂吸取所述待检测芯片管壳后余下的、由所述传送带输送的空料盘进行堆叠。

可选地，在本申请的任一实施例中，所述下料区包括：不合格品下料区，对应的，所述管壳缺陷视觉系统包括：CCD检测设备，与所述管壳缺陷信息化控制系统通讯连接，对所述管壳检测区域的待检测芯片管壳进行图像采集并发送至所述管壳缺陷信息化控制系统；不合格品收料设备，与所述管壳缺陷信息化控制系统通讯连接，响应于所述管壳缺陷信息化控制系统根据所述CCD检测设备发送的所述待检测芯片管壳的图像，检测到所述待检测芯片管壳存在缺陷，所述不合格品收料设备将所述管壳检测区域对应的所述待检测芯片管壳移动至所述不合格品下料区。

可选地，在本申请的任一实施例中，所述CCD检测设备基于所述管壳检测区域上待检测芯片管壳的姿态变化，对所述待检测芯片管壳在不同姿态下进行图像采集。

可选地，在本申请的任一实施例中，所述管壳缺陷视觉系统还包括：吸嘴快换站，所述吸嘴快换站放置有多个不同的吸嘴，以适应不同尺寸的待检测芯片管壳，其中，所述吸嘴能够安装于所述六轴机械臂的执行末端，以使所述六轴机械臂通过所述吸嘴吸取所述待检测芯片管壳。

可选地，在本申请的任一实施例中，所述管壳缺陷信息化控制系统包括：识别模块，与所述管壳缺陷视觉系统通讯连接，接收所述管壳缺陷视觉系统发送的所述待检测芯片管壳的图像，并根据所述待检测芯片管壳的图像，对所述待检测芯片管壳的图像中的缺陷特征进行识别；判断模块，与所述识别模块通讯连接，根据所述识别模块对所述待检测芯片管壳的图像中的缺陷特征的识别结果，确定所述待检测芯片管壳是否存在外观缺陷。

可选地，在本申请的任一实施例中，所述识别模块基于预先构建的识别模型，根据所述待检测芯片管壳的图像，对所述待检测芯片管壳的图像中的缺陷特征进行识别。

可选地，在本申请的任一实施例中，所述管壳缺陷信息化控制系统还包括：模型构建模块，基于深度学习技术，根据预先采集的样本图像，构建所述识别模型，其中，所述样本图像为所述管壳缺陷视觉系统采集的芯片管壳样本的图像。

可选地，在本申请的任一实施例中，合格品下料区；对应的，所述基于视觉与深度学习的芯片管壳缺陷检测装置还包括：复检模块，对所述管壳上下料系统移动至所述合格品下料区的芯片管壳进行抽检。

可选地，在本申请的任一实施例中，所述基于视觉与深度学习的芯片管壳缺陷检测装置还包括：机架，所述机架的上部固定安装所述管壳上下料系统、所述管壳缺陷视觉系统，所述机架的下部安装所述管壳缺陷信息化控制系统。

与最接近的现有技术相比，本申请实施例的技术方案具有如下有益效果：

本申请实施例提供的基于视觉与深度学习的芯片管壳检测装置，通过管壳上下料系统将来料上料区的待检测芯片管壳移动至管壳检测区域，由管壳缺陷视觉系统，基于CCD视觉检测技术对管壳检测区域的待检测芯片管壳进行图像采集，并将采集到的图像发送给管壳缺陷信息化控制系统；管壳缺陷信息化控制系统根据接收到的待检测芯片管壳的图像，对待检测芯片管壳的外观缺陷进行检测，找到芯片管壳的缺陷位置，有效提高芯片管壳的检测效率以及准确率，实现芯片管壳缺陷检测的高速、高精度、自动化检测。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。其中：

图1为根据本申请的一些实施例提供的一种基于视觉与深度学习的芯片管壳缺陷检测装置的逻辑原理图；

图2为根据本申请的一些实施例提供的基于视觉与深度学习的芯片管壳缺陷检测装置的结构示意图；

图3为根据本申请的一些实施例提供的自动上下料设备的结构示意图；

图4为根据本申请的一些实施例提供的六轴机械臂的结构示意图。

附图标记说明：

100-管壳上下料系统；200-管壳缺陷视觉系统；300-管壳缺陷信息化控制系统；400-机架；500-复检模块；501-检验台；502-预留区；

101-拆盘机构；102-传送带；102A-第一传送带；102B-第二传送带；103-六轴机械臂；103A-第一六轴机械臂；103B-第二六轴机械臂；104-堆盘机构；

113-底座；123-旋转座；133-大臂；143-小臂；153-执行末端；

901-来料上料区；902-空料盘堆叠区；903-不合格品下料区；904-合格品上料区；905-合格品下料区；906-第一中转站；907-第二中转站；909A-第一管壳检测区域；909B-第二管壳检测区域。

具体实施方式

下面将参考附图并结合实施例来详细说明本申请。各个示例通过本申请的解释的方式提供而非限制本申请。实际上，本领域的技术人员将清楚，在不脱离本申请的范围或精神的情况下，可在本申请中进行修改和变型。例如，示为或描述为一个实施例的一部分的特征可用于另一个实施例，以产生又一个实施例。因此，所期望的是，本申请包含归入所附权利要求及其等同物的范围内的此类修改和变型。

在本申请的描述中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请而不是要求本申请必须以特定的方位构造和操作，因此不能理解为对本申请的限制。本申请中使用的术语“相连”、“连接”、“设置”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接；可以是直接相连，也可以通过中间部件间接相连；可以是有线电连接、无线电连接，也可以是无线通信信号连接，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

图1为根据本申请的一些实施例提供的一种基于视觉与深度学习的芯片管壳缺陷检测装置的逻辑原理图；图2为根据本申请的一些实施例提供的基于视觉与深度学习的芯片管壳缺陷检测装置的结构示意图；如图1、图2所示，该基于视觉与深度学习的芯片管壳缺陷检测装置包括：管壳上下料系统100，用于将来料上料区901的待检测芯片管壳移动至管壳检测区域，以及将缺陷检测完毕的芯片管壳移动至下料区；管壳缺陷视觉系统200，基于CCD视觉检测技术对所述管壳检测区域的待检测芯片管壳进行图像采集并发送；管壳缺陷信息化控制系统300，与所述管壳缺陷视觉系统200通讯连接，接收所述管壳缺陷视觉系统200发送的所述待检测芯片管壳的图像，并根据所述待检测芯片管壳的图像，对所述待检测芯片管壳的外观缺陷进行检测。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，由人工将待检测芯片管壳放在来料上料区901，而后由管壳上下料系统100中的输送带与机械臂协同配合，将待检测芯片管壳移动至管壳检测区域。再由布置有深度视觉相机(比如：CCD检测相机)的管壳缺陷视觉系统200对管壳检测区域的待检测芯片管壳进行拍照，并将拍摄的照片发送给管壳缺陷信息控制系统，进行待检测芯片管壳的外观缺陷的识别检测。管壳缺陷信息控制系统检测完毕后，如果管壳检测区域的待检测芯片管壳存在缺陷，则由管壳上下料系统100将管壳检测区域的待检测芯片管壳移动至不合格品下料区903；如果管壳检测区域的待检测芯片管壳不存在缺陷，则由管壳上下料系统100将管壳检测区域的待检测芯片管壳移动至合格品下料区905。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，通过管壳上下料系统100将来料上料区901的待检测芯片管壳移动至管壳检测区域，由管壳缺陷视觉系统200，基于CCD视觉检测技术对管壳检测区域的待检测芯片管壳进行图像采集，并将采集到的图像发送给管壳缺陷信息化控制系统300；管壳缺陷信息化控制系统300根据接收到的待检测芯片管壳的图像，对待检测芯片管壳的外观缺陷进行检测，找到芯片管壳的缺陷位置，有效提高芯片管壳的检测效率以及准确率，实现芯片管壳缺陷检测的高速、高精度、自动化检测。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在一些可选实施例中，所述管壳上下料系统100包括：拆盘机构101，用于将所述来料上料区901中堆叠的料盘逐个拆分，其中，所述料盘中放置有所述待检测芯片管壳；传送带102，将所述拆盘机构101拆分出的料盘输送至预定位置；定位机构，对所述预定位置处所述料盘中的待检测芯片管壳进行定位；六轴机械臂103，根据所述定位机构对所述待检测芯片管壳的定位，吸取所述料盘中待检测芯片管壳，以将所述待检测芯片管壳移动至所述管壳检测区域；堆盘机构104，将所述六轴机械臂103吸取所述待检测芯片管壳后余下的，由所述传送带102输送的空料盘进行堆叠。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，拆盘机构101和堆盘机构104分别位于传送带102的两端，且在传送带102的上方堆叠放置有待检测芯片管壳的料盘，以及在传送带102的上方堆叠空料盘。传送带102的转动，使拆盘机构101拆下的放置有待检测芯片管壳的料盘从堆盘机构104的方向运动，六轴机械臂103设置于传送带102的侧面中间位置，位于放置有待检测芯片管壳的料盘的移动路线上。当传送带102将放置有待检测芯片管壳的料盘输送至预定位置后，通过定位机构对放置在料盘中的待检测芯片管壳进行定位，并将定位信息发送给六轴机械臂103，由六轴机械臂103根据定位信息规划运动路线，将料盘中的待检测芯片管壳移动至管壳检测区域。具体的，六轴机械臂103通过其上安装的吸嘴，吸取存待检测芯片管壳，实现待检测芯片管壳的移动。六轴机械臂103通过吸嘴吸取料盘中的待检测芯片管壳后，空料盘随着传送带102运动至堆盘机构104处，由堆盘机构104将空料盘进行堆叠。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，在来料上料区901处，装有待检测芯片管壳的料盘堆叠存放于拆盘机构101的料箱中，通过动力模组带动料箱上下运动；在料箱的侧面设置有光电传感器，用于对堆叠的装有待检测芯片管壳的料盘进行检测；当动力模组带动料箱上升到预定位置，光电传感器检测到堆叠的料盘中的最上层的料盘中装有待检测芯片管壳，则控制管壳上下料系统100中的料盘吸取模块(比如，安装于无杆气缸上的夹具)将最上层的装有待检测芯片管壳的料盘吸取至传送带102上，随传送带102的转动将装有待检测芯片管壳的料盘输送至预定位置。其中，在料盘吸取模块吸取装有待检测芯片管壳的料盘时，料盘吸取模块吸取到装有待检测芯片管壳的料盘的同时，动力模组带动料箱向下运动预定距离，以便料盘吸取模块可以更加便捷的吸取到装有待检测芯片管壳的料盘。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，拆盘机构101中，料箱的四周对应设有四个立柱，立柱上设有可伸缩移动的承托体，当动力模组带动料箱上升时，堆叠的料盘的最上层的料盘挤压承托体缩回，当最上层的料盘在动力模组的带动下越过承托体后，承托体自动伸出，此时动力模组带动料箱下降，最上层的料盘的底面将与承托体接触，在承托体的作用下与料箱中的其它料盘分离，便于料盘吸取模块吸取位于承托体上的料盘并放至输送带101上。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，当六轴机器臂103将预定位置的料盘上的待检测芯片管壳吸取完毕后，动力模组带动料箱上升，将堆叠的料盘中的最上层的料盘送至承托体处，由料盘吸取模块吸取至输送带101上，随输送带101的转动，新的装有待检测芯片管壳的料盘和预定位置的空料盘随输送带101转动而运动，新的装有待检测芯片管壳的料盘将被输送到预定位置，而空料盘将被输送到堆盘机构104处进行堆叠。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，在传送带102的端部设有堆盘机构104的收料板，空料盘随传送带102输送至端部后，落于收料板上，收料板的下方设有堆盘机构104的顶升部件(比如，由伺服电机驱动的丝杠螺母组件)，通过顶升部件的运动将收料板顶起，继而带动空料盘向上运动，直至空料盘运动至空料盘承托部，空料盘堆叠于其它空料盘的下方。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，堆盘机构104中的空料盘承托部可以设置在堆盘机构104的立柱上，比如，为可伸缩移动的承托体，顶升部件顶起收料板，带动空料盘向上运动，空料盘承托部的承托体受空料盘的挤压向内缩回，直至空料盘越过空料盘承托部的承托体，与已经堆叠的空料盘贴合(位于已堆叠的空料盘下方)，顶升部件继续向上运动，带动堆叠的空料盘向上运动，空料盘承托部的承托体自动伸出；顶升部件带动收料板向下运动，堆叠的空料盘随之向下运动，直至最下层的空料盘(新堆叠的空料盘)与空料盘承托部的承托体接触，由空料盘承托部的承托体进行支撑；顶升部件继续向下运动，直至收料板下降至原始位置，以接取下一个空料盘。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，空料盘承托部的承托体还可以采用棘轮机构，收料板上升时，收料板上的空料盘推动棘轮转动，将收料板上的空料盘堆叠至已堆叠的空料盘的底部；顶升机构下降，堆叠的空料盘将落于棘轮的棘齿上，由棘轮对堆叠的空料盘进行支撑。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，定位机构包括挡板和定位相机。通过传送带102转动，带动放置有待检测芯片管壳的料盘运动，通过在预定位置设置挡板，使放置有待检测芯片管壳的料盘在预定位置停止，然后通过定位相机对料盘中的待检测芯片管壳进行视觉定位，确定待检测芯片管壳在料盘中的实际位置，并将待检测芯片管壳在料盘中的实际位置的信息发送给六轴机械臂103，由六轴机械臂103将料盘中的待检测芯片管壳移动至管壳检测区域。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，通过定位相机对放置有待检测芯片管壳的料盘进行拍照，通过图像识别技术确定待检测芯片管壳在料盘中的实际位置。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，在一个料盘中通常放置多个待检测芯片管壳，料盘到达预定位置后，由六轴机械臂103逐一将多个待检测芯片管壳移动至管壳检测区域进行检测，当料盘中的待检测芯片管壳全部检测完毕后，空料盘随着传送带102运动至堆盘机构104处，由堆盘机构104将空料盘进行堆叠。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，管壳上下料系统100还可以包括：控制模块(比如：可编程逻辑控制器)，控制模块分别与拆盘机构101、传送带102、定位机构、六轴机械臂103、堆盘机构104通讯连接，控制模块向拆盘机构101发送指令，由拆盘机构101对来料上料区901中堆叠的料盘进行逐个拆分，并放置在传送带102上；控制模块控制传送带102的启动，将放置有待检测芯片管壳的料盘运送到预定位置后，控制传送带102停止；控制模块向定位机构发送指令，由定位机构对预定位置的料盘中的待检测芯片管壳进行定位，且定位机构将定位信息发送给控制模块；控制模块根据定位信息规划六轴机械臂103的运动路线，并将该路线发送给六轴机械臂103，由六轴机械臂103沿规划的路线将料盘中的待检测芯片管壳移动至管壳检测区域；控制模块控制传送带102启动，将空料盘输送到堆盘机构104处，并向堆盘机构104发出指令，由堆盘机构104将空料盘从传送带102上取下后进行堆叠。其中，在控制模块控制传送带102启动，将空料盘输送到堆盘机构104处时，控制模块同时向拆盘机构101发出指定，由拆盘机构101将拆分的料盘放在输送带上，由输送带运送至预定位置。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在一些可选实施例中，所述下料区包括：不合格品下料区903，对应的，所述管壳缺陷视觉系统200包括：CCD检测设备，与所述管壳缺陷信息化控制系统300通讯连接，对所述管壳检测区域的待检测芯片管壳进行图像采集并发送至所述管壳缺陷信息化控制系统300；不合格品收料设备，与所述管壳缺陷信息化控制系统300通讯连接，响应于所述管壳缺陷信息化控制系统300根据所述CCD监测设备发送的所述待检测芯片管壳的图像，检测到所述待检测芯片管壳存在缺陷，所述不合格品收料设备将所述管壳检测区域对应的所述待检测芯片管壳移动至所述不合格品下料区903。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，CCD检测设备可以为CCD视觉检测相机，将对管壳检测区域的待检测芯片管壳进行图像采集，并将影像转变成数字信号发送给管壳缺陷信息化控制系统300，由管壳缺陷信息化控制系统300对数字信号进行图像还原，实现待检测芯片管壳的外观缺陷的检测；若检测结果显示检测的芯片管壳存在外观缺陷，则由不合格品收料设备将管壳检测区域对应的待检测芯片管壳移动至所述不合格品下料区903。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，不合格品收料设备可以采用机械臂，进一步的，不合格品收料设备可以和管壳上下料系统100共用一个六轴机械臂103。比如，将输送带、定位机构设置在六轴机械臂103的一侧，将管壳缺陷视觉系统200设置在六轴机械臂103的另一侧，通过六轴机械臂103将预定位置处的待检测芯片管壳移动至管壳检测区域进行检测，同时六轴机械臂103还可以将管壳检测区域的存在缺陷芯片管壳移动至不合格品下料区903。籍此，有效的提高了六轴机械臂103的利用效率。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在一具体的例子中，所述CCD检测设备基于所述管壳检测区域上待检测芯片管壳的姿态变化，对所述待检测芯片管壳在不同姿态下进行图像采集。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，通过六轴机械臂103将料盘中的待检测芯片管壳移动至管壳检测区域，由CCD检测设备对待检测芯片管壳进行拍照；通过控制六轴机器臂的姿态变化，带动六轴机械臂103上吸嘴吸取的待检测芯片管壳的姿态变化，将待检测芯片管壳的各个面置于CCD检测设备下，实现对待检测芯片管壳的各个面的图像采集，从而达到芯片管壳自动化检测的目的。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在另一具体的例子中，所述管壳缺陷视觉系统200还包括：吸嘴快换站，所述吸嘴快换站放置有多个不同的吸嘴，以适应不同尺寸的待检测芯片管壳，其中，所述吸嘴能够安装于所述六轴机械臂103的执行末端，以使所述六轴机械臂103通过所述吸嘴吸取所述待检测芯片管壳。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，通过在吸嘴快换站放置多个不同的吸嘴，对不同大小、不同尺寸的待检测芯片管壳使用不同的吸嘴进行吸取，有效扩大了管壳检测装置的应用范围，使管壳检测装置可以对不同大小、不同尺寸的芯片管壳进行检测。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在一些可选实施例中，所述管壳缺陷信息化控制系统300包括：识别模块，与所述管壳缺陷视觉系统200通讯连接，接收所述管壳缺陷视觉系统200发送的所述待检测芯片管壳的图像，并根据所述待检测芯片管壳的图像，对所述待检测芯片管壳的图像中的缺陷特征进行识别；判断模块，与所述识别模块通讯连接，根据所述识别模块对所述待检测芯片管壳的图像中的缺陷特征的识别结果，确定所述待检测芯片管壳是否存在外观缺陷。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，CCD检测设备将采集的待检测芯片管壳各个面的图像发送给识别模块，由识别模块采用图像识别技术，对待检测芯片管壳各个面的图像进行缺陷特征识别，并将缺陷特征识别结果发送给判断模块，由判断模块根据缺陷特征识别结果与预先建立的管壳缺陷数据库中的数据进行核对，确定待检测芯片管壳是否存在外观缺陷。比如，确定芯片管壳是否有划痕、漏焊等缺陷。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在一具体的例子中，所述识别模块基于预先构建的识别模型，根据所述待检测芯片管壳的图像，对所述待检测芯片管壳的图像中的缺陷特征进行识别。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，基于机器学习技术，构建识别模型，对待检测芯片管壳的图像中的缺陷特征进行识别，极大的提高了芯片管壳缺陷检测的效率，使芯片管壳缺陷识别的精度、准确度更高。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

进一步的，所述管壳缺陷信息化控制系统300还包括：模型构建模块，基于深度学习技术，根据预先采集的样本图像，构建所述识别模型，其中，所述样本图像为所述管壳缺陷视觉系统200采集的芯片管壳样本的图像。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，通过管壳缺陷视觉系统200对芯片管壳样本进行图像采集，获取样本图像，构建深度学习识别模型，通过不断的训练，提高深度学习识别模型的识别速度和准确率，达到利用构建的深度学习识别模型对待检测芯片管壳进行缺陷特征识别的目的。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，识别模块、判断模块和模型构建模块均可以集成于数据处理设备中，比如：计算机等，籍此，可以有效的提高管壳缺陷信息化控制系统300的集成度。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在一些可选实施例中，所述下料区还包括：合格品下料区905，对应的，所述基于视觉与深度学习的芯片管壳缺陷检测装置还包括：复检模块500，对所述管壳上下料系统100移动至所述合格品下料区905的芯片管壳进行抽检。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，若判断模块确定待检测芯片管壳不存在外观缺陷，则通过机械手将不存在外观缺陷的芯片管壳移动至合格品上料区904，放置在料盘上，通过传送带102输送到合格品下料区905进行堆叠。在此过程中，为了进一步提高芯片管壳缺陷检测的效果，在传送带102输送装有不存在外观缺陷的芯片管壳时，在传送带102侧面设置复检区域，在复检区域内设立复检模块500(比如复检人员或复检机器设备等)，对传送带102上不存在外观缺陷的芯片管壳进行抽检，籍此，有效的提高芯片管壳缺陷检测的准确率。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在一些可选实施例中，所述基于视觉与深度学习的芯片管壳缺陷检测装置还包括：机架400，所述机架400的上部固定安装所述管壳上下料系统100、所述管壳缺陷视觉系统200，所述机架400的下部安装所述管壳缺陷信息化控制系统300。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，机架400固定在安装面上，管壳上下料系统100固定安装在机架400的上部，便于待检测芯片管壳的上料以及检测后芯片管壳的下料；管壳缺陷视觉系统200固定安装在机架400的上部，便于与管壳上下料系统100协同配合(比如共用一个六轴机械臂103等)，将待检测芯片管壳移动至管壳检测区域以及将检测后的芯片管壳移动至下料区；管壳缺陷信息化系统安装在机架400下方的柜子中，实现缺陷识别与判断等数据处理设备的隐藏式安装，即充分利用了安装空间，同时避免了设备过多可能引起的杂乱。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，管壳上下料系统100包括管壳上料部分和管壳下料部分，管壳上料部分和管壳下料部分分别设置在机架400的左右两侧。在管壳上料部分采用自动上下料设备(如图3所示)，包括：拆盘机构101、第一传送带102A、第一定位机构、第一六轴机械臂103A和第一堆盘机构；拆盘机构101位于芯片管壳的来料上料区901，第一传送带102A将拆盘机构101拆分的料盘输送至预定位置，由第一定位机构对料盘中的待检测芯片管壳进行定位；第一六轴机械臂103A设置在第一传送带102A的内侧，对预定位置处的待检测芯片管壳进行吸取，移动至管壳检测区域，由管壳缺陷视觉系统200进行缺陷检测。在管壳下料部分包括：第二传送带102B、第二定位机构、第二机械臂和第二堆盘机构，第二机械臂设置在第二传送带102B的内侧，沿机架400的左右方向与第一机械臂水平；第二定位机构和第二堆盘机构分别设置在第二传送带102B的端部，且第二堆盘机构沿机架400的左右方向与第一堆盘机构水平。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，第一六轴机械臂103A将料盘中的待检测芯片管壳吸取后，第一传送带102A将剩下的空料盘移动至空料盘堆叠区902，由空料盘堆叠区902处的第一堆盘机构将空料盘进行堆叠。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，管壳缺陷视觉系统200位于机架400的中部，且与第一六轴机械臂103A沿机架400的前后方向布置；管壳检测区域包括第一管壳检测区域909A和第二管壳检测区域909B，第一管壳检测区域909A和第二管壳检测区域909B并列设置，分别与第一六轴机械臂103A和第二六轴机械臂103B相对应。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，第一六轴机械臂103A将预定位置处的待检测芯片管壳移动至第一管壳检测区域909A进行图像采集，然后，由第二六轴机械臂103B将待检测芯片管壳移动至第二管壳检测区域909B进行图像采集。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，在第一六轴机械臂103A和第二六轴机械臂103B之间设置有第一中转站906和第二中转站907，籍此，可以对待检测芯片管壳进行不间断检测，提高待检测芯片管壳的检测效率。待检测芯片管壳在第一管壳检测区域909A完成图像采集后，由第一六轴机械臂103A将待检测芯片管壳移动至第一中转站906或第二中转站907处，然后，由第二六轴机械臂103B将第一中转站906或第二中转站907处的待检测芯片管壳移动至第二管壳检测区域909B进行图像采集。待检测芯片管壳存在多个面(最少有6个)，在对待检测芯片进行检测过程中，第一六轴机械臂103A吸取待检测芯片管壳的其中一个面，使待检测芯片管壳在第一管壳检测区域909A处进行图像采集，然后将待检测芯片管壳放到第二管壳检测区域909B；第二六轴机械臂103B吸取待检测芯片管壳已经完成图像采集的一个面，使待检测芯片管壳在第二管壳检测区域909B处对未进行图像采集的面进行图像采集。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，不合格品下料区903设置在第一管壳检测区域909A和第二管壳检测区域909B之间；待检测芯片管壳在第二管壳检测区域909B完成图像采集后，由第二六轴机械臂103B根据管壳缺陷信息化控制系统300的检测结果，将待检测芯片管壳移动至第一中转站906或第二中转站907处进行分类存放。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，在第一六轴机械臂103A或第二六轴机械臂103B的执行末端安装有吸嘴(比如，吸嘴通过螺钉固定于执行末端)，由吸嘴吸取存在缺陷的芯片管壳移动至不合格品下料区903；或者由吸嘴吸取不存在缺陷的芯片管壳移动至合格品上料区904，根据合格品上料区904处设置的第二定位机构对芯片管壳的定位信息，将不存在缺陷的芯片管壳在合格品上料区904处的料盘中进行摆放。当合格品上料区904处的料盘中放入合适数量的芯片管壳后，由第二传送带102B将装有合适数量芯片管壳的料盘输送至合格品下料区905，由合格品下料区905处设置的第二堆盘机构进行堆叠。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，在第二传送带102B的外侧设置复检区域，复检人员在复检区域内对第二传送带102B传送的料盘中的芯片管壳进行抽检。通常，在复检区域内还设有检验台501、预留区502等对芯片管壳检测的必要设备、空间等。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

图4为根据本申请的一些实施例提供的六轴机械臂103的结构示意图；如图4所示，六轴机械臂103包括：底座113、旋转座123、大臂133、小臂143和执行末端153。底座113固定安装于安装面上，旋转座123转动安装于底座113上，能够绕第一轴线转动；大臂133的一端与旋转座123转动连接，以使大臂133能够绕第二轴线转动；小臂143的一端与大臂133的另一端转动连接，以使小臂143能够绕第三轴线转动；执行末端153与小臂143的另一端转动连接，以使执行末端153能够绕第四轴线转动；执行末端153上安装吸嘴，通过吸嘴吸取芯片管壳。其中，第一轴线为旋转座123与底座113转动连接的轴线，第二轴线为大臂133与旋转座123转动连接的轴线，第三轴线为小臂143与大臂133转动连接的轴线，第四轴线为执行末端153与小臂143转动个连接的轴线。第一轴线垂直于工作台面，第二轴线、第三轴线相互平行，且均垂直于第一轴线；第四轴线沿小臂143的长度方向延伸，且分别与第一轴线、第三轴线垂直。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

在本申请实施例中，小臂143可以设计为伸缩式结构，即小臂143包括固定部和伸缩部，固定部的一端与大臂133的一端转动连接，能够绕第三轴线转动；伸缩部的一端与固定部滑动连接，能够在沿小臂143的长度方向在固定部上伸缩移动，伸缩部的另一端与执行末端153转动连接，使执行末端153能够绕第四轴线转动。可以理解的是，以上描述仅为示例性的，本申请实施例对此并不进行限定。

以上所述仅为本申请的优选实施例，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于视觉与深度学习的芯片管壳缺陷检测装置，其特征在于，包括：

管壳上下料系统，用于将来料上料区的待检测芯片管壳移动至管壳检测区域，以及将缺陷检测完毕的芯片管壳移动至下料区；

管壳缺陷视觉系统，基于CCD视觉检测技术对所述管壳检测区域的待检测芯片管壳进行图像采集并发送；

管壳缺陷信息化控制系统，与所述管壳缺陷视觉系统通讯连接，接收所述管壳缺陷视觉系统发送的所述待检测芯片管壳的图像，并根据所述待检测芯片管壳的图像，对所述待检测芯片管壳的外观缺陷进行检测；

所述管壳上下料系统包括：定位机构与六轴机械臂，所述定位机构包括挡板和定位相机；所述挡板设置于预定位置处，使放置有所述待检测芯片管壳的料盘在所述预定位置停止后，所述定位相机对所述料盘中的待检测芯片管壳进行拍照，并通过图像识别技术确定所述待检测芯片管壳在料盘中的实际位置；

所述六轴机械臂根据所述定位机构对所述待检测芯片管壳的定位，吸取所述料盘中的待检测芯片管壳，以将所述待检测芯片管壳移动至所述管壳检测区域，并带动六轴机械臂上吸嘴吸取的待检测芯片管壳姿态变化；

所述六轴机械臂包括第一六轴机械臂与第二六轴机械臂，在所述第一六轴机械臂和所述第二六轴机械臂之间设置有第一中转站和第二中转站，所述管壳检测区域包括第一管壳检测区域与第二管壳检测区域，所述第一六轴机械臂吸取所述待检测芯片管壳的其中一个面，使所述待检测芯片管壳在第一管壳检测区域处进行图像采集，将所述待检测芯片管壳放到所述第一中转站或所述第二中转站；所述第二六轴机械臂吸取所述待检测芯片管壳已经完成图像采集的一个面，所述待检测芯片管壳在所述第二管壳检测区域处对未进行图像采集的面进行图像采集。

2.根据权利要求1所述的装置，其特征在于，所述管壳上下料系统还包括：

拆盘机构，用于将所述来料上料区中堆叠的料盘逐个拆分，其中，所述料盘中放置有所述待检测芯片管壳；

传送带，将所述拆盘机构拆分出的料盘输送至所述预定位置，由所述定位机构对所述预定位置处所述料盘中的待检测芯片管壳进行定位；

堆盘机构，将所述六轴机械臂吸取所述待检测芯片管壳后余下的、由所述传送带输送的空料盘进行堆叠。

3.根据权利要求2所述的装置，其特征在于，所述下料区包括：不合格品下料区，

对应的，所述管壳缺陷视觉系统包括：

CCD检测设备，与所述管壳缺陷信息化控制系统通讯连接，对所述管壳检测区域的待检测芯片管壳进行图像采集并发送至所述管壳缺陷信息化控制系统；

不合格品收料设备，与所述管壳缺陷信息化控制系统通讯连接，响应于所述管壳缺陷信息化控制系统根据所述CCD检测设备发送的所述待检测芯片管壳的图像，检测到所述待检测芯片管壳存在缺陷，所述不合格品收料设备将所述管壳检测区域对应的所述待检测芯片管壳移动至所述不合格品下料区。

4.根据权利要求3所述的装置，其特征在于，所述CCD检测设备基于所述管壳检测区域上待检测芯片管壳的姿态变化，对所述待检测芯片管壳在不同姿态下进行图像采集。

5.根据权利要求3所述的装置，其特征在于，所述管壳缺陷视觉系统还包括：吸嘴快换站，所述吸嘴快换站放置有多个不同的吸嘴，以适应不同尺寸的待检测芯片管壳，其中，所述吸嘴能够安装于所述六轴机械臂的执行末端，以使所述六轴机械臂通过所述吸嘴吸取所述待检测芯片管壳。

6.根据权利要求1所述的装置，其特征在于，所述管壳缺陷信息化控制系统包括：

识别模块，与所述管壳缺陷视觉系统通讯连接，接收所述管壳缺陷视觉系统发送的所述待检测芯片管壳的图像，并根据所述待检测芯片管壳的图像，对所述待检测芯片管壳的图像中的缺陷特征进行识别；

判断模块，与所述识别模块通讯连接，根据所述识别模块对所述待检测芯片管壳的图像中的缺陷特征的识别结果，确定所述待检测芯片管壳是否存在外观缺陷。

7.根据权利要求6所述的装置，其特征在于，所述识别模块基于预先构建的识别模型，根据所述待检测芯片管壳的图像，对所述待检测芯片管壳的图像中的缺陷特征进行识别。

8.根据权利要求7所述的装置，其特征在于，所述管壳缺陷信息化控制系统还包括：模型构建模块，基于深度学习技术，根据预先采集的样本图像，构建所述识别模型，其中，所述样本图像为所述管壳缺陷视觉系统采集的芯片管壳样本的图像。

9.根据权利要求1所述的装置，其特征在于，所述下料区包括：合格品下料区；

对应的，所述基于视觉与深度学习的芯片管壳缺陷检测装置还包括：复检模块，对所述管壳上下料系统移动至所述合格品下料区的芯片管壳进行抽检。

10.根据权利要求1-9任一所述的装置，其特征在于，所述基于视觉与深度学习的芯片管壳缺陷检测装置还包括：机架，所述机架的上部固定安装所述管壳上下料系统、所述管壳缺陷视觉系统，所述机架的下部安装所述管壳缺陷信息化控制系统。

Images