CN117761068A - 一种电子封装外壳引脚双面同步检测系统及方法 - Google Patents

Abstract

本发明提供了一种电子封装外壳引脚双面同步检测系统，包括支撑机构、传送装置、治具、视觉检测模块、图像处理系统，所述传送装置与视觉检测模块安装于所述支撑机构，所述治具用于承载待测样品，所述传送装置用于传送所述治具承载的待测样品至视觉检测模块检测，所述视觉检测模块包括以所述治具传送平面为中心对称布置的正面视觉检测模块和背面视觉检测模块，所述正面视觉检测模块与所述背面视觉检测模块均分别包括至少二组视觉检测机构，所述至少二组视觉检测机构分别对应检测待测样品的一列引脚，所述图像处理系统用于对视觉检测机构采集的引脚进行尺寸和缺陷检测。

Description

一种电子封装外壳引脚双面同步检测系统及方法

技术领域

本发明涉及视觉检测领域，更具体地说，涉及一种电子封装外壳电子封装外壳引脚双面同步检测系统及方法。

背景技术

电子封装是指将一个具有一定功能的集成电路芯片(包括半导体集成电路芯片、薄膜集成电路芯片、混合集成电路芯片)等放置在一个与之相适应的外壳容器内，为芯片提供一个稳定可靠的工作环境，保护芯片不受或少受外部环境影响，使集成电路具有稳定正常的功能的方法。

电子封装外壳既起安装固定、密封保护芯片的作用，同时也是芯片输入、输出端向外过渡的连接手段，进行信号传输、增强电热性能、提升环境适应能力，与芯片共同形成一个完整的整体。

电子封装外壳通过将引脚用焊接剂(玻璃或陶瓷)焊接在壳体边缘孔中而形成的一个整体，与此同时，芯片上的接点用导线连接到电子封装外壳的引脚上，这些引脚另一端又通过印制板上的导线与其他器件建立连接。

因此引脚尺寸、焊接孔径尺寸、同心度、焊接剂的焊接情况都会影响整个集成电路的性能，所以引脚的同步检测任务就显得尤为重要。

现有的电子封装外壳引脚检测方式主要是通过升降检测笔进行检测。CN216791866U公开了一种应用于视觉集成电路封装引脚检测装置，该方案中采用用卡合机构与引脚接触进行检测，但是这些方法缺乏对引脚直径、焊接孔径、引脚偏心程度及焊接情况等信息的检测，并且检测速度太慢，效率不高难以满足实际的检测需求。

发明内容

本发明所要解决的技术问题为提供了一种电子封装外壳引脚双面同步检测系统，能够利用视觉检测技术快速准确地对电子封装外壳正背两面的引脚尺寸信息及缺陷信息进行检测，提高检测速度和效率。

为了解决上述技术问题，本发明提供了一种电子封装外壳引脚双面同步检测系统，包括支撑机构、传送装置、治具、视觉检测模块、图像处理系统，所述传送装置与视觉检测模块安装于所述支撑机构，所述治具用于承载待测样品，所述传送装置用于传送所述治具承载的待测样品至视觉检测模块检测，所述视觉检测模块包括以所述治具传送平面为中心对称布置的正面视觉检测模块和背面视觉检测模块，所述正面视觉检测模块与所述背面视觉检测模块均分别包括至少二组视觉检测机构，所述至少二组视觉检测机构分别对应检测待测样品的一列引脚，所述图像处理系统用于对视觉检测机构采集的引脚进行尺寸和缺陷检测。

在其中一些实施例中，还包括调整装置，所述调整装置对所述视觉检测机构的位置进行移动调整。

在其中一些实施例中，所述调整装置包括转接板、二维位移平台，所述转接板安装于所述支撑机构，所述视觉检测机构通过二维位移平台与所述转接板连接；所述转接板相对于支撑机构移动用于调整所述视觉检测机构在支撑结构上的位置，所述二维位移平台相对于转接板移动用于调整所述视觉检测机构在转接板上的位置。

在其中一些实施例中，所述视觉检测机构包括相机组件、镜头、光源组件，三者串联安装。

在其中一些实施例中，所述视觉检测机构包括多个滑动架、连接多个滑动架的笼杆，所述滑动架沿所述笼杆上下滑动，所述滑动架与所述笼杆形成笼式结构将所述相机组件、镜头组件、光源组件沿竖直方向依次串联安装。

在其中一些实施例中，所述光源组件包括低角度环形光源和光源转接板，所述镜头组件采用远心镜头。

在其中一些实施例中，所述支撑结构包括支撑底座、安装在支撑底座上的传送装置支撑架、安装在支撑底座上的视觉检测模块支撑架，所述支撑底座由四个前后连接的型材支架组成；所述传送装置支撑架由横向型材支架连接两根纵向型材支架组成并且对称布置于支撑底座的两侧；所述视觉检测模块支撑架由上下两根横向型材支架连接两根纵向型材支架组成，所述上下两根横向型材支架分别承载正面视觉检测模块和背面视觉检测模块。

在其中一些实施例中，所述传送装置包括驱动装置、控制器和直线模组，所述直线模组安装于两个传送装置支撑架的横向型材支架上，所述直线模组之间连接有运动平台，所述治具安装于所述运动平台的中心，所述驱动装置驱动所述运动平台传送所述治具承载的待测样品至视觉检测模块检测，所述控制器控制运动平台的移动速度。

在其中一些实施例中，还包括传感装置，所述传感装置感应待测样品上的引脚到达视觉检测模块并触发所述视觉检测模块进行检测。

在其中一些实施例中，所述传感装置采用激光传感器。

在其中一些实施例中，所述至少二组视觉检测机构沿着所述待测样品传送方向的垂直方向错位布置。

在其中一些实施例中，所述传送装置为环形导轨，所述环形导轨两侧分别设置所述视觉检测模块。

为了解决上述技术问题，本发明还提供了一种电子封装外壳引脚双面同步检测系统的尺寸检测方法，采用上述的电子封装外壳引脚双面同步检测系统进行检测，包括以下步骤：

步骤1：启动电子封装外壳引脚双面同步检测系统获取引脚图像；

步骤2：对获得的引脚图像进行图像灰度化、采用高斯滤波去除高斯噪声平滑图像；

步骤3：对步骤2获得的灰度图像进行图像增强使得引脚焊接部分的轮廓与背景分离；

步骤4：采用霍夫圆检测方法检测焊接孔外圆轮廓得到焊接孔圆心坐标与半径；

步骤5：拟合引脚外圆轮廓得到拟合圆心坐标与半径；

步骤6：将拟合的引脚外圆轮廓及焊接孔外圆轮廓绘制于原图，根据标定像素点对应的实际物理尺寸计算焊接孔尺寸、引脚尺寸及同心度；

步骤7：根据检测指标判断脚尺寸、焊接孔的尺寸、焊接部分的面积、引脚与焊接孔中心的偏心程度是否在合格范围之内，并输出检测结果。

在其中一些实施例中，步骤3所述图像增强具体包括以下步骤：

1)采用直方图均衡化或Gamma变换或Laplace变换将图像中灰度值的范围扩大；

2)使用OTSU算法对图像进行二值化处理；

3)采用5*5的卷积核进行顶帽运算去除前景附近的小亮干扰点。

在其中一些实施例中，步骤5中采用去除干扰点配合最小二乘法拟合引脚外圆轮廓，具体步骤包括：

1)利用opencv的轮廓检测函数检测引脚轮廓，寻找引脚轮廓的最小外接矩形，并记录短边宽度w；

2)在轮廓坐标里寻找引脚轮廓左右上下四个极值点(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)，定义一个误差精度ε；

3)计算|x₁+w-x₂|、|x₂-w-x₁|、|y₄+w-y₃|、|y₃-w-y₄|的值，并将其与ε比较大小，以确定左右上下四个边界将轮廓点合理的限制在理想圆形的一周；

4)利用最小二乘法拟合去除干扰点之后的轮廓坐标，计算出拟合圆的圆心坐标及半径。

为了解决上述技术问题，本发明还提供了一种电子封装外壳引脚双面同步检测系统的缺陷检测方法，包括以下步骤：

步骤1：利用所述视觉检测机构拍摄引脚图像并进行图像增强处理扩充数据集；

步骤2：利用真实缺陷类别特征几何特征规律形成数据库缺陷样本，采用随机直线代替划痕，采用随机不规则多变形代替缺损，采用随机圆弧代替裂纹、采用随机半径的圆心代替气泡。

步骤3：标注数据，使得图像缺陷类别分别与缺陷样本标签一一对应；

步骤4：利用改进的YOLOv5算法进行训练，获得检测模型；

步骤5：测试检测模型的识别精度；

步骤6：对所述电子封装外壳引脚双面同步检测系统检测图片进行缺陷识别并输出缺陷类型、计算缺陷尺寸。

在其中一些实施例中，所述YOLOv5算法的激活函数为Mish函数。

相较于现有技术，本发明具有的有益效果包括：

1、本发明所述的电子封装外壳引脚双面同步检测系统，通过设置正背双面的视觉检测模块，视觉检测模块设置多组视觉检测机构，能够同时对电子封装外壳的正背双面及每面上的多列引脚进行检测，提高检测速度与检测效率。

2、本发明所述的电子封装外壳引脚双面同步检测系统，通过设置对视觉检测机构的位置进行调整的调整装置能够实现不同尺寸和形状的封装外壳检测。

附图说明

图1为电子封装外壳引脚双面同步检测系统示意图；

图2为视觉检测机构结构示意图；

图3为双列引脚电子封装外壳示意图；

图4为双列引脚外壳与视觉检测机构的对应关系图；

图5为多列引脚外壳与视觉检测机构的对应关系图；

图6为电子封装外壳引脚双面同步检测系统的检测方法流程图；

图7为实施例2双面同步检测系统产线应用布局图。

附图标记：1、基座；2、型材支架；3、型材角件；4、直线模型；5、第一组正面视觉检测机构；6、转接板；7、二维位移台；8、第二组正面视觉检测机构；9、激光传感器；10、治具；11、第一组背面视觉检测机构；12、第二组背面视觉检测机构；13、环形导轨；14、工业机器人；15、电子封装外壳承载托盘；16、NG分拣箱；17、托盘升降模块；51、60mm单孔抱闸滑动架；52、外径6mm钨钢笼杆；53、CMOS相机；54、孔径30mm单孔抱闸滑动架；55、孔径30mm单孔转换抱闸滑动架；56、2倍远心镜头；57、光源转接板；58、低角度环形光源；101、电子封装外壳；102、焊接剂；103、引脚。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“上”、“下”、“左”、“右”、“纵向”、“横向”、“顶/底端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“套设/接”、“连接”等，应做广义理解，例如“连接”，可以是壁挂连接，也可以是可拆卸连接，或一体地连接，可以是机械连接，也可以是电连接，可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通，对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1

参照图1-3所示，本实施例提供了一种电子封装外壳引脚双面同步检测系统包括支撑机构、传送装置、治具10、视觉检测模块、图像处理系统，所述传送装置与视觉检测模块安装于所述支撑机构，所述治具10承载待测样品电子封装外壳101，所述传送装置传送所述治具10承载的电子封装外壳101至视觉检测模块检测；

所述视觉检测模块包括以所述治具10传送平面为中心对称布置的正面视觉检测模块和背面视觉检测模块，所述正面视觉检测模块包括第一组正面视觉检测机构5、第二组正面视觉检测机构8，所述背面视觉检测模块包括第一组背面视觉检测机构11、第二组背面视觉检测机构12，所述第一组正面视觉检测机构5和第二组正面视觉检测机构8以及第一组背面视觉检测机构11、第二组背面视觉检测机构12分别对应电子封装外壳101上的正面两列引脚103和背面两列引脚103(见图4)，所述图像处理系统用于对视觉检测机构采集的引脚进行尺寸和缺陷检测。

其中，视觉检测机构的组数根据电子封装外壳101上的引脚103列数决定，例如图5所示，当电子封装外壳101上的引脚103列数为N列时，即可采用N组视觉检测机构，不以本实施例的两组为限。

在本实施例中，所述视觉检测机构包括相机组件、镜头、光源组件，为了保证三者之间的同轴度，三者通过一个笼式结构串联连接，具体地，所述视觉检测机构由外径6mm钨钢笼杆52依次将半径60mm单孔抱闸滑动架51、相机53、半径30mm单孔抱闸滑动架54、单孔转换抱闸滑动架55、镜头56、光源组件串联，使得检测模块一体化，保证相机53、镜头56及光源组件的同轴度，降低图像采集过程中的偏移误差；同时用来调整环形光源与电子封装外壳引脚103之间的距离即在镜头能清晰成像的条件下调整环形光源与电子封装外壳引脚103之间的距离来寻找最佳打光位置。

其中，在本实施例中，由于待测对象尺寸小，检测精度要求高，因此结合相应的检测指标相机53选取2448*2048的500万像素的工业相机用以获取图像；结合相机53的靶面尺寸和视野范围，为了清晰成像、减小畸变，镜头56选取2倍远心镜头；由于引脚103顶部和焊接部分不在同一平面，因此为了能尽可能同时清晰成像，光源采用低角度环形光源58均匀照射，同时减小光源与工件的工作距离将环形光倒影缩小至引脚内部，减轻反光现象，低角度环形光源18通过光源转接板57与笼式结构连接。

为了降低外界支撑地面平整度不高而导致的系统不平衡及系统自身在运行过程中产生的震动等不利影响，在本实施例中，将上述检测系统置于基座1上。

更具体地，将支撑机构中的四个前后衔接并由型材角件3依次固定的型材支架2组成的支撑底座配置在所述基座1上；再将由一根由横向型材支架2连接两根纵向型材支架2组成的传送装置支撑架对称设置在支撑底座的两侧，其中纵向和横向型材支架2之间，以及纵向型材支架2与支撑底座之间全部通过型材角件3固定连接，再将两根短的型材支架2固定连接在纵向型材支架2的上端用于承载传送装置；在所述两个传送装置支撑架垂直方向上设置视觉检测模块支撑架，所述视觉检测模块支撑下由上下两根横向型材支架2连接两根纵向型材支架2组成，横纵型材支架2之间、型材支架2与支撑底座之间均通过型材角件3固定连接，顶部的横向型材支架2用于承载正面的二组视觉检测机构5、8，底部的横向型材支架2用于承载背面的二组视觉检测机构11、12。

在本实施例中，所述传送装置包括驱动装置、控制器和直线模组4，所述直线模组4通过转接板6安装于上述两个对称设置的传送装置支撑架的横向型材支架2上，所述两个直线模组4均安装运动滑块，两个运动滑块在直线模组之间形成运动平台，所述治具10通过螺钉固定安装于所述运动滑块使其位于运动平台的中心，所述驱动装置驱动所述运动滑块移动，从而传送所述治具10承载的电子封装外壳101通过视觉检测模块进行检测。

同时，在本实施例中，所述控制器可以控制运动平台的移动速度，通过设定程序使运动滑块在非检测过程中传送速度加快，在检测过程中速度减慢来配合视觉检测机构采集图片，分段合理设定前进速度，节省整体检测流程时间，提高检测效率。

为了能够感应电子封装外壳的引脚到达视觉检测模块，在本实施例中，还包括激光传感器作为传感装置，所述激光传感器可以感应待测样品上的引脚到达视觉检测模块并触发所述视觉检测模块进行检测，具体地，激光传感器的发射器与接收器分别设置于两边直线模组的对应位置上，并且该位置形成的光路正好与正背视觉检测模块中心连线垂直，因此当封装外壳引脚经过所述激光传感器时会遮挡激光到接收器的光路产生高低电平变化，将电平变化作为视觉检测模块的拍摄触发信号，于是每个引脚经过一次，激光传感器电路便产生一个触发信号使得视觉检测模块自动拍摄引脚的照片，并将引脚图片输送至图像处理系统进行处理，输出引脚尺寸及焊接情况。

当对引脚103进行检测时，将电子封装外壳放置在治具10上，治具10中心根据电子封装外壳101边缘厚度进行开孔设计，保留与电子封装外壳101边缘厚度一致的小承载边缘用于支撑电子封装外壳101，治具10在起到承载作用的同时也不会遮挡背面引脚，从而能完成双面同步检测，然后传送装置将其传送至视觉检测模块，正面的二组视觉检测机构5、8分别对电子封装外壳101正面的两列引脚103进行检测，背面的二组视觉检测机构11、12分别对电子封装外壳101背面的两列引脚103进行检测。视觉检测模块采集到引脚图像再经过图像处理系统的处理，检测出引脚的尺寸和缺陷。

不同型号的电子封装外壳101，引脚103之间的间距与位置排布存在不同，因此为了能够对不同型号的电子封装外壳101进行检测，在本实施例中，检测系统还包括调整装置，所述调整装置可以根据测试的电子封装外壳引脚的具体位置对所述视觉检测机构的位置进行移动调整，从而使得视觉检测机构可以对应引脚。

具体地，所述调整装置包括转接板6、二维位移平台7，每个视觉检测机构均配备一个对应的转接板6和二维位移平台7对其进行位置调整，同时转接板6和二维位移平台7也起着将视觉检测机构固定在支撑结构的作用，所述转接板6安装于视觉检测机构支撑架的横向型材支架2上，所述视觉检测机构通过二维位移平台7与所述转接板6连接；其中，所述转接板6为光学面包板，可以相对于支撑机构移动，调整转接板6相对于支撑机构的位置，从而对所述视觉检测机构左右方向和上下方向进行大距离调整，所述二维位移平台7可以相对于转接板6移动，调整所述视觉检测机构在转接板上的位置，从而对所述视觉检测机构左右方向和上下方向进行小距离调整。

如图4所示，不同规格封装外壳的引脚之间距离d存在差异，因此可以通过转接板6和二维位移平台7调整视觉检测模块的间距从而适配不同尺寸的电子引脚封装外壳。

当检测单列引脚的工件时，还可以在视觉检测机构上通过增加转接板6来调整前后两组视觉检测机构的距离，利用第一组视觉检测机构检测引脚103的奇数个，第二组视觉检测机构检测引脚103的偶数个，在充分利用视觉检测机构的同时提高采样速率。

同时，由于电子封装外壳101尺寸整体较小，并且引脚103列数多间距小，因此为了避免各组视觉检测机构在空间上存在干涉问题，在本实施例中，所述调整装置可以将所述至少二组视觉检测机构沿着所述待测样品传送方向的垂直方向错位布置。

当检测系统的视觉检测机构采集到引脚图像之后，引脚图像输出至图像处理系统，图像处理系统进行图像处理从而检测出引脚的尺寸和缺陷。图像处理系统主要进行两方面的检测，一方面为引脚的尺寸几何参数，另一方面为引脚的焊接缺陷。

具体地，引脚直径、焊接孔的直径、焊接部分的面积、引脚与焊接孔中心的偏心程度等尺寸几何信息，通过电子封装外壳引脚双面同步检测系统的尺寸检测方法获得，该检测方法具体包括如下步骤:

1)启动本实施例的电子封装外壳引脚双面同步检测系统获取引脚图像。

2)对获得的引脚图像进行图像灰度化、结合图片信息采用高斯滤波去除高斯噪声平滑图像。

高斯滤波是可分离滤波器，即可以把多维的卷积转化成多个一维卷积。对于二维的高斯滤波，可以先对图像的行数据做一维卷积再对列数据做一维卷积。这样就可以将复杂度从O(M*M*N*N)降到O(2*M*M*N)来降低算法的运行时间，其中，M，N分别是图像和滤波器的窗口大小。

3)对灰度图像进行如直方图均衡化、Gamma变换、Laplace变换等图像增强操作，通过映射关系将图像中灰度值的范围扩大，增加原来两个灰度值之间的差距，以提高图像的对比度从而突出前景与背景的纹理差异，然后使用OTSU算法对图像进行二值化处理，再采用5*5的卷积核进行顶帽运算去除前景附近的小亮干扰点，使得焊接部分的轮廓与背景分离。

步骤2与步骤3的目的是为了解决在图像采集过程中，视觉检测机构受外界环境光干扰、相机长时间工作时元器件温度升高及电路元器件之间的噪声相互影响等原因导致采集到的图像存在一定的噪声和灰度分布不均匀的问题，因此在进行尺寸计算前进行如上述步骤2与步骤3的图像预处理工作。

4)由于焊接孔是较为规则的圆形，因此可以采用霍夫变换检测方法检测焊接孔的外圆形轮廓，调节检测圆形的累加器阈值，使得检测出的圆为焊接孔的外圆轮廓，再将检测出的圆的圆心坐标及半径值输出并保存。

建立一个与原图大小具有相同尺寸的全零矩阵，即生成一张与原图尺寸相同的全黑图片，然后在这张图片上绘制检测到的圆并以白色填充，接着再和原图做与运算，最终生成一张以检测到的圆为边界的ROI图片。寻找ROI，缩小轮廓检测范围可以减少数据量，降低计算时间。

5)由于引脚在生产过程中可能会有毛刺、缺损、变形等问题因而使得部分引脚轮廓不是标准的圆形此无法采用霍夫圆检测，因此采用一种去除干扰点方法配合最小二乘法拟合引脚外圆轮廓得到拟合圆心坐标与半径。

具体地，采用如下方法进行去除干扰点：

首先利用opencv的轮廓检测函数检测引脚轮廓，接着寻找引脚轮廓的最小外接矩形，并记录短边宽度w，然后在轮廓坐标里寻找其上下左右四个极值点，定义一个误差精度ε，以左极值点横坐标(x₁,y₁)，右极值点横坐标(x₂,y₂)，误差精度ε＝5个像素点为例，若|x₁+w-x₂|<ε、则以x₂为右边界，若|x₁+w-x₂|>ε则(x₁+w)作为右边界；若|x₂-w-x₁|<ε则以x₁为左边界，若|x₂-w-x₁|>ε则以(x₂-w)作为左边界；上下两个边界以同样的计算方法计算，就可以将轮廓点合理的限制在理想圆形的一周，最后利用最小二乘法拟合去除干扰点之后的轮廓坐标，计算出拟合的圆的圆心坐标及半径。

6)将拟合的引脚外圆轮廓及焊接孔外圆轮廓绘制于原图，根据标定像素点对应的实际物理尺寸计算焊接孔尺寸、引脚尺寸及同心度；

7)根据检测指标判断脚尺寸、焊接孔的尺寸、焊接部分的面积、引脚与焊接孔中心的偏心程度是否在合格范围之内，最终并输出检测结果。

若一批电子封装外壳引脚直径、焊接孔径及引脚偏心程度远偏离合格范围则需要对制造工艺进行溯源，找寻出现问题的原因，并优化制造工艺。

焊接部分的表面缺陷如划痕、缺损、裂纹及气泡等缺陷信息，通过电子封装外壳引脚双面同步检测系统的缺陷检测方法获得，该检测方法具体包括如下步骤:

1)利用所述视觉检测机构拍摄引脚图像并进行图像增强处理，采用旋转、翻转、缩放、拼接、调节亮度、对比度、色调等参数来扩充数据集。

2)结合真实缺陷类别、形状特征及尺度特征从而寻找它们的几何特征规律，于是采用一定范围内的长度及宽度的随机直线代替划痕，一定范围内的边长随机3～10边的不规则多边形代替缺损，一定范围内的长度及宽度的随机弯弧个数的圆弧代替裂纹，一定范围内的随机半径的圆形代替气泡，然后在规定的ROI中的随机位置并随机生成3～5个缺陷以扩充数据集，因此尽可能使得数据库样本丰富，囊括更多的缺陷种类。

3)标注数据，使得图像缺陷类别分别与缺陷样本标签一一对应。

4)利用改进的YOLOv5算法进行训练，获得检测模型。

YOLOv5算法的损失函数主要包括分类损失、置信度损失和定位损失，其中分类损失、置信度损失采用二元交叉熵损失函数：

(1)

其中N是样本数量，y_i和分别代表第i个样本的真实值和模型预测值，通过最小化损失函数来最小化模型预测结果与真实结果的偏差；

定位损失函数：

Loss_CIOU＝1-CIOU

(2)

(3)

(4)

(5)

其中IOU是预测框与真实框的交并比，ρ为两框的中心点距离，c为两框的对角线长度，v为两框的宽高比相似度，α为v的影响因子,w_l和h_l分别是真实框的宽度和高度，w_p和h_p分别是预测框的宽度和高度，(x_l1,y_l1)和(x_l2,y_l2)分别是真实框的左上角和右下角的坐标，(x_p1,y_p1)和(x_p2,y_p2)分别是预测框的左上角和右下角的坐标。

在本实施例中，因为Mish函数更符合实际情况一些，将激活函数从原来的LeakyRelu替换成Mish函数；同时由于YOLOv5算法将输入图片统一Resize为640*640，而原始图像分辨率为2448*2048因此被Resize为640*640后特征信息损失严重，所以在进行深层次卷积时的特征图几乎没有保留有用的信息，再将这些特征图与浅层特征图进行特征融合时已经起不到提升识别精度的作用，甚至还会影响原来的精度，因此将深层的特征图从融合的特征图中进行分离。

5)测试检测模型的识别精度；

6)对所述电子封装外壳引脚双面同步检测系统检测图片进行缺陷识别并输出缺陷类型、计算缺陷尺寸，若焊接部分没有缺陷则认为是合格产品并标记为完美产品；若焊接部分存在缺陷则输出缺陷类型并计算缺陷尺寸大小，结合缺陷检测指标判断缺陷尺寸是否大于检测指标许可范围；若缺陷尺寸小于检测指标许可范围则输出缺陷类型、缺陷尺寸，也认为是合格产品但标记为瑕疵产品；若缺陷尺寸大于检测指标许可范围则输出缺陷类型、缺陷尺寸，则认为是不合格产品并标记为NG产品。

本实施例的电子封装外壳引脚双面同步检测系统利用视觉检测技术、系统控制技术、激光感应技术及图像处理技术，基于Pyqt5开发电子封装外壳引脚尺寸测量及焊接缺陷检测界面，将图像采集、工件传送、信号触发、尺寸测量及缺陷检测等流程进行集成，最终能实时完成电子封装外壳引脚双面同步检测任务，完成检测需求。

本系统及方法适应范围广、响应速率快、控制系统逻辑简单、能快速准确的获取待测对象的检测信息，并且能完成电子封装外壳引脚的在位在线检测。

实施例2

如图7所示，本实施例与实施例1的主要不同在于，所述传送装置替换成环形导轨13配合相应的治具实现电子封装外壳的循环传送，所述环形导轨13两侧均设置视觉检测模块，可以同时检测多个电子封装外壳101，加快检测效率。

在本实施例中，电子封装外壳引脚双面同步检测系统还配合工业机器人14、工业机器人14将电子封装外壳承载托盘15中的电子封装外壳101移送至治具10上，利用环形导轨13进行传送，传送至检测系统进行检测后输出相应的结果，对于NG的产品利用工业机器人14将其装入NG分拣箱16。

其中为了方便工业机器人14上下料，所述电子封装外壳承载托盘15连接于托盘升降模块17，这样可以自由升降至方便工业机器人14捡料的位置，同时也方便人工将电子封装外壳放置于电子封装外壳承载托盘15中。

本实施例将电子封装外壳引脚双面同步检测系统配合工业机器人、自动上下料模块、环形导轨等模块进行产线升级，实现自动化检测，达到降本增效的效果。

以上结合附图对本申请的实施方式作了详细说明，但本申请并不限于上述实施方式，在本领域普通技术人员的知识范围内，还可以在不脱离本申请的前提下做出各种变化。

Claims (17)

1.一种电子封装外壳引脚双面同步检测系统，包括支撑机构、传送装置、治具、视觉检测模块、图像处理系统，所述传送装置与视觉检测模块安装于所述支撑机构，所述治具用于承载待测样品，所述传送装置用于传送所述治具承载的待测样品至视觉检测模块检测，其特征在于，所述视觉检测模块包括以所述治具传送平面为中心对称布置的正面视觉检测模块和背面视觉检测模块，所述正面视觉检测模块与所述背面视觉检测模块均分别包括至少二组视觉检测机构，所述至少二组视觉检测机构分别对应检测待测样品的一列引脚，所述图像处理系统用于对视觉检测机构采集的引脚进行尺寸和缺陷检测。

2.根据权利要求1所述的电子封装外壳引脚双面同步检测系统，其特征在于，还包括调整装置，所述调整装置对所述视觉检测机构的位置进行移动调整。

3.根据权利要求2所述的电子封装外壳引脚双面同步检测系统，其特征在于，所述调整装置包括转接板、二维位移平台，所述转接板安装于所述支撑机构，所述视觉检测机构通过二维位移平台与所述转接板连接；所述转接板相对于支撑机构移动用于调整所述视觉检测机构在支撑结构上的位置，所述二维位移平台相对于转接板移动用于调整所述视觉检测机构在转接板上的位置。

4.根据权利要求1所述的电子封装外壳引脚双面同步检测系统，其特征在于，所述视觉检测机构包括相机组件、镜头、光源组件，三者串联安装。

5.根据权利要求4所述的电子封装外壳引脚双面同步检测系统，其特征在于，所述视觉检测机构包括多个滑动架、连接多个滑动架的笼杆，所述滑动架沿所述笼杆上下滑动，所述滑动架与所述笼杆形成笼式结构将所述相机组件、镜头组件、光源组件沿竖直方向依次串联安装。

6.根据权利要求5所述的电子封装外壳引脚双面同步检测系统，其特征在于，所述光源组件包括低角度环形光源和光源转接板，所述镜头组件采用远心镜头。

7.根据权利要求1所述的电子封装外壳引脚双面同步检测系统，其特征在于，所述支撑结构包括支撑底座、安装在支撑底座上的传送装置支撑架、安装在支撑底座上的视觉检测模块支撑架，所述支撑底座由四个前后连接的型材支架组成；所述传送装置支撑架由横向型材支架连接两根纵向型材支架组成并且对称布置于支撑底座的两侧；所述视觉检测模块支撑架由上下两根横向型材支架连接两根纵向型材支架组成，所述上下两根横向型材支架分别承载正面视觉检测模块和背面视觉检测模块。

8.根据权利要求7所述的电子封装外壳引脚双面同步检测系统，其特征在于，所述传送装置包括驱动装置、控制器和直线模组，所述直线模组安装于两个传送装置支撑架的横向型材支架上，所述直线模组之间连接有运动平台，所述治具安装于所述运动平台的中心，所述驱动装置驱动所述运动平台传送所述治具承载的待测样品至视觉检测模块检测，所述控制器控制运动平台的移动速度。

9.根据权利要求1所述的电子封装外壳引脚双面同步检测系统，其特征在于，还包括传感装置，所述传感装置感应待测样品上的引脚到达视觉检测模块并触发所述视觉检测模块进行检测。

10.根据权利要求9所述的电子封装外壳引脚双面同步检测系统，其特征在于，所述传感装置采用激光传感器。

11.根据权利要求1所述的电子封装外壳引脚双面同步检测系统，其特征在于，所述至少二组视觉检测机构沿着所述待测样品传送方向的垂直方向错位布置。

12.根据权利要求1所述的电子封装外壳引脚双面同步检测系统，其特征在于，所述传送装置为环形导轨，所述环形导轨两侧分别设置所述视觉检测模块。

13.一种如权利要求1-12任一项所述的电子封装外壳引脚双面同步检测系统的尺寸检测方法，其特征在于，包括以下步骤：

步骤1：启动电子封装外壳引脚双面同步检测系统获取引脚图像；

步骤2：对获得的引脚图像进行图像灰度化、采用高斯滤波去除高斯噪声平滑图像；

步骤3：对步骤2获得的灰度图像进行图像增强使得引脚焊接部分的轮廓与背景分离；

步骤4：采用霍夫圆检测方法检测焊接孔外圆轮廓得到焊接孔圆心坐标与半径；

步骤5：拟合引脚外圆轮廓得到拟合圆心坐标与半径；

步骤6：将拟合的引脚外圆轮廓及焊接孔外圆轮廓绘制于原图，根据标定像素点对应的实际物理尺寸计算焊接孔尺寸、引脚尺寸及同心度；

步骤7：根据检测指标判断脚尺寸、焊接孔的尺寸、焊接部分的面积、引脚与焊接孔中心的偏心程度是否在合格范围之内，并输出检测结果。

14.根据权利要求13所述的电子封装外壳引脚双面同步检测系统的尺寸检测方法，其特征在于，步骤3所述图像增强具体包括以下步骤：

1)采用直方图均衡化或Gamma变换或Laplace变换将图像中灰度值的范围扩大；

2)使用OTSU算法对图像进行二值化处理；

3)采用5*5的卷积核进行顶帽运算去除前景附近的小亮干扰点。

15.根据权利要求13所述的电子封装外壳引脚双面同步检测系统的尺寸检测方法，其特征在于，步骤5中采用去除干扰点配合最小二乘法拟合引脚外圆轮廓，具体步骤包括：

1)利用opencv的轮廓检测函数检测引脚轮廓，寻找引脚轮廓的最小外接矩形，并记录短边宽度w；

2)在轮廓坐标里寻找引脚轮廓左右上下四个极值点(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)，定义一个误差精度ε；

3)计算|x₁+w-x₂|、|x₂-w-x₁|、|y₄+w-y₃|、|y₃-w-y₄|的值，并将其与ε比较大小，以确定左右上下四个边界将轮廓点合理的限制在理想圆形的一周；

4)利用最小二乘法拟合去除干扰点之后的轮廓坐标，计算出拟合圆的圆心坐标及半径。

16.一种如权利要求1-12任一项所述的电子封装外壳引脚双面同步检测系统的缺陷检测方法，其特征在于，包括以下步骤：

步骤1：利用所述视觉检测机构拍摄引脚图像并进行图像增强处理扩充数据集；

步骤2：利用真实缺陷类别特征几何特征规律形成数据库缺陷样本，采用随机直线代替划痕，采用随机不规则多变形代替缺损，采用随机圆弧代替裂纹、采用随机半径的圆心代替气泡。

步骤3：标注数据，使得图像缺陷类别分别与缺陷样本标签一一对应；

步骤4：利用改进的YOLOv5算法进行训练，获得检测模型；

步骤5：测试检测模型的识别精度；

步骤6：对所述电子封装外壳引脚双面同步检测系统检测图片进行缺陷识别并输出缺陷类型、计算缺陷尺寸。

17.根据权利要求16所述电子封装外壳引脚双面同步检测系统的缺陷检测方法，其特征在于，所述YOLOv5算法的激活函数为Mish函数。