CN115015286A - 基于机器视觉的芯片检测方法及系统 - Google Patents

Abstract

本发明公开了基于机器视觉的芯片检测方法及系统，涉及芯片检测技术领域，包括图像采集模块、增益调节模块、芯片检测模块以及信号分析模块；所述增益调节模块用于对图像采集模块采集的图像信息进行滤波增益处理，降低信噪比，减少图像噪点；从而提高芯片检测的准确性；所述芯片检测模块用于将接收到图像信息代入检测模型M，进行芯片缺陷识别；用深度学习识别算法代替传统人工识别，统一检测标准使得芯片质量得以保证；所述信号分析模块用于根据云平台存储的增益调整记录进行信号偏离系数分析；若信号偏离系数大于偏离阈值，则生成通信异常信号；以提醒管理员当前噪声信号干扰严重，拍摄的图像品质不佳，建议尽快处理，提高芯片检测精度。

Description

基于机器视觉的芯片检测方法及系统

技术领域

本发明涉及芯片检测技术领域，具体是基于机器视觉的芯片检测方法及系统。

背景技术

随着芯片的应用范围及功能特性的增强，芯片在越来越多的领域得到较为广泛的应用，如工业、航空航天、军事或者汽车轮船等领域；随着芯片产量的提高，需要对芯片的质量进行检测；

电子元器件集成化和微型化的发展趋势使得芯片的生产制造工艺日趋复杂，受设备、环境和人为失误等因素影响，芯片生产中会存在短路、断路、划痕、孔洞等影响产品性能的缺陷。基于计算机视觉的检测技术以其非接触、响应速度快等优点成为芯片检测技术的热点，但是机器视觉主要用图像采集设备来模拟人的视觉功能，获取客观图像，从图像中提取数据，进行处理并加以理解；当存在噪声信号影响时，容易造成图像模糊，影响芯片检测的准确性；为此，我们提出基于机器视觉的芯片检测方法及系统。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一，为此，本发明提出基于机器视觉的芯片检测方法及系统。

为实现上述目的，根据本发明的第一方面的实施例提出基于机器视觉的芯片检测系统，包括光源模块、图像采集模块、增益调节模块、控制器、芯片检测模块以及信号分析模块；

所述光源模块用于对芯片进行平行无影光照射；所述图像采集模块由多组光学镜头组成，用于从各个角度采集芯片的图像信息；

所述增益调节模块用于对图像采集模块采集的图像信息进行滤波增益处理，并将处理后图像信息传输至芯片检测模块；具体为：

将接收到的图像信息转化为数字信号，对转化后的数字信号进行滤波，获取数字信号幅值信息；判断对应幅值信息是否需要调节；所述增益调节模块用于将每幅图像信息的增益调整时长以及对应调整的幅值个数进行融合，形成增益调整记录；并将增益调整记录打上时间戳存储至云平台；

所述芯片检测模块用于将接收到图像信息代入检测模型M，进行芯片缺陷识别并获取识别结果；当识别出芯片缺陷时，生成不合格信号；

所述信号分析模块用于根据云平台存储的增益调整记录进行信号偏离系数分析；若信号偏离系数XP大于偏离阈值，则生成通信异常信号；以提醒管理员当前噪声信号干扰严重，建议尽快处理。

进一步地，其中，判断对应幅值信息是否需要调节的具体过程为：

按照预设的采集间隔时长采集数字信号的幅值信息，生成幅值信息组ZFm；计算m个幅值信息的平均幅值为ZFavg；遍历幅值信息组ZFm，得到ZFmax和ZFmin；其中m≥8；ZFmax为最大值；ZFmin为最小值；

利用公式Z1=ZFmax+(ZFmax-ZFavg)׃计算得到振幅最高预警值Z1；利用公式Z2=ZFmin-(ZFavg-ZFmin)׃计算得到振幅最低预警值Z2；其中ƒ为预警阈值；获取第m+1个幅值信息；并标记为ZF(m+1)；

若ZF(m+1)≥Z1或ZF(m+1)≤Z2，则生成调节信号；否则，生成正常信号；当接收到调节信号时，所述增益调节模块通过控制可编程增益放大电路对数字信号进行增益调整，将数字信号的幅值调节至振幅最低预警值Z2与振幅最高预警值Z1之间；然后令m=m+1，依此类推。

进一步地，所述芯片检测模块用于将不合格信号发送至控制器，所述控制器接收到不合格信号后通过生产线的运行时间控制，当不合格芯片到达剔除工位时，控制器控制芯片剔除模块运行，对不合格芯片进行剔除。

进一步地，所述信号分析模块的具体分析步骤为：

在芯片的一个检测周期内；根据时间戳采集所有的增益调整记录；

将每幅图像信息的增益调整时长标记为CTi，将对应调整的幅值个数标记为CLi，利用公式ZXi=CTi×a1+CLi×a2计算得到增益调值ZXi，其中a1、a2为系数因子；若ZXi大于预设增益阈值，则反馈低质信号至信号分析模块；

统计低质信号的出现次数为P1，截取相邻低质信号之间的时间段为低质缓冲时段；统计每个低质缓冲时段内的图像处理幅数为低质缓冲频次Ln；

统计Ln小于缓冲频次阈值的次数为P2，获取对应Ln与缓冲频次阈值的差值并求和得到差缓总值CH；利用公式CS=P2×a3+CH×a4计算得到差缓系数CS，其中a3、a4为系数因子；利用公式

计算得到信号偏离系数XP，其中g1、g2为系数因子。

进一步地，所述信号分析模块用于将通信异常信号发送至控制器，所述控制器接收到通信异常信号后控制报警模块发出警报。

进一步地，芯片检测模块在探测到通信异常信号后，进入主动待机模式，即不再以噪声干扰严重状态下的图像信息来进行芯片检测，待信号分析模块判断信号正常后，再继续二者之间的通信。

进一步地，该系统还包括模型构建模块，所述模型构建模块用于收集不良品图像作为样本训练集，并基于深度学习算法构建检测模型M。

进一步地，基于机器视觉的芯片检测方法，包括：

步骤一：通过光源模块对芯片进行平行无影光照射，通过图像采集模块从各个角度采集芯片的图像信息；

步骤二：通过增益调节模块对图像采集模块采集的图像信息进行滤波增益处理，并将处理后图像信息传输至芯片检测模块；

步骤三：芯片检测模块用于将接收到图像信息代入检测模型M，进行芯片缺陷识别并获取识别结果；当识别出芯片缺陷时，生成不合格信号；

步骤四：在芯片的一个检测周期内，通过信号分析模块根据增益调整记录进行信号偏离系数分析；若信号偏离系数XP大于偏离阈值，则生成通信异常信号；以提醒管理员当前噪声信号干扰严重，建议尽快处理；

步骤五：芯片检测模块在探测到通信异常信号后，进入主动待机模式，即不再以噪声干扰严重状态下的图像信息来进行芯片检测，待信号分析模块判断信号正常后，再继续二者之间的通信。

与现有技术相比，本发明的有益效果是：

1、本发明中增益调节模块用于对图像采集模块采集的图像信息进行滤波增益处理，降低信噪比，减少图像噪点；从而提高芯片检测的准确性；芯片检测模块用于将接收到图像信息代入检测模型M，进行芯片缺陷识别；当识别出芯片缺陷时，生成不合格信号；本发明用深度学习识别算法代替传统人工识别，统一检测标准使得芯片质量得以保证；同时检测速度快，检测精度高；

2、本发明中增益调节模块用于将每幅图像信息的增益调整时长以及对应调整的幅值个数进行融合，得到增益调整记录；信号分析模块用于根据云平台存储的带有时间戳增益调整记录进行信号偏离系数分析，若信号偏离系数XP大于偏离阈值，则生成通信异常信号；以提醒管理员当前噪声信号干扰严重，建议尽快处理；同时芯片检测模块在探测到通信异常信号后，进入主动待机模式，即不再以噪声干扰严重状态下的图像信息来进行芯片检测，待信号分析模块判断信号正常后，再继续二者之间的通信；提高芯片检测精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于机器视觉的芯片检测系统的系统框图。

图2为本发明基于机器视觉的芯片检测方法的原理框图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1至图2所示，基于机器视觉的芯片检测系统，包括光源模块、图像采集模块、增益调节模块、控制器、芯片检测模块、芯片剔除模块、云平台、模型构建模块、信号分析模块以及报警模块；

光源模块用于对芯片进行平行无影光照射，保证芯片检测区域的光亮均匀稳定，无暗纹；好的光源才能使不同材料、不同机器的产品得到高质量、高对比度的图像；

图像采集模块由多组光学镜头组成，用于捕捉芯片，其中光学镜头的方向能够进行调节，从各个角度采集芯片的图像信息；增益调节模块与图像采集模块相连接，用于对图像采集模块采集的图像信息进行滤波增益处理，降低信噪比，减少图像噪点，并将处理后图像信息传输至芯片检测模块；从而提高芯片检测的准确性；

其中，增益调节模块的具体处理步骤为：

S1：将接收到的图像信息转化为数字信号，对转化后的数字信号进行滤波，获取数字信号幅值信息；按照预设的采集间隔时长采集数字信号的幅值信息，生成幅值信息组ZFm；

S2：根据接收到的m个幅值信息计算幅值最高预警值和幅值最低预警值；其中m≥8；具体为：

计算m个幅值信息的平均幅值为ZFavg；遍历幅值信息组ZFm，获取ZFm的最大值标记为ZFmax，获取ZFm的最小值标记为ZFmin；

结合平均幅值ZFavg、最大值ZFmax计算振幅最高预警值Z1；具体计算公式为：Z1=ZFmax+(ZFmax-ZFavg)׃，其中ƒ为预警阈值；

结合平均幅值ZFavg、最小值ZFmin计算振幅最低预警值Z2；具体计算公式为：Z2=ZFmin-(ZFavg-ZFmin)׃；

获取第m+1个幅值信息；并标记为ZF(m+1)；将ZF(m+1)与振幅最高预警值Z1和振幅最低预警值Z2相比较；若ZF(m+1)≥Z1或ZF(m+1)≤Z2，则生成调节信号；否则，生成正常信号；

当接收到调节信号时，增益调节模块通过控制可编程增益放大电路对数字信号进行增益调整，将数字信号的幅值调节至振幅最低预警值Z2与振幅最高预警值Z1之间；然后令m=m+1，依此类推；

增益调节模块用于将每幅图像信息的增益调整时长以及对应调整的幅值个数进行融合，得到增益调整记录，并将增益调整记录打上时间戳存储至云平台；

芯片检测模块用于将接收到图像信息代入检测模型M，进行芯片缺陷识别并获取识别结果；当识别出芯片缺陷时，生成不合格信号；

芯片检测模块用于将不合格信号发送至控制器，控制器接收到不合格信号后通过生产线的运行时间控制，当不合格芯片到达剔除工位时，控制器控制芯片剔除模块运行，对不合格芯片进行剔除；芯片剔除模块为安装于剔除工位正上方的机械手；

本发明采用一键式启动检测，实现自动采集图像、图像处理、芯片检测、数据显示；用深度学习识别算法代替传统人工识别，统一检测标准使得芯片质量得以保证；同时检测速度快，检测精度高；

本发明采用深度学习识别算法，所以前期需要大量收集不良品图像然后进行分类标注，然后构建检测模型M；模型构建模块用于收集不良品图像作为样本训练集，基于样本训练集构建检测模型M并将检测模型M分享至芯片检测模块；具体构建步骤为：

收集不良品图像，不良品表现为存在短路、断路、划痕、孔洞等缺陷；从中选取800张包含不同缺陷的样本图片作为样本训练集，并人工标注出其中的缺陷类型；

搭建ResNet-50深度卷积神经网络模型；其中，ResNet-50深度卷积神经网络模型至少包括一层隐含层；

将样本训练集按照设定比例划分为训练集、测试集和校验集；

通过训练集、测试集和校验集对ResNet-50深度卷积神经网络模型进行训练、测试和校验，将完成训练的ResNet-50深度卷积神经网络模型标记为检测模型M；

信号分析模块与云平台相连接，用于根据云平台存储的带有时间戳增益调整记录进行信号偏离系数分析，具体分析步骤为：

在芯片的一个检测周期内；根据时间戳采集所有的增益调整记录；

将每幅图像信息的增益调整时长标记为CTi，将对应调整的幅值个数标记为CLi，利用公式ZXi=CTi×a1+CLi×a2计算得到增益调值ZXi，其中a1、a2为系数因子；其中增益调值ZXi越大，则表明对应图像信息噪点越多，质量越差；将增益调值ZXi与预设增益阈值相比较；若ZXi大于预设增益阈值，则反馈低质信号至信号分析模块；

统计低质信号的出现次数为P1，截取相邻低质信号之间的时间段为低质缓冲时段；统计每个低质缓冲时段内的图像处理幅数为低质缓冲频次Ln；

将低质缓冲频次Ln与缓冲频次阈值相比较；统计Ln小于缓冲频次阈值的次数为P2；当Ln小于缓冲频次阈值时，获取Ln与缓冲频次阈值的差值并求和得到差缓总值CH；利用公式CS=P2×a3+CH×a4计算得到差缓系数CS，其中a3、a4为系数因子；

利用公式

计算得到信号偏离系数XP，其中g1、g2为系数因子；将信号偏离系数XP与偏离阈值相比较；若XP大于偏离阈值，则判定当前噪声干扰严重，拍摄的图像品质不佳，生成通信异常信号；

信号分析模块用于将通信异常信号发送至控制器，控制器接收到通信异常信号后控制报警模块发出警报，以提醒管理员当前噪声信号干扰严重，建议尽快处理；

同时芯片检测模块在探测到通信异常信号后，进入主动待机模式，即不再以噪声干扰严重状态下的图像信息来进行芯片检测，待信号分析模块判断信号正常后，再继续二者之间的通信；提高芯片检测精度。

基于机器视觉的芯片检测方法，应用于上述芯片检测系统，包括：

步骤一：通过光源模块对芯片进行平行无影光照射，通过图像采集模块从各个角度采集芯片的图像信息；

步骤二：通过增益调节模块对图像采集模块采集的图像信息进行滤波增益处理，并将每幅图像信息的增益调整时长以及对应调整的幅值个数进行融合，得到增益调整记录；然后将处理后图像信息传输至芯片检测模块；

步骤三：芯片检测模块用于将接收到图像信息代入检测模型M，进行芯片缺陷识别并获取识别结果；当识别出芯片缺陷时，生成不合格信号；

其中，当不合格芯片到达剔除工位时，控制器控制芯片剔除模块运行，对不合格芯片进行剔除；

步骤四：在芯片的一个检测周期内，通过信号分析模块根据增益调整记录进行信号偏离系数分析；若信号偏离系数XP大于偏离阈值，则生成通信异常信号；以提醒管理员当前噪声信号干扰严重，建议尽快处理；

步骤五：芯片检测模块在探测到通信异常信号后，进入主动待机模式，即不再以噪声干扰严重状态下的图像信息来进行芯片检测，待信号分析模块判断信号正常后，再继续二者之间的通信。

上述公式均是去除量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最接近真实情况的一个公式，公式中的预设参数和预设阈值由本领域的技术人员根据实际情况设定或者大量数据模拟获得。

本发明的工作原理：

基于机器视觉的芯片检测方法及系统，在工作时，光源模块用于对芯片进行平行无影光照射；图像采集模块用于从各个角度采集芯片的图像信息；增益调节模块用于对图像采集模块采集的图像信息进行滤波增益处理，降低信噪比，减少图像噪点，并将处理后图像信息传输至芯片检测模块；从而提高芯片检测的准确性；芯片检测模块用于将接收到图像信息代入检测模型M，进行芯片缺陷识别；当识别出芯片缺陷时，生成不合格信号；本发明用深度学习识别算法代替传统人工识别，统一检测标准使得芯片质量得以保证；同时检测速度快，检测精度高；

增益调节模块用于将每幅图像信息的增益调整时长以及对应调整的幅值个数进行融合，得到增益调整记录；信号分析模块用于根据云平台存储的带有时间戳增益调整记录进行信号偏离系数分析，若信号偏离系数XP大于偏离阈值，则生成通信异常信号；控制器接收到通信异常信号后控制报警模块发出警报，以提醒管理员当前噪声信号干扰严重，建议尽快处理；同时芯片检测模块在探测到通信异常信号后，进入主动待机模式，即不再以噪声干扰严重状态下的图像信息来进行芯片检测，待信号分析模块判断信号正常后，再继续二者之间的通信；提高芯片检测精度。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (8)

1.基于机器视觉的芯片检测系统，其特征在于，包括光源模块、图像采集模块、增益调节模块、控制器、芯片检测模块以及信号分析模块；

所述光源模块用于对芯片进行平行无影光照射；所述图像采集模块由多组光学镜头组成，用于从各个角度采集芯片的图像信息；

所述增益调节模块用于对图像采集模块采集的图像信息进行滤波增益处理，并将处理后图像信息传输至芯片检测模块；具体为：

将接收到的图像信息转化为数字信号，对转化后的数字信号进行滤波，获取数字信号幅值信息；判断对应幅值信息是否需要调节；

增益调节模块用于将每幅图像信息的增益调整时长和对应调整的幅值个数进行融合形成增益调整记录；并将增益调整记录打上时间戳存储至云平台；

所述芯片检测模块用于将接收到图像信息代入检测模型M，进行芯片缺陷识别并获取识别结果；当识别出芯片缺陷时，生成不合格信号；

所述信号分析模块用于根据云平台存储的增益调整记录进行信号偏离系数分析；若信号偏离系数XP大于偏离阈值，则生成通信异常信号；以提醒管理员当前噪声信号干扰严重，拍摄的图像品质不佳，建议尽快处理。

2.根据权利要求1所述的基于机器视觉的芯片检测系统，其特征在于，其中，判断对应幅值信息是否需要调节的具体过程为：

按照预设的采集间隔时长采集数字信号的幅值信息，生成幅值信息组ZFm；计算m个幅值信息的平均幅值为ZFavg；遍历幅值信息组ZFm，得到ZFmax和ZFmin；其中m≥8；ZFmax为最大值；ZFmin为最小值；

利用公式Z1=ZFmax+(ZFmax-ZFavg)׃计算得到振幅最高预警值Z1；利用公式Z2=ZFmin-(ZFavg-ZFmin)׃计算得到振幅最低预警值Z2；其中ƒ为预警阈值；获取第m+1个幅值信息；并标记为ZF(m+1)；

若ZF(m+1)≥Z1或ZF(m+1)≤Z2，则生成调节信号；否则，生成正常信号；

当接收到调节信号时，所述增益调节模块通过控制可编程增益放大电路对数字信号进行增益调整，将数字信号的幅值调节至振幅最低预警值Z2与振幅最高预警值Z1之间；然后令m=m+1，依此类推。

3.根据权利要求1所述的基于机器视觉的芯片检测系统，其特征在于，所述芯片检测模块用于将不合格信号发送至控制器，所述控制器接收到不合格信号后通过生产线的运行时间控制，当不合格芯片到达剔除工位时，控制器控制芯片剔除模块运行，对不合格芯片进行剔除。

4.据权利要求1所述的基于机器视觉的芯片检测系统，其特征在于，所述信号分析模块的具体分析步骤为：

在芯片的一个检测周期内；根据时间戳采集所有的增益调整记录；

将每幅图像信息的增益调整时长标记为CTi，将对应调整的幅值个数标记为CLi，利用公式ZXi=CTi×a1+CLi×a2计算得到增益调值ZXi，其中a1、a2为系数因子；若ZXi大于预设增益阈值，则反馈低质信号至信号分析模块；

统计低质信号的出现次数为P1，截取相邻低质信号之间的时间段为低质缓冲时段；统计每个低质缓冲时段内的图像处理幅数为低质缓冲频次Ln；

统计Ln小于缓冲频次阈值的次数为P2，获取对应Ln与缓冲频次阈值的差值并求和得到差缓总值CH；利用公式CS=P2×a3+CH×a4计算得到差缓系数CS，其中a3、a4为系数因子；利用公式

计算得到信号偏离系数XP，其中g1、g2为系数因子。

5.根据权利要求4所述的基于机器视觉的芯片检测系统，其特征在于，所述信号分析模块用于将通信异常信号发送至控制器，所述控制器接收到通信异常信号后控制报警模块发出警报。

6.根据权利要求4所述的基于机器视觉的芯片检测系统，其特征在于，芯片检测模块在探测到通信异常信号后，进入主动待机模式，即不再以噪声干扰严重状态下的图像信息来进行芯片检测，待信号分析模块判断信号正常后，再继续二者之间的通信。

7.根据权利要求1所述的基于机器视觉的芯片检测系统，其特征在于，该系统还包括模型构建模块，所述模型构建模块用于收集不良品图像作为样本训练集，并基于深度学习算法构建检测模型M。

8.基于机器视觉的芯片检测方法，应用于如权利要求1-7任一所述的基于机器视觉的芯片检测系统，其特征在于，包括：

步骤一：通过光源模块对芯片进行平行无影光照射，通过图像采集模块从各个角度采集芯片的图像信息；

步骤二：通过增益调节模块对图像采集模块采集的图像信息进行滤波增益处理，并将处理后图像信息传输至芯片检测模块；

步骤三：芯片检测模块用于将接收到图像信息代入检测模型M，进行芯片缺陷识别并获取识别结果；当识别出芯片缺陷时，生成不合格信号；

步骤四：在芯片的一个检测周期内，通过信号分析模块根据增益调整记录进行信号偏离系数分析；若信号偏离系数XP大于偏离阈值，则生成通信异常信号；以提醒管理员当前噪声信号干扰严重，建议尽快处理；

步骤五：芯片检测模块在探测到通信异常信号后，进入主动待机模式，即不再以噪声干扰严重状态下的图像信息来进行芯片检测，待信号分析模块判断信号正常后，再继续二者之间的通信。

Images