CN112735969A - Led半导体封装点胶缺陷检测方法、电子设备以及存储介质 - Google Patents
Led半导体封装点胶缺陷检测方法、电子设备以及存储介质 Download PDFInfo
- Publication number
- CN112735969A CN112735969A CN202110361308.9A CN202110361308A CN112735969A CN 112735969 A CN112735969 A CN 112735969A CN 202110361308 A CN202110361308 A CN 202110361308A CN 112735969 A CN112735969 A CN 112735969A
- Authority
- CN
- China
- Prior art keywords
- image
- area
- detected
- defects
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 121
- 239000004065 semiconductor Substances 0.000 title claims abstract description 58
- 238000004806 packaging method and process Methods 0.000 title claims abstract description 41
- 239000003292 glue Substances 0.000 title claims description 28
- 238000003860 storage Methods 0.000 title claims description 22
- 238000001514 detection method Methods 0.000 title description 13
- 238000000034 method Methods 0.000 claims abstract description 60
- 238000013528 artificial neural network Methods 0.000 claims abstract description 34
- 239000000084 colloidal system Substances 0.000 claims description 26
- 230000004913 activation Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 14
- 230000002159 abnormal effect Effects 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 5
- 238000003466 welding Methods 0.000 claims description 4
- 239000013078 crystal Substances 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims 1
- 239000010410 layer Substances 0.000 description 20
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000002085 persistent effect Effects 0.000 description 4
- 239000000853 adhesive Substances 0.000 description 3
- 230000001070 adhesive effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 241001292396 Cirrhitidae Species 0.000 description 2
- 238000004026 adhesive bonding Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000843 powder Substances 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000002355 dual-layer Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
- H01L22/10—Measuring as part of the manufacturing process
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
- H01L22/20—Sequence of activities consisting of a plurality of measurements, corrections, marking or sorting steps
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L33/00—Semiconductor devices having potential barriers specially adapted for light emission; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
- H01L33/48—Semiconductor devices having potential barriers specially adapted for light emission; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof characterised by the semiconductor body packages
- H01L33/52—Encapsulations
Landscapes
- Engineering & Computer Science (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Manufacturing & Machinery (AREA)
- Computer Hardware Design (AREA)
- Power Engineering (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本申请是关于一种LED半导体封装点胶缺陷检测方法。该方法包括：将待检图像输入深度自编码神经网络，输出得到重构图像；计算所述待检图像和所述重构图像对应像素点之间的误差值；根据所述误差值构建残差图像；对所述残差图像进行区域划分，得到K个区域，所述K为大于或等于2的整数；根据所述K个区域的面积确定半导体封装点胶的缺陷类型。本申请提供的方案，通过利用深度自编码神经网络对封装点胶完毕半导体图像进行重构，得到重构图像，利用重构图像与原图像的误差构建仅具有缺陷特征的残差图，通过对残差图中的不同区域的面积的大小即可判断出缺陷的类型，能够快速准确地对LED半导体的封装点胶缺陷进行检测。
Description
技术领域
本申请涉及半导体技术领域，尤其涉及一种LED半导体封装点胶缺陷检测方法、电子设备以及存储介质。
背景技术
LED半导体：发光二极管(Light-emitting diode, 简称LED)，是一种半导体固体发光器件，是利用固体半导体芯片作为发光材料，在半导体中通过载流子发生复合放出过剩的能量而引起光子发射，直接发出红、黄、蓝、绿、青、橙、紫、白色的光。封装点胶是LED半导体生产工序之一，LED芯片放置在LED支架的碗杯内，然后利用自动点胶设备对LED支架的碗杯点胶，以使胶包覆LED芯片，完成点胶的LED支架在放入烤箱进行烘烤，待荧光粉胶成型后，即完成了LED的点胶工艺。因点胶工艺造成的产品外观缺陷有多胶，少胶，气泡，漏焊和表面杂物等。
现有的LED半导体的封装点胶缺陷检测方法一般分为两类：
一类是使用传统算法例如Opencv, halcon中的边缘检测，二值化，灰度统计等算子来实现，此方法如果要达到较好的检测效果，往往要进行大量算子参数的调整与算子流程设计，这样就给非专业算法开发人员例如LED工厂质检员带来不小的设计换型中的困难。反之，如果简化这些传统算法算子和参数，往往无法达到很好的缺陷异常检测效果。
另一类是使用有监督的深度学习方法，例如缺陷分类和目标检测等来识别检测异常缺陷。这种方法不需要质检操作员具备算法的专业知识即可操作，但其最大问题是使用了有监督的深度学习算法，需要大量的（每种缺陷样本至少上千张）缺陷样本，而在LED半导体封装点胶生产现场，大部分缺陷样本都是非常难以收集的，这也给这种缺陷异常检测方法的使用带来了很大的困难。同时，现有使用的一些有监督的分类和目标检测算法，也不能非常准确的标识出异常缺陷的位置和面积大小。
可以看出现有的LED半导体的封装点胶缺陷检测方法都存在着一定的缺点，无法快速准确地对LED半导体的封装点胶缺陷进行检测，为了能快速准确地对LED半导体的封装点胶缺陷进行检测，提出以下方案。
发明内容
为克服相关技术中存在的问题，本申请提供一种LED半导体封装点胶缺陷检测方法，该LED半导体封装点胶缺陷检测方法，能够快速准确地对LED半导体的封装点胶缺陷进行检测。
本申请第一方面提供一种LED半导体封装点胶缺陷检测方法，包括：
将待检图像输入深度自编码神经网络，输出得到重构图像；
计算该待检图像和该重构图像对应像素点之间的误差值；
根据该误差值构建残差图像；
对该残差图像进行区域划分，得到K个区域，该K为大于或等于2的整数；
根据该K个区域的面积确定半导体封装点胶的缺陷类型；
该对该残差图像进行区域划分，得到K个区域包括：
利用OpenCV 开源图形库算法将该待检图像进行区域划分，得到芯片区域、胶体区域和杯壳区域；
利用该芯片区域、该胶体区域和该杯壳区域对该残差图像进行对应位置的区域划分，得到该残差图像上的该芯片区域、该胶体区域和该杯壳区域。
在第一方面的第一种可能实现的方法中，该利用OpenCV 开源图形库算法将该待检图像进行区域划分，得到芯片区域、胶体区域和杯壳区域包括：
将该待检图像转成HSV格式图像，利用InRange算子获取该HSV格式图像的红色mask图像，将该红色mask图像进行二值化得到二值化图像，获取该二值化图像的最大连通域定义为芯片区域；
获取该待检图像的R-B图像，利用积分算子获取该R-B图像的积分图像，利用预设矩形框对该积分图像进行滑动搜索，将该矩形框的四角像素和为最大值所对应的区域定义为胶体区域；
将除该芯片区域和该胶体区域以外的区域定义为杯壳区域。
在第一方面的第二种可能实现的方法，该根据该K个区域的面积确定半导体封装点胶的缺陷类型包括：
确定第一面积，第二面积和第三面积；
比较第一面积和第一面积阈值，若该第一面积大于该第一面积阈值，则判定存在第一类型缺陷；
若该第一面积小于或等于该第一面积阈值，则比较第二面积和第二面积阈值，若该第二面积大于该第二面积阈值，则判定存在第二类型缺陷；
若该第二面积小于或等于该第二面积阈值，则比较第三面积和第三面积阈值，若该第三面积大于该第三面积阈值，则判定存在第三类型缺陷；
该第一面积、该第二面积和该第三面积分别为该杯壳区域的面积、该胶体区域的面积和该芯片区域的面积，该第一类型缺陷包括白边缺陷和溢胶缺陷，该第二类型缺陷包括少胶缺陷和多胶缺陷，该第三类型缺陷包括漏焊缺陷和叠晶缺陷。
在第一方面的第三种可能实现的方法中，该将待检图像输入深度自编码神经网络之前，还包括：
利用正常样品图像训练该深度自编码神经网络，该正常样品图像为无封装点胶缺陷的LED半导体产品图像。
在第一方面的第四种可能实现的方法中，该深度自编码神经网络包括编码模块和解码模块；
该编码模块包括N组级联的卷积层和激活层的组合，和一个全连接层，该N为大于等于5的整数；
该解码模块包括M组级联的逆卷积层，卷积层和激活层的组合，该M为大于等于5的整数；
该激活层采用LeakyRelu激活函数或sigmoid激活函数。
在第一方面的第五种可能实现的方法中，该计算该待检图像和该重构图像对应像素点之间的误差值包括：利用PSNR峰值信噪比公式计算该待检图像和该重构图像对应像素点之间像素值的误差值；
该误差值为该对应像素点之间像素值的均方误差相对于
的对数值，该h为图像的比特数。
结合第一方面的第五种可能实现的方法，在第六种可能实现的方法中，该PSNR峰值信噪比公式为：
其中PSNR为峰值信噪比，MSE为均方误差；
该均方误差的计算公式为：
其中m为该待检图像或该重构图像的宽，n为该待检图像或该重构图像的高，
和
为该待检图像和该重构图像上对应像素点的像素值，i为图像中像素点的横坐标，j为图像中像素点的纵坐标。
结合第一方面的第六种可能实现的方法，在第七种可能实现的方法中，该根据该误差值构建残差图像包括：
将该误差值进行大小排序，得到排序结果；
用分位数阈值将该排序结果划分为正常值和异常值；
根据该正常值和该异常值对应的像素点进行二值化处理，得到残差图像。
本申请第二方面提供一种电子设备，包括：
处理器；以及
存储器，其上存储有可执行代码，当该可执行代码被该处理器执行时，使该处理器执行如上该的方法。
本申请第三方面提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当该可执行代码被电子设备的处理器执行时，使该处理器执行如上该的方法。
本申请提供的技术方案可以包括以下有益效果：
本方案通过将待检图像输入深度自编码神经网络，输出得到重构图像；计算该待检图像和该重构图像对应像素点之间的误差值；根据该误差值构建残差图像；对该残差图像进行区域划分，得到K个区域，该K为大于或等于2的整数；根据该K个区域的面积确定半导体封装点胶的缺陷类型。本申请提供的方案，通过利用深度自编码神经网络对封装点胶完毕半导体图像进行重构，得到重构图像，利用重构图像与原图像的误差构建仅具有缺陷特征的残差图，通过对残差图中的不同区域的面积的大小即可判断除缺陷的类型，能够快速准确地对LED半导体的封装点胶缺陷进行检测。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。
图1是本申请实施例示出的LED半导体封装点胶缺陷检测方法的流程示意图；
图2是本申请实施例示出的LED半导体封装点胶缺陷检测方法的另一流程示意图；
图3是本申请实施例示出的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的优选实施方式。虽然附图中显示了本申请的优选实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
现有的半导体封装点胶缺陷检测方法中，若采用传统算法进行检测如Opencv,halcon中的边缘检测，需要进行大量的参数调整，而采用有监督的深度学习方法进行检测则需要大量的缺陷样本进行神经网络训练，而缺陷样本难搜集。可看出两种方法够存在着一定的缺陷造成无法快速准确地对LED半导体的封装点胶缺陷进行检测。
针对上述问题，本申请实施例提供一种LED半导体封装点胶缺陷检测方法，能够快速准确地对LED半导体的封装点胶缺陷进行检测。
以下结合附图详细描述本申请实施例的技术方案。
图1是本申请实施例示出的LED半导体封装点胶缺陷检测方法的流程示意图。
参见图1，本申请实施例中LED半导体封装点胶缺陷检测方法的一个实施例包括：
101.将待检图像输入深度自编码神经网络，输出得到重构图像；
待检图像为需要进行缺陷检测的已封装点胶完成的LED半导体图像，封装点胶是LED半导体生产工序之一，封装点胶的过程为将LED芯片放置在LED支架的碗杯内，然后利用自动点胶设备对LED支架的碗杯点胶，以使胶包覆LED芯片，完成点胶的LED支架在放入烤箱进行烘烤，待荧光粉胶成型后，即完成了LED的点胶工艺。
深度自编码神经网络是一类无监督学习的神经网络，其功能是通过输入信息作为学习目标，对输入信息进行表征学习，将输入复制到输出。本申请实施例中的深度自编码神经网络是用无封装点胶缺陷的LED半导体图像训练得到。
重构图像为深度自编码神经网络的输出，重构图像的大小与待检图像的大小一致。因为神经网络的训练样本是无封装点胶缺陷的LED半导体图像，所以神经网络不对待检图像的缺陷部分的图像进行重构，所以重构图像不包含封装点胶缺陷的特征信息。
102. 计算所述待检图像和所述重构图像对应像素点之间的误差值；
本申请实施例中，根据步骤101可知，若待检图像是存在封装点胶缺陷的，那么重构图像中将不包含封装点胶缺陷的特征信息，具体体现在待检图像和重构图像部分对应像素点的像素值存在差异。该步骤是计算待检图像和重构图像之间每个对应像素点之间的像素值误差值。
103. 根据所述误差值构建残差图像；
残差图像是根据待检图像和重构图像对应像素点的误差值构建，其大小与待检图像和重构图像一致。较大的误差值所对应的像素点位置即可理解为封装点胶缺陷存在的位置，通过将较大误差值对应的像素点和较小误差值对应像素点在残差图中分别用不同颜色进行表达即可得到残差图像。
104. 对所述残差图像进行区域划分，得到K个区域，所述K为大于或等于2的整数；
本申请实施例中，将步骤103中得到的残差图像进行区域划分，如芯片在残差图像中的对应区域划分为芯片区域，存在胶体的区域划分为胶体区域。
105. 根据所述K个区域的面积确定半导体封装点胶的缺陷类型；
本申请实施例中通过为不同区域设定一个面积阈值，面积阈值根据正常产品图像中各个区域的面积大小而设定，通过将残差图像中不同区域的面积和对应的面积阈值进行比较，根据比较得到的结果即可判断出封装点胶的缺陷类型。如若胶体区域的面积大于对应的面积阈值，即可判定LED半导体存在少胶或多胶的缺陷。
本方案通过将待检图像输入深度自编码神经网络，输出得到重构图像；计算待检图像和重构图像对应像素点之间的误差值；根据误差值构建残差图像；对残差图像进行区域划分，得到K个区域， K为大于或等于2的整数；根据K个区域的面积确定半导体封装点胶的缺陷类型。通过利用通过无监督训练得到的深度自编码神经网络对封装点胶完毕半导体图像进行重构，得到重构图像，利用重构图像与原图像的误差构建仅具有缺陷特征的残差图，通过对残差图中的不同区域的面积的大小即可判断除缺陷的类型，无需进行调参无需大量缺陷样本进行训练，能够快速准确地对LED半导体的封装点胶缺陷进行检测。
为了便于理解，以下提供了LED半导体封装点胶缺陷检测方法的一个应用实施例进行说明，请参与图2，本申请实施例中LED半导体封装点胶缺陷检测方法的一个实施例包括:
本申请实施例将示出实现LED半导体封装点胶缺陷检测方法中所用的具体算法。
201. 利用正常样品图像训练所述深度自编码神经网络，所述正常样品图像为无封装点胶缺陷的LED半导体产品图像；
本申请实施例中，利用少量的无封装点胶缺陷的LED半导体产品图像对深度自编码神经网络进行训练，使得该神经网络能对无缺陷的图像进行有效特征提取，将输入高效地“复制”到输出，同时保证了该神经网络只对图像中无缺陷的区域进行“复制”。
202. 将待检图像输入深度自编码神经网络，输出得到重构图像；
深度自编码神经网络包括编码模块和解码模块；编码模块包括N组级联的卷积层和激活层的组合，和一个全连接层，N为大于等于5的整数；解码模块包括M组级联的逆卷积层，卷积层和激活层的组合，M为大于等于5的整数；激活层采用LeakyRelu激活函数或sigmoid激活函数。编码模块和解码模块之间通过反向传播更新神经网络的权重。
进一步地，为了确保深度自编码神经网络输入和输出的图像的维度都为256*256，将解码模块设计成具有9个卷积模块和一个全连接层，每个卷积模块包含一个卷积层和一个激活层，解码模块相关参数如下表：
将解码模块设计成具有6个逆卷积层，3个卷积层和一个激活层，解码模块的相关参数如下表:
203.计算所述待检图像和所述重构图像对应像素点之间的误差值；
利用PSNR峰值信噪比公式计算待检图像和重构图像对应像素点之间像素值的误差值；误差值为对应像素点之间像素值的均方误差相对于
的对数值，h为图像的比特数。
PSNR峰值信噪比公式为：
其中PSNR为峰值信噪比，MSE为均方误差；
均方误差的计算公式为：
其中m为待检图像或重构图像的宽，n为待检图像或重构图像的高，
和
为待检图像和重构图像上对应像素点的像素值，i为图像中像素点的横坐标，j为图像中像素点的纵坐标。
本申请实施例中，因为图像的宽为m，图像的高为n，所以会有m*n个像素点，用PSNR为峰值信噪比公式计算得到m*n个误差值。
204. 根据所述误差值构建残差图像；
将误差值进行大小排序，得到排序结果；用分位数阈值将排序结果划分为正常值和异常值；根据正常值和异常值对应的像素点进行二值化处理，得到残差图像。
本申请实施例中，将步骤203得到的m*n个误差值从大到小进行排序，用98分位数阈值对排序结果进行划分，将排序前98%的误差值划分为正常值，将排序后2%的误差值划分为异常值，然后令正常值在残差图像上的对应像素点的灰度值为0，即表现为黑色，令异常值在残差图像上的对应像素点的灰度值为255，即表现为白色，从而达到残差图像。
205. 对所述残差图像进行区域划分，得到3个区域；
因为残差图像中只包含了缺陷的特征信息，无法提供有效的信息进行划分，所以先利用OpenCV 开源图形库算法将待检图像进行区域划分，得到芯片区域、胶体区域和杯壳区域在待检图像中的对应坐标；因为残差图像的大小等于待检图像的大小所以坐标可以通用，将在待检图像中得到的芯片区域、胶体区域和杯壳区域的坐标对残差图像进行对应位置的区域划分，得到残差图像上的芯片区域、胶体区域和杯壳区域。
利用OpenCV 开源图形库算法将待检图像进行区域划分，得到芯片区域的步骤为：将待检图像转成HSV格式图像，利用InRange算子获取HSV格式图像的红色mask图像，将红色mask图像进行二值化得到二值化图像，获取二值化图像的最大连通域定义为芯片区域；
OpenCV 的全称 Open Source Computer Vision Library，是一个基于BSD许可开源发行的跨平台计算机视觉库,又名“开源计算机视觉库”，它由一系列 C 函数和少量 C++类构成，实现了图像处理和计算机视觉方面的很多通用算法。 OpenCV 拥有包括 300 多个C函数的跨平台的中、高层 API；
HSV：Hue, Saturation, Value是根据颜色的直观特性由A. R. Smith在1978年创建的一种颜色空间, 也称六角锥体模型。这个模型中颜色的参数分别是：色调（H），饱和度（S），明度（V）；
利用InRange算子获取红色mask图像的步骤为:设定一个阈值区间，令阈值区间内的图像值变成255，阈值区间外的图像值变成0，得到红色mask图像。
利用OpenCV 开源图形库算法将待检图像进行区域划分，得到胶体区域的步骤为：获取待检图像的R-B图像，利用积分算子获取R-B图像的积分图像，利用预设矩形框对积分图像进行滑动搜索，将矩形框的四角像素和为最大值所对应的区域定义为胶体区域，矩形框的宽和高根据预设的胶体区域的宽和高设定，预设的胶体区域的宽和高根据生产工艺要求设定；
R-B图像的获取过程为：用split函数将待检图像分成三个通道保存到RGB数组中，然后用R通道减去B通道后得到R-B图像；
四角像素和为矩形框的四个角对应的像素点的像素值的和。
最后将除芯片区域和胶体区域以外的区域定义为杯壳区域得到杯壳区域。
206. 根据所述3个区域的面积确定半导体封装点胶的缺陷类型；
本申请实施例中，通过区域的面积确定缺陷类型的判断逻辑为：先确定第一面积：残差图像上的杯壳区域的面积的大小，第二面积：残差图像上的胶体区域的面积的大小，第三面积：残差图像上的芯片区域的面积的大小；比较第一面积和第一面积阈值，若第一面积大于第一面积阈值，则判定存在第一类型缺陷；若第一面积小于或等于第一面积阈值，则比较第二面积和第二面积阈值，若第二面积大于第二面积阈值，则判定存在第二类型缺陷；若第二面积小于或等于第二面积阈值，则比较第三面积和第三面积阈值，若第三面积大于第三面积阈值，则判定存在第三类型缺陷；，第一类型缺陷包括白边缺陷和溢胶缺陷，第二类型缺陷包括少胶缺陷和多胶缺陷，第三类型缺陷包括漏焊缺陷和叠晶缺陷。第一面积阈值是为杯壳区域的面积预设的面积阈值，一般将该阈值设定为5*5个像素点；第二面积阈值是为胶体区域的面积预设的面积阈值，一般将该阈值设定为50*40个像素点；第三面积阈值是为芯片区域的面积预设的面积阈值，一般将该阈值设定为20*30个像素点。
应当理解的是：在进行区域划分的时候已经得到了不同区域的坐标，也就得到了缺陷的位置，即检测该方法不仅确定了缺陷的类型也确定了缺陷的位置；同时可以通过更改区域的划分方法和区域面积的预设阈值来是实现更多缺陷的检测，如气泡和表面杂物等。
本方案通过利用正常样品图像训练所述深度自编码神经网络，将待检图像输入深度自编码神经网络，输出得到重构图像，计算所述待检图像和所述重构图像对应像素点之间的误差值，根据所述误差值构建残差图像，对所述残差图像进行区域划分，得到3个区域，根据所述3个区域的面积确定半导体封装点胶的缺陷类型。本方案使用了无监督训练得到的深度自编码神经网络对图像进行重构，训练神经网络只需采用少量无封装点胶缺陷的产品图像即可；同时使用峰值信噪比算法，能够准确地以像素点为单位识别出异常待检图像上的缺陷存在区域和缺陷区域的大小，从而得到缺陷的类型，使用检测区域定位算法和可供修改的判断逻辑，可以准确，灵活地识别分类出各种缺陷的类型。
与前述应用功能实现方法实施例相对应，本申请还提供了一种LED半导体封装点胶缺陷检测电子设备及相应的实施例。
图3是本申请实施例示出的电子设备的结构示意图。
参见图3，电子设备301包括存储器302和处理器303。
处理器303可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器302可以包括各种类型的存储单元，例如系统内存、只读存储器（ROM），和永久存储装置。其中，ROM可以存储处理器303或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置（例如磁或光盘、闪存）作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备（例如软盘、光驱）。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器302可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片（DRAM，SRAM，SDRAM，闪存，可编程只读存储器），磁盘和/或光盘也可以采用。在一些实施方式中，存储器302可以包括可读和/或写的可移除的存储设备，例如激光唱片（CD）、只读数字多功能光盘（例如DVD-ROM，双层DVD-ROM）、只读蓝光光盘、超密度光盘、闪存卡（例如SD卡、min SD卡、Micro-SD卡等等）、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器302上存储有可执行代码，当可执行代码被处理器303处理时，可以使处理器303执行上文述及的方法中的部分或全部。
上文中已经参考附图详细描述了本申请的方案。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。本领域技术人员也应该知悉，说明书中所涉及的动作和模块并不一定是本申请所必须的。另外，可以理解，本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减， 本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。
此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者，本申请还可以实施为一种非暂时性机器可读存储介质（或计算机可读存储介质、或机器可读存储介质），其上存储有可执行代码（或计算机程序、或计算机指令代码），当所述可执行代码（或计算机程序、或计算机指令代码）被电子设备（或电子设备、服务器等）的处理器执行时，使所述处理器执行根据本申请的上述方法的各个步骤的部分或全部。
本领域技术人员还将明白的是，结合这里的申请所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
附图中的流程图和框图显示了根据本申请的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (10)
1.一种LED半导体封装点胶缺陷检测方法，其特征在于，包括：
将待检图像输入深度自编码神经网络，输出得到重构图像；
计算所述待检图像和所述重构图像对应像素点之间的误差值；
根据所述误差值构建残差图像；
对所述残差图像进行区域划分，得到K个区域，所述K为大于或等于2的整数；
根据所述K个区域的面积确定半导体封装点胶的缺陷类型；
所述对所述残差图像进行区域划分，得到K个区域包括：
利用OpenCV 开源图形库算法将所述待检图像进行区域划分，得到芯片区域、胶体区域和杯壳区域；
利用所述芯片区域、所述胶体区域和所述杯壳区域对所述残差图像进行对应位置的区域划分，得到所述残差图像上的所述芯片区域、所述胶体区域和所述杯壳区域。
2.根据权利要求1所述的一种LED半导体封装点胶缺陷检测方法，其特征在于，所述利用OpenCV 开源图形库算法将所述待检图像进行区域划分，得到芯片区域、胶体区域和杯壳区域包括：
将所述待检图像转成HSV格式图像，利用InRange算子获取所述HSV格式图像的红色mask图像，将所述红色mask图像进行二值化得到二值化图像，获取所述二值化图像的最大连通域定义为芯片区域；
获取所述待检图像的R-B图像，利用积分算子获取所述R-B图像的积分图像，利用预设矩形框对所述积分图像进行滑动搜索，将所述矩形框的四角像素和为最大值所对应的区域定义为胶体区域；
将除所述芯片区域和所述胶体区域以外的区域定义为杯壳区域。
3.根据权利要求1所述的一种LED半导体封装点胶缺陷检测方法，其特征在于，所述根据所述K个区域的面积确定半导体封装点胶的缺陷类型包括：
确定第一面积，第二面积和第三面积；
比较第一面积和第一面积阈值，若所述第一面积大于所述第一面积阈值，则判定存在第一类型缺陷；
若所述第一面积小于或等于所述第一面积阈值，则比较第二面积和第二面积阈值，若所述第二面积大于所述第二面积阈值，则判定存在第二类型缺陷；
若所述第二面积小于或等于所述第二面积阈值，则比较第三面积和第三面积阈值，若所述第三面积大于所述第三面积阈值，则判定存在第三类型缺陷；
所述第一面积、所述第二面积和所述第三面积分别为所述杯壳区域的面积、所述胶体区域的面积和所述芯片区域的面积，所述第一类型缺陷包括白边缺陷和溢胶缺陷，所述第二类型缺陷包括少胶缺陷和多胶缺陷，所述第三类型缺陷包括漏焊缺陷和叠晶缺陷。
4.根据权利要求1所述的一种LED半导体封装点胶缺陷检测方法，其特征在于，所述将待检图像输入深度自编码神经网络之前，还包括：
利用正常样品图像训练所述深度自编码神经网络，所述正常样品图像为无封装点胶缺陷的LED半导体产品图像。
5.根据权利要求1所述的一种LED半导体封装点胶缺陷检测方法，其特征在于，所述深度自编码神经网络包括编码模块和解码模块；
所述编码模块包括N组级联的卷积层和激活层的组合，和一个全连接层，所述N为大于等于5的整数；
所述解码模块包括M组级联的逆卷积层，卷积层和激活层的组合，所述M为大于等于5的整数；
所述激活层采用LeakyRelu激活函数或sigmoid激活函数。
6.根据权利要求1所述的一种LED半导体封装点胶缺陷检测方法，其特征在于，所述计算所述待检图像和所述重构图像对应像素点之间的误差值包括：利用PSNR峰值信噪比公式计算所述待检图像和所述重构图像对应像素点之间像素值的误差值；
所述误差值为所述对应像素点之间像素值的均方误差相对于
的对数值，所述h为图像的比特数。
7.根据权利要求6所述的一种LED半导体封装点胶缺陷检测方法，其特征在于，所述PSNR峰值信噪比公式为：
其中PSNR为峰值信噪比，MSE为均方误差；
所述均方误差的计算公式为：
其中m为所述待检图像或所述重构图像的宽，n为所述待检图像或所述重构图像的高，
和
为所述待检图像和所述重构图像上对应像素点的像素值，i为图像中像素点的横坐标，j为图像中像素点的纵坐标。
8.根据权利要求7所述的一种LED半导体封装点胶缺陷检测方法，其特征在于，所述根据所述误差值构建残差图像包括：
将所述误差值进行大小排序，得到排序结果；
用分位数阈值将所述排序结果划分为正常值和异常值；
根据所述正常值和所述异常值对应的像素点进行二值化处理，得到残差图像。
9.一种电子设备，其特征在于，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-8中任一项所述的方法。
10.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1-9中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110361308.9A CN112735969B (zh) | 2021-04-02 | 2021-04-02 | Led半导体封装点胶缺陷检测方法、电子设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110361308.9A CN112735969B (zh) | 2021-04-02 | 2021-04-02 | Led半导体封装点胶缺陷检测方法、电子设备以及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112735969A true CN112735969A (zh) | 2021-04-30 |
| CN112735969B CN112735969B (zh) | 2021-08-06 |
Family
ID=75596447
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110361308.9A Active CN112735969B (zh) | 2021-04-02 | 2021-04-02 | Led半导体封装点胶缺陷检测方法、电子设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112735969B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113484325A (zh) * | 2021-07-05 | 2021-10-08 | 广东奥普特科技股份有限公司 | 一种晶圆点胶缺陷检测装置及晶圆点胶缺陷检测方法 |
| CN114359393A (zh) * | 2022-03-17 | 2022-04-15 | 常州铭赛机器人科技股份有限公司 | 跨平台的视觉引导点胶引导方法 |
| CN115376952A (zh) * | 2022-10-25 | 2022-11-22 | 江西兆驰半导体有限公司 | Led晶圆测试与封装对校方法 |
| CN115900829A (zh) * | 2022-12-19 | 2023-04-04 | 深圳明锐理想科技有限公司 | 一种led检测方法、装置及其电子设备 |
| CN116046791A (zh) * | 2023-03-30 | 2023-05-02 | 深圳市元硕自动化科技有限公司 | 点胶缺陷检测方法及检测装置 |
| CN117577759A (zh) * | 2024-01-17 | 2024-02-20 | 深圳市极光光电有限公司 | 一种led封装设备智能控制方法及系统 |
| CN115900829B (zh) * | 2022-12-19 | 2024-06-04 | 深圳明锐理想科技股份有限公司 | 一种led检测方法、装置及其电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104157588A (zh) * | 2014-08-11 | 2014-11-19 | 东南大学 | Sot封装类芯片引脚三维尺寸缺陷并行检测方法 |
| CN107831169A (zh) * | 2017-10-26 | 2018-03-23 | 南京矽邦半导体有限公司 | 一种基于机器视觉的半导体封装缺陷检测系统的设计方法 |
| CN108198766A (zh) * | 2017-12-29 | 2018-06-22 | 英特尔产品（成都）有限公司 | 芯片封装缺陷自动识别和处理方法、系统及存储设备 |
| CN111476758A (zh) * | 2020-03-12 | 2020-07-31 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | Amoled显示屏的缺陷检测方法、装置、计算机设备及存储介质 |
-
2021
- 2021-04-02 CN CN202110361308.9A patent/CN112735969B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104157588A (zh) * | 2014-08-11 | 2014-11-19 | 东南大学 | Sot封装类芯片引脚三维尺寸缺陷并行检测方法 |
| CN107831169A (zh) * | 2017-10-26 | 2018-03-23 | 南京矽邦半导体有限公司 | 一种基于机器视觉的半导体封装缺陷检测系统的设计方法 |
| CN108198766A (zh) * | 2017-12-29 | 2018-06-22 | 英特尔产品（成都）有限公司 | 芯片封装缺陷自动识别和处理方法、系统及存储设备 |
| CN111476758A (zh) * | 2020-03-12 | 2020-07-31 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | Amoled显示屏的缺陷检测方法、装置、计算机设备及存储介质 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113484325A (zh) * | 2021-07-05 | 2021-10-08 | 广东奥普特科技股份有限公司 | 一种晶圆点胶缺陷检测装置及晶圆点胶缺陷检测方法 |
| CN114359393A (zh) * | 2022-03-17 | 2022-04-15 | 常州铭赛机器人科技股份有限公司 | 跨平台的视觉引导点胶引导方法 |
| CN114359393B (zh) * | 2022-03-17 | 2022-05-17 | 常州铭赛机器人科技股份有限公司 | 跨平台的视觉引导点胶引导方法 |
| CN115376952A (zh) * | 2022-10-25 | 2022-11-22 | 江西兆驰半导体有限公司 | Led晶圆测试与封装对校方法 |
| CN115900829A (zh) * | 2022-12-19 | 2023-04-04 | 深圳明锐理想科技有限公司 | 一种led检测方法、装置及其电子设备 |
| CN115900829B (zh) * | 2022-12-19 | 2024-06-04 | 深圳明锐理想科技股份有限公司 | 一种led检测方法、装置及其电子设备 |
| CN116046791A (zh) * | 2023-03-30 | 2023-05-02 | 深圳市元硕自动化科技有限公司 | 点胶缺陷检测方法及检测装置 |
| CN117577759A (zh) * | 2024-01-17 | 2024-02-20 | 深圳市极光光电有限公司 | 一种led封装设备智能控制方法及系统 |
| CN117577759B (zh) * | 2024-01-17 | 2024-04-09 | 深圳市极光光电有限公司 | 一种led封装设备智能控制方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112735969B (zh) | 2021-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112735969B (zh) | Led半导体封装点胶缺陷检测方法、电子设备以及存储介质 | |
| CN109829914B (zh) | 检测产品缺陷的方法和装置 | |
| JP6879431B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| TWI681183B (zh) | 熱點缺陷檢測方法及熱點缺陷檢測系統 | |
| JP5458905B2 (ja) | 画像におけるシャドーの検知装置および検知方法 | |
| US7800661B2 (en) | Programmable pattern matching device | |
| CN111627009A (zh) | 一种屏幕检测方法、装置及头戴显示设备 | |
| US20060251322A1 (en) | Color fringe desaturation for electronic imagers | |
| GB2550259B (en) | Learned feature motion detection | |
| CN111311556B (zh) | 手机缺陷位置识别方法及设备 | |
| KR102559021B1 (ko) | 불량 이미지 생성 장치 및 방법 | |
| CN111325717B (zh) | 手机缺陷位置识别方法及设备 | |
| US11908106B2 (en) | Processing received pixel values in an image processing system using pixel value subset groups | |
| US10924695B2 (en) | Processing received pixel values in an image processing system using pixel subset average values of grouped subsets | |
| US8547430B2 (en) | System and method for marking discrepancies in image of object | |
| US9628659B2 (en) | Method and apparatus for inspecting an object employing machine vision | |
| US9578320B1 (en) | Methods and apparatus for defect correction in image sensor outputs | |
| US11144794B2 (en) | Systems and methods for processing a stream of data values using data value subset groups | |
| US11823361B2 (en) | Image processing | |
| US7970235B1 (en) | Automatic replacement of undesirable pixels in an image | |
| CN114494116A (zh) | 器件边缘的检测方法、装置、存储介质及电子设备 | |
| CN112183158B (zh) | 一种谷物烹饪设备的谷物种类识别方法和谷物烹饪设备 | |
| CN109690750B (zh) | 用于散焦检测的方法、非暂时性计算机可读媒体和系统 | |
| CN117522869B (zh) | 图像处理方法和缺陷检测方法、系统、电子设备 | |
| CN116612146B (zh) | 图像处理方法、装置、电子设备以及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 215163 rooms 101, 102, 901 and 902, floor 1, building 11, 198 Jialingjiang Road, high tech Zone, Suzhou City, Jiangsu Province Applicant after: Gaoshi Technology (Suzhou) Co.,Ltd. Address before: 516000 West Side of the 4th Floor of CD Building, No. 2 South Road, Huatai Road, Huiao Avenue, Huizhou City, Guangdong Province Applicant before: HUIZHOU GOVION TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20210430 Assignee: Suzhou Gaoshi Semiconductor Technology Co.,Ltd. Assignor: Gaoshi Technology (Suzhou) Co.,Ltd. Contract record no.: X2021990000430 Denomination of invention: LED semiconductor package dispensing defect detection method, electronic equipment and storage medium License type: Common License Record date: 20210722 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| CP03 | Change of name, title or address |
Address after: 215129 Rooms 101, 102, 901, 902, Floor 9, Building 11, No. 198, Jialing River Road, High tech Zone, Suzhou City, Jiangsu Province Patentee after: Gaoshi Technology (Suzhou) Co.,Ltd. Address before: 215163 rooms 101, 102, 901 and 902, floor 1, building 11, 198 Jialingjiang Road, high tech Zone, Suzhou City, Jiangsu Province Patentee before: Gaoshi Technology (Suzhou) Co.,Ltd. |
|
| CP03 | Change of name, title or address |