CN116958065A - 一种基于滑动窗口亲和力的芯片载体封装漏装检测方法 - Google Patents
一种基于滑动窗口亲和力的芯片载体封装漏装检测方法 Download PDFInfo
- Publication number
- CN116958065A CN116958065A CN202310791631.9A CN202310791631A CN116958065A CN 116958065 A CN116958065 A CN 116958065A CN 202310791631 A CN202310791631 A CN 202310791631A CN 116958065 A CN116958065 A CN 116958065A
- Authority
- CN
- China
- Prior art keywords
- feature
- affinity
- module
- sliding
- chip carrier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 47
- 238000004806 packaging method and process Methods 0.000 title claims abstract description 16
- 230000004927 fusion Effects 0.000 claims abstract description 37
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 239000013598 vector Substances 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 21
- 238000010586 diagram Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 9
- 230000007547 defect Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 238000013178 mathematical model Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000011065 in-situ storage Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 8
- 239000000463 material Substances 0.000 description 7
- 239000002184 metal Substances 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000004100 electronic packaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于滑动窗口亲和力的芯片载体封装漏装检测方法,包括以下步骤:进行图像采集,对采集到的图像进行目标区域提取和数据增强,以扩充数据;对扩充的图像进行特征提取,并生成对应的特征图;引入深层特征融合模块和滑动亲和力模块,融合特征图多尺度信息;对信息融合后的特征向量进行加权处理;采用Focal Loss函数来平衡信息融合后的特征向量进行加权处理时的正负样本数。本发明通过引入新的数据增强方式和特征信息融合方式,采用深层特征融合模块和滑动亲和力模块相结合,增强了对芯片载体封装小目标的检测性能,减少了目标错检、漏检的情况,增强了检测的鲁棒性。
Description
技术领域
本发明涉及计算机视觉领域的目标检测技术领域,特别涉及一种基于滑动窗口亲和力的芯片载体封装漏装检测方法。
背景技术
近年来,随着集成电路芯片技术的飞速发展,微电子封装范围也不断提出了新的要求。
金属热沉材料作为芯片载体的重要材料之一,其在完成芯片支撑、电连接、散热和环境保护上有着关键作用。因此,金属热沉材料的封装检测,在生产过程中尤为重要。目前实际生产中金属热沉材料的装配检测,主要采取人工方式,通过肉眼识别对应装配盒中是否有材料缺失,这种方式存在易出错、人力成本高和劳动强度大的问题。因此亟需一种智能化的检测方式替代人工对金属热沉材料的装配进行自动检测,判断是否出现漏装。
随着深度学习的广泛应用,越来越多相关算法被应用到了工业生产目标的缺陷检测中,如手机表面缺陷检测、压力管道红外热像缺陷检测等。但是直接将深度学习算法应用在芯片载体封装缺陷检测会存在以下问题:一是芯片载体和背景颜色较为相似,使用简单的卷积神经网络难以获得较好的特征辨别性以加以检测;二是芯片载体属于小目标,因此精确定位的难度较大;三是漏装样本不足,存在严重的正负样本不平衡。
目前尚未有机器学习方法和深度学习方法应用到芯片载体的封装漏装检测上。由于漏装区域属于小目标,且和正常区域像素值差异较小,难以准确定位。
发明内容
为了解决上述技术问题,本发明提供一种算法简单、鲁棒性强的基于滑动窗口亲和力的芯片载体封装漏装检测方法。
本发明解决上述问题的技术方案是:一种基于滑动窗口亲和力的芯片载体封装漏装检测方法,包括以下步骤:
S1:进行图像采集,对采集到的图像进行目标区域提取和数据增强,以扩充数据;
S2:对扩充的图像进行特征提取,并生成对应的特征图;
S3:引入深层特征融合模块和滑动亲和力模块,融合特征图多尺度信息;
S4:对信息融合后的特征向量进行加权处理;
S5:采用Focal Loss函数来平衡信息融合后的特征向量进行加权处理时的正负样本数。
上述基于滑动窗口亲和力的芯片载体封装漏装检测方法,所述步骤S1具体过程为:
首先进行图像采集,将采集到的芯片载体封装图像进行目标区域提取,并将提取后的图像分割成2×3单元格的网格,同时对子区域进行编号;
其次,对采集到的芯片载体封装图像使用数据增强策略来扩充数据,即将提取得到的含有检测目标的2×3单元格图像进行随机组合;假设某一网格含有检测目标,首先将其进行缺陷位置标注,再将其与该网格以外的子区域进行位置互换,便得到一张含有检测目标的新图像,如此进行数据扩充;
通过数学模型计算互换区域的坐标与像素值变换;记图像左上角为坐标原点,检测目标所在区域编号为k,1≤k≤6,坐标为(x,y),像素值为I=f(x,y),图像右下角,即网格6坐标为(w,h),则通过构建出的数学模型进行子区域变换后的坐标求解,
即
(k-1)mod3表示(k-1)对三取余数,变换后区域像素值为
上述基于滑动窗口亲和力的芯片载体封装漏装检测方法,所述步骤S2中,引入特征提取网络,以获取芯片载体封装图像内的小目标的特征信息;原始图片首先放缩到224×224大小,再经过若干个卷积和池化,得到28×28大小的特征图。
上述基于滑动窗口亲和力的芯片载体封装漏装检测方法,所述步骤S3具体过程为:
S31:在步骤S2得到的28×28大小的特征图上,分别使用线性变换层、lightvision transformer模块、降采样层,最终得到28×28、14×14、7×7不同尺度的特征图;
S32:为获取不同层级之间的特征信息,将S31中尺度大小为14*14、7*7的特征图,分别进行2倍和4倍上采样,与尺度大小为28*28的特征图进行深层特征融合;
S33:特征信息融合后,得到28×28大小的特征图,并在此特征图后加入滑动亲和力模块;
S34:滑动亲和力模块的滑动窗口大小为5×5,滑动步长为2,在每一个窗口中与对应位置进行查询和键值计算,获取局部窗口亲和力关系;最后将局部亲和力映射到特征图的原位置。
上述基于滑动窗口亲和力的芯片载体封装漏装检测方法,所述步骤S34中,滑动窗口根据滑动步长在原始特征图上滑动,滑动后的窗口选取的特征图,继续局部亲和力计算,同样映射到特征图对应位置,若有重叠部分,则将亲和力相乘;然后重复滑动、计算亲和力、映射到特征图的步骤,直到滑动完成后,得到整个特征图的亲和力图。
上述基于滑动窗口亲和力的芯片载体封装漏装检测方法,所述步骤S4具体过程为:
将滑动亲和力模块计算得到的亲和力图作为权重矩阵,与经S3后的得到的融合多尺度特征图V进行矩阵相乘,获得加权结果,并将结果进行权值更新。
上述基于滑动窗口亲和力的芯片载体封装漏装检测方法,所述步骤S5中,引入聚焦分类损失函数来平衡正负样本数,在步骤S4产生的特征图上生成候选框,把与真实框交并比>0.5的候选框定义为正样本,pos表示正样本的编号;交并比0-0.5的候选框定义为负样本,neg表示负样本的编号,最终对所有的正负样本计算损失并求和得到总损失FL表示为:
其中,FL用来衡量模型预测值和真实值的差异,n、m分别为负、正样本个数,P表示预测结果为漏装的概率,P∈[0,1],Ppos表示的是正样本的概率,Pneg表示的是负样本的概率,a和r是超参数,a用于平衡正负样本,即漏装区域和正常区域样本;r用于平衡简单和困难样本,把漏装概率接近0.5的样本定义为困难样本,a∈[0,1],r∈[0,5]。
上述基于滑动窗口亲和力的芯片载体封装漏装检测方法,是基于检测装置实现的,检测装置包括:
数据扩充模块:对采集到的图像进行目标区域提取和数据增强,以扩充数据;
特征提取模块:对输入图片进行特征提取,并生成对应的特征图;
信息融合模块:引入深层特征融合模块和滑动亲和力模块,对不同尺度特征图进行信息融合;
特征加权模块:对信息融合后的特征向量进行加权处理;
损失函数设置模块:采用Focal Loss函数来平衡信息融合后的特征向量的正负样本数;
输入模块:输入模块用于图像的输入;
输出模块:输出模块对处理后的结果进行输出。
本发明的有益效果在于:本发明通过引入新的数据增强方式和特征信息融合方式,采用深层特征融合模块和滑动亲和力模块相结合,增强了对芯片载体封装小目标的检测性能,减少了目标错检、漏检的情况,增强了检测的鲁棒性。
附图说明
图1为本发明的流程图。
图2为本发明对采集到的图像进行数据增强的流程示意图。
图3为本发明特征融合的过程示意图。
图4为本发明的滑动窗口亲和力计算方法图。
图5为本发明的检测装置的结构框图。
图6为本发明的检测效果示例图。
具体实施方式
下面结合附图和实施例对本发明作进一步的说明。
如图1所示,一种基于滑动窗口亲和力的芯片载体封装漏装检测方法,其特征在于,包括以下步骤:
S1:进行图像采集,对采集到的图像进行目标区域提取和数据增强,以扩充数据。
由于数据集中小目标样本少,所以对采集到的芯片载体封装漏装图像采用数据增强策略来扩充数据,即通过对小目标所在的图像进行目标区域提取与缺陷位置标注,随后通过子区域互换,以此来增加样本中小目标的个数,完善芯片载体封装漏装的图像数据。如图2所示,步骤S1具体过程为:
首先进行图像采集,将采集到的芯片载体封装图像进行目标区域提取,并将提取后的图像分割成2×3单元格的网格,同时对子区域进行编号;
其次,对采集到的芯片载体封装图像使用数据增强策略来扩充数据,即将提取得到的含有检测目标的2×3单元格图像进行随机组合;假设某一网格含有检测目标,首先将其进行缺陷位置标注,再将其与该网格以外的子区域进行位置互换,便得到一张含有检测目标的新图像,如此进行数据扩充;
通过数学模型计算互换区域的坐标与像素值变换;记图像左上角为坐标原点,检测目标所在区域编号为k,1≤k≤6,坐标为(x,y),像素值为I=f(x,y),图像右下角,即网格6坐标为(w,h),则通过构建出的数学模型进行子区域变换后的坐标求解,
即
(k-1)mod3表示(k-1)对三取余数,变换后区域像素值为
S2:对扩充的图像进行特征提取,并生成对应的特征图。
如图3所示,引入特征提取网络,以获取芯片载体封装图像内的小目标的特征信息;原始图片首先放缩到224×224大小,再经过若干个卷积和池化,得到28×28大小的特征图。
S3:引入深层特征融合模块和滑动亲和力模块,融合特征图多尺度信息。
步骤S3具体过程为:
S31:在步骤S2得到的28×28大小的特征图上,分别使用线性变换层、lightvision transformer模块、降采样层,最终得到28×28、14×14、7×7不同尺度的特征图;
S32:为获取不同层级之间的特征信息,将S31中尺度大小为14*14、7*7的特征图,分别进行2倍和4倍上采样,与尺度大小为28*28的特征图进行深层特征融合;
S33:特征信息融合后,得到28×28大小的特征图,并在此特征图后加入滑动亲和力模块;
S34:如图4所示,滑动亲和力模块的滑动窗口大小为5×5,滑动步长为2,首先窗口选中特征图左上角5×5的局部窗口,在选取的局部窗口的特征图部分,分别进行线性映射得到查询Q和键K,利用Q和K相乘得到局部亲和力;最后将局部亲和力映射到特征图的原位置。
滑动窗口根据滑动步长在原始特征图上滑动,滑动后的窗口选取的特征图,继续局部亲和力计算,同样映射到特征图对应位置,若有重叠部分,则将亲和力相乘;然后重复滑动、计算亲和力、映射到特征图的步骤,直到滑动完成后,得到整个特征图的亲和力图。
S4:对信息融合后的特征向量进行加权处理。
步骤S4具体过程为:
将滑动亲和力模块计算得到的亲和力图作为权重矩阵,与经S3后的得到的融合多尺度特征图V进行矩阵相乘,获得加权结果,并将结果进行权值更新。
S5:采用Focal Loss函数来平衡信息融合后的特征向量进行加权处理时的正负样本数。
所述步骤S5中,引入聚焦分类损失函数来平衡正负样本数,在步骤S4产生的特征图上生成候选框,把与真实框交并比>0.5的候选框定义为正样本,pos表示正样本的编号;交并比0-0.5的候选框定义为负样本,neg表示负样本的编号,最终对所有的正负样本计算损失并求和得到总损失FL表示为:
其中,FL用来衡量模型预测值和真实值的差异,n、m分别为负、正样本个数,P表示预测结果为漏装的概率,P∈[0,1],Ppos表示的是正样本的概率,Pneg表示的是负样本的概率,a和r是超参数,a用于平衡正负样本,即漏装区域和正常区域样本;r用于平衡简单和困难样本,把漏装概率接近0.5的样本定义为困难样本,a∈[0,1],r∈[0,5],再根据具体数据进行调参,使得模型更加聚焦对负样本的训练。
本发明是基于检测装置实现的,如图5所示,检测装置包括:
数据扩充模块:对采集到的图像进行目标区域提取和数据增强,以扩充数据;
特征提取模块:对输入图片进行特征提取,并生成对应的特征图;
信息融合模块:引入深层特征融合模块和滑动亲和力模块,对不同尺度特征图进行信息融合;
特征加权模块:对信息融合后的特征向量进行加权处理;
损失函数设置模块:采用Focal Loss函数来平衡信息融合后的特征向量的正负样本数;
输入模块:输入模块用于图像的输入;
输出模块,输出模块对处理后的结果进行输出。
图6为本发明的检测效果示例图,图6中检测输出漏装区域位置坐标,叠加在原图上即成框。
本发明通过引入新的数据扩充方式和特征信息融合方式,采用深层特征融合模块和滑动亲和力模块相结合,增强了对电子封装金属热沉材料装配检测性能,减少了目标漏检,错检的情况。
Claims (8)
1.一种基于滑动窗口亲和力的芯片载体封装漏装检测方法,其特征在于,包括以下步骤:
S1:进行图像采集,对采集到的图像进行目标区域提取和数据增强,以扩充数据;
S2:对扩充的图像进行特征提取,并生成对应的特征图;
S3:引入深层特征融合模块和滑动亲和力模块,融合特征图多尺度信息;
S4:对信息融合后的特征向量进行加权处理;
S5:采用FocalLoss函数来平衡信息融合后的特征向量进行加权处理时的正负样本数。
2.根据权利要求1所述的基于滑动窗口亲和力的芯片载体封装漏装检测方法,其特征在于,所述步骤S1具体过程为:
首先进行图像采集,将采集到的芯片载体封装图像进行目标区域提取,并将提取后的图像分割成2×3单元格的网格,同时对子区域进行编号;
其次,对采集到的芯片载体封装图像使用数据增强策略来扩充数据,即将提取得到的含有检测目标的2×3单元格图像进行随机组合;假设某一网格含有检测目标,首先将其进行缺陷位置标注,再将其与该网格以外的子区域进行位置互换,便得到一张含有检测目标的新图像,如此进行数据扩充;
通过数学模型计算互换区域的坐标与像素值变换;记图像左上角为坐标原点,检测目标所在区域编号为k,1≤k≤6,坐标为(x,y),像素值为I=f(x,y),图像右下角,即网格6坐标为(w,h),则通过构建出的数学模型进行子区域变换后的坐标求解,
即
(k-1)mod3表示(k-1)对三取余数,变换后区域像素值为
3.根据权利要求1所述的基于滑动窗口亲和力的芯片载体封装漏装检测方法,其特征在于,所述步骤S2中,引入特征提取网络,以获取芯片载体封装图像内的小目标的特征信息;原始图片首先放缩到224×224大小,再经过若干个卷积和池化,得到28×28大小的特征图。
4.根据权利要求3所述的基于滑动窗口亲和力的芯片载体封装漏装检测方法,其特征在于,所述步骤S3具体过程为:
S31:在步骤S2得到的28×28大小的特征图上,分别使用线性变换层、light visiontransformer模块、降采样层,最终得到28×28、14×14、7×7不同尺度的特征图;
S32:为获取不同层级之间的特征信息,将S31中尺度大小为14*14、7*7的特征图,分别进行2倍和4倍上采样,与尺度大小为28*28的特征图进行深层特征融合;
S33:特征信息融合后,得到28×28大小的特征图,并在此特征图后加入滑动亲和力模块;
S34:滑动亲和力模块的滑动窗口大小为5×5,滑动步长为2,在每一个窗口中与对应位置进行查询和键值计算,获取局部窗口亲和力关系;最后将局部亲和力映射到特征图的原位置。
5.根据权利要求4所述的基于滑动窗口亲和力的芯片载体封装漏装检测方法,其特征在于,所述步骤S34中,滑动窗口根据滑动步长在原始特征图上滑动,滑动后的窗口选取的特征图,继续局部亲和力计算,同样映射到特征图对应位置,若有重叠部分,则将亲和力相乘;然后重复滑动、计算亲和力、映射到特征图的步骤,直到滑动完成后,得到整个特征图的亲和力图。
6.根据权利要求5所述的基于滑动窗口亲和力的芯片载体封装漏装检测方法,其特征在于,所述步骤S4具体过程为:
将滑动亲和力模块计算得到的亲和力图作为权重矩阵,与经S3后的得到的融合多尺度特征图V进行矩阵相乘,获得加权结果,并将结果进行权值更新。
7.根据权利要求1所述的基于滑动窗口亲和力的芯片载体封装漏装检测方法,其特征在于,所述步骤S5中,引入聚焦分类损失函数来平衡正负样本数,在步骤S4产生的特征图上生成候选框,把与真实框交并比>0.5的候选框定义为正样本,pos表示正样本的编号;交并比0-0.5的候选框定义为负样本,neg表示负样本的编号,最终对所有的正负样本计算损失并求和得到总损失FL表示为:
其中,FL用来衡量模型预测值和真实值的差异,n、m分别为负、正样本个数,P表示预测结果为漏装的概率,P∈[0,1],Ppos表示的是正样本的概率,Pneg表示的是负样本的概率,a和r是超参数,a用于平衡正负样本,即漏装区域和正常区域样本;r用于平衡简单和困难样本,把漏装概率接近0.5的样本定义为困难样本,a∈[0,1],r∈[0,5]。
8.根据权利要求1所述的基于滑动窗口亲和力的芯片载体封装漏装检测方法,其特征在于,是基于检测装置实现的,检测装置包括:
数据扩充模块:对采集到的图像进行目标区域提取和数据增强,以扩充数据;
特征提取模块:对输入图片进行特征提取,并生成对应的特征图;
信息融合模块:引入深层特征融合模块和滑动亲和力模块,对不同尺度特征图进行信息融合;
特征加权模块:对信息融合后的特征向量进行加权处理;
损失函数设置模块:采用FocalLoss函数来平衡信息融合后的特征向量的正负样本数;
输入模块:输入模块用于图像的输入;
输出模块:输出模块对处理后的结果进行输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310791631.9A CN116958065A (zh) | 2023-06-30 | 2023-06-30 | 一种基于滑动窗口亲和力的芯片载体封装漏装检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310791631.9A CN116958065A (zh) | 2023-06-30 | 2023-06-30 | 一种基于滑动窗口亲和力的芯片载体封装漏装检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116958065A true CN116958065A (zh) | 2023-10-27 |
Family
ID=88445422
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310791631.9A Pending CN116958065A (zh) | 2023-06-30 | 2023-06-30 | 一种基于滑动窗口亲和力的芯片载体封装漏装检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116958065A (zh) |
-
2023
- 2023-06-30 CN CN202310791631.9A patent/CN116958065A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111598861B (zh) | 基于改进的Faster R-CNN模型的非均匀纹理小缺陷的检测方法 | |
CN109829893B (zh) | 一种基于注意力机制的缺陷目标检测方法 | |
CN111223088B (zh) | 一种基于深层卷积神经网络的铸件表面缺陷识别方法 | |
CN113378686B (zh) | 一种基于目标中心点估计的两阶段遥感目标检测方法 | |
CN111179217A (zh) | 一种基于注意力机制的遥感图像多尺度目标检测方法 | |
CN111738110A (zh) | 基于多尺度注意力机制的遥感图像车辆目标检测方法 | |
CN113344852A (zh) | 一种电力场景通用物品的目标检测方法、装置及存储介质 | |
CN109919934A (zh) | 一种基于多源域深度迁移学习的液晶面板缺陷检测方法 | |
CN111898668A (zh) | 一种基于深度学习的小目标物体检测方法 | |
CN107705293A (zh) | 一种基于ccd面阵相机视觉检测的五金零件尺寸测量方法 | |
CN111368637B (zh) | 一种基于多掩模卷积神经网络的搬运机器人识别目标方法 | |
CN117576095B (zh) | 一种多尺度学习任务的金属表面缺陷检测和分类方法 | |
CN111768415A (zh) | 一种无量化池化的图像实例分割方法 | |
CN112149590A (zh) | 一种手部关键点检测方法 | |
CN113435266B (zh) | 基于极值点特征增强的fcos智能目标检测方法 | |
CN118154603B (zh) | 基于级联多层特征融合网络的显示屏缺陷检测方法及系统 | |
CN115908988B (zh) | 一种缺陷检测模型生成方法、装置、设备以及存储介质 | |
CN113012153A (zh) | 一种铝型材瑕疵检测方法 | |
CN113496480A (zh) | 一种焊缝图像缺陷的检测方法 | |
CN114418898B (zh) | 一种基于目标重叠度计算和自适应调整的数据增强方法 | |
CN116740048A (zh) | 一种基于融合目标检测技术的锂电池表面缺陷检测方法 | |
CN111091533B (zh) | 一种基于改进ssd算法的电池片el缺陷检测方法 | |
CN116958065A (zh) | 一种基于滑动窗口亲和力的芯片载体封装漏装检测方法 | |
Lai et al. | A hybrid image alignment system for fast and precise pattern localization | |
CN112818965B (zh) | 多尺度影像目标检测方法、系统、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |