CN115774055A - 集成电路内部缺陷检测方法、装置与系统 - Google Patents
集成电路内部缺陷检测方法、装置与系统 Download PDFInfo
- Publication number
- CN115774055A CN115774055A CN202310094552.2A CN202310094552A CN115774055A CN 115774055 A CN115774055 A CN 115774055A CN 202310094552 A CN202310094552 A CN 202310094552A CN 115774055 A CN115774055 A CN 115774055A
- Authority
- CN
- China
- Prior art keywords
- sample image
- scanning
- integrated circuit
- image
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 222
- 238000000034 method Methods 0.000 title claims description 64
- 238000001514 detection method Methods 0.000 claims abstract description 140
- 238000012545 processing Methods 0.000 claims abstract description 35
- 230000011218 segmentation Effects 0.000 claims description 31
- 238000004422 calculation algorithm Methods 0.000 claims description 29
- 238000007781 pre-processing Methods 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 14
- 238000005520 cutting process Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 7
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 238000002604 ultrasonography Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 abstract description 4
- 238000007689 inspection Methods 0.000 abstract description 4
- 239000000523 sample Substances 0.000 description 218
- 230000000694 effects Effects 0.000 description 15
- 238000004590 computer program Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000004806 packaging method and process Methods 0.000 description 3
- 239000011347 resin Substances 0.000 description 3
- 229920005989 resin Polymers 0.000 description 3
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000032798 delamination Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 229910052709 silver Inorganic materials 0.000 description 2
- 239000004332 silver Substances 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012536 packaging technology Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
Abstract
本申请涉及一种集成电路内部缺陷检测方法、装置与系统,通过获取集成电路样品的声扫样品图像,对声扫样品图像进行分层处理,并从各层声扫样品图像中选定目标声扫样品图像,得到适用于后续预设缺陷识别模型进行缺陷检测的声扫样品图像,进而通过基于YOLOX模型构建得到预设缺陷识别模型,对分层处理后的目标声扫样品图像进行缺陷检测,获得缺陷检测结果,得到集成电路样品的缺陷信息,实现了集成电路样品内部缺陷的自动检测识别,相较于人工检验的方式,检测精准度大幅度提升。
Description
技术领域
本申请涉及集成电路缺陷检测技术领域,特别是涉及一种集成电路内部缺陷检测方法、装置与系统。
背景技术
随着半导体制造和封装技术的发展,塑封集成电路在电子系统、电子通讯和半导体应用等行业已取代密封器件占据越来越主流的地位。但由于塑封技术为非气密性封装,工艺流程中容易出现分层、裂纹和空洞等各类缺陷,导致集成电路内部断线,从而产生可靠性问题。因此,在电子产品进行装配前,对塑封集成电路的可靠性检测和质量评估必不可少。
目前,对塑封集成电路进行缺陷检测的技术手段有很多,其中超声扫描方法因无损检测的优点,应用最为广泛,能够在不破坏样品内部结构的基础上观测到集成电路的内部缺陷位置和种类。但由于现有超声检测仍以人工识别为主,内部缺陷能否被成功检测识别主要依赖于操作者的工作经验,可能会存在视觉疲劳,导致在面对大量超声检测图像时,人工目检容易产生漏检、误检的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高集成电路内部缺陷检测的精准度的集成电路内部缺陷检测方法、装置与系统。
一种集成电路内部缺陷检测方法,所述方法包括:
获取集成电路样品的声扫样品图像;
对所述声扫样品图像进行分层处理,并从各层声扫样品图像中选定目标声扫样品图像;
通过预设缺陷识别模型对所述目标声扫样品图像进行缺陷检测,获得缺陷检测结果;所述预设缺陷识别模型基于YOLOX模型构建得到。
在其中一个实施例中,
所述声扫样品图像为多个所述集成电路样品对应的声扫图像;
所述通过预设缺陷识别模型对所述目标声扫样品图像进行缺陷检测,获得缺陷检测结果之前,还包括:
对所述目标声扫样品图像进行裁剪分割处理,获得多个子目标声扫样品图像;
所述通过预设缺陷识别模型对所述目标声扫样品图像进行缺陷检测,获得缺陷检测结果,包括:
通过所述预设缺陷识别模型对各所述子目标声扫样品图像进行并行缺陷检测,获得各所述子目标声扫样品图像对应的缺陷检测结果。
在其中一个实施例中,所述对所述目标声扫样品图像进行裁剪分割处理,获得多个子目标声扫样品图像,包括:
通过OTSU阈值分割方法对所述目标声扫样品图像进行裁剪分割处理,获得多个子目标声扫样品图像。
在其中一个实施例中,所述通过预设缺陷识别模型对所述目标声扫样品图像进行缺陷检测,获得缺陷检测结果之前,所述方法还包括:
对所述目标声扫样品图像进行滤波与增强的预处理。
在其中一个实施例中,所述对所述目标声扫样品图像进行滤波与增强的预处理,包括:
通过中值滤波算法对所述目标声扫样品图像进行滤波的预处理;
通过直方图均衡方法对所述目标声扫样品图像进行增强的预处理。
在其中一个实施例中,所述预设缺陷识别模型为YOLOX模型,所述YOLOX模型包括依次连接的主干特征提取网络、加强特征提取网络以及预测特征网络。
在其中一个实施例中,所述YOLOX模型包括基于CSPDarknet架构的主干特征提取网络、基于FPN特征金字塔网络的加强特征提取网络、以及基于解耦预测头网络的预测特征网络。
在一个实施例中,提供了一种集成电路内部缺陷检测装置,所述装置包括:
图像获取模块,用于获取集成电路样品的声扫样品图像;
图像分层模块,用于对所述声扫样品图像进行分层处理,并从各层声扫样品图像中选定目标声扫样品图像;
缺陷识别模块,用于通过预设缺陷识别模型对所述目标声扫样品图像进行缺陷检测,获得缺陷检测结果;所述预设缺陷识别模型基于YOLOX模型构建得到。
在一个实施例中,提供了一种集成电路内部缺陷检测系统,包括超声扫描设备与控制设备;
所述超声扫描设备用于对集成电路样品进行超声扫描,获得声扫样品图像;
所述控制设备用于根据上述的集成电路内部缺陷检测方法实现对集成电路样品进行内部缺陷检测。
在其中一个实施例中,所述控制设备包括超声控制模块、图像处理模块以及图像检测模块;
所述超声控制模块用于发送超声扫描参数至所述超声扫描设备,以使所述超声扫描设备基于所述超声扫描参数对所述集成电路样品进行超声扫描,获得声扫样品图像;
所述图像处理模块用于对所述声扫样品图像进行分层处理,并从各层声扫样品图像中选定目标声扫样品图像;
所述图像检测模块用于通过预设缺陷识别模型对所述目标声扫样品图像进行缺陷检测,获得缺陷检测结果。
在其中一个实施例中,所述集成电路内部缺陷检测系统还包括显示设备,所述显示设备连接所述控制设备。
上述集成电路内部缺陷检测方法、装置与系统,通过获取集成电路样品的声扫样品图像,对声扫样品图像进行分层处理,并从各层声扫样品图像中选定目标声扫样品图像,得到适用于后续预设缺陷识别模型进行缺陷检测的声扫样品图像,进而通过基于YOLOX模型构建得到预设缺陷识别模型,对分层处理后的目标声扫样品图像进行缺陷检测,获得缺陷检测结果,得到集成电路样品的缺陷信息,实现了集成电路样品内部缺陷的自动检测识别,由于YOLOX模型对于低对比度、噪声干扰以及缺陷特征不清晰等问题下集成电路声扫图像具有优秀的检测效果,相较于人工检验的方式,检测精准度大幅度提升。
附图说明
图1为一个实施例中集成电路内部缺陷检测方法的应用环境图;
图2为一个实施例中集成电路内部缺陷检测方法的流程示意图;
图3为一个实施例中扫描超声显微镜工作原理的示意图;
图4为一个实施例中预设缺陷识别模型的网络结构示意图;
图5为另一个实施例中集成电路内部缺陷检测方法的流程示意图;
图6为一个实施例中各图像分割算法的分割效果对比示意图;
图7为一个实施例中集成电路内部缺陷检测装置的结构框图;
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的集成电路内部缺陷检测方法,可以应用于如图1所示的集成电路内部缺陷检测系统中。其中,集成电路内部缺陷检测系统包括超声扫描设备110与控制设备120,超声扫描设备110通过有线或无线的方式与控制设备120进行通信。数据存储系统可以存储控制设备120需要处理的数据。数据存储系统可以集成在控制设备120上,也可以放在云上或其他网络服务器上。具体地,控制设备120获取超声扫描设备110采集的集成电路样品的声扫样品图像,对声扫样品图像进行分层处理,并从各层声扫样品图像中选定目标声扫样品图像,通过预设缺陷识别模型对目标声扫样品图像进行缺陷检测,获得缺陷检测结果;预设缺陷识别模型基于YOLOX模型构建得到。其中,控制设备120可以是终端设备,也可以是服务器。终端设备可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种集成电路内部缺陷检测方法,以该方法应用于图1中的控制设备120为例进行说明,包括以下步骤S200至S600,其中:
S200:获取集成电路样品的声扫样品图像。
其中,集成电路样品为需进行内部缺陷检测的塑封集成电路,声扫样品图像为通过超声扫描方法对集成电路样品进行扫描得到的超声扫描图像。
具体地,声扫样品图像可以是采用扫描超声显微镜对集成电路样品进行扫描得到。如图3所示,扫描超声显微镜是通过超声波脉冲回波技术工作,其扫描探头在集成电路样品上方按预设运动路径在二维平面内做扫描运动,同时对集成电路样品按预设频率发射的超声波。进一步扫描超声显微镜通过逐层C扫描的方式,接收集成电路样品中每一层的反射回波信号,基于各层反射回波信号的幅值与相位,转换为一定灰度值的像素点,进而成像得到集成电路样品各层的剖面图像信息,也即声扫样品图像。逐层C扫描的方式可以理解,需先根据集成电路样品表面至其内部某一深度,对扫描超声显微镜设置一时间窗口,在每一层扫描过程中,信号接收器只接收这一时间段的反射回波信号。
S300:对声扫样品图像进行分层处理,并从各层声扫样品图像中选定目标声扫样品图像。
可以理解,声扫样品图像包括集成电路样品沿垂直于超声波传递方向递增的多层剖面图像信息,也即叠加形态的声扫样品图像,则需对声扫样品图像进行分层处理,以获得各层对应的声扫样品图像。其中,扫描超声显微镜输出的叠加形式的声扫样品图像,一般会集合为TIFF格式。
具体地,将通过TIFF格式转换方法读取声扫样品图像,并进行拆分,分解得到JPG格式的各层对应的声扫样品图像。
进一步地,目标声扫样品图像指的是各层声扫样品图像中适用于后续预设缺陷识别模型进行缺陷检测的声扫样品图像,采用目标声扫样品图像进行缺陷检测,不仅可进一步提高检测效率,也能保证缺陷检测的精确度。目标声扫样品图像可以是在各层声扫样品图像中选定的一层声扫样品图像,也可以是两层或以上的声扫样品图像。
选定目标声扫样品图像的方式并不唯一,可以是根据反射回波信号选定。可以理解,当集成电路样品中存在分层、裂纹和空洞等各类缺陷时,缺陷与样品材料之间将形成不同介质之间的交界面,由于交界面之间的声阻抗不同,当发射的超声波遇到交界面时,接收到的反射回波信号可能体现出高度与形状的区别,进而可利用此波形区别确定缺陷在集成电路样品中的深度,最终根据确定的缺陷深度选定目标声扫样品图像。此外,选定目标声扫样品图像的方式,也可以是直接选其中能观测到集成电路样品的关键区域的声扫样品图像。其中,关键区域为根据实际生产经验获得的缺陷主要发生区域,例如封装树脂与芯片界面之间、封装树脂与载片界面之间、封装树脂与引线框架界面之间、芯片与银浆界面之间和银浆与引线框架界面之间等。进而在选定目标声扫样品图像时,可根据各层声扫样品图像,直接选定其中能观测到芯片区域、键合区域与引线区域的声扫样品图像即可。可以理解,目标声扫样品图像可根据上述两种方式单独选定得到,也可以是共同选定得到,不作限定。
S600:通过预设缺陷识别模型对目标声扫样品图像进行缺陷检测,获得缺陷检测结果;预设缺陷识别模型基于YOLOX模型构建得到。
其中,预设缺陷识别模型为通过大量标注有缺陷信息的声扫样品图像,输入至深度学习目标检测模型中进行训练、调参以及验证后,得到的一个具有很好检测效果的检测识别模型。其中,可采用的深度学习目标检测模型并不唯一,包括有YOLOX模型、单次多边框检测器(Single Shot MutiBox Detectior,SSD)、Faster R-CNN、YOLOv3和YOLOv4等。
在本申请应用的控制设备中,可搭建训练测试环境,用于对上述提及的多种深度学习目标检测模型进行测试,并选择其中在集成电路样品的缺陷检测中性能优异的作为最终采用的目标检测模型。在本地测试与应用部署阶段,控制设备中的软件配置环境可如下表所示:
例如,在模型的训练阶段,可将目标声扫样品图像的大小设置为320×320、640×640和960×960,设置初始学习率为0.001,最小学习率为0.0001,训练200个迭代后,用于对目标声扫样品图像进行缺陷检测。进一步,采用指标平均精确度(Average Precision,AP)以及平均精确率均值(Mean Average Precision,mAP)对训练的模型进行模型评估,进而确定其中性能优异的模型作为最终采用的目标检测模型。其中,AP指的是PR(Precision-Recall)曲线下面积、mAP指每个类别AP的均值,可以理解为AP以及mAP的值越大,说明模型的平均准确率越高。
在基于训练测试环境对比了不同目标检测算法的优缺点及适用范围后,选择最为合适的目标检测算法-YOLOX进行模型训练得到预设缺陷识别模型。
具体地,YOLOX模型是基于YOLO系列模型进行改进得到,包括有YOLOX-S、YOLOX-M、YOLOX-L、YOLOX-X以及YOLOX-Darknet53,此外还提出了两种轻量级模型:YOLOX-Nano和YOLOX-Tiny。本申请的预设缺陷识别模型可采用其中四种标准网络改进而来,包括YOLOX-S、YOLOX-M、YOLOX-L和YOLOX-X,用于对目标声扫样品图像进行缺陷检测,获得每一集成电路样品的缺陷检测结果。
在一个实施例中,如图4所示,YOLOX模型包括基于CSPDarknet架构的主干特征提取网络、基于FPN特征金字塔网络的加强特征提取网络、以及基于解耦预测头网络的预测特征网络。
具体地,YOLOX模型综合了YOLO系列网络优点,且摆脱了先验框的约束,对于样品稠密、干扰信号多且缺陷特征不明显的集成电路样品的缺陷检测具有优秀的检测效果。如图4的整体模型结构图所示,本申请提供的改进后的YOLOX模型,主干特征提取网络采用YOLO-v4的CSPDarknet架构实现,加强特征提取网络采用FPN特征金字塔网络实现,并创新的在预测特征网络采用解耦预测头网络(Decoupled Head)实现。其中,Decoupled Head包括分类器部分与回归器部分,分类器部分用于输出目标声扫样品图像中的缺陷类型信息,回归器部分用于输出目标声扫样品图像中的缺陷位置信息。
进一步地,为了使得缺陷预测结果更加准确,在将目标声扫样品图像输入至主干特征提取网络之前,还通过Focus通道增广技术将目标声扫样品图像每隔一个像素点提取一个值,将宽高信息集中到输入通道空间,输入通道扩充了四倍,即相对于原先的RGB三通道模式变成了十二个通道。在保证信息不丢失的情况下,更有利于后期的计算。此外,还对输入至主干特征提取网络之前的目标声扫样品图像运用了Mosaic数据增强技术进行拼接,进一步提高了模型的批处理量,从而可达到较好的模型训练效果,保证缺陷检测的准确性。
可以理解,在实际在线采集得到集成电路样品的声扫样品图像,并选定得到目标声扫样品图像后,即可通过预设缺陷检测模型输出集成电路样品的缺陷检测结果。其中,缺陷检测结果的表现形式并不唯一,可以是直接输出集成电路样品是否为包含缺陷的样品,也可以是输出集成电路样品的缺陷信息。缺陷信息可以是不包含缺陷或包含缺陷,在包含缺陷时,缺陷信息还可包括缺陷类型以及缺陷位置。
上述集成电路内部缺陷检测方法,通过获取集成电路样品的声扫样品图像,对声扫样品图像进行分层处理,并从各层声扫样品图像中选定目标声扫样品图像,得到适用于后续预设缺陷识别模型进行缺陷检测的声扫样品图像,进而通过基于YOLOX模型构建得到预设缺陷识别模型,对分层处理后的目标声扫样品图像进行缺陷检测,获得缺陷检测结果,得到集成电路样品的缺陷信息,实现了集成电路样品内部缺陷的自动检测识别,由于YOLOX模型对于低对比度、噪声干扰以及缺陷特征不清晰等问题下集成电路声扫图像具有优秀的检测效果,相较于人工检验的方式,检测精准度大幅度提升。
可以理解,由于集成电路样品尺寸较小,为了提高检测效率,一般进行内部缺陷检测时会将多个样品排列整齐后放入托盘中进行检测。因此,在声扫样品图像为多个集成电路样品对应的声扫图像的情况下,在一个实施例中,如图5所示,S600之前,方法还包括:S400:对目标声扫样品图像进行裁剪分割处理,获得多个子目标声扫样品图像。
具体地,裁剪分割得到的子目标声扫样品图像指的是单个集成电路样品对应的声扫图像。可以理解,在对目标声扫样品图像进行裁剪分割处理处理后,得到的子目标声扫样品图像的数量,与目标声扫样品图像中包含的集成电路样品的数量一致。在得到多个子目标声扫样品图像后,S600则包括:通过预设缺陷识别模型分别对各子目标声扫样品图像进行并行缺陷检测,获得每一集成电路样品对应的缺陷检测结果。
对目标声扫样品图像进行裁剪分割处理的方式并不唯一,例如可以是OTSU阈值分割算法、迭代法阈值分割算法、自适应阈值分割算法、区域生长算法及分水岭算法等算法中的任意一种。在本申请实施例中采用上述各算法对同一目标声扫样品图像进行了裁剪分割处理,如图6所示为各算法的分割效果图。其中,图6-A为OTSU阈值分割算法的分割效果图,图6-B为迭代法阈值分割算法的分割效果图,图6-C为自适应阈值分割算法的分割效果图,图6-D为区域生长算法的分割效果图,图6-E为分水岭算法的分割效果图,图6-F为基于Sobel算子的边缘分割算法的分割效果图。从分割效果图可以看出,图6-C至图6-F所示的分割算法均无法较好的分割出每一个集成电路样品的区域,图6-B所示的迭代法阈值分割算法虽然能较好的分割出每一个集成电路样品的区域,但分割区域较小,未包含集成电路样品完整的边缘信息。图6-A所示的OTSU阈值分割方法不仅能较好的分割出每一个集成电路样品的区域,且包含集成电路样品完整的边缘信息,进一步用于缺陷检测时,才能获得每一集成电路样品最准确的缺陷检测结果。
因此,在一个实施例中,S400包括:通过OTSU阈值分割方法对目标声扫样品图像进行裁剪分割处理,获得多个子目标声扫样品图像。具体地,OTSU阈值分割方法即通过判断图像中每一个像素点的特征属性是否满足阈值的要求,来确定图像中的该像素点是属于目标区域还是背景区域,从而将一幅灰度图像转换成二值图像。其中,二值图像中对应的目标区域,即需分割得到的子目标声扫样品图像。
可以理解,由于超声扫描方式中介质与采集原理的要求,需要将集成电路样品放入水中进行声扫图像采集,所以最终目标声扫样品图像会存在一定的噪声干扰。且由于采集环境的限制,声扫图像的缺陷区域和背景区域常常存在对比度低、缺陷位置不清晰、缺陷边缘模糊等问题。因此,在将目标声扫样品图像采用预设缺陷识别模型进行缺陷检测之前,需要对目标声扫样品图像进行预处理,以提升缺陷检测的准确率。
在一个实施例中,如图5所示,S600之前,方法还包括:S500:对目标声扫样品图像进行滤波与增强的预处理。
具体地,对目标声扫样品图像进行滤波与增强的预处理包括:通过中值滤波算法对目标声扫样品图像进行滤波处理,得到滤波后的目标声扫样品图像;对滤波后的目标声扫样品图像通过直方图均衡方法进行增强处理,得到预处理后的目标声扫样品图像。在得到预处理后的目标声扫样品图像后,S600则包括:通过预设缺陷识别模型对预处理后的目标声扫样品图像进行缺陷检测,获得集成电路样品的缺陷检测结果。若同时经过S400与S500,得到预处理后的子目标声扫样品图像,S600则包括:通过预设缺陷识别模型分别对预处理后的子目标声扫样品图像进行缺陷检测,获得每一集成电路样品的缺陷检测结果。
其中,中值滤波算法是一种非线性滤波器,其将每个像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值,让该像素点周围的像素值接近真实值,从而消除孤立的噪声点。因此对孤立的噪声像素具有良好的滤波效果,不仅能够保持目标声扫样品图像的边缘特性,还不会产生显著的模糊。直方图均衡方法可以把图像的直方图变为均匀分布的形态,增加像素之间灰度值差别的动态范围,从而达到增强目标声扫样品图像整体对比度的效果。
可以理解,S300、S400与S500均为S600之前执行的步骤,但S300、S400与S500对应的分层、裁剪、滤波与增强处理,这些步骤的执行并没有严格的顺序限制。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的集成电路内部缺陷检测方法的集成电路内部缺陷检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个集成电路内部缺陷检测装置实施例中的具体限定可以参见上文中对于集成电路内部缺陷检测方法的限定,在此不再赘述。
在一个实施例中,如图7所示,提供了一种集成电路内部缺陷检测装置,包括:图像获取模块101、图像分层模块102和缺陷识别模块103,其中:
图像获取模块101,用于获取集成电路样品的声扫样品图像;
图像分层模块102,用于对声扫样品图像进行分层处理,并从各层声扫样品图像中选定目标声扫样品图像;
缺陷识别模块103,用于通过预设缺陷识别模型对目标声扫样品图像进行缺陷检测,获得缺陷检测结果;预设缺陷识别模型基于YOLOX模型构建得到。
在一个实施例中,所述声扫样品图像为多个所述集成电路样品对应的声扫图像;装置还包括图像裁剪模块,其中:
图像裁剪模块,用于对目标声扫样品图像进行裁剪分割处理,获得多个子目标声扫样品图像;
缺陷识别模块103,还用于通过所述预设缺陷识别模型对各所述子目标声扫样品图像进行并行缺陷检测,获得各所述子目标声扫样品图像对应的缺陷检测结果。
在一个实施例中,图像裁剪模块,还用于通过OTSU阈值分割方法对目标声扫样品图像进行裁剪分割处理,获得多个子目标声扫样品图像。
在一个实施例中,装置还包括图像预处理模块,其中:
图像预处理模块,用于对目标声扫样品图像进行滤波与增强的预处理。
在一个实施例中,图像预处理模块,还用于通过中值滤波算法对所述目标声扫样品图像进行滤波的预处理;通过直方图均衡方法对所述目标声扫样品图像进行增强的预处理。
在一个实施例中,缺陷识别模块103中采用的YOLOX模型包括基于CSPDarknet架构的主干特征提取网络、基于FPN特征金字塔网络的加强特征提取网络、以及基于解耦预测头网络的预测特征网络。
在本实施例中,通过获取集成电路样品的声扫样品图像,对声扫样品图像进行分层处理,并从各层声扫样品图像中选定目标声扫样品图像,得到适用于后续预设缺陷识别模型进行缺陷检测的声扫样品图像,进而通过基于YOLOX模型构建得到预设缺陷识别模型,对分层处理后的目标声扫样品图像进行缺陷检测,获得缺陷检测结果,得到集成电路样品的缺陷信息,实现了集成电路样品内部缺陷的自动检测识别,相较于人工检验的方式,检测精准度大幅度提升。
上述集成电路内部缺陷检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种集成电路内部缺陷检测方法。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述的方法的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述的方法的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述的方法的步骤。
在一个实施例中,如图1所示,提供了一种集成电路内部缺陷检测系统,包括超声扫描设备110与控制设备120,超声扫描设备110用于对集成电路样品进行超声扫描,获得声扫样品图像,控制设备120用于根据上述的集成电路内部缺陷检测方法实现对集成电路样品进行内部缺陷检测。
具体地,控制设备120获取超声扫描设备110采集的集成电路样品的声扫样品图像,对声扫样品图像进行分层处理,并从各层声扫样品图像中选定目标声扫样品图像,通过预设缺陷识别模型对目标声扫样品图像进行缺陷检测,获得缺陷检测结果。
其中,超声扫描设备110可采用扫描超声显微镜实现,控制设备120可以是终端设备实现,也可以是服务器设备实现。
在一个实施例中,控制设备120包括超声控制模块、图像处理模块以及图像检测模块;超声控制模块用于发送超声扫描参数至超声扫描设备110,以使超声扫描设备110基于超声扫描参数对集成电路样品进行超声扫描,获得声扫样品图像;图像处理模块用于对声扫样品图像进行分层处理,并从各层声扫样品图像中选定目标声扫样品图像;图像检测模块用于通过预设缺陷识别模型对目标声扫样品图像进行缺陷检测,获得缺陷检测结果;缺陷检测结果用于表征集成电路样品的缺陷信息。
其中,超声扫描参数可包括超声扫描设备110的扫描探头的移动范围、移动速度以及移动步进,超声扫描设备110的扫描探头可根据上述参数确定预设运行路径,进而在集成电路样品上方按预设运动路径在二维平面内做扫描运动。此外,超声扫描参数还包括用于对集成电路样品发射的超声波的频率值。
此外,控制设备120还包括管理模块,用于对整个集成电路内部缺陷检测系统的软件界面以及交互接口进行管理,例如完成对声扫样品图像上传、查询、删除、显示、保存等管理功能,还可以对角色权限及操作日志进行记录。
在一个实施例中,集成电路内部缺陷检测系统还包括显示设备,显示设备连接控制设备。可以理解,系统还可在显示设备上基于对集成电路内部缺陷的实时检测进行可视化展示,控制设备可将各阶段处理或分析的图像结果传输至显示设备,完成可视化展示或交互功能,例如可包括图像处理界面、模型数据分析界面、图像裁剪界面以及图像缺陷检测界面等展示界面。其中,图像裁剪界面可完成对声扫样品图像的分层和裁剪;图像检测界面可完成对目标声扫样品图像的缺陷检测及结果显示。
本申请提供的集成电路内部缺陷检测系统包括硬件架构、模型训练和软件架构三个部分。重点研究了适用于低对比度、噪声干扰以及缺陷特征不清晰等问题下集成电路声扫图像缺陷检测算法和系统实现,通过软硬件结合的总体设计方案实现声扫图像缺陷的自动检测识别,并通过智能检测软件架构实现了缺陷图像调用、数据预处理、缺陷检测和可视化设计等功能,通过将声扫图像内部缺陷智能检测软件与超声显微镜设备进行软硬件结合,设计缺陷检测方案,实现了自动化、智能化检测需求。
在本实施例中,基于YOLOX算法模型的集成电路内部缺陷检测系统,能够有效识别集成电路声扫图像内部缺陷的位置和类别,既解决了人工目检效率低的问题,又提高了目标检测算法精度差的问题。首先利用超声扫描显微镜对集成电路样品进行声扫图像采集,并对采集到的原始图像进行预处理,构建相关声扫缺陷图像数据库;接着,对数据库中的样本进行缺陷位置和类型标注,利用YOLOX算法模型对声扫图像进行训练、验证和测试,得出相关测试结果;最后,选择测试结果最优的算法模型进行软件设计,并将相关软件嵌入声扫设备中,形成基于YOLOX算法模型的声扫图像缺陷检测系统,有效提高测试人员以及科研人员对集成电路声扫图像的建库管理和智能化检测等需求,大幅提高工作效率。
上面所提供的一个或多个集成电路内部缺陷检测系统实施例中的具体限定可以参见上文中对于集成电路内部缺陷检测方法的限定,在此不再赘述。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random AccessMemory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种集成电路内部缺陷检测方法,其特征在于,所述方法包括:
获取集成电路样品的声扫样品图像;
对所述声扫样品图像进行分层处理,并从各层声扫样品图像中选定目标声扫样品图像;
通过预设缺陷识别模型对所述目标声扫样品图像进行缺陷检测,获得缺陷检测结果;所述预设缺陷识别模型基于YOLOX模型构建得到。
2.根据权利要求1所述的方法,其特征在于,所述声扫样品图像为多个所述集成电路样品对应的声扫图像;
所述通过预设缺陷识别模型对所述目标声扫样品图像进行缺陷检测,获得缺陷检测结果之前,还包括:
对所述目标声扫样品图像进行裁剪分割处理,获得多个子目标声扫样品图像;
所述通过预设缺陷识别模型对所述目标声扫样品图像进行缺陷检测,获得缺陷检测结果,包括:
通过所述预设缺陷识别模型对各所述子目标声扫样品图像进行并行缺陷检测,获得各所述子目标声扫样品图像对应的缺陷检测结果。
3.根据权利要求2所述的方法,其特征在于,所述对所述目标声扫样品图像进行裁剪分割处理,获得多个子目标声扫样品图像,包括:
通过OTSU阈值分割方法对所述目标声扫样品图像进行裁剪分割处理,获得多个子目标声扫样品图像。
4.根据权利要求1或2所述的方法,其特征在于,所述通过预设缺陷识别模型对所述目标声扫样品图像进行缺陷检测,获得缺陷检测结果之前,还包括:
对所述目标声扫样品图像进行滤波与增强的预处理。
5.根据权利要求4所述的方法,其特征在于,所述对所述目标声扫样品图像进行滤波与增强的预处理,包括:
通过中值滤波算法对所述目标声扫样品图像进行滤波的预处理;
通过直方图均衡方法对所述目标声扫样品图像进行增强的预处理。
6.根据权利要求1所述的方法,其特征在于,所述YOLOX模型包括基于CSPDarknet架构的主干特征提取网络、基于FPN特征金字塔网络的加强特征提取网络、以及基于解耦预测头网络的预测特征网络。
7.一种集成电路内部缺陷检测装置,其特征在于,所述装置包括:
图像获取模块,用于获取集成电路样品的声扫样品图像;
图像分层模块,用于对所述声扫样品图像进行分层处理,并从各层声扫样品图像中选定目标声扫样品图像;
缺陷识别模块,用于通过预设缺陷识别模型对所述目标声扫样品图像进行缺陷检测,获得缺陷检测结果;所述预设缺陷识别模型基于YOLOX模型构建得到。
8.一种集成电路内部缺陷检测系统,其特征在于,包括超声扫描设备与控制设备;
所述超声扫描设备用于对集成电路样品进行超声扫描,获得声扫样品图像;
所述控制设备用于根据权利要求1至6任意一项所述的集成电路内部缺陷检测方法实现对集成电路样品进行内部缺陷检测。
9.根据权利要求8所述的系统,其特征在于,所述控制设备包括超声控制模块、图像处理模块以及图像检测模块;
所述超声控制模块用于发送超声扫描参数至所述超声扫描设备,以使所述超声扫描设备基于所述超声扫描参数对所述集成电路样品进行超声扫描,获得声扫样品图像;
所述图像处理模块用于对所述声扫样品图像进行分层处理,并从各层声扫样品图像中选定目标声扫样品图像;
所述图像检测模块用于通过预设缺陷识别模型对所述目标声扫样品图像进行缺陷检测,获得缺陷检测结果。
10.根据权利要求8或9所述的系统,其特征在于,还包括显示设备,所述显示设备连接所述控制设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310094552.2A CN115774055A (zh) | 2023-02-10 | 2023-02-10 | 集成电路内部缺陷检测方法、装置与系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310094552.2A CN115774055A (zh) | 2023-02-10 | 2023-02-10 | 集成电路内部缺陷检测方法、装置与系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115774055A true CN115774055A (zh) | 2023-03-10 |
Family
ID=85393452
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310094552.2A Pending CN115774055A (zh) | 2023-02-10 | 2023-02-10 | 集成电路内部缺陷检测方法、装置与系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115774055A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117392122A (zh) * | 2023-12-07 | 2024-01-12 | 深圳前海慧联科技发展有限公司 | 基于超声波技术的螺栓无损检测方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104132998A (zh) * | 2014-08-06 | 2014-11-05 | 北京科技大学 | 一种基于超声扫描显微镜的内部微观缺陷检测方法 |
CN112816556A (zh) * | 2019-11-18 | 2021-05-18 | 中国商用飞机有限责任公司 | 一种缺陷检测方法、装置、设备和存储介质 |
CN114240947A (zh) * | 2022-02-28 | 2022-03-25 | 中国电子产品可靠性与环境试验研究所((工业和信息化部电子第五研究所)(中国赛宝实验室)) | 声扫图像数据库的构建方法、装置、计算机设备 |
-
2023
- 2023-02-10 CN CN202310094552.2A patent/CN115774055A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104132998A (zh) * | 2014-08-06 | 2014-11-05 | 北京科技大学 | 一种基于超声扫描显微镜的内部微观缺陷检测方法 |
CN112816556A (zh) * | 2019-11-18 | 2021-05-18 | 中国商用飞机有限责任公司 | 一种缺陷检测方法、装置、设备和存储介质 |
CN114240947A (zh) * | 2022-02-28 | 2022-03-25 | 中国电子产品可靠性与环境试验研究所((工业和信息化部电子第五研究所)(中国赛宝实验室)) | 声扫图像数据库的构建方法、装置、计算机设备 |
Non-Patent Citations (1)
Title |
---|
YUE ZHAO ET AL.: "Research on Scanning Acoustic Image Defects Detection of Integrated Circuits based on YOLOX" * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117392122A (zh) * | 2023-12-07 | 2024-01-12 | 深圳前海慧联科技发展有限公司 | 基于超声波技术的螺栓无损检测方法 |
CN117392122B (zh) * | 2023-12-07 | 2024-03-15 | 深圳前海慧联科技发展有限公司 | 基于超声波技术的螺栓无损检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019233166A1 (zh) | 一种表面缺陷检测方法、装置及电子设备 | |
KR102166458B1 (ko) | 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치 | |
JP2024509411A (ja) | 欠陥検出方法、装置及びシステム | |
CN111028327B (zh) | 一种三维点云的处理方法、装置及设备 | |
WO2023193401A1 (zh) | 点云检测模型训练方法、装置、电子设备及存储介质 | |
CN114240947B (zh) | 声扫图像数据库的构建方法、装置、计算机设备 | |
CN113269257A (zh) | 一种图像分类方法、装置、终端设备及存储介质 | |
CN114120349B (zh) | 基于深度学习的试卷识别方法及系统 | |
CN115774055A (zh) | 集成电路内部缺陷检测方法、装置与系统 | |
CN116071309B (zh) | 元器件的声扫缺陷检测方法、装置、设备和存储介质 | |
CN115965750B (zh) | 血管重建方法、装置、计算机设备和可读存储介质 | |
CN115965862A (zh) | 基于掩码网络融合图像特征的sar舰船目标检测方法 | |
CN114331985A (zh) | 电子元器件划痕缺陷检测方法、装置和计算机设备 | |
CN114529462A (zh) | 一种基于改进YOLO V3-Tiny的毫米波图像目标检测方法及系统 | |
CN112052730A (zh) | 一种3d动态人像识别监控设备及方法 | |
CN108931574A (zh) | 一种超声无损检测数据的结构噪声数字滤波方法 | |
CN110188815B (zh) | 一种特征点采样方法、装置、设备及存储介质 | |
CN112686896B (zh) | 基于分割网络的频域空间结合的玻璃缺陷检测方法 | |
CN113570594A (zh) | 超声图像中目标组织的监测方法、装置及存储介质 | |
CN117237353A (zh) | 手机外观的瑕疵检测方法、装置、设备及存储介质 | |
CN117115666A (zh) | 基于多源数据的高原湖泊提取方法、装置、设备及介质 | |
Chen et al. | Mobile imaging and computing for intelligent structural damage inspection | |
CN109543716B (zh) | 一种基于深度学习的k线形态图像识别方法 | |
CN107992863B (zh) | 多分辨率粮虫种类视觉识别方法 | |
CN115761606A (zh) | 基于图像处理的箱体电能表识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230310 |
|
RJ01 | Rejection of invention patent application after publication |