CN113781415A - 一种x射线图像的缺陷检测方法、装置、设备及介质 - Google Patents
一种x射线图像的缺陷检测方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN113781415A CN113781415A CN202111000968.0A CN202111000968A CN113781415A CN 113781415 A CN113781415 A CN 113781415A CN 202111000968 A CN202111000968 A CN 202111000968A CN 113781415 A CN113781415 A CN 113781415A
- Authority
- CN
- China
- Prior art keywords
- ray image
- defect
- image
- ray
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 77
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000003466 welding Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000001914 filtration Methods 0.000 claims abstract description 13
- 239000000084 colloidal system Substances 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims description 14
- 229910021417 amorphous silicon Inorganic materials 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- XQPRBTXUXXVTKB-UHFFFAOYSA-M caesium iodide Chemical compound [I-].[Cs+] XQPRBTXUXXVTKB-UHFFFAOYSA-M 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000002474 experimental method Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000011161 development Methods 0.000 description 5
- 238000004806 packaging method and process Methods 0.000 description 5
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 229910000679 solder Inorganic materials 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- RSWGJHLUYNHPMX-UHFFFAOYSA-N Abietic-Saeure Natural products C12CCC(C(C)C)=CC2=CCC2C1(C)CCCC2(C)C(O)=O RSWGJHLUYNHPMX-UHFFFAOYSA-N 0.000 description 3
- KHPCPRHQVVSZAH-HUOMCSJISA-N Rosin Natural products O(C/C=C/c1ccccc1)[C@H]1[C@H](O)[C@@H](O)[C@@H](O)[C@@H](CO)O1 KHPCPRHQVVSZAH-HUOMCSJISA-N 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- KHPCPRHQVVSZAH-UHFFFAOYSA-N trans-cinnamyl beta-D-glucopyranoside Natural products OC1C(O)C(O)C(CO)OC1OCC=CC1=CC=CC=C1 KHPCPRHQVVSZAH-UHFFFAOYSA-N 0.000 description 3
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 2
- 238000000149 argon plasma sintering Methods 0.000 description 2
- 239000010949 copper Substances 0.000 description 2
- 229910052802 copper Inorganic materials 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 238000005476 soldering Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- BUGBHKTXTAQXES-UHFFFAOYSA-N Selenium Chemical compound [Se] BUGBHKTXTAQXES-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000010019 resist printing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000011669 selenium Substances 0.000 description 1
- 229910052711 selenium Inorganic materials 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000004381 surface treatment Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Abstract
本发明公开了一种X射线图像的缺陷检测方法、装置、设备及介质，方法包括：首先获取X射线图像；对所述X射线图像进行滤波处理，得到目标图像；对所述目标图像提取缺陷边缘特征；对所述缺陷边缘特征进行训练分类，确定缺陷检测结果；其中，所述缺陷的类型包括但不限于焊点连接有裂缝、焊点内部空洞、连接点虚焊、胶体气泡。本发明能够实现高端芯片内部缺陷的高精度智能识别，可广泛应用于集成电路检测技术领域。
Description
技术领域
本发明涉及集成电路检测技术领域，尤其是一种X射线图像的缺陷检测方法、装置、设备及介质。
背景技术
直接数字化X射线成像系统，一般用于将X射线影像直接转换为数字图像，避免了传统间接放射X射线影像转换为可见光影像时由光线散射导致的图像模糊，因其成像具有分辨率高、无损、非接触等优点，在制造业、航空航天、精密机械、仪器仪表等领域取得了广泛关注。
近些年，随着集成电路多功能、高密度、集成化多层封装的发展，倒装焊(Flip-chip Bonding，FCB)、球栅阵列(Ball Grid Array，BGA)和3D封装等高端芯片封装形式发展成为集成电路高密度封装的三大关键技术，有力地推动了高端电子信息产品的飞速发展。集成电路的生产工艺流程：开料-钻孔-沉铜-压膜-曝光-显影-电铜-电锡-退膜-蚀刻-退锡-光学检测-印阻焊油-阻焊曝光、显影-字符-表面处理-成型-电测-终检-抽测-包装。
然而，高密度封装内部缺陷不可见，如焊点连接有裂缝、焊点内部空洞、连接点虚焊、胶体气泡等，导致传统的人工目检、自动光学检测(Automatic Optical Inspection，AOI)等表面缺陷检测手段无法满足当前高端芯片封装内部缺陷检测的目的和发展需求。
发明内容
有鉴于此，本发明实施例提供一种X射线图像的缺陷检测方法、装置、设备及介质，以实现高端芯片内部缺陷的高精度智能识别。
本发明的一方面提供了一种X射线图像的缺陷检测方法，包括：
获取X射线图像；
对所述X射线图像进行滤波处理，得到目标图像；
对所述目标图像提取缺陷边缘特征；
对所述缺陷边缘特征进行训练分类，确定缺陷检测结果；
其中，所述缺陷的类型包括但不限于焊点连接有裂缝、焊点内部空洞、连接点虚焊、胶体气泡。
可选地，所述获取X射线图像，包括：
搭建X射线成像系统，所述X射线成像系统中的部件包括射线源、待测物、探测器以及图像工作站，所述探测器采用非晶硅平板探测器；
采用大规模集成方法，对所述非晶硅平板探测器进行集成，得到大面积非晶硅传感器阵列和碘化铯闪烁体；所述大面积非晶硅传感器阵列和碘化铯闪烁体用于将X射线光子转化为电子；
所述电子由数模转换器转变成为数字信号，得到X射线图像。
可选地，所述对所述X射线图像进行滤波处理，得到目标图像，包括：
对所述X射线图像进行中值滤波处理，得到目标图像。
可选地，所述对所述目标图像提取缺陷边缘特征，包括：
根据区域增长的单连通特性，对所述X射线图像中每个点进行遍历搜索，确定目标特征量信息；
根据灰度不变矩特征，对所述X射线图像中的缺陷边缘特征进行定位；
根据微分空间内梯度幅值特性，确定边缘特征提取阈值的自适应选择策略，并根据所述边缘特征提取阈值的自适应选择策略提取缺陷边缘特征。
可选地，所述根据灰度不变矩特征，对所述X射线图像中的缺陷边缘特征进行定位，包括：
计算所述X射线图像的多阶矩、零阶几何矩以及中心矩；
根据所述多阶矩和所述零阶几何矩，计算所述X射线图像的形心坐标；
对所述中心矩进行归一化处理；
根据所述归一化处理的结果，对所述形心坐标进行组合运算，确定缺陷边缘特征的位置。
可选地，所述根据微分空间内梯度幅值特性，确定边缘特征提取阈值的自适应选择策略，并根据所述边缘特征提取阈值的自适应选择策略提取缺陷边缘特征，包括：
用高斯函数对X射线图像进行平滑处理，得到平滑后的图像；
采用2*2领域的一阶差分计算图像中像素点坐标的偏导数；
对X射线图像中像素点进行非极大值抑制；
取两个不同数值的第一阈值和第二阈值,将大于所述第一阈值的点确定为边缘点，将小于所述第二阈值的点确定为非边缘点；
对所述第一阈值和所述第二阈值之间的点再进行判断，若该点的邻域中有大于所述第一阈值的点，则确定该点为边缘点。
可选地，所述对所述缺陷边缘特征进行训练分类，确定缺陷检测结果，包括：
根据卷积神经网络模型的区域定位网络结构模型对提取出的缺陷边缘特征进行分类；
通过候选区域网络模型和选择搜索方法对候选框的提取进行质量测试实验；
根据缺陷的类型对提取的细节信息进行训练分类。
本发明实施例的另一方面提供了一种X射线图像的缺陷检测装置，包括：
第一模块，用于获取X射线图像；
第二模块，用于对所述X射线图像进行滤波处理，得到目标图像；
第三模块，用于对所述目标图像提取缺陷边缘特征；
第四模块，用于对所述缺陷边缘特征进行训练分类，确定缺陷检测结果；
其中，所述缺陷的类型包括但不限于焊点连接有裂缝、焊点内部空洞、连接点虚焊、胶体气泡。
本发明实施例的另一方面提供了一种电子设备，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如前面所述的方法。
本发明实施例的另一方面提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
本发明的实施例首先获取X射线图像；对所述X射线图像进行滤波处理，得到目标图像；对所述目标图像提取缺陷边缘特征；对所述缺陷边缘特征进行训练分类，确定缺陷检测结果；其中，所述缺陷的类型包括但不限于焊点连接有裂缝、焊点内部空洞、连接点虚焊、胶体气泡。本发明能够实现高端芯片内部缺陷的高精度智能识别。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的整体步骤流程图；
图2为本发明实施例提供的缺陷检测的流程图；
图3为本发明实施例的卷积神经网络的结构示意图；
图4为本发明实施例的锚点、预测边界框和真实边界框的几何图形示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
针对现有技术存在的问题，本发明采用直接数字化X射线成像系统的非晶硒材料平板探测器，将X射线影像直接转换为数字图像，避免了传统间接放射X射线影像转换为可见光影像时由光线散射导致的图像模糊，因其成像具有分辨率高、无损、非接触等优点。集成电路缺陷包括缺焊、错焊、少锡、多锡、断线、粘脚、断脚。基于卷积神经网络的对象检测模型对提取的细节信息进行训练分类，从而实现高端芯片内部缺陷的高精度智能识别。
本发明的主要目的在于针对图像的微分几何特征，利用区域增长原理，准确快速地收集目标的特征量信息，达到精确搜索目标的目的；结合缺陷特征的不变矩参数和微分空间内梯度幅值特性，设计自适应阈值选择策略，达到准确定位并精确提取特征的目的。在此基础上，基于区域定位网络结构模型对集成电路内部缺陷进行提取分类和质量测试，实现智能检测分类。
本发明提出的基于深度学习网络模型的X射线图像智能缺陷检测方法，如图1所示，包括以下步骤：
(1)图像采集：首先搭建X射线成像系统即射线源、待测物、探测器、图像工作站等几部分，其中探测器采用非晶硅平板探测器。可以直接将X射线光子转化为电子，并最终通过数模转换器(ADC)转变成为数字信号。
(2)预处理：对采集到的图像进行滤波处理。
(3)提取缺陷边缘特征：利用区域增长的单连通特性、灰度不变矩特性和微分空间内梯度幅值特性，达到准确定位并精确提取特征的目的。
(4)智能检测分类:依据焊点连接有裂缝、焊点内部空洞、连接点虚焊、胶体气泡等缺陷类型特征对提取的细节信息进行训练分类，实现各类缺陷的智能检测分类，达到计算机辅助评判的要求。
具体地，所述步骤(1)的关键点定位具体过程如下：
(1-1)搭建X射线成像系统，其中部件包括射线源、待测物、探测器、图像工作站等几部分，探测器采用非晶硅平板探测器
(1-2)非晶硅平板探测器采用大规模集成技术，集成了一个大面积非晶硅传感器阵列和碘化铯闪烁体，可以直接将X射线光子转化为电子，并最终通过数模转换器(ADC)转变成为数字信号。
所述步骤(2)特征描述的步骤如下：
(2-1)对采集到的图像进行滤波处理，中值滤波。
参考图2，所述步骤(3)特征描述的步骤如下：
(3-1)利用区域增长的单连通特性，对图像中每个点进行遍历搜索，准确快速地收集目标的特征量信息，达到精确搜索目标的目的；
(3-2)采用灰度不变矩特性，对缺陷特征进行定位。根据几何不变量理论构造了7个经典的几何不变矩，在平移、缩放、旋转下保持不变。对数字图像f(x,y)，其p+q阶矩定义为：
式中，M,N表示图像横纵方向的像素；p,q＝0,1,2…。
零阶几何矩(p＝q＝0)：
中心矩μpq的计算如下：
其中(x0，y0)为形心坐标：
归一化中心距ypq计算如下：
式中,r＝(p+q+2)/2。
经过位置和数值归一化后的矩特征只能保持图像的平移和尺度不变性。为了消除图像角度对特征提取的影响，使矩特征具有旋转不变性，就需要通过一定的构造方法对不同阶的ypq进行组合及运算。
(3-3)采用微分空间内梯度幅值特性，设计边缘特征提取阈值的自适应选择策略，达到准确定位并精确提取特征的目的。其中采用Canny边缘检测算法，该算法分为四步，第一步用高斯函数进行平滑处理，得到平滑后的图像s(x,y)
s(x,y)＝G(x,y；σ)*f(x,y)
其中，G(x,y；σ)为一次高斯滤波，σ为标准差。
第二步，采用2*2邻域的一阶差分计算点(x,y)处水平方向和垂直方向的偏导数
和
第三步进行非极大值抑制，将某一点(x,y)的像素灰度值与它的梯度方向上的前后两点对比，若在该点处不是最大值，则将其位置(x,y)处灰度值置为0。
梯度：
方向：
最后用双阈值法判断边缘。取两个不同的高低阈值，即第一阈值T1、第二阈值T2,大于高阈值T1的点属于边缘点，小于低阈值T2的点不属于边缘点。对T1、T2之间的点再进行判断，若该点邻域中有大于高阈值T1的点，则其属于边缘点。
所述步骤(4)特征描述的步骤如下：
(4-1)基于卷积神经网络模型的区域定位网络结构模型对提取出的缺陷边缘特征进行分类；
Faster R-CNN结构如图3所示，它是由两个模块组成:区域生成网络RPN候选框提取模块和Fast RC-NN检测模块。Fast R-CNN在Faster R-CNN中，用于特征提取的CNN的计算在RPN和Fast R-CNN之间共享，Fast R-CNN从RPN中获取预先计算的目标对象候选区域，并使用CNN从输入图像中提取特征图。在RoI池化层中，预先计算的目标对象候选区域在特征映射上采用RoI最大池操作，从每个RoI中提取固定大小的特征向量。将这些特征向量输入全连接层，然后分别输入回归层和softmax层，以计算边界框的位置并对框中的对象进行分类。
(4-2)针对候选区域网络(Region Proposal Networks,RPNs)模型以及选择搜索算法对于候选框的提取进行质量测试实验；
采用滑动窗口机制搜索算法对于候选框的提取特征图，每个滑动窗口都会提取一个特征向量，这些特征向量会被分别馈送到回归层和softmax层，分别预测多个边界框的坐标和每个框中目标对象的概率。滑动窗口在每一个不同位置时会产生k个不同的候选区域，即k个锚点，每个锚点由不同尺寸和不同比例构成，以此来使得模型能更好的检测出不同尺寸的目标。这样回归层就会有4k个输出，即每个框的中心坐标和高宽softmax层会输出2k个值，来描述每个框中的对象是目标还是背景的可能性。
(4-3)依据焊点连接有裂缝、焊点内部空洞、连接点虚焊、胶体气泡等缺陷类型特征对提取的细节信息进行训练分类，实现各类缺陷的智能检测分类，达到计算机辅助评判的要求。
训练时随机选择的小批次包含正负标签样本数各一半。其损失函数为:
其中，pi和
分别是第i个候选框是否为目标候选框的标签值和第i个候选框为目标对象的概率。
的值为0或1，分别表示负标签与正标签。Ncls和Nreg分别是各框长和宽的乘积。变量ti和
用于定义预测边界框和候选框之间以及真实目标框和候选框之间的几何差异，计算公式如下:
[ti,x,ti,y]＝[(xi-xi,a)/wi,a,(yi-yi,a)/hi,a]
[ti,w,ti,h]＝[log(wi/wi,a),log(hi/hi,a)]
其中，(xi,yi),(xi,a,yi,a)和(x*,y*)分别是第i个锚、预测边框的中心坐标、锚点的中心坐标和真实目标框的中心坐标。变量(wi,hi)，(wi,a,hi,a)和(w*,h*)分别是预测边界框，锚和真实目标框的宽度和高度。图4分别显示了锚的几何形状403、预测边界框402和真实边界框401的示例。
为使预测的边界框参数与真实目标框更接近，于是定义回归损失函数Lreg()以及Lcls()为：
平均精度(AP)通常用于评估目标检测的性能，并通过计算精确度与召回率曲线下的面积来衡量分类器的好坏，值越大分类器性能越好。对于一个给定的类，精确度和召回率分别定义为模型预测结果中正确识别为正样本的占被识别为正样本的比例和正确识别为正样本的占所有正样本的比例。在多类别目标检测任务中用所有类的AP的平均值(mAP)来评估模型的性能。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面所示的方法。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种X射线图像的缺陷检测方法，其特征在于，包括：
获取X射线图像；
对所述X射线图像进行滤波处理，得到目标图像；
对所述目标图像提取缺陷边缘特征；
对所述缺陷边缘特征进行训练分类，确定缺陷检测结果；
其中，所述缺陷的类型包括但不限于焊点连接有裂缝、焊点内部空洞、连接点虚焊、胶体气泡。
2.根据权利要求1所述的一种X射线图像的缺陷检测方法，其特征在于，所述获取X射线图像，包括：
搭建X射线成像系统，所述X射线成像系统中的部件包括射线源、待测物、探测器以及图像工作站，所述探测器采用非晶硅平板探测器；
采用大规模集成方法，对所述非晶硅平板探测器进行集成，得到大面积非晶硅传感器阵列和碘化铯闪烁体；所述大面积非晶硅传感器阵列和碘化铯闪烁体用于将X射线光子转化为电子；
所述电子由数模转换器转变成为数字信号，得到X射线图像。
3.根据权利要求1所述的一种X射线图像的缺陷检测方法，其特征在于，所述对所述X射线图像进行滤波处理，得到目标图像，包括：
对所述X射线图像进行中值滤波处理，得到目标图像。
4.根据权利要求1所述的一种X射线图像的缺陷检测方法，其特征在于，所述对所述目标图像提取缺陷边缘特征，包括：
根据区域增长的单连通特性，对所述X射线图像中每个点进行遍历搜索，确定目标特征量信息；
根据灰度不变矩特征，对所述X射线图像中的缺陷边缘特征进行定位；
根据微分空间内梯度幅值特性，确定边缘特征提取阈值的自适应选择策略，并根据所述边缘特征提取阈值的自适应选择策略提取缺陷边缘特征。
5.根据权利要求4所述的一种X射线图像的缺陷检测方法，其特征在于，所述根据灰度不变矩特征，对所述X射线图像中的缺陷边缘特征进行定位，包括：
计算所述X射线图像的多阶矩、零阶几何矩以及中心矩；
根据所述多阶矩和所述零阶几何矩，计算所述X射线图像的形心坐标；
对所述中心矩进行归一化处理；
根据所述归一化处理的结果，对所述形心坐标进行组合运算，确定缺陷边缘特征的位置。
6.根据权利要求4所述的一种X射线图像的缺陷检测方法，其特征在于，所述根据微分空间内梯度幅值特性，确定边缘特征提取阈值的自适应选择策略，并根据所述边缘特征提取阈值的自适应选择策略提取缺陷边缘特征，包括：
用高斯函数对X射线图像进行平滑处理，得到平滑后的图像；
采用2*2领域的一阶差分计算图像中像素点坐标的偏导数；
对X射线图像中像素点进行非极大值抑制；
取两个不同数值的第一阈值和第二阈值,将大于所述第一阈值的点确定为边缘点，将小于所述第二阈值的点确定为非边缘点；
对所述第一阈值和所述第二阈值之间的点再进行判断，若该点的邻域中有大于所述第一阈值的点，则确定该点为边缘点。
7.根据权利要求1所述的一种X射线图像的缺陷检测方法，其特征在于，所述对所述缺陷边缘特征进行训练分类，确定缺陷检测结果，包括：
根据卷积神经网络模型的区域定位网络结构模型对提取出的缺陷边缘特征进行分类；
通过候选区域网络模型和选择搜索方法对候选框的提取进行质量测试实验；
根据缺陷的类型对提取的细节信息进行训练分类。
8.一种X射线图像的缺陷检测装置，其特征在于，包括：
第一模块，用于获取X射线图像；
第二模块，用于对所述X射线图像进行滤波处理，得到目标图像；
第三模块，用于对所述目标图像提取缺陷边缘特征；
第四模块，用于对所述缺陷边缘特征进行训练分类，确定缺陷检测结果；
其中，所述缺陷的类型包括但不限于焊点连接有裂缝、焊点内部空洞、连接点虚焊、胶体气泡。
9.一种电子设备，其特征在于，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111000968.0A CN113781415A (zh) | 2021-08-30 | 2021-08-30 | 一种x射线图像的缺陷检测方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111000968.0A CN113781415A (zh) | 2021-08-30 | 2021-08-30 | 一种x射线图像的缺陷检测方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113781415A true CN113781415A (zh) | 2021-12-10 |
Family
ID=78839841
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111000968.0A Pending CN113781415A (zh) | 2021-08-30 | 2021-08-30 | 一种x射线图像的缺陷检测方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113781415A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116363085A (zh) * | 2023-03-21 | 2023-06-30 | 江苏共知自动化科技有限公司 | 基于小样本学习和虚拟合成数据的工业零件目标检测方法 |
| CN117372414A (zh) * | 2023-11-09 | 2024-01-09 | 东莞市兆丰精密仪器有限公司 | 电池极性检测方法、装置、设备及存储介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102156996A (zh) * | 2011-04-01 | 2011-08-17 | 上海海事大学 | 一种图像边缘检测的方法 |
| CN103837555A (zh) * | 2014-03-19 | 2014-06-04 | 烟台华科检测设备有限公司 | 一种x射线数字平板成像检测技术 |
| CN106846316A (zh) * | 2017-02-10 | 2017-06-13 | 云南电网有限责任公司电力科学研究院 | 一种gis内部典型缺陷图像自动识别方法 |
| CN110222681A (zh) * | 2019-05-31 | 2019-09-10 | 华中科技大学 | 一种基于卷积神经网络的铸件缺陷识别方法 |
| CN110298818A (zh) * | 2019-05-21 | 2019-10-01 | 杭州电子科技大学 | 基于轮廓矩的乳化炸药包装缺陷检测方法 |
| CN110570410A (zh) * | 2019-09-05 | 2019-12-13 | 河北工业大学 | 一种自动识别检测焊缝缺陷的检测方法 |
| CN110779937A (zh) * | 2019-10-11 | 2020-02-11 | 上海航天精密机械研究所 | 一种铸件产品内部缺陷智能检测装置 |
| CN111462092A (zh) * | 2020-04-02 | 2020-07-28 | 浙江工业大学 | 一种基于深度学习的保温杯表面的缺陷检测方法 |
| CN111932489A (zh) * | 2020-06-03 | 2020-11-13 | 西安电子科技大学 | 焊缝缺陷检测方法、系统、存储介质、计算机设备、终端 |
| CN112083017A (zh) * | 2020-09-10 | 2020-12-15 | 上海航天精密机械研究所 | 焊缝内部缺陷智能检测装置、方法及介质 |
| CN112348787A (zh) * | 2020-11-03 | 2021-02-09 | 中科创达软件股份有限公司 | 物体缺陷检测模型的训练方法、物体缺陷检测方法及装置 |
| CN113034478A (zh) * | 2021-03-31 | 2021-06-25 | 太原科技大学 | 一种基于深度学习网络的焊缝缺陷识别定位方法、系统 |
-
2021
- 2021-08-30 CN CN202111000968.0A patent/CN113781415A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102156996A (zh) * | 2011-04-01 | 2011-08-17 | 上海海事大学 | 一种图像边缘检测的方法 |
| CN103837555A (zh) * | 2014-03-19 | 2014-06-04 | 烟台华科检测设备有限公司 | 一种x射线数字平板成像检测技术 |
| CN106846316A (zh) * | 2017-02-10 | 2017-06-13 | 云南电网有限责任公司电力科学研究院 | 一种gis内部典型缺陷图像自动识别方法 |
| CN110298818A (zh) * | 2019-05-21 | 2019-10-01 | 杭州电子科技大学 | 基于轮廓矩的乳化炸药包装缺陷检测方法 |
| CN110222681A (zh) * | 2019-05-31 | 2019-09-10 | 华中科技大学 | 一种基于卷积神经网络的铸件缺陷识别方法 |
| CN110570410A (zh) * | 2019-09-05 | 2019-12-13 | 河北工业大学 | 一种自动识别检测焊缝缺陷的检测方法 |
| CN110779937A (zh) * | 2019-10-11 | 2020-02-11 | 上海航天精密机械研究所 | 一种铸件产品内部缺陷智能检测装置 |
| CN111462092A (zh) * | 2020-04-02 | 2020-07-28 | 浙江工业大学 | 一种基于深度学习的保温杯表面的缺陷检测方法 |
| CN111932489A (zh) * | 2020-06-03 | 2020-11-13 | 西安电子科技大学 | 焊缝缺陷检测方法、系统、存储介质、计算机设备、终端 |
| CN112083017A (zh) * | 2020-09-10 | 2020-12-15 | 上海航天精密机械研究所 | 焊缝内部缺陷智能检测装置、方法及介质 |
| CN112348787A (zh) * | 2020-11-03 | 2021-02-09 | 中科创达软件股份有限公司 | 物体缺陷检测模型的训练方法、物体缺陷检测方法及装置 |
| CN113034478A (zh) * | 2021-03-31 | 2021-06-25 | 太原科技大学 | 一种基于深度学习网络的焊缝缺陷识别定位方法、系统 |
Non-Patent Citations (3)
| Title |
|---|
| 蒋文凤 等: "焊缝X射线实时成像图像中缺陷的提取", 南华大学学报（自然科学版）, vol. 21, no. 1, pages 98 - 101 * |
| 薛雪 等: "基于区域增长的图像跟踪算法的研究", 光学技术, vol. 31, no. 01, pages 152 - 154 * |
| 马鸽: "面向极大规模集成电路封装X射线检测的图像处理关键问题研究", 中国博士学位论文全文数据库 信息科技辑, no. 02, pages 2 - 8 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116363085A (zh) * | 2023-03-21 | 2023-06-30 | 江苏共知自动化科技有限公司 | 基于小样本学习和虚拟合成数据的工业零件目标检测方法 |
| CN116363085B (zh) * | 2023-03-21 | 2024-01-12 | 江苏共知自动化科技有限公司 | 基于小样本学习和虚拟合成数据的工业零件目标检测方法 |
| CN117372414A (zh) * | 2023-11-09 | 2024-01-09 | 东莞市兆丰精密仪器有限公司 | 电池极性检测方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109978839B (zh) | 晶圆低纹理缺陷的检测方法 | |
| Wen et al. | A novel method based on deep convolutional neural networks for wafer semiconductor surface defect inspection | |
| KR102131897B1 (ko) | 지형적인 속성들을 사용하는 결함 분류 | |
| CN110930390B (zh) | 基于半监督深度学习的芯片管脚缺失检测方法 | |
| Al-Hafiz et al. | Red blood cell segmentation by thresholding and Canny detector | |
| JP7274885B2 (ja) | 表示装置の欠陥識別システム及び方法 | |
| CN113781415A (zh) | 一种x射线图像的缺陷检测方法、装置、设备及介质 | |
| CN109580630A (zh) | 一种机械零部件缺陷的视觉检测方法 | |
| WO2017161598A1 (en) | Fast density estimation method for defect inspection application | |
| CN111932511B (zh) | 一种基于深度学习的电子元器件质量检测方法与系统 | |
| Wang et al. | Fully convolution network architecture for steel-beam crack detection in fast-stitching images | |
| Yan et al. | Towards automated detection and quantification of concrete cracks using integrated images and lidar data from unmanned aerial vehicles | |
| US20230080178A1 (en) | Automated assessment of cracks using lidar and camera data | |
| Said et al. | Robust automatic void detection in solder balls | |
| KR20220014805A (ko) | 반도체 시편의 검사에 사용가능한 훈련 데이터의 생성 | |
| CN113920096A (zh) | 一种集成电路金属封装缺陷检测方法 | |
| Said et al. | Automated detection and classification of non-wet solder joints | |
| Yang et al. | A scratch detection method based on deep learning and image segmentation | |
| TW201512649A (zh) | 偵測晶片影像瑕疵方法及其系統與電腦程式產品 | |
| Xia et al. | An efficient and robust target detection algorithm for identifying minor defects of printed circuit board based on PHFE and FL-RFCN | |
| CN110426395B (zh) | 一种太阳能el电池硅片表面检测方法及装置 | |
| CN115471476A (zh) | 一种部件缺陷检测方法、装置、设备及介质 | |
| CN113705564B (zh) | 一种指针式仪表识别读数方法 | |
| Pang et al. | Void and solder joint detection for chip resistors based on X-ray images and deep neural networks | |
| Sulaiman et al. | DEFECT INSPECTION SYSTEM FOR SHAPE-BASED MATCHING USING TWO CAMERAS. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |