CN113466338A - 一种基于神经网络的塑封电子元器件缺陷识别系统及方法 - Google Patents
一种基于神经网络的塑封电子元器件缺陷识别系统及方法 Download PDFInfo
- Publication number
- CN113466338A CN113466338A CN202110821982.0A CN202110821982A CN113466338A CN 113466338 A CN113466338 A CN 113466338A CN 202110821982 A CN202110821982 A CN 202110821982A CN 113466338 A CN113466338 A CN 113466338A
- Authority
- CN
- China
- Prior art keywords
- electronic component
- module
- plastic package
- operation module
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 106
- 230000007547 defect Effects 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 157
- 238000006243 chemical reaction Methods 0.000 claims description 49
- 238000011176 pooling Methods 0.000 claims description 45
- 230000000877 morphologic effect Effects 0.000 claims description 19
- 230000003044 adaptive effect Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 11
- 239000000758 substrate Substances 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 229910000679 solder Inorganic materials 0.000 description 3
- 239000008367 deionised water Substances 0.000 description 2
- 229910021641 deionized water Inorganic materials 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 239000004593 Epoxy Substances 0.000 description 1
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 1
- 241000482268 Zea mays subsp. mays Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000005022 packaging material Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/04—Analysing solids
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
- G01N29/4481—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Pathology (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Acoustics & Sound (AREA)
- Image Analysis (AREA)
- Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
Abstract
本发明公开了一种基于神经网络的塑封电子元器件缺陷识别系统,该系统包括超声波换能器、电动控制单元、脉冲发射接收器、相位检测单元、信号转换单元、神经网络单元和微处理控制器。该方法包括如下步骤:训练神经网络;系统状态初始化;神经网络单元权重的导入;发送驱动指令;驱动超声波换能器;发送脉冲发射接收指令;采集被测塑封电子元器件内部的目标检测区域的电信号;对被测塑封电子元器件的目标检测区域的电信号进行相位检测;生成被测塑封电子元器件的内部形貌结构特征图片;神经网络识别被测塑封电子元器件目标检测区域缺陷;被测塑封电子元器件的检测结果输出。本发明基于卷积神经网络技术,实现了电子元器件缺陷自动识别。
Description
技术领域
本发明属于塑封电子元器件检测技术领域,具体涉及一种基于神经网络的塑封电子元器件缺陷识别系统及方法。
背景技术
电子元器件是电子学系统的基本组成单元,其中塑封类元器件因其自动化程度高、质量轻、体积小等特点而被广泛使用,但塑封料容易吸潮、各结构界面之间容易分层又是降低其使用可靠性的因素,分层加上吸潮的影响会造成内部金属层腐蚀、芯片产生“爆米花”效应等,因此在塑封电子元器件使用前需要对其内部结构进行检测,将内部结构有缺陷的塑封电子元器件剔除掉,提高塑封电子元器件的可靠性。
经过对塑封电子元器件内部结构扫描设备和扫描过程的研究,发现目前塑封电子元器件内部结构的缺陷检测多采用超声波扫描的方法,且产生黑白声学成像图中有缺陷的位置会显示为红色像素点。在超声波检测的过程中,塑封电子元器件内部结构是否有缺陷主要通过声学成像图中红色部位在器件的具体位置以及所占面积大小进行判定,且主要通过人眼以及经验来判断。但随着一次性扫描塑封电子元器件的数量增加,单张黑白声学成像图中的塑封电子元器件数量也会相应增加,这会导致人眼直观判断塑封电子元器件内部是否具有缺陷的误判率大大增加,降低塑封电子元器件的可靠性,且随着塑封电子元器件数量的增加,为了保证检测结果的准确性,需要通过人眼多次复查黑白声学成像图中塑封电子元器件内部是否具有缺陷,这会大大降低塑封电子元器件的检测效率。
发明内容
有鉴于此,本发明提供一种基于神经网络的塑封电子元器件缺陷识别系统及方法。本发明具体采用如下技术方案:
一种基于神经网络的塑封电子元器件缺陷识别系统,该系统包括超声波换能器、电动控制单元、脉冲发射接收器、相位检测单元、信号转换单元、神经网络单元和微处理控制器,其连接关系是:微处理控制器分别与神经网络单元、信号转换单元、电动控制单元以及脉冲发射接收器相连,信号转换单元与神经网络单元、相位检测单元相连,相位检测单元与脉冲发射接收器相连,脉冲发射接收器与超声波换能器相连,同样电动控制单元与超声波换能器相连;
其中,所述超声波换能器,用于将脉冲发射接收器产生的固定频率的电信号脉冲转化为超声波信号并发送至被测塑封电子元器件,以及将被测塑封电子元器件反射回来的包含塑封电子元器件内部形貌的超声波信号转换为电压脉冲信号;
所述电动控制单元,用于驱动超声波换能器对被测塑封电子元器件的被检测目标检测区域做自上而下及自左而右的往返扫描运动;
所述脉冲发射接收器,用于发送电压脉冲信号至超声波换能器,并接收由超声波换能器返回的电压脉冲信号,然后发送至相位检测单元;
所述相位检测单元,用于接收脉冲发射接收器发送的电压脉冲信号,将所述电压脉冲信号分为正弦电信号和余弦电信号,其中,正弦电信号代表被测塑封电子元器件无内部缺陷,余弦电信号代表被测塑封电子元器件有内部缺陷,并发送至信号转换单元;
所述信号转换单元,用于接收微处理控制器发送的被测塑封电子元器件被检测目标检测区域位置信息,以及接收相位检测单元发送的正弦电信号和余弦电信号,并转化为神经网络模块可识别的包含塑封电子元器件内部目标检测区域的形貌结构的像素点信号,且对应余弦电信号的塑封电子元器件的位置处标记为红色像素点信号,最终组合成包含塑封电子元器件内部目标检测区域内同一平面不同位置形貌结构特征的图片;
所述微处理控制器,用于控制神经网络单元、电动控制单元、脉冲发射接收器、相位检测单元以及信号转换单元间信号的传输及处理。
所述神经网络单元,用于识别被测塑封电子元器件内部是否具有内部缺陷,所述神经网络单元包含图像数据接收模块、卷积运算模块、池化运算模块、全连接运算模块、权重存储模块以及输出模块,其连接关系是:图像数据接收模块与卷积运算模块及权重存储模块相连,权重存储模块与图像数据接收模块相连的同时与卷积运算模块、池化运算模块及全连接运算模块相连,卷积运算模块与图像数据接收模块和权重存储模块相连的同时与池化运算模块相连,池化运算模块与卷积运算模块和权重存储模块相连的同时与全连接运算模块相连,全连接运算模块与池化运算模块和权重存储模块相连的同时与输出模块相连,其中,
所述神经网络单元的图像数据接收模块,用于将从信号转换单元输出的图片进行图像数据预处理,并向权重存储模块传输经训练的神经网络权重值;
所述神经网络单元的权重存储模块,用于存储训练好的卷积运算模块、池化运算模块、以及全连接运算模块的权重值;
所述神经网络单元的卷积运算模块,用于接收图像数据接收模块发送的图片数据,并将图片数据与卷积运算模块的权重值进行卷积运算,并将运算结果发送至池化运算模块;
所述神经网络单元的池化运算模块,用于接收卷积运算模块发送的运算结果,并与池化运算模块的权重值运算,完成特征图数据的压缩,并将运算结果发送至全连接运算模块;
所述神经网络单元的全连接运算模块,用于接收池化运算模块发送的运算结果,并与全连接运算模块的权重值运算;根据全连接运算模块的运算结果,所述全连接运算模块将图片数据进行特征分类,即分为有内部缺陷和无内部缺陷两种分类结果,并发送至输出模块;
所述神经网络单元的输出模块,用于将全连接运算模块的分类结果输出到微处理控制器中。
本发明还提供一种基于前述的基于神经网络的塑封电子元器件缺陷识别系统的塑封电子元器件缺陷识别方法,该方法包括具体如下:
步骤1,训练神经网络;
步骤2,系统状态初始化;
步骤3,神经网络单元权重的导入;
步骤4,发送驱动指令;
步骤5,驱动超声波换能器;
步骤6,发送脉冲发射接收指令;
步骤7,采集被测塑封电子元器件内部的目标检测区域的电信号;
步骤8,对被测塑封电子元器件的目标检测区域的电信号进行相位检测;
步骤9,生成被测塑封电子元器件的内部形貌结构特征图片;
步骤10,神经网络识别被测塑封电子元器件目标检测区域缺陷;
步骤11,被测塑封电子元器件的检测结果输出。
进一步,步骤1具体为:
在计算机上确定神经网络的结构框架,并以信号转换单元转化后的被测塑封电子元器件内部目标检测区域内同一平面不同位置的图片数据为训练集对神经网络进行训练,并对神经网络的结构和内部参数进行调节,当神经网络识别输入塑封电子元器件内部形貌结构特征图片中红色像素点区域是否为缺陷的准确率达到所需要求后,导出神经网络的权重值。
进一步,步骤4具体为:
微处理控制器向电动控制单元发送驱动超声波换能器的指令,以使超声波换能器检测被测塑封电子元器件的目标检测区域。
进一步,步骤5具体为:
所述电动控制单元接收到微处理控制器的驱动指令后,电动控制单元控制超声波换能器移动到被测塑封电子元器件的目标检测区域位置,并使超声波换能器焦点对准被测塑封电子元器件的内部目标检测区域位置。
进一步,步骤7具体为:
所述脉冲发射接收器接收到微处理控制器的脉冲发射接收指令后,再向超声波换能器周期性地发送与超声波换能器工作频率相适应的电压脉冲信号,并经超声波换能器实现电压信号与超声波信号的转换后,超声波换能器采集被测塑封电子元器件内部的目标检测区域内同一平面不同位置的形貌结构特征并返回至脉冲发射接收器。
进一步,步骤8具体为:
所述相位检测单元对被测塑封电子元器件的目标检测区域的所有位置的电压脉冲信号的相位进行检测,针对被测塑封电子元器件的无缺陷区域,将输出正弦电信号;针对被测塑封电子元器件的缺陷区域,将输出余弦电信号;所述相位检测单元将所述电压脉冲信号传送到信号转换单元。
进一步,步骤9具体为:
对于正弦电信号所在目标检测区域,所述信号转换单元将相应正弦电信号转换为目标检测区域黑白像素点;对于余弦电信号所在目标检测区域,所述信号转换单元将相应余弦电信号转化为红色像素点,所述黑白像素点和红色像素点即构成包含被测塑封电子元器件的目标检测区域内部形貌结构特征的图片信息。
进一步,步骤10具体为:
所述信号转换单元将所述图片信息发送至图像数据接收模块;所述图像数据接收模块将图片信息预处理后传输到已加载权重值的卷积运算模块中进行被测塑封电子元器件目标检测区域内部形貌结构特征数据的卷积运算;经过池化运算模块和全连接运算模块运算后,全连接运算模块将图片信息中被测塑封电子元器件的目标检测区域是否具有缺陷及缺陷类型的运算结果传输到输出模块。
进一步,步骤11具体为:
输出模块将运算结果输出至微处理控制器,微处理控制器检查被测塑封电子元器件的目标检测区域是否全部被检测,若被测塑封电子元器件的目标检测区域被全部检测,则微处理控制器将判断结果输出到计算机中显示;若被测塑封电子元器件的目标检测区域未被全部检测,则跳转到步骤4,直至被测塑封电子元器件的目标检测区域被全部检测,则微处理控制器将判断结果输出到计算机中显示。
附图说明
图1是现有技术中塑封电子元器件缺陷识别系统示意图;
图2是塑封电子元器件缺陷示意图;
图3是神经网络单元结构图;
图4是本发明神经网络单元结构框图;
图5是实施例1基于神经网络的塑封电子元器件缺陷识别系统结构示意图;
图6是本发明神经网络单元训练流程图。
具体实施方式
图1为现有技术中的塑封电子元器件缺陷识别系统示意图。本发明中以该塑封电子元器件缺陷识别系统信号采集原理图作为说明,但塑封电子元器件缺陷识别系统信号采集原理图不局限于这种结构。塑封电子元器件缺陷识别系统检测塑封电子元器件内部缺陷的原理主要是通过超声波换能器将超声波传输到被测塑封电子元器件上,超声波为纵波,传输过程中使用去离子水作为传输介质,超声波在接触到塑封电子元器件表面时会产生一定量的器件表面反射波,同时有部分超声波进入塑封电子元器件内部,分别在芯片的表面和背面产生反射波,三种反射波携带着塑封电子元器件三个平面的结构特征通过去离子水返回被超声波换能器接收,实现塑封电子元器件缺陷识别系统采集塑封电子元器件内部结构特征的功能。
图2是本发明针对的塑封电子元器件缺陷示意图。本发明中以该类型塑封电子元器件结构为说明,但塑封电子元器件结构类型不限于这种结构。塑封电子元器件内部常见的缺陷有空洞、裂纹和分层,空洞主要是指塑封电子元器件内部没有被环氧塑封料完全填充,且超过一定内部区域比例;分层主要是指塑封电子元器件内部塑封料与芯片键合丝区域、芯片键合区键合丝、芯片正面、背面以及芯片基板等之间存在一定缝隙,没有被完全填充;裂纹主要是指塑封电子元器件内部芯片、基板以及塑封料中存在物理应力导致的裂缝;三种类型的缺陷均会影响塑封电子元器件的可靠性,在塑封电子元器件投入使用前均需通过塑封电子元器件内部结构的检测剔除掉。
图3是神经网络单元结构图。本发明中以该神经网络结构为说明,但神经网络的结构不局限于这种结构。该神经网络主要由卷积层、池化层、全连接层以及分类函数组成,卷积层主要用于提取输入声学成像图中塑封电子元器件内部形貌结构特征,包括红色像素点的缺陷特征;池化层主要用于将卷积层提取的塑封电子元器件内部结构特征像素信息进行缩小,只保留重要像素点信息;全连接层主要用于将最后一层池化层输出的特征像素数据进行再提取计算并通过分类函数对运算结果进行分类,输出塑封电子元器件是否具有缺陷以及缺陷的种类,其中,卷积层与池化层层数相同,均为n层,全连接层为m层,具体层数根据实际检测需求确定,分类函数的输出种类数可根据塑封电子元器件实际检测中缺陷的种类数确定,分类函数可为softmax函数。
图4是本发明神经网络单元结构框图。该神经网络单元的硬件结构由图像数据接收模块、卷积运算模块、池化运算模块、全连接运算模块、输出模块和权重存储模块组成。微处理控制器首先通过图像数据接收模块向权重存储模块传输训练好的神经网络的卷积运算模块、池化运算模块以及全连接运算模块的权重值,然后微处理控制器发送检测指令,系统开始工作,当信号转换单元将超声波换能器收集到的被测塑封电子元器件的内部形貌结构特征信息转换为声学成像图后,信号转换单元将包含塑封电子元器件内部结构特征的声学成像图传输到图像数据接收模块,图像数据接收模块接收到塑封电子元器件的声学成像图数据信息后预处理,将声学成像图转化为数字矩阵并传输到卷积运算模块、池化运算模块、全连接运算模块与卷积运算模块、池化运算模块、全连接运算模块的权重值进行运算,提取塑封电子元器件内部形貌结构特征,并对被测塑封电子元器件内部是否具有缺陷及缺陷种类进行判断,最终将计算后被测塑封电子元器件内部是否具有缺陷及缺陷类型的结果通过输出模块传输到微处理控制器中输出。
图5是实施例1基于神经网络的塑封电子元器件缺陷识别系统结构示意图。塑封电子元器件缺陷识别系统由神经网络单元、微处理控制器、电动控制单元、超声波换能器、脉冲发射接收器、相位检测单元、和信号转换单元组成。系统启动后,微处理控制器分别向电动控制单元和脉冲发射接收器发送驱动指令和与超声波换能器工作频率相适应的脉冲发射接收指令,电动控制单元接收到微处理控制器的驱动指令后,将超声波换能器移动到被测塑封电子元器件的目标检测区域位置;脉冲发射接收器接收到微处理控制器的脉冲发射接收指令后,向超声波换能器周期性的发送和接收与超声波换能器工作频率相适应的电信号脉冲,超声波换能器接收到电信号脉冲并将电信号脉冲转化为超声波信号,并发射到被测塑封电子元器件的对应目标检测区域上,被测塑封电子元器件对应位置接收到超声波换能器发射的超声波信号后返回包含被测塑封电子元器件相应目标检测区域内部形貌结构特征的超声波信号,并被超声波换能器所接收,超声波换能器接收到被测塑封电子元器件返回的超声波信号后转化为对应的电压脉冲信号,并分别向电动控制单元和脉冲发射接收器发送检测完毕信号和接收到的电压脉冲信号,电动控制单元接收到超声波换能器发送的检测完毕信号后向微处理控制器发送被测塑封电子元器件被检测的目标检测区域位置信息,微处理控制器接收到被测塑封电子元器件的被检测目标检测区域位置信息后转发到信号转换单元;脉冲发送接收器接收到超声波换能器返回的电压脉冲信号后传输到相位检测单元,相位检测单元对被测塑封电子元器件的目标检测区域返回的各个位置的电信号脉冲的相位进行检测对比,并分类为正弦电信号和余弦电信号后传送到信号转换单元,信号转换单元接收到相位检测单元发送的正弦电信号和余弦电信号后依据微处理控制器发送的被测塑封电子元器件的目标检测区域位置信息按顺序同步转换,转换为包含被测塑封电子元器件相应目标检测区域内部形貌结构特征的像素点图片,且将像素点图片中对应位置为余弦电信号的位置点区域转化为红色像素点,最后将形成的包含被测塑封电子元器件相应目标检测区域内部结构特征的图片传输到神经网络单元中,神经网络单元接收到信号转换单元传来的包含被测塑封电子元器件相应目标检测区域内部结构特征的图片后,经过内部运算处理后识别被测塑封电子元器件相应目标检测区域内部结构是否具有内部缺陷并将检测结果传输到微处理控制器中输出到计算机显示。
图6是本发明神经网络单元训练流程图。在训练过程部分,首先根据被测塑封电子元器件的种类及缺陷类型初步定义神经网络单元的结构和前向传播的输出结果,然后向计算机中导入预先准备的包含塑封电子元器件内部结构特征的训练数据并进行神经网络单元的训练,当神经网络单元的塑封电子元器件缺陷判断结果准确率达到所需要求后导出训练好的神经网络单元的权重值,并将导出的神经网络单元的权重值导入硬件神经网络单元的权重存储单元中,此时硬件神经网络单元已经训练完成,系统可以根据超声波换能器采集到的被测塑封电子元器件的内部形貌结构特征数据判断被测塑封电子元器件是否具有缺陷及缺陷类型;在工作过程部分,超声波换能器采集到被测塑封电子元器件内部形貌结构特征后传输到系统的信号转换单元转化为包含塑封电子元器件内部形貌结构特征的声学成像图,并向硬件神经网络单元的图像数据接收模块中输入声学成像图,图像数据接收模块预处理声学成像图数据后,与硬件神经网络单元中卷积层模块和池化层模块训练好的权重值进行运算,并将结果传输到硬件神经网络单元的全连接层模块中进行运算,全连接层模块将被测塑封电子元器件内部形貌结构特征的缺陷识别分类结果输出到硬件神经网络单元的输出模块,输出模块将被测塑封电子元器件的内部结构是否具有缺陷及缺陷类型经微处理控制器传输到计算机中显示。
实施例1
本实施例基于神经网络的塑封电子元器件缺陷识别系统包括:超声波换能器、电动控制单元、脉冲发射接收器、相位检测单元、信号转换单元、神经网络单元和微处理控制器,其连接关系是:微处理控制器分别与神经网络单元、信号转换单元、电动控制单元以及脉冲发射接收器相连,信号转换单元与神经网络单元、相位检测单元相连,相位检测单元与脉冲发射接收器相连,脉冲发射接收器与超声波换能器相连,同样电动控制单元与超声波换能器相连,其中,
所述超声波换能器,用于将脉冲发射接收器产生的固定频率的电信号脉冲转化为超声波信号并发送至被测塑封电子元器件,以及将被测塑封电子元器件反射回来的包含塑封电子元器件内部形貌的超声波信号转换为电压脉冲信号;
所述电动控制单元,用于驱动超声波换能器到被测塑封电子元器件的指定位置,并驱动超声波换能器对被测塑封电子元器件的被检测目标检测区域做自上而下及自左而右的往返扫描运动,本实施例中,所述被检测目标检测区域是指被测塑封电子元器件内部包含芯片、焊料、基板和键合区键合丝形貌结构特征的区域;
所述脉冲发射接收器,用于接收来自微处理控制器的指令后,发送检测塑封电子元器件内部目标检测区域内同一平面不同位置的电压脉冲信号至超声波换能器,并接收由超声波换能器返回的包含塑封电子元器件内部目标检测区域内同一平面不同位置的电压脉冲信号,然后发送至相位检测单元;
所述相位检测单元,用于接收脉冲发射接收器发送的包含塑封电子元器件目标检测区域内部结构的电压脉冲信号,并根据所述塑封电子元器件内部目标检测区域内同一平面不同位置反射回的电压脉冲信号相位的不同,将所述电压脉冲信号分为正弦电信号和余弦电信号,其中,正弦电信号代表被测塑封电子元器件无内部缺陷,余弦电信号代表被测塑封电子元器件有内部缺陷,并发送至信号转换单元;
所述信号转换单元,用于接收微处理控制器发送的被测塑封电子元器件被检测目标检测区域位置信息,以及接收相位检测单元发送的塑封电子元器件内部目标检测区域内同一平面不同位置返回的正弦电信号和余弦电信号,并依据微处理控制器发送的被测塑封电子元器件被检测目标检测区域位置信息转化为神经网络模块可识别的包含塑封电子元器件内部目标检测区域的形貌结构的像素点信号,且对应余弦电信号的塑封电子元器件的位置处标记为红色像素点信号,最终组合成包含塑封电子元器件内部目标检测区域内同一平面不同位置形貌结构特征的图片;
所述微处理控制器,用于控制神经网络单元、电动控制单元、脉冲发射接收器、相位检测单元以及信号转换单元间信号的传输及处理。
所述神经网络单元,用于采集信号转换单元转化后的塑封电子元器件内部目标检测区域内同一平面不同位置结构特征的图片,并根据塑封电子元器件内部目标检测区域内同一平面不同位置反射产生的像素点信号特征的不同识别被测塑封电子元器件内部是否具有内部缺陷,所述神经网络单元包含图像数据接收模块、卷积运算模块、池化运算模块、全连接运算模块、权重存储模块以及输出模块,其连接关系是:图像数据接收模块与卷积运算模块及权重存储模块相连,权重存储模块与图像数据接收模块相连的同时与卷积运算模块、池化运算模块及全连接运算模块相连,卷积运算模块与图像数据接收模块和权重存储模块相连的同时与池化运算模块相连,池化运算模块与卷积运算模块和权重存储模块相连的同时与全连接运算模块相连,全连接运算模块与池化运算模块和权重存储模块相连的同时与输出模块相连,其中,
所述神经网络单元的图像数据接收模块,用于将从信号转换单元输出的塑封电子元器件内部目标检测区域内同一平面不同位置芯片、焊料、基板和键合区键合丝形貌结构特征的图片进行图像数据预处理,并向权重存储模块传输经训练的神经网络权重值;
所述神经网络单元的权重存储模块,用于存储训练好的卷积运算模块、池化运算模块、以及全连接运算模块的权重值;
所述神经网络单元的卷积运算模块,用于接收图像数据接收模块发送的图片数据,并将图片数据与卷积运算模块的权重值进行卷积运算,提取图片中塑封电子元器件的芯片、焊料、基板和键合区键合丝形貌结构特征数据,并将运算结果发送至池化运算模块;
所述神经网络单元的池化运算模块,用于接收卷积运算模块发送的运算结果,并与池化运算模块的权重值运算,完成特征图数据的压缩,简化神经网络运算的复杂度,并将运算结果发送至全连接运算模块;
所述神经网络单元的全连接运算模块,用于接收池化运算模块发送的运算结果,并与全连接运算模块的权重值运算;根据全连接运算模块的运算结果,所述全连接运算模块将图片数据进行特征分类,即分为有内部缺陷和无内部缺陷两种分类结果,并发送至输出模块;
所述神经网络单元的输出模块,用于将全连接运算模块的分类结果输出到微处理控制器中。
所述微处理控制器首先通过图像数据接收模块向权重存储模块传输训练好的卷积神经网络的权重值数据,然后信号转换单元向图像数据接收模块传输塑封电子元器件内部目标检测区域内同一平面不同位置形貌结构特征的图片,图像数据接收模块将接收到的图片数据传输到神经网络单元的卷积运算模块、池化运算模块和全连接运算模块中与卷积运算模块、池化运算模块和全连接运算模块的权重值数据进行运算,最后根据全连接运算模块的运算结果,所述全连接运算模块将图片数据进行特征分类,并通过输出模块将被测塑封电子元器件是否具有内部缺陷的结果传输到微处理控制器中输出;
本实施例基于神经网络的塑封电子元器件缺陷识别系统工作流程如下:所述微处理控制器首先分别向电动控制单元和脉冲发射接收器发送驱动指令和与超声波换能器工作频率相适应的脉冲发射接收指令,
所述电动控制单元接收到微处理控制器的驱动指令后,将超声波换能器移动到被测塑封电子元器件的目标检测区域;
所述脉冲发射接收器用于接收到微处理控制器的脉冲发射接收指令后,向超声波换能器周期性的发送与超声波换能器工作频率相适应的电压脉冲信号并接收被测塑封电子元器件的目标检测区域反射回的电压脉冲信号;
所述超声波换能器接收到电压脉冲信号并将电压脉冲信号转化为超声波信号,然后发射到被测塑封电子元器件的目标检测区域上,被测塑封电子元器件目标检测区域接收到超声波换能器发射的超声波信号后,被测塑封电子元器件的目标检测区域反射回包含被测塑封电子元器件目标检测区域内部芯片、焊料、基板和键合区键合丝形貌结构特征的超声波信号并被超声波换能器所接收,超声波换能器接收到被测塑封电子元器件反射回的目标检测区域超声波信号后转化为对应的电压脉冲信号,并分别向电动控制单元和脉冲发射接收器发送检测完毕电信号和接收到的电压脉冲信号,
所述电动控制单元接收到超声波换能器发送的检测完毕信号后向微处理控制器发送被测塑封电子元器件被检测的目标检测区域位置信息,微处理控制器接收到被测塑封电子元器件的被检测目标检测区域位置信息后转发到信号转换单元;脉冲发送接收器接收到超声波换能器返回的电压脉冲信号后传输到相位检测单元,相位检测单元对被测塑封电子元器件上返回的被检测目标检测区域各个位置的电压脉冲信号的相位进行检测对比,并分类为正弦电信号和余弦电信号并传送到信号转换单元;信号转换单元接收到相位检测单元发送的正弦电信号和余弦电信号后依据微处理控制器发送的被测塑封电子元器件被检测目标检测区域位置信息按顺序同步转换,转换为包含被测塑封电子元器件被检测目标检测区域内部芯片、焊料、基板和键合区键合丝形貌结构特征的像素点图片,且将像素点图片中被测塑封电子元器件对应位置为余弦电信号坐标点的区域转化为红色像素点,最后将形成的包含被测塑封电子元器件被检测目标检测区域内部形貌结构特征的图片传输到神经网络单元中,神经网络单元接收到信号转换单元传来的包含被测塑封电子元器件被检测目标检测区域内部形貌结构特征的图片后,经过内部运算处理识别被测塑封电子元器件被检测目标检测区域内部形貌结构是否具有内部缺陷并将检测结果传输到微处理控制器中输出。
本实施例的塑封电子元器件缺陷识别方法,包括具体如下:
步骤1,训练神经网络;
步骤2,系统状态初始化;
步骤3,神经网络单元权重的导入;
步骤4,发送驱动指令;
步骤5,驱动超声波换能器;
步骤6,发送脉冲发射接收指令;
步骤7,采集被测塑封电子元器件内部的目标检测区域的电信号;
步骤8,对被测塑封电子元器件的目标检测区域的电信号进行相位检测;
步骤9,生成被测塑封电子元器件的内部形貌结构特征图片;
步骤10,神经网络识别被测塑封电子元器件目标检测区域缺陷;
步骤11,被测塑封电子元器件的检测结果输出。
其中,步骤1具体为,在计算机上确定神经网络的结构框架,并以信号转换单元转化后的被测塑封电子元器件内部目标检测区域内同一平面不同位置的图片数据为训练集对神经网络进行训练,并对神经网络的结构和内部参数进行调节,当神经网络识别输入塑封电子元器件内部形貌结构特征图片中红色像素点区域是否为缺陷的准确率达到所需要求后,导出神经网络的权重值。
步骤2具体为,系统初始化具体为将系统中的超声波换能器、电动控制单元、脉冲发射接收器、相位检测单元、信号转换单元以及神经网络单元状态初始化。
步骤3具体为,微处理控制器将已经训练好的神经网络单元中的卷积运算模块、池化运算模块、以及全连接运算模块的权重值导入神经网络单元的权重存储模块中。
步骤4具体为,微处理控制器向电动控制单元发送驱动超声波换能器的指令,以使超声波换能器检测被测塑封电子元器件的目标检测区域。
步骤5具体为,所述电动控制单元接收到微处理控制器的驱动指令后,电动控制单元控制超声波换能器移动到被测塑封电子元器件的目标检测区域位置,并使超声波换能器焦点对准被测塑封电子元器件的内部目标检测区域位置。
步骤6,发送脉冲发射接收指令具体为,微处理控制器向脉冲发射接收器发送与超声波换能器工作频率相适应的脉冲发射接收指令。
步骤7,采集被测塑封电子元器件内部的目标检测区域的电信号,具体为,所述脉冲发射接收器接收到微处理控制器的脉冲发射接收指令后,再向超声波换能器周期性地发送与超声波换能器工作频率相适应的电压脉冲信号,并经超声波换能器实现电压信号与超声波信号的转换后,超声波换能器采集被测塑封电子元器件内部的目标检测区域内同一平面不同位置的形貌结构特征并返回至脉冲发射接收器。
步骤8,对被测塑封电子元器件的目标检测区域的电信号相位检测,具体为,所述相位检测单元对被测塑封电子元器件的目标检测区域的所有位置的电压脉冲信号的相位进行检测,针对被测塑封电子元器件的无缺陷区域,将输出正弦电信号;针对被测塑封电子元器件的缺陷区域,将输出余弦电信号;所述相位检测单元将所述电压脉冲信号传送到信号转换单元。
步骤9,生成被测塑封电子元器件的内部形貌结构特征图片,具体为,对于正弦电信号所在目标检测区域,所述信号转换单元将相应正弦电信号转换为目标检测区域黑白像素点;对于余弦电信号所在目标检测区域,所述信号转换单元将相应余弦电信号转化为为红色像素点,所述黑白像素点和红色像素点即构成包含被测塑封电子元器件的目标检测区域内部形貌结构特征的图片信息。
步骤10,神经网络识别被测塑封电子元器件目标检测区域缺陷,具体为,所述信号转换单元将所述图片信息发送至图像数据接收模块;所述图像数据接收模块将图片信息预处理后传输到已加载权重值的卷积运算模块中进行塑封电子元器件目标检测区域内部形貌结构特征数据的卷积运算;经过池化运算模块和全连接运算模块运算后,全连接运算模块将图片信息中被测塑封电子元器件的目标检测区域是否具有缺陷及缺陷类型的运算结果传输到输出模块。
步骤11,被测塑封电子元器件的检测结果输出,具体为,输出模块将运算结果输出至微处理控制器,微处理控制器检查被测塑封电子元器件的目标检测区域是否全部被检测,若被测塑封电子元器件的目标检测区域被全部检测,则微处理控制器将判断结果输出到计算机中显示;若被测塑封电子元器件的目标检测区域未被全部检测,则跳转到步骤4,直至被测塑封电子元器件的目标检测区域被全部检测,则微处理控制器将判断结果输出到计算机中显示。
Claims (10)
1.一种基于神经网络的塑封电子元器件缺陷识别系统,其特征在于:该系统包括超声波换能器、电动控制单元、脉冲发射接收器、相位检测单元、信号转换单元、神经网络单元和微处理控制器,其连接关系是:微处理控制器分别与神经网络单元、信号转换单元、电动控制单元以及脉冲发射接收器相连,信号转换单元与神经网络单元、相位检测单元相连,相位检测单元与脉冲发射接收器相连,脉冲发射接收器与超声波换能器相连,同样电动控制单元与超声波换能器相连;
其中,所述神经网络单元,所述神经网络单元包含图像数据接收模块、卷积运算模块、池化运算模块、全连接运算模块、权重存储模块以及输出模块,其连接关系是:图像数据接收模块与卷积运算模块及权重存储模块相连,权重存储模块与图像数据接收模块相连的同时与卷积运算模块、池化运算模块及全连接运算模块相连,卷积运算模块与图像数据接收模块和权重存储模块相连的同时与池化运算模块相连,池化运算模块与卷积运算模块和权重存储模块相连的同时与全连接运算模块相连,全连接运算模块与池化运算模块和权重存储模块相连的同时与输出模块相连,其中,
所述图像数据接收模块,用于将从信号转换单元输出的图片进行图像数据预处理,并向权重存储模块传输经训练的神经网络权重值;
所述权重存储模块,用于存储训练好的卷积运算模块、池化运算模块、以及全连接运算模块的权重值;
所述卷积运算模块,用于接收图像数据接收模块发送的图片数据,并将图片数据与卷积运算模块的权重值进行卷积运算,并将运算结果发送至池化运算模块;
所述池化运算模块,用于接收卷积运算模块发送的运算结果,并与池化运算模块的权重值运算,完成特征图数据的压缩,并将运算结果发送至全连接运算模块;
所述全连接运算模块,用于接收池化运算模块发送的运算结果,并与全连接运算模块的权重值运算;根据全连接运算模块的运算结果,所述全连接运算模块将图片数据进行特征分类,即分为有内部缺陷和无内部缺陷两种分类结果,并发送至输出模块;
所述输出模块,用于将全连接运算模块的分类结果输出到微处理控制器中。
2.一种基于权利要求1所述的基于神经网络的塑封电子元器件缺陷识别系统的塑封电子元器件缺陷识别方法,其特征在于,该方法包括具体如下:
步骤1,训练神经网络;
步骤2,系统状态初始化;
步骤3,神经网络单元权重的导入;
步骤4,发送驱动指令;
步骤5,驱动超声波换能器;
步骤6,发送脉冲发射接收指令;
步骤7,采集被测塑封电子元器件内部的目标检测区域的电信号;
步骤8,对被测塑封电子元器件的目标检测区域的电信号进行相位检测;
步骤9,生成被测塑封电子元器件的内部形貌结构特征图片;
步骤10,神经网络识别被测塑封电子元器件目标检测区域缺陷;
步骤11,被测塑封电子元器件的检测结果输出。
3.根据权利要求2所述的塑封电子元器件缺陷识别方法,其特征在于,步骤1具体为:
在计算机上确定神经网络的结构框架,并以信号转换单元转化后的被测塑封电子元器件内部目标检测区域内同一平面不同位置的图片数据为训练集对神经网络进行训练,并对神经网络的结构和内部参数进行调节,当神经网络识别输入塑封电子元器件内部形貌结构特征图片中红色像素点区域是否为缺陷的准确率达到所需要求后,导出神经网络的权重值。
4.根据权利要求2所述的塑封电子元器件缺陷识别方法,其特征在于,步骤4具体为:
微处理控制器向电动控制单元发送驱动超声波换能器的指令,以使超声波换能器检测被测塑封电子元器件的目标检测区域。
5.根据权利要求2所述的塑封电子元器件缺陷识别方法,其特征在于,步骤5具体为:
所述电动控制单元接收到微处理控制器的驱动指令后,电动控制单元控制超声波换能器移动到被测塑封电子元器件的目标检测区域位置,并使超声波换能器焦点对准被测塑封电子元器件的内部目标检测区域位置。
6.根据权利要求2所述的塑封电子元器件缺陷识别方法,其特征在于,步骤7具体为:
所述脉冲发射接收器接收到微处理控制器的脉冲发射接收指令后,再向超声波换能器周期性地发送与超声波换能器工作频率相适应的电压脉冲信号,并经超声波换能器实现电压信号与超声波信号的转换后,超声波换能器采集被测塑封电子元器件内部的目标检测区域内同一平面不同位置的形貌结构特征并返回至脉冲发射接收器。
7.根据权利要求2所述的塑封电子元器件缺陷识别方法,其特征在于,步骤8具体为:
所述相位检测单元对被测塑封电子元器件的目标检测区域的所有位置的电压脉冲信号的相位进行检测,针对被测塑封电子元器件的无缺陷区域,将输出正弦电信号;针对被测塑封电子元器件的缺陷区域,将输出余弦电信号;所述相位检测单元将所述电压脉冲信号传送到信号转换单元。
8.根据权利要求7所述的塑封电子元器件缺陷识别方法,其特征在于,步骤9具体为:
对于正弦电信号所在目标检测区域,所述信号转换单元将相应正弦电信号转换为目标检测区域黑白像素点;对于余弦电信号所在目标检测区域,所述信号转换单元将相应余弦电信号转化为红色像素点,所述黑白像素点和红色像素点即构成包含被测塑封电子元器件的目标检测区域内部形貌结构特征的图片信息。
9.根据权利要求8所述的塑封电子元器件缺陷识别方法,其特征在于,步骤10具体为:
所述信号转换单元将所述图片信息发送至图像数据接收模块;所述图像数据接收模块将图片信息预处理后传输到已加载权重值的卷积运算模块中进行被测塑封电子元器件目标检测区域内部形貌结构特征数据的卷积运算;经过池化运算模块和全连接运算模块运算后,全连接运算模块将图片信息中被测塑封电子元器件的目标检测区域是否具有缺陷及缺陷类型的运算结果传输到输出模块。
10.根据权利要求2所述的塑封电子元器件缺陷识别方法,其特征在于,步骤11具体为:
输出模块将运算结果输出至微处理控制器,微处理控制器检查被测塑封电子元器件的目标检测区域是否全部被检测,若被测塑封电子元器件的目标检测区域被全部检测,则微处理控制器将判断结果输出到计算机中显示;若被测塑封电子元器件的目标检测区域未被全部检测,则跳转到步骤4,直至被测塑封电子元器件的目标检测区域被全部检测,则微处理控制器将判断结果输出到计算机中显示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110821982.0A CN113466338B (zh) | 2021-07-19 | 2021-07-19 | 一种基于神经网络的塑封电子元器件缺陷识别系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110821982.0A CN113466338B (zh) | 2021-07-19 | 2021-07-19 | 一种基于神经网络的塑封电子元器件缺陷识别系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113466338A true CN113466338A (zh) | 2021-10-01 |
CN113466338B CN113466338B (zh) | 2024-02-20 |
Family
ID=77881566
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110821982.0A Active CN113466338B (zh) | 2021-07-19 | 2021-07-19 | 一种基于神经网络的塑封电子元器件缺陷识别系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113466338B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116908314A (zh) * | 2023-09-08 | 2023-10-20 | 中国电力科学研究院有限公司 | 一种用于电缆附件铅封缺陷的超声波检测方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108805270A (zh) * | 2018-05-08 | 2018-11-13 | 华中科技大学 | 一种基于存储器的卷积神经网络系统 |
CN109460817A (zh) * | 2018-09-11 | 2019-03-12 | 华中科技大学 | 一种基于非易失存储器的卷积神经网络片上学习系统 |
US20190294106A1 (en) * | 2018-03-22 | 2019-09-26 | National Taiwan Normal University | Complex Defect Diffraction Model and Method for Defect Inspection of Transparent Substrate |
-
2021
- 2021-07-19 CN CN202110821982.0A patent/CN113466338B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190294106A1 (en) * | 2018-03-22 | 2019-09-26 | National Taiwan Normal University | Complex Defect Diffraction Model and Method for Defect Inspection of Transparent Substrate |
CN108805270A (zh) * | 2018-05-08 | 2018-11-13 | 华中科技大学 | 一种基于存储器的卷积神经网络系统 |
CN109460817A (zh) * | 2018-09-11 | 2019-03-12 | 华中科技大学 | 一种基于非易失存储器的卷积神经网络片上学习系统 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116908314A (zh) * | 2023-09-08 | 2023-10-20 | 中国电力科学研究院有限公司 | 一种用于电缆附件铅封缺陷的超声波检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113466338B (zh) | 2024-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109670411B (zh) | 基于生成对抗网络的船舶点云深度图像处理方法和系统 | |
CN106323167B (zh) | 一种基于图像识别的智能扫描在线测量系统和测量方法 | |
US6981417B1 (en) | Scanning acoustic micro imaging method and apparatus for non-rectangular bounded files | |
CN100561701C (zh) | 一种焊头定位精度检测系统及其方法 | |
CN111372005B (zh) | Tof摄像模组自动曝光补偿方法及其系统 | |
CN111368633A (zh) | 一种基于auv的侧扫声呐图像识别方法 | |
CN105654067A (zh) | 一种车辆检测方法及装置 | |
CN110473179A (zh) | 一种基于深度学习的薄膜表面缺陷检测方法、系统及设备 | |
CN113466338A (zh) | 一种基于神经网络的塑封电子元器件缺陷识别系统及方法 | |
CN105403169B (zh) | 一种用于数据采集的激光轮廓扫描装置及数据采集方法 | |
CN101672826B (zh) | 超声扫描显微镜c扫描相位反转图像的构建方法 | |
CN103308524A (zh) | Pcb自动光学检测系统 | |
CN112949380B (zh) | 一种基于激光雷达点云数据的智能水下目标识别系统 | |
CN114693661A (zh) | 一种基于深度学习的快速分拣方法 | |
CN110136186A (zh) | 一种用于移动机器人目标测距的检测目标匹配方法 | |
CN111746728B (zh) | 一种基于强化学习的新型水上清洁机器人及控制方法 | |
CN116148801A (zh) | 一种基于毫米波雷达的目标检测方法及系统 | |
CN210542119U (zh) | 一种具有避障和人脸识别的智能轮椅 | |
CN116486287A (zh) | 基于环境自适应机器人视觉系统的目标检测方法及系统 | |
CN111507325A (zh) | 基于深度学习的工业视觉ocr识别系统及方法 | |
CN114359865A (zh) | 一种障碍物的检测方法及相关装置 | |
CN113447902A (zh) | 一种基于机器学习的对海监视雷达目标识别方法 | |
CN116935369A (zh) | 基于计算机视觉的船舶水尺读数方法及系统 | |
CN107872624B (zh) | 一种基于姿态识别的手机控制方法 | |
CN110988145A (zh) | 扫描超声检测系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |