CN113466338B - 一种基于神经网络的塑封电子元器件缺陷识别系统及方法 - Google Patents

Abstract

本发明公开了一种基于神经网络的塑封电子元器件缺陷识别系统，该系统包括超声波换能器、电动控制单元、脉冲发射接收器、相位检测单元、信号转换单元、神经网络单元和微处理控制器。该方法包括如下步骤：训练神经网络；系统状态初始化；神经网络单元权重的导入；发送驱动指令；驱动超声波换能器；发送脉冲发射接收指令；采集被测塑封电子元器件内部的目标检测区域的电信号；对被测塑封电子元器件的目标检测区域的电信号进行相位检测；生成被测塑封电子元器件的内部形貌结构特征图片；神经网络识别被测塑封电子元器件目标检测区域缺陷；被测塑封电子元器件的检测结果输出。本发明基于卷积神经网络技术，实现了电子元器件缺陷自动识别。

Description

一种基于神经网络的塑封电子元器件缺陷识别系统及方法

技术领域

本发明属于塑封电子元器件检测技术领域，具体涉及一种基于神经网络的塑封电子元器件缺陷识别系统及方法。

背景技术

电子元器件是电子学系统的基本组成单元，其中塑封类元器件因其自动化程度高、质量轻、体积小等特点而被广泛使用，但塑封料容易吸潮、各结构界面之间容易分层又是降低其使用可靠性的因素，分层加上吸潮的影响会造成内部金属层腐蚀、芯片产生“爆米花”效应等，因此在塑封电子元器件使用前需要对其内部结构进行检测，将内部结构有缺陷的塑封电子元器件剔除掉，提高塑封电子元器件的可靠性。

经过对塑封电子元器件内部结构扫描设备和扫描过程的研究，发现目前塑封电子元器件内部结构的缺陷检测多采用超声波扫描的方法，且产生黑白声学成像图中有缺陷的位置会显示为红色像素点。在超声波检测的过程中，塑封电子元器件内部结构是否有缺陷主要通过声学成像图中红色部位在器件的具体位置以及所占面积大小进行判定，且主要通过人眼以及经验来判断。但随着一次性扫描塑封电子元器件的数量增加，单张黑白声学成像图中的塑封电子元器件数量也会相应增加，这会导致人眼直观判断塑封电子元器件内部是否具有缺陷的误判率大大增加，降低塑封电子元器件的可靠性，且随着塑封电子元器件数量的增加，为了保证检测结果的准确性，需要通过人眼多次复查黑白声学成像图中塑封电子元器件内部是否具有缺陷，这会大大降低塑封电子元器件的检测效率。

发明内容

有鉴于此，本发明提供一种基于神经网络的塑封电子元器件缺陷识别系统及方法。本发明具体采用如下技术方案：

一种基于神经网络的塑封电子元器件缺陷识别系统，该系统包括超声波换能器、电动控制单元、脉冲发射接收器、相位检测单元、信号转换单元、神经网络单元和微处理控制器，其连接关系是：微处理控制器分别与神经网络单元、信号转换单元、电动控制单元以及脉冲发射接收器相连，信号转换单元与神经网络单元、相位检测单元相连，相位检测单元与脉冲发射接收器相连，脉冲发射接收器与超声波换能器相连，同样电动控制单元与超声波换能器相连；

其中，所述超声波换能器，用于将脉冲发射接收器产生的固定频率的电信号脉冲转化为超声波信号并发送至被测塑封电子元器件，以及将被测塑封电子元器件反射回来的包含塑封电子元器件内部形貌的超声波信号转换为电压脉冲信号；

所述电动控制单元，用于驱动超声波换能器对被测塑封电子元器件的被检测目标检测区域做自上而下及自左而右的往返扫描运动；

所述脉冲发射接收器，用于发送电压脉冲信号至超声波换能器，并接收由超声波换能器返回的电压脉冲信号，然后发送至相位检测单元；

所述相位检测单元，用于接收脉冲发射接收器发送的电压脉冲信号，将所述电压脉冲信号分为正弦电信号和余弦电信号，其中，正弦电信号代表被测塑封电子元器件无内部缺陷，余弦电信号代表被测塑封电子元器件有内部缺陷，并发送至信号转换单元；

所述信号转换单元，用于接收微处理控制器发送的被测塑封电子元器件被检测目标检测区域位置信息，以及接收相位检测单元发送的正弦电信号和余弦电信号，并转化为神经网络模块可识别的包含塑封电子元器件内部目标检测区域的形貌结构的像素点信号，且对应余弦电信号的塑封电子元器件的位置处标记为红色像素点信号，最终组合成包含塑封电子元器件内部目标检测区域内同一平面不同位置形貌结构特征的图片；

所述微处理控制器，用于控制神经网络单元、电动控制单元、脉冲发射接收器、相位检测单元以及信号转换单元间信号的传输及处理。

所述神经网络单元，用于识别被测塑封电子元器件内部是否具有内部缺陷，所述神经网络单元包含图像数据接收模块、卷积运算模块、池化运算模块、全连接运算模块、权重存储模块以及输出模块，其连接关系是：图像数据接收模块与卷积运算模块及权重存储模块相连，权重存储模块与图像数据接收模块相连的同时与卷积运算模块、池化运算模块及全连接运算模块相连，卷积运算模块与图像数据接收模块和权重存储模块相连的同时与池化运算模块相连，池化运算模块与卷积运算模块和权重存储模块相连的同时与全连接运算模块相连，全连接运算模块与池化运算模块和权重存储模块相连的同时与输出模块相连，其中，

所述神经网络单元的图像数据接收模块，用于将从信号转换单元输出的图片进行图像数据预处理，并向权重存储模块传输经训练的神经网络权重值；

所述神经网络单元的权重存储模块，用于存储训练好的卷积运算模块、池化运算模块、以及全连接运算模块的权重值；

所述神经网络单元的卷积运算模块，用于接收图像数据接收模块发送的图片数据，并将图片数据与卷积运算模块的权重值进行卷积运算，并将运算结果发送至池化运算模块；

所述神经网络单元的池化运算模块，用于接收卷积运算模块发送的运算结果，并与池化运算模块的权重值运算，完成特征图数据的压缩，并将运算结果发送至全连接运算模块；

所述神经网络单元的全连接运算模块，用于接收池化运算模块发送的运算结果，并与全连接运算模块的权重值运算；根据全连接运算模块的运算结果，所述全连接运算模块将图片数据进行特征分类，即分为有内部缺陷和无内部缺陷两种分类结果，并发送至输出模块；

所述神经网络单元的输出模块，用于将全连接运算模块的分类结果输出到微处理控制器中。

本发明还提供一种基于前述的基于神经网络的塑封电子元器件缺陷识别系统的塑封电子元器件缺陷识别方法，该方法包括具体如下：

步骤1，训练神经网络；

步骤2，系统状态初始化；

步骤3，神经网络单元权重的导入；

步骤4，发送驱动指令；

步骤5，驱动超声波换能器；

步骤6，发送脉冲发射接收指令；

步骤7，采集被测塑封电子元器件内部的目标检测区域的电信号；

步骤8，对被测塑封电子元器件的目标检测区域的电信号进行相位检测；

步骤9，生成被测塑封电子元器件的内部形貌结构特征图片；

步骤10，神经网络识别被测塑封电子元器件目标检测区域缺陷；

步骤11，被测塑封电子元器件的检测结果输出。

进一步，步骤1具体为：

在计算机上确定神经网络的结构框架，并以信号转换单元转化后的被测塑封电子元器件内部目标检测区域内同一平面不同位置的图片数据为训练集对神经网络进行训练，并对神经网络的结构和内部参数进行调节，当神经网络识别输入塑封电子元器件内部形貌结构特征图片中红色像素点区域是否为缺陷的准确率达到所需要求后，导出神经网络的权重值。

进一步，步骤4具体为：

微处理控制器向电动控制单元发送驱动超声波换能器的指令，以使超声波换能器检测被测塑封电子元器件的目标检测区域。

进一步，步骤5具体为：

所述电动控制单元接收到微处理控制器的驱动指令后，电动控制单元控制超声波换能器移动到被测塑封电子元器件的目标检测区域位置，并使超声波换能器焦点对准被测塑封电子元器件的内部目标检测区域位置。

进一步，步骤7具体为：

所述脉冲发射接收器接收到微处理控制器的脉冲发射接收指令后，再向超声波换能器周期性地发送与超声波换能器工作频率相适应的电压脉冲信号，并经超声波换能器实现电压信号与超声波信号的转换后，超声波换能器采集被测塑封电子元器件内部的目标检测区域内同一平面不同位置的形貌结构特征并返回至脉冲发射接收器。

进一步，步骤8具体为：

所述相位检测单元对被测塑封电子元器件的目标检测区域的所有位置的电压脉冲信号的相位进行检测，针对被测塑封电子元器件的无缺陷区域，将输出正弦电信号；针对被测塑封电子元器件的缺陷区域，将输出余弦电信号；所述相位检测单元将所述电压脉冲信号传送到信号转换单元。

进一步，步骤9具体为：

对于正弦电信号所在目标检测区域，所述信号转换单元将相应正弦电信号转换为目标检测区域黑白像素点；对于余弦电信号所在目标检测区域，所述信号转换单元将相应余弦电信号转化为红色像素点，所述黑白像素点和红色像素点即构成包含被测塑封电子元器件的目标检测区域内部形貌结构特征的图片信息。

进一步，步骤10具体为：

所述信号转换单元将所述图片信息发送至图像数据接收模块；所述图像数据接收模块将图片信息预处理后传输到已加载权重值的卷积运算模块中进行被测塑封电子元器件目标检测区域内部形貌结构特征数据的卷积运算；经过池化运算模块和全连接运算模块运算后，全连接运算模块将图片信息中被测塑封电子元器件的目标检测区域是否具有缺陷及缺陷类型的运算结果传输到输出模块。

进一步，步骤11具体为：

输出模块将运算结果输出至微处理控制器，微处理控制器检查被测塑封电子元器件的目标检测区域是否全部被检测，若被测塑封电子元器件的目标检测区域被全部检测，则微处理控制器将判断结果输出到计算机中显示；若被测塑封电子元器件的目标检测区域未被全部检测，则跳转到步骤4，直至被测塑封电子元器件的目标检测区域被全部检测，则微处理控制器将判断结果输出到计算机中显示。

附图说明

图1是现有技术中塑封电子元器件缺陷识别系统示意图；

图2是塑封电子元器件缺陷示意图；

图3是神经网络单元结构图；

图4是本发明神经网络单元结构框图；

图5是实施例1基于神经网络的塑封电子元器件缺陷识别系统结构示意图；

图6是本发明神经网络单元训练流程图。

具体实施方式

图1为现有技术中的塑封电子元器件缺陷识别系统示意图。本发明中以该塑封电子元器件缺陷识别系统信号采集原理图作为说明，但塑封电子元器件缺陷识别系统信号采集原理图不局限于这种结构。塑封电子元器件缺陷识别系统检测塑封电子元器件内部缺陷的原理主要是通过超声波换能器将超声波传输到被测塑封电子元器件上，超声波为纵波，传输过程中使用去离子水作为传输介质，超声波在接触到塑封电子元器件表面时会产生一定量的器件表面反射波，同时有部分超声波进入塑封电子元器件内部，分别在芯片的表面和背面产生反射波，三种反射波携带着塑封电子元器件三个平面的结构特征通过去离子水返回被超声波换能器接收，实现塑封电子元器件缺陷识别系统采集塑封电子元器件内部结构特征的功能。

图2是本发明针对的塑封电子元器件缺陷示意图。本发明中以该类型塑封电子元器件结构为说明，但塑封电子元器件结构类型不限于这种结构。塑封电子元器件内部常见的缺陷有空洞、裂纹和分层，空洞主要是指塑封电子元器件内部没有被环氧塑封料完全填充，且超过一定内部区域比例；分层主要是指塑封电子元器件内部塑封料与芯片键合丝区域、芯片键合区键合丝、芯片正面、背面以及芯片基板等之间存在一定缝隙，没有被完全填充；裂纹主要是指塑封电子元器件内部芯片、基板以及塑封料中存在物理应力导致的裂缝；三种类型的缺陷均会影响塑封电子元器件的可靠性，在塑封电子元器件投入使用前均需通过塑封电子元器件内部结构的检测剔除掉。

图3是神经网络单元结构图。本发明中以该神经网络结构为说明，但神经网络的结构不局限于这种结构。该神经网络主要由卷积层、池化层、全连接层以及分类函数组成，卷积层主要用于提取输入声学成像图中塑封电子元器件内部形貌结构特征，包括红色像素点的缺陷特征；池化层主要用于将卷积层提取的塑封电子元器件内部结构特征像素信息进行缩小，只保留重要像素点信息；全连接层主要用于将最后一层池化层输出的特征像素数据进行再提取计算并通过分类函数对运算结果进行分类，输出塑封电子元器件是否具有缺陷以及缺陷的种类，其中，卷积层与池化层层数相同，均为n层，全连接层为m层，具体层数根据实际检测需求确定，分类函数的输出种类数可根据塑封电子元器件实际检测中缺陷的种类数确定，分类函数可为softmax函数。

图4是本发明神经网络单元结构框图。该神经网络单元的硬件结构由图像数据接收模块、卷积运算模块、池化运算模块、全连接运算模块、输出模块和权重存储模块组成。微处理控制器首先通过图像数据接收模块向权重存储模块传输训练好的神经网络的卷积运算模块、池化运算模块以及全连接运算模块的权重值，然后微处理控制器发送检测指令，系统开始工作，当信号转换单元将超声波换能器收集到的被测塑封电子元器件的内部形貌结构特征信息转换为声学成像图后，信号转换单元将包含塑封电子元器件内部结构特征的声学成像图传输到图像数据接收模块，图像数据接收模块接收到塑封电子元器件的声学成像图数据信息后预处理，将声学成像图转化为数字矩阵并传输到卷积运算模块、池化运算模块、全连接运算模块与卷积运算模块、池化运算模块、全连接运算模块的权重值进行运算，提取塑封电子元器件内部形貌结构特征，并对被测塑封电子元器件内部是否具有缺陷及缺陷种类进行判断，最终将计算后被测塑封电子元器件内部是否具有缺陷及缺陷类型的结果通过输出模块传输到微处理控制器中输出。

图5是实施例1基于神经网络的塑封电子元器件缺陷识别系统结构示意图。塑封电子元器件缺陷识别系统由神经网络单元、微处理控制器、电动控制单元、超声波换能器、脉冲发射接收器、相位检测单元、和信号转换单元组成。系统启动后，微处理控制器分别向电动控制单元和脉冲发射接收器发送驱动指令和与超声波换能器工作频率相适应的脉冲发射接收指令，电动控制单元接收到微处理控制器的驱动指令后，将超声波换能器移动到被测塑封电子元器件的目标检测区域位置；脉冲发射接收器接收到微处理控制器的脉冲发射接收指令后，向超声波换能器周期性的发送和接收与超声波换能器工作频率相适应的电信号脉冲，超声波换能器接收到电信号脉冲并将电信号脉冲转化为超声波信号，并发射到被测塑封电子元器件的对应目标检测区域上，被测塑封电子元器件对应位置接收到超声波换能器发射的超声波信号后返回包含被测塑封电子元器件相应目标检测区域内部形貌结构特征的超声波信号，并被超声波换能器所接收，超声波换能器接收到被测塑封电子元器件返回的超声波信号后转化为对应的电压脉冲信号，并分别向电动控制单元和脉冲发射接收器发送检测完毕信号和接收到的电压脉冲信号，电动控制单元接收到超声波换能器发送的检测完毕信号后向微处理控制器发送被测塑封电子元器件被检测的目标检测区域位置信息，微处理控制器接收到被测塑封电子元器件的被检测目标检测区域位置信息后转发到信号转换单元；脉冲发送接收器接收到超声波换能器返回的电压脉冲信号后传输到相位检测单元，相位检测单元对被测塑封电子元器件的目标检测区域返回的各个位置的电信号脉冲的相位进行检测对比，并分类为正弦电信号和余弦电信号后传送到信号转换单元，信号转换单元接收到相位检测单元发送的正弦电信号和余弦电信号后依据微处理控制器发送的被测塑封电子元器件的目标检测区域位置信息按顺序同步转换，转换为包含被测塑封电子元器件相应目标检测区域内部形貌结构特征的像素点图片，且将像素点图片中对应位置为余弦电信号的位置点区域转化为红色像素点，最后将形成的包含被测塑封电子元器件相应目标检测区域内部结构特征的图片传输到神经网络单元中，神经网络单元接收到信号转换单元传来的包含被测塑封电子元器件相应目标检测区域内部结构特征的图片后，经过内部运算处理后识别被测塑封电子元器件相应目标检测区域内部结构是否具有内部缺陷并将检测结果传输到微处理控制器中输出到计算机显示。

图6是本发明神经网络单元训练流程图。在训练过程部分，首先根据被测塑封电子元器件的种类及缺陷类型初步定义神经网络单元的结构和前向传播的输出结果，然后向计算机中导入预先准备的包含塑封电子元器件内部结构特征的训练数据并进行神经网络单元的训练，当神经网络单元的塑封电子元器件缺陷判断结果准确率达到所需要求后导出训练好的神经网络单元的权重值，并将导出的神经网络单元的权重值导入硬件神经网络单元的权重存储单元中，此时硬件神经网络单元已经训练完成，系统可以根据超声波换能器采集到的被测塑封电子元器件的内部形貌结构特征数据判断被测塑封电子元器件是否具有缺陷及缺陷类型；在工作过程部分，超声波换能器采集到被测塑封电子元器件内部形貌结构特征后传输到系统的信号转换单元转化为包含塑封电子元器件内部形貌结构特征的声学成像图，并向硬件神经网络单元的图像数据接收模块中输入声学成像图，图像数据接收模块预处理声学成像图数据后，与硬件神经网络单元中卷积层模块和池化层模块训练好的权重值进行运算，并将结果传输到硬件神经网络单元的全连接层模块中进行运算，全连接层模块将被测塑封电子元器件内部形貌结构特征的缺陷识别分类结果输出到硬件神经网络单元的输出模块，输出模块将被测塑封电子元器件的内部结构是否具有缺陷及缺陷类型经微处理控制器传输到计算机中显示。

实施例1

本实施例基于神经网络的塑封电子元器件缺陷识别系统包括：超声波换能器、电动控制单元、脉冲发射接收器、相位检测单元、信号转换单元、神经网络单元和微处理控制器，其连接关系是：微处理控制器分别与神经网络单元、信号转换单元、电动控制单元以及脉冲发射接收器相连，信号转换单元与神经网络单元、相位检测单元相连，相位检测单元与脉冲发射接收器相连，脉冲发射接收器与超声波换能器相连，同样电动控制单元与超声波换能器相连，其中，

所述超声波换能器，用于将脉冲发射接收器产生的固定频率的电信号脉冲转化为超声波信号并发送至被测塑封电子元器件，以及将被测塑封电子元器件反射回来的包含塑封电子元器件内部形貌的超声波信号转换为电压脉冲信号；

所述电动控制单元，用于驱动超声波换能器到被测塑封电子元器件的指定位置，并驱动超声波换能器对被测塑封电子元器件的被检测目标检测区域做自上而下及自左而右的往返扫描运动，本实施例中，所述被检测目标检测区域是指被测塑封电子元器件内部包含芯片、焊料、基板和键合区键合丝形貌结构特征的区域；

所述脉冲发射接收器，用于接收来自微处理控制器的指令后，发送检测塑封电子元器件内部目标检测区域内同一平面不同位置的电压脉冲信号至超声波换能器，并接收由超声波换能器返回的包含塑封电子元器件内部目标检测区域内同一平面不同位置的电压脉冲信号，然后发送至相位检测单元；

所述相位检测单元，用于接收脉冲发射接收器发送的包含塑封电子元器件目标检测区域内部结构的电压脉冲信号，并根据所述塑封电子元器件内部目标检测区域内同一平面不同位置反射回的电压脉冲信号相位的不同，将所述电压脉冲信号分为正弦电信号和余弦电信号，其中，正弦电信号代表被测塑封电子元器件无内部缺陷，余弦电信号代表被测塑封电子元器件有内部缺陷，并发送至信号转换单元；

所述信号转换单元，用于接收微处理控制器发送的被测塑封电子元器件被检测目标检测区域位置信息，以及接收相位检测单元发送的塑封电子元器件内部目标检测区域内同一平面不同位置返回的正弦电信号和余弦电信号，并依据微处理控制器发送的被测塑封电子元器件被检测目标检测区域位置信息转化为神经网络模块可识别的包含塑封电子元器件内部目标检测区域的形貌结构的像素点信号，且对应余弦电信号的塑封电子元器件的位置处标记为红色像素点信号，最终组合成包含塑封电子元器件内部目标检测区域内同一平面不同位置形貌结构特征的图片；

所述微处理控制器，用于控制神经网络单元、电动控制单元、脉冲发射接收器、相位检测单元以及信号转换单元间信号的传输及处理。

所述神经网络单元，用于采集信号转换单元转化后的塑封电子元器件内部目标检测区域内同一平面不同位置结构特征的图片，并根据塑封电子元器件内部目标检测区域内同一平面不同位置反射产生的像素点信号特征的不同识别被测塑封电子元器件内部是否具有内部缺陷，所述神经网络单元包含图像数据接收模块、卷积运算模块、池化运算模块、全连接运算模块、权重存储模块以及输出模块，其连接关系是：图像数据接收模块与卷积运算模块及权重存储模块相连，权重存储模块与图像数据接收模块相连的同时与卷积运算模块、池化运算模块及全连接运算模块相连，卷积运算模块与图像数据接收模块和权重存储模块相连的同时与池化运算模块相连，池化运算模块与卷积运算模块和权重存储模块相连的同时与全连接运算模块相连，全连接运算模块与池化运算模块和权重存储模块相连的同时与输出模块相连，其中，

所述神经网络单元的图像数据接收模块，用于将从信号转换单元输出的塑封电子元器件内部目标检测区域内同一平面不同位置芯片、焊料、基板和键合区键合丝形貌结构特征的图片进行图像数据预处理，并向权重存储模块传输经训练的神经网络权重值；

所述神经网络单元的权重存储模块，用于存储训练好的卷积运算模块、池化运算模块、以及全连接运算模块的权重值；

所述神经网络单元的卷积运算模块，用于接收图像数据接收模块发送的图片数据，并将图片数据与卷积运算模块的权重值进行卷积运算，提取图片中塑封电子元器件的芯片、焊料、基板和键合区键合丝形貌结构特征数据，并将运算结果发送至池化运算模块；

所述神经网络单元的池化运算模块，用于接收卷积运算模块发送的运算结果，并与池化运算模块的权重值运算，完成特征图数据的压缩，简化神经网络运算的复杂度，并将运算结果发送至全连接运算模块；

所述神经网络单元的全连接运算模块，用于接收池化运算模块发送的运算结果，并与全连接运算模块的权重值运算；根据全连接运算模块的运算结果，所述全连接运算模块将图片数据进行特征分类，即分为有内部缺陷和无内部缺陷两种分类结果，并发送至输出模块；

所述神经网络单元的输出模块，用于将全连接运算模块的分类结果输出到微处理控制器中。

所述微处理控制器首先通过图像数据接收模块向权重存储模块传输训练好的卷积神经网络的权重值数据，然后信号转换单元向图像数据接收模块传输塑封电子元器件内部目标检测区域内同一平面不同位置形貌结构特征的图片，图像数据接收模块将接收到的图片数据传输到神经网络单元的卷积运算模块、池化运算模块和全连接运算模块中与卷积运算模块、池化运算模块和全连接运算模块的权重值数据进行运算，最后根据全连接运算模块的运算结果，所述全连接运算模块将图片数据进行特征分类，并通过输出模块将被测塑封电子元器件是否具有内部缺陷的结果传输到微处理控制器中输出；

本实施例基于神经网络的塑封电子元器件缺陷识别系统工作流程如下：所述微处理控制器首先分别向电动控制单元和脉冲发射接收器发送驱动指令和与超声波换能器工作频率相适应的脉冲发射接收指令，

所述电动控制单元接收到微处理控制器的驱动指令后，将超声波换能器移动到被测塑封电子元器件的目标检测区域；

所述脉冲发射接收器用于接收到微处理控制器的脉冲发射接收指令后，向超声波换能器周期性的发送与超声波换能器工作频率相适应的电压脉冲信号并接收被测塑封电子元器件的目标检测区域反射回的电压脉冲信号；

所述超声波换能器接收到电压脉冲信号并将电压脉冲信号转化为超声波信号，然后发射到被测塑封电子元器件的目标检测区域上，被测塑封电子元器件目标检测区域接收到超声波换能器发射的超声波信号后，被测塑封电子元器件的目标检测区域反射回包含被测塑封电子元器件目标检测区域内部芯片、焊料、基板和键合区键合丝形貌结构特征的超声波信号并被超声波换能器所接收，超声波换能器接收到被测塑封电子元器件反射回的目标检测区域超声波信号后转化为对应的电压脉冲信号，并分别向电动控制单元和脉冲发射接收器发送检测完毕电信号和接收到的电压脉冲信号，

所述电动控制单元接收到超声波换能器发送的检测完毕信号后向微处理控制器发送被测塑封电子元器件被检测的目标检测区域位置信息，微处理控制器接收到被测塑封电子元器件的被检测目标检测区域位置信息后转发到信号转换单元；脉冲发送接收器接收到超声波换能器返回的电压脉冲信号后传输到相位检测单元，相位检测单元对被测塑封电子元器件上返回的被检测目标检测区域各个位置的电压脉冲信号的相位进行检测对比，并分类为正弦电信号和余弦电信号并传送到信号转换单元；信号转换单元接收到相位检测单元发送的正弦电信号和余弦电信号后依据微处理控制器发送的被测塑封电子元器件被检测目标检测区域位置信息按顺序同步转换，转换为包含被测塑封电子元器件被检测目标检测区域内部芯片、焊料、基板和键合区键合丝形貌结构特征的像素点图片，且将像素点图片中被测塑封电子元器件对应位置为余弦电信号坐标点的区域转化为红色像素点，最后将形成的包含被测塑封电子元器件被检测目标检测区域内部形貌结构特征的图片传输到神经网络单元中，神经网络单元接收到信号转换单元传来的包含被测塑封电子元器件被检测目标检测区域内部形貌结构特征的图片后，经过内部运算处理识别被测塑封电子元器件被检测目标检测区域内部形貌结构是否具有内部缺陷并将检测结果传输到微处理控制器中输出。

本实施例的塑封电子元器件缺陷识别方法，包括具体如下：

步骤1，训练神经网络；

步骤2，系统状态初始化；

步骤3，神经网络单元权重的导入；

步骤4，发送驱动指令；

步骤5，驱动超声波换能器；

步骤6，发送脉冲发射接收指令；

步骤7，采集被测塑封电子元器件内部的目标检测区域的电信号；

步骤8，对被测塑封电子元器件的目标检测区域的电信号进行相位检测；

步骤9，生成被测塑封电子元器件的内部形貌结构特征图片；

步骤10，神经网络识别被测塑封电子元器件目标检测区域缺陷；

步骤11，被测塑封电子元器件的检测结果输出。

其中，步骤1具体为，在计算机上确定神经网络的结构框架，并以信号转换单元转化后的被测塑封电子元器件内部目标检测区域内同一平面不同位置的图片数据为训练集对神经网络进行训练，并对神经网络的结构和内部参数进行调节，当神经网络识别输入塑封电子元器件内部形貌结构特征图片中红色像素点区域是否为缺陷的准确率达到所需要求后，导出神经网络的权重值。

步骤2具体为，系统初始化具体为将系统中的超声波换能器、电动控制单元、脉冲发射接收器、相位检测单元、信号转换单元以及神经网络单元状态初始化。

步骤3具体为，微处理控制器将已经训练好的神经网络单元中的卷积运算模块、池化运算模块、以及全连接运算模块的权重值导入神经网络单元的权重存储模块中。

步骤4具体为，微处理控制器向电动控制单元发送驱动超声波换能器的指令，以使超声波换能器检测被测塑封电子元器件的目标检测区域。

步骤5具体为，所述电动控制单元接收到微处理控制器的驱动指令后，电动控制单元控制超声波换能器移动到被测塑封电子元器件的目标检测区域位置，并使超声波换能器焦点对准被测塑封电子元器件的内部目标检测区域位置。

步骤6，发送脉冲发射接收指令具体为，微处理控制器向脉冲发射接收器发送与超声波换能器工作频率相适应的脉冲发射接收指令。

步骤7，采集被测塑封电子元器件内部的目标检测区域的电信号，具体为，所述脉冲发射接收器接收到微处理控制器的脉冲发射接收指令后，再向超声波换能器周期性地发送与超声波换能器工作频率相适应的电压脉冲信号，并经超声波换能器实现电压信号与超声波信号的转换后，超声波换能器采集被测塑封电子元器件内部的目标检测区域内同一平面不同位置的形貌结构特征并返回至脉冲发射接收器。

步骤8，对被测塑封电子元器件的目标检测区域的电信号相位检测，具体为，所述相位检测单元对被测塑封电子元器件的目标检测区域的所有位置的电压脉冲信号的相位进行检测，针对被测塑封电子元器件的无缺陷区域，将输出正弦电信号；针对被测塑封电子元器件的缺陷区域，将输出余弦电信号；所述相位检测单元将所述电压脉冲信号传送到信号转换单元。

步骤9，生成被测塑封电子元器件的内部形貌结构特征图片，具体为，对于正弦电信号所在目标检测区域，所述信号转换单元将相应正弦电信号转换为目标检测区域黑白像素点；对于余弦电信号所在目标检测区域，所述信号转换单元将相应余弦电信号转化为为红色像素点，所述黑白像素点和红色像素点即构成包含被测塑封电子元器件的目标检测区域内部形貌结构特征的图片信息。

步骤10，神经网络识别被测塑封电子元器件目标检测区域缺陷，具体为，所述信号转换单元将所述图片信息发送至图像数据接收模块；所述图像数据接收模块将图片信息预处理后传输到已加载权重值的卷积运算模块中进行塑封电子元器件目标检测区域内部形貌结构特征数据的卷积运算；经过池化运算模块和全连接运算模块运算后，全连接运算模块将图片信息中被测塑封电子元器件的目标检测区域是否具有缺陷及缺陷类型的运算结果传输到输出模块。

步骤11，被测塑封电子元器件的检测结果输出，具体为，输出模块将运算结果输出至微处理控制器，微处理控制器检查被测塑封电子元器件的目标检测区域是否全部被检测，若被测塑封电子元器件的目标检测区域被全部检测，则微处理控制器将判断结果输出到计算机中显示；若被测塑封电子元器件的目标检测区域未被全部检测，则跳转到步骤4，直至被测塑封电子元器件的目标检测区域被全部检测，则微处理控制器将判断结果输出到计算机中显示。

Claims (8)

1.一种基于神经网络的塑封电子元器件缺陷识别系统，其特征在于：

该系统包括超声波换能器、电动控制单元、脉冲发射接收器、相位检测单元、信号转换单元、神经网络单元和微处理控制器，其连接关系是：微处理控制器分别与神经网络单元、信号转换单元、电动控制单元以及脉冲发射接收器相连，信号转换单元与神经网络单元、相位检测单元相连，相位检测单元与脉冲发射接收器相连，脉冲发射接收器与超声波换能器相连，同样电动控制单元与超声波换能器相连；

其中，所述神经网络单元包含图像数据接收模块、卷积运算模块、池化运算模块、全连接运算模块、权重存储模块以及输出模块，其连接关系是：图像数据接收模块与卷积运算模块及权重存储模块相连，权重存储模块与图像数据接收模块相连的同时与卷积运算模块、池化运算模块及全连接运算模块相连，卷积运算模块与图像数据接收模块和权重存储模块相连的同时与池化运算模块相连，池化运算模块与卷积运算模块和权重存储模块相连的同时与全连接运算模块相连，全连接运算模块与池化运算模块和权重存储模块相连的同时与输出模块相连，其中，

所述图像数据接收模块，用于将从信号转换单元输出的图片进行图像数据预处理，并向权重存储模块传输经训练的神经网络权重值；

所述权重存储模块，用于存储训练好的卷积运算模块、池化运算模块、以及全连接运算模块的权重值；

所述卷积运算模块，用于接收图像数据接收模块发送的图片数据，并将图片数据与卷积运算模块的权重值进行卷积运算，并将运算结果发送至池化运算模块；

所述池化运算模块，用于接收卷积运算模块发送的运算结果，并与池化运算模块的权重值运算，完成特征图数据的压缩，并将运算结果发送至全连接运算模块；所述全连接运算模块，用于接收池化运算模块发送的运算结果，并与全连接运算模块的权重值运算；根据全连接运算模块的运算结果，所述全连接运算模块将图片数据进行特征分类，即分为有内部缺陷和无内部缺陷两种分类结果，并发送至输出模块；

所述输出模块，用于将全连接运算模块的分类结果输出到微处理控制器中。

2.一种基于权利要求1所述的基于神经网络的塑封电子元器件缺陷识别系统的塑封电子元器件缺陷识别方法，其特征在于，

该方法包括具体如下：

步骤1，训练神经网络；

步骤2，系统状态初始化；

步骤3，神经网络单元权重的导入；

步骤4，发送驱动指令；

步骤5，驱动超声波换能器；

步骤6，发送脉冲发射接收指令；

步骤7，采集被测塑封电子元器件内部的目标检测区域的电信号；

步骤8，对被测塑封电子元器件的目标检测区域的电信号进行相位检测；

步骤9，生成被测塑封电子元器件的内部形貌结构特征图片；

步骤10，神经网络识别被测塑封电子元器件目标检测区域缺陷；

步骤11，被测塑封电子元器件的检测结果输出；

步骤8具体为：

所述相位检测单元对被测塑封电子元器件的目标检测区域的所有位置的电压脉冲信号的相位进行检测，针对被测塑封电子元器件的无缺陷区域，将输出正弦电信号；

针对被测塑封电子元器件的缺陷区域，将输出余弦电信号；所述相位检测单元将所述电压脉冲信号传送到信号转换单元；

步骤9具体为：

对于正弦电信号所在目标检测区域，所述信号转换单元将相应正弦电信号转换为目标检测区域黑白像素点；对于余弦电信号所在目标检测区域，所述信号转换单元将相应余弦电信号转化为红色像素点，所述黑白像素点和红色像素点即构成包含被测塑封电子元器件的目标检测区域内部形貌结构特征的图片信息。

3.根据权利要求2所述的塑封电子元器件缺陷识别方法，其特征在于，

步骤1具体为：

在计算机上确定神经网络的结构框架，并以信号转换单元转化后的被测塑封电子元器件内部目标检测区域内同一平面不同位置的图片数据为训练集对神经网络进行训练，并对神经网络的结构和内部参数进行调节，当神经网络识别输入塑封电子元器件内部形貌结构特征图片中红色像素点区域是否为缺陷的准确率达到所需要求后，导出神经网络的权重值。

4.根据权利要求2所述的塑封电子元器件缺陷识别方法，其特征在于，

步骤4具体为：

微处理控制器向电动控制单元发送驱动超声波换能器的指令，以使超声波换能器检测被测塑封电子元器件的目标检测区域。

5.根据权利要求2所述的塑封电子元器件缺陷识别方法，其特征在于，

步骤5具体为：

所述电动控制单元接收到微处理控制器的驱动指令后，电动控制单元控制超声波换能器移动到被测塑封电子元器件的目标检测区域位置，并使超声波换能器焦点对准被测塑封电子元器件的内部目标检测区域位置。

6.根据权利要求2所述的塑封电子元器件缺陷识别方法，其特征在于，

步骤7具体为：

所述脉冲发射接收器接收到微处理控制器的脉冲发射接收指令后，再向超声波换能器周期性地发送与超声波换能器工作频率相适应的电压脉冲信号，并经超声波换能器实现电压信号与超声波信号的转换后，超声波换能器采集被测塑封电子元器件内部的目标检测区域内同一平面不同位置的形貌结构特征并返回至脉冲发射接收器。

7.根据权利要求2所述的塑封电子元器件缺陷识别方法，其特征在于，

步骤10具体为：

所述信号转换单元将所述图片信息发送至图像数据接收模块；所述图像数据接收模块将图片信息预处理后传输到已加载权重值的卷积运算模块中进行被测塑封电子元器件目标检测区域内部形貌结构特征数据的卷积运算；经过池化运算模块和全连接运算模块运算后，全连接运算模块将图片信息中被测塑封电子元器件的目标检测区域是否具有缺陷及缺陷类型的运算结果传输到输出模块。

8.根据权利要求2所述的塑封电子元器件缺陷识别方法，其特征在于，

步骤11具体为：

输出模块将运算结果输出至微处理控制器，微处理控制器检查被测塑封电子元器件的目标检测区域是否全部被检测，若被测塑封电子元器件的目标检测区域被全部检测，则微处理控制器将判断结果输出到计算机中显示；若被测塑封电子元器件的目标检测区域未被全部检测，则跳转到步骤4，直至被测塑封电子元器件的目标检测区域被全部检测，则微处理控制器将判断结果输出到计算机中显示。