CN114548231A - 基于多层卷积网络的贴片电阻微空洞与焊点特征提取方法 - Google Patents

基于多层卷积网络的贴片电阻微空洞与焊点特征提取方法 Download PDF

Info

Publication number
CN114548231A
CN114548231A CN202210092470.XA CN202210092470A CN114548231A CN 114548231 A CN114548231 A CN 114548231A CN 202210092470 A CN202210092470 A CN 202210092470A CN 114548231 A CN114548231 A CN 114548231A
Authority
CN
China
Prior art keywords
net
micro
network
image
cavity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210092470.XA
Other languages
English (en)
Inventor
陈梅云
黄心阳
庞水玲
王倩雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202210092470.XA priority Critical patent/CN114548231A/zh
Publication of CN114548231A publication Critical patent/CN114548231A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Neurology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及工业电子元器件检测的技术领域，更具体地说，它涉及基于多层卷积网络的贴片电阻微空洞与焊点特征提取方法，其技术方案要点是：S1、构建微空洞、焊点训练数据集和测试数据集；S2、基于残差多尺度跳跃连接网络(RMSC‑Net)对微空洞进行检测；S3、基于循环卷积神经网络(RU‑Net)对焊点进行检测；S4、用训练好的模型进行检测，得到检测结果。本发明具有算法识别分割精度高、抗干扰能力强的优点。

Description

基于多层卷积网络的贴片电阻微空洞与焊点特征提取方法
技术领域
本发明涉及工业电子元器件检测的技术领域，更具体地说，它涉及基于多层卷积网络的贴片电阻微空洞与焊点特征提取方法。
背景技术
随着社会经济、工业自动化和科学技术的迅猛发展，贴片电阻因具有体积小、重量轻、安装密度高、抗干扰能力强等优点。广泛应用于工业设备、医疗器械、高端计算机、医疗电子产品等领域，是电子行业目前使用量最大的贴片式电子元件之一。由于贴片电阻在焊接过程中助焊剂使用量控制不当，回流过程中夹带的气泡在焊点中形成大小不一的空洞。而焊点空洞率的大小与贴片电阻的导电、导热等工作性能密切相关，因此一个精确而稳定的贴片电阻微空洞和焊点检测算法显得尤为重要。
目前关于焊点和空洞的特征提取方法，常用的有：边缘检测法、多项扫描算法、BPN神经网络算法、卷积神经网络等。这些算法虽在一定范围内能满足空洞或焊点的检测需求，但也存在一定的局限性。如：边缘检测法无法精准识别微空洞；多项扫描算法易造成空洞误检。
发明内容
针对现有技术存在的不足，本发明的目的在于提供基于多层卷积网络的贴片电阻微空洞与焊点特征提取方法，具有算法识别分割精度高、抗干扰能力强的优点。
本发明的上述技术目的是通过以下技术方案得以实现的，基于多层卷积网络的贴片电阻微空洞与焊点特征提取方法，包括以下步骤：
S1、构建微空洞、焊点训练数据集和测试数据集；
S2、基于残差多尺度跳跃连接网络(RMSC-Net)对微空洞进行检测；
S3、基于循环卷积神经网络(RU-Net)对焊点进行检测；
S4、用训练好的模型进行检测，得到检测结果。
在其中一个实施例中，所述步骤S1具体包括以下步骤：
S11、设置CT设备的加速电压，靶功率和放大倍数，以获取贴片电阻微空洞和焊点清晰的图像；
S12、通过CT设备采集样品图片数据，对采集到的贴片电阻微空洞及焊点数据进行标注，使每一个标注文件包含图像中微空洞和焊点的特征和位置信息；
S13、通过裁剪、旋转和改变亮度的方式提高网络的泛化性，达到数据增强的效果；
S14、将增强后的微空洞与焊点的训练数据分别输入到RMSC-Net和RU-Net中进行训练，RMSC-Net提取微空洞的特征，RU-Net提取焊点的特征；
S15、通过二值交叉熵损失函数调整神经元的权值，将两个网络输出的结果进行融合，最终实现对微空洞和焊点的特征提取。
在其中一个实施例中，所述步骤S11具体为：
在二维X射线检测模式时，将CT设备的加速电压和靶功率分别设置为100KV和4W，根据样品的大小来设置放大倍数，放大倍数在10-50倍之间；
CT设备采集的图像分辨率为1004×1004，为了使各个网络的输出图像与输入图像尺寸一致，在1004×1004像素图像的上下左右都填充2个像素得到1008×1008的图像；
由于CT图像的边缘偏白，所以采用(255，255，255)对图像进行预处理填充。
在其中一个实施例中，所述步骤S2具体包括以下步骤：
S21、RMSC-Net架构包括卷积层、池化层、残差层、多尺度跳跃连接层和上采样层；将CT设备采集的X射线图像及其对应的微空洞标签，包括数据增强后的图像与对应标签，均输入到卷积层中，采用的卷积层是两个分别具有64个卷积核；每个卷积层是filter size为3×3，padding为1的卷积操作，批量归一化和LeakyReLU激活函数的复合函数，LeakyReLU激活函数定义为：
LeakyReLU(x)＝max(0,x)+negative_slope*min(0,x)
S22、卷积层后再通过filter size为2的最大池化层获得图像的高级语义特征，去除X射线图像的冗余信息，最大池化后紧接着两个分别具有128个卷积核的卷积层；编码器共有4个最大池化层，前三个最大池化后的特征图数量都翻倍；为减小计算量，最后一个池化层之后的特征图数量保持不变；最后一个池化层之后是瓶颈阶段，采用残差连接，解决了梯度弥散或梯度爆炸的问题；将残差模块定义为：
yout＝F(xin,{Wi})+xin
其中，xin和yout分别是是所考虑层的输入和输出向量，函数F(xin,{WI})表示待学习的残差映射。
在其中一个实施例中，所述步骤S3具体为：
RU-Net用于贴片电阻的焊点的特征提取，输入网络的图片大小为1008×1008像素；浅层卷积关注纹理特征，深层网络关注高维特征，因此通过RU-Net进行特征拼接，实现焊点的边缘特征提取；
将X射线图像及其对应的焊点的标签输入RU-Net；使用BCEWithLogitsLoss损失函数进行损失计算与权重更新，即下式：
l(x,y)＝L＝{l1,...,lN}T,ln＝-wn[ynglogσ(xn)+(1-yn)glog(1-σ(xn))]
其中x是输入，y是目标，w是权值，N是batch size，σ(x)是Sigmoid函数，可表示为：
Figure BDA0003489695820000041
为了适应焊点的检测，采用RMSprop优化器，学习率设为10-5。
在其中一个实施例中，所述步骤S4具体包括以下步骤：
S41、在采集图像数据过程中，根据样品大小选择不同的放大倍数，空洞的大小在几微米到几百微米之间，因此我们选择的放大倍数在10-50倍之间；
S42、采用三种贴片电阻，型号分别是0402、0603和0805，将贴片电阻图像和空洞与焊点数据作为数据集对RMSC-Net和RU-Net进行训练和测试；将三种型号的数据进行混合训练；对于空洞和焊点两个不同的检测对象，采用不同数据增强的方式：将原始的45组空洞数据集经过随机裁剪和旋转的数据增强方式后扩张到236组；将原始的83组焊点数据集经过随机旋转、改变亮度的数据增强方式后扩张到150组；
S43、网络使用Pytorch，Python版本3.7；硬件条件为NVIDIA GeForce RTX 3090；内存为24GB；在空洞与焊点检测过程中，只有使用的网络不一样，训练和测试的步骤和超参数完全一致，学习率设置为10-5，采用RMSprop优化器和BCEWithLogitsLoss损失函数；
S44、为了定量分析RMSC-Net和RU-Net网络的性能，考虑几个性能指标，包括精确度(PR)、集合相似度(DC)、灵敏度(SE)、特异性(SP)、类别平均像素准确率(MPA)和平均交并比(MIOU)，其中：
Figure BDA0003489695820000051
Figure BDA0003489695820000052
Figure BDA0003489695820000053
Figure BDA0003489695820000054
Figure BDA0003489695820000055
Figure BDA0003489695820000056
将RMSC-Net和RU-Net输出的图像经过上面的评价公式进行结果评估，包括合格与不合格；将焊点的空洞率超过10％定义为不合格，设为Failed；合格的设为Passed。
上述基于多层卷积网络的贴片电阻微空洞与焊点特征提取方法，具有以下有益效果：
本方法首先设计出RMSC-Net和RU-Net相结合的预测方法，利用多层卷积神经网络和循环卷积网络强大的特征表达能力和学习能力，增强网络自适应和预测能力；引入残差层来确保网络的预测精度，设计多维特征融合的多尺度跳跃连接，充分利用特征信息，实现微空洞及焊点的精准特征感知；获得相对于传统算法和其他深度学习网络相比精度更高的微空洞和焊点检测结果，此方法识别分割精度较高，抗干扰能力较强。
本发明重新设计了多尺度跳跃连接层，将多个不同层次的特征融合，有助于还原池化操作所带来的信息损失，降低了网络的复杂度。编码器阶段从下采样的最后一层开始，通过双线性插值和多尺度跳跃连接对高低级语义特征图进行特征融合。第一次多尺度特征融合是将上采样的特征与编码器的第三和第四层的特征进行融合，得到数量为1280的特征图。经过4次上采样、1次残差连接和3次多尺度跳跃特征融合来进行特征复原。最后采用1×1的卷积操作进行通道调整，输出空洞的特征预测结果
附图说明
图1是本实施例中提取方法的步骤流程图；
图2是本实施例中贴片电阻样品图片；
图3是本实施例中CT设备的贴片电阻成像图；
图4是本实施例中贴片电阻微空洞和焊点特征提取方法流程图；
图5是本实施例中RMSC-Net网络架构；
图6是本实施例中贴片电阻微空洞和焊点的实际检测与网络预测结果对比图。
具体实施方式
下面结合附图和实施例，对本发明进行详细描述。
如图1所示，基于多层卷积网络的贴片电阻微空洞与焊点特征提取方法,包括以下步骤：
S1、构建微空洞、焊点训练数据集和测试数据集。
具体的，如图2至图4所示，步骤S1具体包括以下步骤：
S11、设置CT设备的加速电压，靶功率和放大倍数，以获取贴片电阻微空洞和焊点清晰的图像。
所述步骤S11具体为：在二维X射线检测模式时，将CT设备的加速电压和靶功率分别设置为100KV和4W，根据样品的大小来设置放大倍数，放大倍数在10-50倍之间；CT设备采集的图像分辨率为1004×1004，为了使各个网络的输出图像与输入图像尺寸一致，在1004×1004像素图像的上下左右都填充2个像素得到1008×1008的图像；由于CT图像的边缘偏白，所以采用(255，255，255)对图像进行预处理填充。
贴片电阻的样品图片数据，即图2，通过X射线生成器发出X射线，经过准直仪进行准直后的光束透射过电阻样品某断层。根据样品材料本身密度与原子量的不同，对X射线有不同的吸收量。X射线接收器用来感应通过各部位的X射线强度，通过计算机对采集的数据进行图像重建。根据各部位的X射线强度，转化为黑白图片。强度大的，颜色白，强度低的，颜色黑。其中圆、椭圆和不规则多边形如01、02、03代表微空洞，矩形框如04代表焊点边缘，微空洞有比较明显的分界线，分界线里面微空洞偏白，外面偏黑，即图3。
S12、通过CT设备采集样品图片数据，对采集到的贴片电阻微空洞及焊点数据进行标注，使每一个标注文件包含图像中微空洞和焊点的特征和位置信息。
S13、通过裁剪、旋转和改变亮度的方式提高网络的泛化性，达到数据增强的效果。
S14、将增强后的微空洞与焊点的训练数据分别输入到RMSC-Net和RU-Net中进行训练，RMSC-Net提取微空洞的特征，RU-Net提取焊点的特征。
S15、通过二值交叉熵损失函数调整神经元的权值，将两个网络输出的结果进行融合，最终实现对微空洞和焊点的特征提取。
S2、基于残差多尺度跳跃连接网络(RMSC-Net)对微空洞进行检测。
具体的，如图5所示，步骤S2具体包括以下步骤：
S21、RMSC-Net架构包括卷积层、池化层、残差层、多尺度跳跃连接层和上采样层；将CT设备采集的X射线图像及其对应的微空洞标签，包括数据增强后的图像与对应标签，均输入到卷积层中，采用的卷积层是两个分别具有64个卷积核；每个卷积层是filter size为3×3，padding为1的卷积操作，批量归一化和LeakyReLU激活函数的复合函数，LeakyReLU激活函数定义为：
LeakyReLU(x)＝max(0,x)+negative_slope*min(0,x)
批量归一化加快了损失函数的收敛速度，LeakyReLU激活函数解决了ReLU函数神经元死亡的问题，对于负输入值，由于负区域中具有小的正斜率，同样可以进行反向传播。
S22、卷积层后再通过filter size为2的最大池化层获得图像的高级语义特征，去除X射线图像的冗余信息，最大池化后紧接着两个分别具有128个卷积核的卷积层；编码器共有4个最大池化层，前三个最大池化后的特征图数量都翻倍；为减小计算量，最后一个池化层之后的特征图数量保持不变；最后一个池化层之后是瓶颈阶段，采用残差连接，解决了梯度弥散或梯度爆炸的问题；将残差模块定义为：
yout＝F(xin,{Wi})+xin
其中，xin和yout分别是是所考虑层的输入和输出向量，函数F(xin,{WI})表示待学习的残差映射。
本发明重新设计了多尺度跳跃连接层，将多个不同层次的特征融合，有助于还原池化操作所带来的信息损失，降低了网络的复杂度。编码器阶段从下采样的最后一层开始，通过双线性插值和多尺度跳跃连接对高低级语义特征图进行特征融合。第一次多尺度特征融合是将上采样的特征与编码器的第三和第四层的特征进行融合，得到数量为1280的特征图。经过4次上采样、1次残差连接和3次多尺度跳跃特征融合来进行特征复原。最后采用1×1的卷积操作进行通道调整，输出空洞的特征预测结果。
S3、基于循环卷积神经网络(RU-Net)对焊点进行检测。
具体的，步骤S3具体为：RU-Net用于贴片电阻的焊点的特征提取，输入网络的图片大小为1008×1008像素；浅层卷积关注纹理特征，深层网络关注高维特征，因此通过RU-Net进行特征拼接，实现焊点的边缘特征提取；
将X射线图像及其对应的焊点的标签输入RU-Net；使用BCEWithLogitsLoss损失函数进行损失计算与权重更新，即下式：
l(x,y)＝L＝{l1,...,lN}T,ln＝-wn[ynglogσ(xn)+(1-yn)glog(1-σ(xn))]
其中x是输入，y是目标，w是权值，N是batch size，σ(x)是Sigmoid函数，可表示为：
Figure BDA0003489695820000101
为了适应焊点的检测，采用RMSprop优化器，学习率设为10-5。
S4、用训练好的模型进行检测，得到检测结果。
具体的，步骤S4具体包括以下步骤：
S41、在采集图像数据过程中，根据样品大小选择不同的放大倍数，空洞的大小在几微米到几百微米之间，因此我们选择的放大倍数在10-50倍之间；
S42、采用三种贴片电阻，型号分别是0402、0603和0805，将贴片电阻图像和空洞与焊点数据作为数据集对RMSC-Net和RU-Net进行训练和测试；将三种型号的数据进行混合训练；对于空洞和焊点两个不同的检测对象，采用不同数据增强的方式：将原始的45组空洞数据集经过随机裁剪和旋转的数据增强方式后扩张到236组；将原始的83组焊点数据集经过随机旋转、改变亮度的数据增强方式后扩张到150组；
S43、网络使用Pytorch，Python版本3.7；硬件条件为NVIDIA GeForce RTX 3090；内存为24GB；在空洞与焊点检测过程中，只有使用的网络不一样，训练和测试的步骤和超参数完全一致，学习率设置为10-5，采用RMSprop优化器和BCEWithLogitsLoss损失函数；
S44、为了定量分析RMSC-Net和RU-Net网络的性能，考虑几个性能指标，包括精确度(PR)、集合相似度(DC)、灵敏度(SE)、特异性(SP)、类别平均像素准确率(MPA)和平均交并比(MIOU)，其中：
Figure BDA0003489695820000111
Figure BDA0003489695820000112
Figure BDA0003489695820000113
Figure BDA0003489695820000114
Figure BDA0003489695820000115
Figure BDA0003489695820000116
将RMSC-Net和RU-Net输出的图像经过上面的评价公式进行结果评估，包括合格与不合格；将焊点的空洞率超过10％定义为不合格，设为Failed；合格的设为Passed。
将RMSC-Net输出的图像经过评估公式进行结果评估。196张微空洞图片对应的评估指标分别为：71.07％、78.38％、87.50％、99.35％、93.43％、81.86％。将RU-Net输出的图像经过评估公式进行结果评估。158张焊点图片对应的评估指标分别为：96.95％、98.36％、99.86％、98.88％、99.37％、97.82％，上面评价指标结果按照公式的顺序进行说明。
如图6所示，将实际结果与RMSC-Net和RU-Net输出的预测结果进行比较。第一行为微空洞及焊点的数据集原图，第二行为微空洞及焊点的实际检测结果，最后一行为网络预测结果图，图片对应的型号为(a)0402，(b)0603，(c)0805。其中将微空洞和焊点特征结果图进行二值化处理，矩形框代表焊点边缘，圆、椭圆和不规则多边形代表微空洞的信息特征。由图可知本发明所提出的方法的检测结果与实际结果非常接近，证明了所提出方法的准确性与有效性。
与现有技术相比，本发明的有益效果及优点：本发明设计出一个基于多层卷积网络的贴片电阻微空洞与焊点特征提取方法。利用多层卷积神经网络和循环卷积网络强大的特征表达能力和学习能力，增强网络自适应和预测能力。本方法首先设计出RMSC-Net和RU-Net相结合的预测方法；引入残差层来确保网络的预测精度，设计多维特征融合的多尺度跳跃连接，充分利用特征信息，实现微空洞及焊点的精准特征感知；相较于传统算法和其他深度学习网络的微空洞和焊点检测结果，本方法识别分割精度较高，抗干扰能力较强。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (6)

1.基于多层卷积网络的贴片电阻微空洞与焊点特征提取方法，其特征在于，包括以下步骤：
S1、构建微空洞、焊点训练数据集和测试数据集；
S2、基于残差多尺度跳跃连接网络(RMSC-Net)对微空洞进行检测；
S3、基于循环卷积神经网络(RU-Net)对焊点进行检测；
S4、用训练好的模型进行检测，得到检测结果。
2.根据权利要求1所述的基于多层卷积网络的贴片电阻微空洞与焊点特征提取方法，其特征在于，所述步骤S1具体包括以下步骤：
S11、设置CT设备的加速电压，靶功率和放大倍数，以获取贴片电阻微空洞和焊点清晰的图像；
S12、通过CT设备采集样品图片数据，对采集到的贴片电阻微空洞及焊点数据进行标注，使每一个标注文件包含图像中微空洞和焊点的特征和位置信息；
S13、通过裁剪、旋转和改变亮度的方式提高网络的泛化性，达到数据增强的效果；
S14、将增强后的微空洞与焊点的训练数据分别输入到RMSC-Net和RU-Net中进行训练，RMSC-Net提取微空洞的特征，RU-Net提取焊点的特征；
S15、通过二值交叉熵损失函数调整神经元的权值，将两个网络输出的结果进行融合，最终实现对微空洞和焊点的特征提取。
3.根据权利要求2所述的基于多层卷积网络的贴片电阻微空洞与焊点特征提取方法，其特征在于，所述步骤S11具体为：
在二维X射线检测模式时，将CT设备的加速电压和靶功率分别设置为100KV和4W，根据样品的大小来设置放大倍数，放大倍数在10-50倍之间；
CT设备采集的图像分辨率为1004×1004，为了使各个网络的输出图像与输入图像尺寸一致，在1004×1004像素图像的上下左右都填充2个像素得到1008×1008的图像；
由于CT图像的边缘偏白，所以采用(255，255，255)对图像进行预处理填充。
4.根据权利要求1所述的基于多层卷积网络的贴片电阻微空洞与焊点特征提取方法，其特征在于，所述步骤S2具体包括以下步骤：
S21、RMSC-Net架构包括卷积层、池化层、残差层、多尺度跳跃连接层和上采样层；将CT设备采集的X射线图像及其对应的微空洞标签，包括数据增强后的图像与对应标签，均输入到卷积层中，采用的卷积层是两个分别具有64个卷积核；每个卷积层是filter size为3×3，padding为1的卷积操作，批量归一化和LeakyReLU激活函数的复合函数，LeakyReLU激活函数定义为：
LeakyReLU(x)＝max(0,x)+negative_slope*min(0,x)
S22、卷积层后再通过filter size为2的最大池化层获得图像的高级语义特征，去除X射线图像的冗余信息，最大池化后紧接着两个分别具有128个卷积核的卷积层；编码器共有4个最大池化层，前三个最大池化后的特征图数量都翻倍；为减小计算量，最后一个池化层之后的特征图数量保持不变；最后一个池化层之后是瓶颈阶段，采用残差连接，解决了梯度弥散或梯度爆炸的问题；将残差模块定义为：
yout＝F(xin,{Wi})+xin
其中，xin和yout分别是所考虑层的输入和输出向量，函数F(xin,{WI})表示待学习的残差映射。
5.根据权利要求1所述的基于多层卷积网络的贴片电阻微空洞与焊点特征提取方法，其特征在于，所述步骤S3具体为：
RU-Net用于贴片电阻的焊点的特征提取，输入网络的图片大小为1008×1008像素；浅层卷积关注纹理特征，深层网络关注高维特征，因此通过RU-Net进行特征拼接，实现焊点的边缘特征提取；
将X射线图像及其对应的焊点的标签输入RU-Net；使用BCEWithLogitsLoss损失函数进行损失计算与权重更新，即下式：
l(x,y)＝L＝{l1,...,lN}T,ln＝-wn[ynglogσ(xn)+(1-yn)glog(1-σ(xn))]
其中x是输入，y是目标，w是权值，N是batch size，σ(x)是Sigmoid函数，可表示为：
Figure FDA0003489695810000031
为了适应焊点的检测，采用RMSprop优化器，学习率设为10-5。
6.根据权利要求1所述的基于多层卷积网络的贴片电阻微空洞与焊点特征提取方法，其特征在于，所述步骤S4具体包括以下步骤：
S41、在采集图像数据过程中，根据样品大小选择不同的放大倍数，空洞的大小在几微米到几百微米之间，因此我们选择的放大倍数在10-50倍之间；
S42、采用三种贴片电阻，型号分别是0402、0603和0805，将贴片电阻图像和空洞与焊点数据作为数据集对RMSC-Net和RU-Net进行训练和测试；将三种型号的数据进行混合训练；对于空洞和焊点两个不同的检测对象，采用不同数据增强的方式：将原始的45组空洞数据集经过随机裁剪和旋转的数据增强方式后扩张到236组；将原始的83组焊点数据集经过随机旋转、改变亮度的数据增强方式后扩张到150组；
S43、网络使用Pytorch，Python版本3.7；硬件条件为NVIDIA GeForce RTX 3090；内存为24GB；在空洞与焊点检测过程中，只有使用的网络不一样，训练和测试的步骤和超参数完全一致，学习率设置为10-510-5，采用RMSprop优化器和BCEWithLogitsLoss损失函数；
S44、为了定量分析RMSC-Net和RU-Net网络的性能，考虑几个性能指标，包括精确度(PR)、集合相似度(DC)、灵敏度(SE)、特异性(SP)、类别平均像素准确率(MPA)和平均交并比(MIOU)，其中：
Figure FDA0003489695810000041
Figure FDA0003489695810000042
Figure FDA0003489695810000043
Figure FDA0003489695810000044
Figure FDA0003489695810000045
Figure FDA0003489695810000046
将RMSC-Net和RU-Net输出的图像经过上面的评价公式进行结果评估，包括合格与不合格；将焊点的空洞率超过10％定义为不合格，设为Failed；合格的设为Passed。
CN202210092470.XA 2022-01-26 2022-01-26 基于多层卷积网络的贴片电阻微空洞与焊点特征提取方法 Pending CN114548231A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210092470.XA CN114548231A (zh) 2022-01-26 2022-01-26 基于多层卷积网络的贴片电阻微空洞与焊点特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210092470.XA CN114548231A (zh) 2022-01-26 2022-01-26 基于多层卷积网络的贴片电阻微空洞与焊点特征提取方法

Publications (1)

Publication Number Publication Date
CN114548231A true CN114548231A (zh) 2022-05-27

Family

ID=81672805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210092470.XA Pending CN114548231A (zh) 2022-01-26 2022-01-26 基于多层卷积网络的贴片电阻微空洞与焊点特征提取方法

Country Status (1)

Country Link
CN (1) CN114548231A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116900539A (zh) * 2023-09-14 2023-10-20 天津大学 一种基于图神经网络和强化学习的多机器人任务规划方法
CN117152139A (zh) * 2023-10-30 2023-12-01 华东交通大学 一种基于实例分割技术的贴片电感缺陷检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116900539A (zh) * 2023-09-14 2023-10-20 天津大学 一种基于图神经网络和强化学习的多机器人任务规划方法
CN116900539B (zh) * 2023-09-14 2023-12-19 天津大学 一种基于图神经网络和强化学习的多机器人任务规划方法
CN117152139A (zh) * 2023-10-30 2023-12-01 华东交通大学 一种基于实例分割技术的贴片电感缺陷检测方法

Similar Documents

Publication Publication Date Title
CN114548231A (zh) 基于多层卷积网络的贴片电阻微空洞与焊点特征提取方法
Wu et al. Classification of solder joint using feature selection based on Bayes and support vector machine
Zipfel et al. Anomaly detection for industrial quality assurance: A comparative evaluation of unsupervised deep learning models
Zhang et al. Deep learning based solder joint defect detection on industrial printed circuit board X-ray images
Li et al. Multi‐focus image fusion algorithm based on multilevel morphological component analysis and support vector machine
Liu et al. X-ray weld defect detection based on AF-RCNN
CN114580515A (zh) 用于半导体脱焊智能检测的神经网络训练方法
Sahu et al. A dual-channel dehaze-net for single image dehazing in visual Internet of Things using PYNQ-Z2 board
Tang et al. A visual defect detection for optics lens based on the YOLOv5-C3CA-SPPF network model
CN116012930B (zh) 一种基于深度学习卷积神经网络的维度表情识别方法
Hartung et al. Camera-based in-process quality measurement of hairpin welding
Sahu et al. Single image dehazing via fusion of multilevel attention network for vision-based measurement applications
CN115239642A (zh) 一种输电线路中小金具缺陷的检测方法、检测装置和设备
Liao et al. Solder joint defect inspection method based on ConvNeXt-YOLOX
Chen et al. Multi-scale GAN with transformer for surface defect inspection of IC metal packages
Park et al. D 3 pointnet: Dual-level defect detection pointnet for solder paste printer in surface mount technology
Li et al. A reliable solder joint inspection method based on a light-weight point cloud network and modulated loss
Khan et al. Toward developing tangling noise removal and blind inpainting mechanism based on total variation in image processing
Yusuf et al. Evaluation of graph convolutional networks performance for visual question answering on reasoning datasets
Sha et al. Development of an accurate and automated quality inspection system for solder joints on aviation plugs using fine-tuned YOLOv5 models
Pasunuri et al. A comparison of neural networks for pcb component segmentation
Sakurai et al. Restoring aspect ratio distortion of natural images with convolutional neural network
Liu et al. Investigation on automated visual SMD-PCB inspection based on multimodal one-class novelty detection
Tsai et al. Automatic optical inspection system for wire color sequence detection
US20210286954A1 (en) Apparatus and Method for Applying Image Encoding Recognition in Natural Language Processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination