CN117892068B - 一种倒装芯片超声信号去噪方法及装置 - Google Patents
一种倒装芯片超声信号去噪方法及装置 Download PDFInfo
- Publication number
- CN117892068B CN117892068B CN202410299305.0A CN202410299305A CN117892068B CN 117892068 B CN117892068 B CN 117892068B CN 202410299305 A CN202410299305 A CN 202410299305A CN 117892068 B CN117892068 B CN 117892068B
- Authority
- CN
- China
- Prior art keywords
- stage
- ultrasonic echo
- echo signal
- output
- flip
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000007547 defect Effects 0.000 claims abstract description 88
- 230000006870 function Effects 0.000 claims abstract description 58
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 14
- 238000013507 mapping Methods 0.000 claims description 49
- 230000006993 memory improvement Effects 0.000 claims description 25
- 230000007246 mechanism Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 14
- 230000003993 interaction Effects 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 238000013213 extrapolation Methods 0.000 claims description 4
- 238000002604 ultrasonography Methods 0.000 claims description 4
- 230000002950 deficient Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims 1
- 230000003313 weakening effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 20
- 230000000694 effects Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012804 iterative process Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004100 electronic packaging Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 229910000679 solder Inorganic materials 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Landscapes
- Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
Abstract
本发明涉及倒装芯片超声信号去噪技术领域，尤其是指一种倒装芯片超声信号去噪方法及装置，包括：获取倒装芯片的缺陷超声回波信号；构建缺陷超声回波信号的稀疏表示模型的目标函数；构建Gabor字典作为过完备字典；对近端梯度下降算法进行深度展开，构建记忆增强深度展开网络模型，求解所述缺陷超声回波信号的稀疏表示模型的目标函数中的目标稀疏系数；基于Gabor字典，利用目标稀疏系数重构倒装芯片的缺陷超声回波信号，得到去噪后的超声回波信号。本发明在很大程度上保留了原始超声回波信号的有用信息，避免对原始超声回波信号造成失真与削弱，进而提高了利用超声回波信号检测倒装芯片缺陷的准确率。
Description
技术领域
本发明涉及倒装芯片超声信号去噪技术领域，尤其是指一种倒装芯片超声信号去噪方法及装置。
背景技术
倒装焊是一种性能优越的电子封装技术，具有连线短、连接电阻小及可靠性高等优势，已经成为电子行业中不可或缺的一部分。然而，随着倒装芯片技术向焊点高密度、超细间距的方向不断发展，芯片键合处往往容易出现裂纹、空洞、缺球等微缺陷，严重影响芯片封装的可靠性，因此对倒装芯片进行检测具有重要的实际意义。
超声显微检测是电子封装领域常用的无损检测技术，其原理是利用超声波在传播过程中遇到不同声阻抗的物质时发生反射，形成回波信号，回波信号的幅值、相位与时间延迟等特性与材料的形状、密度等因素有关，因此可以通过分析超声回波信号来获取倒装芯片中的缺陷信息。但芯片微缺陷的超声检测回波易受系统噪声干扰，导致回波信号质量下降，需要通过信号处理的方式对原始的超声回波信号进行信号增强与去噪。
由于倒装芯片的内部结构中只有有限个反射界面和缺陷会产生回波信号，使得倒装芯片的超声回波信号具有良好的稀疏性，因此，可以使用稀疏表示方法对其进行降噪。深度展开方法能够结合基于模型的迭代算法的可解释性与深度学习的卓越性能，已被应用于去噪、去模糊、超分辨率重建等多个领域的逆问题。但是，采用深度展开模型对稀疏表示方法中的稀疏系数进行求解的过程中，由于深度展开模型为分阶段的模型，信息在各阶段之间传输时可能无法完整保留每个阶段捕获的所有细节和特征，导致有用信息在阶段之间的传播过程中发生丢失，限制了深度展开模型的性能，使得采用深度展开模型对倒装芯片的超声回波信号进行去噪时产生不良影响。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术中采用深度展开模型对倒装芯片的超声回波信号进行去噪会导致有用信息丢失的问题。
为解决上述技术问题，本发明提供了一种倒装芯片超声信号去噪方法，包括：
获取倒装芯片的缺陷超声回波信号；
根据倒装芯片的缺陷超声回波信号构建缺陷超声回波信号的稀疏表示模型的目标函数；
对倒装芯片的缺陷超声回波信号进行最小二乘曲线拟合，利用拟合参数构建Gabor字典作为过完备字典；
对近端梯度下降算法进行深度展开，构建记忆增强深度展开网络模型，所述记忆增强深度展开网络模型包括沿正传播方向依次串联的个阶段，每个阶段中包括梯度下降模块和近端映射模块；
将Gabor字典输入至所述记忆增强深度展开网络模型，利用所述记忆增强深度展开网络模型求解所述缺陷超声回波信号的稀疏表示模型的目标函数中的目标稀疏系数，包括：
将上一阶段的输出稀疏系数作为当前阶段的输入稀疏系数，与倒装芯片的缺陷超声回波信号一起输入至当前阶段的梯度下降模块，根据Gabor字典得到输出特征，输入至当前阶段的近端映射模块；所述近端映射模块采用相邻阶段记忆增强机制，选取上一阶段中不同层的中间特征进行整合，与当前阶段的梯度下降模块的输出特征进行邻间信息交互，得到当前阶段的近端映射模块的输入特征；近端映射模块输出当前阶段的输出稀疏系数，作为下一阶段的输入稀疏系数；经过个阶段后，输出目标稀疏系数；
基于Gabor字典，利用所述记忆增强深度展开网络模型的目标稀疏系数对倒装芯片的缺陷超声回波信号进行重构，得到去噪后的超声回波信号。
优选地，所述近端映射模块采用相邻阶段记忆增强机制，选取上一阶段中不同层的中间特征进行整合，与当前阶段的梯度下降模块的输出特征进行邻间信息交互，得到当前阶段的近端映射模块的输入特征，包括：
在第阶段中，/>，/>为总阶段数，表示总迭代次数，若/>，将第/>阶段的梯度下降模块的输出特征/>与第/>阶段的梯度下降模块的输出特征/>以及第/>阶段的近端映射模块中软阈值函数的输出特征/>进行拼接，采用/>卷积对拼接后的特征/>进行多通道融合，令拼接后的特征/>的通道数量切换至与梯度下降模块的输出特征/>的通道数量相同，得到第/>阶段的近端映射模块的输入特征/>，公式为：
；
；
其中，为沿通道维度的拼接操作，/>为卷积操作；/>为第/>阶段的梯度下降模块的输出特征，/>为第/>阶段的梯度下降模块的输出特征，/>为第/>阶段的近端映射模块中软阈值函数的输出特征，/>为拼接后的特征，/>为第/>阶段的近端映射模块的输入特征；/>为实数集合，/>、/>和/>分别为特征的通道数、宽和高。
优选地，记忆增强深度展开网络模型还包括：
在第阶段中，/>，/>为总阶段数，表示总迭代次数，若阶段数/>大于预设阶数/>，则对第/>阶段的输出稀疏系数/>采用跨阶段记忆增强机制，基于理查森外推法进行记忆回溯，再输入至第/>阶段的梯度下降模块，作为第/>阶段的梯度下降模块的输入稀疏系数，包括：
在第阶段中，若阶段数/>大于预设阶数/>，则利用前/>个阶段中每两个相邻阶段输出的稀疏系数之间的误差对第/>阶段的输出稀疏系数/>进行更新，再将更新后的稀疏系数/>输入至第/>阶段的梯度下降模块，作为第/>阶段的梯度下降模块的输入稀疏系数；
更新稀疏系数的公式为：
；
其中，为预设阶数，/>为第/>阶段的输出稀疏系数，/>为第/>阶段的输出稀疏系数，/>为第/>阶段的输出稀疏系数，/>为第/>阶段的输出稀疏系数，/>为第/>阶段的输出稀疏系数，/>为对/>更新后得到的稀疏系数。
优选地，所述预设阶数取值为3。
优选地，将上一阶段的输出稀疏系数作为当前阶段的输入稀疏系数，与倒装芯片的缺陷超声回波信号一起输入至当前阶段的梯度下降模块，根据Gabor字典得到输出特征，包括：
将第阶段的输出稀疏系数/>作为第/>阶段的梯度下降模块的输入稀疏系数，依据Gabor字典采用3×3的卷积运算提取输入稀疏系数/>与倒装芯片的缺陷超声回波信号/>的浅层特征，公式为：
；
；
；
；
其中，，/>为总阶段数，表示总迭代次数；/>为第阶段的输出稀疏系数，/>为稀疏系数/>的维度；/>为倒装芯片的缺陷超声回波信号，/>为倒装芯片的缺陷超声回波信号的长度；/>为第/>阶段的梯度下降模块的输出特征，通道数为/>；/>为Gabor字典，/>为步长，/>为卷积操作，/>为实数集合。
优选地，所述记忆增强深度展开网络模型的近端映射模块的结构包括沿正传播方向依次串联的自校准卷积、ReLU激活函数、自校准卷积、软阈值函数、自校准卷积、ReLU激活函数和自校准卷积。
优选地，所述软阈值函数的表达式为：
；
其中，为软阈值函数,/>为变量，/>为软阈值，/>为符号函数。
优选地，所述记忆增强深度展开网络模型在训练过程中，通过衡量重构的倒装芯片的超声回波信号与倒装芯片的缺陷超声回波信号/>之间的差异来训练记忆增强深度展开网络模型的网络参数，损失函数的公式为：
；
其中，为总阶段数，/>为第/>阶段输出的目标稀疏系数，/>为重构的倒装芯片的超声回波信号/>，/>为倒装芯片的缺陷超声回波信号。
优选地，所述倒装芯片的缺陷超声回波信号的表达式为：
；
其中，为倒装芯片的缺陷超声回波信号，/>为总回波个数，/>为第/>个界面的反射函数，/>为第/>个界面的反射信号，/>为噪声。
优选地，根据倒装芯片的缺陷超声回波信号构建缺陷超声回波信号的稀疏表示模型的目标函数，包括：
对所述倒装芯片的缺陷超声回波信号进行稀疏重构，得到表达式为：
；
其中，为过完备字典，/>为倒装芯片的缺陷超声回波信号，/>为倒装芯片的缺陷超声回波信号/>在过完备字典/>上的稀疏系数；
构建缺陷超声回波信号的稀疏表示模型的目标函数以求解最优稀疏系数，公式为：
；
其中，为正则化参数，/>为正则化函数。
本发明还提供了一种倒装芯片超声信号去噪装置，包括：
信号采集模块，用于获取倒装芯片的缺陷超声回波信号；
稀疏表示模型构建模块，用于根据倒装芯片的缺陷超声回波信号构建缺陷超声回波信号的稀疏表示模型的目标函数；
过完备字典构建模块，用于对倒装芯片的缺陷超声回波信号进行最小二乘曲线拟合，利用拟合参数构建Gabor字典作为过完备字典；
目标稀疏系数获取模块，用于对近端梯度下降算法进行深度展开，构建记忆增强深度展开网络模型，所述记忆增强深度展开网络模型包括沿正传播方向依次串联的个阶段，每个阶段中包括梯度下降模块和近端映射模块；将Gabor字典输入至所述记忆增强深度展开网络模型，利用所述记忆增强深度展开网络模型求解所述缺陷超声回波信号的稀疏表示模型的目标函数中的目标稀疏系数；将上一阶段的输出稀疏系数作为当前阶段的输入稀疏系数，与倒装芯片的缺陷超声回波信号一起输入至当前阶段的梯度下降模块，根据Gabor字典得到输出特征，输入至当前阶段的近端映射模块；所述近端映射模块采用相邻阶段记忆增强机制，选取上一阶段中不同层的中间特征进行整合，与当前阶段的梯度下降模块的输出特征进行邻间信息交互，得到当前阶段的近端映射模块的输入特征；近端映射模块输出当前阶段的输出稀疏系数，作为下一阶段的输入稀疏系数；经过/>个阶段后，输出目标稀疏系数；
信号去噪模块，用于基于Gabor字典，利用所述记忆增强深度展开网络模型的目标稀疏系数对倒装芯片的缺陷超声回波信号进行重构，得到去噪后的超声回波信号。
本发明的上述技术方案相比现有技术具有以下有益效果：
本发明提供的一种倒装芯片超声信号去噪方法，采用稀疏表示方法对倒装芯片的超声回波信号进行重构去噪，并将求解稀疏系数的近端梯度下降算法与深度学习相结合，利用深度展开网络将近端梯度下降算法的迭代步骤映射到网络的多个阶段中，构建记忆增强深度展开网络模型，使网络自然地继承了迭代过程的可解释性。所述记忆增强深度展开网络模型采用相邻阶段记忆增强机制，在每次迭代中，将前一迭代阶段的高通量信息引入当前迭代阶段，促进了邻间信息的传输与流动，确保信息流最大化，缓解了在相邻迭代阶段中的有用信息丢失的问题。
所述记忆增强深度展开网络模型基于理查森外推法，通过计算每两个相邻迭代阶段之间的输出误差，用于更新当前迭代阶段的输入稀疏系数，以促进不同迭代阶段的信息融合，在迭代过程中实现了跨阶段的记忆增强，避免有用信息在迭代过程中丢失。
综上所述，本发明提供的一种倒装芯片超声信号去噪方法有效提高了信号与噪声之间的信噪比，且在很大程度上保留了原始超声回波信号的有用信息，避免对原始超声回波信号造成失真与削弱，进而提高了利用超声回波信号检测倒装芯片缺陷的准确率。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中，
图1是本发明一种倒装芯片超声信号去噪方法的流程图；
图2是本发明实施例中记忆增强深度展开网络模型的结构图；
图3是本发明实施例中倒装芯片实际高频超声回波信号的去噪结果对比图；其中图3中的（a）为原始的高频超声回波信号图，图3中的（b）为小波去噪结果图，图3中的（c）为经验模态分解去噪结果图，图3中的（d）为正交匹配追踪去噪结果图，图3中的（e）为多路径匹配追踪去噪结果图，图3中的（f）为本发明去噪结果图；
图4是本发明一种倒装芯片超声信号去噪装置的结构图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
实施例一
基于稀疏表示方法，参照图1所示，本发明提供了一种倒装芯片超声信号去噪方法，包括：
S1、获取倒装芯片的缺陷超声回波信号，所述倒装芯片的缺陷超声回波信号的表达式为：
；
其中，为倒装芯片的缺陷超声回波信号，/>为总回波个数，/>为第/>个界面的反射函数，/>为第/>个界面的反射信号，/>为噪声。
S2、根据倒装芯片的缺陷超声回波信号构建缺陷超声回波信号的稀疏表示模型的目标函数。
对倒装芯片的缺陷超声回波信号进行稀疏重构，得到表达式为：
；
其中，为过完备字典，/>为倒装芯片的缺陷超声回波信号/>在过完备字典/>上的稀疏系数。
构建缺陷超声回波信号的稀疏表示模型的目标函数以求解最优稀疏系数，公式为：
；
其中，为正则化参数，/>为正则化函数。
S3、对倒装芯片的缺陷超声回波信号进行最小二乘曲线拟合，利用拟合参数构建Gabor字典作为过完备字典。
S4、采用近端梯度下降算法求解所述缺陷超声回波信号的稀疏表示模型的目标函数中的稀疏系数，并对近端梯度下降算法进行深度展开，构建记忆增强深度展开网络(Memory-Enhanced Deep Unfolding Network, MEDUN)模型。
采用近端梯度下降算法对缺陷超声回波信号的稀疏表示模型的目标函数中的稀疏系数进行迭代求解，具体公式为：
；
；
其中，第一个关于的方程执行梯度下降过程，/>为迭代次数，/>，/>为总阶段数，表示总迭代次数；/>为稀疏系数，/>为步长；第二个关于/>的方程表示近端映射，为近端算子。
将上述迭代求解的过程展开为深度网络架构，图2为本发明构建的记忆增强深度展开网络模型。所述记忆增强深度展开网络模型包括个阶段，每个阶段中包括梯度下降模块和近端映射模块。记忆增强深度展开网络模型中的每一个阶段对应近端梯度下降算法中的每一次迭代步骤，经过/>个阶段即相当于执行/>次迭代计算，因此该网络可以自然地继承迭代过程的可解释性。
为克服有用信息在迭代阶段中丢失的技术问题，在本实施例中所提供的记忆增强深度展开网络模型的近端映射模块中采用了相邻阶段记忆增强机制，将前一迭代阶段的高通量信息引入当前迭代阶段，促进了邻间信息的传输与流动，避免有用信息在相邻迭代阶段中造成丢失。
采用记忆增强深度展开网络模型求解所述缺陷超声回波信号的稀疏表示模型的目标函数中的目标稀疏系数的具体如下所示：
S401：将倒装芯片的缺陷超声回波信号和Gabor字典/>输入训练好的记忆增强深度展开网络模型，并初始化稀疏系数/>，将/>输入至第1阶段的梯度下降模块，得到输出特征/>。将输出特征/>输入至第1阶段的近端映射模块，在所述近端映射模块中经过沿正传播方向依次串联的自校准卷积、ReLU激活函数、自校准卷积、软阈值函数、自校准卷积、ReLU激活函数和自校准卷积，得到第1阶段的输出稀疏系数/>。
所述自校准卷积通过内部通信来扩大感受野，增强了近端映射模块的特征提取能力。
所述软阈值函数的表达式为：
；
其中，为软阈值函数,/>为变量，/>为软阈值，/>为符号函数。
S402：在第阶段中，有/>，将第/>阶段的输出稀疏系数/>与倒装芯片的缺陷超声回波信号/>输入至第/>阶段的梯度下降模块，依据Gabor字典采用3×3的卷积运算提取浅层特征，得到输出特征/>，公式为：
；
；
；
；
其中，，/>为迭代总次数；/>为第/>次迭代的输出稀疏系数，为稀疏系数/>的维度；/>为倒装芯片的缺陷超声回波信号，/>为倒装芯片的缺陷超声回波信号的长度；/>为第/>次迭代梯度下降模块的输出特征，通道数为/>；/>为Gabor字典，/>为步长，/>为卷积操作，/>为实数集合。
所述梯度下降模块为多通道梯度下降模块，输出特征具有/>个通道。将梯度下降模块由单通道扩展为多通道提高了记忆增强深度展开网络模型的鲁棒性，增强了记忆增强深度展开网络模型对特征数据的表达能力。
优选地，可以采用跨阶段记忆增强机制对第阶段输出的稀疏系数进行优化更新后作为第/>阶段的梯度下降模块的输入，即步骤S402前还可以包括：
若当前阶段数大于预设阶数/>，则对第/>阶段的输出稀疏系数/>采用跨阶段记忆增强机制，基于理查森外推法进行记忆回溯，再输入至第/>阶段的梯度下降模块，具体操作如下所示：
在第阶段中，若当前阶段数/>大于预设阶数/>，则利用前/>个阶段中每两个相邻阶段输出的稀疏系数之间的误差对第/>阶段的输出稀疏系数/>进行更新，再将更新后的稀疏系数/>输入至第/>阶段的梯度下降模块，公式为：
；
其中，为预设阶数，表示在计算新的逼近值时所使用的之前逼近解的数量；/>为第/>阶段的输出稀疏系数，/>为第/>阶段的输出稀疏系数，/>为第/>阶段的输出稀疏系数，/>为第/>阶段的输出稀疏系数，/>为第/>阶段的输出稀疏系数，/>为对/>更新后得到的稀疏系数。
通过计算每两个相邻阶段输出的稀疏系数之间的误差对当前阶段的稀疏系数进行更新，实现了模型中不同阶段的信息融合，有效避免了有用信息在迭代过程中丢失。
优选地，为权衡精度和计算成本，本实施例将预设阶数设置为3。因此，在第4阶段及之后的阶段中采用跨阶段记忆增强机制对梯度下降模块的输入稀疏系数进行更新，更新后的输入稀疏系数融合了前3个阶段累计的信息。
S403：将第阶段的梯度下降模块的输出特征/>输入至第/>阶段的近端映射模块，所述近端映射模块采用相邻阶段记忆增强机制，选取上一阶段中不同层的中间特征进行整合，与第/>阶段的梯度下降模块的输出特征进行邻间信息交互。
所述相邻阶段记忆增强机制可以缓解有用信息在相邻迭代阶段中丢失的问题。所述相邻阶段记忆增强机制具体包括：
在第阶段中，将梯度下降模块的输出特征/>与第/>阶段的梯度下降模块的输出特征/>以及第/>阶段的近端映射模块中软阈值函数的输出特征/>进行拼接，采用/>卷积对拼接后的特征/>进行多通道融合，令拼接后的特征/>的通道数量切换为与输出特征/>的通道数量相同，得到第/>阶段的近端映射模块的输入特征/>，公式为：
；
；
其中，为沿通道维度的拼接操作，/>为卷积操作；/>为第/>阶段的梯度下降模块的输出特征，/>为第/>阶段的梯度下降模块的输出特征，为第/>阶段的近端映射模块中软阈值函数的输出特征，/>为拼接后的特征，/>为第/>阶段的近端映射模块的输入特征；/>为实数集合，/>、和/>分别为特征的通道数、宽和高。
S5、基于Gabor字典，利用所述记忆增强深度展开网络模型的目标稀疏系数对倒装芯片的缺陷超声回波信号进行重构，得到去噪后的超声回波信号。
由于第阶段输出的目标稀疏系数/>的通道数为/>，因此需要经过卷积层将/>的通道数转换为1，再对倒装芯片的缺陷超声回波信号进行重构。利用Gabor字典和目标稀疏系数/>重构倒装芯片的缺陷超声回波信号的公式为：
；
其中，为重构的倒装芯片的缺陷超声回波信号，即去噪后的超声回波信号。
优选地，本实施例采用反向传播对记忆增强深度展开网络模型进行网络训练，在训练过程中，通过衡量重构的倒装芯片的缺陷超声回波信号与原始的倒装芯片的缺陷超声回波信号/>之间的差异来训练记忆增强深度展开网络模型的网络参数，损失函数的公式为：
；
其中，为总阶段数，/>为第/>阶段输出的目标稀疏系数，/>为重构的倒装芯片的缺陷超声回波信号/>，/>为原始的倒装芯片的缺陷超声回波信号。
为验证本发明提出的倒装芯片超声信号去噪方法，本实施例将所述记忆增强深度展开网络(MEDUN)模型应用于倒装芯片焊球的仿真信号与实际信号的稀疏重构，与小波去噪、经验模态分解(Empirical Mode Decomposition, EMD)、正交匹配追踪(OrthogonalMatching Pursuit, OMP)、分段弱正交匹配追踪(Stagewise Weak Orthogonal MatchingPursuit, SWOMP)、多路径匹配追踪(Multipath Matching Pursuit, MMP)等去噪方法进行了对比。
以信噪比作为评价指标，倒装芯片的仿真超声回波信号的去噪结果如表1所示。
表1、信噪比结果汇总表
| 噪声标准差 | 小波 | EMD | OMP | SWOMP | MMP | MEDUN |
| 5 | 15.11 | 3.74 | 15.89 | 15.89 | 15.89 | 22.02 |
| 10 | 12.56 | 15.15 | 15.88 | 15.88 | 15.88 | 21.51 |
| 15 | 10.06 | 12.68 | 15.28 | 14.32 | 15.28 | 19.04 |
| 20 | 9.47 | 10.65 | 15.07 | 12.67 | 15.07 | 18.93 |
| 25 | 8.74 | 10.55 | 13.23 | 13.57 | 13.23 | 18.14 |
| 30 | 6.92 | 7.62 | 11.94 | 8.06 | 11.94 | 16.44 |
| 35 | 6.43 | 6.82 | 12.04 | 9.88 | 12.04 | 15.08 |
| 40 | 5.50 | 6.11 | 11.60 | 12.20 | 11.60 | 14.4 |
| 45 | 3.39 | 6.81 | 9.62 | 7.10 | 9.62 | 12.98 |
从表1可以看出，小波去噪和EMD去噪的总体效果较差；OMP去噪和MMP去噪的结果基本一致，SWOMP去噪在低噪声水平下的去噪效果和OMP、MMP大致相当，但随着噪声增加，OMP去噪、SWOMP去噪和MMP去噪的去噪效果均逐渐降低，在高噪声水平下的去噪效果较差。相比之下，本发明所构建的记忆增强深度展开网络模型在任何噪声水平下的去噪效果都显著优于其他方法，拥有出色的抗噪能力。
对倒装芯片实际高频超声回波信号的去噪结果参照图3所示，其中图3中的（a）为原始的高频超声回波信号图，图3中的（b）为小波去噪结果图，图3中的（c）为经验模态分解去噪结果图，图3中的（d）为正交匹配追踪去噪结果图，图3中的（e）为多路径匹配追踪去噪结果图，图3中的（f）为本发明去噪结果图。可以看出，小波去噪和EMD去噪的重构结果严重失真，且伴有明显的幅值降低问题；OMP去噪和MMP去噪效果相近，能够恢复大部分回波信号，但依然存在部分回波信号丢失的问题；本发明所述方法能够在去噪同时准确重构出幅值较低的微弱回波特征，从而实现对细节信息的有效恢复，缓解了有用信息在去噪过程中丢失的问题。
综上所述，本发明利用深度展开网络将近端梯度下降算法的迭代步骤映射到网络的多个阶段中，使构建的记忆增强深度展开网络模型自然地继承了迭代过程的可解释性。本发明构建的记忆增强深度展开网络模型采用相邻阶段记忆增强机制，将前一迭代阶段的高通量信息引入当前迭代阶段，促进了邻间信息的传输与流动，确保信息流最大化，缓解了在相邻迭代阶段中有用信息丢失的问题；采用跨阶段记忆增强机制进一步促进了不同迭代阶段的信息融合，在迭代过程中实现了跨阶段的记忆增强，避免有用信息在迭代过程中丢失。本实施例通过仿真信号验证了所述倒装芯片超声信号去噪方法相比现有的去噪方法拥有较高的信噪比，说明本发明方法去噪效果更好；通过实际信号验证了所述倒装芯片超声信号去噪方法可以在去除超声回波信号噪声的同时，有效挖掘微弱的回波特征，实现了优越的去噪性能。
实施例二
参照图4所示，基于实施例一所提供的倒装芯片超声信号去噪方法，本实施例提供了一种倒装芯片超声信号去噪装置，包括：
信号采集模块，用于获取倒装芯片的缺陷超声回波信号；
稀疏表示模型构建模块，用于根据倒装芯片的缺陷超声回波信号构建缺陷超声回波信号的稀疏表示模型的目标函数；
过完备字典构建模块，用于对倒装芯片的缺陷超声回波信号进行最小二乘曲线拟合，利用拟合参数构建Gabor字典作为过完备字典；
目标稀疏系数获取模块，用于对近端梯度下降算法进行深度展开，构建记忆增强深度展开网络模型，所述记忆增强深度展开网络模型包括沿正传播方向依次串联的个阶段，每个阶段中包括梯度下降模块和近端映射模块；将Gabor字典输入至所述记忆增强深度展开网络模型，利用所述记忆增强深度展开网络模型求解所述缺陷超声回波信号的稀疏表示模型的目标函数中的目标稀疏系数；将上一阶段的输出稀疏系数作为当前阶段的输入稀疏系数，与倒装芯片的缺陷超声回波信号一起输入至当前阶段的梯度下降模块，根据Gabor字典得到输出特征，输入至当前阶段的近端映射模块；所述近端映射模块采用相邻阶段记忆增强机制，选取上一阶段中不同层的中间特征进行整合，与当前阶段的梯度下降模块的输出特征进行邻间信息交互，得到当前阶段的近端映射模块的输入特征；近端映射模块输出当前阶段的输出稀疏系数，作为下一阶段的输入稀疏系数；经过/>个阶段后，输出目标稀疏系数；
信号去噪模块，用于基于Gabor字典，利用所述记忆增强深度展开网络模型的目标稀疏系数对倒装芯片的缺陷超声回波信号进行重构，得到去噪后的超声回波信号。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (11)
1.一种倒装芯片超声信号去噪方法，其特征在于，包括：
获取倒装芯片的缺陷超声回波信号；
根据倒装芯片的缺陷超声回波信号构建缺陷超声回波信号的稀疏表示模型的目标函数；
对倒装芯片的缺陷超声回波信号进行最小二乘曲线拟合，利用拟合参数构建Gabor字典作为过完备字典；
对近端梯度下降算法进行深度展开，构建记忆增强深度展开网络模型，所述记忆增强深度展开网络模型包括沿正传播方向依次串联的个阶段，每个阶段中包括梯度下降模块和近端映射模块；
将Gabor字典输入至所述记忆增强深度展开网络模型，利用所述记忆增强深度展开网络模型求解所述缺陷超声回波信号的稀疏表示模型的目标函数中的目标稀疏系数，包括：
将上一阶段的输出稀疏系数作为当前阶段的输入稀疏系数，与倒装芯片的缺陷超声回波信号一起输入至当前阶段的梯度下降模块，根据Gabor字典得到输出特征，输入至当前阶段的近端映射模块；所述近端映射模块采用相邻阶段记忆增强机制，选取上一阶段中不同层的中间特征进行整合，与当前阶段的梯度下降模块的输出特征进行邻间信息交互，得到当前阶段的近端映射模块的输入特征；近端映射模块输出当前阶段的输出稀疏系数，作为下一阶段的输入稀疏系数；经过个阶段后，输出目标稀疏系数；
基于Gabor字典，利用所述记忆增强深度展开网络模型的目标稀疏系数对倒装芯片的缺陷超声回波信号进行重构，得到去噪后的超声回波信号。
2.根据权利要求1所述的一种倒装芯片超声信号去噪方法，其特征在于，所述近端映射模块采用相邻阶段记忆增强机制，选取上一阶段中不同层的中间特征进行整合，与当前阶段的梯度下降模块的输出特征进行邻间信息交互，得到当前阶段的近端映射模块的输入特征，包括：
在第阶段中,/>，/>为总阶段数，表示总迭代次数，若/>，将第/>阶段的梯度下降模块的输出特征/>与第/>阶段的梯度下降模块的输出特征/>以及第阶段的近端映射模块中软阈值函数的输出特征/>进行拼接，采用/>卷积对拼接后的特征/>进行多通道融合，令拼接后的特征/>的通道数量切换至与梯度下降模块的输出特征/>的通道数量相同，得到第/>阶段的近端映射模块的输入特征/>，公式为：
；
；
其中，为沿通道维度的拼接操作，/>为卷积操作；/>为第阶段的梯度下降模块的输出特征，/>为第/>阶段的梯度下降模块的输出特征，/>为第/>阶段的近端映射模块中软阈值函数的输出特征，为拼接后的特征，/>为第/>阶段的近端映射模块的输入特征；/>为实数集合，/>、/>和/>分别为特征的通道数、宽和高。
3.根据权利要求1所述的一种倒装芯片超声信号去噪方法，其特征在于，记忆增强深度展开网络模型还包括：
在第阶段中，/>，/>为总阶段数，表示总迭代次数，若阶段数/>大于预设阶数/>，则对第/>阶段的输出稀疏系数/>采用跨阶段记忆增强机制，基于理查森外推法进行记忆回溯，再输入至第/>阶段的梯度下降模块，作为第/>阶段的梯度下降模块的输入稀疏系数，包括：
在第阶段中，若阶段数/>大于预设阶数/>，则利用前/>个阶段中每两个相邻阶段输出的稀疏系数之间的误差对第/>阶段的输出稀疏系数/>进行更新，再将更新后的稀疏系数/>输入至第/>阶段的梯度下降模块，作为第/>阶段的梯度下降模块的输入稀疏系数；
更新稀疏系数的公式为：
；
其中，为预设阶数，/>为第/>阶段的输出稀疏系数，/>为第/>阶段的输出稀疏系数，/>为第/>阶段的输出稀疏系数，/>为第/>阶段的输出稀疏系数，/>为第/>阶段的输出稀疏系数，/>为对/>更新后得到的稀疏系数。
4.根据权利要求3所述的一种倒装芯片超声信号去噪方法，其特征在于，所述预设阶数取值为3。
5.根据权利要求1所述的一种倒装芯片超声信号去噪方法，其特征在于，将上一阶段的输出稀疏系数作为当前阶段的输入稀疏系数，与倒装芯片的缺陷超声回波信号一起输入至当前阶段的梯度下降模块，根据Gabor字典得到输出特征，包括：
将第阶段的输出稀疏系数/>作为第/>阶段的梯度下降模块的输入稀疏系数，依据Gabor字典采用3×3的卷积运算提取输入稀疏系数/>与倒装芯片的缺陷超声回波信号/>的浅层特征，公式为：/>；
；
；
；
其中，，/>为总阶段数，表示总迭代次数；/>为第/>阶段的输出稀疏系数，/>为稀疏系数/>的维度；/>为倒装芯片的缺陷超声回波信号，/>为倒装芯片的缺陷超声回波信号的长度；/>为第/>阶段的梯度下降模块的输出特征，通道数为/>；/>为Gabor字典，/>为步长，/>为卷积操作，/>为实数集合。
6.根据权利要求1所述的一种倒装芯片超声信号去噪方法，其特征在于，所述记忆增强深度展开网络模型的近端映射模块的结构包括沿正传播方向依次串联的自校准卷积、ReLU激活函数、自校准卷积、软阈值函数、自校准卷积、ReLU激活函数和自校准卷积。
7.根据权利要求6所述的一种倒装芯片超声信号去噪方法，其特征在于，所述软阈值函数的表达式为：
；
其中，为软阈值函数，/>为变量，/>为软阈值，/>为符号函数。
8.根据权利要求1所述的一种倒装芯片超声信号去噪方法，其特征在于，所述记忆增强深度展开网络模型在训练过程中，通过衡量重构的倒装芯片的超声回波信号与倒装芯片的缺陷超声回波信号/>之间的差异来训练记忆增强深度展开网络模型的网络参数，损失函数的公式为：
；
其中，为总阶段数，/>为第/>阶段输出的目标稀疏系数，/>为重构的倒装芯片的超声回波信号/>，/>为倒装芯片的缺陷超声回波信号。
9.根据权利要求1所述的一种倒装芯片超声信号去噪方法，其特征在于，所述倒装芯片的缺陷超声回波信号的表达式为：
；
其中，为倒装芯片的缺陷超声回波信号，/>为总回波个数，/>为第/>个界面的反射函数，为第/>个界面的反射信号，/>为噪声。
10.根据权利要求1所述的一种倒装芯片超声信号去噪方法，其特征在于，根据倒装芯片的缺陷超声回波信号构建缺陷超声回波信号的稀疏表示模型的目标函数，包括：
对所述倒装芯片的缺陷超声回波信号进行稀疏重构，得到表达式为：
；
其中，为过完备字典，/>为倒装芯片的缺陷超声回波信号，/>为倒装芯片的缺陷超声回波信号/>在过完备字典/>上的稀疏系数；
构建缺陷超声回波信号的稀疏表示模型的目标函数以求解最优稀疏系数，公式为：
；
其中，为正则化参数，/>为正则化函数。
11.一种倒装芯片超声信号去噪装置，其特征在于，包括：
信号采集模块，用于获取倒装芯片的缺陷超声回波信号；
稀疏表示模型构建模块，用于根据倒装芯片的缺陷超声回波信号构建缺陷超声回波信号的稀疏表示模型的目标函数；
过完备字典构建模块，用于对倒装芯片的缺陷超声回波信号进行最小二乘曲线拟合，利用拟合参数构建Gabor字典作为过完备字典；
目标稀疏系数获取模块，用于对近端梯度下降算法进行深度展开，构建记忆增强深度展开网络模型，所述记忆增强深度展开网络模型包括沿正传播方向依次串联的个阶段，每个阶段中包括梯度下降模块和近端映射模块；将Gabor字典输入至所述记忆增强深度展开网络模型，利用所述记忆增强深度展开网络模型求解所述缺陷超声回波信号的稀疏表示模型的目标函数中的目标稀疏系数；将上一阶段的输出稀疏系数作为当前阶段的输入稀疏系数，与倒装芯片的缺陷超声回波信号一起输入至当前阶段的梯度下降模块，根据Gabor字典得到输出特征，输入至当前阶段的近端映射模块；所述近端映射模块采用相邻阶段记忆增强机制，选取上一阶段中不同层的中间特征进行整合，与当前阶段的梯度下降模块的输出特征进行邻间信息交互，得到当前阶段的近端映射模块的输入特征；近端映射模块输出当前阶段的输出稀疏系数，作为下一阶段的输入稀疏系数；经过/>个阶段后，输出目标稀疏系数；
信号去噪模块，用于基于Gabor字典，利用所述记忆增强深度展开网络模型的目标稀疏系数对倒装芯片的缺陷超声回波信号进行重构，得到去噪后的超声回波信号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410299305.0A CN117892068B (zh) | 2024-03-15 | 2024-03-15 | 一种倒装芯片超声信号去噪方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410299305.0A CN117892068B (zh) | 2024-03-15 | 2024-03-15 | 一种倒装芯片超声信号去噪方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117892068A CN117892068A (zh) | 2024-04-16 |
| CN117892068B true CN117892068B (zh) | 2024-06-07 |
Family
ID=90641587
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410299305.0A Active CN117892068B (zh) | 2024-03-15 | 2024-03-15 | 一种倒装芯片超声信号去噪方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117892068B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112084982A (zh) * | 2020-09-15 | 2020-12-15 | 浙江树人学院（浙江树人大学） | 一种基于噪声模型的双层管柱脉冲涡流数据去噪方法 |
| CN113449683A (zh) * | 2021-07-15 | 2021-09-28 | 江南大学 | 基于k-svd训练局部字典的高频超声稀疏去噪方法及系统 |
| CN114970602A (zh) * | 2022-04-13 | 2022-08-30 | 浙大宁波理工学院 | 基于改进的经验模态分解与小波阀值函数的信号去噪方法与系统 |
| CN117192548A (zh) * | 2023-08-28 | 2023-12-08 | 西安电子科技大学 | 基于深度展开的稀疏isar高分辨成像方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112907449B (zh) * | 2021-02-22 | 2023-06-09 | 西南大学 | 一种基于深度卷积稀疏编码的图像超分辨率重建方法 |
| CN113674172B (zh) * | 2021-08-17 | 2023-11-28 | 上海交通大学 | 一种图像处理方法、系统、装置及存储介质 |
-
2024
- 2024-03-15 CN CN202410299305.0A patent/CN117892068B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112084982A (zh) * | 2020-09-15 | 2020-12-15 | 浙江树人学院（浙江树人大学） | 一种基于噪声模型的双层管柱脉冲涡流数据去噪方法 |
| CN113449683A (zh) * | 2021-07-15 | 2021-09-28 | 江南大学 | 基于k-svd训练局部字典的高频超声稀疏去噪方法及系统 |
| CN114970602A (zh) * | 2022-04-13 | 2022-08-30 | 浙大宁波理工学院 | 基于改进的经验模态分解与小波阀值函数的信号去噪方法与系统 |
| CN117192548A (zh) * | 2023-08-28 | 2023-12-08 | 西安电子科技大学 | 基于深度展开的稀疏isar高分辨成像方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117892068A (zh) | 2024-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111325751B (zh) | 基于注意力卷积神经网络的ct图像分割系统 | |
| CN110930347B (zh) | 卷积神经网络的训练方法、焊点缺陷的检测方法及装置 | |
| CN112861729B (zh) | 一种基于伪深度图引导的实时深度补全方法 | |
| CN109858408B (zh) | 一种基于自编码器的超声信号处理方法 | |
| CN109557429A (zh) | 基于改进小波阈值去噪的gis局部放电故障检测方法 | |
| CN114429151A (zh) | 一种基于深度残差网络的大地电磁信号识别与重建方法及其系统 | |
| CN110807428B (zh) | 煤类样品的识别方法、装置、服务器及存储介质 | |
| CN111667444A (zh) | 一种基于多通道残差网络的图像压缩感知重建方法 | |
| CN107977949A (zh) | 一种基于投影字典对学习的医学图像融合质量改善的方法 | |
| CN115236206B (zh) | 基于多路径匹配追踪算法改进的高频超声去噪方法及系统 | |
| CN115187689A (zh) | 基于Swin-Transformer正则化的PET图像重建方法 | |
| CN114660656A (zh) | 一种地震数据初至拾取方法及系统 | |
| CN114998160A (zh) | 一种并行多尺度特征融合的卷积神经网络去噪方法 | |
| CN117892068B (zh) | 一种倒装芯片超声信号去噪方法及装置 | |
| CN116468103A (zh) | 一种肺结节良恶性识别模型训练方法、应用方法和系统 | |
| CN106290412A (zh) | 一种基于空间域相位校正的孔隙成像方法及装置 | |
| Geyer et al. | Deep-learning-based radiointerferometric imaging with GAN-aided training | |
| CN106338769A (zh) | 地震数据去噪方法及系统 | |
| CN111766624B (zh) | 一种地震数据拓频处理方法、装置、储存介质及电子设备 | |
| US8181146B1 (en) | Equivalence checker | |
| CN114387207B (zh) | 基于自注意力机制与双重领域自适应的轮胎瑕疵检测方法及模型 | |
| CN113589386B (zh) | 一种基于对比函数的块状声波阻抗反演方法、装置及设备 | |
| CN109614937A (zh) | 一种基于组稀疏性的小波域信号增强方法 | |
| CN116719085B (zh) | 一种地震记录高分辨率处理方法、装置、设备及存储介质 | |
| CN110687491B (zh) | 心磁系统的探测性能评估设备/方法、介质及处理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |