CN117390568B - 基于增强Transformer模型的芯片封装丝网印刷机的异常检测方法 - Google Patents

基于增强Transformer模型的芯片封装丝网印刷机的异常检测方法 Download PDF

Info

Publication number
CN117390568B
CN117390568B CN202311684815.1A CN202311684815A CN117390568B CN 117390568 B CN117390568 B CN 117390568B CN 202311684815 A CN202311684815 A CN 202311684815A CN 117390568 B CN117390568 B CN 117390568B
Authority
CN
China
Prior art keywords
information
splicing
time
frequency
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311684815.1A
Other languages
English (en)
Other versions
CN117390568A (zh
Inventor
于瑞云
陈铭达
李耒
李婧萌
Original Assignee
东北大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 东北大学 filed Critical 东北大学
Priority to CN202311684815.1A priority Critical patent/CN117390568B/zh
Publication of CN117390568A publication Critical patent/CN117390568A/zh
Application granted granted Critical
Publication of CN117390568B publication Critical patent/CN117390568B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01LMEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2433Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning

Abstract

本发明公开一种基于增强Transformer模型的芯片封装丝网印刷机的异常检测方法,涉及基于时序深度学习的工业数据异常检测领域。获取印刷机传感器数据集;对印刷机传感器数据集进行预处理及数据集划分;构建频域注意力机制模块;构建双阶段Transformer异常检测模型;使用训练集对双阶段Transformer异常检测模型进行训练,得到训练完成的双阶段Transformer异常检测模型;利用双阶段Transformer异常检测模型对验证集进行检测,得到压力异常检测结果。本发明利用二阶段Transformer和频域注意力机制能够准确而全面地检测异常,提高了检测性能;通过二阶段检测和频域信息的综合利用,能够更准确地识别轻微异常,降低了误报率;无需大量标记数据,可以无监督地进行异常检测,节省了人力和时间成本。

Description

基于增强Transformer模型的芯片封装丝网印刷机的异常检 测方法
技术领域
本发明涉及基于时序深度学习的工业数据异常检测领域,尤其涉及基于增强Transformer模型的芯片封装丝网印刷机的异常检测方法。
背景技术
芯片陶瓷封装作为芯片生产的重要环节,被用于保护和连接集成电路芯片。它在半导体工业中扮演着重要的角色,确保芯片的稳定性、可靠性和性能。芯片陶瓷封装产线由多个设备和工序组成,例如贴片机、焊接机、测试设备等。这些设备在封装过程中协同工作,确保芯片封装的质量和效率。然而,由于设备的长时间运行、机械磨损、工艺变化等原因,设备异常情况可能会发生。这些异常情况可能导致生产线的停机、生产效率下降以及产品质量问题。因此急需实现实时且准确、高效的芯片陶瓷封装产线异常检测,及时发现和诊断设备运行中的异常情况,以确保芯片生产的稳定性和产品质量。
随着工业领域数字化与智能化转型,芯片陶瓷封装生产大量的时间序列传感器数据,为时序异常检测学习提供研究与实现的基础。无监督时序异常检测学习主要分两类:1)基于聚类和统计的时序异常检测,该方法需要生产数据具有很强的统计学分布性,对离散数据或无规律的数据效果差。2)基于生成式的时序异常检测,该方法旨在学习时间序列的深层特征与正常模式从而重构出原始时间序列,在处理异常时间序列时会基于正常模式重构,因此该情况下,原始时间序列与重构时间序列会有一定差别从而检测出该时序异常,该方法不要求数据有很强的统计学分布性,但该类方法处理轻微异常时难度较高,效果较差。
发明内容
针对现有技术的不足,本发明提出一种基于增强Transformer模型的芯片封装丝网印刷机的异常检测方法,可处理具有较弱统计学分布性的数据,且可检测出轻微异常,从而提高生产线的稳定性和可靠性,减少停机时间和生产成本,提高产品质量。
基于增强Transformer模型的芯片封装丝网印刷机的异常检测方法,包括如下步骤:
步骤1:从陶瓷封装产线中的若干个芯片封装印刷机中获取若干条压力传感器数据样本,进而得到印刷机传感器数据集;所述压力传感器数据样本为一个时间序列,表示一个芯片封装丝网印刷机一段时间内所采集的数据,压力传感器数据样本中的数据字段包括数据采集时间、实时压力、期望压力、印刷机序号、设备名称。
步骤2:对印刷机传感器数据集进行预处理及数据集划分,得到训练集和验证集:
所述预处理及数据集划分的方法具体为:采用滑动窗口将印刷机传感器数据集分为多个时间片,将所有时间片按照设定比例划分为训练集和验证集并在验证集中随机选择若干个时间片,在选择的时间片中随机加入不同数量不等长的波动,并将该时间片标记为异常时间片。
进一步地,在验证集中随机加入的波动的数量在设定范围内。
步骤3:构建频域注意力机制模块。
所述频域注意力机制模块包括频域分解模块、位置编码模块、编码器和动态权重分配模块。
所述频域分解模块用于对输入的时间序列进行离散小波变换,表示时间序列 的序号,将每个时间序列分解为表示时序整体趋势的低频信息和表示时序细节特征的高频 信息,得到不同频率的频域信息为第个频率的频域信息,为频率的序号,为不同频率的频域信息的集合,然后将每个频率的频域信息 恢复成该频率下的时域信息,然后将不同频率下的时域信息在向量的第一维进行数据 拼接得到时域拼接信息并发送给位置编码模块和动态权重分配模块。
所述离散小波变换的方法为:
(1)
表示第个时间序列,表示时间序列的序号;表示小波变换最高频率的 频域信息,表示时间;表示小波变换在第个频率下的频域信息;为设定的频 率数量;表示在第个频率下第k个时序段的离散小波系数;为时间段数量;为第0 个频率下第k个时序段的离散小波系数;为第个频率下第k个时序段的低通滤波器;为第0个频率下第k个时序段的高通滤波器;Wavedec表示频域分解函数。
所述时域信息为:
(2)
其中,Waverec表示将该频率频域信息还原成时域信息的函数。
所述时域拼接信息为:
(3)
其中,Concat为向量拼接。
所述位置编码模块用于接收频域分解模块发送的时域拼接信息并对其添加位 置编码得到携带位置信息的时域拼接信息并发送给编码器。
所述编码器用于接收位置编码模块发送的携带位置信息的时域拼接信息,从携 带位置信息的时域拼接信息中提取不同频率下的深层信息并将其发送给动态权重分 配模块。
所述深层信息为:
(4)
其中,表示编码器;为第个频率下的携带位置信息的时域拼接信息。
所述动态权重分配模块采用多层感知结构,用于接收编码器发送的深层信息和 频域分解模块发送的时域拼接信息,采用线性神经网络层处理深层信息得到第一阶段 隐藏信息,其次将时域拼接信息的第二个维度转换到最后一个维度后通过线性神经网 络层处理得到第二阶段隐藏信息,将相加后采取双曲正切函数Tanh变换并再次通 过线性神经网络层处理得到第三阶段隐藏信息和权重系数,最后利用Softmax函数将 不同频率上权重系数与该频率上的时域拼接信息相乘后拼接得到频域注意力机制的 频率增强信息F;
所述第一阶段隐藏信息为:
(5)
其中,linear为线性神经网络变换。
所述第二阶段隐藏信息为:
(6)
其中,permute为向量维度变换;表示将数据的第二个维度转到第四个维度。
所述第三阶段隐藏信息为:
(7)
其中,Tanh表示双曲正切函数;是基于深层信息与时域拼接信息计算得到 的中间参数;是需要学习的参数。
所述权重系数为:
(8)
其中,是权重系数,用于衡量第个频率的重要性。
所述频率增强信息为:
(9)
其中,Concat为向量拼接。
步骤4:构建双阶段Transformer异常检测模型。
所述双阶段Transformer异常检测模型的两阶段分别为异常预选择器和异常放大器。
所述异常预选择器包括第一频域注意力机制模块、第二频域注意力机制模块、第一拼接编码模块,第二拼接编码模块、第一编码器、第一解码器和第一异常分数计算模块。
所述第一频域注意力机制模块接收输入的时间序列表示时间序列的序号,通 过频域注意力机制产生第一频率增强信息并发送给第一拼接编码模块。
所述第一拼接编码模块用于接收输入的第一异常分数、时间序列和第一频 域注意力机制模块发送的第一频率增强信息;将第一异常分数、时间序列和第一频 率增强信息在向量的第一维度进行数据拼接得到第一拼接信息,然后对其添加位置编 码,得到携带位置信息的第一拼接信息并发送给第一编码器;所述第一异常分数为零向 量。
所述第一编码器用于接收第一拼接编码模块发送的带位置信息的第一拼接信息,对其进行编码得到第一时间编码信息并发送给第一解码器。
所述第二频域注意力机制模块接收输入的时间序列,通过频域注意力机制产生 第二频率增强信息并发送给第二拼接编码模块。
所述第二拼接编码模块用于接收输入的第一异常分数、时间序列和第二频 域注意力机制模块发送的第二频率增强信息;将第一异常分数、时间序列和第二频 率增强信息 在向量的第一维度进行数据拼接得到第二拼接信息,然后对其添加位置编 码,得到携带位置信息的第二拼接信息并发送给第一解码器。
所述第一解码器用于接收第一编码器发送的第一时间编码信息和第二拼接编码模块发送的携带位置信息的第二拼接信息,利用交叉注意力得到重构时间序列并发送给第一异常分数计算模块。
所述第一异常分数计算模块接收输入的时间序列和重构时间序列/>,计算得到第二异常分数/>
所述第二异常分数为:
(10)
其中,为输入的时间序列;/>为第二异常分数,作为第一阶段表达异常的结果度量。
所述异常放大器包括第三频域注意力机制模块、第四频域注意力机制模块、第三拼接编码模块,第四拼接编码模块、第二编码器、第二解码器和第二异常分数计算模块。
所述第三频域注意力机制模块接收输入的时间序列,通过频域注意力机制产生 第三频率增强信息并发送给第三拼接编码模块。
所述第三拼接编码模块用于接收输入的第二异常分数、时间序列和第三频 域注意力机制模块发送的第三频率增强信息;将第二异常分数、时间序列和第三频 率增强信息在向量的第一维度进行数据拼接得到第三拼接信息,然后对其添加位置编 码,得到携带位置信息的第三拼接信息并发送给第二编码器。
所述第二编码器用于接收第三拼接编码模块发送的携带位置信息的第三拼接信息,对其进行编码得到第二时间编码信息并发送给第二解码器。
所述第四频域注意力机制模块接收输入的时间序列,通过频域注意力机制产生 第四频率增强信息并发送给第四拼接编码模块。
所述第四拼接编码模块用于接收输入的第二异常分数、时间序列和第四频 域注意力机制模块发送的第四频率增强信息;将第二异常分数、时间序列和第四频 率增强信息在向量的第一维度进行数据拼接得到第四拼接信息,然后对其添加位置编 码,得到携带位置信息的第四拼接信息并发送给第二解码器。
所述第二解码器用于接收第二编码器发送的第二时间编码信息和第四拼接编码模块发送的携带位置信息的第四拼接信息利用交叉注意力得到重构时间序列并发送给第二异常分数计算模块。
所述第二异常分数计算模块接收输入的时间序列和重构时间序列/>,计算得到最终的异常分数。
步骤5:使用训练集对双阶段Transformer异常检测模型进行训练,直至极大极小值损失函数达到最小值,得到训练完成的双阶段Transformer异常检测模型。
所述双阶段Transformer异常检测模型在训练过程中,第一阶段异常预选择器计 算得到的损失函数为:
(11)
所述双阶段Transformer异常检测模型在训练过程中,第二阶段异常放大器计算得到的极大极小值损失函数为:
(14)
(15)
(16)
其中,为极大值损失函数;为极小值损失函数;为当前迭代次数,为总迭 代次数,为控制系数且0<<1,其可影响训练参数变化速率。
步骤6:利用双阶段Transformer异常检测模型对印刷机传感器数据集中验证集进行检测,得到压力异常检测结果。
步骤6.1:将验证集作为时间序列分别输入第一频域注意力机制模块和第二频 域注意力机制模块,表示时间序列的序号,并分别得到第一频率增强信息和第二频率增 强信息
步骤6.2:获取第一异常分数;所述第一异常分数为零向量。
步骤6.3:将第一异常分数、时间序列和第一频率增强信息输入第一拼接 编码模块,得到携带位置信息的第一拼接信息;将第一异常分数、时间序列和第二频 率增强信息输入第二拼接编码模块,得到携带位置信息的第二拼接信息。
步骤6.4:将第一拼接信息输入第一编码器,得到第一时间编码信息。
步骤6.5:将第一时间编码信息和第二拼接信息输入第一解码器,得到第一阶段的 重构时间序列
步骤6.6:利用第一阶段的重构时间序列与时间序列计算MSE误差,得到第二 异常分数
步骤6.7:将时间序列分别输入第三频域注意力机制模块和第四频域注意力机 制模块,并分别得到第三频率增强信息和第四频率增强信息
步骤6.8:将第二异常分数、时间序列和第三频率增强信息输入第三拼接 编码模块,得到携带位置信息的第三拼接信息;将第二异常分数、时间序列和第四频 率增强信息输入第四拼接编码模块,得到携带位置信息的第四拼接信息。
步骤6.9:将第三拼接信息输入第二编码器,得到第二时间编码信息。
步骤6.10:将第二时间编码信息和第四拼接信息输入第二解码器,得到第二阶段 的重构时间序列
步骤6.11:利用第二阶段的重构时间序列与时间序列计算MSE误差,得到第 三最终异常分数。
步骤6.12:判断最终异常分数是否大于设定阈值,大于等于则判定输入的时间序列中包含异常,小于则判定输入的时间序列正常。
与现有技术相比较,本发明的有益效果为:
本发明利用二阶段Transformer和频域注意力机制能够准确而全面地检测异常,提高了检测性能;通过二阶段检测和频域信息的综合利用,能够更准确地识别轻微异常,降低了误报率;无需大量标记数据,可以无监督地进行异常检测,节省了人力和时间成本。
附图说明
图1 为本发明具体实施方式中的一种基于增强Transformer模型的芯片封装丝网印刷机的异常检测方法的流程图。
图2 为本发明具体实施方式中频域注意力机制模块的结构图。
图3为本发明具体实施方式中双阶段Transformer模型的结构图。
具体实施方式
下面结合附图和实施例,对本发明进行详细描述。
本发明以芯片封装丝网印刷机的实际生产数据为例进行举例说明。芯片陶瓷封装产线中的芯片封装丝网印刷机是一个关键设备,负责包括封装材料的印刷、芯片定位、压力和压合过程的控制,以及自动化生产的实现。这些功能的有效运行和协调能够确保芯片封装的质量和可靠性,当芯片封装丝网印刷机出现压力异常时,可能会导致以下问题或质量缺陷。
1)不均匀的封装材料厚度:压力异常可能导致芯片封装丝网印刷机在印刷封装材料时施加不均匀的压力,使得封装材料在陶瓷基板上的厚度不一致,这可能导致部分区域的封装材料过厚或过薄,影响了芯片与基板之间的接触和连接质量。
2)封装材料损坏或变形:过高或过低的压力可能导致封装材料的损坏或变形。如果压力过高,封装材料可能被挤压变形或破裂,导致连接不牢固或出现裂纹,而过低的压力则可能导致封装材料无法充分粘附在基板上,影响连接的可靠性。
3)不良的芯片定位:压力异常可能导致芯片在定位过程中的移位或偏离,如果芯片没有被准确地定位在陶瓷基板上,可能导致芯片与基板之间的对准不准确,进而影响连接的质量和性能。
4)连接不牢固或失效:压力异常可能导致芯片与陶瓷基板之间的连接不牢固或失效,如果压力不足,连接点可能无法完全形成,导致连接松动或断开,而过高的压力则可能导致连接点过度压紧,造成永久性损坏或断裂。
5)不良的印刷质量:压力异常可能导致印刷质量的下降。例如,过高的压力可能导致印刷材料溢出或模糊,影响印刷的精度和清晰度,这可能导致芯片封装的可读性下降,甚至影响到信号传输的准确性。
通过检测和及时处理芯片封装丝网印刷机压力的异常情况,可以避免以上问题的发生,确保芯片陶瓷封装产线的正常运行和产品质量的稳定性。
基于增强Transformer模型的芯片封装丝网印刷机的异常检测方法,如图1所示,包括如下步骤:
步骤1:从陶瓷封装产线中的若干个芯片封装印刷机中获取若干条压力传感器数据样本,进而得到印刷机传感器数据集;所述压力传感器数据样本为一个时间序列,表示一个芯片封装丝网印刷机一段时间内所采集的数据,压力传感器数据样本中的数据字段包括数据采集时间、实时压力、期望压力、印刷机序号、设备名称。
本实施方式中从2023.4.11到2023.8.28在陶瓷封装产线芯片封装基板电路丝网印刷机采集222807条压力传感器数据样本,其中包含4台丝网印刷机。数据由apache的iotdb数据库存储,数据字段分别包含:time(数据采集时间)、pressureActual(实时压力)、pressureHope(期望压力)、device_name(印刷机序号)、equipment_id(设备名称)。
步骤2:对印刷机传感器数据集进行预处理及数据集划分,得到训练集和验证集。
所述预处理及数据集划分的方法具体为:采用滑动窗口将印刷机传感器数据集分为多个时间片,将所有时间片按照设定比例划分为训练集和验证集并在验证集中随机选择若干个时间片,在选择的时间片中随机加入不同数量不等长的波动,并将该时间片标记为异常时间片。
进一步地,在验证集中随机加入的波动的数量在设定范围内。
本实施方式中,随机加入的波动的数量范围为[0,10]。
步骤3:构建频域注意力机制模块。
利用频域注意力机制有助于捕获信号的频域信息,这对于分析时间序列数据中的周期性、振荡和频率成分非常有帮助。它可以揭示数据中的周期性模式和频域特征,从而更全面地了解数据。可以帮助过滤掉频域中的噪声或干扰信号,使信号中的有用信息更加明显。这有助于提高信号的质量,减少了异常检测中的误报。通过将频域信息引入模型,频域注意力机制模块可以增强数据的特征表示。这可以使模型更容易区分不同的模式和结构,从而提高异常检测的性能。
压力传感器数据样本在频域上中不仅包含有价值的信息,同时也存在干扰时间序列准确分析的噪声。同时,压力传感器数据样本在频域上存在不同的频率。有些频率表示时序细节特征,有些频率表示时序整体趋势。为了关注重要频率,排除噪声干扰,该发明设计一种频域注意力机制模块如图2所示,可以避免频域信息中的冗余信息干扰,添加了频域注意力机制模块,帮助模型关注关键的频域信息,从而进一步提高异常检测的效果。
所述频域注意力机制模块包括频域分解模块、位置编码模块、编码器和动态权重分配模块。
所述频域分解模块用于对输入的时间序列进行离散小波变换,表示时间序列 的序号,将每个时间序列分解为表示时序整体趋势的低频信息和表示时序细节特征的高频 信息,得到不同频率的频域信息为第个频率的频域信息,为频率的序号,为不同频率的频域信息的集合,然后为了后续双阶段 Transformer异常检测模型更容易分析频率信息,将每个频率的频域信息恢复成该频率下 的时域信息,然后将不同频率下的时域信息在向量的第一维进行数据拼接得到时域拼 接信息并发送给位置编码模块和动态权重分配模块。
离散小波变换能够分解时间序列并在频域和时域上生成表示。该技术通过使用低通滤波器和高通滤波器将输入信号分解为两部分:低频信息(时序整体趋势)和高频(时序细节特征):
(1)
表示第个时间序列,表示时间序列的序号;表示小波变换最高频率的 频域信息,表示时间;表示小波变换在第个频率下的频域信息;为设定的频 率数量;表示在第个频率下第k个时序段的离散小波系数;为时间段数量;为第0 个频率下第k个时序段的离散小波系数;为第个频率下第k个时序段的低通滤波器;为第0个频率下第k个时序段的高通滤波器;Wavedec表示频域分解函数。
所述时域信息为:
(2)
其中,Waverec表示将该频率频域信息还原成时域信息的函数。
所述时域拼接信息为:
(3)
其中,Concat为向量拼接。
所述位置编码模块用于接收频域分解模块发送的时域拼接信息并对其添加位 置编码得到携带位置信息的时域拼接信息并发送给编码器。
所述编码器用于接收位置编码模块发送的携带位置信息的时域拼接信息,从携 带位置信息的时域拼接信息中提取不同频率下的深层信息并将其发送给动态权重分 配模块。
所述深层信息为:
(4)
其中,表示编码器;为第个频率下的携带位置信息的时域拼接信息。
所述动态权重分配模块采用多层感知结构,用于接收编码器发送的深层信息和 频域分解模块发送的时域拼接信息,采用线性神经网络层处理深层信息得到第一阶段 隐藏信息,其次将时域拼接信息的第二个维度转换到最后一个维度后通过线性神经网 络层处理得到第二阶段隐藏信息,将相加后采取双曲正切函数Tanh变换并再次通 过线性神经网络层处理得到第三阶段隐藏信息和权重系数,最后利用Softmax函数将 不同频率上权重系数与该频率上的时域拼接信息相乘后拼接得到频域注意力机制的 频率增强信息F;
所述第一阶段隐藏信息为:
(5)
其中,linear为线性神经网络变换。
所述第二阶段隐藏信息为:
(6)
其中,permute为向量维度变换;表示将数据的第二个维度转到第四个维度。
所述第三阶段隐藏信息为:
(7)
其中,Tanh表示双曲正切函数;是基于深层信息与时域拼接信息计算得到 的中间参数;是需要学习的参数。
所述权重系数为:
(8)
其中,是权重系数,用于衡量第个频率的重要性。
所述频率增强信息为:
(9)
其中,Concat为向量拼接。
步骤4:构建双阶段Transformer异常检测模型。
为实现无监督时间序列异常检测,本发明采用了基于重构的方法,构建了双阶段Transformer异常检测模型,所述双阶段Transformer异常检测模型的两阶段分别为异常预选择器和异常放大器,如图3所示。
所述异常预选择器包括第一频域注意力机制模块、第二频域注意力机制模块、第一拼接编码模块,第二拼接编码模块、第一编码器、第一解码器和第一异常分数计算模块。
所述第一频域注意力机制模块接收输入的时间序列表示时间序列的序号,通 过频域注意力机制产生第一频率增强信息并发送给第一拼接编码模块。
所述第一拼接编码模块用于接收输入的第一异常分数、时间序列和第一频 域注意力机制模块发送的第一频率增强信息;将第一异常分数、时间序列和第一频 率增强信息在向量的第一维度进行数据拼接得到第一拼接信息,然后对其添加位置编 码,得到携带位置信息的第一拼接信息并发送给第一编码器;所述第一异常分数为零向 量。
所述第一编码器用于接收第一拼接编码模块发送的带位置信息的第一拼接信息,对其进行编码得到第一时间编码信息并发送给第一解码器。
所述第二频域注意力机制模块接收输入的时间序列,通过频域注意力机制产生 第二频率增强信息并发送给第二拼接编码模块。
所述第二拼接编码模块用于接收输入的第一异常分数、时间序列和第二频 域注意力机制模块发送的第二频率增强信息;将第一异常分数、时间序列和第二频 率增强信息 在向量的第一维度进行数据拼接得到第二拼接信息,然后对其添加位置编 码,得到携带位置信息的第二拼接信息并发送给第一解码器。
所述第一解码器用于接收第一编码器发送的第一时间编码信息和第二拼接编码模块发送的携带位置信息的第二拼接信息,利用交叉注意力得到重构时间序列并发送给第一异常分数计算模块。
所述第一异常分数计算模块接收输入的时间序列和重构时间序列/>,计算得到第二异常分数/>
所述第二异常分数为:
(10)
其中,为输入的时间序列;/>为第二异常分数,作为第一阶段表达异常的结果度量。
在第一阶段,异常预选择器的目的是通过生成输入时间序列的重构来分析时间趋势,并计算重构误差得分来推断重构和原始时间序列之间的差异。
所述异常放大器包括第三频域注意力机制模块、第四频域注意力机制模块、第三拼接编码模块,第四拼接编码模块、第二编码器、第二解码器和第二异常分数计算模块。
所述第三频域注意力机制模块接收输入的时间序列,通过频域注意力机制产生 第三频率增强信息并发送给第三拼接编码模块。
所述第三拼接编码模块用于接收输入的第二异常分数、时间序列和第三频 域注意力机制模块发送的第三频率增强信息;将第二异常分数、时间序列和第三频 率增强信息在向量的第一维度进行数据拼接得到第三拼接信息,然后对其添加位置编 码,得到携带位置信息的第三拼接信息并发送给第二编码器。
所述第二编码器用于接收第三拼接编码模块发送的携带位置信息的第三拼接信息,对其进行编码得到第二时间编码信息并发送给第二解码器。
所述第四频域注意力机制模块接收输入的时间序列,通过频域注意力机制产生 第四频率增强信息并发送给第四拼接编码模块。
所述第四拼接编码模块用于接收输入的第二异常分数、时间序列和第四频 域注意力机制模块发送的第四频率增强信息;将第二异常分数、时间序列和第四频 率增强信息在向量的第一维度进行数据拼接得到第四拼接信息,然后对其添加位置编 码,得到携带位置信息的第四拼接信息并发送给第二解码器。
所述第二解码器用于接收第二编码器发送的第二时间编码信息和第四拼接编码模块发送的携带位置信息的第四拼接信息利用交叉注意力得到重构时间序列并发送给第二异常分数计算模块。
所述第二异常分数计算模块接收输入的时间序列和重构时间序列/>,计算得到第三异常分数。
在第二阶段,异常放大器的目的是增加重构时间序列窗口和异常时间序列之间的差异。通过使用异常放大器,本发明能够发现具有轻微异常的时间序列与正常时间序列之间的差异。为了实现异常放大器,我们使用输入第一阶段产生的异常分数作为先验知识。输入异常评分有助于异常放大器更加关注在第一阶段检测到的异常的特定子序列。
步骤5:使用训练集对双阶段Transformer异常检测模型进行训练,直至极大极小值损失函数达到最小值,得到训练完成的双阶段Transformer异常检测模型。
将训练集中的时间序列输入到双阶段Transformer异常检测模型首先经过异常 预选择器计算得到损失函数再通过第二阶段异常放大器计算得到极大极小值损失函数从而获得训练好的异常检测模型。
其中第一阶段为了训练异常预选择器,我们将重构的时间序列与原始时间序列 W进行比较,采用损失函数
(11)
第一阶段的损失函数反传时只影响异常预选择器的训练参数。
第二阶段中为了训练异常放大器,我们将重构的时间序列与原始时间序列 进行比较,采用两个损失函数组成极大极小值损失函数来增强异常放大器的性能:
(12)/>
(13)
其中,为极大值损失函数;为极小值损失函数。
在实际的训练过程中,设计了变化损失,确保模型在效果好的时序重构基础上扩大轻微异常:
(14)
(15)
(16)
其中,为极大值损失函数;为极小值损失函数;为当前迭代次数,为总迭 代次数,为控制系数且0<<1,其可影响训练参数变化速率。对于,本发明设置0.75作为 默认值。
通过一定的轮次训练,使模型可以重构出正常的原始时间序列从而得到训练完成的双阶段Transformer异常检测模型。
步骤6:利用双阶段Transformer异常检测模型对印刷机传感器数据集中验证集进行检测,得到压力异常检测结果。
步骤6.1:将验证集作为时间序列分别输入第一频域注意力机制模块和第二频 域注意力机制模块,表示时间序列的序号,并分别得到第一频率增强信息和第二频率增 强信息
步骤6.2:获取第一异常分数;所述第一异常分数为零向量。
步骤6.3:将第一异常分数、时间序列和第一频率增强信息输入第一拼接 编码模块,得到携带位置信息的第一拼接信息;将第一异常分数、时间序列和第二频 率增强信息输入第二拼接编码模块,得到携带位置信息的第二拼接信息。
步骤6.4:将第一拼接信息输入第一编码器,得到第一时间编码信息。
步骤6.5:将第一时间编码信息和第二拼接信息输入第一解码器,得到第一阶段的 重构时间序列
步骤6.6:利用第一阶段的重构时间序列与时间序列计算MSE误差,得到第二 异常分数
步骤6.7:将时间序列分别输入第三频域注意力机制模块和第四频域注意力机 制模块,并分别得到第三频率增强信息和第四频率增强信息
步骤6.8:将第二异常分数、时间序列和第三频率增强信息输入第三拼接 编码模块,得到携带位置信息的第三拼接信息;将第二异常分数、时间序列和第四频 率增强信息输入第四拼接编码模块,得到携带位置信息的第四拼接信息。
步骤6.9:将第三拼接信息输入第二编码器,得到第二时间编码信息。
步骤6.10:将第二时间编码信息和第四拼接信息输入第二解码器,得到第二阶段 的重构时间序列
步骤6.11:利用第二阶段的重构时间序列与时间序列计算MSE误差,得到第 三异常分数。
步骤6.12:判断最终异常分数是否大于设定阈值,大于等于则判定输入的时间序列中包含异常,小于则判定输入的时间序列正常。
经过多次实验,本发明提出的方法在测试集达到的效果与多种异常检测方法对比如下表所示:
本申请
Precision(%) 94.72
Recall(%) 93.26
F1_score 93.98
多次试验结果没有太大的偏差,模型总体显示出一种较为稳定的状态。

Claims (5)

1.一种基于增强Transformer模型的芯片封装丝网印刷机的异常检测方法,其特征在于,包括如下步骤:
步骤1:从陶瓷封装产线中的若干个芯片封装印刷机中获取若干条压力传感器数据样本,进而得到印刷机传感器数据集;所述压力传感器数据样本为一个时间序列,表示一个芯片封装丝网印刷机一段时间内所采集的数据,压力传感器数据样本中的数据字段包括数据采集时间、实时压力、期望压力、印刷机序号、设备名称;
步骤2:对印刷机传感器数据集进行预处理及数据集划分,得到训练集和验证集;
步骤3:构建频域注意力机制模块;
所述频域注意力机制模块包括频域分解模块、位置编码模块、编码器和动态权重分配模块;
所述频域分解模块用于对输入的时间序列ωi进行离散小波变换,i表示时间序列的序号,将每个时间序列分解为表示时序整体趋势的低频信息和表示时序细节特征的高频信息,得到不同频率的频域信息df,df为第f个频率的频域信息,f为频率的序号,D=(d0,d1,…,df,…,dFre)为不同频率的频域信息的集合,然后将每个频率的频域信息恢复成该频率下的时域信息tf,然后将不同频率下的时域信息tf在向量的第一维进行数据拼接得到时域拼接信息并发送给位置编码模块和动态权重分配模块;
所述离散小波变换的方法为:
ωi表示第i个时间序列,i表示时间序列的序号;d0(t)表示小波变换最高频率的频域信息,t表示时间;df(t)表示小波变换在第f个频率下的频域信息;Fre为设定的频率数量;αf,k表示在第f个频率下第k个时序段的离散小波系数;K为时间段数量;α0,k为第0个频率下第k个时序段的离散小波系数;为第f个频率下第k个时序段的低通滤波器;/>为第0个频率下第k个时序段的高通滤波器;Wavedec表示频域分解函数;
所述时域信息tf为:
tf=Waverec(df) (2)
其中,Waverec表示将该频率频域信息还原成时域信息的函数;
所述时域拼接信息为:
其中,Concat为向量拼接;
所述位置编码模块用于接收频域分解模块发送的时域拼接信息并对其添加位置编码得到携带位置信息的时域拼接信息t'f并发送给编码器;
所述编码器用于接收位置编码模块发送的携带位置信息的时域拼接信息t'f,从携带位置信息的时域拼接信息t'f中提取不同频率下的深层信息hf并将其发送给动态权重分配模块;
所述深层信息为:
hf=Edwt(t′f) (4)
其中,Edwt表示编码器;t'f为第f个频率下的携带位置信息的时域拼接信息;
所述动态权重分配模块采用多层感知结构,用于接收编码器发送的深层信息hf和频域分解模块发送的时域拼接信息采用线性神经网络层处理深层信息hf得到第一阶段隐藏信息z1,其次将时域拼接信息/>的第二个维度转换到最后一个维度后通过线性神经网络层处理得到第二阶段隐藏信息z2,将z1与z2相加后采取双曲正切函数Tanh变换并再次通过线性神经网络层处理得到第三阶段隐藏信息z3和权重系数βf,最后利用Softmax函数将不同频率上权重系数βf与该频率上的时域拼接信息/>相乘后拼接得到频域注意力机制的频率增强信息F;
所述第一阶段隐藏信息z1为:
z1=linear(hf) (5)
其中,linear为线性神经网络变换;
所述第二阶段隐藏信息z2为:
其中,permute为向量维度变换;(0,2,3,1)表示将数据的第二个维度转到第四个维度;
所述第三阶段隐藏信息z3为:
其中,Tanh表示双曲正切函数;ef是基于深层信息hf与时域拼接信息计算得到的中间参数;/>We、Ue是需要学习的参数;
所述权重系数βf为:
其中,βf是权重系数,用于衡量第f个频率的重要性;
所述频率增强信息F为:
其中Concat为向量拼接;
步骤4:构建双阶段Transformer异常检测模型;
所述双阶段Transformer异常检测模型的两阶段分别为异常预选择器和异常放大器;
所述异常预选择器包括第一频域注意力机制模块、第二频域注意力机制模块、第一拼接编码模块,第二拼接编码模块、第一编码器、第一解码器和第一异常分数计算模块;
所述第一频域注意力机制模块接收输入的时间序列ωi,i表示时间序列的序号,通过频域注意力机制产生第一频率增强信息F1并发送给第一拼接编码模块;
所述第一拼接编码模块用于接收输入的第一异常分数O1、时间序列ωi和第一频域注意力机制模块发送的第一频率增强信息F1;将第一异常分数O1、时间序列ωi和第一频率增强信息F1在向量的第一维度进行数据拼接得到第一拼接信息,然后对其添加位置编码,得到携带位置信息的第一拼接信息并发送给第一编码器;所述第一异常分数O1为零向量;
所述第一编码器用于接收第一拼接编码模块发送的带位置信息的第一拼接信息,对其进行编码得到第一时间编码信息并发送给第一解码器;
所述第二频域注意力机制模块接收输入的时间序列ωi,通过频域注意力机制产生第二频率增强信息F2并发送给第二拼接编码模块;
所述第二拼接编码模块用于接收输入的第一异常分数O1、时间序列ωi和第二频域注意力机制模块发送的第二频率增强信息F2;将第一异常分数O1、时间序列ωi和第二频率增强信息F2在向量的第一维度进行数据拼接得到第二拼接信息,然后对其添加位置编码,得到携带位置信息的第二拼接信息并发送给第一解码器;
所述第一解码器用于接收第一编码器发送的第一时间编码信息和第二拼接编码模块发送的携带位置信息的第二拼接信息,利用交叉注意力得到重构时间序列Y1并发送给第一异常分数计算模块;
所述第一异常分数计算模块接收输入的时间序列ωi和重构时间序列Y1,计算得到第二异常分数O2
所述第二异常分数O2为:
O2=|Y1i|2 (10)
其中,ωiW为输入的时间序列;O2为第二异常分数O2,作为第一阶段表达异常的结果度量;
所述异常放大器包括第三频域注意力机制模块、第四频域注意力机制模块、第三拼接编码模块,第四拼接编码模块、第二编码器、第二解码器和第二异常分数计算模块;
所述第三频域注意力机制模块接收输入的时间序列ωi,通过频域注意力机制产生第三频率增强信息F3并发送给第三拼接编码模块;
所述第三拼接编码模块用于接收输入的第二异常分数O2、时间序列ωi和第三频域注意力机制模块发送的第三频率增强信息F3;将第二异常分数O2、时间序列ωi和第三频率增强信息F3在向量的第一维度进行数据拼接得到第三拼接信息,然后对其添加位置编码,得到携带位置信息的第三拼接信息并发送给第二编码器;
所述第二编码器用于接收第三拼接编码模块发送的携带位置信息的第三拼接信息,对其进行编码得到第二时间编码信息并发送给第二解码器;
所述第四频域注意力机制模块接收输入的时间序列ωi,通过频域注意力机制产生第四频率增强信息F4并发送给第四拼接编码模块;
所述第四拼接编码模块用于接收输入的第二异常分数O2、时间序列ωi和第四频域注意力机制模块发送的第四频率增强信息F4;将第二异常分数O2、时间序列ωi和第四频率增强信息F4在向量的第一维度进行数据拼接得到第四拼接信息,然后对其添加位置编码,得到携带位置信息的第四拼接信息并发送给第二解码器;
所述第二解码器用于接收第二编码器发送的第二时间编码信息和第四拼接编码模块发送的携带位置信息的第四拼接信息利用交叉注意力得到重构时间序列Y2并发送给第二异常分数计算模块;
所述第二异常分数计算模块接收输入的时间序列ωi和重构时间序列Y2,计算得到第三异常分数;
步骤5:使用训练集对双阶段Transformer异常检测模型进行训练,直至极大极小值损失函数L2&L3达到最小值,得到训练完成的双阶段Transformer异常检测模型;
步骤6:利用双阶段Transformer异常检测模型对印刷机传感器数据集中验证集进行检测,得到压力异常检测结果。
2.根据权利要求1所述的基于增强Transformer模型的芯片封装丝网印刷机的异常检测方法,其特征在于,步骤2中所述预处理及数据集划分的方法具体为:采用滑动窗口将印刷机传感器数据集分为多个时间片,将所有时间片按照设定比例划分为训练集和验证集并在验证集中随机选择若干个时间片,在选择的时间片中随机加入不同数量不等长的波动,并将该时间片标记为异常时间片。
3.根据权利要求2所述的基于增强Transformer模型的芯片封装丝网印刷机的异常检测方法,其特征在于,在验证集中随机加入的波动的数量在设定范围内。
4.根据权利要求1所述的基于增强Transformer模型的芯片封装丝网印刷机的异常检测方法,其特征在于,步骤5中所述双阶段Transformer异常检测模型在训练过程中,第一阶段异常预选择器计算得到的损失函数L1为:
L1=|Y1i|2 (11)
所述双阶段Transformer异常检测模型在训练过程中,第二阶段异常放大器计算得到的极大极小值损失函数L2&L3为:
L2&L3=L2+L3 (16)
其中,L2为极大值损失函数;L3为极小值损失函数;n为当前迭代次数,N为总迭代次数,λ为控制系数且0<λ<1,其可影响训练参数变化速率。
5.根据权利要求1所述的基于增强Transformer模型的芯片封装丝网印刷机的异常检测方法,其特征在于,所述步骤6具体包括:
步骤6.1:将验证集作为时间序列ωi分别输入第一频域注意力机制模块和第二频域注意力机制模块,i表示时间序列的序号,并分别得到第一频率增强信息F1和第二频率增强信息F2
步骤6.2:获取第一异常分数O1;所述第一异常分数O1为零向量;
步骤6.3:将第一异常分数O1、时间序列ωi和第一频率增强信息F1输入第一拼接编码模块,得到携带位置信息的第一拼接信息;将第一异常分数O1、时间序列ωi和第二频率增强信息F2输入第二拼接编码模块,得到携带位置信息的第二拼接信息;
步骤6.4:将第一拼接信息输入第一编码器,得到第一时间编码信息;
步骤6.5:将第一时间编码信息和第二拼接信息输入第一解码器,得到第一阶段的重构时间序列Y1
步骤6.6:利用第一阶段的重构时间序列Y1与时间序列ωi计算MSE误差,得到第二异常分数O2
步骤6.7:将时间序列ωi分别输入第三频域注意力机制模块和第四频域注意力机制模块,并分别得到第三频率增强信息F3和第四频率增强信息F4
步骤6.8:将第二异常分数O2、时间序列ωi和第三频率增强信息F3输入第三拼接编码模块,得到携带位置信息的第三拼接信息;将第二异常分数O2、时间序列ωi和第四频率增强信息F4输入第四拼接编码模块,得到携带位置信息的第四拼接信息;
步骤6.9:将第三拼接信息输入第二编码器,得到第二时间编码信息;
步骤6.10:将第二时间编码信息和第四拼接信息输入第二解码器,得到第二阶段的重构时间序列Y2
步骤6.11:利用第二阶段的重构时间序列Y2与时间序列ωi计算MSE误差,得到第三异常分数;
步骤6.12:判断最终异常分数是否大于设定阈值,大于等于则判定输入的时间序列中包含异常,小于则判定输入的时间序列正常。
CN202311684815.1A 2023-12-11 2023-12-11 基于增强Transformer模型的芯片封装丝网印刷机的异常检测方法 Active CN117390568B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311684815.1A CN117390568B (zh) 2023-12-11 2023-12-11 基于增强Transformer模型的芯片封装丝网印刷机的异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311684815.1A CN117390568B (zh) 2023-12-11 2023-12-11 基于增强Transformer模型的芯片封装丝网印刷机的异常检测方法

Publications (2)

Publication Number Publication Date
CN117390568A CN117390568A (zh) 2024-01-12
CN117390568B true CN117390568B (zh) 2024-03-01

Family

ID=89470656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311684815.1A Active CN117390568B (zh) 2023-12-11 2023-12-11 基于增强Transformer模型的芯片封装丝网印刷机的异常检测方法

Country Status (1)

Country Link
CN (1) CN117390568B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117687890B (zh) * 2024-02-02 2024-05-03 山东大学 基于操作日志的异常操作识别方法、系统、介质及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115564664A (zh) * 2022-08-30 2023-01-03 华南农业大学 基于融合双边重组注意力的二阶段Transformer编解码器的去运动模糊方法
CN116502164A (zh) * 2023-04-24 2023-07-28 哈尔滨工程大学 基于对抗训练和频域改良自注意力机制的多维时序数据异常检测方法、设备及介质
CN116757533A (zh) * 2023-06-13 2023-09-15 无锡物联网创新中心有限公司 一种工业设备异常检测方法及相关装置
CN117076936A (zh) * 2023-10-16 2023-11-17 北京理工大学 一种基于多头注意力模型的时序数据异常检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115564664A (zh) * 2022-08-30 2023-01-03 华南农业大学 基于融合双边重组注意力的二阶段Transformer编解码器的去运动模糊方法
CN116502164A (zh) * 2023-04-24 2023-07-28 哈尔滨工程大学 基于对抗训练和频域改良自注意力机制的多维时序数据异常检测方法、设备及介质
CN116757533A (zh) * 2023-06-13 2023-09-15 无锡物联网创新中心有限公司 一种工业设备异常检测方法及相关装置
CN117076936A (zh) * 2023-10-16 2023-11-17 北京理工大学 一种基于多头注意力模型的时序数据异常检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"TSTNN: TWO-STAGE TRANSFORMAER BASED NEURAL NETWORK FOR SPEECH ENHANCEMENT IN THE TIME DOMAIN";Kai Wang etc.;《IEEE International Conference on Acoustics, Speech and Signal Processing》;20210513;全文 *

Also Published As

Publication number Publication date
CN117390568A (zh) 2024-01-12

Similar Documents

Publication Publication Date Title
CN117390568B (zh) 基于增强Transformer模型的芯片封装丝网印刷机的异常检测方法
CN111259921B (zh) 基于改进小波包和深度学习的变压器声音异常检测方法
CN104238543B (zh) 时间序列形式的传感数据的不良图案检验方法及其装置
US20190086912A1 (en) Method and system for generating two dimensional barcode including hidden data
CN111307438A (zh) 一种基于信息熵的旋转机械振动故障诊断方法及其系统
CN116070163B (zh) 一种室内有害气体浓度异常监测数据处理方法
CN113468479B (zh) 一种基于数据驱动的冷连轧工业过程监测与异常检测方法
WO2011006786A1 (de) Verfahren zur plausibilitätsprüfung von digitalen messsignalen
CN111898744A (zh) 基于池化lstm的tdlas痕量气体浓度检测方法
CN115392393A (zh) 一种温度测量仪状态检测方法
CN109708877B (zh) 基于小波模糊识别和图像分析理论的机械故障分析方法
CN114354184A (zh) 一种基于深度学习的大型回转装备主轴健康预警模型建立方法和装置
CN114297921A (zh) 基于am-tcn的故障诊断方法
CN111814403B (zh) 一种配电主设备分布式状态传感器可靠性评估方法
CN117315365A (zh) 一种基于视觉分析的凸轮轴表面损伤检测系统
CN112070030A (zh) 一种巴克豪森信号随机性度量及转换方法
CN111079591A (zh) 基于改进多尺度主成分分析的不良数据修复方法及系统
CN114417704A (zh) 一种基于改进栈式自编码的风电机组发电机健康评估方法
CN114090949A (zh) 一种鲁棒的振动信号特征值计算方法
CN114265840A (zh) 异常得分计算装置、方法以及存储介质
CN116453310B (zh) 一种铜排的温度异常报警方法及装置
CN116738859B (zh) 一种铜管在线无损寿命评估方法及系统
CN116448062B (zh) 一种桥梁沉降变形检测方法、装置、计算机及存储介质
CN113627088B (zh) 基于基因编程和数据融合的机器性能退化评估方法及系统
CN113609207B (zh) 一种边坡形变监测数据的数据预处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant