CN116050477A - 真实时空注意力模块及其在焊点熔核质量检测中的应用 - Google Patents

真实时空注意力模块及其在焊点熔核质量检测中的应用 Download PDF

Info

Publication number
CN116050477A
CN116050477A CN202310137106.5A CN202310137106A CN116050477A CN 116050477 A CN116050477 A CN 116050477A CN 202310137106 A CN202310137106 A CN 202310137106A CN 116050477 A CN116050477 A CN 116050477A
Authority
CN
China
Prior art keywords
attention
feature map
space
time
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310137106.5A
Other languages
English (en)
Inventor
周杰
喜泽瑞
王时龙
杨波
何彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202310137106.5A priority Critical patent/CN116050477A/zh
Publication of CN116050477A publication Critical patent/CN116050477A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种真实时空注意力模块，利用空间处理模块包含的真实空间注意力单元挖掘多通道数据潜在的真实空间关联信息；空间处理模块输出作为时间处理模块的输入，利用时序短序列注意力单元提取变化趋势的潜在特征以提高检测结果的准确性；全局时间上下文注意力单元的信息采集支路和信息分配支路分别用于提取其余信号对信号i的影响和信号i对其余信号的影响。如此，本发明的真实时空注意力模块能够深度挖掘多通道信号的真实时空关联性特征，可以有效提高智能模型的检测精度，且通用性强，可应用于多种工业领域处理不同信号，应用时还可以灵活嵌入多种模型以提高性能。本发明的还公开了一种真实时空注意力模块在焊点熔核质量检测中的应用。

Description

真实时空注意力模块及其在焊点熔核质量检测中的应用
技术领域
本发明属于智能制造技术领域，具体的为一种真实时空注意力模块及其在焊点熔核质量检测中的应用。
背景技术
电阻点焊是一种应用于焊接各类金属薄板类零件的电阻焊工艺，由于其具有工件变形小，焊接效率高，工艺成本低，焊接过程操作简单，可循环等优点，被广泛应用于高速自动化的白车身焊接制造中。据统计，一个典型白车身90％以上的装配量由电阻点焊完成，焊点质量在极大程度上影响白车身质量，尤其是焊点熔核质量会直接决定焊点的机械强度从而进一步决定白车身的安全性能和使用寿命。因此焊点熔核质量检测对于控制白车身加工质量至关重要。
当前实际工程中对焊点熔核质量的检测大多采用人工抽检策略，使用破坏性凿检和超声波技术对焊点进行抽样检测。破坏性凿检通过破坏焊点连接直接观察其熔核结构作为质量判别依据；超声波检测利用声波在不同结构边界面反射形成的脉冲波形作为质量判别依据。这两种检测方法虽然在工业制造领域得到了广泛的应用，但也具有明显局限性：破坏性凿检需要工人手工开凿焊点，开凿过程会消耗大量时间和劳动量，且样品被破坏会造成资源浪费；超声波检测需要专业技术人员逐焊点检测，过程繁琐且检测过程中容易出现重复或遗漏。这些局限性导致这两种方法抽检率低，检测效率低，自动化程度低，难以满足当前汽车制造业高速自动化的发展需求。
近年来，随着工业大数据和计算机技术的发展，数据积累和计算速度不断提高，一些基于工业信号的智能模型被研究应用于焊点质量检测领域。如通过BP神经网络的万能逼近特性挖掘焊接电流与熔核直径的非线性隐式近似泛函解；使用循环神经网络探索动态电阻信号与焊点机械强度的潜在相关性；通过残差或稠密网络结构模拟物理场在焊接力热耦合过程的瞬态动力学行为；通过卷积神经网络深度挖掘焊点外观图像特征并实现与焊点外观质量状态的准确对应等。这些研究均取得了初步的成功，为基于工业大数据的焊点质量检测理论和方法带来了新的契机和启发，也为新一代便捷、高效焊点质量检测技术的落地应用带来了可能。
智能检测模型的核心算法可以根据测量信号的特点进行针对性设计，通过多层作用各不相同的神经网络层对原始信号进行分割、聚合、升降维等数据操作，逐层提取信号的高维语义特征作为后续线性回归或非线性分类的基础。模型训练过程输出结果的梯度反向传递，借助机器学习的优化器迭代优化模型参数，使模型输出结果不断逼近真实情况，最终学习到振动响应信号与机械系统健康状态的隐式非线性关系。模型的信号分析处理过程不需要人工特征工程预处理，且能够通过GPU并行运算提高计算速度，满足汽车制造业高速自动化的发展需求，实现智能、高效、高精度的焊点熔核质量检测。
发明内容
有鉴于此，本发明的目的在于提供一种真实时空注意力模块及其在焊点熔核质量检测中的应用，所述的真实时空注意力模块深度挖掘多通道信号的真实时空关联性特征，可以有效提高智能模型的检测精度，且通用性强，可应用于多种工业领域处理不同信号，应用时还可以灵活嵌入多种模型以提高性能。
为达到上述目的，本发明提供如下技术方案：
本发明首先提出了一种真实时空注意力模块，包括空间处理模块和时间处理模块；
所述空间处理模块包括用于挖掘多通道数据潜在的真实空间关联信息的真实空间注意力单元，所述真实空间注意力单元包括全局平均池化层、全局标准差池化层、多层感知机和残差连接块；所述全局平均池化层和全局标准差池化层分别用于对输入的多通道信号进行编码并得到两组聚合特征，两组聚合特征分别通过所述多层感知机挖掘各通道数据隐藏的空间关系并分别生成适应性的空间权重向量，两个空间权重向量相加后采用Softmax函数激活得到空间注意力权重向量，所述空间注意力权重向量通过所述残差连接块对原始特征图进行修正并得到真实空间特征图；
所述时间处理模块包括并联的时序短序列注意力单元和全局时间上下文注意力单元；
所述时序短序列注意力单元包括用于分别在不同空间尺度上执行操作的两条支路；第一条支路依次对输入的真实空间特征图进行平均池化和下采样操作，在进行平均池化后采用不规则padding使池化后的特征图的尺寸保持不变，在进行下采样后对得到的隐藏空间特征图进行线性插值以扩张尺寸至原始空间尺寸，得到插值特征图；利用残差连接将插值特征图与真实空间特征图进行元素级求和并使用激活函数生成时序短序列注意力权重矩阵；第二条支路在原始空间尺度对真实空间特征图执行卷积操作，以提取真实空间特征图的特征信息并生成原始尺度特征图；利用时序短序列注意力权重矩阵修正原始尺度特征图，得到时序短序列注意力单元的输出；
所述全局时间上下文注意力单元包括并列设置信息采集支路和信息分配支路；所述全局时间上下文注意力单元分别采用两个卷积操作压缩真实空间特征图的通道数至原来的一半，并分别得到信息采集特征图和信息分配特征图；所述信息采集支路依次对所述信息采集特征图执行卷积操作和reshape操作；执行卷积操作后，所述信息采集特征图的通道数扩张至等于其高度和宽度的乘积，得到第一全局时间注意矩阵；执行reshape操作以调整第一全局时间注意矩阵的尺寸、并使用Hadamard积将信号间相互影响的权重分配到信息采集特征图以对信息采集特征图进行修正，得到信息采集支路的输出结果；所述信息分配支路依次对所述信息分配特征图执行卷积操作和reshape操作；执行卷积操作后，所述信息分配特征图的通道数扩张至等于其高度和宽度的乘积，得到第二全局时间注意矩阵；执行reshape操作以调整第二全局时间注意矩阵的尺寸、并使用Hadamard积将信号间相互影响的权重分配到信息分配特征图以对信息分配特征图进行修正，得到信息分配支路的输出结果；
沿通道维度拼接信息采集支路的输出结果和信息分配支路的输出结果得到所述全局时间上下文注意力单元的输出；沿通道维度拼接所述时序短序列注意力单元的输出和所述全局时间上下文注意力单元的输出得到所述时间处理模块的输出。
进一步，所述真实空间注意力单元的原理为：
所述全局平均池化层和全局标准差池化层分别对输入的多通道信号进行编码并得到两组聚合特征：
Figure BDA0004086280350000031
Figure BDA0004086280350000032
其中，
Figure BDA0004086280350000033
xm表示第m个通道的特征图，
Figure BDA0004086280350000034
表示三维张量，H表示高度，W表示宽度，C表示通道；
Figure BDA0004086280350000035
分别表示全局平均池化和全局标准差池化得到的聚合特征；
Figure BDA0004086280350000036
表示第c个通道特征图的第i个数据；
Figure BDA00040862803500000312
表示第c个通道所有数据的平均值；GAP(·)和GSP(·)分别表示全局平均池化和全局标准差池化；
两组聚合特征分别通过所述多层感知机挖掘各通道数据隐藏的空间关系并分别生成适应性的空间权重向量，两个空间权重向量相加后采用Softmax函数激活得到空间注意力权重向量：
Figure BDA0004086280350000037
其中，wc表示c通道的权重；
Figure BDA0004086280350000038
和
Figure BDA0004086280350000039
分别表示
Figure BDA00040862803500000310
和
Figure BDA00040862803500000311
通过多层感知机生成的空间权重向量；σ(·)表示Softmax函数；MLP(·)表示多层感知机；
引入残差连接，将对应通道的权重与对应的通道的特征图执行Hadamard积，以对不同通道信号进行修正，得到真实空间特征图：
Figure BDA0004086280350000041
其中，
Figure BDA0004086280350000042
表示c通道的真实空间特征图。
进一步，所述时序短序列注意力单元的第一条支路的原理为：
对于输入的真实空间特征图
Figure BDA0004086280350000043
首先使用1×k的核对原始特征图进行平均池化以聚合短范围特征，并采用不规则padding保证池化后特征图的尺寸保持不变；然后使用1×k的卷积核进一步提取高级特征，得到隐藏空间特征图：
Figure BDA0004086280350000044
W′＝(W-k)+1
其中，h表示隐藏空间特征图；hm表示隐藏空间特征图中的第m个通道的特征图；
沿W′维度均匀线性插值至原始空间尺寸，得到插值特征图：
Figure BDA0004086280350000045
其中，Y表示插值特征图；ym表示插值特征图中第m个通道的特征图；
利用残差连接将插值特征图与真实空间特征图进行元素级求和，将隐藏空间提取的修正值嵌入到真实空间特征图中，并使用激活函数生成时序短序列注意力权重矩阵：
Figure BDA0004086280350000046
其中，w表示时序短序列注意力权重矩阵；σ(·)表示Sigmoid激活函数。
进一步，所述时序短序列注意力单元的第二条支路的原理为：
第二条支路在原始空间尺度对真实空间特征图执行1×1卷积操作，提取原始输入的特征信息，生成原始尺度特征图
Figure BDA0004086280350000047
Figure BDA0004086280350000048
其中，k表示卷积核的尺寸；ω表示卷积核权重向量，p表示真实空间特征图
Figure BDA00040862803500000411
中的第p个元素；s表示卷积得到的原始尺度特征图
Figure BDA0004086280350000049
中的第s个元素。
进一步，所述时序短序列注意力单元的输出为：
Figure BDA00040862803500000410
其中，Z1表示时序短序列注意力单元的输出；
Figure BDA00040862803500000412
表示Hadamard积。
进一步，所述全局时间上下文注意力单元分别采用两个1×1卷积操作压缩真实空间特征图
Figure BDA0004086280350000051
的通道数至原来的一半，并分别得到信息采集特征图
Figure BDA0004086280350000052
和信息分配特征图
Figure BDA0004086280350000053
进一步，所述信息采集支路对信息采集特征图执行1×1卷积将通道数扩张至H×W，得到第一全局时间注意矩阵w1，则对于信号i，第j个通道特征图上i位置的值表示信号j对信号i的影响程度
Figure BDA0004086280350000054
Figure BDA0004086280350000055
其中，Conv1×1表示1×1卷积操作；
Figure BDA0004086280350000056
表示信息采集特征图；
执行reshape操作以调整第一全局时间注意矩阵的尺寸、并使用Hadamard积将信号间相互影响的权重分配到信息采集特征图以对信息采集特征图进行修正，得到信息采集支路的输出结果
Figure BDA0004086280350000057
且；
Figure BDA0004086280350000058
其中，
Figure BDA0004086280350000059
表示所有信息采集特征图组成的矩阵。
进一步，所述信息分配支路对信息分配特征图执行1×1卷积将通道数扩张至H×W，得到第二全局时间注意矩阵w2，则对于信号i，第j个通道特征图上i位置的值表示信号j对信号i的影响程度
Figure BDA00040862803500000510
Figure BDA00040862803500000511
其中，Conv1×1表示1×1卷积操作；
Figure BDA00040862803500000512
表示信息分配特征图；
执行reshape操作以调整第二全局时间注意矩阵的尺寸、并使用Hadamard积将信号间相互影响的权重分配到信息分配特征图以对信息分配特征图进行修正，得到信息分配支路的输出结果
Figure BDA00040862803500000513
且；
Figure BDA00040862803500000514
其中，
Figure BDA00040862803500000515
表示所有信息分配特征图组成的矩阵。
进一步，所述全局时间上下文注意力单元的输出
Figure BDA00040862803500000516
为：
Figure BDA00040862803500000517
其中，Z2表示全局时间上下文注意力单元的输出；F1表示信息采集支路的输出；F2表示信息分配支路的输出；
Figure BDA0004086280350000061
表示沿通道维度的拼接操作；
所述时间处理模块的输出为：
Figure BDA0004086280350000062
其中，Z表示时间处理模块的输出；Z1表示时序短序列注意力单元的输出。
本发明还提出了一种真实时空注意力模块在焊点熔核质量检测中的应用，将如上所述的真实时空注意力模块嵌入卷积神经网络以构建智能检测模型，利用所述智能检测模型检测焊点熔核质量。
本发明的有益效果在于：
本发明的真实时空注意力模块，利用空间处理模块包含的真实空间注意力单元挖掘多通道数据潜在的真实空间关联信息，通过全局平均池化GAP和全局标准差池化GSP编码输入的多通道信号，经过共享MLP处理生成2组聚合特征，最后通过残差连接对原始特征图进行修正；空间处理模块输出的真实空间特征图作为时间处理模块的输入，利用时序短序列注意力单元在两个不同尺度的空间进行卷积操作，原始尺度空间的卷积操作尽可能保持信号的原始特征；下采样的小尺度空间通过特殊尺寸的卷积核深度挖掘短时间序列数据彼此之间的关联性，并通过插值操作嵌入回真实空间特征图进行修正；全局时间上下文注意力单元整合全局所有信息，通过采集和分配两条支路的多次卷积和reshape操作实现所有信息的交互并得到信息交互矩阵，最后利用该信息交互矩阵对真实空间特征图进行重修正，得到输出特征图；而后拼接时序短序列注意力单元和全局时间上下文注意力单元的输出，得到时间处理模块的输出，即为本发明真实时空注意力模块的输出；综上可知，本发明的真实时空注意力模块深度挖掘多通道信号的真实时空关联性特征，可以有效提高智能模型的检测精度，且通用性强，可应用于多种工业领域处理不同信号，应用时还可以灵活嵌入多种模型以提高性能。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1为本发明真实时空注意力模块在焊点熔核质量检测中的应用的流程图；
图2为本发明真实时空注意力模块实施例的结构原理图；
图3为真实空间注意力单元的结构原理图；
图4为时序短序列注意力单元的结构原理图；
图5为全局时间上下文注意力单元的结构原理图；
图6为将TSA模块嵌入ResNet后用于焊点熔核质量检测时的结构原理图；
图7为ResNet+TSA智能检测模型在焊点熔核质量数据集验证得到的混淆矩阵。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
如图1所示，本实施例的真实时空注意力模块在焊点熔核质量检测中的应用，以白车身前机盖为例，在焊点周围布置多个传感器采集振动响应信号，同时获得焊点的质量真实结果，以焊点的振动响应信号和质量真实结果构建数据集，同时将真实时空注意力模块(TSA)嵌入到卷积神经网络以构建智能检测模型，以数据集训练智能检测模型，利用训练得到的智能检测模型测焊点熔核质量，以实现对焊点熔核质量的智能检测。具体的，真实时空注意力模块作为智能检测模型的核心，其原理如下。
一、真实时空注意力模块
真实时空注意力模块(TSA)从空间和时间两个角度深度挖掘多通道输入信号的潜在关联性特征。如图2所示，本实施例的真实时空注意力模块，包括空间处理模块和时间处理模块。本实施例的空间处理模块包括用于挖掘多通道数据潜在的真实空间关联信息的真实空间注意力单元。本实施例的时间处理模块包括并联的时序短序列注意力单元和全局时间上下文注意力单元。
1.1、真实空间注意力单元
工艺参数具有多元性，不同的工艺参数在不同的角度反应系统的工作状况，相同的工艺参数不同程度的反应系统的工作状况。以本实施例的多通道焊点振动响应信号为例，多通道数据由不同位置的传感器采集，虽然信号性质相同，均为振动响应信号，但由于传感器位置不同，各通道信号对于焊点熔核质量的反应程度不同，越靠近焊点的传感器对于熔核质量的反应能力越强，远离焊点的传感器采集的信号会因为传输过程中的能量损失等因素降低对熔核质量的反应能力。因此需要提取各通道数据的潜在真实空间关系并为其分配合理的权重以表示不同通道对于熔核质量的表达能力。
如图3所示，本实施例的真实空间注意力单元包括全局平均池化层、全局标准差池化层、多层感知机和残差连接块；全局平均池化层和全局标准差池化层分别用于对输入的多通道信号进行编码并得到两组聚合特征，两组聚合特征分别通过多层感知机挖掘各通道数据隐藏的空间关系并分别生成适应性的空间权重向量，两个空间权重向量相加后采用Softmax函数激活得到空间注意力权重向量，空间注意力权重向量通过残差连接块对原始特征图进行修正并得到真实空间特征图。
具体的，本实施例中，对于输入空间处理模块的特征图
Figure BDA0004086280350000071
xm表示第m个通道的特征图，
Figure BDA0004086280350000081
表示三维张量，H表示高度，W表示宽度，C表示通道。考虑到原始数据是振动信号，既有正值又有负值，使用传统的全局平均池化和全局最大池化会损失所有的负值数据。鉴于此，本实施例将各通道的数据分布和离散程度作为特征聚合的参数，设计了全局平均池化GAP加全局标准差池化GSP的混合池化方法，得到各通道内全局信息的两组聚合特征。即全局平均池化层和全局标准差池化层分别对输入的多通道信号进行编码并得到两组聚合特征：
Figure BDA0004086280350000082
Figure BDA0004086280350000083
其中，
Figure BDA0004086280350000084
xm表示第m个通道的特征图，
Figure BDA0004086280350000085
表示三维张量，H表示高度，W表示宽度，C表示通道；
Figure BDA0004086280350000086
分别表示全局平均池化和全局标准差池化得到的聚合特征；
Figure BDA0004086280350000087
表示第c个通道特征图的第i个数据；
Figure BDA00040862803500000815
表示第c个通道所有数据的平均值；GAP(·)和GSP(·)分别表示全局平均池化和全局标准差池化。
两组聚合特征分别通过多层感知机挖掘各通道数据隐藏的空间关系并分别生成适应性的空间权重向量，两个空间权重向量相加后采用Softmax函数激活得到空间注意力权重向量：
Figure BDA0004086280350000088
其中，wc表示c通道的权重；
Figure BDA0004086280350000089
和
Figure BDA00040862803500000810
分别表示
Figure BDA00040862803500000811
和
Figure BDA00040862803500000812
通过多层感知机生成的空间权重向量；σ(·)表示Softmax函数；MLP(·)表示多层感知机。
为了避免过度修正，引入残差连接，将对应通道的权重wc与对应的通道的特征图xc执行Hadamard积，以对不同通道信号进行修正，得到真实空间特征图：
Figure BDA00040862803500000813
其中，
Figure BDA00040862803500000814
表示c通道的真实空间特征图。
1.2、时序短序列注意力单元
本实例使用的振动响应信号是典型的时序周期信号，时序短时间范围内的振动变化趋势蕴含焊点熔核质量信息，提取这些变化趋势的潜在特征有助于模型学习更多的特征表示以提高检测结果的准确性，而过度关注短范围信息又会丧失对于整段时序数据的整体把握，鉴于此，采用数据嵌入的方式对真实空间特征图进行较为柔和的修正。
如图4所示，本实施例的时序短序列注意力单元包括用于分别在不同空间尺度上执行操作的两条支路；第一条支路依次对输入的真实空间特征图进行平均池化和下采样操作，在进行平均池化后采用不规则padding使池化后的特征图的尺寸保持不变，在进行下采样后对得到的隐藏空间特征图进行线性插值以扩张尺寸至原始空间尺寸，得到插值特征图；利用残差连接将插值特征图与真实空间特征图进行元素级求和并使用激活函数生成时序短序列注意力权重矩阵。第二条支路在原始空间尺度对真实空间特征图执行卷积操作，以提取真实空间特征图的特征信息并生成原始尺度特征图；利用时序短序列注意力权重矩阵修正原始尺度特征图，得到时序短序列注意力单元的输出；
具体的，时序短序列注意力单元的第一条支路的原理为：
对于输入的真实空间特征图
Figure BDA0004086280350000091
首先使用1×k的核对原始特征图进行平均池化以聚合短范围特征，并采用不规则padding保证池化后特征图的尺寸保持不变。然后使用1×k的卷积核进一步提取高级特征，但不再使用padding，得到隐藏空间特征图：
Figure BDA0004086280350000092
W′＝(W-k)+1
其中，h表示隐藏空间特征图；hm表示隐藏空间特征图中的第m个通道的特征图。
此时高度H与原始特征图尺寸相同，而宽度W由于不均匀核卷积操作被压缩为W′。由于隐藏空间特征图尺寸发生变化，无法直接嵌入，因此沿W′维度均匀线性插值至原始空间尺寸，得到插值特征图：
Figure BDA0004086280350000093
其中，Y表示插值特征图；ym表示插值特征图中第m个通道的特征图；
利用残差连接将插值特征图与真实空间特征图进行元素级求和，将隐藏空间提取的修正值嵌入到真实空间特征图中，并使用激活函数生成时序短序列注意力权重矩阵：
Figure BDA0004086280350000094
其中，w表示时序短序列注意力权重矩阵；σ(·)表示Sigmoid激活函数。
时序短序列注意力单元的第二条支路的原理为：
第二条支路在原始空间尺度对真实空间特征图执行1×1卷积操作，提取原始输入的特征信息，生成原始尺度特征图
Figure BDA0004086280350000095
Figure BDA0004086280350000101
其中，k表示卷积核的尺寸；ω表示卷积核权重向量，p表示真实空间特征图
Figure BDA00040862803500001013
中的第p个元素；s表示卷积得到的原始尺度特征图
Figure BDA0004086280350000102
中的第s个元素。
使用时序短序列注意力权重矩阵w修正原始尺度特征图
Figure BDA00040862803500001014
得到时序短序列注意力单元的最终输出：
Figure BDA0004086280350000103
其中，Z1表示时序短序列注意力单元的输出；
Figure BDA00040862803500001015
表示Hadamard积。
1.3、全局时间上下文注意力单元
全局时间上下文注意力单元的结构如图5所示。全局时间上下文注意力单元采用双支路设计，两支路结构相同，分别执行采集和分配任务，即分别用于提取其余信号对信号i的影响和信号i对其余信号的影响。
为保证信息采集和分配的公平性并尽可能降低计算开销，输入全局时间上下文注意力单元的特征图
Figure BDA0004086280350000104
被两个1×1卷积压缩通道数至原来的一半，得到信息采集特征图
Figure BDA0004086280350000105
和信息分配特征图
Figure BDA0004086280350000106
并分别送入信息采集支路和信息分配支路。
具体的，信息采集支路对信息采集特征图执行1×1卷积将通道数扩张至H×W，得到第一全局时间注意矩阵w1，此时通道表示各点彼此间的影响程度。具体而言，则对于信号i，第j个通道特征图上i位置的值表示信号j对信号i的影响程度
Figure BDA0004086280350000107
Figure BDA0004086280350000108
其中，Conv1×1表示1×1卷积操作；
Figure BDA0004086280350000109
表示信息采集特征图；
然后执行reshape操作以调整第一全局时间注意矩阵的尺寸，使用Hadamard积将信号间相互影响的权重分配到信息采集特征图以对信息采集特征图进行修正，得到信息采集支路的输出结果
Figure BDA00040862803500001010
且；
Figure BDA00040862803500001011
其中，
Figure BDA00040862803500001012
表示所有信息采集特征图组成的矩阵。
信息分配支路的结构和流程与信息采集支路完全相同。具体的，信息分配支路对信息分配特征图执行1×1卷积将通道数扩张至H×W，得到第二全局时间注意矩阵w2，则对于信号i，第j个通道特征图上i位置的值表示信号j对信号i的影响程度
Figure BDA0004086280350000111
Figure BDA0004086280350000112
其中，Conv1×1表示1×1卷积操作；
Figure BDA0004086280350000113
表示信息分配特征图；
执行reshape操作以调整第二全局时间注意矩阵的尺寸、并使用Hadamard积将信号间相互影响的权重分配到信息分配特征图以对信息分配特征图进行修正，得到信息分配支路的输出结果
Figure BDA0004086280350000114
且；
Figure BDA0004086280350000115
其中，
Figure BDA0004086280350000116
表示所有信息分配特征图组成的矩阵。
最后将信息采集支路和信息分配支路修正后的特征图沿通道维度进行拼接，得到全局时间上下文注意力单元的输出
Figure BDA0004086280350000117
为：
Figure BDA0004086280350000118
其中，Z2表示全局时间上下文注意力单元的输出；F1表示信息采集支路的输出；F2表示信息分配支路的输出；
Figure BDA0004086280350000119
表示沿通道维度的拼接操作。
这种采集与分配双向映射操作可以互补的编码不同位置的相关性信息，充分挖掘全局信号远程上下文之间的隐藏特征，实现全局时间上下文注意力。
并行的时序短序列注意力单元和全局时间上下文注意力单元处理完毕后分别得到注意力图Z1和Z2，沿通道维度将两者拼接得到时间处理模块的最终输出结果，也即为真实时空注意力模块的最终输出结果：
Figure BDA00040862803500001110
其中，Z表示时间处理模块的输出；Z1表示时序短序列注意力单元的输出。
1.4、应用
本实施例的真实时空注意力模块在焊点熔核质量检测中的应用，将真实时空注意力模块嵌入卷积神经网络构建智能检测模型，以此实现焊点熔核质量的智能检测。如图6所示，本实例选用残差网络ResNet作为基础模型，将真实时空注意力模块嵌入在ResNet的残差块之前进行前处理特征提取。
二、实验验证
为充分测试真实时空注意力模块(TSA)性能，基于焊点熔核质量数据集(RSW)，设计了多组实验测试模块整体性能，最后基于东北大学SEU公开数据集测试TSA的通用性。
2.1、数据集和实验设置
实验所用的焊点熔核质量数据集(RSW)基于多通道焊点熔核质量振动响应信号制作，包含焊瘤，烧穿，虚焊，裂纹和正常五种类别各2800组样本，每个样本长度1024，对应真实时间1秒，并按照5:1:1的比例划分训练集、测试集和验证集。
东北大学SEU公开数据集由两个子数据集组成，分别为齿轮箱故障数据集SEU-G和轴承故障数据集SEU-B。齿轮箱故障数据集SEU-G包含正常、缺齿、齿面磨损、齿根裂纹和齿形损坏五种类别；轴承故障数据集SEU-B包含正常、滚子磨损、外圈磨损、内圈磨损和复合磨损五种类别。采用大小为1024的滑动窗口分割数据，得到14000组样本，并按照5:1:1的比例划分训练集、测试集和验证集。
智能检测模型训练过程中，Batch size设置为128，Learning rate设置为0.01，使用Kaiming初始化模型权重并设置权重衰减0.0005避免模型过拟合，使用CrossEntropy损失函数和Adam优化算法迭代优化模型，训练迭代次数epochs设置为100次。
实验使用的智能检测神经网络基于PyTorch深度学习框架编写，在配置NvidiaRTX 3080GPU的服务器上运行。
2.2、实验结果
采用传统的ResNet、DenseNet、VGG和AlexNet作为基础模型，并嵌入TSA在RSW数据集进行对比试验，实验结果如表1所示。
表1TSA整体性能
Figure BDA0004086280350000121
表1中，TSA行的“-”表示模型中没有嵌入TSA模块，“+”号表示模型中嵌入有TSA模块。可以看出，嵌入TSA模块能够在不同程度上提高原始模型的精度，其中嵌入TSA模块的ResNet模型精度最高，达到96.35％，ResNet+TSA智能检测模型在焊点熔核质量数据集验证得到的混淆矩阵见图7。且其他经典模型嵌入TSA模块后也可获得更高的准确率，充分证明了TSA模块的性能。
为验证TSA的通用性，仍采用上述四种传统模型作为基础模型，每种模型分为嵌入TSA和不嵌入TSA两种，而后在SEU-G和SEU-B数据集进行对比实验，实验结果如表2所示。
表2TSA通用性能
Figure BDA0004086280350000131
从表2中可以明显看出所有基础模型嵌入TSA后在SEU-G和SEU-B数据集均取得了更高的精度，充分证明了TSA模块的良好通用性。
三、结论
针对焊点熔核质量智能检测任务设计的TSA模块能够有效提升基础模型性能，嵌入TSA模块的ResNet模型的预测准确率达到96.35％，且参数量较小，能够部署在企业生产线上实现准确快速的焊点熔核质量检测，提高自动化程度，降低人力成本。另外，TSA模块具有良好的通用性，能够灵活嵌入不同的基础模型并用于其他领域。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (10)

1.一种真实时空注意力模块，其特征在于：包括空间处理模块和时间处理模块；
所述空间处理模块包括用于挖掘多通道数据潜在的真实空间关联信息的真实空间注意力单元，所述真实空间注意力单元包括全局平均池化层、全局标准差池化层、多层感知机和残差连接块；所述全局平均池化层和全局标准差池化层分别用于对输入的多通道信号进行编码并得到两组聚合特征，两组聚合特征分别通过所述多层感知机挖掘各通道数据隐藏的空间关系并分别生成适应性的空间权重向量，两个空间权重向量相加后采用Softmax函数激活得到空间注意力权重向量，所述空间注意力权重向量通过所述残差连接块对原始特征图进行修正并得到真实空间特征图；
所述时间处理模块包括并联的时序短序列注意力单元和全局时间上下文注意力单元；
所述时序短序列注意力单元包括用于分别在不同空间尺度上执行操作的两条支路；第一条支路依次对输入的真实空间特征图进行平均池化和下采样操作，在进行平均池化后采用不规则padding使池化后的特征图的尺寸保持不变，在进行下采样后对得到的隐藏空间特征图进行线性插值以扩张尺寸至原始空间尺寸，得到插值特征图；利用残差连接将插值特征图与真实空间特征图进行元素级求和并使用激活函数生成时序短序列注意力权重矩阵；第二条支路在原始空间尺度对真实空间特征图执行卷积操作，以提取真实空间特征图的特征信息并生成原始尺度特征图；利用时序短序列注意力权重矩阵修正原始尺度特征图，得到时序短序列注意力单元的输出；
所述全局时间上下文注意力单元包括并列设置信息采集支路和信息分配支路；所述全局时间上下文注意力单元分别采用两个卷积操作压缩真实空间特征图的通道数至原来的一半，并分别得到信息采集特征图和信息分配特征图；所述信息采集支路依次对所述信息采集特征图执行卷积操作和reshape操作；执行卷积操作后，所述信息采集特征图的通道数扩张至等于其高度和宽度的乘积，得到第一全局时间注意矩阵；执行reshape操作以调整第一全局时间注意矩阵的尺寸、并使用Hadamard积将信号间相互影响的权重分配到信息采集特征图以对信息采集特征图进行修正，得到信息采集支路的输出结果；所述信息分配支路依次对所述信息分配特征图执行卷积操作和reshape操作；执行卷积操作后，所述信息分配特征图的通道数扩张至等于其高度和宽度的乘积，得到第二全局时间注意矩阵；执行reshape操作以调整第二全局时间注意矩阵的尺寸、并使用Hadamard积将信号间相互影响的权重分配到信息分配特征图以对信息分配特征图进行修正，得到信息分配支路的输出结果；
沿通道维度拼接信息采集支路的输出结果和信息分配支路的输出结果得到所述全局时间上下文注意力单元的输出；沿通道维度拼接所述时序短序列注意力单元的输出和所述全局时间上下文注意力单元的输出得到所述时间处理模块的输出。
2.根据权利要求1所述的真实时空注意力模块，其特征在于：所述真实空间注意力单元的原理为：
所述全局平均池化层和全局标准差池化层分别对输入的多通道信号进行编码并得到两组聚合特征：
Figure FDA0004086280340000021
Figure FDA0004086280340000022
其中，
Figure FDA0004086280340000023
xm表示第m个通道的特征图，
Figure FDA0004086280340000024
表示三维张量，H表示高度，W表示宽度，C表示通道；
Figure FDA0004086280340000025
分别表示全局平均池化和全局标准差池化得到的聚合特征；
Figure FDA0004086280340000026
表示第c个通道特征图的第i个数据；
Figure FDA0004086280340000027
表示第c个通道所有数据的平均值；GAP(·)和GSP(·)分别表示全局平均池化和全局标准差池化；
两组聚合特征分别通过所述多层感知机挖掘各通道数据隐藏的空间关系并分别生成适应性的空间权重向量，两个空间权重向量相加后采用Softmax函数激活得到空间注意力权重向量：
Figure FDA0004086280340000028
其中，wc表示c通道的权重；
Figure FDA0004086280340000029
和
Figure FDA00040862803400000210
分别表示
Figure FDA00040862803400000211
和
Figure FDA00040862803400000212
通过多层感知机生成的空间权重向量；σ(·)表示Softmax函数；MLP(·)表示多层感知机；
引入残差连接，将对应通道的权重与对应的通道的特征图执行Hadamard积，以对不同通道信号进行修正，得到真实空间特征图：
Figure FDA00040862803400000213
其中，
Figure FDA00040862803400000214
表示c通道的真实空间特征图。
3.根据权利要求1所述的真实时空注意力模块，其特征在于：所述时序短序列注意力单元的第一条支路的原理为：
对于输入的真实空间特征图
Figure FDA00040862803400000215
首先使用1＝k的核对原始特征图进行平均池化以聚合短范围特征，并采用不规则padding保证池化后特征图的尺寸保持不变；然后使用1×k的卷积核进一步提取高级特征，得到隐藏空间特征图：
Figure FDA0004086280340000031
W′＝(W-k)+1
其中，h表示隐藏空间特征图；hm表示隐藏空间特征图中的第m个通道的特征图；
沿W′维度均匀线性插值至原始空间尺寸，得到插值特征图：
Figure FDA0004086280340000032
其中，Y表示插值特征图；ym表示插值特征图中第m个通道的特征图；
利用残差连接将插值特征图与真实空间特征图进行元素级求和，将隐藏空间提取的修正值嵌入到真实空间特征图中，并使用激活函数生成时序短序列注意力权重矩阵：
Figure FDA0004086280340000033
其中，w表示时序短序列注意力权重矩阵；σ(·)表示Sigmoid激活函数。
4.根据权利要求3所述的真实时空注意力模块，其特征在于：所述时序短序列注意力单元的第二条支路的原理为：
第二条支路在原始空间尺度对真实空间特征图执行1×1卷积操作，提取原始输入的特征信息，生成原始尺度特征图
Figure FDA0004086280340000034
Figure FDA0004086280340000035
其中，k表示卷积核的尺寸；ω表示卷积核权重向量，p表示真实空间特征图
Figure FDA0004086280340000036
中的第p个元素；s表示卷积得到的原始尺度特征图
Figure FDA0004086280340000037
中的第s个元素。
5.根据权利要求3所述的真实时空注意力模块，其特征在于：所述时序短序列注意力单元的输出为：
Figure FDA0004086280340000038
其中，Z1表示时序短序列注意力单元的输出；
Figure FDA0004086280340000039
表示Hadamard积。
6.根据权利要求1所述的真实时空注意力模块，其特征在于：所述全局时间上下文注意力单元分别采用两个1×1卷积操作压缩真实空间特征图
Figure FDA00040862803400000310
的通道数至原来的一半，并分别得到信息采集特征图
Figure FDA00040862803400000311
和信息分配特征图
Figure FDA00040862803400000312
7.根据权利要求6所述的真实时空注意力模块，其特征在于：所述信息采集支路对信息采集特征图执行1×1卷积将通道数扩张至H×W，得到第一全局时间注意矩阵w1，则对于信号i，第j个通道特征图上i位置的值表示信号j对信号i的影响程度
Figure FDA0004086280340000041
Figure FDA0004086280340000042
其中，Conv1×1表示1×1卷积操作；
Figure FDA0004086280340000043
表示信息采集特征图；
执行reshape操作以调整第一全局时间注意矩阵的尺寸、并使用Hadamard积将信号间相互影响的权重分配到信息采集特征图以对信息采集特征图进行修正，得到信息采集支路的输出结果
Figure FDA0004086280340000044
且；
Figure FDA0004086280340000045
其中，
Figure FDA0004086280340000046
表示所有信息采集特征图组成的矩阵。
8.根据权利要求6所述的真实时空注意力模块，其特征在于：所述信息分配支路对信息分配特征图执行1×1卷积将通道数扩张至H×W，得到第二全局时间注意矩阵w2，则对于信号i，第j个通道特征图上i位置的值表示信号j对信号i的影响程度
Figure FDA0004086280340000047
Figure FDA0004086280340000048
其中，Conv1×1表示1×1卷积操作；
Figure FDA0004086280340000049
表示信息分配特征图；
执行reshape操作以调整第二全局时间注意矩阵的尺寸、并使用Hadamard积将信号间相互影响的权重分配到信息分配特征图以对信息分配特征图进行修正，得到信息分配支路的输出结果
Figure FDA00040862803400000410
且；
Figure FDA00040862803400000411
其中，
Figure FDA00040862803400000412
表示所有信息分配特征图组成的矩阵。
9.根据权利要求6所述的真实时空注意力模块，其特征在于：所述全局时间上下文注意力单元的输出
Figure FDA00040862803400000413
为：
Figure FDA00040862803400000414
其中，Z2表示全局时间上下文注意力单元的输出；F1表示信息采集支路的输出；F2表示信息分配支路的输出；
Figure FDA00040862803400000415
表示沿通道维度的拼接操作；
所述时间处理模块的输出为：
Figure FDA00040862803400000416
其中，Z表示时间处理模块的输出；Z1表示时序短序列注意力单元的输出。
10.一种真实时空注意力模块在焊点熔核质量检测中的应用，其特征在于：将如权利要求1-9任一项所述的真实时空注意力模块嵌入卷积神经网络以构建智能检测模型，利用所述智能检测模型检测焊点熔核质量。
CN202310137106.5A 2023-02-20 2023-02-20 真实时空注意力模块及其在焊点熔核质量检测中的应用 Pending CN116050477A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310137106.5A CN116050477A (zh) 2023-02-20 2023-02-20 真实时空注意力模块及其在焊点熔核质量检测中的应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310137106.5A CN116050477A (zh) 2023-02-20 2023-02-20 真实时空注意力模块及其在焊点熔核质量检测中的应用

Publications (1)

Publication Number Publication Date
CN116050477A true CN116050477A (zh) 2023-05-02

Family

ID=86121944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310137106.5A Pending CN116050477A (zh) 2023-02-20 2023-02-20 真实时空注意力模块及其在焊点熔核质量检测中的应用

Country Status (1)

Country Link
CN (1) CN116050477A (zh)

Similar Documents

Publication Publication Date Title
He et al. Digital twin-driven remaining useful life prediction for gear performance degradation: A review
CN110045608B (zh) 基于数字孪生的机械设备零部件结构参数动态优化方法
Lei et al. Mutual information based anomaly detection of monitoring data with attention mechanism and residual learning
CN112507915B (zh) 一种基于振动响应信息的螺栓连接结构松动状态识别方法
CN109670580A (zh) 一种基于时间序列的数据修复方法
CN114048600A (zh) 一种数字孪生驱动的多模型融合工业系统异常检测方法
CN112762362A (zh) 基于卷积神经网络的水下管道泄漏声发射检测方法
CN115238394B (zh) 复合材料结构多源不确定性混合可靠性数字孪生建模方法
CN110716012B (zh) 一种基于现场总线网络的油气浓度智能监测系统
CN111199072B (zh) 基于在线工艺库自学习的全铝车身铆接系统及其实现方法
CN114548375B (zh) 基于双向长短期记忆神经网络的斜拉桥主梁动挠度监测方法
CN104234695A (zh) 一种基于神经网络的油井故障诊断方法
CN112613118A (zh) 火箭发动机内部不可测装配质量数字孪生建模与追溯方法
CN117009916A (zh) 基于多传感器信息融合与迁移学习的促动器故障诊断方法
CN112347531B (zh) 一种脆性大理石三维裂纹扩展路径预测方法及系统
CN116382100B (zh) 一种油气管道检测控制系统及控制方法
Huang et al. Physics-guided deep neural network for structural damage identification
CN108537791B (zh) 一种基于机器视觉的冲压件冲孔在线检测方法
CN117910120A (zh) 基于轻量化Transformer的风-桥系统抖振响应预测方法
CN116894180B (zh) 一种基于异构图注意力网络的产品制造质量预测方法
CN107273595B (zh) 基于emd-ga的汽车排气系统金属波纹管形变参数动态跟踪方法
CN116050477A (zh) 真实时空注意力模块及其在焊点熔核质量检测中的应用
CN113283138A (zh) 一种基于深度学习的深海养殖平台动力响应分析方法
Wang et al. GTFE-Net-BiLSTM-AM: An intelligent feature recognition method for natural gas pipelines
CN115356400B (zh) 一种基于BiLSTM的超声波木材无损检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination