CN115392360B - 基于Transformer的大型桥梁温度-响应相关模式识别与健康诊断方法 - Google Patents

Abstract

本发明提出基于Transformer的大型桥梁温度‑响应相关模式识别与健康诊断方法。所述方法具体包括：步骤一：建立温度作用编码器；步骤二：建立结构响应解码器；步骤三：对数据集进行掩码处理，避免模型过拟合；步骤四：训练由温度作用编码器和结构响应解码器组成的Transformer模型，根据结构响应重构误差进行桥梁结构健康诊断。本发明所述方法根据温度‑温致响应之间存在的时空相关性特点，建立了温度作用编码器和结构响应解码器模型，使其不仅能够表达温度与温致响应之间的相关性，也能够表达不同位置响应与响应之间的相关性，进一步提高了预测准确度。

Description

基于Transformer的大型桥梁温度-响应相关模式识别与健康诊断方法

技术领域

本发明属于结构健康监测技术领域，特别是涉及基于Transformer的大型桥梁温度-响应相关模式识别与健康诊断方法。

背景技术

桥梁是我国基础设施建设和国民经济发展的重要组成部分，目前我国的桥梁数量及规模均跃居世界前列。桥梁结构在长达上百年服役期内不可避免地遭受环境侵蚀、材料老化、疲劳荷载、灾害及突发事件等复杂因素的耦合作用，会形成混凝土剥落、混凝土裂缝、钢筋暴露、拉索腐蚀剥落、钢结构疲劳裂纹等多类型损伤，而桥梁结构损伤的出现和发展将导致桥梁结构发生内力重分布。在相同车辆荷载和结构参数的作用下，桥梁结构不同类型响应之间以及同类响应的不同测点之间必然存在力学相关性，如果结构发生损伤，在相同车辆荷载作用下的桥梁结构响应之间的相关性就会发生改变，利用这种相关性的变化即可以推断桥梁结构的健康状态。

然而，尽管上述方法在理论上确实可行，但要做到在实际复杂工况下保证车辆荷载精确一致是非常困难的。首先，目前车辆荷载的测量一般基于桥梁两侧的动态称重系统，车辆在大型桥梁上的行驶过程往往会变道，这就导致无法获得车辆荷载在桥梁上的准确空间分布。其次，虽然车辆荷载在一定周期内会显示出一定的规律(如每天、每周、每年的统计规律基本相似)，但是这种相似是统计意义下的相似，无法做到时刻精准相同，因此会带来不同训练集和测试集的车辆荷载并不是严格相同的。正是由于以上两点原因，导致车辆荷载这一外因无法保证能够准确获得并保持一致，那么基于桥梁结构响应相关性进行状态评估和健康诊断的思路在实际应用过程中就会产生较大误差。

除车辆荷载外，桥梁结构的另一显著影响因素是环境温度。环境温度对桥梁结构会产生温度作用(热胀冷缩)，特别是在长时间尺度下更加显著(比如以1年时间为例，冬季气温下降、结构收缩，夏季气温上升、结构膨胀，都会产生温度作用响应)。已有研究表明，桥梁结构温度变化会影响结构模态参数，并且这种影响可能掩盖由结构损伤引起的模态参数变化。因此，研究桥梁结构温度与温致响应之间的相关模式、并基于温度与响应之间的相关模型进行桥梁结构健康诊断，具有重要意义。

桥梁温度场分布受大气温度变化、太阳光辐射、风速、降水等自然因素影响，并与桥梁湿度、桥梁构造等因素有关。特别是对于斜拉桥悬索桥等大型桥梁结构，其升温与降温过程长达数小时，桥梁温度场变化历程的差异会产生温致响应，并且温致响应与温度之间存在时滞及非线性现象，这给直接进行桥梁结构温度与温致响应之间的相关性建模带来了困难。

以斜拉桥钢箱梁应变为例，相关研究表明，温度-应变的变化规律呈环状，即升温过程与降温过程中相同的温度会对应着不同的应变，表明响应与温度之间存在时滞现象；此外，不同时间段的温度-应变的时滞变化规律不尽相同，相同的温度对应着多种不同的应变，即应变与温度之间的关系呈现非线性特征。

考虑到桥梁结构响应与温度的变化规律存在着时滞和非线性特点，进行温度-温致响应的相关性建模需要考虑时序信息；此外，桥梁结构在温度场中是一个变形协调的整体，如果能考虑更多不同空间位置的温度，就更能准确地利用桥梁温度场的空间分布信息，就能提高温致响应的预测精度，即温度-温致响应的相关性建模需要考虑空间信息。因此，温度-温致响应的相关性模型应该具有表达温度-温致响应之间所存在的时空相关关系的能力。

目前，长短期记忆(LSTM)网络可以考虑时空相关性，但由于递归算法只能按顺序从左向右或从右到左依次计算，因此在时间步t的计算结果非常依赖在时间步t-1时刻的计算结果，这就限制了模型的并行能力，导致该类网络的计算效率偏低；另一方面，递归神经网络两步之间的计算量随着距离的增加而线性或对数地增加，在上述顺序计算过程中可能存在信息丢失现象。尽管门控单元在一定程度上缓解了长时间步计算引发的梯度爆炸或梯度消失问题，但是对于时间步特别长的情况(如长达1年)，门控单元依旧无能为力。

发明内容

本发明目的是为了解决现有技术中的问题，提供了基于Transformer的大型桥梁温度-响应相关模式识别与健康诊断方法。

本发明是通过以下技术方案实现的，本发明提出基于Transformer的大型桥梁温度-响应相关模式识别与健康诊断方法，所述方法具体包括：

步骤一：建立温度作用编码器；

步骤二：建立结构响应解码器；

步骤三：对数据集进行掩码处理，避免模型过拟合；

步骤四：训练由温度作用编码器和结构响应解码器组成的Transformer模型，根据结构响应重构误差进行桥梁结构健康诊断。

进一步地，所述步骤一具体包括以下步骤：

步骤一一：将温度作用监测数据时程进行等长度采样，每段时程数据的长度均为L，作为温度作用的嵌入表示；考虑全桥共有N个温度传感器，作为输入数据的N个维度，则一个温度作用的样本大小为N×L；

步骤一二：考虑温度作用输入时程的位置信息，在原始时程的基础上叠加位置信息编码、保留位置信息，实现对一个序列中不同元素相对和绝对位置的感知，作为温度作用编码器的输入；

步骤一三：建立温度作用编码器，由M个相同的基本单元串接组成，每个基本单元依次由多头注意力机制、第一残差连接正则化、全连接前馈神经网络、第二残差连接正则化这四个模块构成。

进一步地，步骤一二中温度作用监测数据时程的位置编码方法具体为：

考虑到温度作用输入序列的长度为固定值L，因此采用沿序列长度进行等间距位置编码，即一个位置编码向量中共有L个编码元素，如此，温度作用输入序列的每一个时间步都匹配了独一无二的位置编码，并且对于任意两个距离相等的时间步，其位置编码的差值也保持一致；位置编码与温度作用时程的结合方式为按传感器通道方向进行拼接，即相当于给N个通道的温度作用时程又增加了一维位置信息，最终，编码器的输入信息由维度为N、长度为L的温度作用时程矩阵转化为维度为N+1、长度为L的温度作用时程及其位置编码综合矩阵。

进一步地，步骤一三中多头注意力机制的计算方法具体为：

MultiHead(Q,K,V)＝Concat([head_i])W^O

head_i＝Attention(Q_i,K_i,V_i)

Q_i＝XW_i ^Q,K_i＝XW_i ^K,V_i＝XW_i ^V

式中，MultiHead代表多头注意力运算，Concat表示拼接运算，Attention表示注意力运算，W^O表示输出权重矩阵；Q,K,V分别表示查询矩阵、键矩阵、值矩阵，均由温度作用输入矩阵X经过线性变换得到，线性变换矩阵分别为W^Q,W^K,W^V，d_k表示查询矩阵和键矩阵的维度值；i表示多头注意力运算的第i个头，即为多头注意力运算的下标索引。

进一步地，步骤一三中第一残差连接正则化和第二残差连接正则化相似，为在多头注意力机制模块或全连接前馈神经网络输出的基础上叠加原始输入，有助于避免梯度消失，具体计算方法为：

O←O+MultiHead(O),O←O+FeedForward(O)

式中，O表示经过残差连接正则化模块的原始输入，MultiHead和FeedForward分别对应多头注意力机制模块和全连接前馈神经网络模块，←表示在多头注意力机制模块或全连接前馈神经网络输出的基础上叠加原始输入O，即表示残差连接；

表示第l层第i个隐节点值，H表示第l层隐节点数量，μ^l为第l层均值，σ^l为第l层方差，

为第l层第i个隐节点值归一化后的值，ε为避免出现分母为零的超参数，h_l为经过正则化运算后的结果，g_l,b_l为待优化参数。

进一步地，步骤一三中全连接前馈神经网络为具有多个隐藏层的神经网络，控制参数包括隐藏层的层数和每层隐藏层包含的神经元数。

进一步地，所述步骤二具体包括以下步骤：

步骤二一：将结构响应监测数据时程进行等长度采样，每段时程数据的长度和温度作用编码器的输入相同，取作L，作为结构响应的嵌入表示；然后考虑结构响应时程的位置信息，即时序信息，进行位置编码，实现对一个结构响应序列中不同元素相对和绝对位置的感知，考虑全桥共有R个结构响应传感器，则解码器输入的样本维度为R+1、长度为L；

步骤二二：建立结构响应解码器，对应温度作用编码器的架构方式，也由M个相同的基本单元串接组成，每个基本单元依次由第一多头注意力机制、第一残差连接正则化、第二多头注意力机制、第二残差连接正则化、全连接前馈神经网络、第三残差连接正则化这六个模块构成；其中，结构响应解码器基本单元中的第一多头注意力机制与编码器中对多头注意力机制的规定一致；结构响应解码器基本单元中的第一、第二、第三残差连接正则化均相同，与编码器中对残差连接正则化的规定一致；结构响应解码器基本单元中的全连接前馈神经网络与编码器中对全连接前馈神经网络的规定一致；

步骤二三：单独计算结构响应解码器基本单元中的第二多头注意力机制，对于第M个解码器基本单元，采用与之对应的第M个温度作用编码器基本单元的输出作为Q和K，第M个解码器基本单元中第一残差连接正则化的输出为V，按照多头注意力机制计算方法，计算它们之间的互注意力矩阵；

步骤二四：在经过了M个解码器基本单元后，增加由编码器输出到解码器输出的残差连接，进一步增强温度作用编码器对结构响应解码器输出的影响；然后依次经过线性转换层、softmax分类层，获得结构响应时程的预测结果，完成结构响应的解码过程；其中，新增残差连接与编码器中对残差连接的规定一致。

进一步地，所述步骤三具体包括以下步骤：

步骤三一：以某一段序列数据“ABCDE”为例，随机选取序列中一定比例的元素；

步骤三二：以元素“E”为例，如果“E”被选中，以P1的概率用一个确定元素“X”代替“E”，即“ABCDE”变为“ABCDX”；以P2的概率用一个随机元素R代替“E”，即“ABCDE”变为“ABCDR”；以P3的概率不做改变，即保留“ABCDE”；其中，三个概率的取值范围均为[0,1]，并且P1+P2+P3＝1。

进一步地，所述步骤四具体包括以下步骤：

步骤四一：采用桥梁处于健康状态下的温度作用和结构响应数据，训练由上述温度作用编码器和结构响应解码器组成的Transformer模型；

步骤四二：模型训练完毕后，采用未知健康状态的温度作用作为输入，重构桥梁结构的温致响应，如果模型的重构误差与健康状态相比增大，即说明桥梁出现了损伤；

步骤四三：通过分析桥梁结构温致响应的重构误差控制图进行桥梁健康诊断，计算健康状态下训练集误差的均值m和标准差σ，以m±3σ为上下阈值线；

步骤四四：如果桥梁处于健康状态，则重构误差有99.7％的概率落在上下阈值线范围内；如果重构误差超出阈值线，即可诊断出桥梁健康状态发生改变。

本发明的有益效果：

(1)根据温度-温致响应之间存在的时空相关性特点，建立了温度作用编码器和结构响应解码器模型，使其不仅能够表达温度与温致响应之间的相关性，也能够表达不同位置响应与响应之间的相关性，进一步提高了预测准确度；

(2)模型的非顺序结构带来了更好的并行性，更加符合现有基于GPU的并行计算框架，计算效率提高；

(3)模型是基于注意力机制建立的，除了可以考虑变量在不同时间步之间的相关性，还将序列中任意两个位置之间的距离缩小为常量，解决了长时间步计算引发的梯度爆炸或梯度消失问题，对于任意长的时间步依然适用；

(4)模型在任意两个时间步之间的计算量与距离无关、为定值，但是需要平均不同位置的注意力权重、由此可能会降低分辨率，为此特别设计了多头注意力模块来尽量抵消该负面作用，保证在实现任意长时间步相关性建模的同时也保证较高的准确率。

附图说明

图1是基于Transformer的大型桥梁温度-响应相关模式识别与健康诊断方法流程图。

图2是温度作用编码器架构示意图。

图3是温度作用位置编码示意图。

图4是结构响应解码器架构示意图。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明所提模型考虑的是温度效应、不含车辆荷载作用引起的车致项，即所识别出的温度作用-温致结构响应的相关模式与外荷载无关、仅与结构参数有关。如果桥梁发生损伤，桥梁自身将发生内力重分布，导致温度作用-温致结构响应之间的相关模式发生改变。因此，通过识别桥梁温度作用与温致响应的相关模式，从而诊断桥梁结构的健康状态。本发明提出的基于Transformer的大型桥梁温度-响应相关模式识别与健康诊断方法流程图如图1所示。

结合图1-图4，本发明提出基于Transformer的大型桥梁温度-响应相关模式识别与健康诊断方法，所述方法具体包括：

步骤一：建立温度作用编码器；

步骤二：建立结构响应解码器；

步骤三：对数据集进行掩码处理，避免模型过拟合；

步骤四：训练由温度作用编码器和结构响应解码器组成的Transformer模型，根据结构响应重构误差进行桥梁结构健康诊断。

所述步骤一建立温度作用编码器，学习温度作用的深度表示，具体包括以下步骤：

步骤一一：将温度作用监测数据时程进行等长度采样，每段时程数据的长度均为L，作为温度作用的嵌入表示；考虑全桥共有N个温度传感器，作为输入数据的N个维度，则一个温度作用的样本大小为N×L；

步骤一二：考虑温度作用输入时程的位置信息(即时序信息)，在原始时程的基础上叠加位置信息编码、保留位置信息，实现对一个序列中不同元素相对和绝对位置的感知，作为温度作用编码器的输入；

步骤一三：建立温度作用编码器，由M个相同的基本单元串接组成，每个基本单元依次由多头注意力机制、第一残差连接正则化、全连接前馈神经网络、第二残差连接正则化这四个模块构成。温度作用编码器架构的示意图如图2所示。

步骤一二中温度作用监测数据时程的位置编码方法具体为：

考虑到温度作用输入序列的长度为固定值L，因此采用沿序列长度进行等间距位置编码(1/L,2/L,…,L-1/L,L/L)，即一个位置编码向量中共有L个编码元素，如此，温度作用输入序列的每一个时间步都匹配了独一无二的位置编码，并且对于任意两个距离相等的时间步，其位置编码的差值也保持一致；位置编码与温度作用时程的结合方式为按传感器通道方向进行拼接，即相当于给N个通道的温度作用时程又增加了一维位置信息，最终，编码器的输入信息由维度为N、长度为L的温度作用时程矩阵转化为维度为N+1、长度为L的温度作用时程及其位置编码综合矩阵。温度作用位置编码的示意图如图3所示。

步骤一三中多头注意力机制的计算方法具体为：

MultiHead(Q,K,V)＝Concat([head_i])W^O

head_i＝Attention(Q_i,K_i,V_i)

Q_i＝XW_i ^Q,K_i＝XW_i ^K,V_i＝XW_i ^V

式中，MultiHead代表多头注意力运算，Concat表示拼接运算，Attention表示注意力运算，W^O表示输出权重矩阵；Q,K,V分别表示查询矩阵、键矩阵、值矩阵，均由温度作用输入矩阵X经过线性变换得到，线性变换矩阵分别为W^Q,W^K,W^V，d_k表示查询矩阵和键矩阵的维度值；i表示多头注意力运算的第i个头，即为多头注意力运算的下标索引。

步骤一三中第一残差连接正则化和第二残差连接正则化相似，为在多头注意力机制模块或全连接前馈神经网络输出的基础上叠加原始输入，有助于避免梯度消失，具体计算方法为：

O←O+MultiHead(O),O←O+FeedForward(O)

式中，O表示经过残差连接正则化模块的原始输入，MultiHead和FeedForward分别对应多头注意力机制模块和全连接前馈神经网络模块，←表示在多头注意力机制模块或全连接前馈神经网络输出的基础上叠加原始输入O，即表示残差连接；

表示第l层第i个隐节点值，H表示第l层隐节点数量，μ^l为第l层均值，σ^l为第l层方差，

为第l层第i个隐节点值归一化后的值，ε为避免出现分母为零的超参数，h_l为经过正则化运算后的结果，g_l,b_l为待优化参数。

步骤一三中全连接前馈神经网络为具有多个隐藏层的神经网络，控制参数包括隐藏层的层数和每层隐藏层包含的神经元数，和一般神经网络的运算方法相同，不再单独做特殊说明。

所述步骤二结合温度作用的深度表示，建立结构响应解码器，学习结构响应的深度表示，具体包括以下步骤：

步骤二一：将结构响应监测数据时程进行等长度采样，每段时程数据的长度和温度作用编码器的输入相同，取作L，作为结构响应的嵌入表示；然后考虑结构响应时程的位置信息，即时序信息，进行位置编码，实现对一个结构响应序列中不同元素相对和绝对位置的感知，考虑全桥共有R个结构响应传感器，则解码器输入的样本维度为R+1、长度为L；

步骤二二：建立结构响应解码器，对应温度作用编码器的架构方式，也由M个相同的基本单元串接组成，每个基本单元依次由第一多头注意力机制、第一残差连接正则化、第二多头注意力机制、第二残差连接正则化、全连接前馈神经网络、第三残差连接正则化这六个模块构成；其中，结构响应解码器基本单元中的第一多头注意力机制与编码器中对多头注意力机制的规定一致；结构响应解码器基本单元中的第一、第二、第三残差连接正则化均相同，与编码器中对残差连接正则化的规定一致；结构响应解码器基本单元中的全连接前馈神经网络与编码器中对全连接前馈神经网络的规定一致；

步骤二三：单独计算结构响应解码器基本单元中的第二多头注意力机制，对于第M个解码器基本单元，采用与之对应的第M个温度作用编码器基本单元的输出作为Q和K，第M个解码器基本单元中第一残差连接正则化的输出为V，按照多头注意力机制计算方法，计算它们之间的互注意力矩阵；

步骤二四：在经过了M个解码器基本单元后，增加由编码器输出到解码器输出的残差连接，进一步增强温度作用编码器对结构响应解码器输出的影响；然后依次经过线性转换层、softmax分类层，获得结构响应时程的预测结果，完成结构响应的解码过程；其中，新增残差连接与编码器中对残差连接的规定一致。结构响应解码器架构的示意图如图4所示。

所述步骤三具体包括以下步骤：

步骤三一：以某一段序列数据“ABCDE”为例，随机选取序列中一定比例的元素；

步骤三二：以元素“E”为例，如果“E”被选中，以P1的概率用一个确定元素“X”代替“E”，即“ABCDE”变为“ABCDX”；以P2的概率用一个随机元素R代替“E”，即“ABCDE”变为“ABCDR”；以P3的概率不做改变，即保留“ABCDE”；其中，三个概率的取值范围均为[0,1]，并且P1+P2+P3＝1。

所述步骤四具体包括以下步骤：

步骤四一：采用桥梁处于健康状态下的温度作用和结构响应数据，训练由上述温度作用编码器和结构响应解码器组成的Transformer模型；

步骤四二：模型训练完毕后，采用未知健康状态的温度作用作为输入，重构桥梁结构的温致响应，如果模型的重构误差与健康状态相比增大，即说明桥梁出现了损伤；

步骤四三：通过分析桥梁结构温致响应的重构误差控制图进行桥梁健康诊断，计算健康状态下训练集误差的均值m和标准差σ，以m±3σ为上下阈值线；

步骤四四：如果桥梁处于健康状态，则重构误差有99.7％的概率落在上下阈值线范围内；如果重构误差超出阈值线，即可诊断出桥梁健康状态发生改变。

以上对本发明所提出的基于Transformer的大型桥梁温度-响应相关模式识别与健康诊断方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (5)

1.基于Transformer的大型桥梁温度-响应相关模式识别与健康诊断方法，其特征在于，所述方法具体包括：

步骤一：建立温度作用编码器；

步骤二：建立结构响应解码器；

步骤三：对数据集进行掩码处理，避免模型过拟合；

步骤四：训练由温度作用编码器和结构响应解码器组成的Transformer模型，根据结构响应重构误差进行桥梁结构健康诊断；

所述步骤一具体包括以下步骤：

步骤一一：将温度作用监测数据时程进行等长度采样，每段时程数据的长度均为L，作为温度作用的嵌入表示；考虑全桥共有N个温度传感器，作为输入数据的N个维度，则一个温度作用的样本大小为N×L；

步骤一二：考虑温度作用输入时程的位置信息，在原始时程的基础上叠加位置信息编码、保留位置信息，实现对一个序列中不同元素相对和绝对位置的感知，作为温度作用编码器的输入；

步骤一三：建立温度作用编码器，由M个相同的基本单元串接组成，每个基本单元依次由多头注意力机制、第一残差连接正则化、全连接前馈神经网络、第二残差连接正则化这四个模块构成；

所述步骤二具体包括以下步骤：

步骤二一：将结构响应监测数据时程进行等长度采样，每段时程数据的长度和温度作用编码器的输入相同，取作L，作为结构响应的嵌入表示；然后考虑结构响应时程的位置信息，即时序信息，进行位置编码，实现对一个结构响应序列中不同元素相对和绝对位置的感知，考虑全桥共有R个结构响应传感器，则解码器输入的样本维度为R+1、长度为L；

步骤二二：建立结构响应解码器，对应温度作用编码器的架构方式，也由M个相同的基本单元串接组成，每个基本单元依次由第一多头注意力机制、第一残差连接正则化、第二多头注意力机制、第二残差连接正则化、全连接前馈神经网络、第三残差连接正则化这六个模块构成；其中，结构响应解码器基本单元中的第一多头注意力机制与编码器中对多头注意力机制的规定一致；结构响应解码器基本单元中的第一、第二、第三残差连接正则化均相同，与编码器中对残差连接正则化的规定一致；结构响应解码器基本单元中的全连接前馈神经网络与编码器中对全连接前馈神经网络的规定一致；

步骤二三：单独计算结构响应解码器基本单元中的第二多头注意力机制，对于第M个解码器基本单元，采用与之对应的第M个温度作用编码器基本单元的输出作为Q和K，第M个解码器基本单元中第一残差连接正则化的输出为V，按照多头注意力机制计算方法，计算它们之间的互注意力矩阵；

步骤二四：在经过了M个解码器基本单元后，增加由编码器输出到解码器输出的残差连接，进一步增强温度作用编码器对结构响应解码器输出的影响；然后依次经过线性转换层、softmax分类层，获得结构响应时程的预测结果，完成结构响应的解码过程；其中，新增残差连接与编码器中对残差连接的规定一致；

所述步骤三具体包括以下步骤：

步骤三一：以某一段序列数据“ABCDE”为例，随机选取序列中一定比例的元素；

步骤三二：以元素“E”为例，如果“E”被选中，以P1的概率用一个确定元素“X”代替“E”，即“ABCDE”变为“ABCDX”；以P2的概率用一个随机元素R代替“E”，即“ABCDE”变为“ABCDR”；以P3的概率不做改变，即保留“ABCDE”；其中，三个概率的取值范围均为[0,1]，并且P1+P2+P3＝1；

所述步骤四具体包括以下步骤：

步骤四一：采用桥梁处于健康状态下的温度作用和结构响应数据，训练由上述温度作用编码器和结构响应解码器组成的Transformer模型；

步骤四二：模型训练完毕后，采用未知健康状态的温度作用作为输入，重构桥梁结构的温致响应，如果模型的重构误差与健康状态相比增大，即说明桥梁出现了损伤；

步骤四三：通过分析桥梁结构温致响应的重构误差控制图进行桥梁健康诊断，计算健康状态下训练集误差的均值m和标准差σ，以m±3σ为上下阈值线；

步骤四四：如果桥梁处于健康状态，则重构误差有99.7％的概率落在上下阈值线范围内；如果重构误差超出阈值线，即可诊断出桥梁健康状态发生改变。

2.根据权利要求1所述的方法，其特征在于，步骤一二中温度作用监测数据时程的位置编码方法具体为：

考虑到温度作用输入序列的长度为固定值L，因此采用沿序列长度进行等间距位置编码，即一个位置编码向量中共有L个编码元素，如此，温度作用输入序列的每一个时间步都匹配了独一无二的位置编码，并且对于任意两个距离相等的时间步，其位置编码的差值也保持一致；位置编码与温度作用时程的结合方式为按传感器通道方向进行拼接，即相当于给N个通道的温度作用时程又增加了一维位置信息，最终，编码器的输入信息由维度为N、长度为L的温度作用时程矩阵转化为维度为N+1、长度为L的温度作用时程及其位置编码综合矩阵。

3.根据权利要求2所述的方法，其特征在于，步骤一三中多头注意力机制的计算方法具体为：

MultiHead(Q,K,V)＝Concat([head_i])W^O

head_i＝Attention(Q_i,K_i,V_i)

Q_i＝XW_i ^Q,K_i＝XW_i ^K,V_i＝XW_i ^V

式中，MultiHead代表多头注意力运算，Concat表示拼接运算，Attention表示注意力运算，W^O表示输出权重矩阵；Q,K,V分别表示查询矩阵、键矩阵、值矩阵，均由温度作用输入矩阵X经过线性变换得到，线性变换矩阵分别为W^Q,W^K,W^V，d_k表示查询矩阵和键矩阵的维度值；i表示多头注意力运算的第i个头，即为多头注意力运算的下标索引。

4.根据权利要求3所述的方法，其特征在于，步骤一三中第一残差连接正则化和第二残差连接正则化相似，为在多头注意力机制模块或全连接前馈神经网络输出的基础上叠加原始输入，有助于避免梯度消失，具体计算方法为：

O←O+MultiHead(O),O←O+FeedForward(O)

式中，O表示经过残差连接正则化模块的原始输入，MultiHead和FeedForward分别对应多头注意力机制模块和全连接前馈神经网络模块，←表示在多头注意力机制模块或全连接前馈神经网络输出的基础上叠加原始输入O，即表示残差连接；

表示第l层第i个隐节点值，H表示第l层隐节点数量，μ^l为第l层均值，σ^l为第l层方差，

为第l层第i个隐节点值归一化后的值，ε为避免出现分母为零的超参数，h_l为经过正则化运算后的结果，g_l,b_l为待优化参数。

5.根据权利要求1所述的方法，其特征在于，步骤一三中全连接前馈神经网络为具有多个隐藏层的神经网络，控制参数包括隐藏层的层数和每层隐藏层包含的神经元数。

Images