CN111709393B - 联合卷积与循环神经网络的结构损伤识别方法 - Google Patents

Abstract

本发明公开了联合卷积与循环神经网络的结构损伤识别方法，包括：利用多个传感器采集待测目标不同位置的振动响应加速度数据；对振动响应加速度数据进行预处理形成时间序列数据矩阵；利用卷积神经网络从时间序列数据矩阵中提取空间相关性特征及短时间尺度依赖特征；利用门控循环网络基于空间相关性特征及短时间尺度依赖特征提取长时间尺度依赖性特征；利用长时间尺度依赖性特征对待测目标的损伤状态进行分类。本发明考虑监测数据在时间和空间上的联系，避免损伤状态识别中出现特征提取不足、鲁棒性差、模式分类能力较弱的情况，显著提高了结构损伤识别的精度，并能在合理的训练条件下节省更多的计算空间消耗，具有较好的计算时间和空间平衡性。

Description

联合卷积与循环神经网络的结构损伤识别方法

技术领域

本发明涉及结构损伤识别领域，具体涉及联合卷积与循环神经网络的结构损伤识别方法。

背景技术

随着公路、桥梁等基础设施建设的快速发展，我国已经步入了公路桥梁大国的行列，并且成为了世界上服役桥梁数最多的国家。然而，结构在长期运营过程中，不可避免的会受到自然环境侵蚀、人类活动以及材料老化等因素的影响，加之桥梁管理普遍存在“重建轻养”等问题，会使桥梁结构的疲劳损伤日益恶化，从而导致结构不能满足长期运营的安全性、耐用性、可维护性和可持续性等要求。由于结构规模庞大，一旦出现结构性能失效等问题将会导致重大事故，给人民财产带来不可估量的损失。因此，结构损伤识别作为结构健康监测的关键问题之一，在结构工程领域得到了广泛的应用。

当结构发生损伤的时候，其质量、刚度等结构动力参数会发生改变，结构健康监测技术通过分析结构上加速度、应变、挠度等传感器数据，对当前结构状态进行损伤识别及结构安全状态分析。然而，现有损伤识别方法通常只注重于监测数据本身数值的变化，并未关注监测数据在时间或空间上的联系，存在特征提取不足、鲁棒性差、模式分类能力较弱等问题。

因此，如何充分考虑监测数据在时间和空间上的联系，避免损伤状态识别中出现特征提取不足、鲁棒性差、模式分类能力较弱的情况，成为了本领域技术人员急需解决的问题。

发明内容

针对上述现有技术的不足，本发明实际解决的问题包括：如何充分考虑监测数据在时间和空间上的联系，避免损伤状态识别中出现特征提取不足、鲁棒性差、模式分类能力较弱的情况。

为了解决上述技术问题，本发明采用了如下的技术方案：

联合卷积与循环神经网络的结构损伤识别方法，包括：

S1、利用多个传感器采集待测目标不同位置的振动响应加速度数据；

S2、对振动响应加速度数据进行预处理形成时间序列数据矩阵；

S3、利用卷积神经网络从时间序列数据矩阵中提取空间相关性特征及短时间尺度依赖特征；

S4、利用门控循环网络基于空间相关性特征及短时间尺度依赖特征提取长时间尺度依赖性特征；

S5、利用长时间尺度依赖性特征对待测目标的损伤状态进行分类。

优选地，步骤S2中：

第i个传感器采集的振动响应加速度数据为

R表示在每一时刻加速度传感器获取的值，

表示第i个传感器在时间戳t处采集的振动响应加速度，q表示时间序列的长度；

时间序列数据矩阵为X，

表示串联操作，p表示传感器总个数，x_t∈R^p，x_t为中与时间戳t对应的列向量，R^p表示所有传感器的向量矩阵。

优选地，步骤S3中：

卷积神经网络通过卷积、池化交替作用，对X进行特征提取与降维，输出的第i层的特征图为H_i表示如下：

H_i＝f(H_i-1⊙W_i+b_i)

式中，f表示非线性的激活函数，W_i、b_i分别表示卷积神经网络在第i个卷积核的权值矩阵和偏置矩阵；⊙表示权值矩阵W_i与特征图H_i-1进行卷积操作；H₀作为第一层的输入，H₀＝X。

优选地，步骤S4中：

门控循环网络中GRU单元在t+1时刻的计算过程如下：

r_t+1＝σ(Θ_r[y_t+1,h_t]+b_r)

u_t+1＝σ(Θ_u[y_t+1,h_t]+b_u)

c_t+1＝tanh(Θ_c[y_t+1,(r_t+1⊙h_t)]+b_c)

h_t+1＝u_t+1⊙h_t+(1-u_t+1)⊙c_t+1

式中，h_t表示在t时刻迭代生成的隐含状态，也表示t+1时刻迭代的初始隐含状态；y_t+1是卷积层生成的隐含特征；h_t+1是t+1时刻生成的隐含状态；r_t+1和u_t+1是t+1时刻的重置门和更新门；Θ_r、Θ_u和Θ_c表示滤波器的学习参数，⊙表示张量的元素乘积，σ表示sigmoid函数，b_r表示重置门的偏置矩阵，b_u表示更新门的偏置矩阵，c_t+1表示候选隐含状态，b_c表示候选隐含状态的偏置矩阵，tanh表示激活函数。

本发明公开了联合卷积与循环神经网络的结构损伤识别方法，包括：利用多个传感器采集待测目标不同位置的振动响应加速度数据；对振动响应加速度数据进行预处理形成时间序列数据矩阵；利用卷积神经网络从时间序列数据矩阵中提取空间相关性特征及短时间尺度依赖特征；利用门控循环网络基于空间相关性特征及短时间尺度依赖特征提取长时间尺度依赖性特征；利用长时间尺度依赖性特征对待测目标的损伤状态进行分类。本发明考虑监测数据在时间和空间上的联系，避免损伤状态识别中出现特征提取不足、鲁棒性差、模式分类能力较弱的情况，显著提高了结构损伤识别的精度，并能在合理的训练条件下节省更多的计算空间消耗，具有较好的计算时间和空间平衡性。

附图说明

为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

图1为本发明公开的本发明公开的联合卷积与循环神经网络的结构损伤识别方法的方法流程图；

图2为将数据转换为矩阵并利用卷积神经网络提取特征的过程；

图3为本发明的卷积神经网络的基本结构图；

图4为本发明的循环神经网络在t+1时刻的计算过程图；

图5为本发明进行结构损伤识别的示意图。

具体实施方式

下面结合附图对本发明作进一步的详细说明。

如图1所示，为本发明公开的联合卷积与循环神经网络的结构损伤识别方法的流程图，包括：

S1、利用多个传感器采集待测目标不同位置的振动响应加速度数据；

S2、对振动响应加速度数据进行预处理形成时间序列数据矩阵；

S3、利用卷积神经网络从时间序列数据矩阵中提取空间相关性特征及短时间尺度依赖特征；

S4、利用门控循环网络基于空间相关性特征及短时间尺度依赖特征提取长时间尺度依赖性特征；

本发明先在低层次卷积部分提取传感器之间的空间关系和短期依赖关系，再通过高层次循环神经网络提取长期时间相关性，不仅解决了传统上手工提取损伤特征不足的弊端，更能结合时序数据的长期依赖性对结构损伤进行更加全面的分析。

S5、利用长时间尺度依赖性特征对待测目标的损伤状态进行分类。

本发明能够实现结构损伤的自动识别，节省了大量的人工成本且提高了结构损伤识别的准确率，本方法考虑到传统结构损伤识别方法在特征提取方面的不足，开拓性地将不同传感器的空间关系以及损伤感知数据的时间顺序关系引入到结构损伤识别领域，经实验验证，本方法在结构损伤识别问题上优于其他检测方法。该方法显著提高了结构损伤识别的精度，并通过优化如神经元个数、卷积核大小、Dropout比例等深度神经网络模型参数，使模型训练过程中节省更多的计算空间。此外，本发明通过网络搜索方法穷举各种关键参数组合，以训练集的准确率作为目标函数，进行参数寻优，建立起最优深度神经网络模型，因此具有较好的计算时间和空间平衡性。

如图2所示，通常将多个传感器部署在桥梁或其他结构上的不同位置，以收集结构健康状态数据，具体实施时，步骤S2中：

第i个传感器采集的振动响应加速度数据为

R表示在每一时刻加速度传感器获取的值，

表示第i个传感器在时间戳t处采集的振动响应加速度，q表示时间序列的长度；

时间序列数据矩阵为X，

表示串联操作，p表示传感器总个数，x_t∈R^p，x_t为中与时间戳t对应的列向量，R^p表示所有传感器的向量矩阵。

具体实施时，步骤S3中：

卷积神经网络通过卷积、池化交替作用，对X进行特征提取与降维，输出的第i层的特征图为H_i表示如下：

H_i＝f(H_i-1⊙W_i+b_i)

式中，f表示非线性的激活函数，W_i、b_i分别表示卷积神经网络在第i个卷积核的权值矩阵和偏置矩阵；⊙表示权值矩阵W_i与特征图H_i-1进行卷积操作；H₀作为第一层的输入，H₀＝X。

如图3所示，卷积层是卷积神经网络的主要组成部分，每个卷积层通过由多个卷积核构成。卷积核采用固定大小的窗口，按照从左到右、从上到下方式滑动，其中步长的选取根据特定的场景。卷积核每次滑动都会和特征图覆盖的部分进行卷积运算，当对整张特征图遍历完成后，输出下一层的特征图。本发明采用的卷积是离散型卷积，把输入矩阵与权重进行了线性运算，并且卷积核越多提取的特征就越多。X表示输入矩阵(Input Matrix)M*N，卷积神经网络通过卷积、池化交替作用，对X进行特征提取与降维，则输出的第i层的特征图为H_i表示如下：

可以简写为如下的形式：

H_i＝f(H_i-1⊙W_i+b_i)

x_m+i,n+j表示X中的m+i行，n+j列的元素，I表示特征图总长度，J表示特征图总宽度，w_ij表示x_m+i,n+j对应的权值，f表示非线性的激活函数；然后，把卷积操作

结果和偏置矩阵b_i进行求和，通过激活函数f，获得下一次的特征图H_i。卷积操作可降低图像分辨率，减少运算数据量，增强网络对图像变化的适应性。

具体实施时，步骤S4中：

门控循环网络中GRU单元在t+1时刻的计算过程如下：

r_t+1＝σ(Θ_r[y_t+1,h_t]+b_r)

u_t+1＝σ(Θ_u[y_t+1,h_t]+b_u)

c_t+1＝tanh(Θ_c[y_t+1,(r_t+1⊙h_t)]+b_c)

h_t+1＝u_t+1⊙h_t+(1-u_t+1)⊙c_t+1

式中，h_t表示在t时刻迭代生成的隐含状态，也表示t+1时刻迭代的初始隐含状态；y_t+1是卷积层生成的隐含特征；h_t+1是t+1时刻生成的隐含状态；r_t+1和u_t+1是t+1时刻的重置门和更新门；Θ_r、Θ_u和Θ_c表示滤波器的学习参数，⊙表示张量的元素乘积，σ表示sigmoid函数，b_r表示重置门的偏置矩阵，b_u表示更新门的偏置矩阵，c_t+1表示候选隐含状态，b_c表示候选隐含状态的偏置矩阵，tanh表示激活函数。

如图4所示，作为递归神经网络变体的门控循环网络(GRU)一般用于解决时间序列预测问题，正因如此，经过精心设计的GRU可以存储历史信息，并以循环方式将当前状态、新输入状态和历史信息融合在一起。来自卷积神经网络的输出向量被馈送到GRU中，以提取长期时间依赖性。通过循环方式连接GRU单元，可以处理复杂的序列数据。然后，使用顶层GRU的最后一个时间戳的隐藏状态来预测损坏类别。

如图5所示，首先将原始的传感器时序数据建模输入到矩阵中，卷积核自上而下进行卷积运算，在[1,JL]时刻内进行特征提取，其输出值为CL₁₁。然后卷积窗口向下滑动，对[2,JL+2]时刻采集加速度数据进行卷积运算，卷积操作完成之后会输出一个值CL₁₂，最后可以获得CL₁＝[CL₁₁,CL₁₂,...,CL_1h]，其中CL₁表示第一个卷积核进行卷积运算的结果，为了更好的提取结构的传感器依赖关系，往往选取多个卷积核，卷积输出的结果为CL＝[CL₁,CL₂,...,CL_L]。卷积的输出CL＝[CL₁,CL₂,...,CL_L]被输入GRU中学习长期时间依赖性，具体表现为通过内部激活的神经元保持时间上下文信息，从而对前面的信息进行记忆并且这些存储的信息用于下一时刻的运算。正是由于这样的网络结构，循环神经网络(GRU)才能保存之前的输入信息并适合处理具有时序关联特性的振动加速度数据，选取最后一层的

作为输出，得到时间序列上下依赖关系表征向量，此过程即完成了结构加速度时间序列前后依赖关系提取。最后，把GRU最后一层网络提取的特征输入到全连接层，通过Softmax获取结构的损伤状态。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过参照本发明的优选实施例已经对本发明进行了描述，但本领域的普通技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离所附权利要求书所限定的本发明的精神和范围。

Claims (4)

1.联合卷积与循环神经网络的结构损伤识别方法，其特征在于，包括：

S1、利用多个传感器采集待测目标不同位置的振动响应加速度数据；

S2、对振动响应加速度数据进行预处理形成时间序列数据矩阵；

S3、利用卷积神经网络从时间序列数据矩阵中提取空间相关性特征及短时间尺度依赖特征；

S4、利用门控循环网络基于空间相关性特征及短时间尺度依赖特征提取长时间尺度依赖性特征；

S5、利用长时间尺度依赖性特征对待测目标的损伤状态进行分类。

2.如权利要求1所述的联合卷积与循环神经网络的结构损伤识别方法，其特征在于，步骤S2中：

第i个传感器采集的振动响应加速度数据为

表示第i个传感器在t时刻采集的振动响应加速度，R表示在每一时刻加速度传感器获取的值，q表示时间序列的长度；

时间序列数据矩阵为X，

表示串联操作，p表示传感器总个数，x_t∈R^p，x_t为中与时间戳t对应的列向量，R^p表示所有传感器的向量矩阵。

3.如权利要求2所述的联合卷积与循环神经网络的结构损伤识别方法，其特征在于，步骤S3中：

卷积神经网络通过卷积、池化交替作用，对X进行特征提取与降维，输出的第i层的特征图为H_i表示如下：

H_i＝f(H_i-1⊙W_i+b_i)

式中，f表示非线性的激活函数，W_i、b_i分别表示卷积神经网络在第i个卷积核的权值矩阵和偏置矩阵；⊙表示权值矩阵W_i与特征图H_i-1进行卷积操作；H₀作为第一层的输入，H₀＝X。

4.如权利要求3所述的联合卷积与循环神经网络的结构损伤识别方法，其特征在于，步骤S4中：

门控循环网络中GRU单元在t+1时刻的计算过程如下：

r_t+1＝σ(Θ_r[y_t+1,h_t]+b_r)

u_t+1＝σ(Θ_u[y_t+1,h_t]+b_u)

c_t+1＝tanh(Θ_c[y_t+1,(r_t+1⊙h_t)]+b_c)

h_t+1＝u_t+1⊙h_t+(1-u_t+1)⊙c_t+1

式中，h_t表示在t时刻迭代生成的隐含状态，也表示t+1时刻迭代的初始隐含状态；y_t+1是卷积层生成的隐含特征；h_t+1是t+1时刻生成的隐含状态；r_t+1和u_t+1是t+1时刻的重置门和更新门；Θ_r、Θ_u和Θ_c表示滤波器的学习参数，⊙表示张量的元素乘积，σ表示sigmoid函数，b_r表示重置门的偏置矩阵，b_u表示更新门的偏置矩阵，c_t+1表示候选隐含状态，b_c表示候选隐含状态的偏置矩阵，tanh表示激活函数。

Images