CN114357560A - 基于多模态神经网络的结构健康监测数据检测方法和装置 - Google Patents

Abstract

本发明提供基于多模态神经网络的结构健康监测数据检测方法和装置，其中，该方法包括：S1获取结构健康监测数据；S2对获取的结构健康监测数据进行预处理，得到结构健康监测数据的特征数据集，其中特征数据集包括结构健康监测数据的原始数据和时频图；S3将获取的特征数据集输入到训练好的基于多模态深度学习网络的数据异常检测模型中，得到输出的数据检测结果。本发明通过基于多模态深度学习网络的数据异常检测模型来对传感器数据进行异常检测，模型能识别绝大多数的失真数据，分类性能良好，有助于提高异常数据检测的准确性。

Description

基于多模态神经网络的结构健康监测数据检测方法和装置

技术领域

本发明涉及桥梁结构健康监测技术领域，特别是基于多模态神经网络的结构健康监测数据检测方法和装置。

背景技术

结构健康监测系统(SHM)被广泛应用于桥梁、道路等民用基础建筑，其旨在通过实时监测结构响应和评估结构性能，及时识别结构损伤，是土木工程领域的重要研究方向[1]。越来越多的桥梁安装了结构健康监测系统。其中，传感器用于获取结构响应和其他各种监测信息。通过传感器收集准确的数据是SHM的一项重要任务。但是，在对桥梁健康监测数据进行处理分析时，经常会发现一些特殊的数据或者数据段，它们的行为与数据集中其他数据的行为有显著不同，这种极少出现的数据点或者数据段称之为异常。异常数据可能导致结构安全状态评估出现误报，造成不必要的经济损失。因此，为了对结构进行可靠的在线振动监测，提供准确的数据信息，提出一种能够针对结构健康监测数据进行准确的异常检测的方法和装置亟具需要。

发明内容

针对上述问题，本发明旨在提供基于多模态神经网络的结构健康监测数据检测方法和装置。

本发明的目的采用以下技术方案来实现：

第一方面，本发明示出基于多模态神经网络的结构健康监测数据检测方法，包括：

S1获取结构健康监测数据；

S2对获取的结构健康监测数据进行预处理，得到结构健康监测数据的特征数据集，其中特征数据集包括结构健康监测数据的原始数据和时频图；

S3将获取的特征数据集输入到训练好的基于多模态深度学习网络的数据异常检测模型中，得到输出的数据检测结果。

一种实施方式中，结构健康监测数据包括由桥梁传感器采集的监测数据，桥梁传感器包括加速度传感器；结构健康监测数据包括振动加速度数据。

步骤S1具体包括，获取由设置在目标对象上的加速度传感器采集并传输的振动加速度数据。

一种实施方式中，步骤S2包括：

对获取的结构健康监测数据进行小波变换处理，得到结构健康监测数据的小波变换系数，将小波变换系数绘制成小波时频图；

将得到的小波时频图和对应的原始结构健康监测数据构建特征数据集。

一种实施方式中，步骤S3中，基于多模态深度学习网络的数据异常检测模型包括由输入层、一维卷积神经网络(1D-CNN)、二维卷积神经网络(2D-CNN)、拼接层、全连接层和分类层组成；

输入层获取输入的特征数据集；一维卷积神经网络(1D-CNN)用于对特征数据集中的原始数据进行处理，得到一维向量特征，其中一维卷积神经网络(1D-CNN)由四层网络组成，包括依次连接的第一卷积层、第一池化层、第二卷积层和第二池化层；二维卷积神经网络(2D-CNN)用于对特征数据集中的时频图进行处理，得到图片向量特征，其中二维卷积神经网络(2D-CNN)由四层网络组成，包括依次连接的第三卷积层、第三池化层、第四卷积层和第四池化层；其中第一卷积层和第三卷积层分别与输入层连接；第二池化层和第四池化层分别与拼接层连接，拼接层用于将一维向量特征和图片向量特征进行拼接后依次导入全连接层和分类层，由分类层输出数据检测结果。

一种实施方式中，数据检测结果包括失真数据检测结果以及失真数据的类型；其中失真数据检测结果包括正常数据和失真数据，失真数据的类型包括：缺失、次小值、离群值、超量程震荡、趋势和漂移中的至少一项。

一种实施方式中，该方法还包括：S0训练所述基于多模态深度学习网络的数据异常检测模型，具体包括：

获取样本监测数据；

对样本监测数据进行标记得到与样本监测数据对应的检测结果标识；

对样本监测数据进行预处理，得到样本监测数据的特征数据集，并将样本监测数据的特征数据集和检测结果标识组成训练集；

利用获取的训练集对基于多模态深度学习网络的数据异常检测模型进行训练，得到训练后的数据异常检测模型。

第二方面，本发明示出一种基于多模态神经网络的结构健康监测数据检测装置，包括：该装置用于实现如上述第一方面中任一种实施方式所示的基于多模态深度学习网络的结构健康监测数据检测方法。

本发明的有益效果为：本发明提出的基于多模态深度学习网络的数据异常检测模型来进行结构健康监测数据失真检测的方法和装置，在模型训练和实际检测的过程中，首先通过对获取的由传感器采集的原始数据进行预处理，将原始数据被转换为具有时间和频域信息的时频图，因而可以使神经网络学习并利用SHM数据更多的特征；同时，在模型训练的过程中，训练数据使用具有时间和频域信息的时频图和原始数据，可以充分利用提取SHM数据特征,缓解训练数据不平衡问题，有助于提高异常数据检测的准确性。

通过基于多模态深度学习网络的数据异常检测模型来对传感器数据进行异常检测，模型能识别绝大多数的失真数据，分类性能良好。通过数据失真检测，能避免在结构健康监测过程中出现误诊并得到结构真实有效的安全状态评估，从而保障国家与人民的生命财产安全。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1为本发明实施例所示基于多模态神经网络的结构健康监测数据检测方法的方法流程图；

图2为本发明实施例所示数据异常检测模型训练的流程示意图；

图3为本发明实施例所示6种失真数据类型所对应的失真数据示意图；

图4为本发明实施例所示6种失真数据类型所对应的小波时频图示意图；

图5为本发明实施例所示的数据异常检测模型结构示意图；

图6为本发明实施例所示的训练后数据异常检测模型的训练集精确率性能评估示意图；

图7为本发明实施例所示的训练后数据异常检测模型的测试集精确率性能评估示意图；

图8为本发明实施例所示的训练后数据异常检测模型的F1值评估示意图。

具体实施方式

结合以下应用场景对本发明作进一步描述。

参见图1，其示出基于多模态神经网络的结构健康监测数据检测方法，包括：

S0训练所述基于多模态深度学习网络的数据异常检测模型。

一种实施方式中，参见图2，步骤S0具体包括：

获取样本监测数据；

对样本监测数据进行标记得到与样本监测数据对应的检测结果标识；

对样本监测数据进行预处理，得到样本监测数据的特征数据集，并将样本监测数据的特征数据集和检测结果标识组成训练集；

利用获取的训练集对基于多模态深度学习网络的数据异常检测模型进行训练，得到训练后的数据异常检测模型。

一种实施方式中，样本监测数据为由桥梁传感器采集到的加速度信号数据。

一种实施方式中，对样本监测数据进行标记，将样本监测数据标记为对应的数据检测结果，其中数据检测结果包括失真数据检测结果以及失真数据的类型；其中失真数据检测结果包括正常数据和失真数据，其中参见图3，失真数据可以分为以下6种：

缺失：传感器大部分/所有数据丢失，传感器输出恒常值0或其他常数；

次小值：与正常数据相比，振动响应以微小振幅振荡；

离群值：数据中出现一个或者多个与正常数据相比有明显差异的数据点；

超量程振荡：振动响应在加速度计范围内异常振荡，使得测量数据形成类似一个矩形的情况；

趋势：振动响应在时域表现形似一次函数；

漂移：振动响应为非平稳随机漂移，无明显趋势。

一种实施方式中，对样本监测数据进行预处理，包括：在对原始数据进行标记后，根据小波变换理论，通过连续小波变换滤波器组，求解出传感器数据的小波变换系数，将小波变换系数绘制成小波时频图。将该小波时频图像与原始加速度振动数据组成训练集，作为深度学习网络(数据异常检测模型)的输入对象。其中，作为参考，各种失真数据类型所对应的小波时频图如图4所示；

一种实施方式中，为有效实现基于多模态深度学习网络的数据异常检测模型的搭建，本申请采用的数据异常检测模型的结构如图5所示：该数据异常检测模型包括由输入层、一维卷积神经网络(1D-CNN)、二维卷积神经网络(2D-CNN)、拼接层、全连接层和分类层组成；

输入层获取输入的特征数据集；

一维卷积神经网络(1D-CNN)用于对特征数据集中的原始数据进行处理，输入的数据经过一维卷积神经网络的四层网络处理后，可以提取得到一维向量特征，其中一维卷积神经网络(1D-CNN)由四层网络组成，包括依次连接的第一卷积层C1、第一池化层S1、第二卷积层C2和第二池化层S2；

二维卷积神经网络(2D-CNN)用于对特征数据集中的时频图进行处理，得到图片向量特征，其中二维卷积神经网络(2D-CNN)的结构与一维卷积神经网络(1D-CNN)类似，其由四层网络组成，包括依次连接的第三卷积层C3、第三池化层S3、第四卷积层C4和第四池化层S4；不同之处在于二维卷积神经网络(2D-CNN)的卷积层与池化层专用于提取图片向量的特征，而1D-CNN的卷积层与池化层则专用于提取一维向量特征；

其中第一卷积层和第三卷积层分别与输入层连接；第二池化层和第四池化层分别与拼接层连接，拼接层用于将一维向量特征和图片向量特征进行拼接后依次导入2层全连接层和softmax分类层，由softmax分类层输出数据检测结果。

其中，在模型训练开始之前，需要输入网络使用的超参数，其中包括迭代次数、批量尺寸等。本模型需要提前输入的超参数为：卷积核的尺寸均为5×5，池化层均为最大池化，迭代次数为1200次，批量尺寸(batchsize)为128，前1000次迭代的学习率为0.001，最后200次迭代的学习率为0.0001，采用Adam算法优化训练结果。

其中，采用上述的模型搭建和训练方式，原始数据被转换为具有时间和频域信息的时频图，因而可以使神经网络学习并利用SHM数据更多的特征；训练数据使用具有时间和频域信息的时频图和原始数据，可以充分利用提取SHM数据特征,缓解训练数据不平衡问题。

在模型训练完毕后，可以基于训练好的数据异常检测模型完成结构健康监测数据的异常检测处理。

S1获取结构健康监测数据；

其中结构健康监测数据包括由桥梁传感器采集的监测数据，桥梁传感器包括加速度传感器；结构健康监测数据包括振动加速度数据。

一种场景中，步骤S1具体包括，获取由设置在目标对象上的加速度传感器采集并传输的振动加速度数据。

S2对获取的结构健康监测数据进行预处理，得到结构健康监测数据的特征数据集，其中特征数据集包括结构健康监测数据的原始数据和时频图。

其中，与上述提出的预处理方法相类似，步骤S2包括：

对获取的结构健康监测数据进行小波变换处理，得到结构健康监测数据的小波变换系数，将小波变换系数绘制成小波时频图；

将得到的小波时频图和对应的原始结构健康监测数据构建特征数据集。

S3将获取的特征数据集输入到训练好的基于多模态深度学习网络的数据异常检测模型中，得到输出的数据检测结果。

同时，本申请还提出一种基于多模态神经网络的结构健康监测数据检测装置，其中该数据检测装置用于实现如上述图1中任一种实施方式所示的基于多模态深度学习网络的结构健康监测数据检测方法。

通过基于多模态深度学习网络的数据异常检测模型来对传感器数据进行异常检测，模型能识别绝大多数的失真数据，分类性能良好。通过数据失真检测，能避免在结构健康监测过程中出现误诊并得到结构真实有效的安全状态评估，提高了异常数据检测的准确性。

一种场景中，本申请以基于针对某斜拉桥结构健康监测系统的加速度数据为基础，示出一种基于多模态深度学习网络的数据异常检测模型的模型训练方法如下：

获取某斜拉桥结构健康监测系统的加速度数据。该系统由38个通道组成，覆盖时间为744小时，采样频率为20Hz，具体的数据量见表1。

表1各类数据具体分布情况

(1)设定分类性能评价指标：

其中真阳性表示正确分类为对象类别的样本数；假阳性表示从其他类别分类为对象类别的样本数量；真阴性表示属于其他类别并且正确分类的样本数；假阴性表示被归类为对象类中其他类的样本数。仅靠精确率和召回率并不能全面的评价一个深度学习模型，因此引入F1-分数用作综合性能指标，具体公式如上所示。

(2)模型的训练集与测试集分类精度

训练集用于建立模型，使模型通过卷积神经网络学习训练集的数据特征，获得分类异常数据的能力。

测试集为未知数据，用于检验最终选择的最优模型的性能如何。

训练集作为深度学习网络的输入参与训练，并用训练好的模型对测试集进行预测。

预测结果如图6-8-所示，通过图6-8能够表示训练后数据异常检测模型的识别结果性能评估。其中图6表示训练集精确率分布图，异常模式:0-正常、1-缺失、2-次小值、3-漂移、4-趋势、5-离群值和6-超量程振荡；图7表示测试集精确率分布图，异常模式:0-正常、1-缺失、2-次小值、3-漂移、4-趋势、5-离群值和6-超量程振荡；图8表示每类数据的F1值示意图。

通过上述图片可知，模型对于异常数据的分类精度(准确率)达到了90.5％，准确率比现有方法有些许提高。另外，用于综合评价模型的F1-分数表现较为优异。其中，模型对异常数据类别“正常”、“缺失”、“漂移”、“趋势”、和“超量程激荡”的分类性能表现尤为突出，它们的F1-分数分别为：94.4％、98.2％、94.9％、96.2％％和99.7％。它们相对应的精确率分别为：96.5％、97.8％、94.2％、96.5％和100％，模型性能表现十分优异。由上述结果可知，模型能识别绝大多数的失真数据，分类性能良好。通过数据失真检测，能避免在结构健康监测过程中出现误诊并得到结构真实有效的安全状态评估，从而保障国家与人民的生命财产安全。

需要说明的是，在本发明各个实施例中的各功能单元/模块可以集成在一个处理单元/模块中，也可以是各个单元/模块单独物理存在，也可以是两个或两个以上单元/模块集成在一个单元/模块中。上述集成的单元/模块既可以采用硬件的形式实现，也可以采用软件功能单元/模块的形式实现。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解应当理解，可以以硬件、软件、固件、中间件、代码或其任何恰当组合来实现这里描述的实施例。对于硬件实现，处理器可以在一个或多个下列单元中实现：专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、设计用于实现这里所描述功能的其他电子单元或其组合。对于软件实现，实施例的部分或全部流程可以通过计算机程序来指令相关的硬件来完成。实现时，可以将上述程序存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。计算机可读介质可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当分析，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (7)

1.基于多模态神经网络的结构健康监测数据检测方法，其特征在于，包括：

S1获取结构健康监测数据；

S2对获取的结构健康监测数据进行预处理，得到结构健康监测数据的特征数据集，其中特征数据集包括结构健康监测数据的原始数据和时频图；

S3将获取的特征数据集输入到训练好的基于多模态深度学习网络的数据异常检测模型中，得到输出的数据检测结果。

2.根据权利要求1所述的基于多模态神经网络的结构健康监测数据检测方法，其特征在于，结构健康监测数据包括由桥梁传感器采集的监测数据，桥梁传感器包括加速度传感器；结构健康监测数据包括振动加速度数据。

步骤S1具体包括，获取由设置在目标对象上的加速度传感器采集并传输的振动加速度数据。

3.根据权利要求2所述的基于多模态神经网络的结构健康监测数据检测方法，其特征在于，步骤S2包括：

对获取的结构健康监测数据进行小波变换处理，得到结构健康监测数据的小波变换系数，将小波变换系数绘制成小波时频图；

将得到的小波时频图和对应的原始结构健康监测数据构建特征数据集。

4.根据权利要求3所述的基于多模态神经网络的结构健康监测数据检测方法，其特征在于，步骤S3中，基于多模态深度学习网络的数据异常检测模型包括由输入层、一维卷积神经网络、二维卷积神经网络、拼接层、全连接层和分类层组成；

输入层获取输入的特征数据集；一维卷积神经网络用于对特征数据集中的原始数据进行处理，得到一维向量特征，其中一维卷积神经网络由四层网络组成，包括依次连接的第一卷积层、第一池化层、第二卷积层和第二池化层；二维卷积神经网络用于对特征数据集中的时频图进行处理，得到图片向量特征，其中二维卷积神经网络由四层网络组成，包括依次连接的第三卷积层、第三池化层、第四卷积层和第四池化层；其中第一卷积层和第三卷积层分别与输入层连接；第二池化层和第四池化层分别与拼接层连接，拼接层用于将一维向量特征和图片向量特征进行拼接后依次导入全连接层和分类层，由分类层输出数据检测结果。

5.根据权利要求4所述的基于多模态神经网络的结构健康监测数据检测方法，其特征在于，数据检测结果包括失真数据检测结果以及失真数据的类型；其中失真数据检测结果包括正常数据和失真数据，失真数据的类型包括：缺失、次小值、离群值、超量程震荡、趋势和漂移中的至少一项。

6.根据权利要求1所述的基于多模态神经网络的结构健康监测数据检测方法，其特征在于，还包括：S0训练所述基于多模态深度学习网络的数据异常检测模型，具体包括：

获取样本监测数据；

对样本监测数据进行标记得到与样本监测数据对应的检测结果标识；

对样本监测数据进行预处理，得到样本监测数据的特征数据集，并将样本监测数据的特征数据集和检测结果标识组成训练集；

利用获取的训练集对基于多模态深度学习网络的数据异常检测模型进行训练，得到训练后的数据异常检测模型。

7.基于多模态神经网络的结构健康监测数据检测装置，其特征在于，包括：该装置用于实现如上述权利要求1-6中任一项所述的基于多模态深度学习网络的结构健康监测数据检测方法。

Images