CN112487356B - 一种结构健康监测数据增强方法 - Google Patents

Abstract

本发明提出一种结构健康监测数据增强方法，包括如下步骤：步骤1、进行结构健康监测数据：通过传感器阵列在预定长度时间期间采集得到的反映工程结构内部变化的动力响应数据，以检测和识别土木工程结构的损伤和性态变化；步骤2、基于数据驱动方法，对结构健康监测数据进行智能化、自动化数据增强，所述数据驱动方法是指：将由部署在土木工程中的结构健康监测系统采集到的海量、异质数据组织成信息，然后将相关信息进行整合和提炼，在数据的基础上经过训练和拟合形成自动化的决策模型，所述决策包括机器学习模型；对原始监测数据中的异常进行识别与剔除，基于前述决策模型对原始监测数据中的缺失值或者因异常剔除导致的缺失值进行预测填补。

Description

一种结构健康监测数据增强方法

技术领域

本发明属于土木工程结构健康监测与机器学习技术交叉领域，是一种土木工程结构健康监测智能化技术。

背景技术

大型土木工程结构在服役期间会随着服役时间的增加出现一些病症，这些病症对土木结构的正常工作带来了隐患，严重时会威胁到使用者人身财产安全，因此保持基础设施的稳定性对国民经济的发展至关重要。近几十年来随着计算机科学的普及，结构健康监测系统(SHMS)已经发展成为一种可靠的异常状态识别和灾害预防技术。SHMS可用于结构的实时和长期监测。它是一个综合了传感器监控、电子控制、可视化界面、实时评估、智能管理等多种技术的智能系统。传感器监测得到的数据为进一步分析结构的力学行为提供了基础信息。

然而，数据采集过程通常会出现故障，导致实际环境中的数据异常和丢失。常见的原因是传输错误、传感器故障和设备维护。异常的监测数据会导致错误的分析，而不完整的数据不足以及时表达现场信息，从而影响对行为的进一步分析，特别是在紧急情况下。因此，结构健康监测数据中异常数据的修正和缺失值的准确填补(统称为数据增强)至关重要。

近几十年来，由于异常检测和缺失数据填补在各种实际应用中的重要意义，许多研究者将研究重点放在了数据增强问题上。异常检测主要基于统计或无监督学习算法。对于缺失数据的填补，一种快速的方法是用收集值的中位数或平均值来填补缺失值，这种方法简单，但精确度较低。因此为了克服这一缺陷，学界提出了许多不同的策略。其中使用有监督学习进行缺失值填补是一种经典的、主流的方法。有监督学习方法是数据挖掘和机器学习领域的重要组成部分。随着计算机科学的飞速发展，人工智能已经渗透到生活的各个领域，而机器学习更是人工智能的核心，因此与传统的数据补全方法相比，有监督学习模型通过机器学习实现了较高的精度和效率。然而，有监督学习方法在土木工程中的应用研究还很有限。

发明内容

本发明技术解决问题：针对土木工程结构健康监测领域传统数据异常检测与缺失值填补方法准确率低、智能化水平低的问题。该发明提出一种异常检测与缺失值填补智能一体化的数据增强方法。该方法可以实现检测数据异常点准确识别，缺失值自动填补，从而实现土木工程结构智能数据增强，为后续结构性态分析提供高质量数据。

本发明的技术解决方案：使用基于数据重构的方法进行异常值检测，使用基于有监督学习的方法进行缺失值填补，二者结合实现智能化数据增强。

一种应用于结构健康监测数据的数据增强方法，主要针对数据采集、传输、存储过程中因复杂环境影响、人工错误操作、传感器故障等因素导致的数据异常和缺失进行检测与填补，以增强数据质量。本数据增强方法由两部分组成：基于数据重构的异常检测和基于有监督学习的缺失值填补。基于数据重构的异常检测首先将原始数据组织为数据矩阵，然后将其进行压缩重构并计算重构误差，通过设置阈值过滤重构误差较大的点，将其视为异常点。基于有监督学习的缺失值补全方法将原始数据中的缺失值和被判定为异常而剔除产生的缺失值视为待预测变量，未缺失数据视为特征变量。以有监督学习的方法建立起特征变量与待预测变量的映射关系，从而预测并补全缺失值。在结构健康监测数据中，此方法可以准确高效的检测异常值的位置，并以很高的准确率对缺失值进行预测填补，从而提升数据质量

本发明的技术方案为：一种结构健康监测数据增强方法，包括如下步骤：

步骤1、进行结构健康监测数据：通过传感器阵列在预定长度时间期间采集得到的反映工程结构内部变化的动力响应数据，包括应力、应变、水压、温度数据，以检测和识别土木工程结构的损伤和性态变化；

步骤2、基于数据驱动方法，对结构健康监测数据进行智能化、自动化数据增强，具体包括：基于数据重构的异常识别步骤，以及基于监督学习的缺失值填补步骤；

所述数据驱动方法是指：将由部署在土木工程中的结构健康监测系统采集到的海量、异质数据组织成信息，然后将相关信息进行整合和提炼，在数据的基础上经过训练和拟合形成自动化的决策模型，所述决策包括机器学习模型；所述智能化、自动化是指：只需有限或者不需要人为干预，所述数据增强是指：对原始监测数据中的异常进行识别与剔除，基于前述决策模型对原始监测数据中的缺失值或者因异常剔除导致的缺失值进行预测填补，异常是由多种原因造成，包括：传感器故障，传输干扰，人工操作错误。

进一步的，所述步骤2中，基于数据重构对原始监测数据中的异常进行识别方法实现步骤为：

步骤1.1：将多个传感器采集到的数据按采集时间对齐，若某个传感器在某个时间段的数据缺失，则用nan代替，所有数据组织成一个n×t的矩阵，其中n为传感器数目，t为采集的数据长度，其中对于每个单个传感器而言，采集到的数据是一个时间序列；

步骤1.2：对数据矩阵进行奇异值分解，并将奇异值按从大到小的顺序进行排列；若奇异值的大小从k个值后无明显变化，则取降维后的数据矩阵维度为n×k；

步骤1.3：将数据矩阵通过非负矩阵分解的方法分解为两个矩阵，两个矩阵的形状分别为n×k和k×t；

步骤1.4：通过分解得到的两个矩阵相乘对数据矩阵进行重构，计算重构矩阵与数据矩阵各个对应位置元素的差值的绝对值即为对应的重构误差；

步骤1.5：通过比较重构误差与预设阈值的大小确定异常点，若重构误差小于预设的阈值，则该点为非异常点；若重构误差大于预设的阈值，则该点为异常点，将该点的值进行剔除。

进一步的，所述步骤2中，缺失值填补的方法实现步骤为：

步骤2.1：选择含有缺失值的传感器的数据作为待预测变量，选择不含有缺失值的传感器的数据作为特征变量；

步骤2.2：为调节模型超参数，将数据按预定比例划分为训练集和验证集；

步骤2.3：选择有监督学习模型，在训练集上训练，并在验证集上验证模型的预测效果；不断更改模型参数，重新训练和验证；选择在验证集上表现最好的模型参数作为最终的模型参数；

步骤2.4：使用训练好的最优模型对缺失值进行预测并填补。

有益效果：

本发明相对于现有的结构健康监测数据增强技术，本发明更加自动化、智能化，适用场景也更加广泛。对于常见的随机缺失，本发明可以以极高的精度对缺失数据进行填补；对于现有结构健康监测数据增强技术无法解决的数据大面积连续缺失等恶劣场景，本发明可以以较高的预测精度对缺失值进行预测填补。

附图说明

图1为本发明异常检测的流程图；

图2为本发明缺失值填补的流程图；

图3为本发明方法的整体流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明适用于各种大型土木结构如桥梁、隧道、建筑等的健康监测系统的数据增强，待增强数据为数值序列类型。通过挖掘多条序列之间的相关性和关联关系，模型可以自动学习到正常数据分布从而识别异常，对缺失进行自动高效填补。

根据本发明的一个实施例，如图1，3所示，一种结构健康监测数据增强方法，包括如下步骤：

步骤1、进行结构健康监测数据：通过传感器阵列在预定长度时间期间采集得到的反映工程结构内部变化的动力响应数据，包括应力、应变、水压、温度数据，以检测和识别土木工程结构的损伤和性态变化；

步骤2、基于数据驱动方法，对结构健康监测数据进行智能化、自动化数据增强，具体包括：基于数据重构的异常识别步骤，以及基于监督学习的缺失值填补步骤；

所述数据驱动方法是指：将由部署在土木工程中的结构健康监测系统采集到的海量、异质数据组织成信息，然后将相关信息进行整合和提炼，在数据的基础上经过训练和拟合形成自动化的决策模型，所述决策包括机器学习模型；所述智能化、自动化是指：只需有限或者不需要人为干预，所述数据增强是指：对原始监测数据中的异常进行识别与剔除，基于前述决策模型对原始监测数据中的缺失值或者因异常剔除导致的缺失值进行预测填补，异常是由多种原因造成，包括：传感器故障，传输干扰，人工操作错误。

根据本发明的一个实施例，如图1所示，为通过数据压缩重构方法对异常值进行识别的流程：一个单独的传感器所采集的数据可以看作是一个长度为t时间序列。正常情况下，这个时间序列服从一个周期性的变化规律。然而由于土木工程中传感器及其传输系统所处的位置和环境可能极其复杂、恶劣，导致传感器的工作受到干扰，采集到的数据含有异常或者缺失，数据偏离了正常的变化规律。然而在多个传感器长期采集的数据中，这样的异常或者缺失点所占的比例是较少的，因此传感器采集到的数据中，绝大多数还保留着正常的变换趋势。

数据压缩重构的思想在于利用这绝大多数数据中的正常行为预测少数的异常行为，如果某一点的数据与预测结果相差较大，则认为该点异常。具体而言是将多个传感器的数据组织成一个n×t的矩阵，基于NMF技术对矩阵进行降维，然后再恢复，为了确定降维后矩阵的维度，以数据矩阵的不同奇异值的个数为参考。具体方法为：对原始矩阵进行奇异值分解，得到所有的奇异值。然后将所有奇异值按照从大到小的顺序排列，从最大的奇异值开始，依次计算相邻两个奇异值的比值。如果第k位奇异值与第k+1位奇异值比值小于预设阈值，则认为后续的奇异值大小不再变化，原始矩阵不同的奇异值个数为k，降维后矩阵的维度即为k。确定降维维度后，使用NMF算法将原始矩阵降维、重构。如果恢复的矩阵与原矩阵相差不大，则认为降维过程捕捉到了原始矩阵的主要信息，也即绝大多数的正常信息。通过计算重构矩阵与原始数据矩阵的对应点的差的绝对值可以得到重构误差矩阵，通过热力图可视化该矩阵可以直观便捷的识别出异常点。通过设定阈值还可实现程序的自动异常识别与过滤。

图2所示为通过有监督学习方法进行缺失值填补的流程：不同于土木工程领域常用的插值等传统的单一序列填补手段，基于有监督学习的缺失值填补法可以充分利用不同传感器数据之间的关联关系进行填补。不同传感器采集到的数据序列尽管在数值上不可能完全一致，但是因其部署在统一土木结构内部，数据变化趋势、规律有内在的关联关系，因此可以通过有监督学习方法捕捉这种关联关系，使用未缺失序列预测缺失序列。

此时数据经过异常检测并过滤后，不含有异常点，为无异常数据。进行缺失填补首先要确定需要进行填补的含缺失值的数据序列，这条序列中的数据被称作待预测变量。一条序列不可能完全缺失，未缺失部分拿来训练模型，这部分数据为训练数据，缺失部分待预测，称为测试数据。由于有监督学习模型大多含有超参数，超参数的选择将影响到模型的预测效果。为了选择合适的超参数，训练数据会被进一步按照一定比列划分为训练集和验证集。在训练集上训练模型，在验证集上验证模型效果，效果最好的模型被选择对缺失数据进行预测。

本方法基于计算机科学和多种机器学习算法，实施需要一定编程和机器学习基础，可基于多种编程语言进行实现。为验证图1所示的基于数据重构的异常识别方法，利用现实工程背景中数十个传感器监测到的结构健康数据进行实验。为了验证该方法对多种不同异常类型的识别效果，我们通过添加不同程度的高斯白噪声人为构造了三种典型的异常情况：一条监测数据序列中任意位置都可能出现异常；一个传感器在某一时刻彻底损坏，在该时刻以后收集到的数据均为噪声；一个传感器在某一时刻有一定程度损坏，在该时刻以后收集到的数据保持原有数据的趋势，但具有很强的噪声。以Python及其开源算法包为基础，按照图2流程对异常值进行监测，通过热力图可视化重构误差矩阵。可视化结果清晰明了的展示出异常点的位置。通过设置阈值将重构误差较大的点进行过滤，视为缺失。

在图2所示的基于有监督学习缺失补全流程中，第一步为是否有缺失值判断，因为本方法一次只能对一条检测数据中的缺失值进行预测填补，如果多条数据中均含有缺失值，则需要依次轮流进行填补。为了验证该方法的填补精度，本发明利用现实工程背景中数十个传感器监测得到的结构健康数据进行实验。依次选择其中一个传感器的监测数据，按照一定的比例随机的将其中的某些数据标记为缺失，来自该条序列的数据被视为待预测变量，来自剩余序列的数据被视为特征变量，进行模型训练。在模型选择方面，由于不同传感器监测数据之间可能含有线性相关关系或者非线性相关关系，因此需要尝试不同的模型。为挖掘不同传感器监测数据之间的线性关系可选用Linear Regression、RidgeRegression等线性模型；为挖掘不同传感器监测数据之间的非线性关系可选用SVR、MLP、Decision Tree等非线性模型。通过计算模型预测结果与真实值之间的差距对模型效果进行评估。在合理选择模型和对应参数后，该方法可以以极高的准确度对缺失值进行预测和填补。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种结构健康监测数据增强方法，其特征在于，包括如下步骤：

步骤1、进行结构健康监测数据：通过传感器阵列在预定长度时间期间采集得到的反映工程结构内部变化的动力响应数据，包括应力、应变、水压、温度数据，以检测和识别土木工程结构的损伤和性态变化；

步骤2、基于数据驱动方法，对结构健康监测数据进行智能化、自动化数据增强，具体包括：基于数据重构的异常识别步骤，以及基于监督学习的缺失值填补步骤；

所述数据驱动方法是指：将由部署在土木工程中的结构健康监测系统采集到的海量、异质数据组织成信息，然后将相关信息进行整合和提炼，在数据的基础上联合多条传感器序列间的相关关系经过训练和拟合形成自动化的决策模型，所述决策包括机器学习模型；所述智能化、自动化是指：只需有限或者不需要人为干预，所述数据增强是指：对原始监测数据中的异常进行识别与剔除，基于前述决策模型对原始监测数据中的缺失值或者因异常剔除导致的缺失值进行预测填补，异常是由多种原因造成，包括：传感器故障，传输干扰，人工操作错误；

所述步骤2中，基于数据重构对原始监测数据中的异常进行识别方法实现步骤为：

步骤1.1：将多个传感器采集到的数据按采集时间对齐，若某个传感器在某个时间段的数据缺失，则用nan代替，所有数据组织成一个n×t的矩阵，其中n为传感器数目，t为采集的数据长度，其中对于每个单个传感器而言，采集到的数据是一个时间序列；

步骤1.2：对数据矩阵进行奇异值分解，并将奇异值按从大到小的顺序进行排列；若奇异值的大小从k个值后变化小于阈值，则取降维后的数据矩阵维度为n×k；

步骤1.3：将数据矩阵通过非负矩阵分解的方法分解为两个矩阵，两个矩阵的形状分别为n×k和k×t；

步骤1.4：通过分解得到的两个矩阵相乘对数据矩阵进行重构，计算重构矩阵与数据矩阵各个对应位置元素的差值的绝对值即为对应的重构误差；

步骤1.5：通过比较重构误差与预设阈值的大小确定异常点，若重构误差小于预设的阈值，则该点为非异常点；若重构误差大于预设的阈值，则该点为异常点，将该点的值进行剔除；

所述步骤2中，基于监督学习的缺失值填补的方法实现步骤为：

步骤2.1：选择含有缺失值的传感器的数据作为待预测变量，选择不含有缺失值的传感器的数据作为特征变量；

步骤2.2：为调节模型超参数，将数据按预定比例划分为训练集和验证集；

步骤2.3：选择有监督学习模型，在训练集上训练，并在验证集上验证模型的预测效果；不断更改模型参数，重新训练和验证；选择在验证集上表现最好的模型参数作为最终的模型参数；

步骤2.4：使用训练好的最优模型对缺失值进行预测并填补。

2.根据权利要求1所述的一种结构健康监测数据增强方法，其特征在于，该方法适用于各种土木结构，包括桥梁、隧道、建筑的健康监测系统的数据增强，待增强数据为数值序列类型。

Images