CN112580682B - 基于多任务高斯过程的大坝监测系统缺失数据重构方法 - Google Patents

Abstract

本发明公开了一种基于多任务高斯过程的大坝安全监测系统缺失数据重构方法。通过构建训练基于多任务高斯过程的学习框架，以正常工作传感器已有数据及对应日期为输入，同时对多个传感器数据进行学习训练，获取故障传感器缺失数据估计值，实现对传感器缺失数据的重构。本发明针对大坝安全监测系统普遍存在原始监测数据缺失问题，充分利用多个传感器在时间和空间上的相关性，实现了对故障传感器缺失数据的重构。本方法对单个或多个传感器数据缺失情况适用性良好，计算效率高，结果准确率。可应用于大坝安全监测系统传感器缺失数据重构中，具有广阔的应用前景，对于提升大坝安全监测系统的监测与管理能力有显著帮助。

Description

基于多任务高斯过程的大坝监测系统缺失数据重构方法

技术领域

本发明涉及大坝安全监测领域，具体涉及一种基于多任务高斯过程的大坝安全监测系统缺失数据重构方法。

背景技术

中国有各类已建、在建水库大坝超过9.8万座。这些水工结构工程在防洪、灌溉、供水、发电和航运方面发挥了巨大的社会经济效应，是国民经济的重要基础保障。确保大坝在全生命周期内安全运行，对于维护重大基础设施投资，保障下游人民生命财产安全具有重大意义。

近些年来，大量传感器被应用于工程系统安全监测中。基于传感器的大坝安全监测系统可通过连续采集与大坝运行相关的物理监测指标，如位移、渗流、裂缝开度等，实现对大坝结构安全性态的评估。目前大坝安全监测系统(structural health monitoring,SHM)已被广泛应用于各类新建大坝以及除险加固后的大坝中。然而由于大坝工作环境恶劣，洪水、寒潮、地震等自然灾害频发，同时存在有数据采集系统故障，噪音及人为施工干扰等因素影响，传感器监测数据缺失不可避免，甚至频繁发生。如何准确定量评估故障传感器的缺失数据，实现自动化的大坝安全监测缺失数据补全，对构建准确高效的大坝安全监测系统，提升安全监测系统管理水平和对大坝结构异常性态的识别效率具有重要意义。

发明内容

本发明的目的在于克服现有技术的不足，提出一种基于多任务高斯过程回归的大坝安全监测传感器缺失数据重构方法，充分利用多个传感器间在时间和空间的相关性，有效重构了目标传感器的缺失数据。

本发明公开基于多任务高斯过程的大坝监测系统缺失数据重构方法，包括：

步骤一，统计大坝安全监测系统各监测项目下的传感器数目、类别及分布情况，根据监测项目、传感器是否正常工作以及传感器是否存在缺失数据对传感器进行分类，将传感器划分为正常传感器和故障传感器，并重新编号，将每个传感器作为一个任务；

步骤二，所述正常传感器已有监测数据及日期，将正常传感器已有的监测数据及日期作为每个任务的输入和输出，并进行预处理及标准化，构建多任务高斯过程模型，输入所有任务训练多任务高斯过程模型；

步骤三，所述故障传感器缺失数据，所述缺失数据包括缺失值及日期，将故障传感器的缺失值及日期作为多任务高斯过程模型的输入，训练好的多任务高斯过程模型同时重构多个任务的缺失传感器数据。

进一步地，

所述步骤二中，标准化的过程为：

对大坝监测序列x₁,x₂,...,x_n进行变换：

式中：

为该大坝监测序列均值，s为监测序列标准差，则新生成序列y₁,y₂,...,y_n均值为0,方差为1，且无量纲。

进一步地，

所述步骤二中，所述高斯过程是关于时间域随机变量的联合，所述时间域为时间或空间，其中每个点上随机变量都服从高斯分布：

即f(x)～GP(m(x),k(x,x′))

其中，均值和协方差函数分别表示为：

m(x)＝E[f(x)]，k(x,x′)＝E[(f(x)-m(x))(f(x′)-m(x′))]

式中：x和x′分别代表训练和测试样本f(x)代表真实高斯过程的回归函数，m(x)反映了函数f(x)在输入点x的期望值，协方差函数k(x,x′)可视为对m(x)的置信区间的一个度量，E[]代表数学期望，f(x')代表高斯回归模型对测试集输入变量的预测值。

进一步地，

所述高斯过程还包括：协方差函数

协方差函数用于衡量置信水平，式中：

代表振幅，λ代表尺寸特征长度；

实际大坝监测序列同时是有噪声的，如：

y＝f(x)+ε

式中：ε是满足正态独同立分布的高斯噪声，

是噪声的标准差。

进一步地，

所述高斯过程还包括：假设原始大坝安全监测序列通常包含噪声项，y＝f(x)+ε，其中假设真实高斯过程回归方程f(x)服从高斯过程先验，f(x)～GP(m(x),k(x,x′))，给定n个训练监测值，

式中

对测试集的输入X_*满足一个联合高斯分布

其中K＝k(X,X)是所有监测点之间的协方差矩阵，K_*＝k(X,X_*)是新加入监测点与已有监测点之间的协方差矩阵,K_**＝k(X_*,X_*)是新加入点之间的协方差矩阵，

根据高斯分布的条件性质获得预测均值

和方差

的分布：

所使用协方差函数的未知参数通过最小化负对数似然函数以及共轭梯度法来确定：

θ代表高斯过程回归模型中未知的超参数。

进一步地，

所述高斯过程还包括：通过定义新的复合协方差函数实现考虑多个任务之间的相关性，给定输入x和x′，以及任务i与j，则两个数据点和两个任务间的协方差可表示为：k_multi([x,i],[x′,j])＝k_inputs(x,x′)×k_tasks(i,j)

其中k_inputs是一个常规的高斯核函数，如SE核，用于度量输入之间的相似性，k_tasks是一个特殊的核函数，用于考虑不同任务间的相似性。

本发明具有的有益效果：

本发明充分利用同一监测系统下不同传感器在时间和空间上的相关性，重构故障传感器的缺失数据，对于提升大坝安全监测系统的监测与管理能力有显著帮助。

附图说明

图1基于多任务高斯过程的缺失数据重构框架工作流程图

图2基于多任务高斯过程的理论计算流程

图3为4只位移传感器的原始监测数据

图4为单个位移传感器多位置数据缺失重构结果

图5为多个位移传感器多位置数据缺失重构结果

图6为4只裂缝传感器的原始监测数据

图7为单个裂缝传感器多位置数据缺失重构结果

图8为多个裂缝传感器多位置数据缺失重构结果

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1所示，一种基于多任务高斯过程的大坝安全监测系统缺失数据重构框架，基于python环境实现。

首先从大坝安全监测系统中获取各个监测指标的传感器原始数据，统计传感器数据及原始监测数据缺失情况。按照是否正常工作，将传感器分为正常工作传感器和存在数据缺失的传感器。

如图2所示，本发明的基于多任务高斯过程的大坝监测系统缺失数据重构方法，包括：

步骤一，统计大坝安全监测系统各监测项目下的传感器数目、类别及分布情况，根据监测项目、传感器是否正常工作以及传感器是否存在缺失数据对传感器进行分类，将传感器划分为正常传感器和故障传感器，并重新编号，将每个传感器作为一个任务；

步骤二，所述正常传感器已有监测数据及日期，将正常传感器已有的监测数据及日期作为每个任务的输入和输出，并进行预处理及标准化，构建多任务高斯过程模型，输入所有任务训练多任务高斯过程模型；

步骤三，所述故障传感器缺失数据，所述缺失数据包括缺失值及日期，将故障传感器的缺失值及日期作为多任务高斯过程模型的输入，训练好的多任务高斯过程模型同时重构多个任务的缺失传感器数据。

进一步地，

所述步骤二中，标准化的过程为：

对大坝监测序列x₁,x₂,...,x_n进行变换：

式中：

为该大坝监测序列均值，s为监测序列标准差，则新生成序列y₁,y₂,...,y_n均值为0,方差为1，且无量纲。

所述步骤二中，所述高斯过程是关于时间域随机变量的联合，所述时间域为时间或空间，其中每个点上随机变量都服从高斯分布：

即f(x)～GP(m(x),k(x,x′))

其中，均值和协方差函数分别表示为：

m(x)＝E[f(x)]，k(x,x′)＝E[(f(x)-m(x))(f(x′)-m(x′))]

式中：x和x′分别代表训练和测试样本。f(x)代表真实高斯过程的回归函数，m(x)反映了函数f(x)在输入点x的期望值，协方差函数k(x,x′)可视为对m(x)的置信区间的一个度量。

先验均值函数通常设置m(x)＝0以避免昂贵后验计算，所述高斯过程还包括：协方差函数，常见的协方差函数有Squared-Exponential(SE)，其公式如下：

协方差函数用于衡量置信水平，式中：

代表振幅，λ代表尺寸特征长度；

实际大坝监测序列同时是有噪声的，如：

y＝f(x)+ε

式中：ε是满足正态独同立分布的高斯噪声，

是噪声的标准差。

所述高斯过程还包括：假设原始大坝安全监测序列通常包含噪声项，y＝f(x)+ε，其中假设真实高斯过程回归方程f(x)服从高斯过程先验，f(x)～GP(m(x),k(x,x′))，给定n个训练监测值，

式中

对测试集的输入X_*满足一个联合高斯分布

其中K＝k(X,X)是所有监测点之间的协方差矩阵，K_*＝k(X,X_*)是新加入监测点与已有监测点之间的协方差矩阵,K_**＝k(X_*,X_*)是新加入点之间的协方差矩阵，

根据高斯分布的条件性质获得预测均值

和方差

的分布：

所使用协方差函数的未知参数通过最小化负对数似然函数以及共轭梯度法来确定：

θ代表高斯过程回归模型中未知的超参数。

利用多个传感器数据重构传感器缺失数据本质上是一个多任务学习过程。传统高斯过程回归只能通过执行多个相互独立的任务来实现重构，这样无法利用传感器数据之间的相关性。本发明基于前人研究，提出一种多任务高斯过程回归模型，通过定义新的复合协方差函数实现考虑多个任务之间的相关性，给定输入x和x′，以及任务i与j，则两个数据点和两个任务间的协方差可表示为：

k_multi([x,i],[x′,j])＝k_inputs(x,x′)×k_tasks(i,j)

其中k_inputs是一个常规的高斯核函数，如SE核，用于度量输入之间的相似性，k_tasks是一个特殊的核函数，用于考虑不同任务间的相似性。

图3-图8的实验结果表明，所提框架在单个传感器多个位置数据缺失(图7)以及多个传感器多个位置数据缺失(图8)等不同数据缺失情况均取得良好表现。这表明所提框架可利用多个传感器之间的相关性进行缺失数据重构，是一种高效准确的数据重构框架。此外所提框架，对监测数据的不确定性也有一定度量，可用于监测数据的异常识别诊断中。所提框架可应用于大坝安全监测系统数据的修补中，提高监测系统的数据完备性，提升监测系统的管理与异常识别能力。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (3)

1.基于多任务高斯过程的大坝监测系统缺失数据重构方法，其特征在于，包括：

步骤一，统计大坝安全监测系统各监测项目下的传感器数目、类别及分布情况，根据监测项目、传感器是否正常工作以及传感器是否存在缺失数据对传感器进行分类，将传感器划分为正常传感器和故障传感器，并重新编号，将每个传感器作为一个任务；

步骤二，所述正常传感器已有监测数据及日期，将正常传感器已有的监测数据及日期作为每个任务的输入和输出，并进行预处理及标准化，构建多任务高斯过程模型，输入所有任务训练多任务高斯过程模型；

步骤三，所述故障传感器缺失数据，所述缺失数据包括缺失值及日期，将故障传感器的缺失值及日期作为多任务高斯过程模型的输入，训练好的多任务高斯过程模型同时重构多个任务的缺失传感器数据；

所述步骤二中，所述高斯过程是关于时间域随机变量的联合，所述时间域为时间或空间，其中每个点上随机变量都服从高斯分布：

即f(x)～GP(m(x),k(x,x′))

其中，均值和协方差函数分别表示为：

m(x)＝E[f(x)]，k(x,x′)＝E[(f(x)-m(x))(f(x′)-m(x′))]

f(x)代表真实高斯过程的回归函数，m(x)反映了函数f(x)在输入点x的期望值，协方差函数k(x,x′)视为对m(x)的置信区间的一个度量，E[]代表数学期望，f(x')代表高斯回归模型对测试集输入变量的预测值；

式中：x和x′分别代表训练和测试样本；

所述高斯过程还包括：协方差函数

协方差函数用于衡量置信水平，式中：

代表振幅，λ代表尺寸特征长度；

实际大坝监测序列同时是有噪声的，如：

y＝f(x)+ε

式中：ε是满足正态独同立分布的高斯噪声，

是噪声的标准差；

所述高斯过程还包括：原始大坝安全监测序列通常包含噪声项，y＝f(x)+ε，其中假设真实高斯过程回归方程f(x)服从高斯过程先验，f(x)～GP(m(x),k(x,x′))，给定n个训练监测值，

式中

对测试集的输入X_*满足一个联合高斯分布

其中K＝k(X,X)是所有监测点之间的协方差矩阵，K_*＝k(X,X_*)是新加入监测点与已有监测点之间的协方差矩阵,K_**＝k(X_*,X_*)是新加入点之间的协方差矩阵，

根据高斯分布的条件性质获得预测均值

和方差

的分布：

所使用协方差函数的未知参数通过最小化负对数似然函数以及共轭梯度法来确定：

θ代表高斯过程回归模型中未知的超参数。

2.根据权利要求1所述的基于多任务高斯过程的大坝监测系统缺失数据重构方法，其特征在于：

所述步骤二中，标准化的过程为：

对大坝监测序列x₁,x₂,...,x_n进行变换：

式中：

为该大坝监测序列均值，s为监测序列标准差，则新生成序列y₁,y₂,...,y_n均值为0,方差为1，且无量纲。

3.根据权利要求1所述的基于多任务高斯过程的大坝监测系统缺失数据重构方法，其特征在于：所述高斯过程还包括：通过定义新的复合协方差函数实现考虑多个任务之间的相关性，给定输入x和x′，以及任务i与j，则两个数据点和两个任务间的协方差表示为：k_multi([x,i],[x′,j])＝k_inputs(x,x′)×k_tasks(i,j)

其中k_inputs是一个常规的高斯核函数，用于度量输入之间的相似性，k_tasks是一个特殊的核函数，用于考虑不同任务间的相似性。

Images