CN111651708A - 一种大坝安全监测数据异常识别的预警阈值设置方法 - Google Patents

Abstract

本发明公开了一种大坝安全监测数据异常识别的预警阈值设置方法，涉及大坝安全监测领域，包括以下步骤：构建基于图基双权估计函数的稳健回归模型；在稳健回归模型的基础上，采用基于位置M估计量的尺度估计量S_T代替剩余标准差S；构建基于稳健回归模型的预测值置信区间半径D；异常预警阈值设置为[‑3S_T‑D，3S_T+D]。本发明方法提高数据异常在线识别的精准度，降低数据异常在线识别的误判漏判率。

Description

一种大坝安全监测数据异常识别的预警阈值设置方法

技术领域

本发明涉及大坝安全监测领域，特别是一种大坝安全监测数据异常识别的预警阈值设置方法。

背景技术

在大坝安全监测中，监测数据的突变常是大坝结构性态变化的直接表征，在线准确识别测值异常突变是大坝运行安全智能管控的关键问题。目前，大坝安全监测数据异常识别方法众多，包括拉伊特准则法、统计回归模型、突变理论、模糊聚类分析等。基于拉伊特准则的统计回归模型法因能综合反映环境量影响、计算便捷且编程难度小、可靠性较高等特点，在大坝安全监测数据异常在线辨识中最为常用。

统计回归模型是根据有限的效应量与环境量数据构建的确定性关系式，其预测值实质是一个样本估计值，不可能完全精确可靠，一定存在着误差，采用拉伊特准则设置预警阈值主要考虑监测仪器的系统误差和监测工作的随机误差，忽略了模型估计误差。由于效应量本身特征、监测仪器改造等因素，大坝安全监测数据常出现监测量值及变幅均较小的“小量值”数据序列，其模型估计误差大于或与采用拉伊特准则设置的预警阈值相差不大，此时模型估计误差则不容忽视，否则极易出现正常测值误判的问题。

采用拉伊特准则的前提是数据应服从正态分布，而台阶型、震荡型等数据序列的残差序列不服从正态分布，此时采用拉伊特准则设置预警阈值本身就是不合理的，再加上均值和标准差等统计估计量抗离群数据干扰的能力较差等问题，则极易出现异常值漏判问题。

受地震、施工、载荷等赋存环境大幅变化、坝与地基性态改变、监测设备短期测值异常等因素影响，大坝安全监测数据序列常出现单点离群、多点离群、台阶型、震荡型、小量值等多种序列特征，在大坝变形、渗流、应力等测值序列中均较为常见。若仅采用拉伊特准则设置数据异常预警阈值，对样本量大、服从正态分布、量值适中的数据序列，异常在线识别效果非常理想，但对大坝安全监测中常见的台阶型、震荡型、小量值等数据序列则极易出现明显的误判和漏判问题，异常识别可靠性和辨识度差。

发明内容

本发明所要解决的技术问题是提供一种大坝安全监测数据异常识别的预警阈值设置方法，解决正常测值误判和异常测值漏判的问题，提高数据异常在线识别的精准度，降低数据异常在线识别的误判漏判率。

为解决上述技术问题，本发明采用的技术方案是：

一种大坝安全监测数据异常识别的预警阈值设置方法，包括以下步骤：

步骤1：构建基于图基双权估计函数的稳健回归模型；

通过历史效应量及环境量建立的回归模型如式(1)所示：

Y＝Xβ+μ (1)

式中，Y为由历史观测值构成的效应量向量；X为历史环境量变量矩阵，β为系数向量；μ为随机误差项；

采用M估计法求解稳健回归模型，则其系数向量

的估计值为：

式中，W为等价权矩阵，采用图基双权函数计算；

步骤2：在稳健回归模型的基础上，采用基于位置M估计量的尺度估计量S_T代替剩余标准差S；基于位置M估计量的尺度估计量S_T的计算公式如下：

MAD＝median_i{|x_i-median(x_i)|} (6)

式中，x_i为数据序列；T_n为位置M估计量；u_i为标准化变量；n为样本个数；ω(·)为权重函数，选取图基双权函数；ψ(·)为目标函数的导函数；ψ′(·)为ψ函数的导函数；c为细调常数；S_n是辅助尺度估计通常取中位数离差；MAD为各个观测量到数据序列中位数median(x_i)的距离的中位数；

步骤3：构建基于稳健回归模型的预测值置信区间半径D，具体计算公式如下：

式中，t_α/2为T分布在1-α置信水平下对应概率的分位点；ω₀和e₀分别为实时数据计算的权重和残差，采用图基双权函数形式的权重函数计算；X₀为实时监测的环境量向量；

步骤4：异常预警阈值设置为[-3S_T-D，3S_T+D]，即满足式(9)的为正常测值，不满足则为异常测值；

式中，Y₀为实测值；

为模型预测值。

与现有技术相比，本发明的有益效果是：

1、采用基于位置M估计量的尺度估计量S_T代替剩余标准差S，根据样本距离中心的远近程度赋予不同的权重，以消减历史序列存在台阶型、震荡型等离群点的不利影响，降低异常测值的漏判率，如图4和图5。

2、引入预测值置信区间半径D以降低模型估计误差的不利影响，避免因模型估计误差不容忽视而导致的小量值数据序列正常测值误判问题，如图6。

3、针对规律性监测数据序列，该方法设置的预警阈值和拉伊特准则的预警阈值基本一致，具合理性和适应性，如图7。

本发明和传统方法运用于某两个重力坝2014年至2018年259个测点总计94241测次的安全监测数据异常在线识别，并与人工识别进行对比，结果如表1。

表1典型工程监测数据异常识别对比结果

对震荡型、台阶型和小量值的安全监测数据类型，本发明的效果则更为明显，上述工程中典型测点数据异常识别对比情况如表2。

表2典型测点监测数据异常识别对比结果

附图说明

图1是大坝安全监测数据异常预警阈值设置及在线识别流程图。

图2是图基双权估计的目标函数

图3是图基双权估计的权重函数。

图4是台阶型数据：某大坝外观水平位移测点TP34的异常预警阈值设置对比图。

图5是震荡型数据：某大坝内观沉降测点CH22的异常预警阈值设置对比图。

图6是小量值数据：某大坝廊道激光水平位移测点LDJG06的异常预警阈值设置对比图。

图7是规律型数据：某大坝外观水平位移测点TP4的异常预警阈值设置对比图。

图8是某重力坝坝基扬压力测点实测值过程线。

图9是某重力坝坝基扬压力测点异常识别控制图。

图10是坝基扬压力测点计算相关数据表(为了便于数据展示完整及格式要求，分为图10(a)和图10(b))。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。本发明运用于实际工程监测数据异常在线识别的流程如图1，通过以下步骤来实现：

一、构建基于图基(Tukey)双权估计函数的稳健回归模型。

通过历史效应量及环境量建立的回归模型如下式(1)所示：

Y＝Xβ+μ (1)

式中，Y为由历史观测值构成的效应量向量；X为由水位因子、降雨因子、温度因子、时效因子等构成的历史环境量变量矩阵，β为系数向量；μ为随机误差项。

采用M估计法求解稳健回归模型，则其系数向量

的估计值为：

式中，W为等价权矩阵，采用图基双权函数计算。在对比不同权函数形式的基础上，采用图基双权估计，目标函数和权函数如图2和图3所示。权重函数将测值区间分为淘汰区和有用区，根据测值距离其序列中心的远近赋予不同的权重，距离越近权重越高，距离越远权重越低，对于离群值只赋予很小甚至是零的权重，即伸展较远且回降至零权，从而可降低离群点对统计估计的不利影响，提高稳定性和耐抗性。

二、在稳健回归模型的基础上，采用基于位置M估计量的尺度估计量S_T代替剩余标准差S以消减离群点的不利影响。基于位置M估计量的尺度估计量S_T的计算公式如下：

MAD＝median_i{|x_i-median(x_i)|} (6)

式中，x_i为数据序列；T_n为基于M估计的位置估计量；u_i为标准化变量，可保证变量位置和尺度的同变性；n为样本个数；ω(·)为权重函数，同稳健回归一样选取图基双权函数；ψ(·)为目标函数的导函数；ψ′(·)为ψ函数的导函数；c为细调常数，对于双权函数取4.685；S_n是辅助尺度估计通常取中位数离差MAD，即各个观测量到中位数median(x_i)的距离的中位数。

三、构建基于稳健回归模型的预测值置信区间半径D，具体计算公式如下：

式中，t_α/2为T分布在1-α置信水平下对应概率的分位点，根据正态分布在三个标准差范围内的概率选取置信水平为99.7％；ω₀和e₀分别为实时数据计算的权重和残差，采用图基双权估计权函数形式的权重函数计算(式(8))；X₀为实时监测的环境量向量。

四、异常预警阈值设置为[-3S_T-D，3S_T+D]，即满足式(9)的为正常测值，不满足则为异常测值。

式中，Y₀为实测值；

为模型预测值。

下面通过一个实例验证本发明方法的有益效果，具体如下：

某重力坝坝基扬压力测点2012至2016共计5年的实测值过程线如图8所示，序列整体上量值比较平缓，由于2014年8月仪器故障而造成测值在短时间内频繁跳动属于典型的震荡型数据。异常预警阈值的设置不受数据序列长短的影响，因此选取2014年5月至10月之间的52组数据序列(图10)具体说明本发明的设置方法，并以2014年11月3日和6日的测值(图10中序号53、54，图9中★、▲标记)为例说明其识别结果。

大坝安全监测数据异常识别的预警阈值设置过程如下：

1)模型构建：根据各监测量与环境量的关系，构建其回归模型。该测点为坝基扬压力测点，主要与上下游水位、降雨、大坝投运时间有密切关系，可采用式(10)建立回归模型

式中，H_u、H_d为观测日上、下游水深；H_u1、H_d1为前一日上、下游水深；H_u2-3、H_d2-3为前2至3天内的上、下游平均水深；依此类推；P、P₁为当日及前一天日降雨量；P_2-3为前2至3天内日平均降雨量；依此类推；t为从投运算起至观测日的累计天数。

为保证模型精度，可首先采用逐步回归分析剔除相关性不大的环境因子，再根据式(2)计算稳健M估计的回归模型系数向量

经计算，该测点的最优变量为H_u、H_u4-6、H_d、H_d4-6、H_d7-10、P₁、P_4-6、t、ln(t)、t/(t+100)，其稳健M估计的回归模型系数向量

(见表3表)，各测值的回归值、残差、权重见图10。可以看出，离群跳动点被赋予0权使得回归线能较好地拟合大部分测值，如图9(I)所示。

表3稳健M估计系数表

变量	常数项	H<sub>u</sub>	H<sub>u4-6</sub>	H<sub>d</sub>	H<sub>d4-6</sub>	H<sub>d7-10</sub>	P<sub>1</sub>	P<sub>4-6</sub>	t	ln(t)	t/(t+100)
												系数	31636.159	0.259	0.077	-0.015	-0.021	0.084	0.003	0.001	0.332	-2585.282	-10798.904

2)模型预测：根据系数向量

和图10中53号、54号测值的相关环境变量数据计算预测值

分别为429.423、429.307；残差e₀分别为5.846、-0.097；权重ω₀分别为0、0.9472。

3)计算残差序列尺度估计量：由式(5)和式(3)采用SPSS软件计算残差序列图基双权估计量T_n＝-0.0017、尺度估计量S_T＝0.1214。

4)计算置信区间半径：置信度99.7％下t_α/2＝3.155，根据式(7)计算图10中53号、54号测值的置信区间半径D₅₃＝3.1554×0.1214×1＝0.383、D₅₄＝3.1554×0.1214×1.1928＝0.457。

5)计算预警阈值：分别计算图10中53号、54号测值的控制限3S_T+D为0.7472、0.8212，53号测值的残差不满足式(9)而54号满足，因此评判53号为异常值进行预警、54号为正常值，异常识别结果如表4和图9(II)所示。

表4预警阈值相关参数计算结果

在图10中需要注意的是：1、表头加粗变量为稳健回归建模选择的因子；2、表中21行～32行的测值数据为震荡突跳测值；3、53号和54号测值为用于异常识别的数据。

Claims (1)

1.一种大坝安全监测数据异常识别的预警阈值设置方法，其特征在于，包括以下步骤：

步骤1：构建基于图基双权估计函数的稳健回归模型；

通过历史效应量及环境量建立的回归模型如式(1)所示：

Y＝Xβ+μ (1)

式中，Y为由历史观测值构成的效应量向量；X为历史环境量变量矩阵，β为系数向量；μ为随机误差项；

采用M估计法求解稳健回归模型，则其系数向量

的估计值为：

式中，W为等价权矩阵，采用图基双权函数计算；

步骤2：在稳健回归模型的基础上，采用基于位置M估计量的尺度估计量S_T代替剩余标准差S；基于位置M估计量的尺度估计量S_T的计算公式如下：

MAD＝median_i{|x_i-median(x_i)|} (6)

式中，x_i为数据序列；T_n为位置M估计量；u_i为标准化变量；n为样本个数；ω(·)为权重函数，选取图基双权函数；ψ(·)为目标函数的导函数；ψ′(·)为ψ函数的导函数；c为细调常数；S_n是辅助尺度估计通常取中位数离差；MAD为各个观测量到数据序列中位数median(x_i)的距离的中位数；

步骤3：构建基于稳健回归模型的预测值置信区间半径D，具体计算公式如下：

式中，t_α/2为T分布在1-α置信水平下对应概率的分位点；ω₀和e₀分别为实时数据计算的权重和残差，采用图基双权函数形式的权重函数计算；X₀为实时监测的环境量向量；

步骤4：异常预警阈值设置为[-3S_T-D，3S_T+D]，即满足式(9)的为正常测值，不满足则为异常测值；

式中，Y₀为实测值；

为模型预测值。

Images