CN106768032A - 一种提高大坝安全自动化监测数据可靠性的处理方法 - Google Patents

Abstract

本发明涉及一种提高大坝安全自动化监测数据可靠性的处理方法，该方法以大坝运行的环境量数据为自变量，以表征大坝运行性态的变形、渗流或应力应变等自动化监测数据为因变量建立线性回归方程，通过依次删除因变量中的值建模来判断该值是否为粗差数据，若是粗差数据则剔除；在判断时，给定预设的显著性水平，设定假设检验，并依据F分布或者t分布进行剔除。该方法可以提高大坝安全自动化监测数据的可靠性。

Description

一种提高大坝安全自动化监测数据可靠性的处理方法

技术领域

本发明涉及一种提高大坝安全自动化监测数据可靠性的处理方法，属于水利工程技术领域。

背景技术

大坝安全自动化监测技术的不断提高，给获取丰富、全面的大坝工程基础数据资源提供了便利。然而，受仪器本身的监测精度、稳定性限制及观测过程中的随机因素等影响，所获取的监测数据不可避免的存在误差数据，如测值的突变(变大或变小)等。

根据大坝安全自动化监测数据特点，并结合误差形成原因的不同，将监测数据中的异常数据可做如下分类：

1)随机误差：主要由各种随机和偶然因素引起，符合均值为0的正态分布。

2)粗差：含有粗大误差、严重偏离真实值(或既定统计模型)的数据，常常是由于观测过程中的操作疏忽在数据的记录、复制和计算处理过程中所产生的过失错误引起。

3)系统误差：由相互独立的偶然因素作用引起的监测仪器或监测点故障等所造成的误差，也严重偏离真实值(或既定统计模型)，常表现为单侧点数据异常波动的现象，并可能具有一定的连续性和阶段性。如大坝位移观测中一般要求观测基点是固定不动的，若观测基点因基础或外力作用产生明显扰动，则会引起观测数据的系统误差。

异常数据的存在影响进一步分析的准确性，因此需要对异常数据进行处理。随机误差在连续大样本的大坝自动化监测数据中普遍存在，一般不影响正常的统计和时序分析，因此可不予处理。而粗差和系统误差数据都属于典型的误差数据，其中系统误差数据由于系统故障难以自行修复，则往往表现为具有多个数值上接近的测值连续出现的特点，表现为在均值附近位置摆动增大，并且一般都具有一定的趋势性，往往可以通过同类监测数据的对比分析辨识，可以很容易地需要根据其形成原因做修正或删除处理。而粗差数据在统计上一般表现为污染正态分布，很显然粗差数据为错误数据，因此为了提高大坝安全自动化监测数据可靠性，在监测资料分析中需要做剔除处理。

发明内容

本发明要解决技术问题是：克服上述技术的缺点，提供一种可以剔除大坝安全自动化监测数据中的粗差数据的方法，从而可以提高大坝安全自动化监测数据的可靠性。

为了解决上述技术问题，本发明提出的技术方案是：一种提高大坝安全自动化监测数据可靠性的处理方法，包括以下步骤：

第一步、以预设时长为频率间隔连续选取n个预设时长的监测数据组成数据序列，其中第i个预设时长的监测数据包括大坝运行的环境量数据x_i和待处理数据y_i，i＝1,…,n，其中环境量数据共有k-1类，即x_i＝(x_i1,…,x_i(k-1))，待处理数据y_i为表征大坝运行性态的变形、渗流或应力应变；

第二步、以x_i为自变量、y_i为因变量建立线性回归方程：

式中：θ＝[b₀,b₁,…,b_k-1]^T，为回归参数；ε_i为随机误差项，服从预设方差为σ的标准正态分布；

记

则在最小二乘估计下，回归参数θ的最佳估值为

且有

记Ρ＝Φ(Φ^TΦ)^-1Φ^T，其对角元素记为p_ii，记矩阵是Φ去掉已知的第一个列向量“1”后得到的矩阵，则的每一行就是自变量的一组数据，即

记

则可得

式中：

第三步、依次删除第i组数据i＝1,…,n，并建立删除数据后的线性回归方程，即：

Y(i)＝Φ(i)θ+ε(i)

式中：Y(i),Φ(i),ε(i)分别为Y,Φ,ε去掉y_i,ε_i得到；

按照第二步中相同的方法作最小二乘估计，则：

式中： 为扰动值，分别为相应参数θ、σ²的最佳估值；

第四步、设定假设检验：

H₀:γ＝0；H₁:γ≠0

第i组数据的检验函数为：

式中：F(i)服从F分布，F(i)∝F(1,n-k-1)；

服从t分布，t_i∝t(n-k-1)；

给定预设的显著性水平1-α，依次对第三步中删除的第i组数据进行检验，检验的势函数为

或

若F(i)＞F(1,n-k-1,1-α)或t_i＞t_1-α(n-k-1)，则可认为为粗差数据，并将剔除。

本发明中，大坝运行时的环境量数据x_i为库水位、降雨量、温度以及时效等以及由此所组成的多项式，在测量时一般不会出现粗大误差的数据，而待处理数据y_i为表征大坝运行性态的变形、渗流或应力应变等监测数据，受监测仪器不稳定等影响可能会出现含有粗大误差、严重偏离真实值的数据测量误差。

一般情况下，待处理数据y_i与大坝运行时的环境量数据x_i均存在一定的关联性，如拱坝水平位移监测值可知与监测日、始测日所对应的上游水头(即水位测值与坝底高程之差以及监测天数)存在相关性等。因此本发明以x_i为自变量、y_i为因变量，研究监测数据中y_i的特征状况并识别待处理数据y_i中的粗差数据。具体的说，就是通过建立自变量与因变量之间的统计回归模型，逐个考察每组数据点对于回归分析的影响，进而通过考察统计诊断量的方法来获取不同误差来源的推论。

由于自动化监测的便捷性，为尽可能多的反映监测状况，监测频率可以设的很密(如每天可能监测8次等)，而监测数据的分析只需要以预设时长为频率间隔(如以天为单位等)选取数据分析序列。对于自动化获得的一个预设时长的原位监测数据，现工程上常用的整编方法就是选择一个统一的参考时间(如每天上午8:00)，以该时刻的数据作为当天的监测数据进行建模，因此难以保证选取到较好的测值并造成了信息的流失。为了提高数据采集阶段的可靠性，在数据采集阶段删除部分粗差数据，上述技术方案的进一步改进是：第i个预设时长的待处理数据y_i采用以下方法获得：

将该预设时长均分为m个时间段，在每个时间段内监测一次，得到关于待处理数据y_i的一个监测数据序列δ₁,δ₂,…,δ_j,…,δ_m；

定义δ_j的可信度分布密度函数ψ(δ_j)为

式中，ξ_j表示满足|δ_l-δ_j|≤λ的个数，其中j-λ≤l≤j+λ且l≠j，λ为预设阈值，

将监测数据序列中每个监测数据的可信度作为权重对监测数据序列进行加权求和，得到待处理数据y_i的值，即

根据粗差和其他异常值的本质区别：如果δ_j是粗差数据，则在δ_j的邻域内与其值相近的δ_l(l＝1,2,…,m,l≠j)个数为零或很少；若δ_j是系统误差或其他异常数据，则在δ_j的邻域内与其值相近的δ_j个数会越来越多。由此，以测值邻域内包含该测值附近测值的个数表征其可信度来定义ψ(δ_j)，即在待考察监测数据序列中，与δ_j相近的数据越多，则认为δ_j的可信度就越大；反之，δ_j的可信度就越小，显然，可信度越小的数据越有可能是粗差数据。

但如果λ设置过大，则可能不能识别所有的粗差数据，导致纳伪；而如果λ设置过小，又可能将正常数据判定为粗差数据，导致弃真。因此，λ取值是否合理将直接决定探测粗差的成功与否。而从对观测序列的应用分析可知，如观测序列相邻观测值的平均差值较大，则λ应取较大值，反之，则λ取较小值，即λ的取值与数据序列的统计特性有关。因此，可以依据对数据统计量的分析选取，如可取λ为对整个观测序列求两倍差值方差：

进一步分析，为了剔除粗差，并尽可能多的利用有用信息使数据平稳，采用如下数学期望作为最终整编输出的测值结果：

求期望的实质是将各原位监测数据的可信度作为权重对监测数据进行加权求和。根据上述分析，粗差数据相应的可信度ξ_j为零(或接近为零)，则通过加权求和求解数学期望可以达到在数据采集阶段剔除粗差并保留有效信息的目的。

附图说明

下面结合附图对本发明作进一步说明。

图1是本发明实施例中每天在固定时间采集的监测数据示意图。

图2是本发明实施例在采集阶段去除粗差后的监测数据示意图。

图3是本发明实施例去除粗差后的监测数据示意图。

具体实施方式

实施例

本实施例的提高大坝安全自动化监测数据可靠性的处理方法，包括以下步骤：

第一步、以天为频率间隔连续选取n天的监测数据组成数据序列，其中第i天的监测数据包括环境量数据x_i和待处理数据y_i，i＝1,…,n，其中环境量数据共有k-1类，即x_i＝(x_i1,…,x_i(k-1))。

本实施例待处理数据选择拱坝水平位移监测值，可以看作主要由水压分量y_H、温度分量y_T和时效分量y_θ组成。环境量数据包括监测日、始测日所对应的上游水头(即水位测值与坝底高程之差)以及位移监测日到始测日的累计天数等。

其中第i天的待处理数据y_i，可以直接在第i天的固定时间(如8点钟)直接采集得到，如图1所示即为实施例在每天固定时间采集的监测数据。

本实施例优选采用以下方法获得待处理数据y_i：

将第i天均分为m个时间段，在每个时间段内监测一次，得到关于待处理数据y_i的一个监测数据序列δ₁,δ₂,…,δ_j,…,δ_m；如两小时监测一次，则m＝12。

定义δ_j的可信度分布密度函数ψ(δ_j)为

式中，ξ_j表示满足|δ_l-δ_j|≤λ的个数，其中j-λ≤l≤j+λ且l≠j，λ为预设阈值，

将监测数据序列中每个监测数据的可信度作为权重对监测数据序列进行加权求和，得到待处理数据y_i的值，即

经采集阶段处理后的监测数据如图2所示。从图1和图2看出，通过加权求和求解数学期望可以达到在数据采集阶段剔除粗差并保留有效信息的目的。

第二步、以x_i为自变量、y_i为因变量建立线性回归方程：

式中：θ＝[b₀,b₁,…,b_k-1]^T，为回归参数；ε_i为随机误差项，服从预设方差为σ的标准正态分布；

记

写成矩阵形式如下

Y＝Φθ+ε

则在最小二乘估计下，回归参数θ的最佳估值为

且有

记Ρ为Φ(Φ^TΦ)^-1Φ^T，其对角元素记为p_ii，记矩阵是Φ去掉已知的第一个列向量“1”后而得到的矩阵，则的每一行就是自变量的一组数据，即

记

则可得

式中：

上式中，表示点到(关于矩阵)的一种距离，通常称为马氏距离。平均值可看作数据的中心，因此上式表明，p_ii越大，则第i组数据(或)离数据中心越远；反之，若离数据中心较远，则p_ii比较大。这些远离数据中心的数据往往就是粗差数据。

第三步、依次删除第i组数据i＝1,…,n；建立删除数据后的线性回归方程，即：

Y(i)＝Φ(i)θ+ε(i)

式中：Y(i),Φ(i),ε(i)分别为Y,Φ,ε去掉y_i,ε_i得到；

按照第二步中相同的方法作最小二乘估计，则：

式中： 为扰动值，分别为相应参数θ、σ²的最佳估值。

由于残差表示观测值y_i与拟合值之差，的大小反映了模型对数据拟合的情况，越大，说明拟合效果越差，因此，显然可以作为判断模型拟合效果的一个指标；而由上式也可以看出，第i个数据所对应的残差越大，则扰动值越大，估计量与的差异越大，即第i个点对模型的影响越大，因而残差也是决定第i组数据影响大小的很重要的统计量。

但是，由于各种数据单位及精度的不同，使得的大小不具有方差齐性，直接由大于某个定值来判断监测数据是否异常，显然是不合适的。因此，为了消除尺度的影响，对残差进行标准化，得到其标准化残差：

取作为σ²的估计量可得扰动标准化残差：

可以看出，标准化残差r_i和t_i越大，与差异越大。由此，本实施例研究的是第i组数据对估计量的影响，若与有显著差异，则说明可能为粗差数据。另外可以看出，与差值的大小主要取决于模型中扰动值的大小，因此，若γ显著异于零，则说明可能为粗差数据。

第四步、为了建立识别粗差数据的定量标准，设定假设检验：

H₀:γ＝0；H₁:γ≠0

这个假设如被否定，则说明γ显著异于0，可判断为粗差数据；这时与之间亦有显著差异，也可说明为粗差数据。

第i组数据的检验函数为：

式中：F(i)服从F分布，F(i)∝F(1,n-k-1)；

服从t分布，t_i∝t(n-k-1)；

给定预设的显著性水平1-α(如取α＝0.05)，依次对第三步中删除的第i组数据进行检验，检验的势函数为

或

若F(i)＞F(1,n-k-1,1-α)或t_i＞t_1-α(n-k-1)，则可认为为粗差数据，并将剔除。剔除粗差后的监测数据如图3所示，可以看出，粗差基本被剔除。

通过图1-图3看出，本实施例经数据采集阶段可处理掉大部分由于监测系统短历时不稳定等引起的粗差数据，再经整编阶段统计诊断分析后，所获得的数据序列稳定性和可靠性都有了进一步提高，从而提高了大坝安全自动化监测数据可靠性。

本发明不局限于上述实施例所述的具体技术方案，除上述实施例外，本发明还可以有其他实施方式。凡采用等同替换形成的技术方案，均为本发明要求的保护范围。

Claims (2)

1.一种提高大坝安全自动化监测数据可靠性的处理方法，包括以下步骤：

第一步、以预设时长为频率间隔连续选取n个预设时长的监测数据组成数据序列，其中第i个预设时长的监测数据包括大坝运行时的环境量数据x_i和待处理数据y_i，i＝1,…,n，其中环境量数据共有k-1类，即x_i＝(x_i1,…,x_i(k-1))，待处理数据y_i为表征大坝运行性态的变形、渗流或应力应变的数据；

第二步、以x_i为自变量、y_i为因变量建立线性回归方程：

式中：θ＝[b₀,b₁,…,b_k-1]^T为回归参数；ε_i为随机误差项，服从预设方差为σ的标准正态分布；

记

则在最小二乘估计下，回归参数θ的最佳估值为

$\widehat{\mathrm{\θ}}={\[{\mathrm{\Φ}}^T\mathrm{\Φ}\]}^{-1}{\mathrm{\Φ}}^{T}Y$

且有

$\hat{Y}=\mathrm{\Φ}\widehat{\mathrm{\θ}}=\mathrm{\Φ}{\[{\mathrm{\Φ}}^T\mathrm{\Φ}\]}^{-1}{\mathrm{\Φ}}^{T}Y$

$\hat{e}=Y-\hat{Y},{\hat{e}}_i=y_i-{\hat{y}}_i,{\widehat{\mathrm{\σ}}}^2={(n-k)}^{-1}{\hat{e}}^T\hat{e}$

记Ρ＝Φ(Φ^TΦ)-¹Φ^T，其对角元素记为p_ii，记矩阵是Φ去掉已知的第一个列向量“1”后得到的矩阵，则的每一行就是自变量的一组数据，即

记

则可得

式中：

第三步、依次删除第i组数据并建立删除数据后的线性回归方程，即：

Y(i)＝Φ(i)θ+ε(i)

式中：Y(i),Φ(i),ε(i)分别为Y,Φ,ε去掉y_i,ε_i得到；

按照第二步中相同的方法作最小二乘估计，则：

${\widehat{\mathrm{\σ}}}_a^2=\frac{(n-k-r_i^2)}{n-k-1}{\widehat{\mathrm{\σ}}}^2$

$\widehat{\mathrm{\γ}}=\frac{{\hat{e}}_i}{1-p_{ii}}$

式中： 为扰动值， 分别为相应参数θ、σ²的最佳估值；

第四步、设定假设检验：

H₀:γ＝0；H₁:γ≠0

第i组数据的检验函数为：

$F\left(i\right)=t_i^2=\frac{n-k-1}{n-k-r_i^2}{r}_i^2=\frac{{\hat{e}}_i^2}{{\widehat{\mathrm{\σ}}}_a^2(1-p_{ii})}$

式中：F(i)服从F分布，F(i)∝F(1,n-k-1)；

服从t分布，t_i∝t(n-k-1)；

给定预设的显著性水平1-α，依次对第三步中删除的第i组数据进行检验，检验的势函数为

或

若F(i)＞F(1,n-k-1,1-α)或t_i＞t_1-α(n-k-1)，则可认为为粗差数据，并将剔除。

2.根据权利要求1所述的提高大坝安全自动化监测数据可靠性的处理方法，其特征在于，第i个预设时长的待处理数据y_i采用以下方法获得：

将该预设时长均分为m个时间段，在每个时间段内监测一次，得到关于待处理数据y_i的一个监测数据序列δ₁,δ₂,…,δ_j,…,δ_m；

定义δ_j的可信度分布密度函数ψ(δ_j)为

式中，ξ_j表示满足|δ_l-δ_j|≤λ的个数，其中l＝1,2,…,m且l≠j，λ为预设阈值，

将监测数据序列中每个监测数据的可信度作为权重对监测数据序列进行加权求和，得到待处理数据y_i的值，即

$y_i=\underset{j=1}{\overset{m}{\Σ}}{\mathrm{\δ}}_j\mathrm{\ψ}\left({\mathrm{\δ}}_j\right).$