CN107885696B - 一种利用观测序列相似性实现缺失数据修复的方法 - Google Patents

Abstract

本发明公开了一种利用观测序列相似性实现缺失数据修复的方法，是利用边坡各监测点变形序列之间的相似性实现缺失数据修复的方法，根据同一个边坡上多个监测点的变形趋势具有相似性的特点，实现监测点缺失数据的修复，解决监测点的变形序列数据缺失或非等间隔采样问题，保证时间序列的完整性。

Description

一种利用观测序列相似性实现缺失数据修复的方法

技术领域

本发明涉及一种缺失数据的补录方法，特别涉及一种利用边坡各监测点变形序列之间的相似性实现缺失数据修复的方法。

背景技术

边坡变形监测工程中，监测点的变形序列不可避免地存在数据缺失、数据不完整和数据非等间隔采样等实际问题。造成数据缺失的原因多种多样，比如因缺少供电而导致数据采集设备无法正常工作，因网络或信号的问题导致数据传输中断，因下雨或者人手问题导致数据采集周期不固定等。边坡变形监测中，监测点时间序列数据本身较少，如果忽略缺失数据则可能导致无法估计其真实变形情况。常规的处理方法是删除缺失时段的数据记录，或者采取插值等方法估算缺失数据，由于插值等方法只考虑时间序列自身的特性，很少采用外部参照数据，因此得到的结果与真实情况差别较大。

发明内容

本发明所要解决的技术问题是提供一种利用观测序列相似性实现缺失数据修复的方法，是利用边坡各监测点变形序列之间的相似性实现缺失数据修复的方法，根据同一个边坡上多个监测点的变形趋势具有相似性的特点，实现监测点缺失数据的修复，解决监测点的变形序列数据缺失或非等间隔采样问题，保证时间序列的完整性。

本发明为解决上述技术问题采用以下技术方案：

本发明提供一种利用观测序列相似性实现缺失数据修复的方法，当某一监测点出现数据缺失时，利用边坡各监测点变形序列之间的相似性实现缺失数据修复，该方法包括以下具体步骤：

步骤1，当某一监测点出现数据缺失时，对比所有监测点数据，该数据缺失的监测点数据形成变形序列x，数据完整的监测点数据形成变形序列集合{y_i,i＝1,2,...,n}，其中，y_i为第i个数据完整的监测点数据形成的变形序列，n为数据完整的监测点数目；

步骤2，对比变形序列x与变形序列y_i，得到完整数据时段1～t，以及x的缺失数据时段t+1～t+m；

步骤3，令i＝1；

步骤4，利用公式1计算变形序列x与变形序列y_i在1～t时段的Pearson相关系数r_i：

式中，x_j为变形序列x在j时刻的观测值，

为变形序列x的平均值，y_j为变形序列y_i在j时刻的观测值，

为变形序列y_i的平均值；

步骤5，令i＝i+1，如果i＜n，则返回步骤4，否则汇总得到变形序列x与变形序列集合{y_i,i＝1,2,...,n}之间的Pearson相关系数集合{r_i,i＝1,2,...,n}，然后执行步骤6；

步骤6，令i＝1；

步骤7，利用公式2将r_i标准化，得到r_i的权重w_i：

步骤8，令i＝i+1，如果i＜n，则返回步骤7，否则汇总得到权重集合{w_i,i＝1,2,...,n}，然后执行步骤9；

步骤9，令i＝1；

步骤10，令l＝t；

步骤11，利用公式3计算变形序列y_i相邻时刻的变形增量：

式中，

为变形序列y_i在l时刻的变形量，

为变形序列y_i在l+1时刻的变形量，

为变形序列y_i在l+1时刻相对于l时刻的变形增量；

步骤12，令l＝l+1，若l＜t+m，则返回步骤11，否则执行步骤13；

步骤13，令i＝i+1，若i＜n，则返回步骤10，否则执行步骤14；

步骤14，令p＝t；

步骤15，利用公式4计算变形序列x在p+1时刻至p时刻的变形增量估计：

式中，

为变形序列y_i在p+1时刻相对于p时刻的变形增量，Δx^p,p+1为变形序列x在p+1时刻相对于p时刻的变形增量估计；

步骤16，利用公式5计算变形序列x在p+1时刻的变形估计：

x^p+1＝x^p-Δx^p,p+1 (5)

式中，x^p+1为变形序列x在p+1时刻的变形估计，x^p为变形序列x在p时刻的变形估计；

步骤17，令p＝p+1，如果p＜t+m，返回步骤15，否则结束计算，得到变形序列x在缺失数据时段内的变形估计，从而完成缺失数据修复。

作为本发明的进一步技术方案，步骤1中n根据实际需要确定。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

附图说明

图1是本发明的方法流程图；

图2是本发明修复后的时间序列与原始时间序列的对比图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

某一边坡共埋设有16个监测点监测边坡的变形，系统自运行以来获得了大量边坡变形数据，提取该16个监测点自2012年7月至2015年2月的32期月变形序列，采用本发明方法完成监测点缺失数据的估计。

为了检验方法的可用性，从16个监测点中随机选取TP124监测点，并剔除该序列中的第20期～第30期的变形数据，利用前19期数据计算时间序列的相关系数，然后估计缺失的第20期～第30期变形数据，并与真实数据比较。

如图1所示，一种利用边坡各监测点变形序列之间的相似性实现缺失数据修复的方法，包括以下步骤：

步骤1，对比16监测点数据，得到存在数据缺失的监测点TP124，将该点的变形序列表示为x，此外得到其他15个数据完整的监测点变形序列集合{y_i,i＝1,2,...,15}；

步骤2，对比得到序列x与y_i的完整数据时段为第1期～第19期，以及x的缺失数据时段为第20期～第30期；

步骤3，令i＝1；

步骤4，利用公式1计算变形序列x与变形序列y_i在第1期～第19期的Pearson相关系数r_i；

式(1)中，r_i为变形序列x与变形序列y_i的Pearson相关系数，x_j为变形序列x在j时刻的观测值，

为变形序列x的平均值，y_j为变形序列y_i在j时刻的观测值，

为变形序列y_i的平均值。

步骤5，令i＝i+1，如果i＜19，则返回步骤4，否则汇总得到变形序列x与变形序列集合{y_i,i＝1,2,...,15}之间的Pearson相关系数集{r_i,i＝1,2,...,15}，然后执行步骤6；

步骤6，令i＝1；

步骤7，利用公式2将r_i标准化，得到r_i的权重w_i：

步骤8，令i＝i+1，如果i＜n，则返回步骤7，否则汇总得到权重集合{w_i,i＝1,2,...,n}，将w_i作为变形序列x在第20～第30缺失数据的权重贡献，然后执行步骤9。

步骤9，令i＝1；

步骤10，令l＝19；

步骤11，利用公式3计算变形序列y_i相邻时刻的变形增量：

式(3)中，

为变形序列y_i在l时刻的变形量，

为变形序列y_i在l+1时刻的变形量，

为变形序列y_i在l+1时刻相对于l时刻的变形增量。

步骤12，令l＝l+1，若l＜30，则返回步骤11，否则执行步骤13；

步骤13，令i＝i+1，若i＜15，则返回步骤10，否则执行步骤14；

步骤14，令p＝19；

步骤15，利用公式4计算变形序列x在p+1时刻至p时刻的变形增量估计：

式(4)中，

为变形序列y_i在p+1时刻相对于p时刻的变形增量，Δx^p,p+1为变形序列x在p+1时刻相对于p时刻的变形增量估计。

步骤16，利用公式5计算变形序列x在p+1时刻的变形估计：

x^p+1＝x^p-Δx^p,p+1 (5)

式(5)中，x^p+1为变形序列x在p+1时刻的变形估计，x^p为变形序列x在p时刻的变形估计；

步骤17，令p＝p+1，如果p＜30，返回步骤15，否则结束计算，得到变形序列x缺失数据时段内的变形估计。

表1～表3分别为监测点TP124第20～30期在x,y,z三个方向的修复结果。

表1第20～30期x方向实际值与估计值统计结果(单位：mm)

	20	21	22	23	24	25	26	27	28	29	30
												真实值	-0.17	-1.84	-2.79	-0.74	0.36	0.64	-0.98	-3.79	-2.32	-0.50	1.13
估计值	0.03	-0.98	-2.15	-0.61	0.18	0.30	-0.23	-1.51	-0.66	0.10	0.72
												误差	0.20	0.86	0.64	0.13	-0.18	-0.34	0.75	2.28	1.66	0.60	-0.41

表2第20～30期y方向实际值与估计值统计结果(单位：mm)

	20	21	22	23	24	25	26	27	28	29	30
												真实值	3.42	2.13	1.06	-1.04	-3.07	-4.10	0.37	6.36	5.97	5.32	4.62
估计值	3.45	2.81	2.07	1.01	-0.80	-2.40	0.39	3.78	3.45	3.95	3.83
												误差	0.03	0.68	1.01	2.05	2.27	1.70	0.02	-2.58	-2.52	-1.37	-0.79

表3监测点第20～30期z方向实际值与估计值统计结果(单位：mm)

	20	21	22	23	24	25	26	27	28	29	30
												真实值	-9.69	-5.53	-2.40	0.66	13.58	22.22	19.34	8.30	4.47	-3.30	-7.84
估计值	-8.51	-3.04	1.17	3.83	15.10	19.55	16.08	3.42	0.21	-9.12	-12.74
												误差	1.18	2.49	3.57	3.17	1.52	-2.67	-3.26	-4.88	-4.26	-5.82	-4.90

从上表可以看到，x方向最大的误差出现在在第27期，误差达到了2.28mm，最小的误差出现在第23期，仅为0.13mm；y方向的最大误差出现在第27期，约为-2.58mm，最小的误差出现在第26期，约为0.02mm；z方向的误差较大，最大误差出现在第29期，约为-5.82mm，最小的误差出现在第20期，约为1.18。从上面的结果来看，估计值与真实值的整体吻合度较好，精度也较高。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (2)

1.一种利用观测序列相似性实现缺失数据修复的方法，其特征在于，当某一监测点出现数据缺失时，利用边坡各监测点变形序列之间的相似性实现缺失数据修复，该方法包括以下具体步骤：

步骤1，当某一监测点出现数据缺失时，对比所有监测点数据，该数据中缺失的监测点数据形成变形序列x，数据完整的监测点数据形成变形序列集合{y_i,i＝1,2,…,n}，其中，y_i为第i个数据完整的监测点数据形成的变形序列，n为数据完整的监测点数目；

步骤2，对比变形序列x与变形序列y_i，得到完整数据时段1～t，以及x的缺失数据时段t+1～t+m；

步骤3，令i＝1；

步骤4，利用公式1计算变形序列x与变形序列y_i在1～t时段的Pearson相关系数r_i：

式中，x_j为变形序列x在j时刻的观测值，

为变形序列x的平均值，y_ij为变形序列y_i在j时刻的观测值，

为变形序列y_i的平均值；

步骤5，令i＝i+1，如果i<n，则返回步骤4，否则汇总得到变形序列x与变形序列集合{y_i,i＝1,2,…,n}之间的Pearson相关系数集合{r_i,i＝1,2,...,n}，然后执行步骤6；

步骤6，令i＝1；

步骤7，利用公式2将r_i标准化，得到r_i的权重w_i：

步骤8，令i＝i+1，如果i<n，则返回步骤7，否则汇总得到权重集合{w_i,i＝1,2,...,n}，然后执行步骤9；

步骤9，令i＝1；

步骤10，令l＝t；

步骤11，利用公式3计算变形序列y_i相邻时刻的变形增量：

式中，

为变形序列y_i在l时刻的变形量，

为变形序列y_i在l+1时刻的变形量，

为变形序列y_i在l+1时刻相对于l时刻的变形增量；

步骤12，令l＝l+1，若l<t+m，则返回步骤11，否则执行步骤13；

步骤13，令i＝i+1，若i<n，则返回步骤10，否则执行步骤14；

步骤14，令p＝t；

步骤15，利用公式4计算变形序列x在p+1时刻至p时刻的变形增量估计：

式中，

为变形序列y_i在p+1时刻相对于p时刻的变形增量，Δx^p,p+1为变形序列x在p+1时刻相对于p时刻的变形增量估计；

步骤16，利用公式5计算变形序列x在p+1时刻的变形估计：

x^p+1＝x^p-Δx^p,p+1 (5)

式中，x^p+1为变形序列x在p+1时刻的变形估计，x^p为变形序列x在p时刻的变形估计；

步骤17，令p＝p+1，如果p<t+m，返回步骤15，否则结束计算，得到变形序列x在缺失数据时段内的变形估计，从而完成缺失数据修复。

2.根据权利要求1所述的一种利用观测序列相似性实现缺失数据修复的方法，其特征在于，步骤1中n根据实际需要确定。

Images