CN106844290A - 一种基于曲线拟合的时序数据处理方法 - Google Patents

Abstract

本发明公开一种基于曲线拟合的时序数据处理方法，步骤是：服务端保存每个测点最新数据的时间戳，每收到一条数据，将其时间戳与最新时间戳比对，确定是否存在数据缺失，若缺失则确定数据缺失时间段，选取数据缺失时间段的前一段和后一段的数据作为曲线拟合的样本；根据样本计算拟合曲线对应的二次函数的参数，确定数值和时间戳的函数关系；计算待拟合数据的存储周期，确定每个待拟合数据的时间戳，再根据二次函数计算每个待拟合数据的值；存储拟合计算得到的各参数。此种数据处理方法具有计算效率高、拟合误差小的特点，并且拟合计算过程在后台进行，不会对查询应用产生影响。

Description

一种基于曲线拟合的时序数据处理方法

技术领域

本发明属于时序数据处理领域，特别涉及一种基于曲线拟合的时序数据处理方法。

背景技术

时序数据处理技术被广泛应用于广域测量系统(WAMS)、变电站监控、调度、直流、稳控等多个系统中，满足其存储海量、高频数据的需求。该技术主要用于存储秒级、毫秒级高频数据，此类型数据一般具有周期性特点，每个存储周期会产生一批数据需要存储，因此数据量极大，对数据处理的速度要求很高，并且时序数据查询要求较高的实时性、完整性、正确性，这对时序数据处理技术的可靠性、健壮性提出了更高的要求。

对于时序数据的存储，往往会由于应用、网络、服务器等的故障导致部分数据缺失，缺失数据补齐是一项费时费力的工作，目前常见的几种缺失数据补齐方法都存在一定的缺陷，传统的缺失数据补齐方法及其缺陷如下：

(1)客户端本地缓存

该方法在网络或者服务端故障时，将数据暂时缓存在客户端本地磁盘，待网络或服务端恢复后再将数据补发到服务端。该方法存在的缺陷：1)客户端本地磁盘空间有限，只能缓存部分数据；2)当客户端故障时，无法缓存故障期间的数据；3)补齐数据的过程耗时较长，缺失的数据实际已经影响到了时序数据查询的完整性。

(2)人工补齐缺失数据

当发现某段时间的数据缺失后，手工根据之前的数据进行模拟补齐。该方法存在的缺陷：1)需要人为干预，耗时耗力，且手工补齐的数据精度误差较大；2)当发现数据缺失时，实际已经造成了不良影响。

(3)查询时使用插值算法补齐

查询时使用特定的插值算法，计算出缺失的数据值返回。该方法存在的缺陷：1)当缺失数据较多时，插值会影响查询性能；2)每次查询都要计算插值点，浪费计算资源。

发明内容

本发明的目的，在于提供一种基于曲线拟合的时序数据处理方法，其具有计算效率高、拟合误差小的特点，并且拟合计算过程在后台进行，不会对查询应用产生影响。

为了达成上述目的，本发明的解决方案是：

一种基于曲线拟合的时序数据处理方法，包括如下步骤：

(1)服务端保存每个测点最新数据的时间戳，每收到一条数据，将其时间戳与最新时间戳比对，确定是否存在数据缺失，若缺失则确定数据缺失时间段，转步骤(2)，并在收到一条新数据后，更新该测点的最新时间戳；

(2)选取数据缺失时间段的前一段和后一段的数据作为曲线拟合的样本；

(3)根据样本计算拟合曲线对应的二次函数的参数，确定数值v和时间戳t的函数关系；

(4)计算待拟合数据的存储周期，确定每个待拟合数据的时间戳，再根据二次函数计算待拟合数据的值；

(5)存储拟合计算得到的各参数。

上述步骤(1)中，判断数据缺失的方法是：预设拟合阈值为λ，服务端收到一条数据后，将当前接收到的时间戳t₁与最新时间戳t₀比对，判断二者的差Δt是否大于λ，是则确定时间段[t₀,t₁]为数据缺失时间段，启动拟合计算。

上述步骤(2)的详细内容是：设数据缺失时间段为[t₀,t₁]，选取t_before和t_after，使得t₀-t_before＝t_after-t₁＝2(t₁-t₀)，将时间段[t_before,t₀]和[t₁,t_after]内的数据作为拟合计算的样本。

上述时间段[t_before,t₀]包含的样本个数m₁等于时间段[t₁,t_after]包含的样本个数m₂。

上述步骤(3)的详细内容是：设数值v和时间戳t之间符合如下函数关系：

v＝f(t)＝a₀+a₁t+a₂t²

转化为求解二次函数的参数a₀、a₁、a₂；求解过程是：

a)根据最小误差平方原则，求解目标转化为求函数的极小值；

b)分别对参数a₀、a₁、a₂求偏导数，并令其为0，得到：

其中，k＝1,2,…,n；根据步骤(2)选取的n个样本点(t₁,v₁)、(t₂,v₂)、…、(t_n,v_n)，求解方程组，得到参数a₀、a₁、a₂的值。

上述步骤(4)的详细内容是：设步骤(2)中数据缺失时间段的前一段时间段为[t_before,t₀]，包含的样本个数为m₁，后一段时间段为[t₁,t_after]，包含的样本个数为m₂，依据下式计算待拟合数据的存储周期p，从而确定每个待拟合数据的时间戳：

从而得到待拟合数据的个数；

依据下式计算各个样本点(t₁,v₁)、(t₂,v₂)、…、(t_n,v_n)对应的待拟合数据：

其中，i＝1,2,…,m。

上述步骤(5)中，存储的参数包括最新时间戳、待拟合数据的存储周期、待拟合数据的个数，以及二次函数中的系数和常数项。

采用上述方案后，本发明具有以下特点：

(1)自动发现数据缺失时间段并进行拟合计算，无需人为干预，并且拟合得到的数据误差比人工插值误差小；

(2)拟合计算过程在服务端后台进行，对应用完全透明，不影响查询性能；

(3)根据样本计算出拟合参数后，只需要存储参数，即可在查询时还原出缺失时间段的数据，极大节省了存储空间；

(4)客户端无需考虑由于不可控因素(网络、节点故障)导致的数据丢失的情况，完全由服务端进行拟合处理。

附图说明

图1是本发明拟合计算启动条件示意图；

图2是本发明样本选取示意图；

图3是本发明根据样本进行拟合计算的流程图。

具体实施方式

以下将结合附图，对本发明的技术方案进行详细说明。

如图3所示，本发明提供一种基于曲线拟合的时序数据处理方法，包括如下步骤：

(1)如图1所示，首先预设拟合阈值为λ；服务端保存每个测点接收最新数据的时间戳，在接收客户端时序数据时，每收到一条数据，将当前接收到的时间戳t₁与最新时间戳t₀比对，判断二者的差Δt是否大于预设的拟合阈值λ，是则确定时间段[t₀,t₁]为数据缺失时间段，启动拟合计算；无论Δt是否大于λ，服务端都会将最新时间戳由t₀更新为t₁；

(2)选取数据缺失时间段的前一段和后一段的数据作为曲线拟合的样本，具体是由t₀向前确定t_before，由t₁向后确定t_after，使得t₀-t_before＝t_after-t₁＝2(t₁-t₀)，将时间段[t_before,t₀]和[t₁,t_after]内的数据作为拟合计算的样本，并在通常情况下使[t_before,t₀]包含的样本个数m₁等于[t₁,t_after]包含的样本个数m₂；

(3)从减少欠拟合和过拟合的角度考虑，假设数值v和时间戳t之间符合如下函数关系：

v＝f(t)＝a₀+a₁t+a₂t²

根据步骤(2)选取的样本计算前述二次函数的参数a₀、a₁、a₂，从而使得所选取的样本点尽可能地靠近前述二次函数表示的拟合曲线；如果某个样本点不在该曲线上，则它的坐标不满足曲线方程，有一个误差，所有样本的误差平方和表示为下式：

根据最小误差平方原则，使所有样本点到二次函数f(t)的距离之和最小，求解目标转化为求函数F的极小值，分别对参数a₀、a₁、a₂求偏导数，并令其为0，得到：

根据步骤(2)选取的n个样本点(t₁,v₁)、(t₂,v₂)、…、(t_n,v_n)将上式转化为解线性方程组：

其中，k＝1,2,…,n，从而求得参数a₀、a₁、a₂的值，确定数值v和时间戳t之间的函数关系。

(4)根据时间段[t_before,t₀]和[t₁,t_after]内的样本个数m₁、m₂，依据下式计算待拟合数据的存储周期p，从而确定每个待拟合数据的时间戳：

从而得到待拟合数据的个数；

依据下式计算各个样本点(t₁,v₁)、(t₂,v₂)、…、(t_n,v_n)对应的待拟合数据的值：

其中，i＝1,2,…,m。

(5)拟合计算完成后，只需永久存储拟合计算得到的各参数<t₀,p,m,a₀,a₁,a₂>，而不是存储拟合得到的各组数据，这样当某个查询请求的时间段落入[t₀,t₁]的区间时，即可根据存储周期p重新还原时间段[t₀,t₁]的数据，具有极高的压缩比，比现有的压缩算法更具优势。

综合上述，本发明一种基于曲线拟合的时序数据处理方法，首先根据时间戳跳变范围和拟合阈值确定数据缺失时间段，然后选取该段时间附近的数据做样本，采用二次曲线拟合确定数值v和时间戳t之间的函数关系，再根据样本存储周期，并结合拟合函数计算缺失的具体数据，最后将拟合参数进行存储，当需要查询数据缺失时间段内的数据时，系统即可根据存储的参数计算出这段时间的数据，并作为结果返回。本发明适用于时序库服务端的数据处理，整个过程完全自动化，并且在后台计算，由于一旦确定数据缺失时间段就会立即启动选取样本点、计算拟合参数、确定待拟合数据、存储等一系列操作，不会对数据查询造成影响，解决了由于不可控的数据丢失导致客户端曲线显示异常、查询数据不完整的问题。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (7)

1.一种基于曲线拟合的时序数据处理方法，其特征在于包括如下步骤：

(1)服务端保存每个测点最新数据的时间戳，每收到一条数据，将其时间戳与最新时间戳比对，确定是否存在数据缺失，若缺失则确定数据缺失时间段，转步骤(2)，并在收到一条新数据后，更新该测点的最新时间戳；

(2)选取数据缺失时间段的前一段和后一段的数据作为曲线拟合的样本；

(3)根据样本计算拟合曲线对应的二次函数的参数，确定数值v和时间戳t的函数关系；

(4)计算待拟合数据的存储周期，确定每个待拟合数据的时间戳，再根据二次函数计算待拟合数据的值；

(5)存储拟合计算得到的各参数。

2.如权利要求1所述的一种基于曲线拟合的时序数据处理方法，其特征在于所述步骤(1)中，判断数据缺失的方法是：预设拟合阈值为λ，服务端收到一条数据后，将当前接收到的时间戳t₁与最新时间戳t₀比对，判断二者的差Δt是否大于λ，是则确定时间段[t₀,t₁]为数据缺失时间段，启动拟合计算。

3.如权利要求1所述的一种基于曲线拟合的时序数据处理方法，其特征在于所述步骤(2)的详细内容是：设数据缺失时间段为[t₀,t₁]，选取t_before和t_after，使得t₀-t_before＝t_after-t₁＝2(t₁-t₀)，将时间段[t_before,t₀]和[t₁,t_after]内的数据作为拟合计算的样本。

4.如权利要求3所述的一种基于曲线拟合的时序数据处理方法，其特征在于：所述时间段[t_before,t₀]包含的样本个数m₁等于时间段[t₁,t_after]包含的样本个数m₂。

5.如权利要求1所述的一种基于曲线拟合的时序数据处理方法，其特征在于所述步骤(3)的详细内容是：设数值v和时间戳t之间符合如下函数关系：

v＝f(t)＝a₀+a₁t+a₂t²

转化为求解二次函数的参数a₀、a₁、a₂；求解过程是：

a)根据最小误差平方原则，求解目标转化为求函数 $F(a_0,a_1,a_2)=\underset{k=1}{\overset{n}{\&Sigma;}}{\&lsqb;(a_0+a_1{t}_k+a_2{t_k}^2)-v_k\&rsqb;}^2$ 的极小值；

b)分别对参数a₀、a₁、a₂求偏导数，并令其为0，得到：

$\left\{\begin{array}{c}\underset{k=1}{\overset{n}{\&Sigma;}}2\&lsqb;\left(a_0+a_1{t}_k+a_2{t_k}^2\right)-v_k\&rsqb;=0\\ \underset{k=1}{\overset{n}{\&Sigma;}}2\&lsqb;\left(a_0+a_1{t}_k+a_2{t_k}^2\right)-v_k\&rsqb;t_k=0\\ \underset{k=1}{\overset{n}{\&Sigma;}}2\&lsqb;\left(a_0+a_1{t}_k+a_2{t_k}^2\right)-v_k\&rsqb;{t_k}^2=0\end{array}\right.$

其中，k＝1,2,…,n；根据步骤(2)选取的n个样本点(t₁,v₁)、(t₂,v₂)、…、(t_n,v_n)，求解方程组，得到参数a₀、a₁、a₂的值。

6.如权利要求1所述的一种基于曲线拟合的时序数据处理方法，其特征在于所述步骤(4)的详细内容是：设步骤(2)中数据缺失时间段的前一段时间段为[t_before,t₀]，包含的样本个数为m₁，后一段时间段为[t₁,t_after]，包含的样本个数为m₂，依据下式计算待拟合数据的存储周期p，从而确定每个待拟合数据的时间戳：

$p=\frac{\frac{t_0-t_{before}}{m_1}+\frac{t_{after}-t_1}{m_2}}{2}$

从而得到待拟合数据的个数；

依据下式计算各个样本点(t₁,v₁)、(t₂,v₂)、…、(t_n,v_n)对应的待拟合数据：

$\left\{\begin{array}{c}{t}_i=t_0+i*p\\ v_i=a_0+a_1{t}_i+a_2{t_i}^2\end{array}\right.$

其中，i＝1,2,…,m。

7.如权利要求1所述的一种基于曲线拟合的时序数据处理方法，其特征在于：所述步骤(5)中，存储的参数包括最新时间戳、待拟合数据的存储周期、待拟合数据的个数，以及二次函数中的系数和常数项。