CN105740431A - 一种基于多层周期指数递阶的时序数据预测方法 - Google Patents

Abstract

本发明提供了一种基于多层周期指数递阶的时序数据预测方法，包括步骤：利用傅里叶级数变换技术分析实时产生的时序数据的周期性，生成多层周期模型；在多层周期模型的基础上，以部分历史数据作为训练数据，进行周期数据的预测权值计算，根据预测权值进行数据预测。本发明通过基于傅里叶级数变换的多层周期划分模型，将历史数据进行抽象，形成数据视图，然后进行多层周期划分，在有效减少数据规模同时又能保持数据特征不变性，有效降低方法的计算复杂性，提高大规模时序数据的预测准确性和运算性能，使得数据预测的速度和精确度能够同时满足要求；还结合Spark云计算技术，实现了时序数据预测并行方法，有效提高大规模时序数据预测的运算性能。

Description

一种基于多层周期指数递阶的时序数据预测方法

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种基于多层周期指数递阶的时序数据预测方法。

背景技术

预测是大数据核心价值，如何对海量的历史数据和实时产生的时序数据进行快速的、精准的数据挖掘，从而提供高质量的预测数据，是目前学术界和工业界的研究热点之一。

随着传感器技术和网络通信技术的不断发展和广泛应用，一种被称为数据流的新的数据时时刻刻地不断产生了，数据流是连续的、输入速率随时间变化的、高速的海量的数据形式。时间序列是指根据时间顺序排列的一组数据，是一类重要的复杂数据对象，广泛存在于各种大型的商业、医学、工程和社会科学等数据库中。如股票价格、各种汇率、销售数量、产品的生产能力、天气数据等。大量时间序列数据真实地记录了系统在各个时刻的所有重要信息。时间序列数据挖掘以事物在不同时刻的状态所形成的数据为研究对象，通过对时间序列数据的特征进行分析和研究，揭示事物的发展变化规律，用于指导人们的社会、经济、军事和生活等活动。时间序列挖掘对人类社会、科技和经济的发展具有重大意义，正逐渐成为数据挖掘的研究热点之一。

大数据环境为时序数据预测带来的有利条件：

(1)大数据预测的数据源：数据预测需要收集海量数据，随着互联网、传感器网络、物联网、移动互联网等媒介的快速发展，这些媒介不断产生大量的数据源。数据源的产生和收集方式越来越简便，成本也越来越低。因此，在大数据时代，数据预测所需数据源不再是问题。

(2)大数据预测的规律性：大数据预测与传统的基于抽样的预测不同之处在于，其基于海量历史数据和实时动态数据，发现数据与结果之间的规律，并假设此规律会延续，捕捉到变量之后进行预测。一个领域本身便有相对稳定的规律，大数据预测才有机会得到应用。

另一方面，大数据环境下的时序数据预测所面临的挑战：

(1)由于数据流是源源不断地持续到达，因此对于数据流挖掘技术的处理速度要很快，甚至实时响应，而传统的挖掘对象是静态的，对时间复杂度的要求并不苛刻.

(2)由于数据流持续无限、规模庞大，因此整个流数据集不可能在存储在内存或硬盘上，须对数据流进行必要的概化舍弃处理；同样，对数据流的分析也不像传统的聚类那样可以多次扫描数据，而只能是单遍扫描.

(3)数据流数据往往都是高维的、海量的，因此其方法的复杂性比传统方法更高.

(4)大数据预测的时效性：各种应用领域对数据预测有着越来越严格的时效要求，譬如股市、实时定价等。基于海量数据通过传统方式进行计算，得出结论可能已经过期，预测并无价值。云计算、分布式计算和超级计算机的发展则提供了这样的高速计算能力。

原有的批处理框架MapReduce适合离线计算，却无法满足实时性要求较高的业务，如实时推荐、用户行为分析等。Spark是一个类似于MapReduce的分布式计算框架，其核心是弹性分布式数据集，提供了比MapReduce更丰富的模型，可以在快速在内存中对数据集进行多次迭代，以支持复杂的数据挖掘技术和图形计算技术。SparkStreaming是建立在Spark上的实时计算框架，它扩展了Spark处理大规模流式数据的能力。通过它提供的丰富的API、基于内存的高速执行引擎，用户可以结合流式、批处理和交互试查询应用。本发明使用SparkStreaming实时计算框架进行时序数据预测方法的并行优化。

发明内容

本发明的目的在于提供一种基于多层周期指数递阶的时序数据预测方法，满足各个应用领域对时序数据预测的高实时响应和高预测精确性的需求。

本发明的目的是通过以下技术方案实现的。

一种基于多层周期指数递阶的时序数据预测方法，包括步骤：

步骤100、利用傅里叶级数变换技术分析实时产生的时序数据的周期性，生成多层周期模型；

步骤200、在所述多层周期模型的基础上，以部分历史数据作为训练数据，进行周期数据的预测权值计算，根据所述预测权值进行数据预测。

可选的，所述步骤100进一步包括：

步骤101：从当前时序数据开始，沿时间轴逆向载入时充数据；

步骤102：使用傅里叶级数变换技术，将时序数据的时域分析问题变换为频域分析问题；

步骤103：利用周期序列的离散傅里叶级数分析时序数据的周期性，提取第一层周期模型，记为P_L1；

步骤104：根据第一层周期模型P_L1，将历史数据进行周期划分，分别记为P11，P12，...，P1n；

步骤105：在第一层模型的基础上，对历史数据进行抽象，提取数据特征，形成数据视图；使用基于角度计算的方法，计算第一层周期模型中各个周期中的每两个数据，以两个数据之间的值差的绝对值除以时间差的值作为这两个数据之间的夹角，找出夹角大于预设阀值的数据点，标记为数据拐点；

步骤106：计算每两个拐点之间的角度，也就是这两个拐点之间的数据变化率，记录该数据变化率；

步骤107：将各个拐点的值、各个拐点所在时间点、拐点之间的数据变化率存储为数据视图；

步骤108：使用步骤102的傅里叶级数变换技术，对步骤107所产生的数据视图进行时域至频域的变换；

步骤109：利用周期序列的离散傅里叶级数分析由步骤108变换的数据频域，从而分析数据视图的周期性，提取第二层周期模型，记为P_L2；

步骤110：循环步骤105至步骤109，从而生成多层周期模型。

可选的，所述步骤200中，在所述多层周期模型的基础上，以部分历史数据作为训练数据，进行周期数据预测权值计算的方法进一步包括：

对各个周期数据的预测贡献率进行迭代计算，选择历史的k个周期数据，作为训练数据；

对k个周期中的每个周期的数据，使用动态模式匹配方法计算该周期数据对进行预测，得到下一个周期的数据预测值；

然后分析数据预测值与实际值之间的误差，计算各层周期模型中的每个周期数据的预测准确率，作为该周期的预测贡献率；

循环预测k个周期数据的每个周期数据值，不断调整各周期模型的预测准确率，直至收敛，作为周期数据的预测权值。

可选的，所述步骤200中，根据所述预设权值进行数据预测的方法进一步包括：

对当前时间窗内的时序数据，使用各个周期模型分别进行数据预测，得到相应的数据预测值；

将各个周期模型预测得到的值与该周期模型的预测贡献率进行相乘，得到加权预测值，然后将各个周期的加权预测值进行相加，得到最终的预测值。

可选的，在所述步骤200中，对周期数据的预测权值计算以及根据所述预测权值进行数据预测进行并行处理，具体包括步骤：

将历史数据加载到SparkStreaming集群云平台的RDD弹性分布式数据集对象中；实时接收时序数据，以一个时间窗为时间步长，将时序数据保存在Spark云平台的D-Stream离散数据流对象中，以形成一个不可改变的分区的数据集；

对于各个时间窗内接收的D-Stream离散数据对象中的各个RDD对象，并行地与历史周期数据进行计算，分别得到预测值分量；并将预测值与各周期数据的贡献率进行加权计算，得到下一个时间窗的数据预测值；

当完成整个时间窗的数据预测时，输出预测值。

本发明实施例与现有技术相比，本发明具有以下优点：

1)本发明提供一种基于多层周期指数递阶的新型时序数据预测方法，该方法一方面对历史数据进行分析，通过一种基于傅里叶级数变换的多层周期划分模型，将历史数据进行抽象，形成数据视图，然后进行多层周期划分，在有效减少数据规模的同时又能保持数据特征不变性，有效降低方法的计算复杂性，提高大规模时序数据的预测准确性和运算性能，使得数据预测的速度和精确度能够同时满足要求。

2)本发明还结合前沿的Spark云计算技术，提供了一种基于SparkStreaming实时计算框架的时序数据预测并行方法，将输入数据流以时间片(秒级)为单位进行拆分，然后以类似批处理的方式处理每个时间片数据，有效提高大规模时序数据预测的运算性能。

附图说明

图1是本发明实施例一提供的第一层周期划分方法示意图；

图2是本发明实施例一提供的原始数据示意图；

图3是本发明实施例一提供的历史数据视图示意图；

图4是本发明实施例一提供的多层周期划分模型示意图；

图5是本发明实施例一提供的基于多层周期指数递阶的新型时序数据预测方法示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例一

本实施例中提出了一种基于多层周期指数递阶的新型时序数据预测方法。由于各个应用领域对时序数据预测的实时响应要求和预测质量越来越高，希望能够快速地、精准地进行数据预测。本方法一方面对历史数据进行分析，通过一种基于傅里叶级数变换的多层周期划分模型，将历史数据进行抽象，形成数据视图，然后进行多层周期划分，在有效减少数据规模的同时又能保持数据特征不变性，使得数据预测的速度和精确度能够同时满足要求。接着分析各层周期模型对数据预测的贡献度，提出一种权值指数递阶衰减计算方法，该方法有别于其他指数线性衰减方法，能够有效挖掘并分析各层周期模型对数据预测的贡献度。本方法具体包括以下步骤：

第一步：基于傅里叶级数变换技术生成多层周期划分模型。

使用傅里叶级数变换技术逆向分析实时产生的时序数据的周期性，提取第一层周期模型。使用拐点标识和数据抽象方法为历史数据生成相应数据视图，大大减少数据规模的同时又能保持数据特征不变性，使用傅利叶变换技术分析产生第二层周期，并依此方法循环计算，从而生成多层周期模型。具体包括：

步骤1：从当前时序数据开始，沿时间轴逆向载入时充数据。

步骤2：使用傅里叶级数变换技术，将时序数据的时域分析问题变换为频域分析问题。

步骤3：利用周期序列的离散傅里叶级数分析时序数据的周期性，提取第一层周期模型，记为P_L1。

步骤4：根据第一层周期模型P_L1，将历史数据进行周期划分，分别记为P11，P12，...，P1n。具体见附图1所示。

步骤5：接下来对在第一层模型的基础上，对历史数据进行抽象，提取数据特征，形成数据视图。使用基于角度计算的方法，计算第一层周期模型中各个周期中的每两个数据，以两个数据之间的值差的绝对值除以时间差的值作为这两个数据之间的夹角，找出夹角大于预设阀值的数据点，标记为数据拐点(TurningPoint)。

步骤6：接着计算每两个拐点之间的角度，也就是这两个拐点之间的数据变化率，记录该数据变化率。

步骤7：此时，一个周期内的数据就可以用各个拐点及拐点之间的数据变化率来表示，将这些拐点的值、拐点所在时间点、拐点之间的数据变化率存储为数据视图。原始数据与历史数据视图之间的示例分别如附图2和附图3所示。

步骤8：使用步骤2的傅里叶级数变换技术，对步骤7所产生的历史数据视图进行时域至频域的变换。而无需对全部历史数据进行分析，从而有效降低数据预测方法的复杂度。

步骤9：利用周期序列的离散傅里叶级数分析由步骤8变换的数据频域，从而分析数据视图的周期性，提取第二层周期模型，记为P_L2。

步骤10：并依此方法，循环步骤5至步骤9，从而生成多层周期模型。

完整的多层周期划分模型如附图4所示。

第二步：采用周期权值指数递阶衰减预测方法进行数据预测，该方法有别于其他指数线性衰减方法。

在多层周期模型的基础上，以部分历史数据作为训练数据，使用各层周期模型中的每个周期数据对这些数据进行模拟预测，然后根据预测数据与真实数据之间的误差程度，计算各层周期模型中的每个周期数据的预测准确率，作为该周期的预测贡献率，并以此作为数据预测的权值，同时考虑同一层周期模型中，时间越远的周期对当前数据的贡献率越低的因素，对预测结果进行加权计算。该模型如图5所示。具体步骤说明如下：

步骤1：需要对各个周期数据的预测贡献率进行迭代计算，选择历史的k个周期数据，作为训练数据；

步骤2：对于步骤1选择的k个周期数据，首先使用第1个周期的数据，使用动态模式匹配方法计算该周期数据对进行预测，得到第2个周期的数据预测值；

步骤3：计算由步骤2计算得到的第2周期数据预测值与实际值之间的误差。

步骤4：根据预测数据与真实数据之间的误差程度，计算各层周期模型中的每个周期数据的预测准确率，作为该周期的预测贡献率。

步骤5：重复步骤3、步骤4，循环预测k个周期数据的每个周期数据值，不断调整各周期模型的预测准确率，直至收敛。

步骤6：对当前时间窗内的时序数据，使用各个周期模型分别进行数据预测，得到相应的数据预测值。

步骤7：将各个周期模型预测得到的值与该周期模型的的预测贡献率进行相乘，得到加权预测值，然后将各个周期的加权预测值进行相加，得到最终的预测值。

实施例二

本实施例二，结合SparkStreaming实时计算框架，对实施例一中的新型时序数据预测方法进行并行优化。将输入数据流以时间片(秒级)为单位进行拆分，然后以类似批处理的方式处理每个时间片数据，有效提高大规模时序数据预测的运算性能。具体步骤说明如下：

步骤1：部署SparkStreaming环境，使用1个计算节点作为集群的主节点，用于追踪D-Stream对象谱系图，以及通过任务调度来计算新的RDD分区。使用若干个计算节点作为集群的工作节点，用于接收数据，存储输入的数据分区和RDD对象，以及执行各种计算任务。

步骤2：将历史数据加载到SparkStreaming集群云平台的RDD弹性分布式数据集对象中。

步骤3：实时接收时序数据，以一个时间窗为时间步长，将时序数据保存在Spark云平台的D-Stream离散数据流对象中，以形成一个不可改变的，分区的数据集。

步骤4：数据分块处理，SparkStreaming把实时输入数据流以时间片Δt(如1秒)为单位切分成块。SparkStreaming会把每块数据作为一个RDD，并使用RDD操作处理每一小块数据。每个块都会生成一个SparkJob处理，最终结果也返回多块。

步骤5：任务调度：对于t1时间段的D-Stream离散数据对象中的各个RDD对象，并行地与历史周期数据进行计算，分别得到预测值分量。并将预测值与各周期数据的贡献率进行加权计算，得到t1预测值。

步骤6：然后将t1预测值作为中间数据，放入t2时间段的D-Stream数据计算中。以此方法进行循环。

步骤7：当完成整个时间窗的数据预测时，输出预测值。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于多层周期指数递阶的时序数据预测方法，其特征在于，该方法包括步骤：

步骤100、利用傅里叶级数变换技术分析实时产生的时序数据的周期性，生成多层周期模型；

步骤200、在所述多层周期模型的基础上，以部分历史数据作为训练数据，进行周期数据的预测权值计算，根据所述预测权值进行数据预测。

2.如权利要求1所述的时序数据预测方法，其特征在于，所述步骤100进一步包括：

步骤101：从当前时序数据开始，沿时间轴逆向载入时充数据；

步骤102：使用傅里叶级数变换技术，将时序数据的时域分析问题变换为频域分析问题；

步骤103：利用周期序列的离散傅里叶级数分析时序数据的周期性，提取第一层周期模型，记为P_L1；

步骤104：根据第一层周期模型P_L1，将历史数据进行周期划分，分别记为P11，P12，...，P1n；

步骤105：在第一层模型的基础上，对历史数据进行抽象，提取数据特征，形成数据视图；使用基于角度计算的方法，计算第一层周期模型中各个周期中的每两个数据，以两个数据之间的值差的绝对值除以时间差的值作为这两个数据之间的夹角，找出夹角大于预设阀值的数据点，标记为数据拐点；

步骤106：计算每两个拐点之间的角度，也就是这两个拐点之间的数据变化率，记录该数据变化率；

步骤107：将各个拐点的值、各个拐点所在时间点、拐点之间的数据变化率存储为数据视图；

步骤108：使用步骤102的傅里叶级数变换技术，对步骤107所产生的数据视图进行时域至频域的变换；

步骤109：利用周期序列的离散傅里叶级数分析由步骤108变换的数据频域，从而分析数据视图的周期性，提取第二层周期模型，记为P_L2；

步骤110：循环步骤105至步骤109，从而生成多层周期模型。

3.如权利要求1所述的时序数据预测方法，其特征在于，所述步骤200中，在所述多层周期模型的基础上，以部分历史数据作为训练数据，进行周期数据预测权值计算的方法进一步包括：

对各个周期数据的预测贡献率进行迭代计算，选择历史的k个周期数据，作为训练数据；

对k个周期中的每个周期的数据，使用动态模式匹配方法计算该周期数据对进行预测，得到下一个周期的数据预测值；

然后分析数据预测值与实际值之间的误差，计算各层周期模型中的每个周期数据的预测准确率，作为该周期的预测贡献率；

循环预测k个周期数据的每个周期数据值，不断调整各周期模型的预测准确率，直至收敛，作为周期数据的预测权值。

4.如权利要求3所述的时序数据预测方法，其特征在于，所述步骤200中，根据所述预设权值进行数据预测的方法进一步包括：

对当前时间窗内的时序数据，使用各个周期模型分别进行数据预测，得到相应的数据预测值；

将各个周期模型预测得到的值与该周期模型的预测贡献率进行相乘，得到加权预测值，然后将各个周期的加权预测值进行相加，得到最终的预测值。

5.如权利要求1所述的时序数据预测方法，其特征在于，在所述步骤200中，对周期数据的预测权值计算以及根据所述预测权值进行数据预测进行并行处理，具体包括步骤：

将历史数据加载到SparkStreaming集群云平台的RDD弹性分布式数据集对象中；实时接收时序数据，以一个时间窗为时间步长，将时序数据保存在Spark云平台的D-Stream离散数据流对象中，以形成一个不可改变的分区的数据集；

对于各个时间窗内接收的D-Stream离散数据对象中的各个RDD对象，并行地与历史周期数据进行计算，分别得到预测值分量；并将预测值与各周期数据的贡献率进行加权计算，得到下一个时间窗的数据预测值；

当完成整个时间窗的数据预测时，输出预测值。