CN102737093A - 数据存储装置和数据存储方法 - Google Patents

Abstract

本发明的数据存储装置包括一个数据收集器，用于收集时间序列数据，以及一个取样器，用于对每个所述数据片计算表示每个数据片中变化的多个变化指数，并且判定是否取样所述数据片。

Description

数据存储装置和数据存储方法

相关申请的交叉引用

本申请基于并要求享有2011年3月18日提交的申请序列号为2011-060597的日本专利申请的优先权权利，揭示的内容通过参考整体结合于此。

技术领域

本发明涉及数据存储装置和数据存储方法。

背景技术

随着大量数据中心和云计算的出现，计算机系统的规模持续扩大。

由于计算机系统规模的扩大，表示计算机系统资源使用(如存储器使用、打开文件数、以及产生的线程数)的资源数据数量也在增加。

因此，偶尔使用存储介质的容量来存储非直接关联于要在计算机系统上执行的首要任务的资源数据相关任务。

因此，当存储恒定变化的时间序列数据时，对该时间序列数据取样得到时间序列数据的十分之一，以减少存储的时间序列数据片的数量。

通常，采取以固定时间间隔取样时间序列数据的方法。然而，该方法存在一个问题，即时间序列数据的数量和时间序列数据的准确度(时间序列数据和初始观测数据之间的差值)取决于取样时间间隔。

为了解决这一问题，JP10-143543A提出了一种方法，其中，对当前和以前的时间序列数据之间的变化数量进行计算，以作为当前时间序列数据中的变化指数，并且，该当前时间序列数据根据计算的变化数量而取样。

然而，JP10-143543A中提出的方法的取样准确度较低，这是因为该方法只用到一个指数，即变化数量，作为时间序列数据中变化指数。因此，该方法存在一个问题，即不可以令人满意地减少取样的数据片数量。

具体地说，例如，线性变化的时间序列数据可以只通过对变化起始点的数据和变化末端点的数据取样来重现。

然而，如果和JP10-143543A中一样，只采用变化数量作为变化指数，存在一种可能性，即在根据时间序列数据的梯度数据线性变化的全部时段内，取样数据。

发明内容

因此，本发明的一个目标在于解决上述问题，并且给出一种数据存储装置和一种数据存储方法，能够在提高取样准确度的同时，令人满意地减少取样数据片数量。

本发明的数据存储装置包括一个数据收集器，用于收集时间序列数据，以及一个取样器，用于计算表示每个数据片中变化的多个变化指数，并且根据计算结果判定是否取样数据片。

本发明的数据存储方法是一种通过数据存储装置存储数据的方法。该方法包括一个收集时间序列数据的收集步骤，以及一个计算表示每个数据片变化的多个变化指数的取样步骤，并且根据计算结果判定是否取样数据片。

本发明的有利效果为能够在提高取样准确度的同时，令人满意地减少取样数据的数量。

根据下文的描述，参考说明本发明示例的附图，本发明的上述的及其它的目标、特征、以及优点将会变得很清楚。

附图说明

图1为说明根据本发明示例实施方式数据存储装置配置的框图；

图2为说明图1中说明的数据存储装置数据存储操作的流程图；

图3为说明图2的A2步骤动态取样过程的流程图；

图4为说明存储在图1中说明的数据存储装置中的资源数据示例的图；

图5为说明存储在图1中说明的数据存储装置中的资源数据另一示例的图；

图6为说明图2的A6步骤数据合并过程的流程图；以及

图7为说明图1中说明的数据存储装置的数据恢复操作的图。

具体实施方式

参考附图，下文将对用于执行本发明的示例实施方式进行描述。

采用示例，对示例实施方式进行描述，示例中，表示计算机系统资源使用的如存储器使用、打开文件数、以及产生的线程数的资源数据存储为时间序列数据。

(1)示例实施方式的配置

参考图1，对示例实施方式的配置进行描述。

参考图1，该示例实施方式的数据存储装置包括数据收集器101，用于以固定时间间隔收集计算机系统资源的数据，数据管理器102，用于以固定时间间隔取样和存储数据收集器101收集的资源数据，并且恢复存储的资源数据，以及一个数据分析器103，用于分析数据管理器102恢复的资源数据，并且预测可以在将来出现的资源异常和计算机系统资源中的变化。

数据管理器102包括取样器201，用于以固定时间间隔对由数据收集器101收集的资源数据取样，数据压缩器202，用于压缩资源数据，存储介质203，用于存储由数据压缩器202压缩的资源数据，和数据恢复器，用于恢复存储在存储介质203的资源数据。

(2)示例实施方式的操作

下文将描述本示例实施方式的操作。

(2-1)数据存储操作

首先参考图2，描述存储介质203上存储资源数据的操作。

参考图2，数据收集器101以固定时间间隔收集资源数据，并且以固定间隔(例如，每小时一次)发送该收集的资源数据至数据管理器102。

当取样器201在步骤A1接收来自数据收集器101的资源数据时，取样器201根据图3中说明的动态取样过程在步骤A2对接收到的资源数据中特征点处的资源数据取样。

参考图3，这里将详细描述图2中步骤A2的程序(动态取样程序)。

参考图3，取样器201对从数据收集器101接收到的观测点处的观测值(资源数据)执行一个接一个的计算。在步骤B1，取样器201计算在当前观测点tx处变化率Δtx。变化率Δtx计算为当前观测点tx和下一个观测点tx+1处观测值的梯度：

Δtx＝f(tx+1)-f(tx)/(tx+1-tx)

这里，f(z)表示观测点z的观测值。

取样器201接着在步骤B2将Δtx与预定的阈值TΔ(例如，在-1到1的范围)比较。

如果在步骤B2，Δtx在阈值范围TΔ之内，取样器201进行到步骤B6，并且跳过对在观测点f(tx)处观测值f(tx)的取样。

另一方面，如果在步骤B2，Δtx在阈值范围TΔ之外，取样器201进行到步骤B3。

接着，取样器201在步骤B3将Δtx与之前的观测点tx-1处的变化率Δtx-1比较。

如果在步骤B3，Δtx与Δtx-1之间的差值在预定的阈值范围Ts之内，取样器201进行到步骤B6，并且跳过对在观测点tx处观测值f(tx)的取样。

另一方面，如果在步骤B3处，Δtx与Δtx-1之间的差值(Δtx-Δtx-1)在阈值范围Ts之外，取样器201进行到步骤B4。

例如，假定图4示例1中观测点t1处的变化率Δt1在阈值范围TΔ之外，而该变化率Δt1和之前的变化率Δt0的差值在阈值范围Ts之内。在这种情况下，取样器201判定t0和t1的变化相等，并且t1不是一个特征点，跳过对在t1处观测值f(t1)的取样。

在步骤B4，取样器201接着计算在观测点tx附近处预定数(例如10)观测值中的分散度，作为方差σtx。

如果在步骤B4，σtx在预定的阈值范围Tσ之内，取样器201进行到步骤B6，并且跳过对在观测点tx处观测值f(tx)的取样。

另一方面，如果在步骤B4，σtx在预定的阈值范围Tσ之外，取样器201判定观测点tx是一个特征点，并且在步骤B5，对t1处的观测值f(t1)取样。

例如，假定图5示例2观测点t2处的变化率Δt2在阈值范围TΔ之外，并且变化率Δt2和之前的变化率Δt1之间的差值也在阈值范围Ts之外，但是方差σt2在阈值范围Tσ之内。在这种情况下，t2处的变化率很大，并且t2处的变化不等于之前的变化。然而，考虑全部资源数据，该变化的绝对数量很小。相应地，可以认定t2处的变化太小，不能代表资源数据的特征。因此，取样器201判定t2不是一个特征点，并且跳过对在t2处观测值f(t2)的取样。

例如，假定图4示例3中观测点t6处的变化率Δt6在阈值范围TΔ之外，变化率Δt6和之前的变化率Δt5之间的差值在阈值范围Ts之外，并且方差σt6也在阈值范围Tσ之外。在这种情况下，t6处的变化率很大，t6处的变化不等于之前的变化，并且在整个资源数据中，该变化的绝对数量很大。相应地，可以认定t6为变化起始点。因此，取样器201判定t6是一个特征点，并且对在t6处观测值f(t6)取样。

返回图2，在步骤A3，数据压缩器202计算取样器201取样的资源数据片数量和存储在存储介质203上的过往的资源数据片的数量的和。

如果在步骤A3资源数据片的数量的和小于或者等于预定的阈值T∑，数据压缩器202压缩取样器201提取的资源数据，并且在步骤A8以附加模式将压缩的资源数据存储在存储介质203上。

另一方面，如果在步骤A3资源数据片的数量的和大于阈值T∑，则数据压缩器202请求数据恢复器204恢复所有在存储介质203上存储的过往的资源数据。

响应于该请求，在步骤A4数据恢复器204读取存储在存储介质203上的所有过往的资源数据，并且在步骤A5恢复所有读取的资源数据。

接着在步骤A6，数据压缩器202进行图6中的数据合并过程，通过使用统计指数合并(组合)资源数据集中邻近的数据片，该资源数据集包括取样器201取样的资源数据和数据恢复器204恢复的资源数据，直到要存储在存储介质203上的资源数据片的总数下降到小于或者等于阈值T∑的值。

接着，在步骤A7数据压缩器202重新压缩合并的资源数据，并且以覆盖模式将重新压缩的资源数据存储在存储介质203上。

参考图6，这里将详细描述图2步骤A6的过程(数据合并程序)。

参考图6，在步骤C1数据压缩器202首先删除数据恢复器204恢复的资源数据中通过预定的保留时间段的资源数据。可以任意设定要删除的资源数据的范围。

例如，在该示例实施方式中，当数据分析器103预测到可以在将来出现的资源中的变化以及资源中的异常时，过往的资源数据对预测的影响可能不大。例如，2年的资源数据对预测下一天的资源变化具有一个无关紧要的影响。因此，执行上述删除。

数据压缩器202接着在步骤C2对通过取样器201取样的资源数据和数据恢复器204恢复的资源数据一起分组。

数据恢复器204恢复的资源数据包括特征点处的资源数据(第一数据)和根据特征点计算出来的非特征点处的资源数据(第二数据)，后面将会对其详细描述。

数据压缩器202把通过一个特征点表示的资源数据集(也就是说，该资源数据集由在特征点处的资源数据和根据该特征点计算出来的非特征点处的资源数据组成)分成一个组。相应地，在该时间点，通过取样器201取样的资源数据自己组成一个组。

在步骤C3，对每对临近组，数据压缩器202接着计算两组中资源数据的统计指数。这里，该统计指数是两个组中的资源数据的方差(分散度)。

在步骤C4，数据压缩器202接着在各对组中选择方差最小的一个对，并且合并选择的两组中的资源数据。接着，资源数据合并在一起的两个组可被认定为一个组。

数据压缩器202重复步骤C3和C4，直到存储在存储介质203上的资源数据片的总数小于或者等于步骤C5的阈值T∑。

(2-2)数据恢复操作

下文将描述存储在存储介质203上的资源数据恢复操作。

当需要恢复资源数据的时候，数据分析器103和数据压缩器202向数据恢复器204发起一个恢复请求。在该恢复请求中，明确了要恢复的资源数据的数据范围和数据间隔(如X秒或者X小时)。

参考图7，这里将会详细描述数据恢复器204为恢复资源数据而执行的过程。假定在图7中在恢复请求中明确了0:00到0:01的数据范围和20秒的数据间隔。

参考图7，数据恢复器204首先读取和恢复特定数据范围0:00到0:01中的特征点，一个特定数据范围之前的特征点和一个特定数据范围之后的特征点。这里，数据恢复器204读取和恢复特定数据范围内时间t1(0:00:05)和时间t2(0:00:12)处的特征点、特定数据范围之前时间t0(23:59:45)处的特征点和特定数据范围之后时间t3(0:01:15)处特征点。

利用t0和t1处的特征点，数据恢复器204接着得到一个线性等式，y＝ax+b，其表示介于起始点和时间t 1之间的时段A中的资源数据，其中起始点是时间t0处的特征点，以及在时间t1处，存在下一个特征点。数据恢复器204利用得到的线性表达式，恢复从起始点开始的时段A内特定数据间隔的资源数据。这里，恢复时间t1(0:00:05)处的资源数据。

类似地，数据恢复器204接着针对在时间t1和时间t2之间的时段B得到一个线性表达式y＝ax+b，其中在时间t2处存在下一个特征点。然而，接下来要恢复资源数据的时间0:00:25落在时段B之外。相应地，数据恢复器204不恢复时段B内的资源数据。

数据恢复器204接着类似地针对在时间t2和时间t3之间的时段C得到一个线性表达式y＝ax+b，其中在时间t3处存在下一个特征点。这里，接下来要恢复资源数据的时间0:00:25和之后要恢复资源数据的时间0:00:45在时段C之中。因此，采用上面得到的线性方程恢复时间0:00:25和0:00:45处的资源数据。

这里，从0:00:45流逝特定数据间隔之后的时间0:01:05在特定数据范围之外。因此，资源数据恢复在这里结束。

数据恢复器204发送上述恢复的资源数据给数据分析器103或者给数据压缩器202。在发送资源数据之前，数据恢复器204对该资源数据的每个片增加一个标识符，表示该资源数据片是特征点处的数据或者根据特征点计算出来的非特征点处的数据。如果图7中时间t1(0:00:05)处的资源数据既是非特征点资源数据又是特征点资源数据，则该资源数据作为特征点资源数据发送。

当数据分析器103接收数据恢复器204恢复的资源数据时，数据分析器103统计分析该资源数据，以预测资源的变化，并且预测可以在将来出现的资源异常。

当数据压缩器202接收数据恢复器204恢复的资源数据时，数据压缩器202采取上述的数据合并过程合并并重新压缩资源数据。

如上所述，对每个时间序列数据片计算多个变化指数，根据计算的变化指数，做出是否对数据取样的判定。

因此，在提高取样准确度的同时，可以令人满意地减少取样的数据片数量。

例如，当时间序列数据线性变化时，可以如前那样只通过对变化起始点的数据和变化末端点的数据进行取样来重现时间序列数据。

如果和JP10-143543A一样，只采用变化数量作为变化指数，存在一种可能性，即在根据时间序列数据的梯度数据线性变化的全部时段内，取样数据。

根据本示例实施方式，采用多个变化指数，例如，变化率和变化率之间的差值，并且，当在给定观测点处的变化率落在阈值之外，但是该变化率和之前的变化率之间没有差值的时候，判定该观测点不是一个特征点，不执行取样。

因此，根据本示例实施方式，通过采用多个变化指数可以提高取样准确度，并且，可以令人满意地减少取样数据片的数量。

另外，根据本示例实施方式，当存储在存储介质上的数据片的总数量超过阈值的时候，通过采用一个统计指数将取样数据和从存储介质恢复的数据中的邻近数据片合并在一起，直到存储在存储介质上的数据总量降低到小于或者等于阈值。

相应地，存储在存储介质上的数据片的数量可以保持在一个特定的低水平上。

(3)其它示例实施方式

已经参考示例实施方式对本发明进行了描述，应该明白，本发明不限于上述的示例实施方式。在不脱离本发明范围的条件下，可以对本发明的配置和细节做出不同的、对本专业技术人员来说是显而易见的修改。

动态取样和合并的指数

本发明采用变化率、变化率之间的差值、以及方差作为变化指数来判定是否取样，但是并不限于这些变化指数；也可以采用其它诸如拐点、方差或者微分和四分位值的变化指数。

另外，在上述示例实施方式中，采用两组中的数据方差作为统计指数，来判定要数据合并的两组，但是本发明并不限于此；也可以采用其它诸如两组数据相关系数类似度的统计指数。

优先合并和数据准确度

在上述示例实施方式中，当存储在存储介质上的数据片的数量超过阈值T∑，数据无条件合并，直到存储在存储介质上的数据片的数量下降到一个小于或者等于T∑的值，以保持存储在存储介质上的数据片的数量在一个一定的低水平上。

然而，当时间序列数据急剧变化的情况下，合并可以减低时间序列数据的准确度。

为了对付这一情况，可以在用于判定要合并的数据组的统计指数值(如方差)上设置一个限制。当超过了该限制(例如当方差超过了阈值)，可以避免合并，从而把优先权给予时间序列数据的准确度。

本发明可用于计算机系统的资源监测领域的资源数据的存储。

Claims (10)

1.一种数据存储装置，包括：

数据收集器，用于收集时间序列数据；以及

取样器，用于计算表示每个数据片中变化的多个变化指数，并且根据计算结果判定是否取样所述数据片。

2.如权利要求1中所述的数据存储装置，

其中，所述取样器对所述数据执行一个接一个的计算，以计算执行所述计算的当前数据片的变化指数，当前数据片和下个数据片的变化率、当前数据片的变化率和之前的数据片的变化率之间的差值、以及所述当前数据片附近预定数量数据片的方差。

3.如权利要求2中所述的数据存储装置，其中，当所述当前数据片的变化率在预定的范围之外、所述当前数据片的变化率和所述之前的数据片的变化率之间的差值在预定的范围之外、以及所述当前数据片的方差在预定的范围之外时，所述取样器判定对所述当前数据片取样。

4.如权利要求1中所述的数据存储装置，进一步包括：

数据压缩器，用于压缩所述数据并且在存储介质上存储所述压缩的数据；以及

数据恢复器，用于恢复存储在所述存储介质上的数据；

其中，当通过所述取样器取样的数据片的数量和所述存储介质上存储的数据片的数量之和大于预先给定的阈值时，所述数据压缩器使得所述数据恢复器恢复存储在所述存储介质上的数据，通过采用统计指数将包括所述取样数据和所述恢复数据的数据集中的临近数据片合并到一起，直到存储在存储介质上的数据片的总和下降到小于或者等于所述阈值的值，并且重新压缩所述合并数据以及在所述存储介质上存储所述重新压缩的数据。

5.如权利要求4中所述的数据存储装置，其中，

所述数据恢复器恢复存储在所述存储介质上的数据作为第一数据，并且恢复根据所述第一数据计算获得的第二数据；以及

所述数据压缩器将所述数据集分组，使得所述第一数据和根据所述第一数据计算获得的第二数据分组到一个组，并且对每一临近两组对，重复计算所述两组中数据的方差作为统计指数的第一操作，以及从临近两组对中选择具有最小方差的对并将所述选择组对中的数据合并的第二操作，直到存储在所述存储介质上的数据片的总和下降到小于或者等于所述阈值的值。

6.一种由数据存储装置执行的数据存储方法，包括：

收集时间序列数据；以及

通过计算表示每个数据片变化的多个变化指数对所述时间序列数据取样，并且根据计算结果判定是否取样所述数据片。

7.如权利要求6中所述的数据存储方法，其中，所述取样在所述数据上执行一个接一个的计算，以计算执行所述计算的当前数据片的变化指数、当前数据片和下个数据片的变化率、当前数据片的变化率和之前的数据片的变化率之间的差值、以及所述当前数据片附近中预定数量数据片的方差。

8.如权利要求7中所述的数据存储方法，其中，当所述当前数据片的变化率在预定的范围之外、所述当前数据片的变化率和之前的数据片的变化率之间的差值在预定的范围之外、以及所述当前数据片的方差在预定的范围之外时，所述取样判定对所述当前数据片取样。

9.如权利要求6中所述的数据存储方法，进一步包括：

当取样的数据片的数量和存储在所述存储介质上的数据片的数量之和大于预定的阈值时，

恢复存储在所述存储介质上的数据；

通过采用统计指数将包括所述取样数据和所述恢复数据的数据集中临近数据片合并到一起，直到存储在所述存储介质上的数据片的总和下降到小于或者等于所述阈值的值；以及

重新压缩所述合并数据以及在所述存储介质上存储所述重新压缩的数据。

10.如权利要求9中所述的数据存储方法，其中：

所述恢复恢复存储在所述存储介质上的数据作为第一数据，并且恢复根据所述第一数据计算获得的第二数据；以及

所述合并对所述数据集分组，使得所述第一数据和根据所述第一数据计算获得的第二数据分组到一个组，并且对每一临近两个组对，重复计算所述两组中数据的方差作为统计指数的第一操作，以及从临近两组对中选择具有最小方差的对并将选择组对中的数据合并的第二操作，直到存储在所述存储介质上的数据片的总和下降到小于或者等于所述阈值的值。

Images