CN104156385A - 一种处理时间序列数据的方法和装置 - Google Patents

Abstract

本发明提供一种处理时间序列数据的方法和装置，其占用较小的系统硬件资源并且便于在不同的操作系统之间移植。本发明的处理时间序列数据的方法包括：接收多个时间序列数据项并缓存，其中各个时间序列数据项包含以时间为序的多个数据元；当缓存的时间序列数据项的量达到预设值，或者进行缓存的时间达到预设值时，将多个缓存的时间序列数据项持久化为一个数据文件，从而得到多个数据文件；对于各个时间序列数据项，将其在所述数据文件中的位置记录在局部索引中的以该时间序列数据项的标识为标识的条目中，并且数据文件与局部索引唯一对应。

Description

一种处理时间序列数据的方法和装置

技术领域

本发明涉及一种处理时间序列数据的方法和装置。 

背景技术

监控系统中，核心功能组件包括：数据采集、数据保存、告警、数据展现，其中，最重要的是监控数据的保存。监控系统中的数据一般是时间序列数据，即由多个以时间为序的多个数据元组成，例如传感器每分钟采集的温度数据、计算机每小时的CPU使用平均值等。监控系统如果对时效性和准确性要求比较高，则数据采集频率一般比较高，从而得到的数据量通常很大，在这种情况下使用传统的关系型数据库效果不佳，因此目前的惯常做法是采用HBase等非关系型数据库。这些数据库对系统的硬件资源占用较大，并且一般不被所有操作系统所支持。 

发明内容

有鉴于此，本发明提供一种处理时间序列数据的方法和装置，其占用较小的系统硬件资源并且便于在不同的操作系统之间移植。 

为实现上述目的，根据本发明的一个方面，提供了一种处理时间序列数据的方法。 

本发明的处理时间序列数据的方法包括：接收多个时间序列数据项并缓存，其中各个时间序列数据项包含以时间为序的多个数据元；当缓存的时间序列数据项的量达到预设值，或者进行缓存的时间达到预设值时，将多个缓存的时间序列数据项持久化为一个数据文件，从而得到多个数据文件；对于各个时间序列数据项，将其在所述数据文 件中的位置记录在局部索引中的以该时间序列数据项的标识为标识的条目中，并且数据文件与局部索引唯一对应。 

可选地，对于多个局部索引，相同标识的数据项在不同的局部索引中的位置相同；将时间序列数据项在所述数据文件中的位置记录在局部索引的条目中之后，还包括：将该条目在局部索引中的位置记录在全局索引的条目中，并且这两个条目的标识相同。 

可选地，还包括：在所述数据文件中记录该数据文件中的各个时间序列数据项的长度。 

可选地，所述数据文件及其对应的局部索引的文件名是建立该数据文件的时间。 

根据本发明的另一方面，提供了一种处理时间序列数据的装置。 

本发明的处理时间序列数据的装置包括：缓存模块，用于接收多个时间序列数据项并缓存，其中各个时间序列数据项包含以时间为序的多个数据元；持久化模块，用于当缓存的时间序列数据项量达到预设值，或者进行缓存的时间达到预设值时，将缓存的时间序列数据项持久化为一个数据文件，从而得到多个数据文件；局部索引模块，用于对于各个时间序列数据项，将其在所述数据文件中的位置记录在局部索引中的以该时间序列数据项的标识为标识的条目中，并且数据文件与局部索引唯一对应。 

可选地，所述局部索引文件还用于：对于多个局部索引，将相同标识的数据项在不同的局部索引中置于相同的位置；所述装置还包括全局索引模块，用于将局部索引的条目的位置记录在全局索引的条目中，并且这两个条目的标识相同。 

可选地，所述持久化模块还用于：在所述数据文件中记录该数据文件中的各个时间序列数据项的长度。 

可选地，所述持久化模块还用于：以建立所述数据文件的时间为该数据文件的文件名；所述局部索引模块还用于：以数据文件的文件名作为该数据文件对应的局部索引的文件名。 

根据本发明的技术方案，对于时间序列数据，进行缓存之后生成数据文件，并建立局部索引，即实现了数据的存储与查询，无需采用专门的非关系型数据库，有助于减少占用的系统硬件资源；另外本方案可采用多种开发环境，以适应不同的操作系统。 

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中： 

图1是根据本发明实施例的处理时间序列数据的方法的示意图； 

图2是根据本发明实施例的数据文件的一种结构的示意图； 

图3是根据本发明实施例的一个索引文件的一种结构的示意图； 

图4是根据本发明实施例的全局索引的一种结构的示意图； 

图5是根据本发明实施例的另一个局部索引的一种结构的示意图； 

图6是根据本发明实施例的处理时间序列数据的装置的示意图。 

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。 

本实施例的技术方案专门适用于处理时间序列数据的技术领域，以下以监控多个计算机的CPU使用率为例加以说明。图1是根据本发明实施例的处理时间序列数据的方法的示意图。 

步骤S11：接收多个CPU的使用率数值并缓存。例如采样频率是每30分钟1次，则每30分钟接收1次该CPU使用率数值。对于每个CPU，经过一定时间接收的多个使用率数值构成一个时间序列数据项，其中有多个作为数据元的CPU使用率数值。随着时间的推移，该时间序列数据项也在不断地扩充。 

步骤S12：判断缓存的时间是否到达预设值。若是则进入步骤S13，否则返回步骤S11。例如设定缓存1天(24小时)就将数据持久化，即保存在磁盘中，则在上一次保存数据并开始缓存新数据起，经过24小时再次进行缓存。也可以在缓存的数据量达到一定值时进行持久化。 

步骤S13：将多个缓存的时间序列数据项持久化为一个数据文件。如每天持久化一次，则经过N天就得到N个数据文件，并且分别以日期命名，例如2014年03月27日的计算机A至H的CPU使用率数值的数据文件命名为20140327.file。 

数据文件可采用图2所示的结构，图2是根据本发明实施例的数据文件的一种结构的示意图。该数据文件20中保存了名为A至H的8台计算机的CPU在2014年03月27日的使用率。可以在数据文件中记录数据的长度(即字节数)，数据文件的结构即包括计算机A的CPU在该日的使用率数据的长度211和CPU在该日按每30分钟采一次样得到的一系列使用率数据212，以及计算机B至H的上述数据。 

步骤S14：生成唯一对应于数据文件的局部索引。局部索引与数据文件一一对应，因此局部索引的文件名也可采用时间，例如数据文件20140327.file对应的局部索引是20140327.index。 

局部索引的每个条目同样以计算机名作为标识，分别记录该计算机的使用率数据在数据文件中的偏移量。例如图3所示，图3是根据 本发明实施例的一个索引文件的一种结构的示意图。图3中的索引文件30采用了键名-键值(Key-Value)的形式，作为每个条目的标识的键名采用计算机名，键值即为相应的计算机的CPU使用率数据在数据文件中的位置，如数据文件采用图2所示结构，则该位置即为偏移量。 

在保存了局部索引之后，就可以方便地进行数据查询。例如要查询2014年03月27日的计算机E的使用率，查询请求中包含的是数据项的标识以及查询时间，即指定要查询哪台计算机在哪天的CPU使用率，则查询步骤如下： 

步骤1：先根据2014年03月27日获取局部索引20140327.index； 

步骤2：在该局部索引中按计算机E查找到键名为E的索引条目，例如查找到该索引条目中相应的键值为4000； 

步骤3：在数据文件20140327.file中查找到偏移量为4000的位置，该位置即为2014年03月27日的计算机E的CPU使用率数据的起始位置； 

步骤4：在数据文件20140327.file中找到偏移量为4000的位置，从该位置起读取4个字节的使用率数据长度例如1000； 

步骤5：从数据文件20140327.file中偏移量为4004的位置起读取1000个字节，即得到2014年03月27日的计算机E的CPU使用率数据序列。 

可以看出应用上述步骤可以比较快地获取计算机的CPU使用率数据序列。在步骤2中，是根据计算机名称查找键名，这种方式需要遍历局部索引，上述例子中有8台计算机，在某些情况下可能需要监控范围更广，在这种情况下索引条目比较多，上述遍历局部索引的方式仍较为费时。因此还可以针对局部索引建立全局索引，全局索引仍可采用键名-键值的结构，键名仍采用计算机名，键值为局部索引中以该计算机名为键名的条目的位置。如图4所示，图4是根据本发明实施例的全局索引的一种结构的示意图。作为示例，图4中仍以上述例子 为例进行示意，其中的键值即为局部索引中的条目位置，按照上述局部索引的结构，该条目位置即为局部索引中的行数。 

在每次建立数据文件时建立一个局部索引，因此局部索引的数量是多个，而全局索引是唯一的。因此对于多个局部索引来说，相同标识的数据文件在不同的局部索引中的位置相同。以下结合图5加以说明，图5是根据本发明实施例的另一个局部索引的一种结构的示意图。图5示出的局部索引是2014年03月28日的计算机A至E的CPU使用率数据。但在2014年03月28日，计算机F因故障停机，此时局部索引中键名为F的条目仍存在，但其键值为空，这样就保证了各天的局部索引具有相似的结构，同一个标识的数据项在不同的局部索引中有相同的位置，例如计算机C在2014年03月27日的局部索引中位于第3行，在2014年03月28日的局部索引中同样位于第3行。因此全局索引中的条目内容对于所有局部索引都正确，这样就能够使用唯一的全局索引。 

在存在全局索引的情况下，收到查询指令后，上述步骤1不变，步骤2变更为在全局索引中按计算机名E查找到键名为E的索引条目，其键值为5；然后在局部索引20140327.index中的第5行获取键值4000。接下来按步骤3至步骤5进行处理。因为键值4000是直接到第5行获取，无需遍历局部索引的键值，因此提高了获取键值的速度。 

图6是根据本发明实施例的处理时间序列数据的装置的示意图。如图6所示，处理时间序列数据的装置60包括：缓存模块61、持久化模块62、以及局部索引模块63。 

缓存模块61用于接收多个时间序列数据项并缓存，其中各个时间序列数据项包含以时间为序的多个数据元。持久化模块62用于当缓存的时间序列数据项量达到预设值，或者进行缓存的时间达到预设值时，将缓存的时间序列数据项持久化为一个数据文件，从而得到多个数据 文件。局部索引模块63用于对于各个时间序列数据项，将其在数据文件中的位置记录在局部索引中的以该时间序列数据项的标识为标识的条目中，并且数据文件与局部索引唯一对应。 

局部索引文件63还可以用于对于多个局部索引，将相同标识的数据项在不同的局部索引中置于相同的位置；并且，处理时间序列数据的装置60还可以包括全局索引模块(图中未示出)，用于将局部索引的条目的位置记录在全局索引的条目中，并且这两个条目的标识相同。 

持久化模块62还可用于：在数据文件中记录该数据文件中的各个时间序列数据项的长度。持久化模块62还可用于以建立数据文件的时间为该数据文件的文件名；并且局部索引模块63还可以用于以数据文件的文件名作为该数据文件对应的局部索引的文件名。 

根据本发明实施例的技术方案，对于时间序列数据，进行缓存之后生成数据文件，并建立局部索引，即实现了数据的存储与查询，无需采用专门的非关系型数据库，有助于减少占用的系统硬件资源；另外本方案可采用多种开发环境，以适应不同的操作系统。 

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和设备的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。 

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明， 并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来开发出的任何存储介质。 

还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。 

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。 

Claims (8)

1.一种处理时间序列数据的方法，其特征在于，包括：

接收多个时间序列数据项并缓存，其中各个时间序列数据项包含以时间为序的多个数据元；

当缓存的时间序列数据项的量达到预设值，或者进行缓存的时间达到预设值时，将多个缓存的时间序列数据项持久化为一个数据文件，从而得到多个数据文件；

对于各个时间序列数据项，将其在所述数据文件中的位置记录在局部索引中的以该时间序列数据项的标识为标识的条目中，并且数据文件与局部索引唯一对应。

2.根据权利要求1所述的方法，其特征在于，

对于多个局部索引，相同标识的数据项在不同的局部索引中的位置相同；

将时间序列数据项在所述数据文件中的位置记录在局部索引的条目中之后，还包括：将该条目在局部索引中的位置记录在全局索引的条目中，并且这两个条目的标识相同。

3.根据权利要求1或2所述的方法，其特征在于，还包括：在所述数据文件中记录该数据文件中的各个时间序列数据项的长度。

4.根据权利要求1或2所述的方法，其特征在于，所述数据文件及其对应的局部索引的文件名是建立该数据文件的时间。

5.一种处理时间序列数据的装置，其特征在于，包括：

缓存模块，用于接收多个时间序列数据项并缓存，其中各个时间序列数据项包含以时间为序的多个数据元；

持久化模块，用于当缓存的时间序列数据项量达到预设值，或者进行缓存的时间达到预设值时，将缓存的时间序列数据项持久化为一个数据文件，从而得到多个数据文件；

局部索引模块，用于对于各个时间序列数据项，将其在所述数据文件中的位置记录在局部索引中的以该时间序列数据项的标识为标识的条目中，并且数据文件与局部索引唯一对应。

6.根据权利要求5所述的装置，其特征在于，

所述局部索引文件还用于：对于多个局部索引，将相同标识的数据项在不同的局部索引中置于相同的位置；

所述装置还包括全局索引模块，用于将局部索引的条目的位置记录在全局索引的条目中，并且这两个条目的标识相同。

7.根据权利要求5或6所述的装置，其特征在于，所述持久化模块还用于：在所述数据文件中记录该数据文件中的各个时间序列数据项的长度。

8.根据权利要求5或6所述的装置，其特征在于，

所述持久化模块还用于：以建立所述数据文件的时间为该数据文件的文件名；

所述局部索引模块还用于：以数据文件的文件名作为该数据文件对应的局部索引的文件名。