CN103390045A

CN103390045A - 一种用于监控系统的时间序列存储方法及装置

Info

Publication number: CN103390045A
Application number: CN2013103062749A
Authority: CN
Inventors: 庞扬
Original assignee: Beijing Jingdong Shangke Information Technology Co Ltd
Current assignee: Beijing Jingdong Shangke Information Technology Co Ltd
Priority date: 2013-07-19
Filing date: 2013-07-19
Publication date: 2013-11-13

Abstract

本发明涉及数据库相关技术领域，特别是一种用于监控系统的时间序列存储方法及装置，存储方法包括：获取待采集的指标值，以及以字符串形式表示的采集时间；获取至少一个用于标识所述指标值的指标标识；获取每个指标标识的映射值；根据索引值保存对应的指标值，所述索引值包括以字符串形式保存的采集时间与映射值。通过上述技术方案，本发明采用字符串形式保存索引值，由于无需将采集时间进行类型转换，从而简化了生成索引值的算法，节省了生成索引值的时间，对于监控系统，由于需要采集大量的数据，减少生成索引值的时间，能大大地提高系统的整体性能。

Description

一种用于监控系统的时间序列存储方法及装置

技术领域

本发明涉及数据库相关技术领域，特别是一种用于监控系统的时间序列存储方法及装置。

背景技术

在监控系统的数据采集中，对于一个指标（metric）的数据可能来自多个主机，为区别采集的数据是来自哪台主机，需要在数据保存时增加一些额外的指标标识，为了与作为指标名称的指标标识进行区分，也可以称为限定条件和限定条件值。例如：采集某台主机的cpu数据，如表1所示。

CPU	20130426232245	0.08	hostname=	HOST-001
					Metric	时间（精确到秒）	采集值	主机名	主机名值

表1.1数据点示例

其中hostname就是这条信息的限定条件关键词，而HOST-001即为限定条件值。限定条件关键词和限定条件值可以为一个，也可以为多个。对于表1中的0.08这个指标值（或称为采集值），其指标标识包括作为指标名称的CPU、作为限定条件关键词的hostname，以及作为限定条件值的HOST-001。在监控系统中，需要采集的指标相对比较固定，但每项指标由于时刻都在采集，因此其采集的数据量非常大，而且对数据存储的要求很高，不能丢失数据，而且要求速度较快，相比读取数据而言，写数据更是系统需要关注的方面。

为此现有技术对其进行了优化，以openTSDB监控系统为例，其采用二维表格的方式将指标值存储到HBase数据库中。在存储过程中对二维表格中的行键（RowKey）的存储进行了优化，缩短了长度，并且根据数据的类型对数据进行了压缩，从而减少了空间占用。具体来说：将多个指标标识（metric、限定条件关键词与限定条件值）分别进行固定长度ID的映射（类似字典表映射），然后加上采集时间的部分，组合后成为实际存储的数据的RowKey，RowKey长度固定而且长度较小，每一行存储1小时的数据，通过缩小RowKey，实现增大存储内容value的目的；openTSDB通过程序限定仅存储长整型（long型）与浮点型（float型）的数据，并且按照数据类型将最终存到HBase中的数据进行了宽度的压缩，从而优化空间占用，而且因为空间占用增长速度降低，达到降低表分裂的频率，从而提高插入性能的目的，而且良好的RowKey设计能使得数据分布更加均衡。

然而，在现有技术中，采用long型存储采集时间，而采集时间是通过机器获取，当获取到的采集时间为字符型数据时（例如从Java中获取时间），现有技术会将采集时间转换long型的时间，同时，由于RowKey是由多个指标标识以及采集时间的部分组成，因此，还需要通过复杂的算法对转换为long型的时间进行截取，得到所需部分。这部分的操作，包括类型转换及截取，由于采用了复杂的算法，因此需要耗费一定的时间。特别是在监控系统的数据采集，由于需要浪费大量时间和资源对采集时间进行转换及截取，会导致整体系统效率的下降。

发明内容

基于此，有必要针对现有技术需要浪费大量时间和资源对采集时间进行转换及截取，导致整体系统效率下降的技术问题，提供一种用于监控系统的时间序列存储方法及装置。

一种用于监控系统的时间序列存储方法，包括：

获取待采集的指标值，以及以字符串形式表示的采集时间；

获取至少一个用于标识所述指标值的指标标识；

获取每个指标标识的映射值；

根据索引值保存对应的指标值，所述索引值包括以字符串形式保存的采集时间与映射值。

一种用于监控系统的时间序列存储装置，包括：

指标值获取模块，用于获取待采集的指标值，以及以字符串形式表示的采集时间；

指标标识获取模块，用于获取至少一个用于标识所述指标值的指标标识；

映射值获取模块，用于获取每个指标标识的映射值；

指标值保存模块，用于根据索引值保存对应的指标值，所述索引值包括以字符串形式保存的采集时间与映射值。

通过上述技术方案，本发明采用字符串形式保存索引值，由于无需将采集时间进行类型转换，从而简化了生成索引值的算法，节省了生成索引值的时间，对于监控系统，由于需要采集大量的数据，减少生成索引值的时间，能大大地提高系统的整体性能。

附图说明

图1为本发明一种时间序列存储的工作流程图；

图2为本发明一种时间序列装置的结构示意图；

图3为本发明一种实施例的工作流程图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步详细的说明。

如图1所示为本发明一种时间序列存储的工作流程图，包括：

步骤S101，获取待采集的指标值，以及以字符串形式表示的采集时间；

步骤S102，获取至少一个用于标识所述指标值的指标标识；

步骤S103，获取每个指标标识的映射值；

步骤S104，根据索引值保存对应的指标值，所述索引值包括以字符串形式保存的采集时间与映射值。

现有技术一般将采集时间采用long型保存。这种保存方法节省了存储空间。

然而，在监控系统中，所获取的采集时间为一般为字符串型（string型），如果为了节省空间，将string型转换为long型，则需要进行数据转换。从string型转为long型，需要比较复杂的算法，涉及到移位等操作，耗费时间，这个时间在单个数据转换时并不明显。然而，在监控系统中，数据采集是大量而且连续的，当采集大量而连续的数据时，单个数据转换的时间会被积累，从而导致系统资源的消耗，甚至当积累到一定的严重程度时，会导致采集数据出错。在监控系统中，数据的准确快速获取远远比节省系统空间重要。因此，本发明不对采集时间进行转换，而是直接采用string型进行保存，提高了数据的存储时间，从而提高了系统的性能，避免了因为数据采集存储时间的延迟而导致系统出错。

在其中一个实施例中，步骤S104，具体包括：

将所述采集时间拆分为第一采集时间部分和第二采集时间部分；

将指标值采用二维表格形式保存，所述索引值包括二维表格中的行索引值和二维表格中的列索引值，所述二维表格用于根据所述索引值保存对应的指标值，其中：

将所述第一采集时间部分与映射值以字符串形式结合并保存作为二维表格中的行索引值，将所述第二采集时间部分以字符串形式保存作为二维表格中的列索引值，或者

将所述第一采集时间部分与映射值以字符串形式结合并保存作为二维表格中的列索引值，将所述第二采集时间部分以字符串形式保存作为二维表格中的行索引值。

当将采集时间进行拆分时，现有技术对采集时间进行数据转换的问题更加突出。如果将采集时间先拆分再转换，则需要进行两次数据类型转换，而如果是将采集时间先转换再拆分，则需要复杂的算法将long型的时间进行拆分。因此，直接将采集时间进行拆分而不进行类型转换，能更加节约时间。

在其中一个实施例中，所述第一采集时间部分包括所述采集时间的年月日和小时部分，所述第二采集时间部分包括所述采集时间的分秒部分。

采用何种拆分方式，可以由用户根据实际需要选择，例如还可以是第一采集时间部分包括年月日部分，而第二采集时间部分包括时分秒部分。

根据采集时间的年月日时分秒进行拆分，如果采用现有技术，转换为long型的数据，将不再以年月日时分秒的形式出现。例如20130426232245其可以明显的看出是2013年04月26日23时22分45秒，其要拆分为年月日时部分和分秒部分，则可以用简单的长度截取法分为：第一采集时间部分2013042623和第二采集时间部分2245。但如果将20130426232245转换为long型，则为1366989765000，如果是分成年月日时部分和分秒部分，则需要复杂的算法分为：第一采集时间部分1366988400和第二采集时间部分1365。其算法的复杂性会导致算法的运算时间显著提高。

以表1的数据为例，其整体工作流程如图3所示，包括：

步骤S301，接收到指标值、指标标识以及采集时间，从中分解出多个指标标识，例如分解为指标名称：CPU，限定条件关键词：hostname，限定条件值：HOST-001；

步骤S302，在本地缓存中查找指标标识的映射值，如果找到则执行步骤S306，否则执行步骤S303；

步骤S303，在数据库（例如，HBase）中寻找映射值，如果找到执行步骤S305,否则执行步骤S304；

步骤S304，创建新的映射值并与指标标识关联，执行步骤S305；

步骤S305，将映射值和对应的指标标识存入本地缓存，执行步骤S306；

步骤S306，将映射值和采集时间组合成相应的索引值；

步骤S307，根据对应的索引值将指标值存入数据库（例如，HBase）。

其中，步骤S302和步骤S303中，映射值的查找可以通过一个索引表（UID表）来查找，如表2所示。

表2UID表结构

表结构说明：Row Key（行键）相当于表的ID列，在表2的方案中，采用的是双向映射，目的是为了查询时方便检索映射值对应的指标标识。如表2所示，在Row Key中存储了映射值（001、002和003）和指标标识（hostname、CPU和HOST-001）。表2有2个family（列族），第一个family是name，是用来存储映射值对应的指标标识，下面有3个qualifier（限定词），metrics存放指标名称，tagk存放限定条件关键词，tagv存放限定条件值；第二个family是id，用来存储指标标识对应的映射值，下面也有3个qualifier（限定词），metrics存放指标名称对应的映射值，tagk存放限定条件关键词对应的映射值，tagv存放限定条件值对应的映射值。

此表是用于存储映射值的表，通过将传入的数据分解，得到指标名称、限定条件关键词和限定条件值，然后将这些数据的每一部分分别进行唯一编码。并且会将所有的指标标识及对应的映射值在UID表中分别如表2所示存储2次。同时将所有的指标标识及对应的映射值双向映射到本地缓存，当数据来时会首先到缓存中取得映射值，没有数据才会进入数据库（例如，HBase）中查询或者生成，从而达到减少访问UID表的目的。另外，ID的长度根据实际情况配置，如果ID长度设置为3，那么就如上表所示，ID格式为001。这样做的目的是为了统一key的长度，在存储数据的时候达到均衡分布的目的。

得到映射值后会与采集时间结合并存放到数据库中，表3是现有技术将表1的数据经过编码转换后的格式；最终存入到数据库（例如，HBase）的效果如表4所示:

002	1366988400+1365		001	003
					CPU	20130426232245	0.08	hostname=	HOST-001
Metric	时间（精确到秒）	采集值	主机名	主机名值

表3现有技术编码转换后数据

其中CPU从表2中可以得到为002，hostname从表2中可以知道为001，HOST-001从表2可以知道为003。采集时间2013年04月26日23时22分45秒，即20130426232245经过类型转换及截取后为1366988400+1365。

表4现有技术存放到数据库中的形式

表4结构说明：Row Key是将映射值和采集时间经过类型转换并截取到小时部分后拼接的结果，包括：002+1366988400+001+003。有一个family，名称只有一个字母t，qualifier是采集时间的分秒部分，cell里面存储的就是最终的采集值；存储的时间戳就是采集时间，历史版本version只有1个。

采用本发明实施例，采集时间并不进行类型转换，作为一个例子其编码转换后数据如表5所示。

002	2013032617+5742		001	003
					CPU	20130326175742	0.08	hostname=	HOST-001

表5本发明实施例编码转换后数据

其中，CPU从表2中可以得到为002，hostname从表2中可以知道为001，HOST-001从表2可以知道为003。采集时间为2013年3月26日17时57分42秒，即20130326175742经过简单的长度截取拆分后为2013032617+5742。

表6本发明实施例存放到数据库中的形式

本发明实施例的方式的采集时间无需转换，因此转换时间减少，同时截取的算法更为简单。

在其中一个实施例中，所述映射值采用字符串形式保存。

如表5和表6所示，当映射值为字符串形式，则其与采集时间的组合过程中无需进行数据转换，提高了系统性能。

在其中一个实施例中，所述指标值采用字符串形式保存。现有技术因为对不同类型的指标值的压缩方式不一致，查询时需要提前获知数据的类型，或者定义数据的类型，导致查询时很不方便，否则查询出的数据将是错误的值。通过将指标值统一采用字符串形式保存，避免了上述不便。

此外，在openTSDB原来的机制中，计算每个值的qualifier值需要根据采集频率来生成，比如一小时的数据，以1秒一条的采集频率，则在计算qualifier的时候需要按照3600这样的值来计算，如果是10秒采集一次，则需要按照360这个值来计算，在采集频率发生变更的情况下不方便，采用截断的分秒则不存在这个问题。

如图2所示为本发明一种用于监控系统的时间序列存储装置的结构示意图，包括：

指标值获取模块210，用于获取待采集的指标值，以及以字符串形式表示的采集时间；

指标标识获取模块220，用于获取至少一个用于标识所述指标值的指标标识；

映射值获取模块230，用于获取每个指标标识的映射值；

指标值保存模块240，用于根据索引值保存对应的指标值，所述索引值包括以字符串形式保存的采集时间与映射值。

在其中一个实施例中，所述指标值保存模块，具体用于：

在其中一个实施例中，所述映射值采用字符串形式保存。

在其中一个实施例中，所述指标值采用字符串形式保存。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims

1.一种用于监控系统的时间序列存储方法，其特征在于，包括：

获取待采集的指标值，以及以字符串形式表示的采集时间；

获取至少一个用于标识所述指标值的指标标识；

获取每个指标标识的映射值；

2.根据权利要求1所述的用于监控系统的时间序列存储方法，其特征在于，所述根据索引值保存对应的指标值的步骤，具体包括：

3.根据权利要求2所述的用于监控系统的时间序列存储方法，其特征在于，所述第一采集时间部分包括所述采集时间的年月日和小时部分，所述第二采集时间部分包括所述采集时间的分秒部分。

4.根据权利要求1所述的用于监控系统的时间序列存储方法，其特征在于，所述映射值采用字符串形式保存。

5.根据权利要求1所述的用于监控系统的时间序列存储方法，其特征在于，所述指标值采用字符串形式保存。

6.一种用于监控系统的时间序列存储装置，其特征在于，包括：

映射值获取模块，用于获取每个指标标识的映射值；

7.根据权利要求6所述的用于监控系统的时间序列存储装置，其特征在于，所述指标值保存模块，具体用于：

8.根据权利要求7所述的用于监控系统的时间序列存储装置，其特征在于，所述第一采集时间部分包括所述采集时间的年月日和小时部分，所述第二采集时间部分包括所述采集时间的分秒部分。

9.根据权利要求6所述的用于监控系统的时间序列存储装置，其特征在于，所述映射值采用字符串形式保存。

10.根据权利要求6所述的用于监控系统的时间序列存储装置，其特征在于，所述指标值采用字符串形式保存。