CN110580253B - 时序数据组的加载方法、装置、存储介质及电子设备 - Google Patents

Abstract

本发明实施方式涉及一种时序数据组的加载方法、时序数据组的加载装置、存储介质与电子设备，涉及数据库技术领域。该方法包括：加载待加载的时序数据组中预先配置的统计信息数据，所述统计信息数据包括：所述时序数据组中数据的时间分布范围，和所述时序数据组中索引数据的存储地址；加载所述时序数据组；其中，加载所述时序数据组的时间不早于加载所述统计信息数据的时间。本发明可以缩短时序数据加载所需的时间，在时序数据库重启时，保障数据服务在较短的时间内恢复正常，提高服务质量。

Description

时序数据组的加载方法、装置、存储介质及电子设备

技术领域

本发明的实施方式涉及数据库技术领域，更具体地，本发明的实施方式涉及一种时序数据组的加载方法、时序数据组的加载装置、计算机可读存储介质及电子设备。

背景技术

本部分旨在为权利要求中陈述的本发明的实施方式提供背景或上下文，此处的描述不因为包括在本部分中就承认是现有技术。

时序数据是基于时间而产生或记录的数据，通过分析时序数据的时序分布特征，可以揭示数据变化的趋势和规律等，因而在工业管理、物联网、大数据分析、机器学习等领域有着广泛的应用。

时序数据通常具有非常庞大的数据量，例如监控传感器的实时测量数据，如果以每秒为单位进行记录，则一个指标在24小时所产生的数据就将达到8万余条，因此需要通过特定的数据库进行存储，即时序数据库。目前常用的时序数据库有InfluxDB、TimescaleDB、KairosDB等，其特点通常包括：支持时序数据的快速写入、持久化、聚合统计查询等，为时序数据的管理提供了有效的工具。

发明内容

然而，在现有的时序数据库中，所存储的时序数据的量通常非常庞大，当数据库由于升级、更新或故障等原因导致重启时，需要重新加载其中的时序数据，以提供数据库的相关服务，而加载的过程十分缓慢，例如加载4TB数据量的时序数据(对应千万级别的数据源)需要2小时以上，从而对数据库的正常服务产生较大影响。

为此，非常需要一种改进的时序数据组的加载方法，可以提高时序数据加载的效率。

在本上下文中，本发明的实施方式期望提供一种时序数据组的加载方法、时序数据组的加载装置、计算机可读存储介质及电子设备。

根据本发明实施方式的第一方面，提供一种时序数据组的加载方法，包括：加载待加载的时序数据组中预先配置的统计信息数据，所述统计信息数据包括：所述时序数据组中数据的时间分布范围，和所述时序数据组中索引数据的存储地址；加载所述时序数据组；其中，加载所述时序数据组的时间不早于加载所述统计信息数据的时间。

在一种可选的实施方式中，所述统计信息数据还包括：所述时序数据组中索引数据的范围。

在一种可选的实施方式中，所述时序数据组中索引数据的范围包括：所述时序数据组中数据的最大键和最小键；所述时序数据组中数据的时间分布范围包括：所述时序数据组中数据的最大时间和最小时间；所述时序数据组中索引数据的存储地址包括：所述时序数据组中每个键的存储地址在所述时序数据组中的偏移量。

在一种可选的实施方式中，所述统计信息数据通过以下方式配置：统计所述时序数据组中的最大键、最小键、最大时间、最小时间以及每个键的存储地址在所述时序数据组中的偏移量；将所述最大键、最小键、最大时间、最小时间以及各所述偏移量写入所述时序数据组，以配置为所述时序数据组的统计信息数据。

在一种可选的实施方式中，在加载所述统计信息数据之前，所述时序数据组和所述统计信息数据存放于第一存储区；在加载所述统计信息数据或所述时序数据组时，将所述统计信息数据或所述时序数据组加载至第二存储区；其中，所述第一存储区为非易失性存储，所述第二存储区为易失性存储。

在一种可选的实施方式中，所述时序数据组用于将时序数据存储于时序数据库中。

在一种可选的实施方式中，所述时序数据库包括多个待加载的所述时序数据组，并划分为热时序数据组和冷时序数据组；在加载所述时序数据组时，先加载所述热时序数据组中的统计信息数据，再加载所述冷时序数据组中的统计信息数据和所述热时序数据组。

在一种可选的实施方式中，所述热时序数据组和冷时序数据组通过以下方式划分：记录所述时序数据库的历史查询事件；确定各历史查询事件所查询数据的时间戳与该历史查询事件的时间之间的差值，以统计各历史查询事件的时间分布特征；根据所述时间分布特征，确定预设阈值对应的时间点为冷热数据分界点，其中，处于所述冷热数据分界点之后的时间区间内的数据查询频度大于或等于所述预设阈值；将数据的时间分布范围晚于所述冷热数据分界点的时序数据组确定为热时序数据组，将数据的时间分布范围早于所述冷热数据分界点的时序数据组确定为冷时序数据组。

在一种可选的实施方式中，在加载所述统计信息数据之后，加载所述时序数据组之前，所述方法还包括：当根据目标键和目标时间戳查询目标数据时，根据所述目标时间戳和所述统计信息数据中所述时间分布范围的关系，确定所述目标数据是否位于所述时序数据组；当确定所述目标数据位于所述时序数据组时，在所述统计信息数据中索引数据的存储地址中查找所述目标键；从所述目标键所在的存储地址读取所述目标数据在所述时序数据组中的存储地址，再从所述目标数据在所述时序数据组中的存储地址读取所述目标数据。

根据本发明实施方式的第二方面，提供一种时序数据组的加载装置，包括：第一加载模块，用于加载待加载的时序数据组中预先配置的统计信息数据，所述统计信息数据包括：所述时序数据组中数据的时间分布范围，和所述时序数据组中索引数据的存储地址；第二加载模块，用于加载所述时序数据组；其中，所述第二加载模块加载所述时序数据组的时间，不早于所述第一加载模块加载所述统计信息数据的时间。

在一种可选的实施方式中，所述统计信息数据还包括：所述时序数据组中索引数据的范围。

在一种可选的实施方式中，所述时序数据组中索引数据的范围包括：所述时序数据组中数据的最大键和最小键；所述时序数据组中数据的时间分布范围包括：所述时序数据组中数据的最大时间和最小时间；所述时序数据组中索引数据的存储地址包括：所述时序数据组中每个键的存储地址在所述时序数据组中的偏移量。

在一种可选的实施方式中，所述装置还包括：数据配置模块，用于统计所述时序数据组中的最大键、最小键、最大时间、最小时间以及每个键的存储地址在所述时序数据组中的偏移量，将所述最大键、最小键、最大时间、最小时间以及各所述偏移量写入所述时序数据组，以配置为所述时序数据组的统计信息数据。

在一种可选的实施方式中，在所述第一加载模块加载所述统计信息数据之前，所述时序数据组和所述统计信息数据存放于第一存储区；所述第一加载模块，用于将所述统计信息数据加载至第二存储区；所述第二加载模块，用于将所述时序数据组加载至所述第二存储区；其中，所述第一存储区为非易失性存储，所述第二存储区为易失性存储。

在一种可选的实施方式中，所述时序数据组用于将时序数据存储于时序数据库中。

在一种可选的实施方式中，所述时序数据库包括多个待加载的所述时序数据组，并划分为热时序数据组和冷时序数据组；所述装置还包括：加载调度模块，用于先调度所述第一加载模块加载所述热时序数据组的统计信息数据，再调度所述第一加载模块加载所述冷时序数据组中的统计信息数据，以及调度所述第二加载模块加载所述热时序数据组。

在一种可选的实施方式中，所述装置还包括冷热划分模块，用于划分所述热时序数据组和所述冷时序数据组；其中，所述冷热划分模块包括：历史查询事件记录单元，用于记录所述时序数据库的历史查询事件；时间分布特征确定单元，用于确定各历史查询事件所查询数据的时间戳与该历史查询事件的时间之间的差值，以统计各历史查询事件的时间分布特征；冷热数据分界点确定单元，用于根据所述时间分布特征，确定预设阈值对应的时间点为冷热数据分界点，其中，处于所述冷热数据分界点之后的时间区间内的数据查询频度大于或等于所述预设阈值；冷热时序数据组确定单元，用于将数据的时间分布范围晚于所述冷热数据分界点的时序数据组确定为热时序数据组，将数据的时间分布范围早于所述冷热数据分界点的时序数据组确定为冷时序数据组。

在一种可选的实施方式中，所述装置还包括：数据查询模块，用于在所述第一加载模块加载所述统计信息数据之后，所述第二加载模块加载所述时序数据组之前，当需要根据目标键和目标时间戳查询目标数据时，通过执行以下方法查询所述目标数据：根据所述目标时间戳和所述统计信息数据中所述时间分布范围的关系，确定所述目标数据是否位于所述时序数据组；当确定所述目标数据位于所述时序数据组时，在所述统计信息数据中索引数据的存储地址中查找所述目标键；从所述目标键所在的存储地址读取所述目标数据在所述时序数据组中的存储地址，再从所述目标数据在所述时序数据组中的存储地址读取所述目标数据。

根据本发明实施方式的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一种时序数据组的加载方法。

根据本发明实施方式的第四方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一种时序数据组的加载方法。

根据本发明实施方式的时序数据组的加载方法、时序数据组的加载装置、计算机可读存储介质及电子设备，可以在加载时序数据时，先加载时序数据组中预先配置的统计信息数据，再加载时序数据组。其中，统计信息数据包含了时序数据组中用于数据查询的必要信息，可以通过统计信息数据实现数据服务的正常提供，从而缩短了数据加载所需的时间，保障了在时序数据库由于升级、更新或故障等原因导致重启时，数据服务能够在较短的时间内恢复，改善了时序数据库的性能。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1示出了根据本发明实施方式的一种时序数据组的加载方法的流程图；

图2示出了生成时序数据的示意图；

图3示出了时序数据分片的示意图；

图4示出了时序数据组的数据结构示意图；

图5示出了根据本发明实施方式的统计信息数据的示意图；

图6示出了根据本发明实施方式的一种时序数据组的加载方法的子流程图；

图7示出了根据本发明实施方式的另一种时序数据组的加载方法的子流程图；

图8示出了根据本发明实施方式的一种时序数据组的加载装置的结构方框图；

图9示出了根据本发明实施方式的存储介质的示意图；以及

图10示出了根据本发明实施方式的电子设备的结构方框图。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本发明在理解上更加透彻和清楚，并且能够将本发明的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本发明可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本发明的实施方式，提供一种时序数据组的加载方法、时序数据组的加载装置、计算机可读存储介质及电子设备。

在本文中，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

下面参考本发明的若干代表性实施方式，详细阐述本发明的原理和精神。

发明概述

本发明人发现，在现有的时序数据库中，所存储的时序数据的量通常非常庞大，当数据库由于升级、更新或故障等原因导致重启时，需要重新加载其中的时序数据，以提供数据库的相关服务，而加载的过程十分缓慢，例如加载4TB数据量的时序数据(对应千万级别的数据源)需要2小时以上，从而对数据库的正常服务产生较大影响。

鉴于上述内容，本发明的基本思想在于：提供一种时序数据组的加载方法、时序数据组的加载装置、计算机可读存储介质及电子设备，可以在加载时序数据时，先加载时序数据组中预先配置的统计信息数据，再加载时序数据组。其中，统计信息数据包含了时序数据组中用于数据查询的必要信息，可以通过统计信息数据实现数据服务的正常提供，从而缩短了数据加载所需的时间，例如对于4TB数据量的时序数据，加载其统计信息数据，使服务恢复可用仅需4分钟。本发明可以在时序数据库由于升级、更新或故障等原因导致重启时，保障数据服务在较短的时间内恢复正常，改善时序数据库的性能。

在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。

应用场景总览

需要注意的是，下述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。

本发明可以应用于时序数据所适用的所有场景，例如：在工业管理的场景中，将设备的实时监控数据存储到时序数据库，管理人员在日常分析数据时，需要从时序数据库查找、抽取数据，如果时序数据库重启，可以通过本示例性实施方式实现快速加载，以维持数据服务的正常可用；在电商场景中，平台方可以将用户日志数据以时序数据的形式进行存储，如果时序数据库重启，可以通过本示例性实施方式实现快速加载，当用户查询浏览历史、购买历史等数据，或商户查询历史订单、店铺访问历史等数据时，能够保障数据的正常提供。

示例性方法

本发明的示例性实施方式首先提供一种时序数据组的加载方法，如图1所示，该方法可以包括以下步骤S110和S120：

步骤S110，加载待加载的时序数据组中预先配置的统计信息数据，该统计信息数据包括：时序数据组中数据的时间分布范围，和时序数据组中索引数据的存储地址；

步骤S120，加载上述时序数据组。

其中，加载时序数据组的时间不早于加载统计信息数据的时间。下面做具体说明：

时序数据组是时序数据库中的一种存储单元，可用于将时序数据存储于时序数据库中，其包含了时序数据库中的一部分数据，例如在InfluxDB中，时序数据组可以是TSM文件(Time-Structured Merge Tree，在InfluxDB的存储引擎中，将数据按照时间进行组织所形成的文件)，也可以是时序数据库按照时间进行分片所得到的分片文件。

下面以InfluxDB为例对时序数据组做进一步说明。图2示出了时序数据的数据源，图中有两个传感器(sensor)，其生产厂家(manufacture)都是A，每个传感器还具有编号(sensorid)，生产厂家加编号可以唯一确定一个传感器。每个传感器每隔1秒测量一个温度值，称为数值。在一个典型的时序数据中，有三种类型的数据：时间列、维度列、数值列。对应的sensor表结构数据如表1所示：

表1

在表1中，Time为时间列(Timestamp)，Manufacture和Sensorid为维度列(Tag)，Temperature为数值列(Field)。采用SeriesKey(序列键)表示一个数据源，SeriesKey可以表示为sensor、manufacture以及sensorid三个字符串的组合，其中sensor是表1的名称，manufacture和sensorid是两个维度列值。表1中的SeriesKey为：sensor+A+0001和sensor+A+0002。Temperature表示数据的指标，在时序数据中称为FieldKey(字段键)。SeriesKey+FieldKey即构成了InfluxDB中时序数据的键(Key)，键可以作为时序数据的索引。表1中的time为数据的时间戳，表1中仅仅示出了时分秒格式的数据，实际应用中通常还具有日期。

在InfluxDB中，可以按照时间戳对数据进行分片，参考图3所示，以天为单位对数据进行分片，得到一个个数据分片(ShardGroup)，按照从右到左的时间推进顺序，左边的数据分片较新，其中20190603～20190604是最近一天的数据分片，之前的数据分片为历史数据分片。InfluxDB可以通过上述TSM文件的方式对每个数据分片中的时序数据进行存储，TSM文件中的数据格式可以参考图4所示，主要由数据区(Series Data Section)和索引区(Series Index Section)两部分组成，其中前者由大量数据块(Series Data Block)组成，用于存储时序数据的数值列，后者由大量索引块(Series Index Block)组成，每个索引块中存储一个Key以及该Key对应数据块在TSM文件中的偏移量，TSM文件中的Footer用于表明索引区起始位置的偏移量。每个TSM文件可以是一个时序数据组。

由于时序数据库非常庞大，在实际应用中，可以拆分为一个个时序数据组进行管理，每个时序数据组包含了一定时间范围、甚至一定索引范围内的数据。当需要加载时序数据库时，可以按照一定的顺序，例如按照图3中时间由近到远的顺序，按照数据热度顺序等，对时序数据组进行排序，逐个进行加载。步骤S110中待加载的时序数据组可以是时序数据库中任意一个需要加载的时序数据组，本发明对此不做限定。

本示例性实施方式中，时序数据组中可以预先配置统计信息数据，该统计信息数据可以包括：该时序数据组中数据的时间分布范围，和该时序数据组中索引数据的存储地址。其中，时序数据组中数据的时间分布范围表示该时序数据组中的数据分布在哪个时间范围内，例如可以是该时序数据组中数据的最大时间(MaxTime)和最小时间(MinTime)，时间分布范围可以帮助实现数据的快速索引，当查询时序数据时，根据其时间戳能够快速确定该数据属于哪个时序数据组；索引数据的存储地址是指时序数据组中的索引数据在时序数据组中的存储地址，例如可以是时序数据组中每个索引数据的存储地址在时序数据组中的偏移量；在InfluxDB中，索引数据的存储地址可以是TSM文件中每个索引块(即Key)的偏移量(offset)所形成的偏移量数组。

在一种可选的实施方式中，统计信息数据还可以包括：时序数据组中索引数据的范围，表示该时序数据组中索引数据的数值分布范围，例如可以是时序数据组中数据的最大键(MaxKey)和最小键(MinKey)；在InfluxDB中，索引数据的范围可以是TSM文件中Key的分布范围，包括每种sensor+manufacture+FieldKey中最大的sensorid和最小的sensorid，同样可以帮助实现数据的快速索引，当查询时序数据时，根据其Key能够快速确定该数据属于哪个时序数据组。

在一种可选的实施方式中，可以通过以下方式配置统计信息数据：统计时序数据组中的最大键、最小键、最大时间、最小时间以及每个键的存储地址在时序数据组中的偏移量；将上述最大键、最小键、最大时间、最小时间以及每个键的存储地址在时序数据组中的偏移量写入时序数据组，以配置为时序数据组的统计信息数据。其中，时序数据组中可以特别划分出一块区域，用于写入并存储上述统计信息数据。以InfluxDB为例进一步说明上述配置过程，可以扫描TSM文件中的时序数据，从Key中统计出MaxKey、MinKey，从数据的时间戳中统计出MaxTime、MinTime，从索引区统计出每个Key的存储地址的offset(即每个Series Index Block的存储地址，可以是int类型的数组)。如图5所示，可以在TSM文件中划分出一块区域(图中的Statistic Section)，存储上述统计信息数据。进一步的，可以在生成时序数据组后，立即执行上述过程，以配置统计信息数据，也可以按照设定的时间进行配置，在配置统计信息数据后，如果时序数据组中的数据被修改，可以重新统计上述信息，以更新统计信息数据。

通常情况下，时序数据组及其统计信息数据可以存放于第一存储区，第一存储区是非易失性存储，例如安装有时序数据库的计算机硬盘等；在加载时序数据组或统计信息数据时，可以将其从第一存储区加载至第二存储区，第二存储区是易失性存储，例如计算机内存；可见，加载是为了便于数据的读写。本示例性实施方式中，当需要加载时序数据组时，可以先加载其统计信息数据，由于统计信息数据的数据量大大低于时序数据组的数据总量，可以实现快速加载。

在加载统计信息数据成功后，即可以满足对时序数据组中数据的查询需求，数据查询的方法流程可以如图6所示，包括以下步骤S610～S630：

步骤S610，当根据目标键和目标时间戳查询目标数据时，根据目标时间戳和统计信息数据中时间分布范围的关系，确定目标数据是否位于该统计信息数据对应的时序数据组。其中，根据目标键和目标时间戳查询其对应的目标数据，是时序数据库场景中典型的数据查询请求。将目标时间戳和已加载的统计信息数据中的时间分布范围进行比较，判断目标时间戳是否在该时间分布范围内，如果在该范围内，说明查询的目标数据位于该统计信息数据对应的时序数据组中，反之则说明不在该时序数据组中，需要去其他时序数据组查找。需要补充的是，如果统计信息数据中包括时序数据组中索引数据的范围，则还可以将目标键与索引数据范围进行对比，以更加准确地判断目标数据是否位于该时序数据组中。

步骤S620，当确定目标数据位于上述时序数据组时，在统计信息数据中索引数据的存储地址中查找目标键。其中，索引数据的存储地址表示索引数据(键)在时序数据组中的存储地址，对应的在时序数据组中逐个查找，可以找到目标键。以InfluxDB为例说明，TSM文件中的统计信息数据包括TSM文件中Key的存储地址(offset数组)，在TSM文件中，可以采用二分查找的方式，即查找offset数组中中间的offset对应的存储地址，比较其存储的Key与目标Key的关系，若目标Key更小，则在左半边offset数组中再次二分查找，以此经过数次查找后，可以找到目标Key。

步骤S630，从目标键所在的存储地址读取目标数据在时序数据组中的存储地址，再从目标数据在时序数据组中的存储地址读取目标数据。在InfluxDB中，查找到目标Key所在的索引块后，该索引块还存储有目标数据在TSM文件中的存储地址，由此可以找到该存储地址中的数据，通过目标时间戳进行过滤后得到目标数据。

由上可知，在加载时序数据组的统计信息数据后，无需加载时序数据组，即可实现时序数据组中的数据查找，因此该时序数据组对应的数据服务可以正常提供，实际上大大缩短了由于加载时序数据导致的服务恢复时间。经过测试，对于4TB数据量的时序数据，加载其统计信息数据，使服务恢复可用的时间仅需要4分钟。

此外，在加载统计信息数据的同时或之后，还可以加载时序数据组，使其对应的数据服务完全恢复。但是加载时序数据组的时间不早于加载统计信息数据的时间，即优先加载统计信息数据，以最快的速度使数据服务恢复正常可用。

时序数据库通常包括多个待加载的时序数据组，在一种可选的实施方式中，可以将其划分为热时序数据组和冷时序数据组，热时序数据组是指查找、访问频率较高的时序数据组，反之为冷时序数据组，通常时间越近的时序数据组越“热”，时间越早的时序数据组越“冷”，但本发明并不以此为限定。在一种实施方式中，参考图7所示，热时序数据组和冷时序数据组的划分可以通过以下步骤S710～S740实现：

步骤S710，记录时序数据库的历史查询事件；

步骤S720，确定各历史查询事件所查询数据的时间戳与该历史查询事件的时间之间的差值，以统计各历史查询事件的时间分布特征；

步骤S730，根据时间分布特征，确定预设阈值对应的时间点为冷热数据分界点；

步骤S740，将数据的时间分布范围晚于冷热数据分界点的时序数据组确定为热时序数据组，将数据的时间分布范围早于冷热数据分界点的时序数据组确定为冷时序数据组。

其中，历史查询事件是指已经发生的查询事件的日志数据，包括在哪个事件哪个用户查询了哪条数据等信息。考虑到时序数据在查询方面的特点通常是最近的数据比较热，查询频率较高，历史数据比较冷，查询频率较低，步骤S720可以计算每次历史查询事件中查询了最近多长时间内的数据，即历史查询事件发生时间减去查询数据时间戳得到的差值，从而可以统计出历史查询事件的时间分布特征，其可以是每个时间区间内的数据查询频度特征。

举例说明，可以引入两个参数：statistic_range(统计时间区间)和query_{timerange}_counter(查询时间区间计数器)，其中timerange是一个变量，默认可取值为最近1小时、最近12小时、最近1天，最近3天，最近7天、最近15天、最近30天、最近6个月、最近1年等。最近1小时对应的计数器为query_1h_counter，最近12小时对应的计数器为query_12h_counter，以此类推。statistic_range参数表示关心最近statistic_range时间段内的统计结果，query_{timerange}_counter参数表示系统会分别统计最近1小时、最近1小时到最近12小时区间、最近12小时到最近1天区间等的查询次数，可以每隔10分钟将统计结果持久化，再接着统计下一个10分钟的计数。如果某一历史查询事件查询最近30分钟的数据，因为该时间落在最近1小时的区间内，那么系统会将计数器query_1h_counter加1，同理可以对query_6h_counter、query_12h_counter等其他时间区间的计数器进行维护。

假设统计了最近一天(statistic_range设置为1天)的历史查询事件，落在最近1小时的查询次数为12000次，最近1小时到最近12小时区间的查询次数为7000次，最近12小时到最近1天区间的查询次数为10次，则可以统计出上述3个时间区间内的数据查询频度分别为63.1％、36.8％、0.1％。

本示例性实施方式中，预设阈值是根据经验和实际应用需求设定的数值，用于确定冷热数据分界点，以划分冷热数据，处于冷热数据分界点之后的时间区间内的数据查询频度大于或等于预设阈值。在上述示例中，如果确定预设阈值为99％，最近1小时、最近1小时到最近12小时这两个时间区间内的数据查询频度为99.9％，超过了预设阈值，则可以将冷热数据分界点确定在12小时这一节点上，将时间分布范围在最近12小时内的时序数据组确定为热时序数据组，时间分布范围早于最近12小时的时序数据组确定为冷时序数据组。

在对时序数据库划分了热时序数据组和冷时序数据组后，当加载时序数据时，可以先加载热时序数据组中的统计信息数据，再加载冷时序数据组中的统计信息数据和热时序数据组。即，优先加载热时序数据组中的统计信息数据，使热时序数据组对应的数据服务可用，然后再保证冷时序数据组对应的数据服务可用，以及热时序数据组对应的数据服务完全恢复，从而尽可能的在时序数据加载过程中，满足用户对于时序数据的查询需求。

示例性装置

在介绍了本发明示例性实施方式的时序数据组的加载方法之后，接下来，参考图8对本发明示例性实施方式的时序数据组的加载装置进行说明。

如图8所示，该时序数据组的加载装置800可以包括：第一加载模块810，用于加载待加载的时序数据组中预先配置的统计信息数据，统计信息数据包括：时序数据组中数据的时间分布范围，和时序数据组中索引数据的存储地址；第二加载模块820，用于加载时序数据组；其中，第二加载模块820加载时序数据组的时间，不早于第一加载模块810加载统计信息数据的时间。

在一种可选的实施方式中，统计信息数据还可以包括：时序数据组中索引数据的范围。

在一种可选的实施方式中，时序数据组中索引数据的范围可以包括：时序数据组中数据的最大键和最小键；时序数据组中数据的时间分布范围可以包括：时序数据组中数据的最大时间和最小时间；时序数据组中索引数据的存储地址可以包括：时序数据组中每个键的存储地址在时序数据组中的偏移量。

在一种可选的实施方式中，加载装置800还可以包括：数据配置模块830，用于统计时序数据组中的最大键、最小键、最大时间、最小时间以及每个键的存储地址在时序数据组中的偏移量，将最大键、最小键、最大时间、最小时间以及各偏移量写入时序数据组，以配置为时序数据组的统计信息数据。

在一种可选的实施方式中，在第一加载模块810加载统计信息数据之前，时序数据组和统计信息数据存放于第一存储区；第一加载模块810可以用于将统计信息数据加载至第二存储区；第二加载模块820可以用于将时序数据组加载至第二存储区；其中，第一存储区为非易失性存储，第二存储区为易失性存储。

在一种可选的实施方式中，上述时序数据组用于将时序数据存储于时序数据库中。

在一种可选的实施方式中，时序数据库可以包括多个待加载的时序数据组，并划分为热时序数据组和冷时序数据组；加载装置800还可以包括：加载调度模块840，用于先调度第一加载模块加载热时序数据组的统计信息数据，再调度第一加载模块加载冷时序数据组中的统计信息数据，以及调度第二加载模块加载热时序数据组。

在一种可选的实施方式中，加载装置800还可以包括：冷热划分模块850，用于划分热时序数据组和冷时序数据组；其中，冷热划分模块850又可以包括：历史查询事件记录单元(图中未示出)，用于记录时序数据库的历史查询事件；时间分布特征确定单元(图中未示出)，用于确定各历史查询事件所查询数据的时间戳与该历史查询事件的时间之间的差值，以统计各历史查询事件的时间分布特征；冷热数据分界点确定单元，用于根据时间分布特征，确定预设阈值对应的时间点为冷热数据分界点，其中，处于冷热数据分界点之后的时间区间内的数据查询频度为预设阈值；冷热时序数据组确定单元(图中未示出)，用于将数据的时间分布范围晚于冷热数据分界点的时序数据组确定为热时序数据组，将数据的时间分布范围早于冷热数据分界点的时序数据组确定为冷时序数据组。

在一种可选的实施方式中，加载装置800还可以包括：数据查询模块860，用于在第一加载模块810加载统计信息数据之后，第二加载模块820加载时序数据组之前，当需要根据目标键和目标时间戳查询目标数据时，通过执行以下方法查询目标数据：根据目标时间戳和统计信息数据中时间分布范围的关系，确定目标数据是否位于时序数据组；当确定目标数据位于时序数据组时，在统计信息数据中索引数据的存储地址中查找目标键；从目标键所在的存储地址读取目标数据在时序数据组中的存储地址，再从目标数据在时序数据组中的存储地址读取目标数据。

此外，本发明实施方式的其他具体细节在上述方法的发明实施方式中已经详细说明，在此不再赘述。

示例性存储介质

参考图9对本发明示例性实施方式的存储介质进行说明。

如图9所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品900，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

该程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RE等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言-诸如Java、C++等，还包括常规的过程式程序设计语言-诸如"C"语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(FAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

示例性电子设备

参考图10对本发明示例性实施方式的电子设备进行说明。

图10显示的电子设备1000仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图10所示，电子设备1000以通用计算设备的形式表现。电子设备1000的组件可以包括但不限于：至少一个处理单元1010、至少一个存储单元1020、连接不同系统组件(包括存储单元1020和处理单元1010)的总线1030、显示单元1040。

其中，存储单元存储有程序代码，程序代码可以被处理单元1010执行，使得处理单元1010执行本说明书上述"示例性方法"部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元1010可以执行如图1、图6或图7所示的方法步骤等。

存储单元1020可以包括易失性存储单元，例如随机存取存储单元(RAM)1021和/或高速缓存存储单元1022，还可以进一步包括只读存储单元(ROM)1023。

存储单元1020还可以包括具有一组(至少一个)程序模块1025的程序/实用工具1024，这样的程序模块1025包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线1030可以包括数据总线、地址总线和控制总线。

电子设备1000也可以与一个或多个外部设备1100(例如键盘、指向设备、蓝牙设备等)通信，这种通信可以通过输入/输出(I/O)接口1050进行。电子设备1000还包括显示单元1040，其连接到输入/输出(I/O)接口1050，用于进行显示。并且，电子设备1000还可以通过网络适配器1060与一个或者多个网络(例如局域网(FAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1060通过总线1030与电子设备1000的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1000使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

应当注意，尽管在上文详细描述中提及了装置的若干模块或子模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (18)

1.一种时序数据组的加载方法，其特征在于，包括：

加载待加载的时序数据组中预先配置的统计信息数据，所述统计信息数据包括：所述时序数据组中数据的时间分布范围，和所述时序数据组中索引数据的存储地址；

加载所述时序数据组；

其中，加载所述时序数据组的时间不早于加载所述统计信息数据的时间；

在加载所述统计信息数据之后，加载所述时序数据组之前，所述方法还包括：

当根据目标键和目标时间戳查询目标数据时，根据所述目标时间戳和所述统计信息数据中所述时间分布范围的关系，确定所述目标数据是否位于所述时序数据组；

当确定所述目标数据位于所述时序数据组时，在所述统计信息数据中索引数据的存储地址中查找所述目标键；

从所述目标键所在的存储地址读取所述目标数据在所述时序数据组中的存储地址，再从所述目标数据在所述时序数据组中的存储地址读取所述目标数据。

2.根据权利要求1所述的方法，其特征在于，所述统计信息数据还包括：所述时序数据组中索引数据的范围。

3.根据权利要求2所述的方法，其特征在于，所述时序数据组中索引数据的范围包括：所述时序数据组中数据的最大键和最小键；

所述时序数据组中数据的时间分布范围包括：所述时序数据组中数据的最大时间和最小时间；

所述时序数据组中索引数据的存储地址包括：所述时序数据组中每个键的存储地址在所述时序数据组中的偏移量。

4.根据权利要求3所述的方法，其特征在于，所述统计信息数据通过以下方式配置：

统计所述时序数据组中的最大键、最小键、最大时间、最小时间以及每个键的存储地址在所述时序数据组中的偏移量；

将所述最大键、最小键、最大时间、最小时间以及各所述偏移量写入所述时序数据组，以配置为所述时序数据组的统计信息数据。

5.根据权利要求1所述的方法，其特征在于，在加载所述统计信息数据之前，所述时序数据组和所述统计信息数据存放于第一存储区；

在加载所述统计信息数据或所述时序数据组时，将所述统计信息数据或所述时序数据组加载至第二存储区；

其中，所述第一存储区为非易失性存储，所述第二存储区为易失性存储。

6.根据权利要求1所述的方法，其特征在于，所述时序数据组用于将时序数据存储于时序数据库中。

7.根据权利要求6所述的方法，其特征在于，所述时序数据库包括多个待加载的所述时序数据组，并划分为热时序数据组和冷时序数据组；

在加载所述时序数据组时，先加载所述热时序数据组中的统计信息数据，再加载所述冷时序数据组中的统计信息数据和所述热时序数据组。

8.根据权利要求7所述的方法，其特征在于，所述热时序数据组和冷时序数据组通过以下方式划分：

记录所述时序数据库的历史查询事件；

确定各历史查询事件所查询数据的时间戳与该历史查询事件的时间之间的差值，以统计各历史查询事件的时间分布特征；

根据所述时间分布特征，确定预设阈值对应的时间点为冷热数据分界点，其中，处于所述冷热数据分界点之后的时间区间内的数据查询频度大于或等于所述预设阈值；

将数据的时间分布范围晚于所述冷热数据分界点的时序数据组确定为热时序数据组，将数据的时间分布范围早于所述冷热数据分界点的时序数据组确定为冷时序数据组。

9.一种时序数据组的加载装置，其特征在于，包括：

第一加载模块，用于加载待加载的时序数据组中预先配置的统计信息数据，所述统计信息数据包括：所述时序数据组中数据的时间分布范围，和所述时序数据组中索引数据的存储地址；

第二加载模块，用于加载所述时序数据组；

其中，所述第二加载模块加载所述时序数据组的时间，不早于所述第一加载模块加载所述统计信息数据的时间；

所述装置还包括：数据查询模块，用于在所述第一加载模块加载所述统计信息数据之后，所述第二加载模块加载所述时序数据组之前，当需要根据目标键和目标时间戳查询目标数据时，通过执行以下方法查询所述目标数据：

根据所述目标时间戳和所述统计信息数据中所述时间分布范围的关系，确定所述目标数据是否位于所述时序数据组；

当确定所述目标数据位于所述时序数据组时，在所述统计信息数据中索引数据的存储地址中查找所述目标键；

从所述目标键所在的存储地址读取所述目标数据在所述时序数据组中的存储地址，再从所述目标数据在所述时序数据组中的存储地址读取所述目标数据。

10.根据权利要求9所述的装置，其特征在于，所述统计信息数据还包括：所述时序数据组中索引数据的范围。

11.根据权利要求10所述的装置，其特征在于，所述时序数据组中索引数据的范围包括：所述时序数据组中数据的最大键和最小键；

所述时序数据组中数据的时间分布范围包括：所述时序数据组中数据的最大时间和最小时间；

所述时序数据组中索引数据的存储地址包括：所述时序数据组中每个键的存储地址在所述时序数据组中的偏移量。

12.根据权利要求11所述的装置，其特征在于，所述装置还包括：

数据配置模块，用于统计所述时序数据组中的最大键、最小键、最大时间、最小时间以及每个键的存储地址在所述时序数据组中的偏移量，将所述最大键、最小键、最大时间、最小时间以及各所述偏移量写入所述时序数据组，以配置为所述时序数据组的统计信息数据。

13.根据权利要求9所述的装置，其特征在于，在所述第一加载模块加载所述统计信息数据之前，所述时序数据组和所述统计信息数据存放于第一存储区；

所述第一加载模块，用于将所述统计信息数据加载至第二存储区；

所述第二加载模块，用于将所述时序数据组加载至所述第二存储区；

其中，所述第一存储区为非易失性存储，所述第二存储区为易失性存储。

14.根据权利要求9所述的装置，其特征在于，所述时序数据组用于将时序数据存储于时序数据库中。

15.根据权利要求14所述的装置，其特征在于，所述时序数据库包括多个待加载的所述时序数据组，并划分为热时序数据组和冷时序数据组；

所述装置还包括：加载调度模块，用于先调度所述第一加载模块加载所述热时序数据组的统计信息数据，再调度所述第一加载模块加载所述冷时序数据组中的统计信息数据，以及调度所述第二加载模块加载所述热时序数据组。

16.根据权利要求15所述的装置，其特征在于，所述装置还包括冷热划分模块，用于划分所述热时序数据组和所述冷时序数据组；其中，所述冷热划分模块包括：

历史查询事件记录单元，用于记录所述时序数据库的历史查询事件；

时间分布特征确定单元，用于确定各历史查询事件所查询数据的时间戳与该历史查询事件的时间之间的差值，以统计各历史查询事件的时间分布特征；

冷热数据分界点确定单元，用于根据所述时间分布特征，确定预设阈值对应的时间点为冷热数据分界点，其中，处于所述冷热数据分界点之后的时间区间内的数据查询频度大于或等于所述预设阈值；

冷热时序数据组确定单元，用于将数据的时间分布范围晚于所述冷热数据分界点的时序数据组确定为热时序数据组，将数据的时间分布范围早于所述冷热数据分界点的时序数据组确定为冷时序数据组。

17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～8任一项所述的方法。

18.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～8任一项所述的方法。

Images