CN102890722A - 应用于时序历史数据库的索引方法 - Google Patents

Abstract

本发明公开了一种应用于时序历史数据库的索引方法，以实现时序历史数据库数据的高效存储和检索。本发明通过以时间点为关键字建立多叉树索引，让索引能够按照时间顺序有序地存放在磁盘上索引文件中，时序历史数据也能够按照时间顺序有序地存放在磁盘上数据文件中。在进行数据访问时，通过批量的内存映射文件机制，减少文件访问的频率，保证时序历史数据库数据存储和检索的效率，并且对内存资源的消耗也较小。

Description

应用于时序历史数据库的索引方法

技术领域

    本发明涉及一种数据索引方法，特别是涉及时序历史数据库中的数据索引方法。

背景技术

随着工业化、信息化“两化融合”建设的不断深入，工业自动化系统面临的海量数据处理压力越来越大，系统面对的采集点越来越多，系统一年的数据存储规模将从目前的GB级转向TB级甚至是PB级。如此海量的历史数据，传统的关系型数据库无论是存储和检索都显得捉襟见肘，很难满足这些应用的需求。近年来，时序历史数据库的出现使得这些应用需求的实现成为可能。时序历史数据库是专门设计用来处理具有时间序列特性的数据库管理系统，该系统用于对上述的海量数据进行存储管理。在时序历史数据库系统中，索引方法的好坏直接影响着数据库的存储检索速度，本发明正是实现一种高效率的索引方法。

经初步检索，暂未发现有与本发明内容相关的专利条目。

发明内容

   为了能够保证时序历史数据库数据的高效存储和检索，本发明提供了一种应用于时序历史数据库的索引方法，其采用的技术方案如下：

（1）建立索引：

时序历史数据库中的测点文件、索引文件和数据文件三种文件串联，通过二元组结构形式的文件指针进行访问；

对测点文件中的每个测点单独建立索引，所述索引采用多叉树的层级结构，根据测点的数量级以及历史数据量的大小来决定具体树的分叉数目以及层次；以时间点为关键字，索引节点的每个子指针指向下一级的索引节点，最顶层的索引节点为索引根节点，最下一层的索引节点为索引叶子节点，索引节点的每个时间点关键字左边的子指针指向的下一级索引节点中的时间点关键字都小于此时间点关键字，同样每个时间点关键字右边的子指针指向的下一级索引节点中的时间点关键字都大于此时间点关键字；

索引叶子节点指向数据文件中的数据块在数据文件中的存储位置，所述索引叶子节点的每个子指针指向一个数据块，所述索引叶子节点中的每个时间点关键字左边的子指针指向的数据块中数据的时间都小于此时间点关键字，同样每个时间点关键字右边的子指针指向的数据块中数据的时间都大于此时间点关键字；

每个所述索引叶子节点指向的所有数据块都有前指针和后指针，按照时间的顺序和逆序构建成双向链表，相邻索引叶子节点中的首位数据块也互相串联；

（2）数据存储：

采用内存映射文件的方式进行文件操作，历史数据在写入时，先将一定长度的文件内容映射到数据缓存中（该一次文件映射的长度根据数据库中数据存储或者检索操作中包含的测点粒度来自行定义），然后在该数据缓存中填入数据块，并将数据缓存中的内容和数据文件进行同步；

按照上述方式将索引节点内容写入索引缓存中，索引节点的子指针指向所述数据块，并将索引缓存中的内容和索引文件进行同步；

在写入下一个数据块和索引时，直接对缓存进行操作，直到映射到缓存中的文件空间用完，则进行下一次文件映射； 

循环以上流程；

（3）数据检索：

在查询某个测点的一段历史数据时，根据查询时间的起点查询索引；查询索引时，首先找到该测点索引的起点位置，然后进行内存映射文件操作，将文件中一定空间范围内的所有索引节点映射到缓存中，通过查询的起始时间点和索引中的时间点关键字来进行索引定位，若该索引节点非索引叶子节点，则继续搜索子节点；

找到索引叶子节点之后，根据查询时间段的起点定位该历史数据的起始数据块位置；通过同样的内存映射文件方式读取这个数据块，然后利用数据块之间的双向链表一直向后遍历，直到查询到终止时间，中间不需要再去索引进行查询。 

本发明方法通过以时间点为关键字建立多叉树索引，让索引能够按照时间顺序有序地存放在磁盘上索引文件中，时序历史数据也能够按照时间顺序有序地存放在磁盘上数据文件中。在进行数据访问时，通过批量的内存映射文件机制，减少文件访问的频率，保证时序历史数据库数据存储和检索的效率，并且对内存资源的消耗也较小。

附图说明

图1是时序历史数据库测点文件、索引文件、数据文件的访问机制示意图。

图2是时序历史数据库索引结构图。

图3是本发明数据存储流程示意图。

图4是本发明数据检索流程示意图。

图5是内存文件映射示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细说明。

整个时序历史数据库的数据分为测点文件、索引文件和数据文件三部分组成。测点文件主要存储采集测点的信息，索引文件存储数据的索引信息，数据文件存储历史数据。

图1所示的是时序历史数据库三种文件之间的访问机制。先通过测点文件获取相关测点的信息，再根据此测点的信息查找到索引的位置，然后根据索引指向的位置获取数据的位置。三种文件之间是串联关系，并且通过形如（文件名，在该文件中偏移量）二元组结构形式的文件指针进行访问。

由于时序历史数据库应用场景中不同测点之间的数据很少存在相关性，所以在建立索引时，每个测点建立自己的索引，以方便检索。  

按照时序历史数据的特点，索引采用多叉树的层级结构，以时间点为关键字，索引节点的每个子指针指向下一级的索引节点，最顶层的索引节点为索引根节点，最下一层的索引节点为索引叶子节点，索引叶子节点会指向数据块在文件中的存储位置。

由于每个测点的数据块都是按照时序进行顺序排列的，所以额外将数据块按照双向链表的方式链接起来，方便检索。

图2所示的是索引和数据块的具体结构，以3叉树结构为示例。实际应用环境中需要根据测点的数量级以及历史数据量的大小来决定具体树的分叉数目以及层次。如图所示，索引根节点有3个时间关键字和4个子指针，每个子指针指向下一级的索引节点。每个时间点关键字左边子指针指向的索引节点中的时间点关键字都小于此时间点关键字，同样每个时间点关键字右边子指针指向的索引节点中的时间点关键字都大于此时间点关键字。

索引叶子节点有3个时间点关键字和3个子指针，每个子指针指向一个数据块。索引叶子节点中每个时间点关键字左边子指针指向的数据块中数据的时间都小于此时间点关键字，同样每个时间点关键字右边子指针指向的数据块中数据的时间都大于此时间点关键字。每个索引叶子节点指向的所有数据块都有前指针和后指针，按照时间的顺序和逆序构建成双向链表，相邻索引叶子节点中的首位数据块也互相串联。

时序历史数据库中数据的存储和读取，需要进行大量的文件操作。为了保证能够高效的存储和读取数据，采用内存映射文件的方式进行文件操作。图5所示的是采用内存映射文件方式操作索引文件的方法。通过建立一段索引缓存的内存区域，将文件的一段地址映射到缓存的地址空间中，可以直接访问缓存空间中的内容，来大大提高访问文件的速度。

由于时序数据库的数据源具有时序性，在访问某时刻数据时有很大概率访问该时间点前后的数据，所以在进行内存映射文件时，一般选取固定为若干个索引空间大小的长度作为一次文件映射的基本单位。如图5中以3个索引节点大小为基本单位，设此长度为L，每次内存映射文件时，将以此索引节点地址为起点长度为L的文件内容全部映射到缓存空间中。

数据的存储过程：

历史数据在写入时，先将L长度的文件内容映射到数据缓存中（L的长度根据数据库中数据存储或者检索操作中包含的测点粒度来自行定义），然后在该数据缓存中填入数据块，并将缓存内容和数据文件进行同步。然后按照同样的方式将索引节点内容写入索引缓存，索引节点的子指针指向这个数据块，并将索引缓存和索引文件进行同步。在写下一个数据块和索引时，由于上一次已经分别映射了长度为L的索引文件空间和数据文件空间到缓存中，所以本次文件操作可以直接对缓存操作即可，直到映射到缓存中的文件空间用完，则进行下一次文件映射。如此类推，重复以上流程。

附图3表示了数据的存储过程，及过程中索引节点的建立方法：

a、  历史数据块输入，检查当前数据缓存中是否有空余的数据文件空间，若是，转下一步；若否，则从数据文件中映射一块新的空间到数据缓存中，转下一步；

b、  将历史数据块拷贝到数据缓存空间内的空闲空间内，检查是否需要新增索引节点建立索引，若是，转下一步；若否，从索引文件中映射一块新的空间到索引缓存中，然后转步骤e；

c、  检查当前索引缓存中是否有空余的索引文件空间，若是，转下一步；若否，从索引文件中映射一块新的空间到索引缓存中，然后转下一步；

d、  将索引节点信息拷贝到索引缓存空间内的空闲空间内；

e、  修改索引节点的子指针，指向之前创建的数据块地址。

数据的检索过程：

在查询某个测点的一段历史数据时，根据查询时间的起点查询索引。查询索引时，首先找到该测点索引的起点位置，然后进行内存映射文件操作，将文件中一定空间范围内的所有索引节点映射到缓存中，通过查询的起始时间点和索引中的时间点关键字来进行索引定位，若该索引节点非索引叶子节点则继续搜索子节点，由于是顺序写入历史数据，此时子索引很大概率就在之前映射根节点时的缓存块中，此时直接操作缓存，效率很高。找到索引叶子节点之后，根据查询时间段的起点定位该历史数据的起始数据块位置。通过同样的内存映射文件方式读取这个数据块，然后利用数据块之间的双向链表一直向后遍历，直到查询到终止时间，中间不需要再去索引进行查询。遍历过程中由于每次映射多个连续的数据块，所以大大减少了文件I/O访问的次数，提高了查询的效率。

附图4表示了数据的检索过程，及过程中索引节点的作用：

a、  根据数据检索请求定位索引节点位置；

b、  检查当前索引节点是否在索引缓存中，若是，转下一步；若否，从索引文件中映射从该索引节点起的一块文件内容到索引缓存中，然后转下一步；

c、  读取该索引节点内容，找到其指向的数据块位置；检查该数据块是否在数据缓存中，若是，转下一步；若否，从数据文件中映射从该数据块起的一块文件内容到数据缓存中；然后转下一步；

d、  读取该数据块内部的数据，转到步骤a。

Claims (3)

1.一种应用于时序历史数据库的索引方法，其特征在于，包括如下步骤：

（1）建立索引：

时序历史数据库中的测点文件、索引文件和数据文件三种文件串联，通过二元组结构形式的文件指针进行访问；

对测点文件中的每个测点单独建立索引，所述索引采用多叉树的层级结构；以时间点为关键字，索引节点的每个子指针指向下一级的索引节点，最顶层的索引节点为索引根节点，最下一层的索引节点为索引叶子节点，索引节点的每个时间点关键字左边的子指针指向的下一级索引节点中的时间点关键字都小于此时间点关键字，同样每个时间点关键字右边的子指针指向的下一级索引节点中的时间点关键字都大于此时间点关键字；

索引叶子节点指向数据文件中的数据块在数据文件中的存储位置，所述索引叶子节点的每个子指针指向一个数据块，所述索引叶子节点中的每个时间点关键字左边的子指针指向的数据块中数据的时间都小于此时间点关键字，同样每个时间点关键字右边的子指针指向的数据块中数据的时间都大于此时间点关键字；

每个所述索引叶子节点指向的所有数据块都有前指针和后指针，按照时间的顺序和逆序构建成双向链表，相邻索引叶子节点中的首位数据块也互相串联；

（2）数据存储：

采用内存映射文件的方式进行文件操作，历史数据在写入时，先将一定长度的文件内容映射到数据缓存中，然后在该数据缓存中填入数据块，并将数据缓存中的内容和数据文件进行同步；

按照上述方式将索引节点内容写入索引缓存中，索引节点的子指针指向所述数据块，并将索引缓存中的内容和索引文件进行同步；

在写入下一个数据块和索引时，直接对缓存进行操作，直到映射到缓存中的文件空间用完，则进行下一次文件映射； 

循环以上流程；

（3）数据检索：

在查询某个测点的一段历史数据时，根据查询时间的起点查询索引；查询索引时，首先找到该测点索引的起点位置，然后进行内存映射文件操作，将文件中一定空间范围内的所有索引节点映射到缓存中，通过查询的起始时间点和索引中的时间点关键字来进行索引定位，若该索引节点非索引叶子节点，则继续搜索子节点；

找到索引叶子节点之后，根据查询时间段的起点定位该历史数据的起始数据块位置；通过同样的内存映射文件方式读取这个数据块，然后利用数据块之间的双向链表一直向后遍历，直到查询到终止时间，中间不需要再去索引进行查询。

2.根据权利要求1所述的方法，其特征是，步骤（1）建立索引中所述多叉树是根据测点的数量级以及历史数据量的大小来决定具体树的分叉数目以及层次。

3.根据权利要求1或2所述的方法，其特征是，步骤（2）数据存储中所述将一定长度的文件内容映射到数据缓存中，该一次文件映射的长度根据数据库中数据存储或者检索操作中包含的测点粒度来自行定义。

Images