CN102479189A - 一种内存中海量时间戳型数据高速均匀访问的索引方法 - Google Patents

Abstract

本发明公开了一种内存中海量时间戳型数据高速均匀访问的索引方法，该方法采用哈希表管理多棵T树的索引结构，每棵T树用于存储固定长度时间段内的时间戳型数据，哈希表用于存储T树根节点的位置。该索引方法将海量数据均匀分散存储在多棵T树中，查询数据时，通过哈希算法定位到一棵T树，在该棵T树中进行查询，从而减少了内存访问的次数，提高了数据访问的效率，且使访问时间更均衡。

Description

一种内存中海量时间戳型数据高速均匀访问的索引方法

技术领域

本发明涉及数据存储和管理领域，尤其涉及一种用于实现内存中海量时间戳型数据高速和均匀访问的索引方法。

背景技术

随着操作系统从32位向64位的过渡，其支持的主存大小已经冲破32位时4G的限制，最新的windows7的64位操作系统支持的主存大小已经达到了192G，比现在许多计算机设备的外存还要大，而主存的访问速度比磁盘的访问速度高几个数量级，因此，为了实现数据的实时响应，通常会将海量数据存放在主存中，并建立索引，通过高效的索引机制实现数据的高速和均匀访问。内存中海量数据的索引结构需要考虑两个问题：一是，由于内存资源宝贵，数据索引结构占用的内存空间要尽可能小；二是，索引结构要能实现数据的高速访问，同时保证访问时间均匀。

现有的哈希加1棵T树的索引结构hybrid-HT，实际上是一套数据，两套对应的索引，哈希索引用于点查询，T树索引用于段查询，由于是一套数据两套索引，因此，占用的内存空间相当大；另外，由于只有1棵T树，在数据量大的情况下，T树的层数将很高，查询时间不受控。针对这种索引结构的缺陷，名称为“组态实时数据库索引机制的研究与实现”(作者：张河，中南大学2008年硕士学位论文)的论文提出了一种改进的H-T*算法，该H-T*算法中有多棵T树，每棵T树存储哈希值相同的数据，所有数据存在T树中，哈希只用来存放T树根节点的位置，因此，相对于hybrid-HT算法，H-T*算法占用的内存空间大大减少，但是，该文提出的哈希算法，不能对每棵T树的规模进行限制，这导致最坏的情况下，多棵T树退化为1棵T树，从而导致查询时间长且不均匀。

在另一名称为“海量数据内存数据库中快速定位的网格+T树索引的方法”的中国第200610038378.6号发明专利说明书(公告日2008年9月10日)中，披露了另外一种索引方法，该方法为了实现多关键字的查询，在T树上层建立网格，相当于一个坐标系，坐标系中每个点是一棵T树。该方法的缺点是，在数据趋势不能很好预测的情况下，网格的划分很难合理，这会导致各个网格T树层数不均，差异很大，如此，查询时访问内存的次数就会很多，而且访问时间不均匀。

发明内容

本发明要解决的技术问题是提供一种内存中海量时间戳型数据高速均匀访问的索引方法，它可以减少内存空间的占用，提高数据访问的效率，并能保证访问时间的均衡。

为解决上述技术问题，本发明的内存中海量时间戳型数据高速均匀访问的索引方法，采用了哈希表管理多棵T树的索引结构，T树用于存储时间戳型数据，哈希表用于存储T树根节点的位置。

所述每棵T树中存储的数据是一个固定时间长度的时间段内的数据。

所述哈希表存放在一个数组中，且在该哈希表中按照T树时间戳的顺序存储每棵T树根节点的位置。

所述索引结构在进行数据的插入时，包括以下步骤：

1)计算数据要插入的T树的根节点在数组中的下标；

2)从该棵T树的根节点开始，在该棵T树中查找数据要插入的节点；

3)将数据插入该棵T树。

所述索引结构在进行数据查询时，包括以下步骤：

1)计算要查询数据所在T树的根节点在数组中的下标；

2)从该棵T树的根节点开始，在该棵T树中查询该数据。

所述T树根节点下标的计算公式为：下标＝(数据时间戳-所有T树的最小时间戳)/每棵T树存储数据的时间段长度。

本发明通过哈希加多棵T树的索引结构，将海量数据均匀分散存储在多棵T树中，查询数据时，通过哈希定位到一棵T树，在该T树中进行查询，从而控制了每棵T树的层数，减少了内存空间的占用和数据查询时，访问内存的次数，相较于现有的索引方法，本发明的数据访问效率更高，访问时间也更均衡。

附图说明

图1是本发明实施例的索引结构示意图；

图2是图1中的T树节点的数据结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更清楚明白，以下结合附图和实施例，对本发明做进一步的详细说明：

内存中的数据通常是时间戳型的数据，即每个数据带有一个时间戳，作为数据在内存中存储的Key(关键字)。本发明实施例针对时间戳型数据的特点，设计了哈希加多棵T树的索引结构，每棵T树中存储固定时间长度的时间段(Range)内的数据，在T树上层有一哈希数组(Array)，数组中按照T树时间戳(QueryTime)由小到大的顺序，存储每棵T树根节点(Root)的位置，T树节点的数据结构可参阅图2所示，每个节点中存储数据的Key和指针。

当需要在上述索引结构中插入数据时，首先判断内存空间是否够用，如果不够，则释放时间最早的一棵T树，将数组中的所有内容前移一个下标，然后根据需要插入的数据的时间戳(QueryTime)，通过以下哈希算法获取数据要插入的T树的根节点在数组中对应的下标i：i＝(QueryTime-MinTime)/Range，其中，MinTime为所有T树的最小时间戳，再根据计算得到的下标i，获取该棵T树根节点的位置，并从此根节点开始，在该棵T树中查找数据要插入的节点，将数据插入T树中。如果内存空间够用，则直接按照上述方法计算数据要插入的T树的位置，将数据插入T树。

当需要查询数据时，则根据所需要查询的数据的时间戳，通过前述哈希算法获取对应的T树在数组中的下标，根据计算获得的下标，获取该棵T数根节点的位置，然后从该根节点开始，在该棵T树中查询数据。由于一棵T树的层数很少，规模有限，因此，数据查询时访问内存的次数大大减少，查询效率大大提高，而且查询时间也比较均衡。

以下通过一个具体的实施例，对上述索引方法做进一步的说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。

如图1所示，本实施例设置了5棵T树，每棵T树存储2000秒时间段的数据，即每2000秒对应一棵T树，所有T树的最小时间戳为1000秒，因此，5棵T树分别存储1000～3000、3000～5000、5000～7000、7000～9000、9000～11000秒时间段的数据。每个2000秒时间段有4000条数据，则每棵T树存储4000条纪录，定义T树的每个节点存储一条数据，则根据计算公式：数据个数＝2ⁿ-1，T树的层数n为12。

当要查询时间戳为3753的数据时，根据上述哈希算法，计算出该数据所在T树的根节点的下标i：i＝(3753-1000)/2000＝1，从而得到该棵T树的位置是在3000～5000秒时间段，然后在此T树中查询时间戳为3753的记录。

在数据量更大的情况下，例如，200万条数据，则本发明可以用500棵T树，每棵T树12层，来存储这些数据，在查询数据时，内存的访问次数仍为12次，即访问次数不会随着数据量的增大而增加。而倘若采用现有索引方法中1棵T树的索引结构，则T树的层数需要21层，查询数据时，需要访问内存21次，且随着数据量的增大，访问内存的次数也会相应增加。由此可见，对于大量时间戳型数据的存储和管理(例如，内存实时数据库)，本发明的索引方法明显更具有优势。

Claims (7)

1.一种内存中海量时间戳型数据高速均匀访问的索引方法，其特征在于：采用哈希表管理多棵T树的索引结构，T树用于存储时间戳型数据，哈希表用于存储T树根节点的位置。

2.如权利要求1所述的索引方法，其特征在于：所述T树存储的数据是一个固定时间长度的时间段内的数据。

3.如权利要求2所述的索引方法，其特征在于：所述哈希表存放在一个数组中，且该哈希表按照T树时间戳的顺序存储每棵T树根节点的位置。

4.如权利要求3所述的索引方法，其特征在于，所述索引结构在进行数据的插入时，包括以下步骤：

1)计算数据要插入的T树的根节点在数组中的下标；

2)从该棵T树的根节点开始，在该棵T树中查找数据要插入的节点；

3)将数据插入该棵T树。

5.如权利要求4所述的索引方法，其特征在于，所述步骤1)之前还包括步骤：判断内存空间是否够用，如果不够，则释放数组中的第一棵T树，并将后续T树往前移，然后再进行步骤1)；如果够用，则直接转到步骤1)。

6.如权利要求3所述的索引方法，其特征在于，所述索引结构在进行数据查询时，包括以下步骤：

1)计算要查询数据所在T树的根节点在数组中的下标；

2)从该棵T树的根节点开始，在该棵T树中查询该数据。

7.如权利要求4或6所述的索引方法，其特征在于，所述T树根节点下标的计算公式为：下标＝(数据时间戳-所有T树的最小时间戳)/每棵T树存储数据的时间段长度。

Images