CN101551807A - 文件数据库多级索引技术 - Google Patents

Abstract

本发明是一种文件数据库多级索引技术，即InforGuard水印模块采用的水印存取机制。它包括数据存储和数据查询两个步骤，通过建立独立的索引文件并按照HASH算法存储索引，通过两阶段快速定位的多级索引技术，克服传统文件数据库效率低下的弱点，显著提高了文件数据库查询数据的性能。

Description

文件数据库多级索引技术

技术领域

本发明涉及一种文件数据库多级索引技术，即InforGuard水印模块采用的水印存取机制。

背景技术

在功能上，InforGuard为验证网页文件的合法性，必须存储网页文件的原始水印(水印即文件的摘要信息)，以便比对。每个网页都对应自己的水印，水印总数量与网站上网页的总数量成正比，网站规模很大时，就必须存储大量的水印数据。为保证水印存储和查询的高效率，InforGuard产品中设计了一个基于多级索引技术的文件数据库来存储水印信息。

文件数据库区别于各种商业数据库(如Oracle等)，特点是轻便、专用性强，许多产品都会实现自己的文件数据库来存储数据。

目前，在此领域采用的方案为：

存储数据的文件由定长的记录组成，记录是固定结构，包含key和data两部分，key即数据的键信息，而data存储数据内容信息。记录之间紧凑存储。查询记录时，需要遍历整个文件对key进行匹配，找到需要的data。

该方法的特点是实现简单，易于控制，稳定性和可靠性较高。但是查询效率是该项技术使用的主要限制。虽然通过内存缓冲技术(即cache技术)可以提高查询的效率，但是受实际环境的限制，当需要存储大量数据时，仍然很难满足效率上的要求。

发明内容

本发明的目的就是针对上述的不足，提供了一种基于文件数据库的多级索引技术，能够有效提高文件数据库的查询性能，从而扩展文件数据库的可用范围。

多级索引技术，主要采用了以下技术手段：

1.建立独立的索引文件

当在数据文件中存储数据记录(包含key和data)时，将key和该记录的存储偏移值作为索引另存在一个独立的文件中，称为索引文件。当根据key查询数据时，先从索引文件中找到索引，然后再依据其中包含的偏移值，直接从数据文件中定位到目标记录。

2.按照HASH算法存储索引

索引文件中对索引的存储不是按照顺序紧凑的方法，而是通过HASH算法把记录的key转化为数值，作为存储该索引的位置偏移量。任何HASH算法都存在冲突的问题，即不同的key可能会转化出相同的位置偏移量，因此本次索引要存储的位置可能已被以前的索引占据。可以采取最简单的策略解决，即从该冲突位置向后查找第一个空白位置，进行存储。实现时不限于该策略。

根据上述技术，本发明提供的文件数据库多级索引技术包括数据存储和数据查询两个步骤，其中，

数据存储包括如下步骤：

1-1)查找数据文件空白位置存储数据，数据包括键(key)和值(data)两部分，键是查询数据的关键字，将键和值组成名值对结构，作为存储记录，将记录存入数据文件中的空白位置，该位置标记为data_position；

1-2)HASH转换产生索引存储位置，以数据的键(key)为参数，调用HASH函数，转换为一个数值，作为索引存储位置，该位置标记为index_position；

1-3)在索引文件中存储索引，索引包括两部分：，数据的键(key)以及1-1)步中获得的data_position，打开索引文件，以1-2)步产生的index_position为偏移量，将索引存储到该位置；如果该位置已经被占用，则从该位置起向后查找第一个空白位置进行存储；

数据查询包括如下步骤：

2-1)HASH转换计算出索引的存储位置，以数据的键(key)为参数，调用HASH函数，转换结果即为索引存储位置；

2-2)从索引文件取出索引，打开索引文件，从2-1)步获得的存储位置开始，向后逐个匹配key，查找目标索引(多数情况下，首个就是匹配的索引)；

2-3)从数据文件中取出数据，2-2)步获得的索引信息，包含查询数据在数据文件中的存储位置，故打开数据文件，按上述位置直接取出数据。

本发明提供的文件数据库多级索引技术具有如下优点：

1.显著提高查询性能

通过HASH算法，可以从索引文件中快速定位到索引信息，进而通过索引信息直接获得数据的存储位置。因此，相对于传统的文件数据库的遍历查找机制，本机制定位目标数据的速度明显提高。

2.保证数据文件存储空间的利用率

本机制把索引信息和数据信息分开存储。用于存储数据信息的数据文件，仍然按传统方法紧凑存储，因此数据文件的内部空间可以充分利用；用于存储索引信息的索引文件，各索引存储的位置是用HASH函数产生的，虽然不是紧凑存储，中间存在一定的空白记录区，但是索引的长度相对较小，因此空白区的消耗相对不明显。索引文件在存储利用率上付出一定的代价，换取了查询的高效率。

附图说明

图1为本发明实施例中数据存储的流程图；

图2为本发明实施例中数据查询的流程图；

图3为本发明实施例中文件数据库多级索引示意图；

图4为本发明实施例中多级索引文件数据库实施例流程图。

具体实施方式

一种文件数据库多级索引技术，其过程如图3所示，包括数据存储和数据查询两个步骤，其中，

如图1所示，数据存储包括如下步骤：

步骤开始于101：存储过程开始。

然后进入步骤102：查找数据文件空白位置存储数据，数据包括键(key)和值(data)两部分，键是查询数据的关键字，将键和值组成名值对结构，作为存储记录，将记录存入数据文件中的空白位置，该位置标记为data_position。

再进入步骤103：HASH转换产生索引存储位置，以数据的键(key)为参数，调用HASH函数，转换为一个数值，作为索引存储位置，该位置标记为index_position。

然后再进入步骤104：在索引文件中存储索引，索引包括两部分：，数据的键(key)以及步骤102步中获得的data_position，打开索引文件，以步骤103中产生的index_position为偏移量，将索引存储到该位置；如果该位置已经被占用，则从该位置起向后查找第一个空白位置进行存储。

然后为步骤105：存储过程结束。

如图2所示，数据查询包括如下步骤：

步骤开始于201：查询过程开始。

然后进入步骤202：HASH转换计算出索引的存储位置，以数据的键(key)为参数，调用HASH函数，转换结果即为索引存储位置；

然后进入步骤203：从索引文件取出索引，打开索引文件，从步骤202中获得的存储位置开始，向后逐个匹配key，查找目标索引(多数情况下，首个就是匹配的索引)。

然后进入步骤204：从数据文件中取出数据，步骤203获得的索引信息，包含查询数据在数据文件中的存储位置，故打开数据文件，按上述位置直接取出数据。

最后为步骤205：查询过程结束。

为了更清晰的描述上述多级索引文件数据库的实现，如图4所示，以下用一个简单的人员信息数据库为例说明：存储人员名字(key)和地址(data)信息，可以方便的按名字查出他的地址。本例中假定人名不重复。

名字用8字节固定长度存储，地址用128字节固定长度存储，名字和地址组成数据记录，存储到数据文件中，因而数据文件中存储的记录长度是136字节(名字+地址)。

相应的，索引文件中的记录由名字和偏移量组成，偏移量是4字节整数型，因此索引记录长度12字节(名字+偏移量)。

存储“张三”及他的地址“长安街44号”这条信息时，

(1)从数据文件中找到第一个空白记录位置，假定该空白位置相对于数据文件开头的距离是3条记录的长度。偏移以数据记录长度为单位，偏移量标记为3。

(2)打开数据文件，把名字“张三”和地址“长安街44号”组成的数据记录存入第3条记录处。

(3)以名字“张三”和偏移量3，作为索引记录。

(4)以名字“张三”作为参数，调用HASH函数，假定返回值为25，就以25作为索引记录在索引文件中存储的位置。以索引文件开头为基准，向后偏移25条索引记录的长度。如果找到的位置尚未使用，把第(3)步的索引记录直接存储到该位置；如果该位置已经使用，从该位置开始向后顺序找到第一个空白位置，对索引记录进行存储。

查询“张三”的地址信息时，

(1)把名字“张三”作为参数，调用HASH函数，可以得到返回值25，25可以定位索引记录在索引文件中存储的起始位置。

(2)以索引文件开头为基准，向后偏移25条索引记录的长度。偏移后地址不一定就是索引记录的直接存储位置，应当从该位置开始，逐个查找名字是“张三”的索引记录。找到后，取出其中的偏移量，值是3。

(3)打开数据文件，定位数据记录的直接存储地址。由(2)可知，该地址距离数据文件开头3条记录长度。

(4)从第(3)步得到的地址中取出数据记录，该记录的数据部分存储的就是“张三”的地址。

Claims (1)

1.一种文件数据库多级索引技术，其特征在于：包括数据存储和数据查询两个步骤，其中，

数据存储包括如下步骤：

1-1)查找数据文件空白位置存储数据，数据包括键(key)和值(data)两部分，键是查询数据的关键字，将键和值组成名值对结构，作为存储记录，将记录存入数据文件中的空白位置，该位置标记为data_position；

1-2)HASH转换产生索引存储位置，以数据的键(key)为参数，调用HASH函数，转换为一个数值，作为索引存储位置，该位置标记为index_position；

1-3)在索引文件中存储索引，索引包括两部分：数据的键(key)以及1-1)步中获得的data_position，打开索引文件，以1-2)步产生的index_position为偏移量，将索引存储到该位置；如果该位置已经被占用，则从该位置起向后查找第一个空白位置进行存储；

数据查询包括如下步骤：

2-1)HASH转换计算出索引的存储位置，以数据的键(key)为参数，调用HASH函数，转换结果即为索引存储位置；

2-2)从索引文件取出索引，打开索引文件，从2-1)步获得的存储位置开始，向后逐个匹配key，查找目标索引(多数情况下，首个就是匹配的索引)；

2-3)从数据文件中取出数据，2-2)步获得的索引信息，包含查询数据在数据文件中的存储位置，故打开数据文件，按上述位置直接取出数据。

Images