CN101989301A

CN101989301A - 一种支持多数据源的索引维护方法

Info

Publication number: CN101989301A
Application number: CN 201010515780
Authority: CN
Inventors: 曾剑平; 吴承荣
Original assignee: Fudan University
Current assignee: Fudan University
Priority date: 2010-10-22
Filing date: 2010-10-22
Publication date: 2011-03-23
Anticipated expiration: 2030-10-22
Also published as: CN101989301B

Abstract

本发明属于搜索引擎技术领域，具体涉及一种支持多数据源的索引维护方法。本发明将整个索引库分为一系列子索引库，每个子索引库存储一定时间粒度内的索引，子索引库包含一个独立的目录及相关文件。操作步骤分为三个流程：子索引库的数据加载、子索引库的合并、用户检索请求的处理。本发明通过设置子索引库，便于实现索引的实时更新；通过设置合适的索引合并检测周期，实现具有不同时间粒度的子索引库互相共存；将用户限定时间范围的检索请求映射到子索引库上，索引的更新可以在独立的子索引库中进行而不影响用户的检索请求，从而保证响应时间满足用户要求。

Description

一种支持多数据源的索引维护方法

技术领域

本发明属于搜索引擎技术领域，具体涉及一种索引库更新维护方法。

背景技术

企业信息化产生了大量的原始信息或加工信息，如各种文本信息、多媒体信息等。这些信息中包含了用户感兴趣的各种内容，需要对这些信息进行有效存储与检索。这种信息检索系统的主要特点：一是，数据来源多，当原始信息产生之后，要求能够尽快地进入检索系统，并能够被检索；二是，用户对信息检索的响应时间有更高的要求，特别地索引库的更新过程不能对用户检索的响应时间产生影响。三是，不同类型企业用户在检索过程中，可能对检索的时间范围有一定区别，有的要求对刚产生的数据能够进行即时查询，而有的要求能够查询历史上某个时间段的数据。

现有的搜索引擎研究在海量信息处理、体系结构等方面已经有了很大的进展，如google公司发明的Bigtable等一系列技术[1]，有效地解决了海量信息的分布式存储与索引中的主要问题，为上层应用提供了统一的数据接口。在企业级的文本信息存储与检索技术方面，为了适应企业用户对检索响应时间的要求，人们提出了多种匹配算法、索引库的组织方法以及软件体系结构设计方法等。其中，索引库的组织及其维护方法由于对检索性能有较大的影响，而成为搜索引擎设计的关键。归纳起来，主要有以下几类方法：一是，针对集中式环境下的索引结构，主要是基于倒排索引结构及其改进方法[2]。二是，针对分布式环境下的索引结构，在倒排结构的基础上，对索引建立算法进行了分布式处理的增强[3，4]。

这些方法在海量信息的存储、索引管理以及提高检索系统性能方面，起了关键作用。随着用户对检索系统性能要求的不断提高，人们需要在索引库实时维护机制方面提出新的方法，以便在大量的索引库中快速定位与选择某次检索所需要的索引库片断，避免在大索引库中检索记录，同时避免索引库更新过程对用户检索所造成的影响，进一步缩短用户检索的响应时间。而现有各种方法在解决这些需求时尚存在一定的不足，具体说明如下：

1．对多个数据源上的数据同时建立索引时，现有方法由于需要进行索引库的不断更新，而造成建立索引时产生延迟，从而影响用户即时检索的需要。

2．由于索引的更新在一个大的索引库上进行，因此，在更新期间容易发生用户检索无法进行的现象，或检索请求的处理过程变慢。

3．面对用户在检索过程中对时间范围的限定，现有方法实际上还是在大的索引库中进行，因此，检索效率的提升是很有限的。

由此可见，为了实现对多数据源进行索引创建，同时保证用户检索的响应时间不受影响，需要引入新的索引库并发实时更新维护机制，才能有效克服目前存在的问题并满足企业用户需要。本发明的目的就是设计这样的索引库更新维护机制。

发明内容

本发明的目的主要是针对搜索引擎性能进一步改善的需要，提出一种新的索引库维护方法。

本发明基于对多个数据源同时建立索引的性能需求而提出一种索引库维护方法。本发明针对索引服务器中索引库的组织方式、更新方法及检索过程，将整个索引库分为一系列子索引库，每个子索引库存储一定时间粒度内的索引，子索引库包含一个独立的目录及相关文件。本发明的总体流程如图1。操作步骤分为三个流程，具体如下：

一．子索引库的数据加载

（1）生成新的子索引库，并按照一定的命名方式对该子索引库进行标识；

（2）对该子索引库进行加锁；

（3）按照建立索引结构的算法[5, 6]创建数据对应的索引文件，实现数据加载；

（4）子索引库解锁；

（5）通知索引服务器上的检索请求处理进程，将该子索引库标识为可用库。

二．子索引库的合并

（1）按照一定的时间间隔选择需要合并的子索引库；

（2）生成新的子索引库，并按照一定命名方式对该子索引库进行标识；

（3）对该子索引库进行加锁；

（4）按照与索引结构相对应的索引合并算法[5, 6]将所选择的子索引库合并，写入到新的子索引库；

（5）子索引库解锁；

（6）通知索引服务器上的检索请求处理进程，将所选择的子索引库标识为不可用，而将新的子索引库标识为可用。

三．用户检索请求的处理

（1）从接收到的用户检索请求命令中，提取指定的时间范围；

（2）根据该时间范围，选择符合时间条件的子索引库，作为处理当前检索命令的索引库；

（3）执行检索过程，并返回结果。

支持多数据源的索引维护方法，其特征在于：对子索引库具有如下的标识：DATE1-DATE2，其中DATE1与DATE2分别表示索引库中所包含的数据文件的最早与最迟的生成时间，格式均为yyyyYYDDHHMMSS，yyyy表示年份，YY表示月份，DD表示日，HH表示小时数，MM表示分钟，SS表示秒数。

本发明的支持多数据源的索引维护方法，索引合并具有灵活的时间粒度，即由G1、G2和G3表示不同时间粒度，对应的子索引库具有如下特点：

SUB_SET1 ={s_i | DATE2- DATE1>G1}

SUB_SET2 ={s_i | DATE2- DATE1>G2}

SUB_SET3 ={s_i | DATE2- DATE1>G3}

其中，G1>G2>G3。

本发明的支持多数据源的索引维护方法，用户的检索请求在合适的时间范围子索引库中进行；针对检索请求所限定的查询时间范围[t1, t2]，根据以下选择方法选择用于本次查询的可用子索引列表：

t1<=DATE1<=t2或t1<=DATE2<=t2，其中DATE1和DATE2为各个子索引库的标识。

本发明的支持多数据源的索引维护方法，子索引库的数据加载过程中，通过产生加锁文件的方式来避免合并进程对正在加载的子索引库进行合并，也避免正在加载的子索引库被用户检索处理进程选择为检索范围。

本发明的支持多数据源的索引维护方法，子索引库合并过程中，通过产生加锁文件的方式来避免正在生成的新子索引库被用户检索请求处理进程选择为检索范围。

本发明具有实质性特点和显著进步：（1）通过设置子索引库，需要为不同数据源建立索引时，只需要在各自的子索引库中进行，而不互相影响，因此能够实现索引的实时更新。（2）通过设置合适的索引合并检测周期，可以实现具有不同时间粒度的子索引库互相共存，为索引库的组织提供了一种新的思路。（3）用户限定时间范围的检索请求可以方便地映射到子索引库上，索引的更新在独立的子索引库中进行而不影响用户的检索请求，从而保证响应时间满足用户要求，提高检索效率。

附图说明

图1为本发明总体流程图。

图2为数据加载处理流程图。

图3为子索引库合并处理流程图。

图4为用户检索请求处理流程图。

具体实施方式

在索引服务器上维护三个进程，分别是子索引库的数据加载、子索引库的合并、用户检索请求的处理。图2、图3、图4为本发明流程图示。

索引库是一个独立目录，其中所包含的子目录为子索引库，每个子索引库中的具体文件根据不同的索引组织形式而有所不同。

1、子索引库的数据加载进程

索引服务器设定一个目录用于接收新数据文件，按照以下处理流程执行：

（1）检查该目录是否有新的数据文件达到。

（2）如果没有新的数据文件，则转（1）。

（3）如果有新的数据文件，则执行以下处理流程：

（a）在索引库中建立相应的子目录，将目录名称命名为：DATE1-DATE2，其中DATE1与DATE2分别表示数据文件集中文件最早与最迟的生成时间，格式均为yyyyYYDDHHMMSS，yyyy表示年份，YY表示月份，DD表示日，HH表示小时，MM表示分钟，SS表示秒；

（b）在该子目录中生成lock文件，表示该子索引库处于加锁状态；

（c）按照创建索引的算法（具体的算法在本发明中没有限制，可选用目前任何已有的算法，如倒排索引创建算法[5，6]等），为数据文件中的数据建立索引，在该子索引库中生成索引文件；

（d）删除lock文件，表示该子索引库处于解锁状态；

（e）通知用户检索请求处理进程，将该子索引标识为可用。

（4）转本进程的流程（1）继续执行，直到用户终止该进程的运行。

2、子索引库的合并进程

索引服务器设定一个时间间隔T，子索引库的合并进程每过这个时间间隔，就按照一定策略将子索引库合并：

（1）在时间间隔达到时，分别选择未加锁的，同时满足下面条件的子索引库集合：

SUB_SET1 ={s_i | DATE2- DATE1>G1}

SUB_SET2 ={s_i | DATE2- DATE1>G2}

SUB_SET3 ={s_i | DATE2- DATE1>G3}

其中，G1>G2>G3。G1，G2，G3代表不同的时间粒度。

（2）对所选择的子索引库集分别按照以下处理流程执行：

（a）在索引库中建立相应的子目录，将目录名称命名为：DATE1-DATE2，其中DATE1与DATE2分别表示子索引库集中各个子索引库的最早与最迟时间标识；

（c）按照索引算法相对应的索引合并算法（具体的算法在本发明中没有限制，可选用目前任何已有的算法，如针对倒排索引结构的合并算法[5，6]等），将所选择的所有子索引库合并，并写入到新的子索引库中；

（d）删除lock文件，表示该子索引库处于解锁状态；

（e）通知用户检索请求处理进程，将所选择的子索引库标识为不可用，而将新生成的子索引库标识为可用；

（f）删除子索引库集中的各个子索引库。

（3）转本进程的流程（1）继续执行，直到用户终止该进程的运行。

3、用户检索请求处理进程

当产生新的用户检索请求时，该进程开始按照下面的流程执行：

（1）从检索请求串中提取检索所限定的查询时间范围[t1, t2]；

（2）根据时间范围，选择用于本次查询的可用子索引列表，方法如下：

（3）根据所选择的所有符合条件的子索引，构造索引结构，提取符合条件的记录，并返回给用户。

从上述实施过程可以看出，本发明将索引库按照时间粒度划分子索引库，而子索引库的维护过程由数据加载、索引合并两个进程组成。数据加载过程中仍然可以保证对用户检索的连续请求，大索引合并处理期间不会对检索过程的响应时间造成影响。用户的时间范围检索可以定位到合理的子索引库，避免在大索引库中检索记录。本发明所提出的索引库维护方式为各种搜索引擎设计提供了新的思路与参考方法。

具体例子：在一台计算机上部署索引服务器，实现子索引库的数据加载、子索引库合并以及用户检索请求处理等算法。设定接收数据文件的目录为：c:\receive_data；索引库对应的目录为c:\index，数据加载进程在该子目录下生成子索引库，如：c:\index\20101010092500-20101010093000。设定合并的时间间隔T=300，即5分钟。设定G1=3600*24，G2=3600*3，G3=3600，分别表示建立一天的索引库、三小时的索引库和一小时的索引库。

参考文献：

[1] Fay Chang, Jeffrey Dean, Sanjay Ghemawat, Wilson C. Hsieh, Deborah A. Wallach, Mike Burrows, Tushar Chandra, Andrew Fikes, Robert E. Gruber. Bigtable: A Distributed Storage System for Structured Data. ACM Transactions on Computer Systems, 2008, 26(2), article 4

[2] 王智强, 刘建毅. 一种实时更新索引结构的设计与实现. 计算机系统应用, 2005,(10):79-82.

[3] 彭　波,李晓明. 搜索引擎倒排文件的一种分块组织技术. 电子学报, 2005,33(2):358-362

[4] 印鉴，邹胜. 一种分布式搜索引擎设计. 计算机科学， 2001,28(10):74-77.

[5] Goetz B. The Lucene search engine: Powerful, flexible, free. http://www.javaworld.com/javaworld/jw-09-2000/jw-0915-lucene.html.

[6] 贾崇, 陆玉昌, 鲁明羽. 一种支持高效检索的即时更新倒排索引方法. 计算机工程与应用, 2003,19:198-201.。

Claims

1.一种支持多数据源的索引维护方法，其特征在于整个索引库分为一系列子索引库，每个子索引库存储一定时间粒度内的索引，子索引库包含一个独立的目录及相关文件；具体步骤包括以下3个处理流程：

一．子索引库的数据加载

（2）对该子索引库进行加锁；

（3）按照建立索引结构的算法创建数据对应的索引文件，实现数据加载；

（4）子索引库解锁；

（5）通知索引服务器上的检索请求处理进程，将该子索引库标识为可用库；

二．子索引库的合并

（1）按照一定的时间间隔选择需要合并的子索引库；

（3）对该子索引库进行加锁；

（4）按照与索引结构相对应的索引合并算法将所选择的子索引库合并，写入到新的子索引库；

（5）子索引库解锁；

（6）通知索引服务器上的检索请求处理进程，将所选择的子索引库标识为不可用，而将新的子索引库标识为可用；

三．用户检索请求的处理

（2）根据该时间范围，选择符合时间条件的子索引库，作为处理当前检索命令的索引；

（3）执行检索过程，并返回结果。

2.如权利要求1所述的支持多数据源的索引维护方法，其特征在于：对子索引库具有如下的标识：DATE1-DATE2，其中DATE1与DATE2分别表示索引库中所包含的数据文件的最早与最迟的生成时间，格式均为yyyyYYDDHHMMSS，yyyy表示年份，YY表示月份，DD表示日，HH表示小时数，MM表示分钟，SS表示秒数。

3.如权利要求2所述的支持多数据源的索引维护方法，其特征在于：索引合并具有灵活的时间粒度，即由G1、G2和G3表示不同时间粒度，对应的子索引库具有如下特点：

SUB_SET1 ={s_i | DATE2- DATE1>G1}

SUB_SET2 ={s_i | DATE2- DATE1>G2}

SUB_SET3 ={s_i | DATE2- DATE1>G3}

其中，G1>G2>G3。

4.如权利要求3所述的支持多数据源的索引维护方法，其特征在于：用户的检索请求在合适的时间范围子索引库中进行；针对检索请求所限定的查询时间范围[t1, t2]，根据以下选择方法选择用于本次查询的可用子索引列表：

5.如权利要求1所述的支持多数据源的索引维护方法，其特征在于：子索引库的数据加载过程中，通过产生加锁文件的方式来避免合并进程对正在加载的子索引库进行合并，也避免正在加载的子索引库被用户检索处理进程选择为检索范围。

6.如权利要求1所述的支持多数据源的索引维护方法，其特征在于：子索引库合并过程中，通过产生加锁文件的方式来避免正在生成的新子索引库被用户检索请求处理进程选择为检索范围。