CN102968464B - 一种基于索引的本地资源快速检索系统的检索方法 - Google Patents

Abstract

本发明涉及数据索引和数据缓存技术领域，尤其是涉及一种基于索引的本地资源快速检索系统的检索方法。本发明由资源监控单元对指定资源数据进行监控，判断资源的操作类型；针对资源的变更，索引部分对该资源做增量索引处理，分级更新本地索引数据，同时资源存取接口对变更的资源进行存储处理；针对查询操作，索引部分根据查询条件计算资源的本地索引ID，若有符合结果的资源存在，由资源存取单元根据运算结果的索引直接返回资源。本发明有效解决了传统情况下大量小文件查找速度慢的问题，提升了响应时间，改善了用户的使用体验；可以用于本地资源的检索。

Description

一种基于索引的本地资源快速检索系统的检索方法

技术领域

本发明涉及数据索引和数据缓存技术领域，尤其是涉及一种基于索引的本地资源快速检索系统的检索方法。

背景技术

目前我们已经进入到一个信息飞速增长的时代，每个人几乎每天都在通过各种方式产生大量的数字信息，比如通过移动终端拍摄照片然后同步到个人计算机上，在查看新闻或资料时剪辑感兴趣的文章等，这些信息最后都会以各种文件格式存储在本地系统里。对于这些资源文件，很多是在日常工作或生活中需要反复用到的，可以为平时的工作提供各种素材、资料。

上述的日常工作中储存的资源或信息为人们的日常工作和生活提供了很多帮助；但是，在目前情况下，针对存储在本地系统上的资源，人们还是通过人脑记忆的方式去进行查找，不仅效率低，而且查询速度慢，查询时间长。

针对上述问题，也出现了一些针对本地资源的快速查找的系统，但是大部分都不能做到实时的对资源进行处理；也即新增的资源不能马上被检索到，在资源查询的响应速度和用户体验上还有可提升的空间。

发明内容

本发明解决的技术问题在于提供一种基于索引的本地资源快速检索系统的检索方法，以解决传统大量小文件情况下查找速度慢，响应时间长，造成用户资源处理体验差的问题。

本发明解决上述技术问题的技术方案是：

所述系统包括：

资源监控单元，用于监控对资源的操作；

资源查询单元，用于将查询条件转换成索引计算所需的参数；

索引计算单元，根据资源更改时间、资源内容、资源路径、关键字信息建立或查询索引信息，返回索引ID；

索引存取单元，根据计算出的索引元信息判断索引数据的存储位置通过缓存单元或者持久化单元对索引信息进行存取操作；

资源存取单元，用于操作本地资源，包括资源的更改、通过索引信息获取资源数据；

所述的缓存单元用于对内存中的索引信息进行排序、查找、增量处理操作；

持久化单元用于对非热数据进行存取操作；

所述索引信息还包括其对应资源的本地存储位置，以及时间戳和被查询次数；其特征在于：

由资源监控单元对指定资源数据进行监控，判断资源的操作类型；

针对资源的变更，索引部分对该资源做增量索引处理，分级更新本地索引数据，同时资源存取接口对变更的资源进行存储处理；

针对查询操作，索引部分根据查询条件计算资源的本地索引ID，若有符合结果的资源存在，由资源存取单元根据运算结果的索引直接返回资源；

所述的资源监控单元判断资源的操作类型是对当前操作符与预定义的操作符进行匹配对比；

索引部分对资源做增量索引处理是根据资源最后变更时的时间、资源的本地存储路径和内容信息生成本地索引ID，并将该索引信息进行分级存储处理；

索引部分在检索资源时对所有资源的本地索引ID进行排序处理；

所述的资源内容发生更改后，立刻反映到索引部分里，对其进行重新索引并排序；

按以下步骤进行索引信息的分级处理；

每条索引信息伴随有一个参数，用于记录被查询次数；该参数值最高的一批索引ID信息存放于内存中，属于热数据；其他非热数据被持久化存储到本地磁盘中；

每次查询时对内存中的热数据进行重新排序；

检索资源时本地索引ID预排序遵循以下原则：

排序时根据内存中热数据的索引ID被查询次数的多少；

排序时根据索引ID对应的资源中热门关键字出现的次数的高低；

排序时根据索引ID对应的资源的时间戳的先后。

根据本发明提供的具体实施方式，本发明公开了以下技术成果：

首先，本发明提供了一种基于索引的本地资源处理机制，该方法针对本地资源的特性，根据资源的多种属性综合建立索引信息，针对资源的变更，对该资源的索引信息做增量索引处理，索引部分分级更新本地索引数据；针对查询操作，索引部分根据查询条件计算资源的本地索引ID；若有符合结果的资源存在，由资源存取接口根据运算结果的索引ID查找资源的相关信息，返回资源数据。所述基于索引的本地资源快速处理方法有效提高了资源查询效率，提高了查询响应速度，提升了用户的使用体验。

而且，本发明实施方式还提供了一种基于所述本地资源处理机制的系统，该系统通过对资源进行实时监控，可以即时将资源的变更情况反应到索引部分中，可以进一步提升资源查询响应时间。

其次，在对本地资源更新索引信息时，所述索引存取单元会根据综合条件将资源的索引信息在所述缓存单元和所述持久化单元中进行互换。这种方式对于经常被使用的资源是最有的，通过这种方式能保证热门数据能被用户在最短时间内检索到，从而减少了查询次数，缩短了查询时间。

附图说明

下面结合附图对本发明作进一步说明：

图1是本发明本地资源快速处理流程图；

图2是本发明系统结构图。

具体实施方式

见图1、2所示，所述系统用于监控对本地资源的操作，根据资源建立索引ID，对索引ID按照规则进行排序，对索引信息进行分级存储处理；查询时根据查询条件计算索引ID，并从索引ID中快速获取资源数据；所述系统包括：

资源监控单元，用于监控对资源的操作；

资源查询单元，用于将查询条件转换成索引计算所需的参数；

索引计算单元，根据资源更改时间、资源内容、资源路径、关键字等信息建立或查询索引信息，返回索引ID；

索引存取单元，根据计算出的索引元信息判断索引数据的存储位置通过缓存单元或者持久化单元对索引信息进行存取操作；

资源存取单元，用于操作本地资源，包括资源的更改、通过索引信息获取资源数据等。

所述系统还包括：缓存单元，用于对内存中的索引信息进行排序、查找、增量处理等操作；持久化单元，用于对非热数据进行存取操作。

其中，所述索引信息还包括其对应资源的本地存储位置，以及时间戳和被查询次数。

所述的缓存单元中若缓存中索引信息的相关参数发生变化后，需要对其重新排序，若该索引信息排序超出范围，还需将其通过持久化单元存储到本地磁盘上。

所述的持久化单元中若非热数据项在达到热数据的边界条件值后，需要转移到缓存单元中，以提高查询效率。

前述系统进行检索的方法是：由资源监控程序对指定资源数据进行监控，判断资源的操作类型；

针对资源的变更，索引部分对该资源做增量索引处理，分级更新本地索引数据，同时索引存取接口对变更的资源进行存储处理；

针对查询操作，索引部分根据查询条件计算资源的本地索引ID；

若有符合结果的资源存在，由资源存取接口根据运算结果的索引信息获取资源存储位置，直接返回资源数据。

所述方法还包括：资源监控程序判断资源的操作类型是对当前操作符与预定义的操作符进行匹配对比得出的；索引部分对资源做增量索引处理时，是根据资源最后变更时的时间、资源的本地存储路径和内容等信息生成本地索引ID，并将该索引信息进行分级存储处理；索引部分在检索资源时，对所有资源的本地索引ID是做过排序处理的。

其中，所述监控系统对资源的监控结果是即时生效的，本地资源发生变更后，所述索引部分将对该资源进行重新计算索引信息以及重新排序处理。

所述方法还包括：所述索引部分进行索引排序时，需遵循如下一些规则：检索资源时的本地索引ID预排序遵循以下原则：根据内存中热数据的索引ID被查询次数的多少进行排序；根据索引ID对应的资源中热门关键字出现的次数的高低进行排序；根据索引ID对应的资源的时间戳的先后进行排序。

在本发明实施方式中，本地资源为个人计算机上指定的资源目录，本地资源快速处理系统能够将资源的操作进行快速处理，提升用户的资源检索速度。

图1所示是本发明所述一种在基于索引的本地资源快速处理的步骤流程图。

步骤101，监控系统实施监控资源目录，一旦资源发生变更时立即进行处理。

步骤102，根据资源的操作符判断是对资源进行内容变更还是根据条件进行查询。

步骤103，如果是资源查询操作，需要根据查询条件计算索引ID，返回符合条件的资源的索引ID。

步骤104，索引部分(索引计算单元等)根据索引ID决定索引信息的存储位置，通过索引信息获取资源对应的存储路径。

步骤105，资源存取单元根据存储路径返回资源数据。

步骤106，如果是资源变更操作，需根据资源的时间戳、资源内容、资源路径信息重新生成索引信息，并对该索引进行重新排序处理。

步骤107，索引信息生成后，如果是符合热数据条件的，由缓存单元放置于内存中。

步骤108，若生成的索引信息不是热数据，由持久化单元将该索引信息存储到本地磁盘上。

图2所示是本发明实施方式所述一种实现基于索引的本地资源快速处理的系统结构图，包括资源监控单元201，资源查询单元202，索引计算单元202，索引存取单元204，缓存单元205，持久化单元206以及资源存取单元207。

资源监控单元201用于监控本地资源的即时变化，一旦资源发生变更后，索引计算单元203将重新计算资源的索引信息，索引存取单元204根据索引信息决定将索引信息放入缓存单元205还是持久化单元206中；

资源查询单元202用户处理对资源的查询请求，接收到查询请求后，索引计算单元203根据查询条件到索引信息中进行匹配，返回所有符合条件的索引ID，索引存取单元204根据对应的索引元信息决定是从缓存单元205还是持久化单元206中获取索引信息，资源存取单元207从索引信息中获取资源的本地位置信息，返回给用户所需要的资源数据。

Claims (1)

1.一种基于索引的本地资源快速检索系统的检索方法，所述系统包括：

资源监控单元，用于监控对资源的操作；

资源查询单元，用于将查询条件转换成索引计算所需的参数；

索引计算单元，根据资源更改时间、资源内容、资源路径、关键字信息建立或查询索引信息，返回索引ID；

索引存取单元，根据计算出的索引元信息判断索引数据的存储位置通过缓存单元或者持久化单元对索引信息进行存取操作；

资源存取单元，用于操作本地资源，包括资源的更改、通过索引信息获取资源数据；

所述的缓存单元用于对内存中的索引信息进行排序、查找、增量处理操作；

持久化单元用于对非热数据进行存取操作；

所述索引信息还包括其对应资源的本地存储位置，以及时间戳和被查询次数；其特征在于：

由资源监控单元对指定资源数据进行监控，判断资源的操作类型；

针对资源的变更，索引部分对该资源做增量索引处理，分级更新本地索引数据，同时资源存取接口对变更的资源进行存储处理；

针对查询操作，索引部分根据查询条件计算资源的本地索引ID，若有符合结果的资源存在，由资源存取单元根据运算结果的索引直接返回资源；

所述的资源监控单元判断资源的操作类型是对当前操作符与预定义的操作符进行匹配对比；

索引部分对资源做增量索引处理是根据资源最后变更时的时间、资源的本地存储路径和内容信息生成本地索引ID，并将该索引信息进行分级存储处理；

索引部分在检索资源时对所有资源的本地索引ID进行排序处理；

所述的资源内容发生更改后，立刻反映到索引部分里，对其进行重新索引并排序；

按以下步骤进行索引信息的分级处理：

每条索引信息伴随有一个参数，用于记录被查询次数；该参数值最高的一批索引ID信息存放于内存中，属于热数据；其他非热数据被持久化存储到本地磁盘中；

每次查询时对内存中的热数据进行重新排序；

检索资源时本地索引ID预排序遵循以下原则：

排序时根据内存中热数据的索引ID被查询次数的多少；

排序时根据索引ID对应的资源中热门关键字出现的次数的高低；

排序时根据索引ID对应的资源的时间戳的先后。