CN102968464A - 一种基于索引的本地资源快速检索系统及其检索方法 - Google Patents
一种基于索引的本地资源快速检索系统及其检索方法 Download PDFInfo
- Publication number
- CN102968464A CN102968464A CN201210445382XA CN201210445382A CN102968464A CN 102968464 A CN102968464 A CN 102968464A CN 201210445382X A CN201210445382X A CN 201210445382XA CN 201210445382 A CN201210445382 A CN 201210445382A CN 102968464 A CN102968464 A CN 102968464A
- Authority
- CN
- China
- Prior art keywords
- resource
- index
- local
- information
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012544 monitoring process Methods 0.000 claims abstract description 20
- 230000008859 change Effects 0.000 claims abstract description 15
- 230000002688 persistence Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 6
- 241001269238 Data Species 0.000 claims description 2
- 230000002085 persistent effect Effects 0.000 claims description 2
- 230000004044 response Effects 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000004075 alteration Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据索引和数据缓存技术领域，尤其是涉及一种基于索引的本地资源快速检索系统及其检索方法。本发明由资源监控单元对指定资源数据进行监控，判断资源的操作类型；针对资源的变更，索引部分对该资源做增量索引处理，分级更新本地索引数据，同时资源存取接口对变更的资源进行存储处理；针对查询操作，索引部分根据查询条件计算资源的本地索引ID，若有符合结果的资源存在，由资源存取单元根据运算结果的索引直接返回资源。本发明有效解决了传统情况下大量小文件查找速度慢的问题，提升了响应时间，改善了用户的使用体验；可以用于本地资源的检索。
Description
技术领域
本发明涉及数据索引和数据缓存技术领域，尤其是涉及一种基于索引的本地资源快速检索系统及其检索方法。
背景技术
目前我们已经进入到一个信息飞速增长的时代，每个人几乎每天都在通过各种方式产生大量的数字信息，比如通过移动终端拍摄照片然后同步到个人计算机上，在查看新闻或资料时剪辑感兴趣的文章等，这些信息最后都会以各种文件格式存储在本地系统里。对于这些资源文件，很多是在日常工作或生活中需要反复用到的，可以为平时的工作提供各种素材、资料。
上述的日常工作中储存的资源或信息为人们的日常工作和生活提供了很多帮助；但是，在目前情况下，针对存储在本地系统上的资源，人们还是通过人脑记忆的方式去进行查找，不仅效率低，而且查询速度慢，查询时间长。
针对上述问题，也出现了一些针对本地资源的快速查找的系统，但是大部分都不能做到实时的对资源进行处理；也即新增的资源不能马上被检索到，在资源查询的响应速度和用户体验上还有可提升的空间。
发明内容
本发明解决的技术问题之一在于提供一种基于索引的本地资源快速检索系统，以解决传统大量小文件情况下查找速度慢，响应时间长，造成用户资源处理体验差的问题。
本发明解决的技术问题之二在于提供一种基于索引的本地资源快速检索方法，以解决传统大量小文件情况下查找速度慢，响应时间长，造成用户资源处理体验差的问题。
本发明解决上述技术问题之一的技术方案是：
所述系统包括：
资源监控单元，用于监控对资源的操作；
资源查询单元，用于将查询条件转换成索引计算所需的参数；
索引计算单元，根据资源更改时间、资源内容、资源路径、关键字等信息建立或查询索引信息，返回索引ID；
索引存取单元，根据计算出的索引元信息判断索引数据的存储位置通过缓存单元或者持久化单元对索引信息进行存取操作；
资源存取单元，用于操作本地资源，包括资源的更改、通过索引信息获取资源数据等。
所述的缓存单元用于对内存中的索引信息进行排序、查找、增量处理等操作。
持久化单元用于对非热数据进行存取操作。
所述索引信息还包括其对应资源的本地存储位置，以及时间戳和被查询次数。
所述索引信息还包括其对应资源的本地存储位置，以及时间戳和被查询次数。
本发明解决上述技术问题之二的技术方案是：
由资源监控单元对指定资源数据进行监控，判断资源的操作类型；
针对资源的变更，索引部分对该资源做增量索引处理，分级更新本地索引数据，同时资源存取接口对变更的资源进行存储处理；
针对查询操作，索引部分根据查询条件计算资源的本地索引ID，若有符合结果的资源存在，由资源存取单元根据运算结果的索引直接返回资源。
所述的资源监控单元判断资源的操作类型是对当前操作符与预定义的操作符进行匹配对比；
索引部分对资源做增量索引处理是根据资源最后变更时的时间、资源的本地存储路径和内容等信息生成本地索引ID，并将该索引信息进行分级存储处理；
索引部分在检索资源时对所有资源的本地索引ID进行排序处理。
所述的资源内容发生更改后，立刻反映到索引部分里，对其进行重新索引并排序。
按以下步骤进行索引信息的分级处理：
每条索引信息伴随有一个参数，用于记录被查询次数；该参数值最高的一批索引ID信息存放于内存中，属于热数据；其他非热数据被持久化存储到本地磁盘中；
每次查询时对内存中的热数据进行重新排序。
检索资源时本地索引ID预排序遵循以下原则：
排序时根据内存中热数据的索引ID被查询次数的多少；
排序时根据索引ID对应的资源中热门关键字出现的次数的高低；
排序时根据索引ID对应的资源的时间戳的先后。
根据本发明提供的具体实施方式，本发明公开了以下技术成果：
首先，本发明提供了一种基于索引的本地资源处理机制，该方法针对本地资源的特性，根据资源的多种属性综合建立索引信息，针对资源的变更，对该资源的索引信息做增量索引处理，索引部分分级更新本地索引数据；针对查询操作，索引部分根据查询条件计算资源的本地索引ID；若有符合结果的资源存在，由资源存取接口根据运算结果的索引ID查找资源的相关信息，返回资源数据。所述基于索引的本地资源快速处理方法有效提高了资源查询效率，提高了查询响应速度，提升了用户的使用体验。
而且，本发明实施方式还提供了一种基于所述本地资源处理机制的系统，该系统通过对资源进行实时监控，可以即时将资源的变更情况反应到索引部分中，可以进一步提升资源查询响应时间。
其次，在对本地资源更新索引信息时，所述索引存取单元会根据综合条件将资源的索引信息在所述缓存单元和所述持久化单元中进行互换。这种方式对于经常被使用的资源是最有的，通过这种方式能保证热门数据能被用户在最短时间内检索到，从而减少了查询次数，缩短了查询时间。
附图说明
下面结合附图对本发明作进一步说明：
图1是本发明本地资源快速处理流程图；
图2是本发明系统结构图。
具体实施方式
见图1、2所示，所述系统用于监控对本地资源的操作，根据资源建立索引ID，对索引ID按照规则进行排序，对索引信息进行分级存储处理；查询时根据查询条件计算索引ID，并从索引ID中快速获取资源数据；所述系统包括：
资源监控单元，用于监控对资源的操作；
资源查询单元，用于将查询条件转换成索引计算所需的参数；
索引计算单元，根据资源更改时间、资源内容、资源路径、关键字等信息建立或查询索引信息，返回索引ID；
索引存取单元，根据计算出的索引元信息判断索引数据的存储位置通过缓存单元或者持久化单元对索引信息进行存取操作；
资源存取单元，用于操作本地资源，包括资源的更改、通过索引信息获取资源数据等。
所述系统还包括：缓存单元，用于对内存中的索引信息进行排序、查找、增量处理等操作；持久化单元，用于对非热数据进行存取操作。
其中，所述索引信息还包括其对应资源的本地存储位置，以及时间戳和被查询次数。
所述的缓存单元中若缓存中索引信息的相关参数发生变化后，需要对其重新排序，若该索引信息排序超出范围，还需将其通过持久化单元存储到本地磁盘上。
所述的持久化单元中若非热数据项在达到热数据的边界条件值后，需要转移到缓存单元中，以提高查询效率。
前述系统进行检索的方法是：由资源监控程序对指定资源数据进行监控，判断资源的操作类型；
针对资源的变更，索引部分对该资源做增量索引处理，分级更新本地索引数据，同时索引存取接口对变更的资源进行存储处理；
针对查询操作，索引部分根据查询条件计算资源的本地索引ID；
若有符合结果的资源存在，由资源存取接口根据运算结果的索引信息获取资源存储位置，直接返回资源数据。
所述方法还包括：资源监控程序判断资源的操作类型是对当前操作符与预定义的操作符进行匹配对比得出的；索引部分对资源做增量索引处理时，是根据资源最后变更时的时间、资源的本地存储路径和内容等信息生成本地索引ID，并将该索引信息进行分级存储处理；索引部分在检索资源时，对所有资源的本地索引ID是做过排序处理的。
其中，所述监控系统对资源的监控结果是即时生效的，本地资源发生变更后，所述索引部分将对该资源进行重新计算索引信息以及重新排序处理。
所述方法还包括：所述索引部分进行索引排序时，需遵循如下一些规则：检索资源时的本地索引ID预排序遵循以下原则：根据内存中热数据的索引ID被查询次数的多少进行排序；根据索引ID对应的资源中热门关键字出现的次数的高低进行排序；根据索引ID对应的资源的时间戳的先后进行排序。
在本发明实施方式中，本地资源为个人计算机上指定的资源目录，本地资源快速处理系统能够将资源的操作进行快速处理，提升用户的资源检索速度。
图1所示是本发明所述一种在基于索引的本地资源快速处理的步骤流程图。
步骤101，监控系统实施监控资源目录，一旦资源发生变更时立即进行处理。
步骤102，根据资源的操作符判断是对资源进行内容变更还是根据条件进行查询。
步骤103，如果是资源查询操作，需要根据查询条件计算索引ID，返回符合条件的资源的索引ID。
步骤104，索引部分（索引计算单元等）根据索引ID决定索引信息的存储位置，通过索引信息获取资源对应的存储路径。
步骤105，资源存取单元根据存储路径返回资源数据。
步骤106，如果是资源变更操作，需根据资源的时间戳、资源内容、资源路径信息重新生成索引信息，并对该索引进行重新排序处理。
步骤107，索引信息生成后，如果是符合热数据条件的，由缓存单元放置于内存中。
步骤108，若生成的索引信息不是热数据，由持久化单元将该索引信息存储到本地磁盘上。
图2所示是本发明实施方式所述一种实现基于索引的本地资源快速处理的系统结构图，包括资源监控单元201，资源查询单元202，索引计算单元203，索引存取单元204，缓存单元205，持久化单元206以及资源存取单元207。
资源监控单元201用于监控本地资源的即时变化，一旦资源发生变更后，索引计算单元203将重新计算资源的索引信息，索引存取单元204根据索引信息决定将索引信息放入缓存单元205还是持久化单元206中；
资源查询单元202用户处理对资源的查询请求，接收到查询请求后，索引计算单元203根据查询条件到索引信息中进行匹配，返回所有符合条件的索引ID，索引存取单元204根据对应的索引元信息决定是从缓存单元205还是持久化单元206中获取索引信息，资源存取单元207从索引信息中获取资源的本地位置信息，返回给用户所需要的资源数据。
Claims (11)
1.一种基于索引的本地资源快速检索系统，其特征在于：所述系统包括：
资源监控单元，用于监控对资源的操作；
资源查询单元，用于将查询条件转换成索引计算所需的参数；
索引计算单元，根据资源更改时间、资源内容、资源路径、关键字等信息建立或查询索引信息，返回索引ID；
索引存取单元，根据计算出的索引元信息判断索引数据的存储位置通过缓存单元或者持久化单元对索引信息进行存取操作；
资源存取单元，用于操作本地资源，包括资源的更改、通过索引信息获取资源数据等。
2.根据权利要求1所述的本地资源快速检索系统，其特征在于：所述的缓存单元用于对内存中的索引信息进行排序、查找、增量处理等操作。
3.根据权利要求1或2所述的本地资源快速检索系统，其特征在于：持久化单元用于对非热数据进行存取操作。
4.根据权利要求1或2所述的本地资源快速检索系统，其特征在于：所述索引信息还包括其对应资源的本地存储位置，以及时间戳和被查询次数。
5.根据权利要求3所述的本地资源快速检索系统，其特征在于：所述索引信息还包括其对应资源的本地存储位置，以及时间戳和被查询次数。
6.权利要求1-6任一项本地资源快速检索系统的检索方法，其特征在于：
由资源监控单元对指定资源数据进行监控，判断资源的操作类型；
针对资源的变更，索引部分对该资源做增量索引处理，分级更新本地索引数据，同时资源存取接口对变更的资源进行存储处理；
针对查询操作，索引部分根据查询条件计算资源的本地索引ID，若有符合结果的资源存在，由资源存取单元根据运算结果的索引直接返回资源。
7.根据权利要求6所述的检索方法，其特征在于：所述的资源监控单元判断资源的操作类型是对当前操作符与预定义的操作符进行匹配对比；
索引部分对资源做增量索引处理是根据资源最后变更时的时间、资源的本地存储路径和内容等信息生成本地索引ID，并将该索引信息进行分级存储处理；
索引部分在检索资源时对所有资源的本地索引ID进行排序处理。
8.根据权利要求6所述的检索方法，其特征在于：所述的资源内容发生更改后，立刻反映到索引部分里，对其进行重新索引并排序。
9.根据权利要求7所述的检索方法，其特征在于：所述的资源内容发生更改后，立刻反映到索引部分里，对其进行重新索引并排序。
10.根据权利要求7或9所述的检索方法，其特征在于：按以下步骤进行索引信息的分级处理：
每条索引信息伴随有一个参数，用于记录被查询次数；该参数值最高的一批索引ID信息存放于内存中，属于热数据；其他非热数据被持久化存储到本地磁盘中；
每次查询时对内存中的热数据进行重新排序。
11.根据权利要求7或9所述的检索方法，其特征在于：检索资源时本地索引ID预排序遵循以下原则：
排序时根据内存中热数据的索引ID被查询次数的多少；
排序时根据索引ID对应的资源中热门关键字出现的次数的高低；
排序时根据索引ID对应的资源的时间戳的先后。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210445382.XA CN102968464B (zh) | 2012-11-08 | 2012-11-08 | 一种基于索引的本地资源快速检索系统的检索方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210445382.XA CN102968464B (zh) | 2012-11-08 | 2012-11-08 | 一种基于索引的本地资源快速检索系统的检索方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102968464A true CN102968464A (zh) | 2013-03-13 |
| CN102968464B CN102968464B (zh) | 2016-07-13 |
Family
ID=47798602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210445382.XA Active CN102968464B (zh) | 2012-11-08 | 2012-11-08 | 一种基于索引的本地资源快速检索系统的检索方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102968464B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103425802A (zh) * | 2013-09-10 | 2013-12-04 | 北京信息科技大学 | 一种磁盘文件的快速检索方法 |
| CN104301234A (zh) * | 2013-07-16 | 2015-01-21 | 腾讯科技（深圳）有限公司 | 一种路由方法和装置 |
| CN104615594A (zh) * | 2013-11-01 | 2015-05-13 | 阿里巴巴集团控股有限公司 | 一种数据更新方法及装置 |
| WO2017005059A1 (zh) * | 2015-07-08 | 2017-01-12 | 腾讯科技（深圳）有限公司 | 音频指纹匹配查询的方法、装置及存储介质 |
| CN111427910A (zh) * | 2020-03-20 | 2020-07-17 | 北京百度网讯科技有限公司 | 数据处理方法及装置 |
| CN111552666A (zh) * | 2020-03-23 | 2020-08-18 | 苏州沁游网络科技有限公司 | 一种资源获取方法、装置、设备及存储介质 |
| CN111858654A (zh) * | 2020-07-21 | 2020-10-30 | 威讯柏睿数据科技(北京)有限公司 | 一种基于内存计算的数据查询加速方法和设备 |
| CN112486979A (zh) * | 2019-09-12 | 2021-03-12 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置和系统、电子设备以及计算机可读存储介质 |
| CN114490917A (zh) * | 2020-11-11 | 2022-05-13 | 北京神州泰岳软件股份有限公司 | 一种全文检索功能的实现方法、装置与电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101187901A (zh) * | 2007-12-20 | 2008-05-28 | 康佳集团股份有限公司 | 一种实现文件访问的高速缓存系统和方法 |
| CN101944134A (zh) * | 2010-10-18 | 2011-01-12 | 江苏大学 | 一种海量存储系统的元数据服务器和元数据索引方法 |
| CN102023991A (zh) * | 2009-09-21 | 2011-04-20 | 中兴通讯股份有限公司 | 在终端上更新索引并基于其对搜索结果排序的方法及装置 |
-
2012
- 2012-11-08 CN CN201210445382.XA patent/CN102968464B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101187901A (zh) * | 2007-12-20 | 2008-05-28 | 康佳集团股份有限公司 | 一种实现文件访问的高速缓存系统和方法 |
| CN102023991A (zh) * | 2009-09-21 | 2011-04-20 | 中兴通讯股份有限公司 | 在终端上更新索引并基于其对搜索结果排序的方法及装置 |
| CN101944134A (zh) * | 2010-10-18 | 2011-01-12 | 江苏大学 | 一种海量存储系统的元数据服务器和元数据索引方法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104301234A (zh) * | 2013-07-16 | 2015-01-21 | 腾讯科技（深圳）有限公司 | 一种路由方法和装置 |
| CN103425802A (zh) * | 2013-09-10 | 2013-12-04 | 北京信息科技大学 | 一种磁盘文件的快速检索方法 |
| CN104615594A (zh) * | 2013-11-01 | 2015-05-13 | 阿里巴巴集团控股有限公司 | 一种数据更新方法及装置 |
| CN104615594B (zh) * | 2013-11-01 | 2018-04-03 | 阿里巴巴集团控股有限公司 | 一种数据更新方法及装置 |
| WO2017005059A1 (zh) * | 2015-07-08 | 2017-01-12 | 腾讯科技（深圳）有限公司 | 音频指纹匹配查询的方法、装置及存储介质 |
| CN112486979A (zh) * | 2019-09-12 | 2021-03-12 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置和系统、电子设备以及计算机可读存储介质 |
| CN112486979B (zh) * | 2019-09-12 | 2023-12-22 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置和系统、电子设备以及计算机可读存储介质 |
| CN111427910A (zh) * | 2020-03-20 | 2020-07-17 | 北京百度网讯科技有限公司 | 数据处理方法及装置 |
| CN111552666A (zh) * | 2020-03-23 | 2020-08-18 | 苏州沁游网络科技有限公司 | 一种资源获取方法、装置、设备及存储介质 |
| CN111858654A (zh) * | 2020-07-21 | 2020-10-30 | 威讯柏睿数据科技(北京)有限公司 | 一种基于内存计算的数据查询加速方法和设备 |
| CN114490917A (zh) * | 2020-11-11 | 2022-05-13 | 北京神州泰岳软件股份有限公司 | 一种全文检索功能的实现方法、装置与电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102968464B (zh) | 2016-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102968464A (zh) | 一种基于索引的本地资源快速检索系统及其检索方法 | |
| US7689574B2 (en) | Index and method for extending and querying index | |
| CN103020204B (zh) | 一种对分布式顺序表进行多维区间查询的方法及其系统 | |
| US8706748B2 (en) | Methods for enhancing digital search query techniques based on task-oriented user activity | |
| CN104424258B (zh) | 多维数据查询的方法、查询服务器、列存储服务器及系统 | |
| CN110291518A (zh) | 合并树无用单元指标 | |
| CN110268394A (zh) | Kvs树 | |
| CN110268399A (zh) | 用于维护操作的合并树修改 | |
| CN110383261A (zh) | 用于多流存储装置的流选择 | |
| CN107783985B (zh) | 一种分布式数据库查询方法、装置及管理系统 | |
| CN104408163B (zh) | 一种数据分级存储方法和装置 | |
| CN110472004B (zh) | 一种科技情报数据多级缓存管理的方法及系统 | |
| US9424202B2 (en) | Database search facility | |
| CN102346751B (zh) | 一种信息推送方法及设备 | |
| CN108509437A (zh) | 一种ElasticSearch查询加速方法 | |
| KR20160053933A (ko) | 스마트 검색 정제 기법 | |
| CN117725283B (zh) | 一种基于大数据的档案数据存储系统 | |
| CN108241725B (zh) | 一种数据热度统计系统和方法 | |
| CN104636502A (zh) | 一种查询系统的数据加速查询方法 | |
| CN103020322A (zh) | 查询方法 | |
| CN103092997A (zh) | 用于报表分析的联动查询系统和联动查询方法 | |
| CN104978324A (zh) | 一种数据处理方法和装置 | |
| CN103793439A (zh) | 一种实时检索信息获取方法、装置及服务器 | |
| CN110858210B (zh) | 数据查询方法及装置 | |
| JP2022137281A (ja) | データ照会方法、装置、電子デバイス、記憶媒体、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |