CN103810246B - 一种索引创建方法和装置以及索引查询方法和装置 - Google Patents

一种索引创建方法和装置以及索引查询方法和装置 Download PDF

Info

Publication number
CN103810246B
CN103810246B CN201310741563.1A CN201310741563A CN103810246B CN 103810246 B CN103810246 B CN 103810246B CN 201310741563 A CN201310741563 A CN 201310741563A CN 103810246 B CN103810246 B CN 103810246B
Authority
CN
China
Prior art keywords
index
offset information
file
mark
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310741563.1A
Other languages
English (en)
Other versions
CN103810246A (zh
Inventor
刘勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Topsec Technology Co Ltd
Beijing Topsec Network Security Technology Co Ltd
Beijing Topsec Software Co Ltd
Original Assignee
Beijing Topsec Technology Co Ltd
Beijing Topsec Network Security Technology Co Ltd
Beijing Topsec Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Topsec Technology Co Ltd, Beijing Topsec Network Security Technology Co Ltd, Beijing Topsec Software Co Ltd filed Critical Beijing Topsec Technology Co Ltd
Priority to CN201310741563.1A priority Critical patent/CN103810246B/zh
Publication of CN103810246A publication Critical patent/CN103810246A/zh
Application granted granted Critical
Publication of CN103810246B publication Critical patent/CN103810246B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出了一种索引创建方法和装置以及索引查询方法和装置。其中所述索引创建方法包括：a）查找索引对象在第一索引文件中的第一位置并读取存储在该第一位置处的偏移信息；b）将所述索引对象所对应的数据块的标识与所述偏移信息一起存储在第二索引文件中的第二位置处；c）读取该第二位置在所述第二索引文件中的偏移值并使用该偏移值更新所述第一位置处的所述偏移信息。由此，本发明解决了现有技术中存在的扩展性问题、索引创建速度问题、索引查询效率问题，实现了良好的技术效果。

Description

一种索引创建方法和装置以及索引查询方法和装置
技术领域
本发明涉及数据索引领域，尤其涉及基于文件存储数据的索引创建和索引查询。
背景技术
随着信息化的发展，信息量不断增加，在进行应用系统开发时，数据存储与查询将是系统开发经常要遇到的一个问题。常见的使用数据库进行数据存储，越来越难适应海量数据的高速存储要求，一种解决方法是采用文件存储数据。文件存储在数据写入性能方面较数据库有较大的性能优势，但是在对基于文件存储的数据进行查询时，由于文件存储结构、实现技术等各方面因素影响，查询性能也都不尽如人意。提高基于文件存储数据的查询性能，将对文件存储技术及其相关的应用带来很大影响。
为提高基于文件存储数据的查询效率，一种解决方法是对查询数据创建索引，但是由于文件存储本身的一些特性，使得实现基于文件存储数据的索引创建并不是很容易实现的事情：（1）基于文件存储的数据存储技术，多是应用系统开发者根据系统开发需要定义的存储结构，不同的应用系统，其数据存储文件的结构也可能不同。对于这些不同的文件存储结构，需要一种通用的索引创建技术来创建索引；（2）对于实时性要求很高、数据量很大的的文件存储系统，为尽快反应当前数据存储情况，需要能实时地对数据创建索引。
为基于文件存储数据的创建索引，索引创建技术需要支持不同文件存储结构的数据，需要能有实时创建索引的机制，而这两点在现有索引创建技术中都比较缺乏。
虽然现有索引创建技术，能在一定程度上解决基于文件存储数据的查询性能问题，但也存在一些问题：
可扩展性不强，对原始存储文件格式要求严格，索引文件中记录的多是索引对象在原始文件中的偏移，如果原始文件存储有变化，则需要重新创建索引；也无法实现实时索引创建；
索引创建缓慢，同一对象有多个索引信息时，需要在索引文件中对这些索引信息进行检索、合并操作；
中间索引（即查询不是从索引的第一页开始，从中间某页开始）检索速度较慢，需要将索引对象对应的索引信息全部读取，这种方式还会进行多次磁盘IO操作，耗费系统资源；
发明内容
针对现有技术中存在的上述问题，本发明分别提出了一种索引创建方法和装置以及索引查询方法和装置。
本发明提出了一种索引创建方法，该方法包括：a）查找索引对象在第一索引文件中的第一位置并读取存储在该第一位置处的偏移信息；b）将所述索引对象所对应的数据块的标识与所述偏移信息一起存储在第二索引文件中的第二位置处；c）读取该第二位置在所述第二索引文件中的偏移值并使用该偏移值更新所述第一位置处的所述偏移信息。
本发明还提出了一种索引创建装置，该装置包括：索引对象查找模块，用于查找索引对象在第一索引文件中的第一位置并读取存储在该第一位置处的偏移信息；列表更新模块，用于将所述索引对象所对应的数据块的标识与所述偏移信息一起存储在第二索引文件中的第二位置处；偏移信息更新模块，用于读取该第二位置在所述第二索引文件中的偏移值并使用该偏移值更新所述第一位置处的所述偏移信息。
本发明还提出了一种索引查询方法，该方法包括：d）查找要查询的索引对象在所述第一索引文件中的位置并读取该位置处的第一偏移信息；e）在所述第二索引文件中读取与所述第一偏移信息相对应的标识。
本发明还提出了一种索引查询装置，该装置包括：索引对象查找模块，用于查找要查询的索引对象在所述第一索引文件中的位置并读取该位置处的第一偏移信息；标识读取模块，用于在所述第二索引文件中读取与所述第一偏移信息相对应的标识。
本发明所提出的索引创建方法和索引查询方法通过在两个索引文件之间进行操作，能够解决现有技术中存在的如下问题：
1、扩展性问题：对原始存储文件格式无严格要求，只需满足既定约定；
2、索引创建速度问题：不存在索引信息的合并、检索等消耗系统资源的操作；
3、索引查询效率问题：提供中间索引查询机制，无须多次进行磁盘I/O操作，有效减少系统资源耗费，提高检索速度。
附图说明
图1示出了根据本发明的一种索引创建方法；
图2示出了根据本发明的一种索引查询方法；
图3示出了索引描述文件的一种示例格式；以及
图4示出了索引文件的一种示例格式。
具体实施方式
图1示出了根据本发明的一种索引创建方法。
步骤110中，查找索引对象在第一索引文件中的第一位置并读取存储在该第一位置处的偏移信息。
本发明的实施方式，采用两个不同的索引文件对索引对象进行索引。其中所述索引对象是整个数据块或是数据块的一部分，该数据块有一个唯一的标识（ID）。
如果在步骤110中无法找到所述第一位置（比如因为此前并未在第一索引文件中对该索引对象进行过创建），则在所述第一索引文件中的第三位置（比如在上次创建的索引对象内容之后或文件的尾部）创建所述索引对象。这种情况下，在该第三位置处存储的偏移信息等于默认偏移值。优选地，所述默认值等于0xFFFFFFFF。
在步骤110中，可以通过计算所述索引对象的值对应的哈希（Hash）值来查找所述第一位置。通过使用哈希表，可以只搜索与索引对象值的哈希值相对应的哈希筒（Hashbucket）中的索引对象列表，能够加快查找的速度。下文中将结合具体实施例对此进行详述。
所述偏移信息指的是在所述位置处存储的偏移信息，并不是所述第一位置在第一索引文件中相应的偏移值。结合下文可知，当首次针对该索引对象创建索引时，该偏移信息对应于上述默认偏移值。当非首次对该索引对象创建索引时，该偏移信息对应于上次针对该索引对象创建索引时所对应的数据块的标识（ID）在第二索引文件中的偏移值。
步骤120中，将所述索引对象所对应的数据块的标识与所述偏移信息一起存储在第二索引文件中的第二位置处。
本发明所涉及的数据块具有为其指派的唯一标识。如果所要创建索引的对象所对应的数据块不具有这种标识，则可事先进行指派标识。优选地，所述标识具有相同的长度。
优选地，所述第二位置是所述第二索引文件的尾部。
步骤130中，读取该第二位置在所述第二索引文件中的偏移值并使用该偏移值更新所述第一位置处的所述偏移信息。
图2示出了根据本发明的一种索引查询方法。
步骤210，查找要查询的索引对象在所述第一索引文件中的位置并读取该位置处的第一偏移信息；
如果步骤210中没有找到要查询的索引对象，则读取过程结束。
在步骤210中，可以通过计算所述索引对象的值对应的哈希值来查找所述位置。具体可参见，图1中的相关说明以及下文中结合具体实施例对此进行的详述。
步骤220，在所述第二索引文件中读取与所述第一偏移信息相对应的标识。
优选地，所述方法还包括步骤230，即读取与所述标识一起存储的第二偏移信息，并且如果所述第二偏移信息不等于默认偏移值，则根据所述第二偏移信息在所述第二文件中读取下一标识。否则，如果所述第二偏移信息等于默认偏移值，则读取过程结束。
在本发明的优选实施方式中，针对所述下一标识重复步骤230，直到最终得到的第二偏移信息等于默认偏移值为止，这时读取过程结束。
下面通过一种具体实施例对本发明的上述内容进行详述。
在这一实施例中，对于每一个原始数据文件，创建索引时，会生成一个索引描述文件（对应于第一索引文件）和一个索引文件（对应于第二索引文件），用于数据检索。索引描述文件存储了索引对象的类型、出现频率等信息，而索引文件则存储了每个索引对象对应的原始数据块的ID。
图3示出了索引描述文件的一种示例格式。
该索引描述文件由文件头、文件扩展头、索引对象区域和索引HASH区域构成。
文件头区域包括：该区域存储了描述文件的基本信息，包括文件类型（占2字节），即该文件是索引描述文件还是索引文件；索引对象个数（占4字节）ICOUNT；索引对象类型（占4字节）；ID长度（占4字节），索引对象所在的数据块的唯一ID长度。
文件扩展头区域包括：该区域存储了当索引对象被加载到内存中时，建立的HASH信息表。HASH筒个数（占4字节）；HASH筒在描述文件中的偏移（占4字节）。
索引对象区域：该区域由ICOUNT个索引对象信息构成，每个索引对象信息包括索引对象长度（占4字节）、索引对象值、索引对象出现频率和该索引对象对应的一个偏移KOFFSET（即上文中的偏移信息），在索引文件中，KOFFSET的位置就是该索引对象对应的最新一个数据块的ID（即上一次对该索引对象进行索引创建时所对应的数据块的ID）。
索引对象HASH区域：该HASH区域主要用于索引查找（上文中在第一索引文件中的位置查找），该区域由ICOUNT个HASH索引信息构成，每个HASH索引信息包括HASH筒索引ID（占4个字节）、该HASH筒中对象个数、该HASH筒中第一个对象在索引描述文件中的偏移IOFFSET。
图4示出了索引文件的一种示例格式。
索引文件存储了在描述文件中每个索引对象对应的事件块的ID链，在索引描述文件中总是记录每个索引对象对应的最新一个ID偏移KOFFSET。索引文件由文件头和索引区域构成。
文件头区域：记录了索引文件的基本信息。包括文件类型（占2字节），即该文件是索引描述文件还是索引文件；每个ID长度（占4字节）。
索引区域：由若干个ID区域构成，每个ID区域表示一个索引对象对应的值，每个索引对象对应多个ID值，构成ID链，每个ID在存储时，有一个前置区域存储该ID链中的前一个ID所在偏移KOFFSET。每个ID区域包括当前ID值和ID链前置ID偏移（占4字节），当达到ID链头时，ID链前置ID偏移的值为0xFFFFFFFF。
下面结合图3和图4对图1中的索引创建方法进行说明。需要指出的是，下文中部分步骤是为了针对该特定文件格式的实施方式的完整性和连贯性而加入的，其并不意在对本发明的内容进行限制，而是为了便于本领域技术人员的实施和理解。
首先，如果索引描述文件和索引文件不存在，则按照图3和图4创建文件，写入文件头信息；如果存在，则加载描述文件信息和索引文件头部信息到内存中。
然后，根据索引对象值计算HASH值HI，在HASH筒中找到第HI个链表，并在该链表中查找索引对象，如果索引对象不存在，则创建一个新节点，添加该索引对象，并返回创建的节点；如果索引对象存在，则返回该节点。需要再次说明的是，这里使用哈希表对查找过程进行了优化，对应于图1中优选的实施方式。
从返回的节点中读取最新的KOFFSET，依次在索引文件的尾部写入KOFFSET和当前新加ID。计算当前新加ID的偏移，并将该偏移值作为新的KOFFSET赋给该索引对象在索引描述文件中的上述节点。
最后，更新索引描述文件信息。索引描述文件实时信息存储在内存中，当一个计时周期（如30秒）结束或者索引文件关闭时，将内存中的描述信息同步到文件中。
下面结合图3和图4对图2中的索引查询方法进行说明。需要指出的是，下文中部分步骤是为了针对该特定文件格式的实施方式的完整性和连贯性而加入的，其并不意在对本发明的内容进行限制，而是为了便于本领域技术人员的实施和理解。
首先，如果索引描述文件不存在，则查询结束，返回空；如果索引描述文件存在，则加载索引描述文件头部信息到内存。
然后，根据索引对象值计算HASH值HI；从扩展头中读取索引对象HASH区域在文件中的偏移HOFFSET，从HOFFSET位置开始以二分查找法查找HASH值为HI的HASH信息，如果没有找到则查询结束，返回空；如果找到，则从HASH信息中标识的，该HASH链表中的第一个索引对象所在偏移开始，查找索引对象，如果没找到则查询结束，返回空；如果找到，则读取ID链中的最新一个ID在索引文件中的偏移。
最后，根据ID链中最新一个ID在索引文件中的偏移，读取最新一个ID值和ID前置偏移，依次从ID前置偏移中读取ID，直到ID前置偏移值为0xFFFFFFFF结束，返回ID链表。
与上述索引创建方法相应，本发明还提出了一种索引创建装置，以上对本发明的索引创建方法的解释说明中的相应部分也适用于该索引创建方法。具体来讲，该装置包括：索引对象查找模块，用于查找索引对象在第一索引文件中的第一位置并读取存储在该第一位置处的偏移信息；列表更新模块，用于将所述索引对象所对应的数据块的标识与所述偏移信息一起存储在第二索引文件中的第二位置处；偏移信息更新模块，用于读取该第二位置在所述第二索引文件中的偏移值并使用该偏移值更新所述第一位置处的所述偏移信息。
优选地，所述索引对象查找模块还被配置为，如果无法找到所述第一位置，则在所述第一索引文件中的第三位置处创建所述索引对象，并且在所述第三位置处存储等于默认偏移值的偏移信息。
优选地，所述默认值等于0xFFFFFFFF。
优选地，所述索引对象查找模块还被配置为通过计算所述索引对象的值对应的哈希值来查找所述第一位置。
优选地，所述数据块具有为其指派的唯一标识。
与上述索引查询方法相应，本发明还提出了一种索引查询装置，以上对本发明的索引查询方法的解释说明中的相应部分也适用于该索引查询方法。具体来讲，该装置包括：索引对象查找模块，用于查找要查询的索引对象在所述第一索引文件中的位置并读取该位置处的第一偏移信息；标识读取模块，用于在所述第二索引文件中读取与所述第一偏移信息相对应的标识。
优选地，所述装置还包括迭代模块，用于读取与所述标识一起存储的第二偏移信息，并且在所述第二偏移信息不等于默认偏移值的情况下，根据所述第二偏移信息在所述第二文件中读取下一标识。
优选地，所述装置还被配置为：针对所述下一标识重复所述迭代模块的操作，直到所述第二偏移信息等于默认值为止。
优选地，所述装置被配置为：在所述第二偏移信息等于默认偏移值的情况下，结束读取过程。
优选地，所述装置还被配置为：在没有找到要查询的索引对象的情况下，结束读取过程。
优选地，所述索引对象查找模块被配置为通过计算所述索引对象的值对应的哈希值来查找所述位置。

Claims (14)

1.一种索引创建方法，该方法包括：
a)查找索引对象在第一索引文件中的第一位置并读取存储在该第一位置处的偏移信息；
b)将所述索引对象所对应的数据块的标识与所述偏移信息一起存储在第二索引文件中的第二位置处；所述数据块具有为其指派的唯一标识；如果所述数据块不具有所述唯一标识，则可事先进行指派标识；所述标识具有相同的长度；
c)读取该第二位置在所述第二索引文件中的偏移值并使用该偏移值更新所述第一位置处的所述偏移信息；
如果在步骤a)中无法找到所述第一位置，则在所述第一索引文件中的第三位置处创建所述索引对象，并且在所述第三位置处存储的偏移信息等于默认偏移值。
2.根据权利要求1所述的方法，其中所述默认偏移值等于0xFFFFFFFF。
3.根据权利要求1所述的方法，在步骤a)中，通过计算所述索引对象的值对应的哈希值来查找所述第一位置。
4.一种索引创建装置，该装置包括：
索引对象查找模块，用于查找索引对象在第一索引文件中的第一位置并读取存储在该第一位置处的偏移信息；
列表更新模块，用于将所述索引对象所对应的数据块的标识与所述偏移信息一起存储在第二索引文件中的第二位置处；所述数据块具有为其指派的唯一标识；如果所述数据块不具有所述唯一标识，则可事先进行指派标识；所述标识具有相同的长度；
偏移信息更新模块，用于读取该第二位置在所述第二索引文件中的偏移值并使用该偏移值更新所述第一位置处的所述偏移信息；
其中所述索引对象查找模块还被配置为，如果无法找到所述第一位置，则在所述第一索引文件中的第三位置处创建所述索引对象，并且在所述第三位置处存储等于默认偏移值的偏移信息。
5.根据权利要求4所述的装置，其中所述默认偏移值等于0xFFFFFFFF。
6.根据权利要求4所述的装置，其中所述索引对象查找模块还被配置为通过计算所述索引对象的值对应的哈希值来查找所述第一位置。
7.一种针对按照权利要求1-3中的任一项所述的索引创建方法创建的索引文件的索引查询方法，该方法包括：
d)查找要查询的索引对象在所述第一索引文件中的位置并读取存储在该位置处的第一偏移信息；
e)在所述第二索引文件中读取所述第一偏移信息所表示的位置中存储的标识；
f)读取与所述标识一起存储的第二偏移信息，并且如果所述第二偏移信息不等于默认偏移值，则根据所述第二偏移信息在所述第二索引文件中读取下一标识；
针对所述下一标识重复步骤f)，直到所述第二偏移信息等于默认偏移值为止。
8.根据权利要求7所述的方法，该方法还包括：
如果所述第二偏移信息等于默认偏移值，则读取过程结束。
9.根据权利要求7所述的方法，该方法还包括：
如果步骤d)中没有找到要查询的索引对象，则读取过程结束。
10.根据权利要求8所述的方法，其中步骤d)中通过计算所述索引对象的值对应的哈希值来查找所述位置。
11.一种针对按照权利要求1-3中的任一项所述的索引创建方法创建的索引文件的索引查询装置，该装置包括：
索引对象查找模块，用于查找要查询的索引对象在所述第一索引文件中的位置并读取存储在该位置处的第一偏移信息；
标识读取模块，用于在所述第二索引文件中读取所述第一偏移信息所表示的位置中存储的标识；
迭代模块，用于读取与所述标识一起存储的第二偏移信息，并且在所述第二偏移信息不等于默认偏移值的情况下，根据所述第二偏移信息在所述第二索引文件中读取下一标识；
其中所述装置还被配置为：
针对所述下一标识重复所述迭代模块的操作，直到所述第二偏移信息等于默认偏移值为止。
12.根据权利要求11所述的装置，其中所述装置被配置为：
在所述第二偏移信息等于默认偏移值的情况下，结束读取过程。
13.根据权利要求11所述的装置，其中所述装置还被配置为：
在没有找到要查询的索引对象的情况下，结束读取过程。
14.根据权利要求11所述的装置，其中所述索引对象查找模块被配置为通过计算所述索引对象的值对应的哈希值来查找所述位置。
CN201310741563.1A 2013-12-27 2013-12-27 一种索引创建方法和装置以及索引查询方法和装置 Active CN103810246B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310741563.1A CN103810246B (zh) 2013-12-27 2013-12-27 一种索引创建方法和装置以及索引查询方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310741563.1A CN103810246B (zh) 2013-12-27 2013-12-27 一种索引创建方法和装置以及索引查询方法和装置

Publications (2)

Publication Number Publication Date
CN103810246A CN103810246A (zh) 2014-05-21
CN103810246B true CN103810246B (zh) 2017-10-13

Family

ID=50707016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310741563.1A Active CN103810246B (zh) 2013-12-27 2013-12-27 一种索引创建方法和装置以及索引查询方法和装置

Country Status (1)

Country Link
CN (1) CN103810246B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977764A (zh) * 2016-10-25 2018-05-01 菜鸟智能物流控股有限公司 索引文件的生成、配送员信息的查询方法、装置和服务器
CN106874348B (zh) * 2016-12-26 2020-06-16 贵州白山云科技股份有限公司 文件存储和索引方法、装置及读取文件的方法
US10795874B2 (en) 2019-07-29 2020-10-06 Alibaba Group Holding Limited Creating index in blockchain-type ledger
CN113535720A (zh) * 2019-07-29 2021-10-22 创新先进技术有限公司 一种块链式账本中的索引创建方法、装置及设备
CN111767436B (zh) * 2020-06-23 2023-11-10 北京思特奇信息技术股份有限公司 一种hash索引数据的存储、读取方法与系统
CN112667858A (zh) * 2020-12-25 2021-04-16 深圳创新科技术有限公司 采用hash链存储数据的方法及数据写入、读取方法
CN113360595A (zh) * 2021-05-26 2021-09-07 招商华软信息有限公司 一种黑名单参数文件中的参数加载方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1227413A1 (en) * 2001-01-25 2002-07-31 Telefonaktiebolaget L M Ericsson (Publ) Method for optimised locating of indexed records of static data with different length
CN101551807A (zh) * 2009-05-07 2009-10-07 山东中创软件商用中间件股份有限公司 文件数据库多级索引技术
CN102207907A (zh) * 2010-03-30 2011-10-05 联想(北京)有限公司 数据操作的方法、装置及计算机
CN102541925A (zh) * 2010-12-21 2012-07-04 中国移动通信集团山西有限公司 一种实现详细话单的快速存储和检索的方法及装置
CN102567434A (zh) * 2010-12-31 2012-07-11 百度在线网络技术（北京）有限公司 一种数据块处理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8346778B2 (en) * 2008-05-21 2013-01-01 Oracle International Corporation Organizing portions of a cascading index on disk

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1227413A1 (en) * 2001-01-25 2002-07-31 Telefonaktiebolaget L M Ericsson (Publ) Method for optimised locating of indexed records of static data with different length
CN101551807A (zh) * 2009-05-07 2009-10-07 山东中创软件商用中间件股份有限公司 文件数据库多级索引技术
CN102207907A (zh) * 2010-03-30 2011-10-05 联想(北京)有限公司 数据操作的方法、装置及计算机
CN102541925A (zh) * 2010-12-21 2012-07-04 中国移动通信集团山西有限公司 一种实现详细话单的快速存储和检索的方法及装置
CN102567434A (zh) * 2010-12-31 2012-07-11 百度在线网络技术（北京）有限公司 一种数据块处理方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"基于ＨＤＦＳ开源架构与多级索引表的海量数据检索ｍＤＨＴ算法";汤羽 等;《计算机科学》;20130228;第40卷(第2期);全文 *
"多级索引路由查找算法及其实现";闫新成;《中兴通讯技术》;20060228;全文 *
"面向分布式GIS空间数据的key-value缓存";涂振发 等;《武汉大学学报 信息科学版》;20131130;第38卷(第11期);全文 *

Also Published As

Publication number Publication date
CN103810246A (zh) 2014-05-21

Similar Documents

Publication Publication Date Title
CN103810246B (zh) 一种索引创建方法和装置以及索引查询方法和装置
CN103488709B (zh) 一种索引建立方法及系统、检索方法及系统
CN106096023B (zh) 数据读取方法、数据写入方法及数据服务器
KR102007070B1 (ko) 메모리 관리 시의 중복 제거를 위해서 기준 세트로 기준 블록을 취합하는 기법
CN106156070B (zh) 一种查询方法、文件合并方法与相关装置
JP5996088B2 (ja) 暗号ハッシュ・データベース
US11599505B2 (en) Reference set construction for data deduplication
JP2020521254A5 (zh)
US20170293450A1 (en) Integrated Flash Management and Deduplication with Marker Based Reference Set Handling
CN106874348B (zh) 文件存储和索引方法、装置及读取文件的方法
JP2005122702A5 (zh)
CN107357843B (zh) 基于数据流结构的海量网络数据查找方法
CN106557272B (zh) 一种高效的传感器历史数据归档方法
CN102831222A (zh) 一种基于重复数据删除的差量压缩方法
CN104881466B (zh) 数据分片的处理以及垃圾文件的删除方法和装置
CN102902724B (zh) 海量栅格瓦块地图发布方法
CN103279502B (zh) 一种具有与并行文件系统结合的重复数据删除文件系统的架构及方法
CN103885887B (zh) 用户数据存储方法、读取方法及系统
CN102890722A (zh) 应用于时序历史数据库的索引方法
CN105608142A (zh) 一种Json数据的存储方法及装置
US20160004598A1 (en) Grouping chunks of data into a compression region
CN105843933B (zh) 分布式内存列式数据库的索引建立方法
CN105677904B (zh) 基于分布式文件系统的小文件存储方法及装置
CN109697016A (zh) 用于改进容器的存储性能的方法和装置
CN106648442A (zh) 一种元数据节点的内存镜像方法、装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent for invention or patent application
CB02 Change of applicant information

Address after: 100085 Haidian District East Road, No. three, China control building, floor, floor, 1

Applicant after: BEIJING TOPSEC SOFTWARE CO., LTD.

Applicant after: Beijing Topsec Network Safety Technology Co., Ltd.

Applicant after: BEIJING TOPSEC TECHNOLOGY CO., LTD.

Address before: 100085 Haidian District East Road, No. three, China control building, floor, floor, 1

Applicant before: BEIJING TOPSEC SOFTWARE CO., LTD.

Applicant before: Beijing Topsec Network Safety Technology Co., Ltd.

Applicant before: Beijing heaven melts letter Science Technologies Co., Ltd.

C53 Correction of patent for invention or patent application
CB02 Change of applicant information

Address after: 100085 Haidian District East Road, No. three, China control building, floor, floor, 1

Applicant after: BEIJING TOPSEC SOFTWARE CO., LTD.

Applicant after: Beijing Topsec Network Safety Technology Co., Ltd.

Applicant after: Beijing heaven melts letter Science Technologies Co., Ltd.

Address before: 100085 Haidian District East Road, No. three, China control building, floor, floor, 1

Applicant before: BEIJING TOPSEC SOFTWARE CO., LTD.

Applicant before: Beijing Topsec Network Safety Technology Co., Ltd.

Applicant before: BEIJING TOPSEC TECHNOLOGY CO., LTD.

CB02 Change of applicant information

Address after: 100085, room 306, north 3, building seven, 3 East Road, Haidian District, Beijing

Applicant after: BEIJING TOPSEC SOFTWARE CO., LTD.

Applicant after: Beijing Topsec Network Safety Technology Co., Ltd.

Applicant after: BEIJING TOPSEC TECHNOLOGY CO., LTD.

Address before: 100085 Haidian District East Road, No. three, China control building, floor, floor, 1

Applicant before: BEIJING TOPSEC SOFTWARE CO., LTD.

Applicant before: Beijing Topsec Network Safety Technology Co., Ltd.

Applicant before: Beijing heaven melts letter Science Technologies Co., Ltd.

COR Change of bibliographic data
CB02 Change of applicant information

Address after: 100085 Beijing East Road, No. 1, building No. 306, building on the north side of the floor, room 3, room 3

Applicant after: BEIJING TOPSEC SOFTWARE CO., LTD.

Applicant after: Beijing Topsec Network Safety Technology Co., Ltd.

Applicant after: BEIJING TOPSEC TECHNOLOGY CO., LTD.

Address before: 100085, room 306, north 3, building seven, 3 East Road, Haidian District, Beijing

Applicant before: BEIJING TOPSEC SOFTWARE CO., LTD.

Applicant before: Beijing Topsec Network Safety Technology Co., Ltd.

Applicant before: BEIJING TOPSEC TECHNOLOGY CO., LTD.

COR Change of bibliographic data
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100085 Beijing East Road, No. 1, building No. 306, building on the north side of the floor, room 3, room 3

Applicant after: BEIJING TOPSEC SOFTWARE CO., LTD.

Applicant after: Beijing Topsec Network Safety Technology Co., Ltd.

Applicant after: Beijing heaven melts letter Science Technologies Co., Ltd.

Address before: 100085 Beijing East Road, No. 1, building No. 306, building on the north side of the floor, room 3, room 3

Applicant before: BEIJING TOPSEC SOFTWARE CO., LTD.

Applicant before: Beijing Topsec Network Safety Technology Co., Ltd.

Applicant before: BEIJING TOPSEC TECHNOLOGY CO., LTD.

GR01 Patent grant
GR01 Patent grant