CN102375852A - 建立数据索引的方法、利用该索引查询数据的方法和系统 - Google Patents

建立数据索引的方法、利用该索引查询数据的方法和系统 Download PDF

Info

Publication number
CN102375852A
CN102375852A CN2010102611590A CN201010261159A CN102375852A CN 102375852 A CN102375852 A CN 102375852A CN 2010102611590 A CN2010102611590 A CN 2010102611590A CN 201010261159 A CN201010261159 A CN 201010261159A CN 102375852 A CN102375852 A CN 102375852A
Authority
CN
China
Prior art keywords
index
data
storage space
key assignments
approximate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010102611590A
Other languages
English (en)
Inventor
钱岭
齐骥
郭磊涛
周大
罗治国
孙少陵
张松波
张卫平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN2010102611590A priority Critical patent/CN102375852A/zh
Publication of CN102375852A publication Critical patent/CN102375852A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

公开了一种在数据库中查询数据的方法、数据库查询系统和建立数据库索引的方法。在数据库中查询数据的方法包括：接收数据查询指令并确定所述数据查询指令中包括的索引键值；确定所述索引键值是用于近似索引还是精确索引；如果确定的结果是所述索引键值是用于近似索引，则通过所述索引键值，从所述近似索引在单位存储空间中标识的位置开始扫描查询数据记录，以及如果确定的结果是所述索引键值是用于精确索引，则通过所述索引键值在所述单位存储空间中标识的位置处查询数据记录。

Description

建立数据索引的方法、利用该索引查询数据的方法和系统
技术领域
本申请涉及一种在数据库中建立数据索引的方法、以及利用该索引查询数据的方法。本申请还涉及一种数据库查询系统。
背景技术
数据库系统的逻辑结构中，主要包括上层的结构化查询语言(SQL)层和底层的存储引擎层。其中SQL层主要负责各种数据库操作的流程和处理。存储引擎层实现底层的数据存取的实际操作，包括数据的组织、存储、索引等。在数据的组织和存储方面，一般将数据通过操作系统的文件系统存储在磁盘上的文件中。为了有效地管理存储空间和便于存取，一般将这些存储空间分成多个存储页(Page)，包括数据页和索引页，一个数据页一般可以存储多条数据记录(行)。
在数据库表中的数据量很多时，采用简单的扫描匹配方式所获得的性能往往无法满足用户的查询要求，而影响查询性能的主要因素是查询操作须访问的数据量和磁盘I/O量。在数据库实现中，索引是常用的优化查询性能的重要技术手段。通常状况下，由于索引记录仅包含索引键值以及很短的指针，索引实体比真实的数据要小很多。一个索引页可以存储数量更多的索引记录，这意味着在索引中查找时在I/O上占很大的优势。而且索引可以组织成支持快速查找的数据结构，如B-TREE查找树、HASH表等典型的数据结构。在查询时，根据查询条件，首先从索引中查找得到数据记录的存储位置，再从这些存储位置定位读取出数据记录，可以大大减少查询时须访问的数据量和磁盘I/O量，因此提高查询性能。数据库系统中常用的索引类型如B-TREE索引、HASH索引等，分别适用于不同的场合，它们的原理基本上都是通过查询的索引键值来快速定位数据记录的存储位置。
一条索引记录中包含的基本信息包括：索引键值(即定义索引时指定的所有字段的值)+逻辑指针(指向数据记录的位置)。在使用数据库时，用户可以根据查询需求，在数据表的某个或某几个列上建立适当的索引。在数据库中，对于在数据表中出现的每个索引键值，在索引中建立该键值对应的每条数据记录的逻辑指针(这里用RID表示，可以表示为对应数据页的ID+记录偏移量)的列表。这样，只要在索引中快速查找到匹配的索引键值，就可以获得和该键值对应的数据记录的逻辑指针列表。
以电信业务中的CDR数据表为例，一条CDR记录中一般包含用户号码(UserId)、时间标签(Timestamp)、对方号码(PeerId)等参数。一个CDR表的数据量一般非常大，例如有几亿条记录。常用的查询之一是查询某个用户的CDR记录，这就需要对用户号码(UserId)字段建立索引。图1示出了为某CDR数据表的用户号码(UserId)字段建立的一个普通的B+TREE索引结构及其对应的数据结构的一部分。这是一个密集索引，在数据页150的上一级索引页110中为每一条数据记录建立了一条索引记录。索引的叶子结点中包含索引键值及指向数据页中数据记录的逻辑指针，其记录数量与数据表数据记录数量一致。索引页100中的索引记录组成B+TREE结构。例如查找用户号码13500002的记录，首先从根索引页1001查到下一级索引页1007，再到叶子索引页1132，最后得到该用户号码对应的RID只有一个<1409，2>，即数据页1409中偏移量为2的记录。
如果在图1的索引结构中查找用户号码13600001的记录，则会按照相似的流程定位到叶子索引页1153，因为用户号码13600001在数据页1428中有400条数据记录，相应地在索引页1153中也有400条索引记录。在实际的CDR数据集中，这种高密度的数据记录出现的可能性比较大。这样由多条索引记录逐条定位和随机读取数据记录的效率可能比在指定数据页中顺序扫描还慢。
因此，需要本领域中需要迫切需要能够解决上述技术问题的数据库检索方案。
发明内容
一方面，本申请公开了一种在数据库中查询数据的方法，其中，所述数据库包括用来存储数据的多个单位存储空间，所述方法包括：
接收数据查询指令并确定所述数据查询指令中包括的索引键值；
确定所述索引键值是用于近似索引还是精确索引；
如果确定的结果是所述索引键值是用于近似索引，则通过所述索引键值，从所述近似索引在单位存储空间中标识的位置开始扫描查询数据记录，
如果确定的结果是所述索引键值是用于精确索引，则通过所述索引键值在所述单位存储空间中标识的位置处查询数据记录。
另一方面，本申请还公开了一种数据库查询系统，包括：
索引建立模块，为要存储的数据建立近似索引文件或精确索引文件，其中，在所述近似索引文件中，数据的索引键值近似指向该数据在单位存储空间中的位置，在所述精确索引文件中，索引键值指向每个数据的精确位置；
索引判断模块，用于判断所建立的索引文件为近似索引文件还是精确索引文件；以及
数据查询模块，如果判断的结果是为近似索引文件，则从所述近似索引文件在单位存储空间中标识的位置开始扫描查询至少一条数据记录；如果确定的结果为精确索引文件，则在所述索引键值在单位存储空间中标识的精确位置处查询数据记录。
此外，本申请还公开了一种在数据库中建立数据索引的方法，其中，所述数据库包括用来存储数据的多个单位存储空间，所述方法包括：
确定存储到所述数据库中的数据的索引键值；
根据所述确定的索引键值判断与之关联的数据在一个所述单位存储空间中的存储密度是否超过了预设门限；
如果判断的结果为是，则为所述关联的数据建立近似索引文件，在所述近似索引文件中，所述索引键值近似指向所述数据在单位存储空间中的位置，
否则，为所述关联的数据建立精确索引文件，在所述精确索引文件中，所述索引键值指向要存储的数据的精确位置。
附图说明
图1为根据现有技术的一个普通的B+TREE索引结构及其对应的数据结构；
图2为根据本申请一个实施方式的在数据库中建立数据索引的处理；
图3示出了采用图2所示出的索引方法后对图1中相同数据集的索引结构以及其对应的数据结构；
图4示出了采用图2示出的方法建立的数据索引执行数据查询时的处理；以及
图5示出了根据本发明另一实施方式的数据库查询系统。
具体实施方式
以下参照附图描述本申请的具体实施方式。
图2为根据本申请一个实施方式的在数据库中建立数据索引的处理2000。该方法可应用于任何通用的数据库，这些数据库中通常包括用来存储数据的多个单位存储空间(例如数据页)，和用来存储数据索引的索引文件。处理2000从步骤S201开始，在该步骤中确定要存储到数据库中的数据的索引键值。例如，在图1所示的数据存储结构中，确定出用户号码(UserId)为要存储的数据的索引键值。
接着，在步骤S202中，根据所述确定的索引键值确定与之关联的数据在单位存储空间中的存储密度是否超过了预设门限。例如，假设一个数据页中平均大约可以存放1000条CDR记录，根据实际运行环境的经验值，可设置用户号码索引的密度门限为15％，并且只有在索引键值重复数大于100时才起作用。假设，在图1所示的用户号码13600001在数据页1428中有400条数据记录，超过了密度门限15％。
如果确定的结果为是，则在步骤S203中，在索引文件中为关联的数据建立近似索引以使得所述索引键值近似指向所述数据在单位存储空间中的位置，否则在步骤S204中，在索引文件中为数据建立精确索引以使得所述索引键值指向每个数据的精确位置。
表1示出了根据本申请一个实施方式的索引文件的数据结构。在表1中，一个索引键值对应了一系列逻辑指针RID-1、RID-2，...RID-n，这些RID可用于精确的数据索引，也可能是用于近似的数据索引。
  索引键值   RID-1   RID-2 ...   RID-n
表1
在一个实施方式中，逻辑指针RID可采用<PageID，ROffset>的形式表示，其中，PageID表示索引键值指向的数据页，Roffset表示记录偏移量，用于标识精确的RID。作为一种选择，这种格式还可以用于表示近似RID，例如可以用一个特殊的记录偏移量值，如另ROffset等于“-1”来表示该数据索引为近似索引。
此外，记录逻辑指针RID还可采用<PageID，ROffset，Count>的形式表示，其中，PageID表示索引键值指向的数据页，Roffset表示记录偏移量，Count表示计数器。计数器Count的值表示在数据页PageID的记录偏移量ROffset开始，存在Count个匹配的记录。当计数器Count等于1时表示精确RID，大于1时表示近似RID。查询时从起始记录行偏移量ROffset开始扫描，查询计数器Count表示的数量的数据记录后结束扫描。
此外，记录逻辑指针RID可采用<PageID，ROffset，X>的形式表示，其中，PageID表示索引键值指向的数据页，Roffset表示记录偏移量，X表示该逻辑指针RID用于近似索引的预定标记。
图3示出了采用上述索引方法后对图1中相同数据集的索引结构以及其对应的数据结构。其中，用户号码13600001在数据页1428中有400条数据记录，超过了用户设定的密度门限，可以在索引中用一个近似的RID＝<1428，-1>表示这些数据记录的近似位置430。可见对于单位存储空间中，特定索引键值出现密度较大时，可以明显减小索引记录的数量。
图4示出了采用上述方法建立的数据索引执行数据查询时的处理4000。在步骤S401中，接收数据查询指令并确定所述数据查询指令中包括的索引键值。在步骤S402中，确定该索引键值是用于近似索引还是用于精确索引。
如果确定的结果是索引键值是用于近似索引，则在步骤S403从该近似索引在所述单位存储空间中标识的位置开始扫描查询数据记录，否则在步骤S404中在该索引键值在单位存储空间中标识的位置查询数据记录。
具体地，以图2为例，假设在步骤S401中确定出数据查询指令中包括的索引键值为用户号码13600001，则在步骤S402通过数据页1153中的记录逻辑指针RID(1428，-1)中确定出用户号码13600001在数据页1428中为近似索引，则从数据页1428中的第一条记录开始，搜索该页的所有数据记录。作为一种变体，假设将数据页1153中的记录逻辑指针RID(1428，-1)修改为RID(1428，3，100)则从数据页的第3条记录开始向下搜索100条数据记录。或者，假设将数据页1153中的记录逻辑指针RID(1428，-1)修改为RID(1428，3，X)，则从数据页的第3条记录开始向下搜索数据页1428中的所有其它数据记录。
此外，如果数据查询指令涉及数据删除操作并且在步骤S402中确定的结果是索引键值是用于近似索引时，方法4000还进一步包括在删除操作结束后，对于RID<PageID，ROffset>形式，确定该索引键值对应的单位存储空间中是否还至少存在一条包含该索引键值的数据记录，如存在就无需修改索引，否则在索引文件中删除对应的索引记录；而对于RID<PageID，ROffset，Count>形式，需要将计数器Count的值减1，如果计数器的值达到0，在索引文件中删除对应的索引记录。
如果数据查询指令涉及数据插入操作并且在步骤S402中确定的结果是索引键值是用于精确索引时，在检查在执行完数据插入操作后，确定数据查询指令中包括的索引键值在所属单位存储空间中的存储密度是否超过了预设门限；如果是，则将所述索引键值对应的精确索引修改为近似索引。如果在插入之前已经是近似索引了，针对RID<PageID，ROffset>形式，系统无需对索引数据进行任何修改(效率较高)。而针对RID<PageID，ROffset，Count>形式，需要将计数器Count的值加1。
此外，如果数据查询指令涉及数据在更新(UPDATE)操作时，如果没有更新索引键值字段，则无需修改索引数据。如果更新索引键值字段，对应的操作类似一个删除操作和一个插入操作。
下面参照附图5描述根据本发明另一方面的数据库查询系统5000。如图5所示，数据库查询系统5000可包括索引建立模块501、索引判断模块502和数据查询模块503。
索引建立模块501为要存储的数据建立近似索引文件或精确索引文件。如上所述，在近似索引文件中，数据的索引键值近似指向该数据在单位存储空间(例如单个数据页)中的位置，而在精确索引文件中，索引键值指向每个数据的精确位置。在一个实施方式中，当所述数据的索引键值在单位存储空间中的存储密度是否超过了预设门限后，索引建立模块501为要存储的数据建立近似索引文件。预设门限可例如根据所述数据库运行的环境设定。
索引判断模块502，用于判断所建立的索引文件为近似索引文件还是用于精确索引文件。近似索引文件中的记录逻辑指针RID可采用<PageID，-1>、<PageID，ROffset，Count>或<PageID，ROffset，X>的形式表示。当索引判断模块502检测到上述的“-1”位、“Count”位的数位零、或“X”位时，判断出所建立的索引文件为近似索引文件。
如果判断的结果是为近似索引文件，数据查询模块503在所述单位存储空间中通过近似索引文件标识的位置开始扫描查询至少一条数据记录；如果确定的结果为精确索引文件，则在所述索引键值在单位存储空间中标识的精确位置处查询数据记录。
在近似索引文件中的中的记录逻辑指针RID采用<PageID，ROffset，X>的形式表示的情况下，当索引判断模块502判断的结果是所建立的索引文件为近似索引文件时，数据查询模块503则在PageID指向的单位存储空间中，从ROffset标识的位置开始查询其中的至少一条数据记录。如果执行完删除操作，则索引建立模块501确定PageID指向的单位存储空间中是否还至少存在一条包含该索引键值的数据记录，如不存在就在索引文件中删除对应的索引记录。
在近似索引文件中的中的记录逻辑指针RID采用<PageID，ROffset，Count>的形式表示的情况下，当索引判断模502块判断的结果是所建立的索引文件为近似索引文件时，则数据查询模块503则在PageID指向的单位存储空间中，从ROffset标识的位置开始，顺序查询计数器Count表示的个数的数据记录。此外，在删除操作结束后，索引建立模块501被配置为将所述计数器的值减1，如果计数器的值达到0，则在索引文件中删除对应的索引记录。
在近似索引文件中的中的记录逻辑指针RID采用<PageID，-1>的形式表示的情况下，当索引判断模块502判断的结果是所建立的索引文件为近似索引文件时，数据查询模块503在PageID指向的单位存储空间中从第一条数据记录开始顺序扫描查询所述单位存储空间中的所有数据记录。
此外，在数据插入操作时，如果索引判断模块502判断的结果是所建立的索引文件为近似索引文件，则在数据查询模块503执行完所述数据插入操作后，索引建立模块501检查索引键值在所属单位存储空间中的存储密度是否超过了预设门限；如果是，则将索引键值对应的精确索引修改为近似索引。
在更新(UPDATE)操作时，如果需要更新索引键值字段，索引建立模块501执行的操作操作类似上述的一个删除操作和一个插入操作。
以上仅为本申请的示例性实施方式，本领域技术人员根据上述实施方式，在本申请权利要求限定的范围内，可以对上述各个实施方式进行修改。

Claims (25)

1.一种在数据库中查询数据的方法，其中，所述数据库包括用来存储数据的多个单位存储空间，所述方法包括：
接收数据查询指令并确定所述数据查询指令中包括的索引键值；
确定所述索引键值是用于近似索引还是精确索引；
如果确定的结果是所述索引键值是用于近似索引，则从所述近似索引在单位存储空间中标识的位置开始扫描以查询数据记录，以及
如果确定的结果是所述索引键值是用于精确索引，则通过所述精确索引在单位存储空间中标识的精确位置处查询数据记录。
2.如权利要求1所述的方法，其中，所述近似索引包括索引键值和标识数据记录的逻辑指针，以及所述逻辑指针包括用于指示所述索引键值指向哪个单位存储空间的数据页信息、记录偏移量以及标识所述索引为近似索引的标记，
其中，从所述近似索引在单位存储空间中标识的位置开始扫描查询数据记录的步骤包括：
通过所述数据页信息确定出要查询的单位存储空间；
通过所述记录偏移量确定出在单位存储空间中开始查询的位置；以及
从所述开始查询的位置开始顺序查询其中的数据记录。
3.如权利要求2所述的方法，其中，如果所述数据查询指令涉及数据删除操作并且确定的结果是所述索引键值是用于近似索引时，所述方法进一步包括：
在删除操作结束后，确定所述索引键值指向的单位存储空间中是否还至少存在一条包含该索引键值的数据记录，如不存在，则在索引文件中删除对应的索引记录。
4.如权利要求1所述的方法，其中，所述近似索引包括索引键值和标识数据记录的逻辑指针，所述逻辑指针包括所述索引键值指向哪个单位存储空间的数据页信息、记录偏移量以及计数器，
其中，从所述近似索引在单位存储空间中标识的位置开始扫描查询数据记录的步骤包括：
通过所述数据页信息确定出要查询的单位存储空间；
通过所述记录偏移量确定出在单位存储空间中开始查询的位置；以及
从所述开始查询的位置开始顺序查询所述计数器表示的个数的数据记录。
5.如权利要求4所述的方法，其中，如果所述数据查询指令涉及数据删除操作并且确定的结果是所述索引键值是用于近似索引时，所述方法进一步包括：
在删除操作结束后确定，将所述计数器的值减1，如果
计数器的值达到0，则在索引文件中删除对应的索引记录。
6.如权利要求1所述的方法，其中，所述近似索引包括索引键值和标识数据记录的逻辑指针，所述逻辑指针包括所述索引键值指向哪个单位存储空间的数据页信息、和标识所述索引为近似索引的标识，
其中，从所述近似索引在单位存储空间中标识的位置开始扫描查询数据记录的步骤包括：
通过所述数据页信息确定出要查询的单位存储空间；以及
在所述确定的单位存储空间中从第一条数据记录开始顺序扫描查询所述单位存储空间中的所有数据记录。
7.如权利要求1所述的方法，其中，如果所述数据查询指令涉及数据插入操作并且确定的结果是所述索引键值是用于精确索引时，所述方法进一步包括：
在执行完所述数据插入操作后，检查所述数据查询指令中包括的索引键值在所属单位存储空间中的存储密度是否超过了预设门限；
如果是，则将所述索引键值对应的精确索引修改为近似索引。
8.如权利要求1所述的方法，其中，所述单位存储空间为一个数据页。
9.如前述权利要求1-8中任意一项权利要求所述的方法，其中，所述预设门限根据所述数据库运行的环境设定。
10.一种数据库查询系统，包括：
索引建立模块，为要存储的数据建立近似索引文件或精确索引文件，其中，在所述近似索引文件中，数据的索引键值近似指向该数据在单位存储空间中的位置，在所述精确索引文件中，索引键值指向每个数据的精确位置；
索引判断模块，用于判断所建立的索引文件为近似索引文件还是精确索引文件；以及
数据查询模块，如果判断的结果是为近似索引文件，则从所述近似索引文件在单位存储空间中标识的位置开始扫描查询至少一条数据记录；如果确定的结果为精确索引文件，则在所述索引键值在单位存储空间中标识的精确位置处查询数据记录。
11.如权利要求10所述的系统，其中，当所述数据的索引键值在单位存储空间中的存储密度是否超过了预设门限后，所述索引建立模块为要存储的数据建立近似索引文件。
12.如权利要求10所述的系统，其中，所述近似索引包括索引键值和标识数据记录的逻辑指针，以及所述逻辑指针包括所述索引键值指向哪个单位存储空间的数据页信息、记录偏移量以及标识所述索引为近似索引的标记，
其中，当所述索引判断模块判断的结果是所建立的索引文件为近似索引文件时，所述数据查询模块被配置为通过所述数据页信息确定出要查询的单位存储空间，通过所述记录偏移量确定出在单位存储空间中开始查询的位置，然后从所述开始查询的位置开始顺序查询其中的数据记录。
13.如权利要求12所述的系统，其中，在所述索引文件为近似索引文件的情况下，如果执行完删除操作，则所述索引建立模块确定所述索引键值指向的单位存储空间中是否还至少存在一条包含该索引键值的数据记录，如不存在就在索引文件中删除对应的索引记录。
14.如权利要求10所述的系统，其中，所述近似索引包括索引键值和标识数据记录的逻辑指针，所述逻辑指针包括所述索引键值指向哪个单位存储空间的数据页信息、记录偏移量以及计数器，
其中，当所述索引判断模块判断的结果是所建立的索引文件为近似索引文件时，所述数据查询模块被配置为通过所述数据页信息确定出要查询的单位存储空间，通过所述记录偏移量确定出在单位存储空间中开始查询的位置，然后从所述开始查询的位置开始顺序查询所述计数器表示的个数的数据记录。
15.如权利要求14所述的系统，其中，如果所述数据查询指令涉及数据删除操作并且确定的结果是所述索引键值是用于近似索引时，
在删除操作结束后，所述索引建立模块被配置为将所述计数器的值减1，如果计数器的值达到0，则在索引文件中删除对应的索引记录。
16.如权利要求10所述的系统，其中，所述近似索引包括索引键值和标识数据记录的逻辑指针，所述逻辑指针包括所述索引键值指向哪个单位存储空间的数据页信息、和标识所述索引为近似索引的标识，
当所述索引判断模块判断的结果是所建立的索引文件为近似索引文件时，所述数据查询模块通过所述数据页信息确定出要查询的单位存储空间；然后在所述确定的单位存储空间中从第一条数据记录开始顺序扫描查询所述单位存储空间中的所有数据记录。
17.如权利要求10所述的系统，其中，如果所述数据查询指令涉及数据插入操作并且确定的结果是所述索引键值是用于精确索引时，
在执行完数据插入操作指令后，所述索引建立模块检查所述数据插入操作指令中包括的索引键值在所属单位存储空间中的存储密度是否超过了预设门限；如果是，则将所述索引键值对应的精确索引修改为近似索引。
18.如权利要求10所述的系统，其中，所述单位存储空间为一个数据页。
19.如前述权利要求10-19中任意一项权利要求所述的系统，其中，所述预设门限根据所述数据库运行的环境设定。
20.一种在数据库中建立数据索引的方法，其中，所述数据库包括用来存储数据的多个单位存储空间，所述方法包括：
确定存储到所述数据库中的数据的索引键值；
根据所述确定的索引键值判断与之关联的数据在一个所述单位存储空间中的存储密度是否超过了预设门限；
如果判断的结果为是，则为所述关联的数据建立近似索引文件，在所述近似索引文件中，所述索引键值近似指向所述数据在单位存储空间中的位置，
否则，为所述关联的数据建立精确索引文件，在所述精确索引文件中，所述索引键值指向要存储的数据的精确位置。
21.如权利要求20所述的方法，其中，所述近似索引包括索引键值和标识数据记录的逻辑指针，以及所述逻辑指针包括所述索引键值指向哪个单位存储空间的数据页信息、记录偏移量以及标识所述索引为近似索引的标记。
22.如权利要求20所述的方法，其中，所述近似索引包括索引键值和标识数据记录的逻辑指针，所述逻辑指针包括所述索引键值指向哪个单位存储空间的数据页信息、记录偏移量以及计数器。
23.如权利要求20所述的方法，其中，所述近似索引包括索引键值和标识数据记录的逻辑指针，所述逻辑指针包括所述索引键值指向哪个单位存储空间的数据页信息、和标识所述索引为近似索引的标识。
24.如权利要求20所述的方法，其中，所述单位存储空间为一个数据页。
25.如前述权利要求20-24中任意一项权利要求所述的方法，其中，所述预设门限根据所述数据库运行的环境设定。
CN2010102611590A 2010-08-24 2010-08-24 建立数据索引的方法、利用该索引查询数据的方法和系统 Pending CN102375852A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010102611590A CN102375852A (zh) 2010-08-24 2010-08-24 建立数据索引的方法、利用该索引查询数据的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010102611590A CN102375852A (zh) 2010-08-24 2010-08-24 建立数据索引的方法、利用该索引查询数据的方法和系统

Publications (1)

Publication Number Publication Date
CN102375852A true CN102375852A (zh) 2012-03-14

Family

ID=45794474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010102611590A Pending CN102375852A (zh) 2010-08-24 2010-08-24 建立数据索引的方法、利用该索引查询数据的方法和系统

Country Status (1)

Country Link
CN (1) CN102375852A (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799681A (zh) * 2012-07-24 2012-11-28 河海大学 一种面向任意段数据的Top-k查询方法
CN103577455A (zh) * 2012-07-31 2014-02-12 国际商业机器公司 用于数据库聚集操作的数据处理方法和系统
CN104035976A (zh) * 2014-05-23 2014-09-10 南京信息工程大学 一种gps卫星广播星历数据的存储与检索方法
CN104462461A (zh) * 2014-12-16 2015-03-25 用友软件股份有限公司 对表单进行排查空值处理的方法及装置
CN105159941A (zh) * 2015-08-07 2015-12-16 小米科技有限责任公司 数据记录查找方法及装置
CN105335475A (zh) * 2015-09-30 2016-02-17 中国科学院计算技术研究所 一种基于流式数据的局部性非聚簇索引方法及系统
CN106294603A (zh) * 2016-07-29 2017-01-04 北京奇虎科技有限公司 文件存储方法及装置
CN106326309A (zh) * 2015-07-03 2017-01-11 阿里巴巴集团控股有限公司 一种数据查询方法和装置
CN106484790A (zh) * 2016-09-20 2017-03-08 上海万格生物科技有限公司 一种信息系统的样本库信息管理方法及控件
CN106599062A (zh) * 2016-11-18 2017-04-26 北京奇虎科技有限公司 一种SparkSQL系统中的数据处理方法和装置
CN106844676A (zh) * 2017-01-24 2017-06-13 北京奇虎科技有限公司 数据存储方法及装置
CN107704585A (zh) * 2017-10-09 2018-02-16 郑州云海信息技术有限公司 一种查询hdfs数据方法及系统
CN108228865A (zh) * 2018-01-15 2018-06-29 沈阳延云云计算技术有限公司 一种数据查询方法和装置
CN109992695A (zh) * 2019-04-10 2019-07-09 北京奇艺世纪科技有限公司 一种视频信息查询方法及装置
CN110069539A (zh) * 2019-05-05 2019-07-30 上海缤游网络科技有限公司 一种数据关联方法及系统
CN111767436A (zh) * 2020-06-23 2020-10-13 北京思特奇信息技术股份有限公司 一种hash索引数据的存储、读取方法与系统
CN111782661A (zh) * 2020-07-21 2020-10-16 杭州海康威视数字技术股份有限公司 一种数据存储方法、数据查询方法和装置
CN112328595A (zh) * 2020-10-30 2021-02-05 上海钐昆网络科技有限公司 一种数据查找方法、装置、设备及存储介质
CN112579575A (zh) * 2020-12-28 2021-03-30 超越科技股份有限公司 一种数据库索引结构的快速构建方法
CN112783896A (zh) * 2021-01-12 2021-05-11 湖北宸威玺链信息技术有限公司 一种用于加载文件减少内存使用率的方法
CN113297611A (zh) * 2021-02-08 2021-08-24 阿里云计算有限公司 数据处理、加密存储、读取方法、设备及存储介质
CN111782661B (zh) * 2020-07-21 2024-07-05 杭州海康威视数字技术股份有限公司 一种数据存储方法、数据查询方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1492363A (zh) * 2002-10-25 2004-04-28 联想(北京)有限公司 一种嵌入式系统的数据存放及其查找方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1492363A (zh) * 2002-10-25 2004-04-28 联想(北京)有限公司 一种嵌入式系统的数据存放及其查找方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
匿名: "数据库索引-B树/B+树等等", 《HTTP://BLOG.CHINAUNIX.NET/UID-23915916-ID-2653181.HTML》, 16 July 2010 (2010-07-16), pages 1 - 4 *
李晔锋: "数据仓库的存储研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, 15 October 2009 (2009-10-15), pages 1 - 63 *
邓小善: "SQL Server 数据库索引设计的研究", 《中国科技信息》, no. 22, 31 December 2006 (2006-12-31), pages 148 - 149 *

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799681B (zh) * 2012-07-24 2014-11-12 河海大学 一种面向任意段数据的Top-k查询方法
CN102799681A (zh) * 2012-07-24 2012-11-28 河海大学 一种面向任意段数据的Top-k查询方法
CN103577455A (zh) * 2012-07-31 2014-02-12 国际商业机器公司 用于数据库聚集操作的数据处理方法和系统
US9600559B2 (en) 2012-07-31 2017-03-21 International Business Machines Corporation Data processing for database aggregation operation
CN104035976A (zh) * 2014-05-23 2014-09-10 南京信息工程大学 一种gps卫星广播星历数据的存储与检索方法
CN104462461B (zh) * 2014-12-16 2017-09-29 用友网络科技股份有限公司 对表单进行排查空值处理的方法及装置
CN104462461A (zh) * 2014-12-16 2015-03-25 用友软件股份有限公司 对表单进行排查空值处理的方法及装置
CN106326309B (zh) * 2015-07-03 2020-02-21 阿里巴巴集团控股有限公司 一种数据查询方法和装置
CN106326309A (zh) * 2015-07-03 2017-01-11 阿里巴巴集团控股有限公司 一种数据查询方法和装置
CN105159941A (zh) * 2015-08-07 2015-12-16 小米科技有限责任公司 数据记录查找方法及装置
CN105159941B (zh) * 2015-08-07 2019-02-19 小米科技有限责任公司 数据记录查找方法及装置
CN105335475B (zh) * 2015-09-30 2018-07-10 中国科学院计算技术研究所 一种基于流式数据的局部性非聚簇索引方法及系统
CN105335475A (zh) * 2015-09-30 2016-02-17 中国科学院计算技术研究所 一种基于流式数据的局部性非聚簇索引方法及系统
CN106294603B (zh) * 2016-07-29 2019-07-23 北京奇虎科技有限公司 文件存储方法及装置
CN106294603A (zh) * 2016-07-29 2017-01-04 北京奇虎科技有限公司 文件存储方法及装置
CN106484790B (zh) * 2016-09-20 2021-03-26 上海万格生物科技有限公司 一种信息系统的样本库信息管理方法及装置
CN106484790A (zh) * 2016-09-20 2017-03-08 上海万格生物科技有限公司 一种信息系统的样本库信息管理方法及控件
CN106599062A (zh) * 2016-11-18 2017-04-26 北京奇虎科技有限公司 一种SparkSQL系统中的数据处理方法和装置
CN106844676B (zh) * 2017-01-24 2020-07-07 北京奇虎科技有限公司 数据存储方法及装置
CN106844676A (zh) * 2017-01-24 2017-06-13 北京奇虎科技有限公司 数据存储方法及装置
CN107704585A (zh) * 2017-10-09 2018-02-16 郑州云海信息技术有限公司 一种查询hdfs数据方法及系统
CN108228865A (zh) * 2018-01-15 2018-06-29 沈阳延云云计算技术有限公司 一种数据查询方法和装置
CN109992695B (zh) * 2019-04-10 2021-08-27 北京奇艺世纪科技有限公司 一种视频信息查询方法及装置
CN109992695A (zh) * 2019-04-10 2019-07-09 北京奇艺世纪科技有限公司 一种视频信息查询方法及装置
CN110069539A (zh) * 2019-05-05 2019-07-30 上海缤游网络科技有限公司 一种数据关联方法及系统
CN110069539B (zh) * 2019-05-05 2021-08-31 上海缤游网络科技有限公司 一种数据关联方法及系统
CN111767436A (zh) * 2020-06-23 2020-10-13 北京思特奇信息技术股份有限公司 一种hash索引数据的存储、读取方法与系统
CN111767436B (zh) * 2020-06-23 2023-11-10 北京思特奇信息技术股份有限公司 一种hash索引数据的存储、读取方法与系统
CN111782661A (zh) * 2020-07-21 2020-10-16 杭州海康威视数字技术股份有限公司 一种数据存储方法、数据查询方法和装置
CN111782661B (zh) * 2020-07-21 2024-07-05 杭州海康威视数字技术股份有限公司 一种数据存储方法、数据查询方法和装置
CN112328595A (zh) * 2020-10-30 2021-02-05 上海钐昆网络科技有限公司 一种数据查找方法、装置、设备及存储介质
CN112579575A (zh) * 2020-12-28 2021-03-30 超越科技股份有限公司 一种数据库索引结构的快速构建方法
CN112783896A (zh) * 2021-01-12 2021-05-11 湖北宸威玺链信息技术有限公司 一种用于加载文件减少内存使用率的方法
CN113297611A (zh) * 2021-02-08 2021-08-24 阿里云计算有限公司 数据处理、加密存储、读取方法、设备及存储介质

Similar Documents

Publication Publication Date Title
CN102375852A (zh) 建立数据索引的方法、利用该索引查询数据的方法和系统
CN107818115B (zh) 一种处理数据表的方法及装置
CN103020204B (zh) 一种对分布式顺序表进行多维区间查询的方法及其系统
US6546394B1 (en) Database system having logical row identifiers
CN107103032B (zh) 一种分布式环境下避免全局排序的海量数据分页查询方法
US7693875B2 (en) Method for searching a data page for inserting a data record
US20070124277A1 (en) Index and Method for Extending and Querying Index
CN104850572A (zh) HBase非主键索引构建与查询方法及其系统
CN111552692B (zh) 一种加减法布谷鸟过滤器
CN102375853A (zh) 分布式数据库系统、在其中建立索引的方法和查询方法
CN105279213A (zh) 一种日志数据库检索装置及检索方法
CN107491487A (zh) 一种全文数据库架构及位图索引创建、数据查询方法、服务器及介质
CN103186622A (zh) 一种全文检索系统中索引信息的更新方法以及装置
KR101238381B1 (ko) 다중범위 스캔에서의 ｎ 정렬 질의를 최적으로 처리하기 위한 방법 및 장치
CN101963993B (zh) 一种数据库单表记录快速查找的方法
US7725448B2 (en) Method and system for disjunctive single index access
CN101833511A (zh) 数据管理方法、装置和系统
US7440936B2 (en) Method for determining an access mode to a dataset
CN101493824A (zh) 数据库的数据检索方法和装置
CN109299143A (zh) 基于Redis缓存的数据互操作测试知识库的知识快速索引方法
JP3666907B2 (ja) データベース用ファイル格納管理システム
CN116450607A (zh) 数据处理方法、设备及存储介质
CN110413724A (zh) 一种数据检索方法和装置
CN113360551B (zh) 一种靶场中时序数据的存储与快速统计方法及系统
CN114416741A (zh) 基于多级索引的kv数据写入读取方法、装置及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20120314

RJ01 Rejection of invention patent application after publication