CN116610665A - 一种用于自增式数据检索的装置和方法 - Google Patents

Abstract

本发明公开了一种用于自增式数据检索的装置和方法。该装置包括一级索引构造模块、二级索引构造模块、待检索数据确定模块和数据检索模块。一级索引构造模块和二级索引构造模块分别构造用于快速检索数据的多个一级索引页和多个二级索引页并且一级索引页和二级索引页之间具有基于页地址的对应关系。当待检索数据确定模块接收到待索引行数据的主键ID时，数据检索模块基于该主键ID来确定多个一级索引页中的与该主键ID相关联的一级索引页并基于该一级索引页中的与该主键ID相对应的页地址来确定多个二级索引页组件中的与该页地址相对应的二级索引页，并通过该二级索引页基于该主键ID来定位到要检索的行数据。

Description

一种用于自增式数据检索的装置和方法

技术领域

本发明涉及信息技术，尤其涉及海量数据快速检索的技术。

背景技术

当前MYSQL主键数据检索采用的B+树索引结构来进行，由于该MYSQL主键索引结构的局限性，数据量在3万-2000万左右B+树层高为3，需要IO三次，随着数据量增大，需要IO的次数更多由于该数据库结构特性，随着数据量的增加，B+树层级会越来越高，导致IO检索效率变低。图1示出了现有技术中的MYSQL主键索引方案。

如图1所示，104代表主键id，102为页地址，106为行数据。如果当前需要检索id＝12的行数据，先从页1判断(第一次IO)，发现1<12<21，因此查找第二层页2(第二次IO)，再次判断出11<12，则继续查找第三层页6(第三次IO),最终在页6里结合页目录查找到id＝12的行数据。本流程一共涉及3次IO，且随着数据量增大，B+树层级会越来越高，IO次数也会越大，查询效率也会降低。

因此，需要能够改进现有技术中的缺陷的方法和系统，即需要一种不随数据量改变而影响查询效率的方案。

发明内容

提供本发明内容来以简化形式介绍将在以下具体实施方式部分中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

针对现有技术中的技术问题，本发明公开了一种用于自增式数据检索的装置和方法。该装置包括一级索引构造模块、二级索引构造模块、待检索数据确定模块和数据检索模块。一级索引构造模块和二级索引构造模块分别构造用于快速检索数据的多个一级索引页和多个二级索引页并且一级索引页和二级索引页之间具有基于页地址的对应关系。当待检索数据确定模块接收到待索引行数据的主键ID时，数据检索模块基于该主键ID来确定多个一级索引页中的与该主键ID相关联的一级索引页并基于该一级索引页中的与该主键ID相对应的页地址来确定多个二级索引页组件中的与该页地址相对应的二级索引页，并通过该二级索引页基于该主键ID来定位到要检索的行数据。

由此，本发明实现了MYSQL海量数据查询优化(诸如适用于视频监控业务场景)，并且随着数据的增加，IO次数永远保持2次。

具体而言，在本发明的一个实施例中，提供了一种用于自增式数据检索的装置，该装置包括：

一级索引构造模块，其被配置成构造多个一级索引页，每个一级索引页包括主键ID以及与该主键ID一一对应的页地址；

二级索引构造模块，其被配置成构造多个二级索引页，每个二级索引页包括主键ID以及与该主键ID一一相对应的行数据，其中该多个二级索引页与该多个一级索引页之间具有基于该页地址的对应关系；

待检索数据确定模块，其被配置成确定要检索的行数据以及该行数据的主键ID；以及

数据检索模块，其被配置成：

基于要检索的行数据的主键ID来确定该多个一级索引页中的与该主键ID相关联的一级索引页；

基于该一级索引页中的与该主键ID相对应的页地址来确定该多个二级索引页组件中的与该页地址相对应的二级索引页；以及

通过该二级索引页基于该主键ID来定位到要检索的行数据。

在本发明的一个实施例中，该多个一级索引页和该多个二级索引页具有连续的页标识符，并且该多个二级索引页的页标识符与该多个一级索引页中的页地址相对应。

在本发明的一个实施例中，该多个一级索引页中的主键-页地址对的数目基于一级索引页的大小与每个主键-页地址对的大小的比值来确定，并且该多个二级索引页中的主键-行数据对的数目基于二级索引页的大小与每个行数据的大小的比值来确定。

在本发明的上述实施例中，该数据检索模块被进一步配置成通过执行要检索的行数据的主键ID取余一级索引页中的主键-页地址对的数目来确定该多个一级索引页中的与该主键ID相关联的一级索引页以及该一级索引页中的与该主键ID相对应的页地址。

在本发明的上述实施例中，该多个一级索引页和该多个二级索引页中的主键ID的集合是等同的，该主键ID的集合包括所有行数据的主键ID，并根据一级索引页中的主键数目和二级索引页中的主键数目有序地分布在相应索引页中。

在本发明的另一个实施例中，提供了一种用于自增式数据检索的方法，该方法包括：

构造多个一级索引页，每个一级索引页包括主键ID以及与该主键ID一一对应的页地址；

构造多个二级索引页，每个二级索引页包括主键ID以及与该主键ID一一相对应的行数据，其中该多个二级索引页与该多个一级索引页之间具有基于该页地址的对应关系；

确定要检索的行数据以及该行数据的主键ID；

基于要检索的行数据的主键ID来确定该多个一级索引页中的与该主键ID相关联的一级索引页；

基于该一级索引页中的与该主键ID相对应的页地址来确定该多个二级索引页组件中的与该页地址相对应的二级索引页；以及

通过该二级索引页基于该主键ID来定位到要检索的行数据。

在本发明的一个实施例中，该多个一级索引页和该多个二级索引页具有连续的页标识符，并且该多个二级索引页的页标识符与该多个一级索引页中的页地址相对应。

在本发明的一个实施例中，该多个一级索引页中的主键-页地址对的数目基于一级索引页的大小与每个主键-页地址对的大小的比值来确定，并且该多个二级索引页中的主键-行数据对的数目基于二级索引页的大小与每个行数据的大小的比值来确定。

在本发明的上述实施例中，该方法进一步包括通过执行要检索的行数据的主键ID取余一级索引页中的主键-页地址对的数目来确定该多个一级索引页中的与该主键ID相关联的一级索引页以及该一级索引页中的与该主键ID相对应的页地址。

在本发明的上述实施例中，该多个一级索引页和该多个二级索引页中的主键ID的集合是等同的，该主键ID的集合包括所有行数据的主键ID，并且该方法进一步包括根据一级索引页中的主键数目和二级索引页中的主键数目将该主键ID的集合中的所有主键ID有序地分布在相应索引页中。

在本发明的又一个实施例中，提供了一种存储计算机可执行指令的计算机可读介质，这些指令包括：

用于构造多个一级索引页的指令，每个一级索引页包括主键ID以及与该主键ID一一对应的页地址；

用于构造多个二级索引页的指令，每个二级索引页包括主键ID以及与该主键ID一一相对应的行数据，其中该多个二级索引页与该多个一级索引页之间具有基于该页地址的对应关系；

用于确定要检索的行数据以及该行数据的主键ID的指令；

用于基于要检索的行数据的主键ID来确定该多个一级索引页中的与该主键ID相关联的一级索引页的指令；

用于基于该一级索引页中的与该主键ID相对应的页地址来确定该多个二级索引页组件中的与该页地址相对应的二级索引页的指令；以及

用于通过该二级索引页基于该主键ID来定位到要检索的行数据的指令。

在结合附图研读了下文对本发明的具体示例性实施例的描述之后，本发明的其他方面、特征和实施例对于本领域普通技术人员将是明显的。尽管本发明的特征在以下可能是针对某些实施例和附图来讨论的，但本发明的全部实施例可包括本文所讨论的有利特征中的一个或多个。换言之，尽管可能讨论了一个或多个实施例具有某些有利特征，但也可以根据本文讨论的本发明的各种实施例使用此类特征中的一个或多个特征。以类似方式，尽管示例性实施例在下文可能是作为设备、系统或方法实施例进行讨论的，但是应当领会，此类示例性实施例可以在各种设备、系统、和方法中实现。

附图说明

为了能详细理解本公开的以上陈述的特征所用的方式，可参照各方面来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中阐示。然而应该注意，附图仅阐示了本公开的某些典型方面，故不应被认为限定其范围，因为本描述可允许有其他等同有效的方面。

图1示出了现有技术中的MYSQL主键索引方案的示意图。

图2示出了根据本公开的一个实施例的用于自增式数据检索的装置的示意性框图。

图3示出了根据本公开的一个实施例的示例性MYSQL主键索引方案的示意图。

图4示出了根据本公开的一个实施例的用于自增式数据检索的方法的流程图。

具体实施方式

以下将参考形成本发明一部分并示出各具体示例性实施例的附图更详尽地描述各个实施例。然而，各实施例可以以许多不同的形式来实现，并且不应将其解释为限制此处所阐述的各实施例；相反地，提供这些实施例以使得本公开变得透彻和完整，并且将这些实施例的范围完全传达给本领域普通技术人员。各实施例可按照方法、系统或设备来实施。因此，这些实施例可采用硬件实现形式、全软件实现形式或者结合软件和硬件方面的实现形式。因此，以下具体实施方式并非是局限性的。

各流程图中的步骤可通过硬件(例如，处理器、引擎、存储器、电路)、软件(例如，操作系统、应用、驱动器、机器/处理器可执行指令)或其组合来执行。如本领域普通技术人员将理解的，各实施例中所涉及的方法可以包括比示出的更多或更少的步骤。

针对现有技术中的缺陷，本发明提出了一种不随数据量改变而影响查询效率的方案。具体而言，本发明公开了一种用于自增式数据检索的装置和方法。该装置包括一级索引构造模块、二级索引构造模块、待检索数据确定模块和数据检索模块。一级索引构造模块和二级索引构造模块分别构造用于快速检索数据的多个一级索引页和多个二级索引页并且一级索引页和二级索引页之间具有基于页地址的对应关系。当待检索数据确定模块接收到待索引行数据的主键ID时，数据检索模块基于该主键ID来确定多个一级索引页中的与该主键ID相关联的一级索引页并基于该一级索引页中的与该主键ID相对应的页地址来确定多个二级索引页组件中的与该页地址相对应的二级索引页，并通过该二级索引页基于该主键ID来定位到要检索的行数据。

由以上流程可看出随着数据量增加，IO次数始终保持为2次，但是索引数据占用的空间会增加。因此，本发明是以一种空间换时间的方式提高MYSQL数据的检索效率。

下文中将通过框图以及方法流程图对本公开的各方面进行更详细、更全面的描述。

图2示出了根据本公开的一个实施例的用于自增式数据检索的装置200的示意性框图。在下文中，将结合图3来阐示图2。图3示出了根据本公开的一个实施例的示例性MYSQL主键索引方案的示意图。

如图2所示，用于自增式数据检索的装置200包括一级索引构造模块202、二级索引构造模块204、待检索数据确定模块206、以及数据检索模块208。以下将对这些模块进行详细描述。

在本发明的一个实施例中，一级索引构造模块202可被配置成构造多个(N个)一级索引页(即，图2所示的索引页1到索引页N)，每个一级索引页可包括主键ID以及与该主键ID一一对应的页地址。如图3所示，一级索引页(诸如具有页标识符302“页1”的索引页)可包括主键ID 304以及与该主键ID相对应的一个页地址306。如图3所示，一级索引页中的主键ID和页地址具有一一对应的关系，每一个主键ID与对应的一个页地址组成“主键-页地址对”。

在本发明的一个实施例中，一级索引页中所包括的主键-页地址对的数量(即，主键ID的数量或页地址的数量)可基于一级索引页的大小与每个主键-页地址对的大小的比值来确定。在本发明的一个实施例中，一级索引页的默认大小可以是16KB，主键大小可以是8B，页地址的大小可以是6B，则主键-页地址对的大小可以是14B，并且该一级索引页中所包括的主键-页地址对的数量可以是16KB/14B＝1170个。如本领域技术人员可以理解的，在本发明的其他实施例中，可采用任何合适的主键和页地址大小，索引页大小也可以是其他默认值。

如本领域技术人员可以理解的，图3中的一级索引页中的主键-页地址对的数量(15个)仅仅是示例性的，而不是限制性的。

由此，一级索引构造模块202可基于行数据的总量以及每个一级索引页中的主键-页地址对的数量来以主键自增方式构造多个一级索引页，诸如图2中的N个一级索引页。在本发明的另一个实施例中，一级索引构造模块202所构造的多个一级索引页可以是是严格有序且相互关联的(即，可通过页1找到页2，也可通过页2找到页1)。

在本发明的一个实施例中，二级索引构造模块204可被配置成构造多个(M个)二级索引页(即，图2所示的索引页N+1到索引页N+M)，每个二级索引页包括主键ID以及与该主键ID一一相对应的行数据。如图3所示，二级索引页(诸如具有页标识符308“页5”的索引页)可包括主键ID 310以及与该主键ID相对应的一个行数据312。如图3所示，二级索引页中的主键ID和行数据具有一一对应的关系，每一个主键ID与对应的一个行数据组成“主键-行数据对”。

在本发明的一个实施例中，二级索引页中所包括的主键-行数据对的数量(即，主键ID的数量或行数据的数量)可基于二级索引页的大小与每个行数据的大小的比值来确定(原因可以是主键大小相比于行数据大小可以忽略不计)。在本发明的一个实施例中，二级索引页的默认大小可以是16KB，行数据的大小可以是1KB，则该二级索引页中所包括的主键-行数据对的数量可以是16KB/1KB＝16个。如本领域技术人员可以理解的，在本发明的其他实施例中，可采用任何合适的行数据大小，索引页大小也可以是其他默认值。

如本领域技术人员可以理解的，图3中的二级索引页中的主键-行数据对的数量(10个)仅仅是示例性的，而不是限制性的。

由此，二级索引构造模块204可基于行数据的总量以及每个二级索引页中的主键-行数据对的数量来以主键自增方式构造多个二级索引页，诸如图2中的M个二级索引页。在本发明的另一个实施例中，二级索引构造模块204所构造的多个二级索引页可以是是严格有序且相互关联的(即，可通过页5找到页6，也可通过页6找到页5)。

在本发明的一个实施例中，二级索引构造模块204所构造的二级索引页与一级索引构造模块202所构造的一级索引页之间具有基于页地址的对应关系。具体而言，如图3所示，多个一级索引页和多个二级索引页具有连续的页标识符(页1到页9)，并且该多个二级索引页的页标识符308与该多个一级索引页中的页地址306相对应，即一级索引页中的与主键ID 304相对应的页地址306可指示对应的主键ID处于多个二级索引页中的哪一个二级索引页中。

在本发明的一个实施例中，该多个一级索引页1～N和该多个二级索引页N+1～N+M中的主键ID的集合是等同的，该主键ID的集合包括所有行数据的主键ID，并根据一级索引页中的主键数目和二级索引页中的主键数目有序地分布在相应索引页中。如图3所示，主键ID的集合是主键1到主键50，这五十个主键被同时分布在四个一级索引页(共50个主键，每个一级索引页可包括15个主键，因此需要四个一级索引页，图3中为简明起见省略了一级索引页3和4)和五个二级索引页(供50个主键，每个二级索引页可包括10个主键，因此需要五个二级索引页)中。

在本发明的一个实施例中，待检索数据确定模块206可被配置成确定要检索的行数据以及该行数据的主键ID，以供基于该主键ID来进行行数据检索。

在本发明的一个实施例中，数据检索模块208可被配置成基于要检索的行数据的主键ID来确定该多个一级索引页中的与该主键ID相关联的一级索引页；基于该一级索引页中的与该主键ID相对应的页地址来确定该多个二级索引页组件中的与该页地址相对应的二级索引页；以及通过该二级索引页基于该主键ID来定位到要检索的行数据。

在本发明的一个实施例中，作为示例而非限制，在图3所示的示例性实施例中，当需要检索主键ID为17的行数据时，数据检索模块208可确定所构造的多个一级索引页中的与该主键ID相关联的一级索引页。在本发明的另一实施例中，这可通过执行要检索的行数据的主键ID取余一级索引页中的主键-页地址对的数目来确定该多个一级索引页中的与该主键ID相关联的一级索引页以及该一级索引页中的与该主键ID相对应的页地址。在图3中，主键ID为17且一级索引页中的主键-页地址对的数目为15，则执行17/15＝1余数2，由此数据检索模块208可确定与该主键ID 17相关联的一级索引页是页1(商为1)后的那个索引页，即页2，并且数据检索模块208还可确定该一级索引页(页2)中的与该主键ID 17相对应的页地址是第二个主键(余数为2)所对应的页地址(页6)。随后，数据检索模块208可基于该页地址找到相应的二级索引页(页6)，并且最后在该二级索引页中找到与主键ID 17相对应的行数据。

由以上流程可看出随着数据量增加，IO次数始终保持为2次，但是索引数据占用的空间会增加。如果按照B+树的结构，则2层高的结构可存储1170*16＝18720，当层高为3，则可索引的数量为1170*1170*16＝21902400，这时候索引文件占用大小为1170*16KB＝18M，如果采用本发明的上述技术方案，则索引文件大小为(21902400/1170)*16KB/1024＝292.5M,当数据量到1亿，同理可算出索引占用大小为1335M，因此索引占用空间可控。

因此，本发明是以一种空间换时间的方式提高MYSQL数据的检索效率。

图4示出了根据本公开的一个实施例的用于自增式数据检索的方法400的流程图。

方法400开始于步骤402，构造多个一级索引页，每个一级索引页包括主键ID以及与该主键ID一一对应的页地址。在本发明的一个实施例中，该多个一级索引页中的主键-页地址对的数目基于一级索引页的大小与每个主键-页地址对的大小的比值来确定。

接着，方法400继续至步骤404，构造多个二级索引页，每个二级索引页包括主键ID以及与该主键ID一一相对应的行数据，其中该多个二级索引页与该多个一级索引页之间具有基于该页地址的对应关系。在本发明的一个实施例中，该多个二级索引页中的主键-行数据对的数目基于二级索引页的大小与每个行数据的大小的比值来确定，并且该多个一级索引页和该多个二级索引页具有连续的页标识符，并且该多个二级索引页的页标识符与该多个一级索引页中的页地址相对应。在本发明的一个实施例中，该多个一级索引页和该多个二级索引页中的主键ID的集合是等同的，该主键ID的集合包括所有行数据的主键ID，并且该方法进一步包括根据一级索引页中的主键数目和二级索引页中的主键数目将该主键ID的集合中的所有主键ID有序地分布在相应索引页中。

然后，方法400继续至步骤406，确定要检索的行数据以及该行数据的主键ID。

接下来，方法400继续至步骤408，基于要检索的行数据的主键ID来确定该多个一级索引页中的与该主键ID相关联的一级索引页。在本发明的一个实施例中，该步骤进一步包括通过执行要检索的行数据的主键ID取余一级索引页中的主键-页地址对的数目来确定该多个一级索引页中的与该主键ID相关联的一级索引页以及该一级索引页中的与该主键ID相对应的页地址。

随后，方法400继续至步骤410，基于该一级索引页中的与该主键ID相对应的页地址来确定该多个二级索引页组件中的与该页地址相对应的二级索引页。

最后，方法400继续至步骤412，通过该二级索引页基于该主键ID来定位到要检索的行数据。

在步骤412后，方法400结束。

综上，本发明的技术方案通过一级索引和二级索引以分段取余的方式实现了对海量行数据的高效检索，由此使得能够随着数据增加，IO次数永远保持2次，从而实现MYSQL数据查询优化，解决了原生MYSQL索引B+树随着数据量增加，索引树层级变高带来的检索效率变低的问题。

以上参考根据本发明的实施例的方法、系统和计算机程序产品的框图和/或操作说明描述了本发明的实施例。框中所注明的各功能/动作可以按不同于任何流程图所示的次序出现。例如，取决于所涉及的功能/动作，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以按相反的次序来执行。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种用于自增式数据检索的装置，所述装置包括：

一级索引构造模块，其被配置成构造多个一级索引页，每个一级索引页包括主键ID以及与所述主键ID一一对应的页地址；

二级索引构造模块，其被配置成构造多个二级索引页，每个二级索引页包括主键ID以及与所述主键ID一一相对应的行数据，其中所述多个二级索引页与所述多个一级索引页之间具有基于所述页地址的对应关系；

待检索数据确定模块，其被配置成确定要检索的行数据以及所述行数据的主键ID；以及

数据检索模块，其被配置成：

基于所述要检索的行数据的主键ID来确定所述多个一级索引页中的与所述主键ID相关联的一级索引页；

基于所述一级索引页中的与所述主键ID相对应的页地址来确定所述多个二级索引页组件中的与所述页地址相对应的二级索引页；以及

通过所述二级索引页基于所述主键ID来定位到所述要检索的行数据。

2.如权利要求1所述的装置，其中所述多个一级索引页和所述多个二级索引页具有连续的页标识符，并且所述多个二级索引页的页标识符与所述多个一级索引页中的所述页地址相对应。

3.如权利要求1所述的装置，其中所述多个一级索引页中的主键-页地址对的数目基于一级索引页的大小与每个主键-页地址对的大小的比值来确定，并且所述多个二级索引页中的主键-行数据对的数目基于二级索引页的大小与每个行数据的大小的比值来确定。

4.如权利要求3所述的装置，其中所述数据检索模块被进一步配置成通过执行所述要检索的行数据的主键ID取余一级索引页中的所述主键-页地址对的数目来确定所述多个一级索引页中的与所述主键ID相关联的一级索引页以及所述一级索引页中的与所述主键ID相对应的页地址。

5.如权利要求3所述的装置，其中所述多个一级索引页和所述多个二级索引页中的主键ID的集合是等同的，所述主键ID的集合包括所有行数据的主键ID，并根据一级索引页中的主键数目和二级索引页中的主键数目有序地分布在相应索引页中。

6.一种用于自增式数据检索的方法，所述方法包括：

构造多个一级索引页，每个一级索引页包括主键ID以及与所述主键ID一一对应的页地址；

构造多个二级索引页，每个二级索引页包括主键ID以及与所述主键ID一一相对应的行数据，其中所述多个二级索引页与所述多个一级索引页之间具有基于该页地址的对应关系；

确定要检索的行数据以及所述行数据的主键ID；

基于所述要检索的行数据的主键ID来确定所述多个一级索引页中的与所述主键ID相关联的一级索引页；

基于所述一级索引页中的与所述主键ID相对应的页地址来确定所述多个二级索引页组件中的与所述页地址相对应的二级索引页；以及

通过所述二级索引页基于所述主键ID来定位到所述要检索的行数据。

7.如权利要求6所述的方法，其中所述多个一级索引页和所述多个二级索引页具有连续的页标识符，并且所述多个二级索引页的页标识符与所述多个一级索引页中的页地址相对应。

8.如权利要求6所述的方法，其中所述多个一级索引页中的主键-页地址对的数目基于一级索引页的大小与每个主键-页地址对的大小的比值来确定，并且所述多个二级索引页中的主键-行数据对的数目基于二级索引页的大小与每个行数据的大小的比值来确定。

9.如权利要求8所述的方法，进一步包括通过执行所述要检索的行数据的主键ID取余一级索引页中的所述主键-页地址对的数目来确定所述多个一级索引页中的与所述主键ID相关联的一级索引页以及所述一级索引页中的与所述主键ID相对应的页地址。

10.如权利要求8所述的方法，其中所述多个一级索引页和所述多个二级索引页中的主键ID的集合是等同的，所述主键ID的集合包括所有行数据的主键ID，并且所述方法进一步包括根据一级索引页中的主键数目和二级索引页中的主键数目将所述主键ID的集合中的所有主键ID有序地分布在相应索引页中。