CN108460067B - 基于数据的瓦片索引结构、索引构建方法和数据检索方法 - Google Patents

Abstract

本发明公开了一种基于数据的瓦片索引结构、索引构建方法和数据检索方法，能够实现在大数据量情况下，通过为数据构建索引且在此基础上进行相关的查询检索，大大提高了数据检索效率。其技术方案为：索引构建方法包括：获取源数据的属性项并将其解析提取；依据瓦片索引设置对源数据进行分析计算以得到该源数据对应的瓦片，其中从源数据的属性项中选择一类或多类的组合，制定可以依据所选的属性项或其组合将源数据在该些属性项的维度上对源数据中的每条数据加以分类的设置为瓦片索引设置，对源数据中依据瓦片索引设置分类的组为瓦片；在该瓦片对应的瓦片索引中记录对应关系，构建整个瓦片索引结构，其中对应关系指向源数据中的一条数据或者数据组。

Description

基于数据的瓦片索引结构、索引构建方法和数据检索方法

技术领域

本发明涉及数据索引方法，尤其涉及针对大数据量情况下的数据索引方法。

背景技术

在各类数据的索引技术方法领域，给数据建立索引的方法和技术已经比较成熟，在现在的已有针对数据构建索引和检索的技术方面，无论是基于关系型数据库自带的存储、检索、查询机制或用其他技术实现的方法，在普通数据量的空间数据场景下，能够实现较高效率的数据检索，但是在大数据时代，当应对海量数据的时候，实现高效率的数据检索则至关重要，例如普通的大型关系型数据库，在处理达到一定数量以上的数据的时候，其查询检索的响应时间就会极速下降，一直以来没有新的技术和方法突破，但数据的体量越来越大，动辄需要存储检索数以亿计的数据量，在这种大数据场景下，利用关系型数据库和目前的相关的技术实现的存储和检索机制，远远不能满足对数据在某些维度上的索引、检索的效率要求。

发明内容

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。

本发明的目的在于解决上述问题，提供了一种基于数据的瓦片索引结构、索引构建方法和数据检索方法，能够实现在大数据量情况下，通过为数据构建索引且在此基础上进行相关的查询检索，大大提高了数据检索效率。

本发明的技术方案为：本发明揭示了一种基于数据的索引构建方法，包括：

获取源数据的属性项并将属性项解析提取出来；

依据瓦片索引设置，对源数据进行分析计算以得到该源数据对应的瓦片，其中从源数据的属性项中选择一类或多类的组合，制定可以依据所选的属性项或其组合将源数据在该些属性项的维度上对源数据中的每条数据加以分类的设置为瓦片索引设置，对源数据中依据瓦片索引设置分类的组为瓦片；

在该瓦片对应的瓦片索引中记录对应关系及相关数据，从而构建整个瓦片索引结构，其中对应关系指向源数据中的一条数据或者数据组。

根据本发明的基于数据的索引构建方法的一实施例，该瓦片索引中记录的对应关系用于对数据的查询或检索时进行定位。

根据本发明的基于数据的索引构建方法的一实施例，瓦片索引的信息存储在数据库或文件中。

本发明还揭示了一种基于瓦片的数据检索方法，检索是通过如上所述的索引构建方法而建立的瓦片索引结构实现的，数据检索方法包括：

根据检索条件计算满足检索条件的瓦片集合；

基于瓦片索引结构，从瓦片集合中查找对应的瓦片索引；

读取每个查找到的瓦片索引中记录的与源数据的对应关系的标识并取其并集，作为数据检索结果。

根据本发明的基于瓦片的数据检索方法的一实施例，在根据检索条件计算满足检索条件的瓦片集合的步骤中，首先根据瓦片索引设置将检索条件中的数据属性项生成瓦片索引。

根据本发明的基于瓦片的数据检索方法的一实施例，在读取每个查找到的瓦片索引中记录的与源数据的对应关系的标识并取其并集的步骤之后，过滤掉不满足条件的数据。

根据本发明的基于瓦片的数据检索方法的一实施例，瓦片索引结构的存储形式包括文件、数据库。

本发明还揭示了一种基于数据的瓦片索引结构，包括依据瓦片索引设置建立的多个瓦片，每个瓦片下建有对应的瓦片索引，每个瓦片索引下记录与源数据的对应关系以及数据相关属性，其中从源数据的属性项中选择一类或多类的组合，制定可以依据所选的属性项或其组合将源数据在该些属性项的维度上对源数据中的每条数据加以分类的设置为瓦片索引设置，对源数据中依据瓦片索引设置分类的组为瓦片。

根据本发明的基于数据的瓦片索引结构的一实施例，瓦片索引结构的存储形式包括文件、数据库。

本发明对比现有技术有如下的有益效果：本发明在数据上重新构建索引机制，即，将数据进行分组聚合，按照一定的规则生成数据索引，并通过这一索引实现数据的快速查询、检索，大大提升数据的实际应用效率。在进行数据检索的时候，避开了复杂的数学运算，从而保证数据检索的效率不会随着数据量的增大而不断下降，在实际应用中有很好的实际应用价值，尤其是针对大数据方面的应用。

附图说明

在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。

图1示出了本发明的瓦片索引结构的一实施例的示意图。

图2示出了本发明的基于数据的索引构建方法的一实施例的流程图。

图3示出了本发明的基于瓦片的数据检索方法的一实施例的流程图。

具体实施方式

以下结合附图和具体实施例对本发明作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。

图2示出了本发明的基于数据的索引构建方法的一实施例的流程。请参见图2，下面是对本实施例的索引构建方法的实施步骤的详细描述。

步骤S11：获取源数据的属性项并将属性项解析提取出来。

这些属性项一般是源数据中的某些需要被查询检索的属性项，例如时间、长度、温度等，这些属性项可以为数据库中的字段、文件中的列或其他自定义结构中的某类属性数据项。

步骤S12：依据瓦片索引设置，对源数据进行分析计算以得到该源数据对应的瓦片。

瓦片索引设置的定义为：从源数据的属性项中选择一类或多类的组合，制定可以依据所选的属性项或其组合将源数据在该些属性项的维度上对源数据中的每条数据加以分类的设置。

瓦片的定义为：对源数据中依据瓦片索引设置分类的组，划分出的一个组定义为一个瓦片。例如将连续的时间划分为等分或不等分的时间段就是一组分组方式。组可以是逻辑的或物理的，主要是逻辑上的，即对源数据无需进行物理分组，在实际应用中也可以对源数据按照瓦片索引设置进行物理分组。

步骤S13：在该瓦片对应的瓦片索引中记录对应关系，从而构建整个瓦片索引结构。

其中的对应关系用于对数据的查询或检索时进行快速定位，找到源数据中的所需的数据或数据相关信息。瓦片索引中所记录的对应关系可以对应于源数据中的一条数据，也可以对应于满足条件的数据组，或是对应于通过处理生成的其他相关信息。举例说明瓦片索引中记录的信息内容，例如在瓦片索引中记录某数据在源数据中的所存放的位置信息，如数据库文件中该数据的路径及记录号或文件数据中该数据的存放路径、开始位置及数据长度，或其他可记录该条数据在源数据中存放位置的方式；索引中也可以根据实际应用需求记录和保存其他的相关的其他数据信息，例如同时在瓦片索引中记录源数据中该条数据的ID、关键字或其他属性数据。

整个瓦片索引结构，亦即瓦片索引的所有信息，可以存储在数据库或文件或其他方式中。无论是数据库或是文件，其信息存储的原理都相同，瓦片索引的结构需清晰合理，从应用效率、存储容量大小等多方面综合考量，便于实现后续查询、检索及应用实现。

由上述的索引构建方法的实施例所建立的瓦片索引结构，包括依据瓦片索引设置建立的多个瓦片，每个瓦片下建有对应的瓦片索引，每个瓦片索引下记录与源数据的对应关系以及数据相关属性，其中从源数据的属性项中选择一类或多类的组合，制定可以依据所选的属性项或其组合将源数据在该些属性项的维度上对源数据中的每条数据加以分类的设置为瓦片索引设置，对源数据中依据瓦片索引设置分类的组为瓦片。瓦片索引结构的存储形式包括文件、数据库，图1示出了以文件类型存储架构的瓦片索引结构的一种示例。

在图1中，假设所有的瓦片索引文件都存在某一个文件夹中，这个文件夹是索引文件存储的根目录。其一级子目录为文件夹目录，文件夹的名称在本例中定义为“瓦片”+瓦片序号，瓦片数量为N，则总共会有N个一级子目录(即瓦片目录)，其名称分别为“瓦片1”到“瓦片N”。

在对应的瓦片目录下，生成对应的瓦片索引文件，索引文件的名称可以自定义。在本例中假设一个瓦片目录下生成的对应的瓦片索引文件数量不是一个，而是M个，瓦片索引名称定义为“瓦片索引”+瓦片序号+“-”+瓦片索引序号。

如果瓦片下的数据量过大，导致文件的尺寸太大影响文件存取效率，则可以通过一定的方法把一个文件划分为多个文件进行分批存储。

如果一级子目录的数量N或文件夹下文件数量M过大，导致系统级别的文件目录处理效率，或者某些操作系统本身对于文件或文件夹的数量有上限，则可以通过一定的方法把一级子目录转换为多级子目录。这不影响本发明的核心理念。

每个瓦片索引中记录如前所述的与源数据的关系说明及所需的其他相关数据信息。

基于如前述实施例的构建方法以及构建出的瓦片索引结构，可以实现如图 3所示的数据检索方法。以下是对基于瓦片的数据检索方法的实施例的各个步骤的详细描述。

步骤S21：根据检索条件计算满足检索条件的瓦片集合。

在计算前首先根据瓦片索引设置将检索条件中的数据属性项生成瓦片索引。

步骤S22：基于瓦片索引结构，从瓦片集合中查找对应的瓦片索引。

步骤S23：读取每个查找到的瓦片索引中记录的与源数据的对应关系的标识并取其并集，作为数据检索结果。

在取得并集后还需要去除一些不满足条件的数据后再将数据集作为数据检索结果输出。

瓦片索引结构的存储形式包括文件、数据库，以文件存储为例，从瓦片集合中读取相应的瓦片目录，并依次读取瓦片目录下的瓦片索引文件，把瓦片索引文件中存储的记录与源数据的对应关系的标识读取出来，遍历后把读取到的所有源数据的标识取并集，这其中要去除一些不满足条件的数据，该数据集就是符合条件的预期查询结果。

以上以文件存储的形式举例说明了数据检索的方法。该方法的核心在于对要检索的数据得出所包含的瓦片集合，从而找到所有瓦片索引数据，通过索引数据找到对应的源数据信息集合。只要是符合本核心特征的检索方法，无论其采用何种存储方法(文件型、数据库型、或其他)，都应视作与本发明雷同。

总的来说，本发明的关键在于以下几点：

1、本发明的方法通过对数据进行瓦片化的分割计算，将数据变成了离散的逻辑或物理数据组(即瓦片)，从而将原本极难解决的海量数据检索问题，巧妙地转换为了首先针对瓦片的检索，通过瓦片查询的结果可以实现对目标数据的快速定位，将复杂的问题通过抽析进行了大幅简化，使数据应用效率大幅提高。

2、上述数据索引存储结构的设计方法是以原始数据经过运算后得出的瓦片结构作为索引存储的依据，以瓦片作为索引架构的关键组成，这样的做法就实现了一种全新的数据以数据项的瓦片维度的存储结构，该方法实现了除传统关系型数据库之外的另外一种针对数据查询、索引及应用的存储机制，从而为创造性地对数据检索提供了基础。

3、上述描述的以瓦片索引作为数据检索目标的方法通过以瓦片结构为基础生成的瓦片索引，以索引中所记录的与源数据一一对应的方法快速找到相关原始数据，从而实现了对数据的快速检索。由于能够将数据抽析转换为结构更为清晰简单的瓦片，同时在数据应用的时候不需要经过任何复杂公式运算，因此使该方法的数据检索效率不会随着数据量的增大而出现快速下降。

尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。

本领域技术人员将进一步领会，结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。

结合本文所公开的实施例描述的各种解说性逻辑板块、模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP 与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。

结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM 存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。

在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM 或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。

提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。

Claims (9)

1.一种基于数据的索引构建方法，其特征在于，包括：

获取源数据的属性项并将属性项解析提取出来，其中属性项包括时间、长度、温度，该些属性项来自于数据库中的字段、文件中的列或自定义结构；

依据瓦片索引设置，对源数据进行分析计算以得到该源数据对应的瓦片，其中从源数据的属性项中选择一类或多类的组合，制定依据所选的属性项或其组合将源数据在该些属性项的维度上对源数据中的每条数据加以分类的设置为瓦片索引设置，对源数据中依据瓦片索引设置分类的组为瓦片，其中组是逻辑的或者物理的，对于逻辑的情况，则无需对源数据进行物理分组，对于物理的情况，则需要对源数据按照瓦片索引设置进行物理分组；

在该瓦片对应的瓦片索引中记录对应关系及相关数据，从而构建整个瓦片索引结构，其中对应关系指向源数据中的一条数据或者数据组；

其中所有的瓦片索引文件都存在一个文件夹中，该文件夹是索引文件存储的根目录，根目录的一级子目录为文件夹目录，文件夹的名称定义为瓦片以及瓦片序号的组合，即为瓦片目录，在对应的瓦片目录下生成对应的瓦片索引文件，瓦片索引文件的名称包括瓦片索引、瓦片序号、以及瓦片索引序号；

在瓦片索引中记录数据在源数据中的所存放的位置信息，索引中根据实际应用需求记录和保存其他的相关的其他数据信息。

2.根据权利要求1所述的基于数据的索引构建方法，其特征在于，该瓦片索引中记录的对应关系用于对数据的查询或检索时进行定位。

3.根据权利要求1所述的基于数据的索引构建方法，其特征在于，瓦片索引的信息存储在数据库或文件中。

4.一种基于瓦片的数据检索方法，其特征在于，检索是通过如权利要求1至3中任一项所述的索引构建方法而建立的瓦片索引结构实现的，数据检索方法包括：

根据检索条件计算满足检索条件的瓦片集合；

基于瓦片索引结构，从瓦片集合中查找对应的瓦片索引；

读取每个查找到的瓦片索引中记录的与源数据的对应关系的标识并取其并集，作为数据检索结果。

5.根据权利要求4所述的基于瓦片的数据检索方法，其特征在于，在根据检索条件计算满足检索条件的瓦片集合的步骤中，首先根据瓦片索引设置将检索条件中的数据属性项生成瓦片索引。

6.根据权利要求5所述的基于瓦片的数据检索方法，其特征在于，在读取每个查找到的瓦片索引中记录的与源数据的对应关系的标识并取其并集的步骤之后，过滤掉不满足条件的数据。

7.根据权利要求5所述的基于瓦片的数据检索方法，其特征在于，瓦片索引结构的存储形式包括文件、数据库。

8.一种基于数据的瓦片索引结构装置，其特征在于，包括依据瓦片索引设置建立的多个瓦片，每个瓦片下建有对应的瓦片索引，每个瓦片索引下记录与源数据的对应关系以及数据相关属性，其中从源数据的属性项中选择一类或多类的组合，其中属性项包括时间、长度、温度，该些属性项来自于数据库中的字段、文件中的列或自定义结构，制定依据所选的属性项或其组合将源数据在该些属性项的维度上对源数据中的每条数据加以分类的设置为瓦片索引设置，对源数据中依据瓦片索引设置分类的组为瓦片；其中组是逻辑的或者物理的，对于逻辑的情况，则无需对源数据进行物理分组，对于物理的情况，则需要对源数据按照瓦片索引设置进行物理分组；所有的瓦片索引文件都存在一个文件夹中，该文件夹是索引文件存储的根目录，根目录的一级子目录为文件夹目录，文件夹的名称定义为瓦片以及瓦片序号的组合，即为瓦片目录，在对应的瓦片目录下生成对应的瓦片索引文件，瓦片索引文件的名称包括瓦片索引、瓦片序号、以及瓦片索引序号；在瓦片索引中记录数据在源数据中的所存放的位置信息，索引中根据实际应用需求记录和保存其他的相关的其他数据信息。

9.根据权利要求8所述的基于数据的瓦片索引结构装置，其特征在于，瓦片索引结构的存储形式包括文件、数据库。

Images