CN108182242A - 一种用于海量多维数值数据范围查询的索引方法 - Google Patents

Abstract

本发明针对现有数据结构无法高效处理海量多维数值数据的查询问题，提出了一种面向海量多维数值数据查询的索引方法，方法包括：为存储在分布式数据库中的多维数据集构建多维索引；接收用户发送的查询请求，根据用户需求通过多维索引查询数据；当查询到符合查询请求的数据后，将不同查询类型的查询结果返回用户。多维索引结构包括如下特点：(1)是一棵多维有序查询树，每层表示一个数据维度，从根节点开始，具有相同父节点的边按从左至右递增排列。(2)查询路径唯一，即如果查询条件存在，则有且只有一条路径与之对应。(3)树的深度与数据的维度唯一相关，树中不存在冗余路径。(4)树的叶子节点存储数据信息，节点数量最优化。

Description

一种用于海量多维数值数据范围查询的索引方法

技术领域

本发明涉及计算机技术领域，尤其涉及一种用于海量多维数值数据范围查询的索引方法。

背景技术

随着各领域数据的爆炸式增长，数据的维度也随之在激增，基于传统的文件系统和关系型数据库对这些数据的存储、分析、访问等操作都受到了极大的限制。以气象领域数据为例，在实际的情况中，气象数据的日增量达到了10TB，并且数据的维度也越来越多，包括地表温度、气压、风速、湿度、降水量等维度。

目前，针对海量多维数据的存储问题，新兴的云计算系统为广大用户提供了廉价而又强大的存储设备，通过云存储的方式解决了海量数据的存储问题。然而，大多数现有的云存储系统通常采用的是分布式散列表的方式为海量多维数据构建索引，这些数据中多为Key-Value的形式存储，这使得当前的云存储系统更多考虑和支持的是点查询，并且在进行多维点查询时需要扫描整个数据集。这种方式是十分低效的，因此需要利用到多维索引来优化查询，R-Tree、Quadtree虽可以提高数据存储和查询的性能，但是通常用于二维空间,OcTree多应用于三维空间。在针对三维以上，特别是五维以上的海量数据时，传统的数据索引显得力不从心，本发明针对这个问题提出了一种用于海量多维数值数据范围查询的索引方法。

在实际应用过程中，点查询显然是不够的，很多领域都有多维范围查询方面的需求，如在基于位置的服务中，用户通常需要根据他的经度、纬度和时间等多个维度来查找对象，而且在查询多个属性后需要立即返回结果，传统的查询方式显然无法满足这样的需求，实验证明，通过本发明的索引方法可以迅速查询范围数据的信息，并获得数据的存储位置，迅速查询到结果并返回，特别的，本发明支持高效的多维范围查询。

发明内容

本发明所解决是针对多领域数据量和数据维度激增的情况下，对大量多维数值数据的查询性能低下的问题，为解决这个问题提出了一种用于海量多维数值数据范围查询的索引方法。根据用户的不同查询需求，这种索引方法支持三种查询方式：多维布尔查询、多维点查询、多维范围查询。与传统的索引结构相比，本发明的优势在于支持高效的多维数值范围查询，这种查询的效率不会随着数据维度的增大出现指数级增长，其查询效率基本趋于稳定。

定义1，p表示前缀值；P(d，k)表示多维数据d中第k维数据的前缀值；R(p)是前缀p表示的取值范围。

定义2，前缀的覆盖：若R(p_i)∈R(p_j),则称p_j覆盖p_i；若p_i,p_j不存在覆盖关系，则R(p_i)∩R(p_j)＝φ。

定义3，最小公共前缀(MCP)：给定两个前缀p_i，p_j，两者的最小公共前缀p满足：R(p_i)∈R(p)且R(p_j)∈R(p)，我们用MCP(p_i，p_j)表示它们的最小公共前缀。

定义4，前缀的合并：给定两个前缀p_i，p_j，若p_i和p_j有相同数量的“*”，且只有“*”前面的第一位是不同的，则表示p_i∪p_j能够表示成一个前缀，即p_i和p_j能够合并。

定义5，如果索引树存在n条从根节点到叶子节点的路径，则可用S_i表示第i条路径(0≤i≤n)，用S_m表示合并的路径，用S_new表示新增的路径。

本发明的技术方案如下，一种用于海量多维数值数据范围查询的索引方法，包括以下特点：

(1)是一棵多维有序查询树，每层表示一个数据维度，从根节点开始，具有相同父节点的边按从左至右递增的顺序排列。

(2)查询路径唯一，即如果查询条件存在，则有且只有一条路径与之对应

(3)树的深度与数据的维度唯一相关，树中不存在冗余路径。

(4)树的叶子节点表示数据存储信息，总节点数量达到最优。

包括以下步骤：

步骤1：根据待查询的数据维度信息，为存储在分布式数据库中的多维数值数据集构建多维索引。

在构建多维索引之前，需要对多维数据进行处理和转换，本发明在构建索引结构时采用的是二进制前缀(Prefix)，需要首先将多维数据转换成每一维都是二进制前缀的形式。

所述二进制前缀满足两个性质：

(1)任意一个前缀仅可表示一个取值范围，但是一个取值范围不一定只由一个前缀表示。

(2)给出两个前缀p_i和p_j,它们之间的关系只有两种情况：

(a)p_i∩p_j＝φ

(b)p_i∩p_j＝p_i或p_i∩p_j＝p_j

根据以上两个性质，在进行数据转换时，可能存在某个维度数据需要用多个前缀表示的情况，这个时候我们可以根据前缀规则将维度数据转换成多条前缀表示的数据。

步骤2：根据处理成前缀形式的多维数据构建多维索引，通过新增、合并、去除冗余获得最简索引树。

(1)新增

取一条前缀表示的多维数据d，插入多维索引树中；

若索引树为空，则直接新增，从根节点开始，按维度依次构建，节点表示维度k，与节点相连的边设置为P(d，k)，表示第k维度的取值范围R(p)。

若索引树不为空，则从根节点开始判断下一节点的位置，若存在与该数据维度的前缀完全匹配的边，则可直接重用这条边；若不存在完全匹配的边，根据索引树具有相同父节点的边按从左至右递增排列的特征，与节点相连的边要按顺序排列，通过依次进行前缀匹配，找到符合条件的位置插入节点，并与上一层节点连接一条边，依次循环插入直至叶子节点，生成一条新增的路径S_new。

(2)合并

通过(1)可以获得新增了一条新路径的索引树，将新增的这条路径S_new依次与已有路径S_i进行比较，判断S_new和S_i的对应的边是否可以合并，若可以合并，则合并两条边的前缀，生成一个新的合并前缀并赋值给一条新的边。通过合并会生成一条路径S_m，根据边的有序性，S_m将放在S_new的右侧。以此循环，合并所有可以合并的边，并将生成的合并路径依次放在S_new右侧，保证同父节点的边按从左至右递增排列。

(3)去除冗余

经过(2)后，索引树中新增了一条新路径S_new和若干合并路径S_m，这样必定增多了索引树的节点数量和路径数量，因此步骤3主要是为了去除冗余的边。

将S_m依次与排在它左边的路径进行比较，寻找对应边的最小公共前缀MCP，若存在前缀覆盖关系，则被覆盖的边是冗余边，依次比较对应维度的边，若S_m完全包含被比较的路径，则称被比较的路径是该路径的冗余路径，执行删除操作。

本发明提出的索引结构支持三种不同类型的查询方式，包括布尔查询、点查询和范围查询。

(1)布尔查询

布尔查询定义为Q(Boolean)，主要用于快速判断查询的多维数据是否存在，这里Boolean＝{P₁，P₂，P₃，…，P_m},P_m表示第m个维度的查询条件，通常为数据点。当用户发起一个布尔查询时，首先将查询条件转换成前缀值，通过前缀匹配的方式在预先构建的索引结构中开始遍历，从第一个维度开始比较该维度的查询值与对应维度边的值的大小，判断下一步应该遍历哪条边。若遍历到某个维度对应的节点时，发现与该节点相连的边前缀匹配都不成功，可以直接返回False，表示查询数据不存在；反之，则返回True。

(2)点查询

点查询定义为Q(Point)，用于快速找出符合查询条件的数据信息，这里Point＝{P₁，P₂，P₃，…，P_m},P_m表示第m个维度的查询条件，都为数据点。同(1)布尔查询一样，当用户发起一个点查询时，通过预先构建的索引结构从根节点开始遍历，直到找到与查询条件前缀完全匹配的一条路径为止，这样的路径至多一条，返回对应路径叶子节点的数据存储信息。

(3)范围查询

范围查询定义为Q(Range),用于快速查找多维范围条件内的数据信息，这里Range＝{P₁，P₂，P₃，…，P_m},P_m表示第m个维度的查询条件，都为前缀表示的取值范围。当用户发起一个范围查询时，首先需要判断查询条件是否需要用多个前缀表示，若需要拆成多了前缀，则将范围查询条件表示成多了前缀表示的查询条件，依次通过预先构建的索引结构从根节点开始遍历，查找与查询条件前缀完全匹配的多条路径，这样的路径可能存在多条，返回对应路径所有叶子节点的数据存储信息。

本发明提出的索引方法在查询上具有优势，特别是数值范围查询。假设索引树有m层，每层节点不超过n，它的查询算法的时间复杂度为O(mlogn)。

附图说明

图1为本发明多维索引方法的流程图。

图2为本发明多维索引结构的构建流程图。

图3为用本发明的多维索引进行点查询的流程图。

图4为用本发明的多维索引进行范围查询的流程图。

图5为本发明基于多维索引的海量数据查询系统整体架构图。

图6为本发明多维索引与R树查询效率的对比图。

具体实验方式

为了更清楚的说明本发明的索引方法，下面结合附图和具体实例对本发明作进一步的详细说明。

本发明提出的多维索引方法流程图如图1所示，包括以下步骤：

(1)将存储在分布式系统中的原始多维数据转换成前缀表示的多维数据；

(2)为前缀表示的多维数据构建多维索引；

(3)根据用户需求通过多维索引查询多维数据；

(4)返回不同查询方式下的查询结果。

对于步骤(2)中多维索引的构建，其流程图如图2所示，包括以下步骤：

获取多维数据集中的一条数据，遍历每个数据维度，判断多维数据中是否已经完全存在该条数据，若未完全存在，则新增该条数据为新路径；反之获取下一条多维数据。

判断是否能够与已有路径合并，若不能合并，执行结束操作；若能够合并，则新增合并路径。

判断合并路径是否与已有路径冗余，若存在冗余，则删除冗余路径；反之执行结束操作。

图3为用本发明的多维索引进行点查询的流程图，包括以下步骤：

判断查询条件各维度的数据是否全为点数据；

利用前缀规则转换查询条件为二进制前缀形式；

利用前缀匹配在多维索引中进行点查询；

若查询条件存在，则返回一条查询结果，反之返回“False”。

图4为用本发明的多维索引进行范围查询的流程图，包括以下步骤：

判断查询条件各维度的数据是否全为范围数据；

利用前缀规则转换查询条件为二进制前缀形式；

利用前缀匹配在多维索引中进行范围查询；

若查询条件存在，则返回一条或多条查询结果；反之返回“False”

本发明实施例中，以多维气象数据为例进行说明。气象领域的数据具有大规模、多维度的特点，包括地表温度、降水量、风速、气压、湿度等维度。因其数据量较大，一般用现有的云存储技术对它进行存储，但是因其数据量大、维度多，进行数据查询与处理时效率较慢。

针对多维气象数据设计了一个基于多维索引的海量数据查询系统，如图5所示，为该系统的整体架构图，分为客户端和服务器端。

用户在客户端启动查询系统，系统将主界面呈现给用户，主要包括菜单栏、索引构建模块、数据查询模块。索引构建模块主要提供表温度、降水量、风速、气压、湿度这五个维度的气象数据的索引构建。数据查询模块支持布尔查询、点查询、范围查询，能够迅速返回查询结果。用户可以按需求选择不同的查询类型，然后向服务器发送查询请求。

服务器端接收用户查询请求，获取多维查询条件，一般多维数据查询都需要遍历数据集查询符合条件的数据，再返回查询结果。本发明多维索引方法查询流程图如图3、4所示，首先利用前缀规则转换查询条件，再利用前缀匹配在多维索引中进行查询，根据查询结果在分布式系统中查找到数据返回给客户端。

图6为本发明的多维索引和R树查询效率的对比图，从图中可以看出，随着数据量的增加，本发明中多维索引的查询时间变化很小，且查询100条数据的时间控制在15～20ms范围内，而R树的查询时间随着数据量的增加呈现明显的上升趋势。

Claims (5)

1.一种用于海量多维数值数据范围查询的索引方法，其特征在于，包括以下步骤：

根据待查询的数据维度信息，为存储在分布式数据库中的多维数值数据集构建多维索引。

接收用户发送的查询请求，包括数据的查询维度和各个维度的值。根据所述查询请求的不同，在预先构建的多维索引结构中查询数据的分布式存储信息，所述索引方法支持多维布尔查询、多维点查询、多维范围查询。

当查询到符合所述查询请求的数据后，将不同查询类型的查询结果返回用户。

2.根据权利要求1所述的一种用于海量多维数值数据查询的索引方法，其特征在于，构建的多维索引具体包括：

1)是一棵多维有序查询树，每层表示一个数据维度，从根节点开始，具有相同父节点的边按从左至右递增排列。

2)查询路径唯一，即如果查询条件存在，则有且只有一条路径与之对应

3)树的深度与数据的维度唯一相关，树中不存在冗余路径。

4)树的叶子节点存储数据信息，节点数量达到最优。

3.根据权利要求1所述的一种用于海量多维数值数据查询的索引方法，其特征在于，所述为存储在分布式数据库中的多维数值数据集构建多维索引包括以下步骤：

步骤1：新增

从多维数据集中抽取一条多维数据，将每维数据的值转化成表示取值范围的二进制前缀；

若索引树为空，则直接新增，从根节点开始，按维度构建，节点表示维度，节点之间相连的边表示各维度的值；若索引树不为空，则从根节点开始判断下一节点的位置，根据2所述索引结构的特征，与节点相连的边要按从左至右递增的顺序排列，找到符合条件的位置插入节点，并与上一节点连接边，依次循环插入直至叶子节点。

步骤2：合并

通过步骤1可以获得新增了一条新路径的索引树，将新增的这条路径依次与已有路径进行比较，判断是否有能够合并的边，因为各边的值都是前缀形式的，可以通过前缀直接进行合并操作。

若存在可以与新路径合并的边，则将两条路径的可合并的边合并后生成一条新的路径，放在新路径右侧，以此循环，合并所有可以合并的边，并将生成的合并路径依次放在新路径右侧，保证同父节点的边按从左至右递增的顺序排列。

步骤3：去除冗余

经过步骤2后，索引树中新增了一条新路径和若干合并后的新路径，这样必定增多了索引树的节点数量和路径数量，因此步骤3主要是为了去除冗余路径。

步骤2新增的合并路径需要依次与同父节点并排在它左边的路径进行比较，若合并后的路径完全包含被比较的路径，则将被比较的路径是该路径的冗余路径，执行删除操作。

步骤4:

依次循环步骤1、2、3，为多维数据集构建好多维索引。

4.根据权利要求1所述的一种用于海量多维数值数据查询的索引方法，其特征在于，所述根据查询请求的不同，支持三种查询方式包括：

1)布尔查询

布尔查询定义为Q(Boolean)，主要用于快速判断查询的多维数据是否存在，这里Boolean＝{P₁，P₂，P₃，…，P_m},P _m表示第m个维度的查询条件，通常为数据点。当用户发起一个布尔查询时，通过预先构建的索引结构从根节点开始遍历，从第一个维度开始比较该维度的查询值与对应维度边的值的大小，判断下一步应该遍历哪条边。若遍历到某个维度对应的节点时，发现与该节点相连的边都不符合查询，可以直接返回False，表示查询数据不存在；反之，则返回True。

2)点查询

点查询定义为Q(Point)，用于快速找出符合查询条件的数据信息，这里Point＝{P₁，P₂，P₃，…，P_m},P _m表示第m个维度的查询条件，都为数据点。同1)布尔查询一样，当用户发起一个点查询时，通过预先构建的索引结构从根节点开始遍历，直到找到符合查询条件的一条路径为止，这样的路径至多一条。

3)范围查询

范围查询定义为Q(Range),用于快速查找多维范围条件内的数据信息，这里Range＝{P₁，P₂，P₃，…，P_m},P _m表示第m个维度的查询条件，都为前缀表示的取值范围。当用户发起一个范围查询时，首先需要判断查询条件是否需要用多个前缀表示，若需要拆成多了前缀，则将范围查询条件表示成多了前缀表示的查询条件，依次通过预先构建的索引结构从根节点开始遍历，查找到符合范围查询条件的多条路径后返回。

5.根据权利要求1所述的一种用于海量多维数值数据查询的索引方法，其特征在于，所述当查询到符合所述查询请求的数据后，将不同查询类型的查询结果返回用户包括：

根据查询类型的不同，查询结果分为布尔值、一条多维数据信息、多条多维数据信息等。