CN107766445B - 一种支持多维度检索的高效快速数据检索方法 - Google Patents

Abstract

本发明公开了一种支持多维度检索的高效快速数据检索方法，具体步骤如下：将接收到的每个消息数据块存储于高效数据块存储结构中；在时间维度上采用时间分块顺序存储算法，数据块之间采用链式存储，每个数据块内按照时间顺序采用顺序存储结构；所述高效数据块存储结构在其他维度上按照消息头不同字段建立哈希表，当消息包的哈希值相同时，建立链式队列，将数据包链接起来。本发明利用系统的超大内存硬件资源，将所有需要存储的数据块头按照一定的规则索引存储，上述存储架构在各个维度方向均支持精确检索，且支持按照时间的精确查询以及范围查询，且时间复杂度为常数级别，能够在海量数据环境下实现快速检索的目的。

Description

一种支持多维度检索的高效快速数据检索方法

技术领域

本发明涉及大数据处理技术领域，具体是一种支持多维度检索的高效快速数据检索方法。

背景技术

目前采用双机备份的技术来保证数据采集的高可靠性，双机备份包括采集过程的备份以及后台数据的备份，当前后台数据库备份技术已经成熟，只需利用合理的数据库技术，就可以达到数据库引擎以及数据库存储的备份目的。

双机备份系统采集的数据具有突发流量大，且经过系统长时间运行后，由于系统信息的重要性，要求系统在运行过程中，在各种突发的异常情况下，采集的所有信息都被存储到数据库。系统采集的数据是海量的，如何在这些海量数据中对各种信息快速查询，是亟需解决的问题。

当今互联网处在海量数据的时代，数据存储和查询的方法和工具也越来越多样。目前，作为数据查询、存储的工具种类繁多，各有优劣。

传统关系型数据库，作为主要的高可靠高容错的存储单元，相对成本便宜。对于分布式数据储存上，我们将传统的单张表，选取特定的字段作为分库分表的主键，将大批量的数据存储到不同的数据库单元，不同的数据库表中。分库分表以后，通过分库分表的主键，可以准确命中数据所属的数据存储单元，有效查询到表中所需的数据。而对于不包含分库分表主键的查询，则会进行多表扫描，效率低，资源占用高。

缓存，作为热点数据的存储单元。对于经常访问到的数据，加载到处于内存上的缓存中，提供最快速的查询访问服务。缓存价格昂贵，容量有限。大数据下，数据查询很容易不在缓存中命中，而落到数据库中进行查询，导致如上数据库查询的弱点暴露，以至于查询结果不能有效返回。搜索引擎中，会为需要查询的字段，全量建立索引，来提高数据查询的速度。缺点也很明显，无法做到数据库中跨表级联数据来进行查询，往往会将需要级联的表，构造成一张超大的宽表，来进行查询，占用空间大，代价高；每次新建索引，需要做全量构建，随着数据量的增大，全量构建会花费大量的时间，期间的查询不能保障。

上述无论单独采用哪种技术手段，都无法同时提供准实时、可多维度的查询。

发明内容

本发明的目的在于提供一种高效快速的支持多维度检索的高效快速数据检索方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种支持多维度检索的高效快速数据检索方法，具体步骤如下：

1)建立基于四维链表的高效数据块存储结构并将接收到的每个消息数据块存储于上述高效数据块存储结构中；

2)所述高效数据块存储结构在时间维度上采用时间分块顺序存储算法，数据块之间采用链式存储，每个数据块内按照时间顺序采用顺序存储结构；

3)定义数据密度为每秒存储的数据个数，计算公式如下：

数据密度＝数据块中消息个数/86400公式(1)；

4)所述高效数据块存储结构在其他维度上按照消息头不同字段建立哈希表，当消息包的哈希值相同时，建立链式队列，将数据包链接起来；

5)当按照时间维度进行查询时，首先按照链式结构，检索到当天的数据块，然后根据数据块的数据密度，按照以下公式(2)定位检索数据大致所在位置：

位置＝时间×数据密度公式(2)；

6)再根据上述得到的位置的消息数据时间与检索时间比较，根据比较的结果，判断向前检索还是向后检索，然后精确比较定位，定位之后，根据该维度的链表，返回所检索的消息数据；

7)若检索时间段内的范围查询，则按照步骤5)-步骤6)，分别精确定位起始时间和终点时间，由于存储方式是数据块内采用基于时间的顺序存储方式，则起始时间和终点时间之间的时间段内的所有数据均是符合检索条件的消息数据；

8)当按照DT值、DH值或DB值进行查询时，首先计算哈希值，然后按照哈希值定位其所在链表，然后检索链表内的消息数据。

作为本发明进一步的方案：所述步骤2)中每个数据块内存储的是一天的数据。

作为本发明再进一步的方案：所述公式(2)中的时间精确到秒。

与现有技术相比，本发明的有益效果是：

本发明利用系统的超大内存硬件资源，将所有需要存储的数据块头按照一定的规则索引存储，上述存储架构在各个维度方向均支持精确检索，且支持按照时间的精确查询以及范围查询，且时间复杂度为常数级别，能够在海量数据环境下实现快速检索的目的。

附图说明

图1为本发明中基于四维链表的高效数据块存储结构的示意图。

具体实施方式

下面结合具体实施方式对本专利的技术方案作进一步详细地说明。

请参阅图1，一种支持多维度检索的高效快速数据检索方法，具体步骤如下：

1)建立基于四维链表的高效数据块存储结构并将接收到的每个消息数据块存储于上述高效数据块存储结构中；

2)所述高效数据块存储结构在时间维度上采用时间分块顺序存储算法，数据块之间采用链式存储，每个数据块内按照时间顺序采用顺序存储结构；每个数据块内存储的是一天的数据；

3)定义数据密度为每秒存储的数据个数，计算公式如下：

数据密度＝数据块中消息个数/86400公式(1)；

4)所述高效数据块存储结构在其他维度上按照消息头不同字段建立哈希表，当消息包的哈希值相同时，建立链式队列，将数据包链接起来；

5)当按照时间维度进行查询时，首先按照链式结构，检索到当天的数据块，然后根据数据块的数据密度，按照以下公式(2)定位检索数据大致所在位置：

位置＝时间×数据密度公式(2)；其中时间精确到秒；

6)再根据上述得到的位置的消息数据时间与检索时间比较，根据比较的结果，判断向前检索还是向后检索，然后精确比较定位，定位之后，根据该维度的链表，返回所检索的消息数据；

7)若检索时间段内的范围查询，则按照步骤5)-步骤6)，分别精确定位起始时间和终点时间，由于存储方式是数据块内采用基于时间的顺序存储方式，则起始时间和终点时间之间的时间段内的所有数据均是符合检索条件的消息数据；

8)当按照DT值、DH值或DB值进行查询时，首先计算哈希值，然后按照哈希值定位其所在链表，然后检索链表内的消息数据。

由于系统每天都会存储大量的数据，链式顺序检索时间复杂度远小于数据量，而一天内的数据采用顺序存储，尽管有突发数据影响，但是整体上数据时间轴上是均匀分布的，所以，上述近似于按照时间直接定位的算法，按照时间进行检索时，时间复杂度为常数；另外，由于哈希函数的复杂度为常数级，因此按照这个维度进行检索时，检索时间复杂度为常数级。

本发明利用系统的超大内存硬件资源，将所有需要存储的数据块头按照一定的规则索引存储，上述存储架构在各个维度方向均支持精确检索，且支持按照时间的精确查询以及范围查询，且时间复杂度为常数级别，能够在海量数据环境下实现快速检索的目的。

上面对本专利的较佳实施方式作了详细说明，但是本专利并不限于上述实施方式，在本领域的普通技术人员所具备的知识范围内，还可以在不脱离本专利宗旨的前提下作出各种变化。

Claims (3)

1.一种支持多维度检索的高效快速数据检索方法，其特征在于，具体步骤如下：

1)建立基于四维链表的高效数据块存储结构并将接收到的每个消息数据块存储于上述高效数据块存储结构中；

2)所述高效数据块存储结构在时间维度上采用时间分块顺序存储算法，数据块之间采用链式存储，每个数据块内按照时间顺序采用顺序存储结构；

3)定义数据密度为每秒存储的数据个数，计算公式如下：

数据密度＝数据块中消息个数/86400 公式(1)；

4)所述高效数据块存储结构在其他维度上按照消息头不同字段建立哈希表，当消息包的哈希值相同时，建立链式队列，将数据包链接起来；

5)当按照时间维度进行查询时，首先按照链式结构，检索到当天的数据块，然后根据数据块的数据密度，按照以下公式(2)定位检索数据大致所在位置：

位置＝时间×数据密度公式(2)；

6)再根据上述得到的位置的消息数据时间与检索时间比较，根据比较的结果，判断向前检索还是向后检索，然后精确比较定位，定位之后，根据该维度的链表，返回所检索的消息数据；

7)当按照检索时间段内的范围进行查询时，则按照步骤5)-步骤6)，分别精确定位起始时间和终点时间，由于存储方式是数据块内采用基于时间的顺序存储方式，则起始时间和终点时间之间的时间段内的所有数据均是符合检索条件的消息数据；

8)当按照DT值、DH值或DB值进行查询时，首先计算哈希值，然后按照哈希值定位其所在链表，然后检索链表内的消息数据。

2.根据权利要求1所述的支持多维度检索的高效快速数据检索方法，其特征在于，所述步骤2)中每个数据块内存储的是一天的数据。

3.根据权利要求1所述的支持多维度检索的高效快速数据检索方法，其特征在于，所述公式(2)中的时间精确到秒。

Images