CN112988754B - 一种面向数据集成的快速查询方法 - Google Patents

Abstract

本发明属于信息检索技术领域，由于涉及一种面向数据集成的快速查询方法，包括：S1、使用局部敏感性质哈希方法计算待查询数据对象关键字Code的哈希值HV；S2、使用HV对数据分组对象表的固定长度N取模，获取数据对象所在的数据分组对象表的序号gIndex[0,N‑1]，使用数据字典根据key值快速取得数据分组对象gItem；S3、在gItem中判断是否存在key值为HV的对象，存在则转到S4，不存在则转到S7；S4、使用数据字典根据key值快速取得HV对应的哈希桶对象bItem；S5、在哈希桶对象bItem中查询是否包含关键字为Code的数据对象，存在则转到S6，不存在则转到S7；S6、返回在哈希桶bItem中唯一匹配的关键字为Code的数据对象；S7、返回空。本方法能够解决当前数据查询技术的技术瓶颈。

Description

一种面向数据集成的快速查询方法

技术领域

本发明属于信息检索技术领域，由于涉及一种面向数据集成的快速查询方法。

背景技术

随着物联网技术的发展，物联网系统中需要存储和管理的数据规模也变得越来越大，面对规模庞大的数据量，如何高效的处理数据已经成为了一个重要的研究方向。

目前，国内外的专家学者提出了大量的优化算法，如用于商业系统中的动态编程法，智能领域中的蚁群算法、粒子群算法等。在面向海量数据检索时的检索方式主要有两个方向，基于树结构的检索方法和基于哈希的检索方法。其中，相较于树结构的检索而言，哈希检索方法对维度不敏感，并可以通过优化后的哈希编码达到降维的效果，因此在查询速度和内存占用上更有优势。

例如，公开号为CN102541968A的发明专利就公开了一种索引方法，包括：对接收的关键字进行哈希运算，以从哈希桶表中确定对应的哈希桶，并从哈希桶中获得哈希节点指针；利用哈希节点指针的前预定位从标识信息列表中确定对应的哈希节点数据块识别信息；利用哈希节点指针的后预定位作为偏移量，从哈希节点数据块识别信息对应的哈希节点数据块中获取对应的哈希节点。该发明提供了一种间接寻址的哈希索引方法，可节省索引的空间，提高内存的使用效率。又如，公开号为CN103279509A的发明专利公开了一种采用动态查询语言的快速查询方法，采用了一种领域对象语义建模与XQL动态查询语言数据访问方式实现灵活、快速查询的方法。该专利摈弃了原来查询的多层、硬编码实现方式,而是通过查询引擎加配置方式来实现用户的灵活、高效、快捷的查询要求。

但是，包括上述专利在内的现有技术，都侧重于内存使用效率和优化查询引擎以实现快速查询，但对于数据集成处理中的数据快速查询过程的优化却没有涉及。但内存使用效率及查询引擎的优化比较容易达到技术瓶颈，随着物联网数据规模的扩大，现有技术的技术瓶颈很容易造成数据查询效率的低下。

因此，需要一种面向数据集成的快速查询方法，能够解决当前数据查询技术的技术瓶颈，面对海量数据时也能够有效的提高查询效率。

发明内容

本发明的目的在于，提供一种面向数据集成的快速查询方法，能够解决当前数据查询技术的技术瓶颈，面对海量数据时也能够有效的提高查询效率。

为了解决上述技术问题，本申请提供如下技术方案：

一种面向数据集成的快速查询方法，包括：

S1、使用局部敏感性质哈希方法计算待查询数据对象关键字Code的哈希值HV，降低哈西值冲突的概率；

S2、使用计算所得HV对数据分组对象表的固定长度N取模，获取数据对象所在的数据分组对象表的序号gIndex[0,N-1]，使用数据字典根据key值快速取得数据分组对象gItem；

S3、在gItem中判断是否存在key值为HV的对象，存在则转到S4，不存在则转到S7；

S4、使用数据字典根据key值快速取得HV对应的哈希桶对象bItem；

S5、在哈希桶对象bItem中查询是否包含关键字为Code的数据对象，存在则转到S6，不存在则转到S7；

S6、返回在哈希桶bItem中唯一匹配的关键字为Code的数据对象；

S7、返回空。

基础方案原理及有益效果如下：

本申请针对物联网海量数据集成中查询的效率低下问题，通过引入局部敏感性质哈希和增强哈希桶改进了查询方法，以分布式哈希索引和数据字典为基础提出了快速查询的数据模型和流程，极大地提高查询效率，并有效地解决数据集成的技术瓶颈问题。

使用本方法，能够解决当前数据查询技术的技术瓶颈，面对海量数据时也能够有效的提高查询效率。

进一步，数据对象的关键字Code为字符串类型。是数据对象唯一标识。

进一步，数据分组对象的存储模型创建如下：建立一个存储元素长度固定为N的数据字典，用于存储数据分组对象PointHashGroup，其Key的类型为整形；在数据分组对象中定义一个存储元素不固定的数据字典，用于存储哈希桶对象，其Key的类型为整形；在哈希桶中定义一个存储元素不固定长度的列表，作为数据对象分组表，用于存储数据对象。

进一步，当一个数据对象需要插入到数据分组对象表时，先获取其关键字Code的哈希值HV；用HV对数据分组对象表长度N求余数，求得其所属数据分组对象的序号gIndex[0,N-1]，及其对应数据分组对象gItem；在gItem中根据HV查找对应哈希桶bItem，如果不存在则创建哈希桶bItem；如果bItem中不存在关键字为Code的对象，则将数据对象插入到bItem的数据对象分组表的末尾。

进一步，当一个数据对象需要插入到数据分组对象表时，如果bItem中存在关键字为Code的对象，则放弃插入。

进一步，S1中，使用局部敏感性质哈希方法计算关键字Code的哈希值HV，并结合使用哈希桶存储不可避免的哈希桶冲突对象。

这样的处理方式，可尽可能的减少哈希桶冲突概率。

进一步，S1的详细计算步骤如下：

步骤1：假设V为一个特征点向量，构造一组服从稳态分布的随机变量集合a和一个在[0,W]范围内的随机实数b，其中W为一个设定的较大实数。

步骤2：根据式(1)计算向量V的哈希初始值H_a,b(V)，将映射后的哈希值随机实数r′点乘，并对较大的prime常数取模，从而得到哈希值h。

通过上述步骤，可实现对数据关键字的哈希值计算，在此基础上，将分布式索引架构设置为按组将数据对象存储到多个数据分组中，每个数据对象的哈希索引计算公式如下：

I_(V)＝h mod size (3)；

如式(3)所示，将哈希值h按数据分组的节点个数size取模，然后根据结果I_(V)∈[0,Size-1]将特征点V分配到对应的数据分组中。

有益效果：本方法基于局部敏感性质哈希和哈希桶方法，结合使用数据字典，设计了快速查询数据模型和了查询流程，从而提出了一种面向物联网数据集成的快速查询方法，实现了在106级数据量时执行1000次查询的时间在毫秒级，大幅提升了单线程解析处理数据的性能。

附图说明

图1为本发明实施例的流程图；

图2为本发明实施例的数据分组模型示意图。

具体实施方式

下面通过具体实施方式进一步详细说明：

如图1、图2所示，为了解决上述技术问题，本申请提供如下技术方案：

一种面向数据集成的快速查询方法，包括：

S1、使用局部敏感性质哈希方法计算待查询数据对象关键字Code的哈希值HV；降低哈西值冲突的概率。并结合使用哈希桶存储不可避免的哈希桶冲突对象，具体如下：

步骤1：假设V为一个特征点向量，构造一组服从稳态分布的随机变量集合a和一个在[0,W]范围内的随机实数b，其中W为一个设定的较大实数。

步骤2：根据式(1)计算向量V的哈希初始值H_a,b(V)，将映射后的哈希值随机实数r′点乘，并对较大的prime常数取模，从而得到哈希值h。

通过上述步骤，可实现对数据关键字的哈希值计算，在此基础上，将分布式索引架构设置为按组将数据对象存储到多个数据分组中，每个数据对象的哈希索引计算公式如下：

I_(V)＝h mod size (3)；

如式(3)所示，将哈希值h按数据分组的节点个数size取模，然后根据结果I_(V)∈[0,Size-1]将特征点V分配到对应的数据分组中。

S2、使用计算所得HV对数据分组对象表的固定长度N取模，获取数据对象所在的数据分组对象表的序号gIndex[0,N-1]，使用数据字典根据key值快速取得数据分组对象gItem；

S3、在gItem中判断是否存在key值为HV的对象，存在则转到S4，不存在则转到S7；

S4、使用数据字典根据key值快速取得HV对应的哈希桶对象bItem；

S5、在哈希桶对象bItem中查询是否包含关键字为Code的数据对象，存在则转到S6，不存在则转到S7；

S6、返回在哈希桶bItem中唯一匹配的关键字为Code的数据对象；

S7、返回空。

其中，数据对象的关键字Code为字符串类型，是数据对象唯一标识。数据分组对象的存储模型创建如下：

建立一个存储元素长度固定为N的数据字典，用于存储数据分组对象PointHashGroup，其Key的类型为整形；在数据分组对象中定义一个存储元素不固定的数据字典，用于存储哈希桶对象，其Key的类型为整形；在哈希桶中定义一个存储元素不固定长度的列表，作为数据对象分组表，用于存储数据对象。

当一个数据对象需要插入到数据分组对象表时，先获取其关键字Code的哈希值HV；用HV对数据分组对象表长度N求余数，求得其所属数据分组对象的序号gIndex[0,N-1]，及其对应数据分组对象gItem；在gItem中根据HV查找对应哈希桶bItem，如果不存在则创建哈希桶bItem；如果bItem中不存在关键字为Code的对象，则将数据对象插入到bItem的数据对象分组表的末尾；如果bItem中存在关键字为Code的对象，则放弃插入。

其中，N值可根据业务场景的需要具体设定。

本申请针对物联网海量数据集成中查询的效率低下问题，通过引入局部敏感性质哈希和增强哈希桶改进了查询方法，以分布式哈希索引和数据字典为基础提出了快速查询的数据模型和流程，并结合使用数据字典，设计了快速查询数据模型和了查询流程，从而提出了一种面向物联网数据集成的快速查询方法，实现了在106级数据量时执行1000次查询的时间在毫秒级，大幅提升了单线程解析处理数据的性能。

极大地提高查询效率，并有效地解决数据集成的技术瓶颈问题。使用本方法，能够解决当前数据查询技术的技术瓶颈，面对海量数据时也能够有效的提高查询效率。

以上的仅是本发明的实施例，该发明不限于此实施案例涉及的领域，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (6)

1.一种面向数据集成的快速查询方法，其特征在于，包括：

S1、使用局部敏感性质哈希方法计算待查询数据对象关键字Code的哈希值HV，降低哈希值冲突的概率；

S2、使用计算所得HV对数据分组对象表的固定长度N取模，获取数据对象所在的数据分组对象表的序号gIndex[0,N-1]，使用数据字典根据key值快速取得数据分组对象gItem；在数据分组对象gItem中定义一个存储元素不固定的数据字典，用于存储哈希桶对象bItem，其Key的类型为整形；在哈希桶bItem中定义一个存储元素不固定长度的列表，作为数据对象分组表，用于存储数据对象；

S3、在gItem中判断是否存在key值为HV的对象，存在则转到S4，不存在则转到S7；

S4、使用数据字典根据key值快速取得HV对应的哈希桶对象bItem，如果不存在则创建哈希桶bItem；

S5、在哈希桶对象bItem中查询是否包含关键字为Code的数据对象，存在则转到S6；不存在则转到S7，并将数据对象插入到bItem的数据对象分组表的末尾；

S6、返回在哈希桶bItem中唯一匹配的关键字为Code的数据对象，并放弃插入；

S7、返回空。

2.根据权利要求1所述的面向数据集成的快速查询方法，其特征在于：数据对象的关键字Code为字符串类型。

3.根据权利要求2所述的面向数据集成的快速查询方法，其特征在于：数据分组对象的存储模型创建如下：建立一个存储元素长度固定为N的数据字典，用于存储数据分组对象PointHashGroup，其Key的类型为整形。

4.根据权利要求3所述的面向数据集成的快速查询方法，其特征在于：当一个数据对象需要插入到数据分组对象表时，先获取其关键字Code的哈希值HV；用HV对数据分组对象表长度N求余数，求得其所属数据分组对象的序号gIndex[0,N-1]，及其对应数据分组对象gItem。

5.根据权利要求4所述的面向数据集成的快速查询方法，其特征在于：S1中，使用局部敏感性质哈希方法计算关键字Code的哈希值HV，并结合使用哈希桶存储不可避免的哈希桶冲突对象。

6.根据权利要求5所述的面向数据集成的快速查询方法，其特征在于：S1的详细计算步骤如下：

步骤1：假设V为一个特征点向量，构造一组服从稳态分布的随机变量集合a和一个在[0,W]范围内的随机实数b，其中W为一个设定的较大实数；

（1）；

步骤2：根据式（1）计算向量V的哈希初始值Ha,b(V)，将映射后的哈希值随机实数r′点乘，并对较大的prime常数取模，从而得到哈希值h；

（2）；

通过上述步骤，可实现对数据关键字的哈希值计算，在此基础上，将分布式索引架构设置为按组将数据对象存储到多个数据分组中，每个数据对象的哈希索引计算公式如下：

（3）；

如式（3）所示，将哈希值h按数据分组的节点个数size取模，然后根据结果I(V)∈[0,Size-1]将特征点V分配到对应的数据分组中。

Images