CN105354297A - 一种数据库中数据存储的方法及系统 - Google Patents

Abstract

本发明公开了一种数据库中数据存储的方法，包括：数据库存储数据时，按照每一列数据的属性进行一列的存储，形成列式存储，并为每一列数据建立一个哈希表；在每一列的数据中，将每一个字段数据都设置为双向链表的一个节点，形成一个列双向链表；在每一行的数据中，将每一个字段数据都设置为双向链表的一个节点，形成一个行双向链表；该方法可以大大缩小每一列要查询的数据量，不需要进行全表遍历，可以有效地改进数据库的检索查询速度；本发明还公开了一种数据库中数据存储的系统。

Description

一种数据库中数据存储的方法及系统

技术领域

本发明涉及计算机技术领域，特别涉及一种数据库中数据存储的方法及系统。

背景技术

随着计算机技术以及移动互联网技术的飞速发展，海量存储系统越来越成为经济社会发展的需要。这就为计算机系统的设计难度带来巨大挑战，例如，单服务器的网络并发量，以及数据查询量和存储数量都得到了前所未有的挑战。如何在海量的结构化信息中查找到目标数据，成为业内的一个难题，

因此，如何对百亿，千亿的数据进行存储并实现快速查询，是本领域技术人员需要解决的技术问题。

发明内容

本发明的目的是提供一种数据库中数据存储的方法及系统，能够大大缩小每一列要查询的数据量，不需要进行全表遍历，可以有效地改进数据库的检索查询速度。

为解决上述技术问题，本发明提供一种数据库中数据存储的方法，包括：

数据库存储数据时，按照每一列数据的属性进行一列的存储，形成列式存储，并为每一列数据建立一个哈希表；

在每一列的数据中，将每一个字段数据都设置为双向链表的一个节点，形成一个列双向链表；

在每一行的数据中，将每一个字段数据都设置为双向链表的一个节点，形成一个行双向链表。

其中，为每一列数据建立一个哈希表包括：

根据所述数据库中预定的列存储空间，确定哈希表的容量；

根据所述容量，为每一列数据建立一个哈希表。

其中，还包括对数据库中的数据进行过滤查询，包括：

根据所述哈希表，定位出待查询数据的行首信息，其中，所述行首信息包括行标和行首字段；

利用所述行首信息及与所述行首信息相对应的行双向链表，定位出查询数据。

其中，根据所述哈希表，定位出待查询数据的行首信息包括：

根据所述哈希表，定位出所述待查询数据的预定行首信息；

统计每种预定行首信息中行标出现的次数；

判断所述次数中是否存在与待查询数据的个数相同的次数；

若存在，则确定与待查询数据的个数相同的次数对应的预定行首信息作为行首信息。

其中，还包括：

接收用户反馈的所述待查询数据的查询结果；

当所述查询结果中的错误次数超过阈值，则进行哈希表维护。

本发明提供一种数据库中数据存储的系统，包括：

哈希表模块，用于数据库存储数据时，按照每一列数据的属性进行一列的存储，形成列式存储，并为每一列数据建立一个哈希表；

列双向链表模块，用于在每一列的数据中，将每一个字段数据都设置为双向链表的一个节点，形成一个列双向链表；

行双向链表模块，用于在每一行的数据中，将每一个字段数据都设置为双向链表的一个节点，形成一个行双向链表。

其中，所述哈希表模块包括：

容量单元，用于根据所述数据库中预定的列存储空间，确定哈希表的容量；

建立单元，用于根据所述容量，为每一列数据建立一个哈希表。

其中，还包括：

查询模块，用于对数据库中的数据进行过滤查询；所述查询模块包括：

定位单元，用于根据所述哈希表，定位出待查询数据的行首信息，其中，所述行首信息包括行标和行首字段；

查询单元，用于利用所述行首信息及与所述行首信息相对应的行双向链表，定位出查询数据。

其中，所述定位单元包括：

定位子单元，用于根据所述哈希表，定位出所述待查询数据的预定行首信息；

统计子单元，用于统计每种预定行首信息中行标出现的次数；

判断子单元，用于判断所述次数中是否存在与待查询数据的个数相同的次数；

若存在，则触发确定子单元，用于确定与待查询数据的个数相同的次数对应的预定行首信息作为行首信息。

其中，还包括：

接收模块，用于接收用户反馈的所述待查询数据的查询结果；

维护模块，用于当所述查询结果中的错误次数超过阈值，则进行哈希表维护。

本发明所提供的数据库中数据存储的方法，包括：数据库存储数据时，按照每一列数据的属性进行一列的存储，形成列式存储，并为每一列数据建立一个哈希表；在每一列的数据中，将每一个字段数据都设置为双向链表的一个节点，形成一个列双向链表；在每一行的数据中，将每一个字段数据都设置为双向链表的一个节点，形成一个行双向链表；

通过每一列建立的哈希表，可以大大缩小每一列要查询的数据量，不需要进行全表遍历，提高查询速度；且在每一行的数据中，每一个字段数据都是双向链表的一个节点，由行首的字段可以查询一行所有的数据，最终可以有效地改进数据库的检索查询速度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例所提供的数据库中数据存储的方法的流程图；

图2为本发明实施例所提供的数据库中数据存储布局的示意图；

图3为本发明实施例所提供的数据库中数据存储的系统的结构框图。

具体实施方式

本发明的核心是提供一种数据库中数据存储的方法及系统，能够大大缩小每一列要查询的数据量，不需要进行全表遍历，可以有效地改进数据库的检索查询速度。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明实施例所提供的数据库中数据存储的方法的流程图；该方法可以包括：

s100、数据库存储数据时，按照每一列数据的属性进行一列的存储，形成列式存储，并为每一列数据建立一个哈希表；

其中，考虑到海量存储数据的特点，在每一行的数据中，根据每一列的属性，进行一列的存储，成为列式存储，每一列形成一个哈希表，当上层查询数据的时候，根据哈希算法，快速定位到一行的行首。

s110、在每一列的数据中，将每一个字段数据都设置为双向链表的一个节点，形成一个列双向链表；

s120、在每一行的数据中，将每一个字段数据都设置为双向链表的一个节点，形成一个行双向链表。

其中，在每一行的数据中，每一个字段数据都是双向链表的一个节点，由行首的字段可以查询了一行所有的数据。

其中，要想在查询数据时提高查询速度，必须要对数据在文件中的存储形式和数据的索引形式进行改变，例如，关系型数据的列式存储，可以将每一列的值直接排列下来，不用引入其他的概念，也不会丢失数据。关系型数据的列式存储比较好理解；嵌套类型数据的一行叫做一个记录(record)，嵌套数据类型的特点是一个record中的列向量(column)除了可以是整形Int，长整形Long，字符串String这样的原语(primitive)类型以外，还可以是表List，映射Map，集合Set这样的复杂类型。

根据本实施例提供的数据库中数据存储的方法，请参考图2为按照上述方法得到的数据库中数据存储布局的示意图。

基于上述技术方案，本发明实施例提供的数据库中数据存储的方法，能够通过每一列建立的哈希表，可以大大缩小每一列要查询的数据量，不需要进行全表遍历，提高查询速度；且在每一行的数据中，每一个字段数据都是双向链表的一个节点，由行首的字段可以查询一行所有的数据，最终可以有效地改进数据库的检索查询速度。

基于上述实施例，还包括对数据库中的数据进行过滤查询，可以包括：

根据所述哈希表，定位出待查询数据的行首信息，其中，所述行首信息包括行标和行首字段；

其中，即确定待查询数据的在哪一行，然后给定行首信息，即可以是第一行，或者是001，或者其他可以表示行首的字符等。

利用所述行首信息及与所述行首信息相对应的行双向链表，定位出查询数据。

其中，由于在每一行的数据中，每一个字段数据都是双向链表的一个节点，由行首的字段可以查询了一行所有的数据。因此，这里确定了行首信息，就可以根据行双向链表，查询到待查询数据。

可选的，根据所述哈希表，定位出待查询数据的行首信息可以包括：

根据所述哈希表，定位出所述待查询数据的预定行首信息；

统计每种预定行首信息中行标出现的次数；

判断所述次数中是否存在与待查询数据的个数相同的次数；

若存在，则确定与待查询数据的个数相同的次数对应的预定行首信息作为行首信息。

其中，每一列进行哈希查找，然后再根据查找的结果中的标记位，进行匹配，如果匹配成功则表示在同一行的，就是要查找的数据。整个匹配的过程就是要确定需要查询的数据是否在同一行，例如查询李明的各科考试成绩，那么则必须保证所有查询到的数据都要在李明这一行，才是李明的成绩，否则是别人的成绩，因此，需要进行匹配。即查询李明的三科成绩，则会查询四列名字属性那一列查询李明，一科成绩一列查询李明该科成绩，若李明在第5行，则需要看5的行标出现的次数是否为4次，若是，则第5行的行首信息即为需要的行首信息。其他出现不足4次的都不匹配。

请参考图2，进行举例说明，查询包含1和c的数据，首先在行首进行哈希，查找到第一行001和第5行005，然后进行c第三列的哈希，查找到第三行003和第5行005；其中，001和003都没有出现两次，则说明他们并未在同一行，所以立刻舍去，当发现标记位相同的005时，即是查询的目的行。

基于上述实施例，该方法还可以包括：

接收用户反馈的所述待查询数据的查询结果；

当所述查询结果中的错误次数超过阈值，则进行哈希表维护。

其中，每次用户根据查询结果看是否为正确的，若为错误的，则进行记录，待错误次数超过阈值，则需要对哈希表进行维护，防止查询错误。提高查询准确度。阈值的设定可以根据实际情况进行。也可以是根据错误次数得到错误率，利用错误率来判段是否需要进行哈希表的维护。

基于上述实施例，为每一列数据建立一个哈希表可以包括：

根据所述数据库中预定的列存储空间，确定哈希表的容量；

根据所述容量，为每一列数据建立一个哈希表。

其中，如果哈希表做的足够大的话，则没有哈希冲突，则实现了O(1)的查询复杂度，即如果哈希表太小的话，会存在哈希冲突；因此，为了避免哈希冲突，则根据数据库中预定的列存储空间，确定哈希表的容量；根据容量，为每一列数据建立一个哈希表。这样可以根据存储空间的实际需求，进行哈希表的大小的设定，充分利用资源。

基于上述技术方案，本发明实施例提供的数据库中数据存储的方法，能够通过每一列建立的哈希表，可以大大缩小每一列要查询的数据量，不需要进行全表遍历，提高查询速度；且在每一行的数据中，每一个字段数据都是双向链表的一个节点，由行首的字段可以查询一行所有的数据，最终可以有效地改进数据库的检索查询速度。还可以根据查询错误次数或者错误率，及时对哈希表进行维护，提高查询准确度。

本发明实施例提供了数据库中数据存储的方法，通过上述方法可以有效地改进数据库的检索查询速度。

下面对本发明实施例提供的数据库中数据存储的系统进行介绍，下文描述的数据库中数据存储的系统与上文描述的数据库中数据存储的方法可相互对应参照。

请参考图3，图3为本发明实施例所提供的数据库中数据存储的系统的结构框图；该系统可以包括：

哈希表模块100，用于数据库存储数据时，按照每一列数据的属性进行一列的存储，形成列式存储，并为每一列数据建立一个哈希表；

列双向链表模块200，用于在每一列的数据中，将每一个字段数据都设置为双向链表的一个节点，形成一个列双向链表；

行双向链表模块300，用于在每一行的数据中，将每一个字段数据都设置为双向链表的一个节点，形成一个行双向链表。

可选的，所述哈希表模块100包括：

容量单元，用于根据所述数据库中预定的列存储空间，确定哈希表的容量；

建立单元，用于根据所述容量，为每一列数据建立一个哈希表。

基于上述实施例，该系统还可以包括：

查询模块，用于对数据库中的数据进行过滤查询；所述查询模块包括：

定位单元，用于根据所述哈希表，定位出待查询数据的行首信息，其中，所述行首信息包括行标和行首字段；

查询单元，用于利用所述行首信息及与所述行首信息相对应的行双向链表，定位出查询数据。

可选的，所述定位单元包括：

定位子单元，用于根据所述哈希表，定位出所述待查询数据的预定行首信息；

统计子单元，用于统计每种预定行首信息中行标出现的次数；

判断子单元，用于判断所述次数中是否存在与待查询数据的个数相同的次数；

若存在，则触发确定子单元，用于确定与待查询数据的个数相同的次数对应的预定行首信息作为行首信息。

基于上述任意实施例，该系统还可以包括：

接收模块，用于接收用户反馈的所述待查询数据的查询结果；

维护模块，用于当所述查询结果中的错误次数超过阈值，则进行哈希表维护。

基于上述技术方案，本发明实施例提供的数据库中数据存储的系统，能够通过每一列建立的哈希表，可以大大缩小每一列要查询的数据量，不需要进行全表遍历，提高查询速度；且在每一行的数据中，每一个字段数据都是双向链表的一个节点，由行首的字段可以查询一行所有的数据，最终可以有效地改进数据库的检索查询速度。还可以根据查询错误次数或者错误率，及时对哈希表进行维护，提高查询准确度。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的数据库中数据存储的方法及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种数据库中数据存储的方法，其特征在于，包括：

数据库存储数据时，按照每一列数据的属性进行一列的存储，形成列式存储，并为每一列数据建立一个哈希表；

在每一列的数据中，将每一个字段数据都设置为双向链表的一个节点，形成一个列双向链表；

在每一行的数据中，将每一个字段数据都设置为双向链表的一个节点，形成一个行双向链表。

2.如权利要求1所述的方法，其特征在于，为每一列数据建立一个哈希表包括：

根据所述数据库中预定的列存储空间，确定哈希表的容量；

根据所述容量，为每一列数据建立一个哈希表。

3.如权利要求1所述的方法，其特征在于，还包括对数据库中的数据进行过滤查询，包括：

根据所述哈希表，定位出待查询数据的行首信息，其中，所述行首信息包括行标和行首字段；

利用所述行首信息及与所述行首信息相对应的行双向链表，定位出查询数据。

4.如权利要求3所述的方法，其特征在于，根据所述哈希表，定位出待查询数据的行首信息包括：

根据所述哈希表，定位出所述待查询数据的预定行首信息；

统计每种预定行首信息中行标出现的次数；

判断所述次数中是否存在与待查询数据的个数相同的次数；

若存在，则确定与待查询数据的个数相同的次数对应的预定行首信息作为行首信息。

5.如权利要求4所述的方法，其特征在于，还包括：

接收用户反馈的所述待查询数据的查询结果；

当所述查询结果中的错误次数超过阈值，则进行哈希表维护。

6.一种数据库中数据存储的系统，其特征在于，包括：

哈希表模块，用于数据库存储数据时，按照每一列数据的属性进行一列的存储，形成列式存储，并为每一列数据建立一个哈希表；

列双向链表模块，用于在每一列的数据中，将每一个字段数据都设置为双向链表的一个节点，形成一个列双向链表；

行双向链表模块，用于在每一行的数据中，将每一个字段数据都设置为双向链表的一个节点，形成一个行双向链表。

7.如权利要求6所述的系统，其特征在于，所述哈希表模块包括：

容量单元，用于根据所述数据库中预定的列存储空间，确定哈希表的容量；

建立单元，用于根据所述容量，为每一列数据建立一个哈希表。

8.如权利要求6所述的系统，其特征在于，还包括：

查询模块，用于对数据库中的数据进行过滤查询；所述查询模块包括：

定位单元，用于根据所述哈希表，定位出待查询数据的行首信息，其中，所述行首信息包括行标和行首字段；

查询单元，用于利用所述行首信息及与所述行首信息相对应的行双向链表，定位出查询数据。

9.如权利要求8所述的系统，其特征在于，所述定位单元包括：

定位子单元，用于根据所述哈希表，定位出所述待查询数据的预定行首信息；

统计子单元，用于统计每种预定行首信息中行标出现的次数；

判断子单元，用于判断所述次数中是否存在与待查询数据的个数相同的次数；

若存在，则触发确定子单元，用于确定与待查询数据的个数相同的次数对应的预定行首信息作为行首信息。

10.如权利要求9所述的系统，其特征在于，还包括：

接收模块，用于接收用户反馈的所述待查询数据的查询结果；

维护模块，用于当所述查询结果中的错误次数超过阈值，则进行哈希表维护。