CN112463837A

CN112463837A - 一种关系型数据库数据存储查询方法

Info

Publication number: CN112463837A
Application number: CN202011495009.6A
Authority: CN
Inventors: 王英
Original assignee: Sichuan Changhong Electric Co Ltd
Current assignee: Sichuan Changhong Electric Co Ltd
Priority date: 2020-12-17
Filing date: 2020-12-17
Publication date: 2021-03-09
Anticipated expiration: 2040-12-17
Also published as: CN112463837B

Abstract

本发明公开了一种关系型数据库数据存储查询方法，涉及数据处理技术领域。所述方法包括存储步骤和查询步骤，将关系数据表中需要经常检索的字段数据保存到hbase上,将关系表数据的主键作为hbase的key来保存，同时在查询过程中在redis里缓存条件查询数据；检索过程中通过检索hbase表中的数据，得到key，即关系表中的主键，再通过主键去获取关系表中的数据，从而达到提高数据实时检索速度与系统性能的效果。

Description

一种关系型数据库数据存储查询方法

技术领域

本发明涉及数据处理技术领域，更具体的说是涉及一种关系型数据库数据存储查询方法。

背景技术

目前的关系数据表的实时数据查询中，为提高数据检索速度，传统解决方法一般是在关系型数据表中建立索引或者联合索引进行数据查询，从而保证了提供大部分的实时查询应用。

虽然理论上通过创建索引可以加快数据的检索速度，提高系统的查询性能，但是索引字段的类型也会也影响查询性能，int性能最好，字符类型的索引查询性能略差，并且随着表存储量增加，当存储超过百万级别的数据量时，查询效率明显降低。此外创建索引和维护索引不仅需要占用物理空间和逻辑空间，而且动态维护索引的过程需要耗费时间，而这个时间是随着数据量的增加而增加的。因此在海量数据表中通过创建索引的方式反而会降低数据的检索速度与系统性能。

发明内容

本发明的目的在于提供一种关系型数据库数据存储查询方法，以期解决背景技术中的问题。该专利针对的是在关系数据表海量数据中，数据实时检索速度低，查询性能差的问题。造成该问题的技术实质是关系型数据表是行式存储，行式存储在获取一行数据时会很高效，但是系统需要根据某列进行数据检索时，那么行式存储会取出一行行的数据，再根据检索字段与所取出的数据进行逐行比较，该比较过程不仅会导致大量的内存占用，而且所耗费的时间随着数据量的增加而逐渐增加，从而降低检索速度与系统的查询性能。

为了实现上述目的，本发明采用以下技术方案：

一种关系型数据库数据存储查询方法，所述方法包括存储步骤和查询步骤如下：

存储步骤：

步骤1：在关系型数据表中新增数据并返回主键ID。

步骤2：将需要查询的字段的相关数据保存到hbase上，将数据的主键ID作为hbase的key来保存。

步骤3：清空redis缓存的查询模块数据。

步骤4：若编辑关系型数据表中的数据，则获取主键ID后，依次执行步骤5、步骤2、步骤3、步骤6。

步骤5：在hbase库根据key(主键ID)删除对应的数据。

步骤6：在redis的数据缓存模块，根据主键ID，删除对应的缓存数据。

查询步骤：

步骤7：获取查询字段数据，将查询字段作为key，在redis的缓存查询模块获取对应的value值。若未获取到相关的查询条件数据，则执行步骤8。否则执行步骤9。

步骤8：根据查询字段数据，查询hbase数据表，返回查询所得的key，即主键ID集合；并将查询字段作为key，hbase的key(主键ID集合)作为value来保存在redis的set结构中。

步骤9：根据获取到的hbase对应的key(主键ID集合)，再在redis的数据缓存模块中根据主键ID获取相关数据。若获取到数据，则本次数据查询结束；若未获取到相关数据，则执行步骤10。

步骤10：根据主键ID查询关系型表中数据，然后将主键ID作为key，对应数据作为value存储在redis的数据缓存模块，设置缓存时长为T。

进一步地技术方案，步骤2中所述的将需要查询的字段数据保存到hbase上，利用hbase的高性能、面向列存储的特性，方便在查询步骤中快速查询到关系表中对应的主键ID数据。

进一步地技术方案，步骤4所述的若编辑关系型数据表中的数据，则需要同步更新hbase表中对应的相关数据。而hbase数据表没有数据更新操作，因此需要先删除旧数据，再在hbase中增加新数据。此外由于数据更新，需要清空在redies中的查询条件模块数据和删除主键ID对应的数据缓存模块数据，以此保证查询条件的准确性与缓存数据的正确性。

进一步地技术方案，步骤7所述的在redis的缓存查询模块根据查询字段数据key获取get结构中的value值，该value值则是hbase的key，也是关系型数据表中的主键ID。通过将查询字段与主键ID的一一对应缓存，则减少了在hbase中进行海量查询的步骤，节省了查询时间，从而提高检索速度。

进一步地技术方案，步骤8所述根据查询字段检索hbase中的列数据，获取对应的key即关系型表的主键ID，然后再将key与减速字段以key-value的形式保存在redis的set结构中，可以减少下次同样的查询过程，提高检索速度。

进一步地技术方案，步骤9所述获取到主键ID之后，直接在redis的数据缓存模块，以主键ID作为key，在redis的get结构中获取关系型数据表中对应的行数据。若能获取到相关数据，则减少了一次在关系型数据中查询的过程，从而提升检索速度。

进一步地技术方案，步骤10所述根据主键ID直接在关系型数据中查询对应的行数据。关系型数据是行存储式结构，通过每行的主键ID可以直接获取到具体的某一条数据，不用扫描全表查询。因此通过主键ID获取行数据可以减少扫描数据的过程，节省查询时间，从而提高检索速度。此外在获取到主键ID对应的行数据时，再以key-value的结构将数据将相关数据在redis的数据缓存模块T时长(T时长之后，缓存数据自动销毁，避免同一数据长时间占用内存，消耗系统性能)，方便下次直接根据主键ID获取数据，减少数据库查询次数，从而提高检索速度。

本发明与现有技术相比具有的有益效果是：

本发明结合Hbase的海量查询和Redis分布式缓存的快速查询与数据缓存，同时对信息结构进行有效的组织存放，在拥有海量存储的关系型数据中，提高了检索速度，保证了实时查询的性能。该专利所独有的技术特征是引入了hbase数据表保存关系表中的检索字段。而hbase数据库是列式存储且适合存储pb级别海量数据，能在几十到百毫秒内返回数据，因此通过hbase存储检索字段，可以解决海量数据实时检索速度低的问题。

附图说明

图1为本发明的一种关系型数据库数据存储查询方法的数据存储步骤的流程图；

图2为本发明的一种关系型数据库数据存储查询方法的数据查询步骤的流程图；

具体实施方式

下面结合实施例对本发明作进一步的描述，所描述的实施例仅仅是本发明一部分实施例，并不是全部的实施例。基于本发明中的实施例，本领域的普通技术人员在没有做出创造性劳动前提下所获得的其他所用实施例，都属于本发明的保护范围。

实施例1:

下面将结合附图，对本发明的技术方案进行完整的描述。

一种关系型数据库数据存储查询方法，包括如下数据存储和数据查询步骤：

如附图1示，数据存储步骤：

1)在关系型数据表中根据表字段新增一条数据记录Record1，然后返回主键ID值K1。

2)提前设定好需要查询的字段SFeild，然后将Record1数据中需要查询的字段SFeild的相关数据SFeildData保存到hbase上，将步骤1中返回的主键ID值K1作为hbase的key来保存。

3)清空redis条件查询模块的缓存数据。由于新增的数据主键ID值K1必然不在任意一条条件缓存数据中，若不清空条件缓存模块数据，则同一查询条件缓存数据所包括的主键ID值必然不完整，由此会造成查询结果不准确。

4)编辑关系型数据表中的数据Record1，挡编辑完成后，根据主键ID值K1依次执行步骤5、步骤2、步骤3、步骤6。

5)在hbase库根据key(K1)删除对应的数据SFeildData。由于hbase库只能新增不能编辑的特性，因此只能删除已存在的K1数据。

6)在redis的数据缓存模块，根据主键ID值K1，删除对应的缓存数据。由于在数据检索阶段，从关系型数据表中获取到主键K1对应的数据后，会在redis的数据缓存模块，以K1为key，K1对应的数据作为value缓存糙redis的set结构中，因此当关系型数据表中数据更新时，需要删除该缓存数据。

如附图2示，数据查询步骤：

7)获取查询字段SFeild的查询数据SearchData，将查询字段数据SearchData作为key，在redis的缓存查询模块获取对应的value值，即类似的K1值。若未获取到相关的查询条件数据SFeildData，则执行步骤8，否则执行步骤9。

8)根据查询字段数据SearchData，查询hbase数据表，返回查询所得的key，即主键ID值K1；并将查询字段数据SearchData作为key，hbase的key(主键ID值K1)作为value来保存在redis的set结构中。

9)根据获取到的hbase对应的key(主键ID)，再在redis的数据缓存模块中根据K1获取相关数据。若获取到数据，则本次数据查询结束；若未获取到相关数据，则执行步骤10。

10)根据K1查询关系型表中数据，然后将主键ID作为key，对应数据Record1作为value存储在redis的数据缓存模块，设置缓存时长为T。

以上所述仅为本发明较佳实例而已，本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims

1.一种关系型数据库数据存储查询方法，其特征在于，包括存储步骤和查询步骤如下：

存储步骤：

步骤1：在关系型数据表中新增数据并返回主键ID；

步骤2：将需要查询的字段的相关数据保存到hbase数据表，将数据的主键ID作为hbase的key来保存；

步骤3：清空redis缓存的查询模块数据；

步骤4：若编辑关系型数据表中的数据，则获取主键ID后，依次执行步骤5、步骤2、步骤3、步骤6；

步骤5：在hbase库根据key删除对应的数据；

步骤6：在redis的数据缓存模块，根据主键ID，删除对应的缓存数据；

查询步骤：

步骤7：获取查询字段数据，将查询字段作为key，在redis的缓存查询模块获取对应的value值；若未获取到相关的查询条件数据，则执行步骤8；否则执行步骤9；

步骤8：根据查询字段数据，查询hbase数据表，返回查询所得的key，即主键ID集合；并将查询字段作为key，hbase的key作为value来保存在redis的set结构中；

步骤9：根据获取到的hbase对应的key，再在redis的数据缓存模块中根据主键ID获取相关数据；若获取到数据，则本次数据查询结束；若未获取到相关数据，则执行步骤10；

步骤10：根据主键ID查询关系型数据表中数据，然后将主键ID作为key，对应数据作为value存储在redis的数据缓存模块，设置缓存时长为T。

2.根据权利要求1所述的一种关系型数据库数据存储查询方法，其特征在于，所述步骤4的若编辑关系型数据表中的数据，则需要同步更新hbase表中对应的相关数据。

3.根据权利要求1所述的一种关系型数据库数据存储查询方法，其特征在于，步骤7所述的value值是hbase的key，也是关系型数据表中的主键ID。

4.根据权利要求1所述的一种关系型数据库数据存储查询方法，其特征在于，所述步骤8中，hbase的key作为value来保存在redis的set结构中，具体包括：将key与减速字段以key-value的形式保存在redis的set结构中。

5.根据权利要求1所述的一种关系型数据库数据存储查询方法，其特征在于，所述步骤10中，所述关系型数据表是行存储式结构，通过每行的主键ID可以直接获取到具体的某一条数据，不用扫描全表查询。

6.根据权利要求1所述的一种关系型数据库数据存储查询方法，其特征在于，所述步骤10中，T时长之后，存储在redis的数据缓存模块内的数据自动销毁。