CN112783927B

CN112783927B - 一种数据库查询方法及系统

Info

Publication number: CN112783927B
Application number: CN202110115776.8A
Authority: CN
Inventors: 刘浩喆; 齐光鹏; 齐亮
Original assignee: Inspur Cloud Information Technology Co Ltd
Current assignee: Inspur Cloud Information Technology Co Ltd
Priority date: 2021-01-27
Filing date: 2021-01-27
Publication date: 2023-03-17
Anticipated expiration: 2041-01-27
Also published as: CN112783927A

Abstract

本发明公开了一种数据库查询方法及系统，属于数据查询技术领域，该方法基于KV存储引擎，将数据库根据用户定义的SELECT语句从磁盘查询到的数据存入该KV存储引擎；为用户查询的数据集合定义元数据，记录数据信息；通过状态记录器记录查询到的该批数据在不同时间节点的元数据状态信息，每次对数据操作时都将操作引发的元数据变更记录到状态记录器中。本发明能够解决传统的数据库查询方法存在的大批数据查询效率低、大批量数据内存占用高影响系统性能、不适用于反复使用同批数据的场景的问题。显著提升了反复使用查询数据的性能，减少了磁盘损耗，扩展了功能，增加了操作的便捷性。

Description

一种数据库查询方法及系统

技术领域

本发明涉及数据查询技术领域，具体地说是一种数据库查询方法及系统。

背景技术

数据库的主要操作有SELECT、INSERT、UPDATE、DELETE，而SELECT查询数据，是数据库中最常见的操作。SELECT查询操作需要经历如下阶段：用户对数据库发起自定义的查询语句，数据库接受查询语句后将其解析并优化为数据库识别的表达式，去存储节点执行，将数据从硬盘加载到内存中，对数据进行解析后返回并显示给用户。

这种方式的缺点是：查询操作查询到的数据量越大，被加载到内存中的数据也就越多，速度越慢，并且对该节点存储造成的压力也越大，容易影响性能，并且不适用于需要反复使用这批数据的场景，当用户需要反复显示或使用这批数据的时候，会多次进行查询，多次与磁盘进行IO操作，增加系统开销，也增加了磁盘的损耗速度。

发明内容

本发明的技术任务是针对以上不足之处，提供一种数据库查询方法及系统，能够解决传统的数据库查询方法存在的大批数据查询效率低、大批量数据内存占用高影响系统性能、不适用于反复使用同批数据的场景的问题。

本发明解决其技术问题所采用的技术方案是：

一种数据库查询方法，该方法基于KV存储引擎，将数据库根据用户定义的SELECT语句从磁盘查询到的数据存入该KV存储引擎；

为用户查询的数据集合定义元数据，记录数据信息；

通过状态记录器记录查询到的该批数据在不同时间节点的元数据状态信息，每次对数据操作时都将操作引发的元数据变更记录到状态记录器中。

本方法将数据库根据用户定义的SELECT语句从磁盘查询到的数据存入KV存储引擎，有效减少了对查询数据多次使用时与磁盘的IO操作。

元数据记录的数据信息包括名称、ID、对应的查询语句、指针位置信息、数据总量、Schema信息、操作状态、事务状态以及主键索引，若这批数据来自于同一个表，还会记录该表的名称。

通过提出状态记录器，记录查询到的该批数据在不同时间节点的元数据状态信息，每一次对数据进行操作，都会将操作引发的元数据变更记录到状态记录器中，由此实现这些操作对事务的支持。

优选的，该方法的具体实现过程如下：

1)、定义查询语句并生成元数据信息；

2)、根据SELECT语句从数据库查询数据并写入KV存储引擎；

3)、根据指针对KV存储引擎中的数据进行不同方式的查询和操作；

4)、从KV存储引擎中删除数据及其元数据；

5)、事务状态提交或回滚。

进一步的，所述定义查询语句并生成元数据信息，步骤如下：

1.1)、通过Client端，创建该批数据元数据，绑定语句；

1.2)、将元数据存入KV存储引擎；

1.3)、将当前时间和元数据状态写入状态记录器。

优选的，所述根据SELECT语句从数据库查询数据并写入KV存储引擎，步骤如下：

2.1)、若用户定义的是模板查询语句，则填入用户参数再进行查询；若是普通语句，直接进行查询；

2.2)、根据“元数据ID+从‘1’开始递增的数据序号”构造Key，将数据写入KV存储引擎；

2.3)、每条数据存储完毕后，递增的数据序号+1；

2.4)、所有数据写入完毕后，将当前时间和元数据状态写入状态记录器。

优选的，所述根据指针对KV存储引擎中的数据进行不同方式的查询和操作，步骤如下：

3.1)、移动指针位置到用户需要的位置；

3.2)、根据指针位置，确定数据序号值，得到数据Key值，执行单条或范围查询数据，或根据数据映射对原磁盘内数据进行更新、删除操作；

3.3)、操作完毕后，将当前时间和元数据状态写入状态记录器。

优选的，所述从KV存储引擎中删除数据及其元数据，步骤如下：

4.1)、更改元数据状态，标记为已删除；

4.2)、将当前时间和元数据状态写入状态记录器。

优选的，所述事务状态提交或回滚，步骤如下：

5.1)、扫描状态记录器内未提交的事务；

5.2)、根据事务提交、回滚操作和每一步元数据的状态，在KV存储引擎中，对元数据进行修改或根据Key值对数据进行删除操作；

5.3)、每一批数据的操作提交或回滚完成后，在状态记录器中标记该事务已完成。

本发明还要求保护一种数据库查询系统，该系统用于实现上述的数据库查询方法，包括接受SQL指令的数据库客户端Client、解析SQL语句的数据库SQL引擎、存放数据库表数据的数据库存储引擎、用于所述方法中存放用户查询数据的KV存储引擎和管理元数据状态的状态记录器，所述状态记录器可以管理多批数据的元数据信息。

该方法或系统，

支持大批量数据查询：防止内存负载过高，或内存占用过多导致的数据库性能受到影响；

支持数据反复查询场景：根据数据指针位置，快速定位数据Key值，减少反复查询磁盘损耗；

支持KV存储引擎数据与原磁盘存储数据的映射操作：支持通过指针位置，修改原来磁盘上的表的操作，使用场景更加便捷、灵活；

支持事务和宕机恢复：由于有状态记录器的存在，该方案支持事务提交回滚，也支持宕机后根据状态记录器中的时间和元数据状态，恢复查询状态。

本发明还要求保护一种数据库查询装置，包括：至少一个存储器和至少一个处理器；

所述至少一个存储器，用于存储机器可读程序；

所述至少一个处理器，用于调用所述机器可读程序，执行上述的方法。

本发明还要求保护一种计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行上述的方法。

本发明的一种数据库查询方法及系统与现有技术相比，具有以下有益效果：

该查询方法，对于数据库支持银行的金融系统、电商系统、各种企业和公司的信息系统都起到提升查询性能的作用。

随着查询数据量的增加，对内存的优化会变得尤为重要，该方法及系统在减少磁盘IO次数的同时，也能让操作系统内存分配更加合理，去并行运行其它任务，减少了等待时间。

在该方法及系统中，元数据信息可以考虑外接图形化界面，对查询数据进行可视化实时监控，比传统的log日志更人性化便于管理。

该基于KV存储引擎的数据库查询方法和系统在兼容数据库原有语法的同时，数据量大时，显著提升了反复使用查询数据的性能，减少了磁盘损耗，扩展了功能，增加了操作的便捷性，达到了预期的目的。

附图说明

图1是本发明一个实施例提供的数据库查询方法的系统结构图；

图2是本发明一个实施例提供的数据库查询方法的系统实施流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

本发明实施例提供一种数据库查询方法，该方法基于KV存储引擎，将数据库根据用户定义的SELECT语句从磁盘查询到的数据存入该KV存储引擎；

为用户查询的数据集合定义元数据，记录数据信息；

文中所述的

SELECT语句：SELECT是SQL数据操纵语言(DML)中用于查询表格内字段数据的指令，可搭配条件限制的子句(如where)或排列顺序的子句(如order)来获取查询结果；

KV存储引擎：将结构化的数据以键值对存储的一种存储引擎，类似Java中的Map，每个键都会对应一个唯一的值，Key-Value分布式存储系统查询速快、存放数据量大、支持高并发，非常适合通过主键进行查询，但不能进行复杂的条件查询；

数据指针：根据指针当前所指向的位置，确定数据在KV存储引擎中的Key，指针指向的当前位置，即为开始查询的位置，便于快速定位数据，支持重复查询场景；

Schema信息：对应数据库中列的相关信息(列名、列类型等)。

该方法的具体实现过程如下：

1)、定义查询语句并生成元数据信息；

2)、根据SELECT语句从数据库查询数据并写入KV存储引擎；

4)、从KV存储引擎中删除数据及其元数据；

5)、事务状态提交或回滚。

其中，所述定义查询语句并生成元数据信息，步骤如下：

1.1)、通过Client端，创建该批数据元数据，绑定语句；

1.2)、将元数据存入KV存储引擎；

1.3)、将当前时间和元数据状态写入状态记录器。

在Client输入与该方案对应的语法，定义SELECT语句与之绑定。生成该批数据的元数据，初始化元数据值，将元数据写入KV存储引擎(元数据Key编码方式：“当前会话连接的SessionID值+该批数据元数据名称”)。元数据写入后，将当前时间和元数据状态写入状态记录器。

所述根据SELECT语句从数据库查询数据并写入KV存储引擎，步骤如下：

2.3)、每条数据存储完毕后，递增的数据序号+1；

若定义的SELECT是模板语句，则读取用户传入参数，拼接为完整的SELECT语句；若定义的SELECT语句已经是完整的语句则不作处理。

执行查询，将查询到的数据按照规定编码格式存储到KV存储引擎(Key的编码格式：“元数据ID号+从‘1’开始递增的数据序号”)。并且存入KV存储引擎的每条数据都和数据库通过磁盘查询的数据通过唯一数据编号，形成映射关系，便于实现直接通过修改KV存储引擎的数据，同时修改数据库中对应表数据的功能。若这个查询操作涉及到的数据量过大，那么可以根据我们设定的内存阈值，将过多的数据在后台异步进行落盘操作，存到外部存储器上，防止内存不足。数据写入完毕后，修改元数据中的数据条目数、指针位置值、操作状态、事务状态、主键索引等信息，将当前时间和元数据状态写入状态记录器。

所述根据指针对KV存储引擎中的数据进行不同方式的查询和操作，步骤如下：

3.1)、移动指针位置到用户需要的位置；

在这一步我们可以根据数据指针当前的位置的数值，确定递增的数据号，在数据号前方加上元数据ID号，从而拿到数据在KV存储引擎中Key，利用KV存储引擎的特性对数据进行快速精确查询或范围查询。我们也可以在Client端通过命令只修改元数据中指针的位置，从而在不读取数据的情况下修改指针的数值。通过唯一数据编号的映射，我们还可以间接的修改数据库原来存储中的数据值。对数据操作完毕后，修改元数据操作状态、事务状态，将当前时间和元数据状态写入状态记录器。

所述从KV存储引擎中删除数据及其元数据，步骤如下：

4.1)、更改元数据状态，标记为已删除；

4.2)、将当前时间和元数据状态写入状态记录器。

当该批数据使用完毕后，我们可以选择删除在KV存储引擎中删除这批数据及其元数据信息。这里我们采用标记删除的方法，修改元数据操作状态为“已删除”状态、事务状态，被删除的数据当被再次查询时，发现状态为“已删除”，则会反馈给用户相应的“数据不存在”提示信息，我们使用标记删除的目的是为了支持接下的事务功能，允许删除场景下的事务回滚操作。操作完成后，将当前时间和元数据状态写入状态记录器。

所述事务状态提交或回滚，步骤如下：

5.1)、扫描状态记录器内未提交的事务；

事务提交：以状态记录器中，最后一次的状态为准，更新元数据事务状态为“已提交”。若提交了删除数据的操作：在状态记录器中根据元数据信息，第一步删除查询到的数据，根据元数据ID，删除所有以该ID开头的数据，第二步删除该批数据的元数据，根据SessionID+该批数据的元数据名称，得到Key，删除元数据。

事务回滚：按照状态记录器中元数据的顺序，逆向每一步对KV存储引擎的修改操作。

本发明实施例还提供一种数据库查询系统，该系统用于实现上述实施例中所描述的数据库查询方法，包括接受SQL指令的数据库客户端Client、解析SQL语句的数据库SQL引擎、存放数据库表数据的数据库存储引擎、用于所述方法中存放用户查询数据的KV存储引擎和管理元数据状态的状态记录器，所述状态记录器可以管理多批数据的元数据信息。

所述的方法或系统，

本发明实施例还提供一种数据库查询装置，包括：至少一个存储器和至少一个处理器；

所述至少一个存储器，用于存储机器可读程序；

所述至少一个处理器，用于调用所述机器可读程序，执行上述实施例中所描述的数据库查询方法。

本发明实施例还提供了一种计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行本发明上述实施例中所述的数据库查询方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。

在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。

用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。

此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。

此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。

上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。

Claims

1.一种数据库查询方法，其特征在于，基于KV存储引擎，将数据库根据用户定义的SELECT语句从磁盘查询到的数据存入该KV存储引擎；

为用户查询的数据集合定义元数据，记录数据信息；

通过状态记录器记录查询到的该批数据在不同时间节点的元数据状态信息，每次对数据操作时都将操作引发的元数据变更记录到状态记录器中；

该方法的具体实现过程如下：

1）、定义查询语句并生成元数据信息；

2）、根据SELECT语句从数据库查询数据并写入KV存储引擎；

3）、根据指针对KV存储引擎中的数据进行不同方式的查询和操作；

4）、从KV存储引擎中删除数据及其元数据；

5）、事务状态提交或回滚。

2.根据权利要求1所述的一种数据库查询方法，其特征在于，所述定义查询语句并生成元数据信息，步骤如下：

1.1）、通过Client端，创建该批数据元数据，绑定语句；

1.2）、将元数据存入KV存储引擎；

1.3）、将当前时间和元数据状态写入状态记录器。

3.根据权利要求1所述的一种数据库查询方法，其特征在于，所述根据SELECT语句从数据库查询数据并写入KV存储引擎，步骤如下：

2.1）、若用户定义的是模板查询语句，则填入用户参数再进行查询；若是普通语句，直接进行查询；

2.2）、根据“元数据ID+从‘1’开始递增的数据序号”构造Key，将数据写入KV存储引擎；

2.3）、每条数据存储完毕后，递增的数据序号+1；

2.4）、所有数据写入完毕后，将当前时间和元数据状态写入状态记录器。

4.根据权利要求1所述的一种数据库查询方法，其特征在于，所述根据指针对KV存储引擎中的数据进行不同方式的查询和操作，步骤如下：

3.1）、移动指针位置到用户需要的位置；

3.2）、根据指针位置，确定数据序号值，得到数据Key值，执行单条或范围查询数据，或根据数据映射对原磁盘内数据进行更新、删除操作；

3.3）、操作完毕后，将当前时间和元数据状态写入状态记录器。

5.根据权利要求1所述的一种数据库查询方法，其特征在于，所述从KV存储引擎中删除数据及其元数据，步骤如下：

4.1）、更改元数据状态，标记为已删除；

4.2）、将当前时间和元数据状态写入状态记录器。

6.根据权利要求1所述的一种数据库查询方法，其特征在于，所述事务状态提交或回滚，步骤如下：

5.1）、扫描状态记录器内未提交的事务；

5.2）、根据事务提交、回滚操作和每一步元数据的状态，在KV存储引擎中，对元数据进行修改或根据Key值对数据进行删除操作；

5.3）、每一批数据的操作提交或回滚完成后，在状态记录器中标记该事务已完成。

7.一种数据库查询系统，其特征在于，该系统用于实现权利要求1-6任一项所述数据库查询方法，包括接受SQL指令的数据库客户端Client、解析SQL语句的数据库SQL引擎、存放数据库表数据的数据库存储引擎、用于所述方法中存放用户查询数据的KV存储引擎和管理元数据状态的状态记录器，所述状态记录器可以管理多批数据的元数据信息。

8.一种数据库查询装置，其特征在于，包括：至少一个存储器和至少一个处理器；

所述至少一个存储器，用于存储机器可读程序；

所述至少一个处理器，用于调用所述机器可读程序，执行权利要求1至6任一所述的方法。

9.计算机可读介质，其特征在于，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行权利要求1至6任一所述的方法。