CN110502507A - 一种分布式数据库的管理系统、方法、设备和存储介质 - Google Patents

Abstract

本发明公开了一种分布式数据库的管理系统、方法、设备和存储介质。其中，该系统包括：数据库服务节点、日志节点以及存储节点，数据库服务节点上配置的数据库服务器根据目标数据的逻辑存储地址，生成对应的第一数据库日志发送给日志节点上配置的日志服务器；日志服务器根据目标数据的逻辑存储地址与物理存储地址之间的映射关系，将第一数据库日志转化为对应的第二数据库日志，并发送给目标数据所在的存储节点上配置的存储服务器；存储服务器重做第二数据库日志，得到目标数据的操作结果。本发明提供的技术方案，通过日志节点降低数据库服务与分布式存储之间的耦合性和复杂性，无需直接发送操作的数据，从而减少底层存储之间的网络通信负担。

Description

一种分布式数据库的管理系统、方法、设备和存储介质

技术领域

本发明实施例涉及数据库处理领域，尤其涉及一种分布式数据库的管理系统、方法、设备和存储介质。

背景技术

在数据库技术高速发展的当下，为了提高数据库的处理性能，分布式数据库越来越广泛地应用到人们的日常生活中。

现有的分布式系统可包含独立的分布式数据库服务器和分布式存储服务器，其中数据库服务器负责接收并执行客户端修改表数据的操作请求，产生对应的数据库日志，后续通过专门的刷盘线程在适当时机将该数据库日志进行刷盘，并将刷盘后的数据页写入对应的存储服务器中，由该存储服务器记录修改的数据页，此时数据库服务器与存储服务器上的数据页一一对应，使得数据版本的控制逻辑组件之间的耦合性和复杂性较高，同时底层的存储服务器之间采用多副本存储时会直接发送数据页，使得底层的网络通信负担较大。

发明内容

本发明实施例提供了一种分布式数据库的管理系统、方法、设备和存储介质，降低数据库服务与分布式存储之间的耦合性，减少底层存储之间的网络通信负担。

第一方面，本发明实施例提供了一种分布式数据库的管理系统，该系统包括：数据库服务节点、日志节点以及存储节点，所述数据库服务节点上配置有至少一个数据库服务器，所述数据库服务器记录有分布式数据库中各项数据的逻辑存储地址，所述存储节点上配置有至少一个存储服务器，所述存储服务器上记录有所述分布式数据库中各项数据的物理存储地址，所述日志节点上配置有至少一个日志服务器，所述日志服务器记录有所述逻辑存储地址与所述物理存储地址之间的映射关系；其中，

所述数据库服务器根据客户端请求操作的目标数据的逻辑存储地址，生成对应的第一数据库日志发送给对应的日志服务器；所述日志服务器根据所述目标数据的逻辑存储地址与物理存储地址之间的映射关系，将所述第一数据库日志转化为对应物理存储地址下的第二数据库日志，并将所述第二数据库日志发送给所述目标数据所在的存储服务器；所述存储服务器重做所述第二数据库日志，得到所述目标数据的操作结果。

第二方面，本发明实施例提供了一种分布式数据库的管理方法，该方法包括：

根据客户端操作的目标数据的逻辑存储地址与物理存储地址之间的映射关系，将通过数据库服务器生成的所述目标数据对应的第一数据库日志转化为对应物理存储地址下的第二数据库日志；

将所述第二数据库日志分发给所述目标数据所在的存储服务器，以使所述存储服务器重做所述第二数据库日志，得到所述目标数据的操作结果。

第三方面，本发明实施例提供了一种分布式数据库的管理装置，该装置包括：

日志转化模块，用于根据客户端当前操作的目标数据的逻辑存储地址与物理存储地址之间的映射关系，将通过数据库服务器生成的所述目标数据对应的第一数据库日志转化为对应物理存储地址下的第二数据库日志；

日志分发模块，用于将所述第二数据库日志分发给所述目标数据所在的存储服务器，以使所述存储服务器重做所述第二数据库日志，得到所述目标数据的操作结果。

第四方面，本发明实施例提供了一种设备，该设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例中所述的分布式数据库的管理方法。

第五方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的分布式数据库的管理方法。

本发明实施例提供了一种分布式数据库的管理系统、方法、设备和存储介质，将整个分布式系统中的各个服务器配置不同的数据库功能，进而划分到对应的数据库服务节点、日志节点以及存储节点中，此时数据库服务节点中的数据库服务器面向用户提供数据库服务，并记录分布式数据库中各项数据的逻辑存储地址，存储节点中的存储服务器用于存储分布式数据库中的各项数据，并记录有对应的物理存储地址，此时日志节点中的日志服务器中记录有各项数据的逻辑存储地址和物理存储地址之间的映射关系，从而将数据库服务器在逻辑存储地址下生成的第一数据库日志转化为对应物理存储地址下的第二数据库日志，使得相应存储服务器重做该第二数据库日志，得到对应的操作结果，按照数据库日志顺序更改数据文件，使得不同版本的数据文件控制逻辑简单，通过日志节点降低数据库服务与分布式存储之间的耦合性和复杂性，同时通过日志服务器向存储服务器发送对应的数据库日志以确保存储服务器中数据的准确性，无需直接发送操作的数据，从而减少底层存储之间的网络通信负担；此外，本申请中将分布式数据库中的数据库服务、日志服务以及存储服务分离，从而实现分布式数据库中存储节点上的资源共享。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例一提供的一种分布式数据库的管理系统的原理架构图；

图2为本发明实施例二提供的一种分布式数据库的管理系统的原理架构图；

图3为本发明实施例三提供的一种分布式数据库的管理方法的流程图；

图4为本发明实施例四提供的一种分布式数据库的管理方法的流程图；

图5为本发明实施例五提供的一种分布式数据库的管理方法的流程图；

图6为本发明实施例六提供的一种分布式数据库的管理装置的结构示意图；

图7为本发明实施例七提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

图1为本发明实施例一提供的一种分布式数据库的管理系统的原理架构图，本实施例可适用于对分布式数据库进行优化管理的情况中。参照图1，本实施例中分布式数据库的管理系统10可以包括：数据库服务节点11、日志节点12以及存储节点13。

可选的，数据库服务节点11上配置有至少一个数据库服务器110，数据库服务器110记录有分布式数据库中各项数据的逻辑存储地址，存储节点13上配置有至少一个存储服务器130，存储服务器130上记录有分布式数据库中各项数据的物理存储地址，日志节点12上配置有至少一个日志服务器120，日志服务器120记录有逻辑存储地址与物理存储地址之间的映射关系。

其中，为了提高分布式数据库的处理性能，本实施例采用对分布式数据库中的数据库服务、日志服务和存储服务进行三层分离的数据库架构，将日志服务和存储服务从分布式数据库中剥离；此时通过为分布式数据库中的各个服务器配置不同的数据功能，使得各个服务器对应划分到为分布式数据库预先设置的数据库服务节点11、日志节点12以及存储节点13中，此时数据库服务节点11中配置的数据库服务器110、日志节点12中配置的日志服务器120以及存储节点13中配置的存储服务器130的数量可以根据用户对分布式数据库中各服务器的具体配置功能来确定，本实施例中对此不作限定。

以下分别对数据库服务节点11、日志节点12以及存储节点13的具体功能进行详细的说明：

具体的，数据库服务节点11面向数据库用户提供并发的结构化查询语言(Structured Query Language，SQL)服务，其中配置的数据库服务器110直接与数据库客户端20建立连接，不同的数据库服务器110面向不同区域用户所在的数据库客户端20，此时数据库服务器110负责接收客户端20发起的数据库操作请求，并对其进行分析、优化及执行，期间产生对应表示本次数据库操作的数据库日志；此时由于数据库服务器110相对于存储节点13上配置的存储服务器130会预先处理客户端请求的操作数据，而该操作数据实际存储在存储数据库130中，因此数据库服务器110面向客户端20的用户，可仍按照传统的数据库管理系统的表空间及数据文件的管理方式，提供逻辑上的数据文件，将其操作解析成这些逻辑文件中某些地址的数据的操作，这些逻辑文件内数据的地址即为该数据的逻辑存储地址。示例性的，可以用表空间ID，表空间内文件编号，数据页号以及页内的数据偏移作为该数据的逻辑存储地址；此时数据库服务器110在接收到客户端20针对目标数据发起的操作请求时，首先会将该目标数据对应的逻辑存储地址上的数据页加载至对应的数据缓存中，并将针对该目标数据的请求操作产生的数据库日志保存至对应的日志缓存中，以便后续在特定时机下对操作的数据页和数据库日志进行刷盘。

示例性的，本实施例相对于现有技术调整了日志刷盘和数据文件刷盘的控制逻辑，数据库服务器110将产生的数据库日志发送给日志节点12中配置的日志服务器120，由日志服务器120结合存储节点13中配置的存储服务器130对该数据库日志和本次操作数据所在的数据页进行具体的数据修改及刷盘处理操作，降低数据库服务器110的数据操作量，减少据库服务器110的工作负担。

此外，数据库服务节点11中配置的各个数据库服务器110可以是单独的数据库实例，也可以属于同一共享集群，支持完整的SQL标准，如复杂关联查询、存储过程、包、触发器、视图、序列等其它分布式数据库无法支持的特性；同时每一数据库服务器110均面向用户配置完整的数据访问服务，能够支持多点的增删改查等写入请求，此时并发的写入操作可以分散到多个数据库服务器110中；而且数据库服务节点11上配置的不同数据库服务器110之间可以通过缓存融合技术，保证跨服务器数据的强一致性，在此基础上，能够支持跨服务器的多版本并发控制和完整的事务隔离级的特性。

进一步的，日志节点12上配置的日志服务器120具备一定的容灾能力，负责从数据库服务器110中实时接收对于逻辑存储地址下的数据进行操作所产生的数据库日志，并执行对应的日志转化步骤，得到在存储节点13中配置的存储服务器130的物理存储地址下的数据库日志，完成数据库日志的存储和访问服务，并向对应存储服务器130下发转化后的数据库日志，以便存储服务器130通过重做转化后的数据库日志对对应操作数据进行更新，得到相应的操作结果。本实施例相比现有的分布式数据库方案，设计独立的日志节点，能够较好将分布式数据库中的数据库日志实现独立处理，避免数据库日志在写入时对数据库服务节点11和存储节点13产生资源争用；同时独立的日志节点设计，能够简化存储节点13的存储逻辑，改善存储节点13的数据处理性能；。

示例性的，本实施例中的日志服务器120对于数据库服务器110发送的各个数据库日志会依次生成对应的日志处理任务并加入预先设置的任务队列中，以便后续对数据库日志依次进行处理，避免由于数据库日志的遗漏而造成分布式数据库出错的情况，提高数据存储的准确性。其中，本实施例对于每一数据库日志会设置对应的日志序列号(LogSequence Number，LSN)，日志服务器120在数据库日志的处理过程中，借助该日志序列号LSN保证数据的正确性。

进一步的，存储节点13中配置的存储服务器130采用不同的存储方式存储分布式数据库中的数据，本实施例中对此不作限定。示例性的，采用分片式多副本的方式对分布式数据库中的各项数据进行存储，此时将数据文件按照固定大小进行分片，每一分片通过多副本存储于相应存储服务器130中，此时每个存储服务器130中仅存储一个分片的最多一个副本；此时不同分片及副本在存储服务器130中的物理存储地址以及数据库服务110中的逻辑存储地址之间的映射关系可以对应的保存在日志节点12中，以便日志节点12中的日志服务器120在向存储节点13发送转化后的数据库日志时，能够准确确定出本次操作的数据对应的分片及副本所在的存储服务器130，从而将转化后的数据库日志发送且仅发送给存储其修改数据的正确的存储服务器，保证数据存储的准确性，另外，针对一个存储服务器，仅发送其存储的数据相关的数据库日志，无需发送更新的数据，也无需发送所有日志，能够有效减少底层存储的网络通信负担。

此外，本实施例中数据库服务节点11、日志节点12和存储节点13分离设置，可以额外增加对应的数据库服务器110、日志服务器120和存储服务器130，并设置新增服务器之间的关系，从而实现多数据库服务节点11、多日志节点12和多存储节点的资源共享，具备良好的扩展性。

本实施例中数据库服务节点11、日志节点12和存储节点13对于客户端20针对目标数据发起的请求操作的执行过程如下所示：

数据库服务器110根据客户端20请求操作的目标数据的逻辑存储地址，生成对应的第一数据库日志发送给对应的日志服务器120；日志服务器120根据目标数据的逻辑存储地址与物理存储地址之间的映射关系，将第一数据库日志转化为对应物理存储地址下的第二数据库日志，并将第二数据库日志发送给目标数据所在的存储服务器130；存储服务器130重做该第二数据库日志，得到目标数据的操作结果。

可选的，本实施例架构的数据库服务器110在执行日志刷盘时，将对应的第一数据库日志发送给日志服务器120，由日志服务器120对该第一数据库日志进行归档，并生成对应的日志处理任务，则指示日志刷盘完成，无需将该第一数据库日志写入到数据库服务器本地的日志文件中；同时执行数据页刷盘时，数据库服务器110仅需向日志服务器120确认本次数据页刷盘指定的数据库日志序列号是否已经将刷盘数据对应刷盘到存储服务器130的数据文件中，若没有，则进行数据页刷盘并等待刷盘完成，此时第一数据库日志中已经包含刷盘数据的修改内容，数据页刷盘时不需要再发送数据；同时数据库服务器中某一数据修改时，由于数据缓存的存在，日志刷盘必定先于对应的数据页刷盘；本实施例中日志服务器120在完成数据库服务器110中生成的第一数据库日志的刷盘任务后，即可开始该第一数据库日志的转化及分发，等待到数据库服务器110针对本次修改的数据文件刷盘时，第二数据库日志很大可能已经在存储服务器130上完成了重做，有效的保证效率。此外，日志服务器120向存储服务器130分发第二数据库日志以及存储服务器130完成第二数据库日志重做后的确认操作是异步执行的；日志服务器120发送第二数据库日志后不必等待存储服务器130对于该第二数据库日志的重做完成确认即可发送后续的第二数据库日志；日志服务器120上配置有专门的模块(线程)来处理存储服务器130对于第二数据库日志的重做完成确认。

本实施例提供的技术方案，将整个分布式系统中的各个服务器配置不同的数据库功能，进而划分到对应的数据库服务节点、日志节点以及存储节点中，此时数据库服务节点中的数据库服务器面向用户提供数据库服务，并记录分布式数据库中各项数据的逻辑存储地址，存储节点中的存储服务器用于存储分布式数据库中的各项数据，并记录有对应的物理存储地址，此时日志节点中的日志服务器中记录有各项数据的逻辑存储地址和物理存储地址之间的映射关系，从而将数据库服务器在逻辑存储地址下生成的第一数据库日志转化为对应物理存储地址下的第二数据库日志，使得相应存储服务器重做该第二数据库日志，得到对应的操作结果，按照数据库日志顺序更改数据文件，使得不同版本的数据文件控制逻辑简单，通过日志节点降低数据库服务与分布式存储之间的耦合性和复杂性，同时通过日志服务器向存储服务器发送对应的数据库日志以确保存储服务器中数据的准确性，无需直接发送操作的数据，从而减少底层存储之间的网络通信负担；此外，本申请中将分布式数据库中的数据库服务、日志服务以及存储服务分离，从而实现分布式数据库中存储节点上的资源共享。

实施例二

图2为本发明实施例二提供的一种分布式数据库的管理系统的原理架构图，本实施例是在上述实施例的基础上进行优化。参照图2，本实施例中分布式数据库的管理系统10中的日志节点12还配置有目录服务器121，该目录服务器121上记录有数据文件中每一分片及其副本的存储位置。

具体的，本实施例中的目录服务器121负责提供整个分布式数据库中各项数据的元数据信息，该元数据信息可以为描述数据属性的信息，如数据的存储位置、数据结构或者数据对应关系等。此时由于目录服务器121中的承担负载较小，因此采用单一的服务器即可满足性能要求，使得目录服务器121的数量为一个，从高可用性的角度来看，目录服务器121短时故障并不会影响分布式数据库的整体系统运行，此时目录服务器121可以采用一般的高可用方案，如高可用集群(High Available，HA)、主备数据库等即可满足要求。

可选的，数据库服务器110和日志服务器120可以根据本次请求操作的目标数据所在的逻辑存储地址对应的数据页的文件号和数据页号以及目标数据的逻辑存储地址与物理存储地址之间的映射关系，与目录服务器121通信，确定该目标数据在存储服务器130上所属的数据分片编号及其在该分片内的数据偏移，并获取该目标数据对应分片的副本所在的存储服务器130的信息，确保本次操作数据在存储节点13上的完整性。

此外，本实施例中存储节点13上配置的存储服务器130上设置有数据文件缓存区以及日志缓存区，数据文件缓存区中缓存有目标数据的物理存储地址对应的数据页信息，日志缓存区缓存有第二数据库日志。具体的，存储服务器130在接收到日志服务器120发送的转化后的第二数据库日志后，首先根据第二数据库日志中记录的目标数据所在的物理存储位置，计算该目标数据在存储服务器130中的数据页地址，获取本次需要操作的数据页加入对应的数据文件缓存中并进行对应操作，同时将指示该数据页信息进行操作的第二数据库日志加入对应的日志缓存中，以便后续在恰当的时机，进行日志刷盘或数据页刷盘，从而将第二数据库日志的内容写入到本地存储服务器130的日志文件中，或将数据页的修改写入到本地存储服务器130的数据文件中；此时完成刷盘的数据页可以从其数据文件缓存中移除。

本实施例提供的技术方案，将整个分布式系统中的各个服务器配置不同的数据库功能，进而划分到对应的数据库服务节点、日志节点以及存储节点中，此时数据库服务节点中的数据库服务器面向用户提供数据库服务，并记录分布式数据库中各项数据的逻辑存储地址，存储节点中的存储服务器用于存储分布式数据库中的各项数据，并记录有对应的物理存储地址，此时日志节点中的日志服务器中记录有各项数据的逻辑存储地址和物理存储地址之间的映射关系，从而将数据库服务器在逻辑存储地址下生成的第一数据库日志转化为对应物理存储地址下的第二数据库日志，使得相应存储服务器重做该第二数据库日志，得到对应的操作结果，通过日志节点降低数据库服务与分布式存储之间的耦合性和复杂性，同时通过日志服务器向存储服务器发送对应的数据库日志以确保存储服务器中数据的准确性，无需直接发送操作的数据，从而减少底层存储之间的网络通信负担；此外，本申请中将分布式数据库中的数据库服务、日志服务以及存储服务分离，从而实现分布式数据库中存储节点上的资源共享。

实施例三

图3为本发明实施例三提供的一种分布式数据库的管理方法的流程图，本实施例可适用于对分布式数据库进行优化管理的情况中。本实施例提供的一种分布式数据库的管理方法可以由本发明实施例提供的分布式数据库的管理装置来执行，该装置可以通过软件和/或硬件的方式来实现，并集成在执行本方法的设备中，在本实施例中执行本方法的设备可以是分布式数据库中的日志服务器。

具体的，参考图3，该方法可以包括如下步骤：

S310，根据客户端操作的目标数据的逻辑存储地址与物理存储地址之间的映射关系，将通过数据库服务器生成的目标数据对应的第一数据库日志转化为对应物理存储地址下的第二数据库日志。

具体的，用户通过客户端输入对应的SQL操作语句，对目标数据进行查询、插入、修改或删除等操作时，与该客户端对应的数据库服务器会收到客户端对该目标数据的操作请求，此时该数据库服务器通过解析该操作请求，可以得到该目标数据的逻辑存储地址，同时针对本次操作请求，生成在该逻辑存储地址下的第一数据库日志，本实施例数据库服务器会将第一数据库日志缓存到对应的日志缓存中，后续在恰当的时机采用本实施例调整的日志刷盘和数据页刷盘的方式将该第一数据库日志以及对应目标数据的逻辑存储地址发送给对应的日志服务器进行处理；此时日志服务器在接收到该第一数据库日志以及对应目标数据的逻辑存储地址时，通过查找预先记录的该目标数据的逻辑存储地址与物理存储地址之间的映射关系，将在逻辑存储地址下的第一数据库日志转化为对应物理存储地址下的第二数据库日志，以便后续存储服务器对物理存储地址下的第二数据库日志进行处理。示例性的，目标数据的逻辑存储地址为数据库服务器上的存储区域A，映射在存储服务器上的物理存储地址为存储区域B，此时若第一数据库日志表示将存储区域A的数据a修改为b，则转换后的第二数据库日志表示将存储区域B的数据a修改为b，从而在存储服务器上执行准确的数据操作，确保数据存储的正确性。

S320，将第二数据库日志分发给目标数据所在的存储服务器，以使存储服务器重做第二数据库日志，得到目标数据的操作结果。

具体的，如果存储节点采用分片式多副本的方式存储数据时，目标数据在数据库服务器上的逻辑存储地址可以映射到多个存储服务器上的物理存储地址，此时日志服务器得到转化后的在不同存储服务器上对应物理存储地址下的第二数据库日志后，可以将转化后的第二数据库日志对应分发给不同物理存储地址对应的该目标数据所在的存储服务器，以便该存储服务器在恰当的时机重做该第二数据库日志，从而对本次操作的目标数据进行对应的操作，得到对应的操作结果，保证数据存储的准确性。同时，第二数据库日志仅分发给其目标数据所涉及到存储服务器，有效的减少了发送给存储服务器的日志数量，降低了底层的网络通信量。

本实施例提供的技术方案，将整个分布式系统中的各个服务器配置不同的数据库功能，进而划分到对应的数据库服务节点、日志节点以及存储节点中，此时数据库服务节点中的数据库服务器面向用户提供数据库服务，并记录分布式数据库中各项数据的逻辑存储地址，存储节点中的存储服务器用于存储分布式数据库中的各项数据，并记录有对应的物理存储地址，此时日志节点中的日志服务器中记录有各项数据的逻辑存储地址和物理存储地址之间的映射关系，从而将数据库服务器在逻辑存储地址下生成的第一数据库日志转化为对应物理存储地址下的第二数据库日志，使得相应存储服务器重做该第二数据库日志，得到对应的操作结果，通过日志节点降低数据库服务与分布式存储之间的耦合性和复杂性，同时通过日志服务器向存储服务器发送对应的数据库日志以确保存储服务器中数据的准确性，无需直接发送操作的数据，从而减少底层存储之间的网络通信负担；此外，本申请中将分布式数据库中的数据库服务、日志服务以及存储服务分离，从而实现分布式数据库中存储节点上的资源共享。

实施例四

图4为本发明实施例四提供的一种分布式数据库的管理方法的流程图。本实施例是在上述实施例的基础上进行优化。可选的，本实施例中主要对于调整后的日志刷盘的逻辑进行详细的解释说明。

可选的，如图4所示，本实施例具体可以包括如下步骤：

S410，接收数据库服务器根据客户端请求操作的目标数据的逻辑存储地址生成的第一数据库日志，并将第一数据库日志归档至数据库服务器对应的日志归档文件中。

具体的，数据库服务器在根据客户端请求操作的目标数据的逻辑存储地址生成的第一数据库日志后，会将该第一数据库日志加入数据库服务器本地的日志缓存中，后续在恰当的时机对日志缓存中的各个数据库日志进行刷盘，此时数据库服务器会将日志缓存中的第一数据库日志发送给日志服务器进行处理，此时日志服务器本身并不进行数据缓存，只是进行数据库日志的归档、转化和分发处理，因此在接收到数据库服务器发送的第一数据库日志时，首先将该第一数据库日志按照所属的数据库服务器归档至该数据库服务器专属的日志归档文件中，以对已处理日志进行整理，保证未处理日志的准确性。

S420，生成第一数据库日志对应的日志处理任务，并将日志处理任务加入预设的任务队列中。

可选的，在将第一数据库日志归档至数据库服务器对应的日志归档文件的同时，生成该第一数据库日志对应的日志处理任务，并加入到预先设置的任务队列中，以便后续依次对该任务队列中的日志进行处理，此时仅需要在任务队列中等待该第一数据库日志的处理，无需额外执行日志的写入操作，表示本次日志刷盘结束。

S430，向数据库服务器反馈第一数据库日志的刷盘结束消息。

具体的，在日志服务器将第一数据库日志对应的日志处理任务加入任务队列后，后续会依次自动处理对应的日志，无需执行额外的日志写入操作，表示第一数据库日志完成刷盘，因此向数据库服务器反馈第一数据库日志的刷盘结束消息，以指示该数据库服务器继续执行后续的处理，提高日志刷盘的便利性。

此外，本实施例架构的数据库服务器在执行日志刷盘时，将对应的第一数据库日志发送给日志服务器，由日志服务器对该第一数据库日志进行归档，并生成对应的日志处理任务，则指示日志刷盘完成。

S440，根据客户端当前操作的目标数据的逻辑存储地址与物理存储地址之间的映射关系，顺序将任务队列中的日志处理任务对应的第一数据库日志转化为对应物理存储地址下的第二数据库日志。

S450，将第二数据库日志分发给目标数据所在的存储服务器，以使存储服务器重做第二数据库日志，得到目标数据的操作结果。

本实施例提供的技术方案，将整个分布式系统中的各个服务器配置不同的数据库功能，进而划分到对应的数据库服务节点、日志节点以及存储节点中，此时数据库服务节点中的数据库服务器面向用户提供数据库服务，并记录分布式数据库中各项数据的逻辑存储地址，存储节点中的存储服务器用于存储分布式数据库中的各项数据，并记录有对应的物理存储地址，此时日志节点中的日志服务器中记录有各项数据的逻辑存储地址和物理存储地址之间的映射关系，从而将数据库服务器在逻辑存储地址下生成的第一数据库日志转化为对应物理存储地址下的第二数据库日志，使得相应存储服务器重做该第二数据库日志，得到对应的操作结果，使得不同版本的数据文件控制逻辑简单，通过日志节点降低数据库服务与分布式存储之间的耦合性和复杂性，同时通过日志服务器向存储服务器发送对应的数据库日志以确保存储服务器中数据的准确性，无需直接发送操作的数据，从而减少底层存储之间的网络通信负担；此外，本申请中将分布式数据库中的数据库服务、日志服务以及存储服务分离，从而实现分布式数据库中存储节点上的资源共享。

实施例五

图5为本发明实施例五提供的一种分布式数据库的管理方法的流程图。本实施例是在上述实施例的基础上进行优化。可选的，本实施例中主要对于调整后的数据页刷盘的逻辑进行详细的解释说明。

可选的，如图5所示，本实施例具体可以包括如下步骤：

S510，根据客户端操作的目标数据的逻辑存储地址与物理存储地址之间的映射关系，将通过数据库服务器生成的所述目标数据对应的第一数据库日志转化为对应物理存储地址下的第二数据库日志。

S520，将第二数据库日志分发给目标数据所在的存储服务器，以使存储服务器重做第二数据库日志，得到目标数据的操作结果。

S530，根据数据库服务器上待刷盘数据的逻辑存储地址，确定待刷盘数据分片后关联的存储服务器。

可选的，数据库服务器在根据客户端请求操作的目标数据的逻辑存储地址生成第一数据库日志时，会将该第一数据库日志对应逻辑存储地址所在的数据页加入数据库服务器本地的数据文件缓存中，后续在恰当的时机对数据文件缓存中的各个数据页进行刷盘，此时对数据页刷盘时要求该数据页对应的第一数据库日志之前的所有数据库日志都已经在其所在的存储服务器(也就是该数据页分片后关联的存储服务器)上完成重做，此时通过数据库日志的日志序列号LSN判断当前已经完成重做的数据库日志。

具体的，为了保证数据页刷盘的准确性，日志服务器上记录有以下关键的日志序列号LSN：1)当前已经转化的第一数据库日志的LSN：Cur_lsn；2)，对于每一存储服务器，日志服务器最后一次发送给该存储服务器的转化后的第二数据库日志的LSN：Last_sent_lsn以及该存储服务器反馈的最后完成重做的第二数据库日志的LSN：Last_applied_lsn；后续根据所记录的各个日志序列号的执行情况确定数据页刷盘的准确性。此外，日志服务器在完成第一数据库日志的转化时，更新其上记录的Cur_lsn值，并在向存储服务器发送转化后的第二数据库日志时，更新对应的Last_sent_lsn值，同时在存储服务器完成第二数据库日志的重做时，向日志服务器反馈本地的Last_applied_lsn值，以便日志服务器实时更新。

示例性的，在执行数据页刷盘时，日志服务器会接收到数据库服务器发送的待刷盘数据在数据库服务器上的逻辑存储地址以及对应的第一数据库日志的LSN，此时日志服务器会根据待刷盘数据的逻辑存储地址和物理存储地址之间的映射关系，确定待刷盘数据在存储服务器上的分片及其副本的存储位置信息；同时日志服务器通过其上记录的Cur_lsn值以及第一数据库日志的LSN，检查第一数据库日志是否已经转化，若未转化，则一直等到该第一数据库日志完成转化后，继续检查该待刷盘数据对应的分片及其副本所在的存储服务器是否完成转化后的第二数据库日志的重做；此时首先通过其上记录的Last_sent_lsn值，检查转化后的第二数据库日志是否已经发送给对应的存储服务器(要求其上记录的Last_sent_lsn值大于等于待刷盘数据对应的第一数据库日志的LSN)，确定转化后的第二数据库日志已经发送后，继续根据其上记录的该存储服务器对应的Last_applied_lsn值，检查转化后的第二数据库日志是否在该存储服务器上完成重做(要求其上记录的Last_applied_lsn值大于等于待刷盘数据对应的第一数据库日志的LSN)，直至待刷盘数据对应的第二数据库日志在对应的存储服务器上完成重做后，表示待刷盘数据对应的数据页刷盘完成。

S540，在关联的存储服务器对待刷盘数据对应的第二数据库日志重做完成后，向数据库服务器反馈待刷盘数据的刷盘完成消息。

具体的，在关联的存储服务器对待刷盘数据对应的第二数据库日志重做完成后，需要向数据库服务器反馈待刷盘数据的刷盘完成消息，以指示该数据库服务器继续执行后续的处理，提高数据页刷盘的便利性。

此外，本实施例架构的数据库服务器在执行数据页刷盘时，数据库服务器仅需向日志服务器确认本次数据页刷盘指定的数据库日志序列号是否已经将刷盘数据对应刷盘到存储服务器的数据文件中，若没有，则进行数据页刷盘并等待刷盘完成，此时第一数据库日志中已经包含刷盘数据的修改内容，数据页刷盘时不需要再发送数据；同时数据库服务器中某一数据修改时，由于数据缓存的存在，日志刷盘必定先于对应的数据页刷盘；本实施例中日志服务器在完成数据库服务器中生成的第一数据库日志的刷盘任务后，即可开始该第一数据库日志的转化及分发，等待到数据库服务器针对本次修改的数据文件刷盘时，第二数据库日志很大可能已经在存储服务器上完成了重做，有效的保证效率。此外，日志服务器向存储服务器分发第二数据库日志以及存储服务器完成第二数据库日志重做后的确认操作是异步执行的；日志服务器发送第二数据库日志后不必等待存储服务器对于该第二数据库日志的重做完成确认即可发送后续的第二数据库日志；日志服务器上配置有专门的模块(线程)来处理存储服务器对于第二数据库日志的重做完成确认。

本实施例提供的技术方案，将整个分布式系统中的各个服务器配置不同的数据库功能，进而划分到对应的数据库服务节点、日志节点以及存储节点中，此时数据库服务节点中的数据库服务器面向用户提供数据库服务，并记录分布式数据库中各项数据的逻辑存储地址，存储节点中的存储服务器用于存储分布式数据库中的各项数据，并记录有对应的物理存储地址，此时日志节点中的日志服务器中记录有各项数据的逻辑存储地址和物理存储地址之间的映射关系，从而将数据库服务器在逻辑存储地址下生成的第一数据库日志转化为对应物理存储地址下的第二数据库日志，使得相应存储服务器重做该第二数据库日志，得到对应的操作结果，通过日志节点降低数据库服务与分布式存储之间的耦合性和复杂性，同时通过日志服务器向存储服务器发送对应的数据库日志以确保存储服务器中数据的准确性，无需直接发送操作的数据，从而减少底层存储之间的网络通信负担；此外，本申请中将分布式数据库中的数据库服务、日志服务以及存储服务分离，从而实现分布式数据库中存储节点上的资源共享。

实施例六

图6为本发明实施例六提供的一种分布式数据库的管理装置的结构示意图，如图6所示，该装置可以包括：

日志转化模块610，用于根据客户端操作的目标数据的逻辑存储地址与物理存储地址之间的映射关系，将通过数据库服务器生成的目标数据对应的第一数据库日志转化为对应物理存储地址下的第二数据库日志；

日志分发模块620，用于将第二数据库日志分发给目标数据所在的存储服务器，以使存储服务器重做第二数据库日志，得到目标数据的操作结果。

本实施例提供的技术方案，将整个分布式系统中的各个服务器配置不同的数据库功能，进而划分到对应的数据库服务节点、日志节点以及存储节点中，此时数据库服务节点中的数据库服务器面向用户提供数据库服务，并记录分布式数据库中各项数据的逻辑存储地址，存储节点中的存储服务器用于存储分布式数据库中的各项数据，并记录有对应的物理存储地址，此时日志节点中的日志服务器中记录有各项数据的逻辑存储地址和物理存储地址之间的映射关系，从而将数据库服务器在逻辑存储地址下生成的第一数据库日志转化为对应物理存储地址下的第二数据库日志，使得相应存储服务器重做该第二数据库日志，得到对应的操作结果，使得不同版本的数据文件控制逻辑简单，通过日志节点降低数据库服务与分布式存储之间的耦合性和复杂性，同时通过日志服务器向存储服务器发送对应的数据库日志以确保存储服务器中数据的准确性，无需直接发送操作的数据，从而减少底层存储之间的网络通信负担；此外，本申请中将分布式数据库中的数据库服务、日志服务以及存储服务分离，从而实现分布式数据库中存储节点上的资源共享。

进一步的，上述分布式数据库的管理装置，还可以包括：

日志刷盘模块，用于接收数据库服务器根据客户端请求操作的目标数据的逻辑存储地址生成的第一数据库日志，并将第一数据库日志归档至数据库服务器对应的日志归档文件中；生成第一数据库日志对应的日志处理任务，并将日志处理任务加入预设的任务队列中；向数据库服务器反馈第一数据库日志的刷盘结束消息。

进一步的，上述分布式数据库的管理装置，还可以包括：

数据页刷盘模块，用于根据数据库服务器上待刷盘数据的逻辑存储地址，确定待刷盘数据分片后关联的存储服务器；在关联的存储服务器对待刷盘数据对应的第二数据库日志重做完成后，向数据库服务器反馈待刷盘数据的刷盘完成消息。

进一步的，将所述第二数据库日志分发给所述目标数据所在的存储服务器的操作与所述存储服务器重做第二数据库日志后的完成确认的操作为异步执行的。

进一步的，上述日志转化模块610，具体可以用于：

顺序将任务队列中的日志处理任务对应的第一数据库日志转化为对应物理存储地址下的第二数据库日志。

本实施例提供的分布式数据库的管理装置可适用于上述任意实施例提供的分布式数据库的管理方法，具备相应的功能和有益效果。

实施例七

图7为本发明实施例七提供的一种设备的结构示意图。如图7所示，该设备包括处理器70、存储装置71和通信装置72；设备中处理器70的数量可以是一个或多个，图7中以一个处理器70为例；设备的处理器70、存储装置71和通信装置72可以通过总线或其他方式连接，图7中以通过总线连接为例。

存储装置71作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的分布式数据库的管理方法对应的模块。处理器70通过运行存储在存储装置71中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的分布式数据库的管理方法。

存储装置71可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置71可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置71可进一步包括相对于处理器60远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

通信装置72可用于实现设备间网络连接或者移动数据连接。

本实施例提供的一种设备可用于执行上述任意实施例提供的分布式数据库的管理方法，具备相应的功能和有益效果。

实施例八

本发明实施例七还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现上述任意实施例中的分布式数据库的管理方法。该方法具体可以包括：

根据客户端操作的目标数据的逻辑存储地址与物理存储地址之间的映射关系，将通过数据库服务器生成的目标数据对应的第一数据库日志转化为对应物理存储地址下的第二数据库日志；

将第二数据库日志分发给目标数据所在的存储服务器，以使存储服务器重做第二数据库日志，得到目标数据的操作结果。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的分布式数据库的管理方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述分布式数据库的管理装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种分布式数据库的管理系统，其特征在于，包括：数据库服务节点、日志节点以及存储节点，所述数据库服务节点上配置有至少一个数据库服务器，所述数据库服务器记录有分布式数据库中各项数据的逻辑存储地址，所述存储节点上配置有至少一个存储服务器，所述存储服务器上记录有所述分布式数据库中各项数据的物理存储地址，所述日志节点上配置有至少一个日志服务器，所述日志服务器记录有所述逻辑存储地址与所述物理存储地址之间的映射关系；其中，

所述数据库服务器根据客户端请求操作的目标数据的逻辑存储地址，生成对应的第一数据库日志发送给对应的日志服务器；所述日志服务器根据所述目标数据的逻辑存储地址与物理存储地址之间的映射关系，将所述第一数据库日志转化为对应物理存储地址下的第二数据库日志，并将所述第二数据库日志发送给所述目标数据所在的存储服务器；所述存储服务器重做所述第二数据库日志，得到所述目标数据的操作结果。

2.根据权利要求1所述的管理系统，其特征在于，所述日志节点上还配置有目录服务器，所述目录服务器上记录有数据文件的元数据。

3.根据权利要求1所述的管理系统，其特征在于，所述存储服务器上设置有数据文件缓存区以及日志缓存区，所述数据文件缓存区中缓存有目标数据的物理存储地址对应的数据页信息，所述日志缓存区缓存有第二数据库日志。

4.一种分布式数据库的管理方法，其特征在于，包括：

根据客户端操作的目标数据的逻辑存储地址与物理存储地址之间的映射关系，将通过数据库服务器生成的所述目标数据对应的第一数据库日志转化为对应物理存储地址下的第二数据库日志；

将所述第二数据库日志分发给所述目标数据所在的存储服务器，以使所述存储服务器重做所述第二数据库日志，得到所述目标数据的操作结果。

5.根据权利要求4所述的管理方法，其特征在于，在将通过数据库服务器生成的所述目标数据对应的第一数据库日志转化为对应物理存储地址下的第二数据库日志之前，还包括：

接收所述数据库服务器根据客户端请求操作的目标数据的逻辑存储地址生成的第一数据库日志，并将所述第一数据库日志归档至所述数据库服务器对应的日志归档文件中；

生成所述第一数据库日志对应的日志处理任务，并将所述日志处理任务加入预设的任务队列中；

向所述数据库服务器反馈所述第一数据库日志的刷盘结束消息。

6.根据权利要求4所述的管理方法，其特征在于，还包括：

根据所述数据库服务器上待刷盘数据的逻辑存储地址，确定所述待刷盘数据分片后关联的存储服务器；

在所述关联的存储服务器对所述待刷盘数据对应的第二数据库日志重做完成后，向所述数据库服务器反馈所述待刷盘数据的刷盘完成消息。

7.根据权利要求6所述的管理方法，其特征在于，将所述第二数据库日志分发给所述目标数据所在的存储服务器的操作与所述存储服务器重做第二数据库日志后的完成确认的操作为异步执行的。

8.根据权利要求5所述的管理方法，其特征在于，将通过数据库服务器生成的所述目标数据对应的第一数据库日志转化为对应物理存储地址下的第二数据库日志，包括：

顺序将所述任务队列中的日志处理任务对应的第一数据库日志转化为对应物理存储地址下的第二数据库日志。

9.一种设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求4-8中任一所述的分布式数据库的管理方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求4-8中任一所述的分布式数据库的管理方法。