CN103399949A - 一种数据库存储块状态控制方法和装置 - Google Patents

Abstract

本发明实施例公开了一种数据库存储块状态控制方法和装置，包括：建立任务队列，将接收的从Master模块发送的状态改变请求依次排列到所述任务队列中；从任务队列中取出一状态改变请求，根据所述状态改变请求生成位置写入请求；将所述位置写入请求发送到MetaServer模块；重新执行所述从任务列表中取出一状态改变请求，RegionServer模块将接收的状态改变请求依次排列到任务队列中，并且异步处理根据接收的所述状态改变请求生成的位置写入请求，即不需要等待接收上一个位置写入请求对应的确认信息即可处理下一个状态改变请求，提高了对存储块状态改变操作的效率，由此释放了系统性能。

Description

一种数据库存储块状态控制方法和装置

技术领域

本发明涉及数据库领域，特别是涉及一种数据库存储块状态控制方法和装置。

背景技术

分布式数据库一般以多个存储块的形式对存储在数据库中的数据进行分块保存，当存储的数据的状态发生改变，比如说移动删除或新建等操作，其对应的存储块的位置或状态同样也会发生相应的改变，比如说将数据从a存储块移动到b存储块中或者将a存储块中的数据删除等，针对这种使得存储块状态的改变的操作，分布式数据库的处理流程可参见图1，首先是Master模块即对存储块的状态进行控制的模块在接收到针对某一存储块状态改变的请求时，向RegionServer模块即保存所述存储块的模块发送对应的状态改变请求，RegionServer模块在接收到状态改变请求后向MetaServer模块即专门用来保存各个存储块位置信息的模块发送对应这次状态改变请求的位置写入请求，MetaServer模块在处理位置写入请求后向RegionServer模块返回确认信息，RegionServer模块在接收到确认信息后才能向Master模块返回对应所述状态改变请求的确认信息，其中，针对位置写入请求以及对应返回的确认信息是同步处理的，也就是说，RegionServer模块在没有接收到对应本次发送的位置写入请求的确认信息之前，是无法接收并处理其他状态改变请求的，这样的操作流程，对于拥有大量存储块的分布式数据库来说效率很低，一旦对应存储块的状态改变操作较多时，大量的状态改变请求堵塞在网络上而无法进行后续处理，大大制约了分布式数据库的性能。

发明内容

为了解决上述分布式数据系统中只能同步处理状态改变请求的技术问题，本发明提供了一种数据库存储块状态控制方法和装置。

本发明实施例公开了如下技术方案：

一种数据库存储块状态控制方法，包括：

建立任务队列，将接收的从Master模块发送的状态改变请求依次排列到所述任务队列中；

从任务队列中取出一状态改变请求，根据所述状态改变请求生成位置写入请求；

将所述位置写入请求发送到MetaServer模块；

重新执行所述从任务列表中取出一状态改变请求。

优选的，所述从任务队列中取出一状态改变请求，根据所述状态改变请求生成位置写入请求还包括：

根据所述位置写入请求设定等待时间以及根据所述状态改变请求改变对应存储块的状态；

相应的，在将所述位置写入请求发送到MetaServer模块后，开始计时；

当计时时间在超出所述等待时间内没有接收到从MetaServer模块返回的对应所述位置写入请求的第一确认信息时，则判定所述位置写入请求失败，将所述存储块设置回改变前的状态；

当计时时间在超出所述等待时间内接收到从MetaServer模块返回的对应所述位置写入请求的第一确认信息时，则根据所述第一确认信息判定所述位置写入请求是否成功；

如果根据所述第一确认信息判定所述位置写入请求失败，则将对应的所述存储块设置回改变前的状态。

优选的，还包括：

向所述状态改变请求的发送方返回第二确认信息，所述第二确认信息包含所述状态改变请求是否成功的结果，所述状态改变请求是否成功的结果与所述位置写入请求的判定是否成功的结果相同。

优选的，所述建立任务队列，将接收的从Master模块发送的状态改变请求依次排列到所述任务队列中具体为：

按照接收的时间先后顺序依次排列到所述任务队列中。

优选的，还包括：

所述Master模块在发送一个状态改变请求后，直接处理下一个状态改变请求。

一种数据库存储块状态控制装置，包括：

任务队列单元，用于建立任务队列，将接收的从Master模块发送的状态改变请求依次排列到所述任务队列中；

位置写入请求生成单元，用于从任务队列中取出一状态改变请求，根据所述状态改变请求生成位置写入请求；

位置写入请求发送单元，用于将所述位置写入请求发送到MetaServer模块；重新触发所述位置写入请求生成单元。

优选的，所述位置写入请求生成单元还包括：

设定等待时间及改变状态单元，用于根据所述位置写入请求设定等待时间以及根据所述状态改变请求改变对应存储块的状态；

相应的，计时单元，用于在将所述位置写入请求发送到MetaServer模块后，开始计时；

第一判定单元，用于当计时时间在超出所述等待时间内没有接收到从MetaServer模块返回的对应所述位置写入请求的第一确认信息时，则判定所述位置写入请求失败，将所述存储块设置回改变前的状态；

第二判定单元，用于当计时时间在超出所述等待时间内接收到从MetaServer模块返回的对应所述位置写入请求的第一确认信息时，则根据所述第一确认信息判定所述位置写入请求是否成功；

第三判定单元，用于如果根据所述第一确认信息判定所述位置写入请求失败，则将对应的所述存储块设置回改变前的状态。

优选的，还包括：

第二确认信息返回单元，用于向所述状态改变请求的发送方返回第二确认信息，所述第二确认信息包含所述状态改变请求是否成功的结果，所述状态改变请求是否成功的结果与所述位置写入请求的判定是否成功的结果相同。

优选的，所述任务队列单元具体用于：

按照接收的时间先后顺序依次排列到所述任务队列中。

优选的，还包括：

所述Master模块在发送一个状态改变请求后，直接处理下一个状态改变请求。

由上述技术方案可以看出，RegionServer模块将接收的状态改变请求依次排列到任务队列中，并且异步处理根据接收的所述状态改变请求生成的位置写入请求，即不需要等待接收上一个位置写入请求对应的确认信息即可处理下一个状态改变请求，提高了对存储块状态改变操作的效率，由此释放了系统性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中数据库存储块状态控制方法的信令图；

图2为本发明一种数据库存储块状态控制方法的方法流程图；

图3为本发明一种数据库存储块状态控制方法的另一个方法流程图；

图4为本发明一种数据库存储块状态控制方法的另一个方法流程图；

图5为本发明一种数据库存储块状态控制装置的装置结构图；

图6为本发明一种数据库存储块状态控制装置的另一个装置结构图；

图7为本发明一种数据库存储块状态控制装置的另一个装置结构图。

具体实施方式

本发明实施例提供了一种数据库存储块状态控制方法和装置。一方面，RegionServer模块将接收的状态改变请求依次排列到任务队列中，并且异步处理根据接收的所述状态改变请求生成的位置写入请求，即不需要等待接收上一个位置写入请求对应的确认信息即可处理下一个接收到的状态改变请求，提高了对存储块状态改变操作的效率，由此释放了系统性能。

另一方面，针对每一个位置写入请求设置等待时间，并在发送位置写入请求时开始计时，将对于计时时间超出对应的等待时间后还没有接收到对应的确认信息的位置写入请求判定为失败，使得在进行处理位置写入请求时，不会出现因为网络或其他原因导致长时间接收不到确认信息而造成系统资源浪费的问题，进一步的提高系统性能。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例进行详细描述。

实施例一

请参阅图2，其为本发明一种数据库存储块状态控制方法的方法流程图，该方法包括以下步骤：

S201：建立任务队列，将接收的从Master模块发送的状态改变请求依次排列到所述任务队列中；

也就是说，在通过异步处理技术下，RegionServer模块可以在处理完一个状态改变请求之前，继续接收Master模块发送的其他状态改变请求，减缓网络可能出现的堵塞状态，并将接收的状态改变请求按照一定次序排列到任务队列中，以使得在发送完一个状态改变请求对应的位置写入请求后，可以直接从任务队列中依次提取下一个状态改变请求进行处理。这里的异步处理技术主要是指可以使模块实现多路复用的功能，比如说epoll技术，epoll是Linux内核为处理大批量句柄而作了改进的poll，是Linux下多路复用IO接口select/poll的增强版本，它能显著减少程序在大量并发连接中只有少量活跃的情况下的系统CPU利用率。

优选的，所述建立任务队列，将接收的从Master模块发送的状态改变请求依次排列到所述任务队列中具体为：

按照接收的时间先后顺序依次排列到所述任务队列中。

优选的，还包括：

所述Master模块在发送一个状态改变请求后，直接处理下一个状态改变请求。

针对Master模块即状态改变请求的发送方来说，同样在异步处理的技术下，可以在发送一个状态改变请求之后直接发送下一个状态改变请求而不需要等待RegionServer模块返回的对应发送的状态改变请求的确认信息。

S202：从任务队列中取出一状态改变请求，根据所述状态改变请求生成位置写入请求；

S203：将所述位置写入请求发送到MetaServer模块；重新执行S202。

这一步需要说明的是，在异步处理的情况下，当RegionServer模块将根据状态改变请求生成的位置写入请求发送出去后，不需要保持等待状态直到对应的确认信息返回后才能执行下一个状态改变请求，而可以直接从任务队列中取出下一个状态改变请求，进行相应的操作。

由本实施例可以看出，RegionServer模块将接收的状态改变请求依次排列到任务队列中，并且异步处理根据接收的所述状态改变请求生成的位置写入请求，即不需要等待接收上一个位置写入请求对应的确认信息即可处理下一个状态改变请求，提高了对存储块状态改变操作的效率，由此释放了系统性能。

实施例二

在实施例一的基础上，本实施例将针对如何解决在处理位置写入请求时可能因为网络或其他原因导致长时间无法收到对应的确认消息而导致该位置写入请求长时间无法完成处理的问题进行详细描述。请参阅图3，其为本发明一种数据库存储块状态控制方法的另一个方法流程图，所述从任务队列中取出一状态改变请求，根据所述状态改变请求生成位置写入请求还包括：

S301：根据所述位置写入请求设定等待时间以及根据所述状态改变请求改变对应存储块的状态；

这里所述的等待时间主要是指一种响应时间，是为了保证进程不会因为网络或其他原因导致死循环或者长时间无响应导致浪费系统资源，针对不同类型的位置写入请求会设置不同的。针对每一个发送后的位置写入请求都设定有对应的等待时间，并专门设置一个线程对等待时间进行监控，当计时时间超出等待时间后，便判定对应的位置写入请求失败。

同时需要注意的是，在开始处理状态改变请求时，RegionServer模块就可以根据该状态改变请求的状态改变内容，将对应的存储块进行相应的状态改变，比如说移动、删除或者新建等操作。

S302：相应的，在将所述位置写入请求发送到MetaServer模块后，开始计时；

S303：当计时时间在超出所述等待时间内没有接收到从MetaServer模块返回的对应所述位置写入请求的第一确认信息时，则判定所述位置写入请求失败，将所述存储块设置回改变前的状态；

这种情况就是属于超时了，一般来说是网络问题或者是MetaServer模块没有响应，这种情况下，是没有办法对步骤S301做出针对存储块状态改变进行对应的记录，如果没有记录存储块改变状态后的位置信息，那么其他用户甚至系统将无法检索到该存储块，所以缺少记录步骤是无法真正完成状态改变，故只能将已经改变状态的存储块退回到改变之前的状态，也就是对应MetaServer模块中原本对应该存储块的位置信息的状态。

S304：当计时时间在超出所述等待时间内接收到从MetaServer模块返回的对应所述位置写入请求的第一确认信息时，则根据所述第一确认信息判定所述位置写入请求是否成功；

这种情况下，也就是MetaServer模块在给定的等待时间里向返回了确认信息，当然，确认信息也至少包括写入成功和写入失败两种情况，要针对确认信息的内容来进一步判定是否将改变的位置信息成功写入了。

S305：如果根据所述第一确认信息判定所述位置写入请求失败，则将对应的所述存储块设置回改变前的状态。

优选的，还包括：

向所述状态改变请求的发送方返回第二确认信息，所述第二确认信息包含所述状态改变请求是否成功的结果，所述状态改变请求是否成功的结果与所述位置写入请求的判定是否成功的结果相同。

这里需要说明的是，虽然是异步处理，但是还是需要向请求发送方返回对应的确认信息，不光是这一步骤中的第二确认信息，上述S303中提到的第一确认信息也是同样道理，上述第一确认消息和第二确认消息可以使得请求发送方获取请求是否成功的信息，以便进行对应性的处理。

下面将以实际的实施场景，基于epoll技术下的多路复用，并结合实施例一和实施例二的技术方案，进一步的对本发明的技术方案进行描述，以此更加明确的体现出本发明技术方案所实现的功能，请参阅图4，包括：

S401：Master模块发送存储块的状态改变请求到RegionServer模块。

对Master模块来说该请求流程已经结束，随时可以发送下一个状态改变请求。

S402：RegionServer模块接收所述状态改变请求，并且放入任务队列。

RegionServer模块对请求的接收方式为epoll机制加任务队列，具体为采用epoll机制和任务队列机制实现RegionServer模块对网络的多路复用。与具有代表性的HBase架构采用的同步方式不同，本实施例中的RegionServer模块采取epoll监听多个网络请求。模块内部利用一单独线程定期获取到达的状态改变请求，然后放置到任务队列中逐个处理。本流程中的网络请求接收都是采取该方式，不再一一进行说明。

S403：RegionServer模块从任务队列中取出任务，进行对应存储块的状态改变的本地操作。

S404：RegionServer模块产生一个租约对象，与该状态改变请求绑定。

租约对象是具有过期时间和任务标识的结构体，置于一全局链表中。RegionServer模块有一专门线程检测该租约是否过期。每一个状态改变请求在被处理时都会产生一个所述租约对象。

同时需要注意的是，S403和S404之间并没有确定的先后关系，也可以是同时进行操作的。

S405：RegionServer模块向MetaServer模块发送针对该存储块状态改变的位置写入请求。

对于RegionServer模块来说，存储块状态改变的操作在本地已经结束，可以继续处理下一请求。

S406：MetaServer模块根据接收的所述位置写入请求写入该存储块状态改变后的位置信息；

S407：MetaServer模块向RegionServer模块返回对应所述位置写入请求的确认信息。

S408：RegionServer模块接收返回的所述确认信息，并取消对应的租约。

本步骤主要是指在过期时间之内接收到返回的确认消息的情况，如果在设定的过期时间范围内RegionServer模块没有接收到MetaServer模块的返回的确认消息，则对应的租约对象会过期。此时RegionServer模块认为该位置写入请求失败，将在本地进行状态的回滚，也就是说对已经改变状态的存储块退回到改变之前的状态。

由本实施例可以看出，一方面，RegionServer模块将接收的状态改变请求依次排列到任务队列中，并且异步处理根据接收的所述状态改变请求生成的位置写入请求，即不需要等待接收上一个位置写入请求对应的确认信息即可处理下一个接收到的状态改变请求，提高了对存储块状态改变操作的效率，由此释放了系统性能。

另一方面，针对每一个位置写入请求设置等待时间，并在发送位置写入请求时开始计时，将对于计时时间超出对应的等待时间后还没有接收到对应的确认信息的位置写入请求判定为失败，使得在进行处理位置写入请求时，不会出现因为网络或其他原因导致长时间接收不到确认信息而造成系统资源浪费的问题，进一步的提高系统性能。

实施例三

本实施例为对应实施例一的装置实施例，请参阅图5，其为本发明一种数据库存储块状态控制装置的装置结构图，该装置包括任务队列单元501、位置写入请求生成单元502和位置写入请求发送单元503。包括：

任务队列单元501，用于建立任务队列，将接收的从Master模块发送的状态改变请求依次排列到所述任务队列中；

优选的，所述任务队列单元501具体用于：

按照接收的时间先后顺序依次排列到所述任务队列中。

优选的，还包括：

所述Master模块在发送一个状态改变请求后，直接处理下一个状态改变请求。

位置写入请求生成单元502，用于从任务队列中取出一状态改变请求，根据所述状态改变请求生成位置写入请求；

位置写入请求发送单元503，用于将所述位置写入请求发送到MetaServer模块；重新触发所述位置写入请求生成单元501。

由本实施例可以看出，RegionServer模块将接收的状态改变请求依次排列到任务队列中，并且异步处理根据接收的所述状态改变请求生成的位置写入请求，即不需要等待接收上一个位置写入请求对应的确认信息即可处理下一个状态改变请求，提高了对存储块状态改变操作的效率，由此释放了系统性能。

实施例四

本实施例为对应实施例二的装置实施例，请参阅图6，其为本发明一种数据库存储块状态控制装置的另一个装置结构图，还包括：

所述位置写入请求生成单元501还包括：

设定等待时间及改变状态单元601，用于根据所述位置写入请求设定等待时间以及根据所述状态改变请求改变对应存储块的状态；

相应的，计时单元602，用于在将所述位置写入请求发送到MetaServer模块后，开始计时；

第一判定单元603，用于当计时时间在超出所述等待时间内没有接收到从MetaServer模块返回的对应所述位置写入请求的第一确认信息时，则判定所述位置写入请求失败，将所述存储块设置回改变前的状态；

第二判定单元604，用于当计时时间在超出所述等待时间内接收到从MetaServer模块返回的对应所述位置写入请求的第一确认信息时，则根据所述第一确认信息判定所述位置写入请求是否成功；

第三判定单元605，用于如果根据所述第一确认信息判定所述位置写入请求失败，则将对应的所述存储块设置回改变前的状态。

优选的，在前述图6的基础上还包括第二确认信息返回单元701，如图7所示：

第二确认信息返回单元701，用于向所述状态改变请求的发送方返回第二确认信息，所述第二确认信息包含所述状态改变请求是否成功的结果，所述状态改变请求是否成功的结果与所述位置写入请求的判定是否成功的结果相同。

由本实施例可以看出，一方面，RegionServer模块将接收的状态改变请求依次排列到任务队列中，并且异步处理根据接收的所述状态改变请求生成的位置写入请求，即不需要等待接收上一个位置写入请求对应的确认信息即可处理下一个接收到的状态改变请求，提高了对存储块状态改变操作的效率，由此释放了系统性能。

另一方面，针对每一个位置写入请求设置等待时间，并在发送位置写入请求时开始计时，将对于计时时间超出对应的等待时间后还没有接收到对应的确认信息的位置写入请求判定为失败，使得在进行处理位置写入请求时，不会出现因为网络或其他原因导致长时间接收不到确认信息而造成系统资源浪费的问题，进一步的提高系统性能。

需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random AccessMemory，RAM）等。

以上对本发明所提供的一种数据库存储块状态控制方法和装置进行了详细介绍，本文中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种数据库存储块状态控制方法，其特征在于，包括：

建立任务队列，将接收的从Master模块发送的状态改变请求依次排列到所述任务队列中；

从任务队列中取出一状态改变请求，根据所述状态改变请求生成位置写入请求；

将所述位置写入请求发送到MetaServer模块；

重新执行所述从任务列表中取出一状态改变请求。

2.根据权利要求1所述的方法，其特征在于，所述从任务队列中取出一状态改变请求，根据所述状态改变请求生成位置写入请求还包括：

根据所述位置写入请求设定等待时间以及根据所述状态改变请求改变对应存储块的状态；

相应的，在将所述位置写入请求发送到MetaServer模块后，开始计时；

当计时时间在超出所述等待时间内没有接收到从MetaServer模块返回的对应所述位置写入请求的第一确认信息时，则判定所述位置写入请求失败，将所述存储块设置回改变前的状态；

当计时时间在超出所述等待时间内接收到从MetaServer模块返回的对应所述位置写入请求的第一确认信息时，则根据所述第一确认信息判定所述位置写入请求是否成功；

如果根据所述第一确认信息判定所述位置写入请求失败，则将对应的所述存储块设置回改变前的状态。

3.根据权利要求2所述的方法，其特征在于，还包括：

向所述状态改变请求的发送方返回第二确认信息，所述第二确认信息包含所述状态改变请求是否成功的结果，所述状态改变请求是否成功的结果与所述位置写入请求的判定是否成功的结果相同。

4.根据权利要求1所述的方法，其特征在于，所述建立任务队列，将接收的从Master模块发送的状态改变请求依次排列到所述任务队列中具体为：

按照接收的时间先后顺序依次排列到所述任务队列中。

5.根据权利要求1所述的方法，其特征在于，还包括：

所述Master模块在发送一个状态改变请求后，直接处理下一个状态改变请求。

6.一种数据库存储块状态控制装置，其特征在于，包括：

任务队列单元，用于建立任务队列，将接收的从Master模块发送的状态改变请求依次排列到所述任务队列中；

位置写入请求生成单元，用于从任务队列中取出一状态改变请求，根据所述状态改变请求生成位置写入请求；

位置写入请求发送单元，用于将所述位置写入请求发送到MetaServer模块；重新触发所述位置写入请求生成单元。

7.根据权利要求6所述的装置，其特征在于，所述位置写入请求生成单元还包括：

设定等待时间及改变状态单元，用于根据所述位置写入请求设定等待时间以及根据所述状态改变请求改变对应存储块的状态；

相应的，计时单元，用于在将所述位置写入请求发送到MetaServer模块后，开始计时；

第一判定单元，用于当计时时间在超出所述等待时间内没有接收到从MetaServer模块返回的对应所述位置写入请求的第一确认信息时，则判定所述位置写入请求失败，将所述存储块设置回改变前的状态；

第二判定单元，用于当计时时间在超出所述等待时间内接收到从MetaServer模块返回的对应所述位置写入请求的第一确认信息时，则根据所述第一确认信息判定所述位置写入请求是否成功；

第三判定单元，用于如果根据所述第一确认信息判定所述位置写入请求失败，则将对应的所述存储块设置回改变前的状态。

8.根据权利要求7所述的装置，其特征在于，还包括：

第二确认信息返回单元，用于向所述状态改变请求的发送方返回第二确认信息，所述第二确认信息包含所述状态改变请求是否成功的结果，所述状态改变请求是否成功的结果与所述位置写入请求的判定是否成功的结果相同。

9.根据权利要求6所述的装置，其特征在于，所述任务队列单元具体用于：

按照接收的时间先后顺序依次排列到所述任务队列中。

10.根据权利要求6所述的装置，其特征在于，还包括：

所述Master模块在发送一个状态改变请求后，直接处理下一个状态改变请求。

Images