CN102521265B

CN102521265B - 一种海量数据管理中动态一致性控制方法

Info

Publication number: CN102521265B
Application number: CN 201110371947
Authority: CN
Inventors: 金海�; 谢夏; 岑文峰; 柯西江
Original assignee: Huazhong University of Science and Technology
Current assignee: Huazhong University of Science and Technology
Priority date: 2011-11-21
Filing date: 2011-11-21
Publication date: 2013-10-30
Anticipated expiration: 2031-11-21
Also published as: CN102521265A

Abstract

本发明公开了一种海量数据环境下动态的一致性控制方法，步骤为：①主线程对环境做初始化工作；②服务节点开始监听来自客户端发来的读写请求；③当服务节点接收到一个来自客户端发来的数据读写请求任务后，首先读取该请求任务的操作类型；④读取该请求任务的偏差类型，并读取该请求任务的偏差值，并将读取结果与当前的阈值比较后放到相应的队列尾部；⑤回退到②，继续监听来自客户端发来的请求。本发明可以克服不同的应用由于其业务数据对于一致性要求的差异性而不能使用现成的键值型数据库的困难。使得用户只需要关心所操作的数据对于一致性的指标及其取值，而完全不需要花大量的精力重新开发一套只能满足自己业务需求的键值型数据库。

Description

一种海量数据管理中动态一致性控制方法

技术领域

本发明属于海量数据环境下副本放置方法领域，提出一种当数据存在多个副本时对数据进行合理放置的方法，即海量数据管理中动态一致性控制方法。它综合考虑了影响副本放置方法的各种因素，在满足每条数据记录一致性要求的前提下，为用户提供一种灵活的一致性控制方法。

背景技术

近些年来，伴随着社交网站，在线视频，网络相册共享，微博等为典型应用的互联网应用的涌现，web 2.0时代随之来临。面对信息爆炸的互联网，如何来处理和存储大规模的数据给业界和学术界带来了极大的挑战。

在海量数据出现之前，如果说集中式的架构由于其简便性，暂且还有其存在的理由，那么当用户规模和数据量大幅提升的时候，由于其先天所存在的诸如单点失效，可扩展性差，对高并发的处理能力低下等致命缺陷，导致这些系统必须从集中式架构向分布式架构做转化。

而提到分布式系统，不得不提到Eric Brewer教授提出的CAP理论。该理论指出：在一个分布式的系统中，不可能同时满足一致性(Consistency)，可用性(Availability)和分区容错性(Partition Tolerance)这三个需求，最多只能同时满足其中两个。而对于上文中所提到的这些大型的应用，由于其对数据的实时性要求不像金融领域系统那么高，可用性和分区容错性的优先级要高于数据一致性，因此往往采用放弃强一致性的做法来提升系统的高可用性与分区容错性，在一致性需求上取而代之的是采用最终一致性。

由于传统的关系型数据库在处理高并发的读写请求上，性能相对较差，因此国内外各大企业都在开发适合自己业务需求的键值型数据库，例如国外的企业Google开发的Big Table，Facebook主导开发的Cassandra，国内的如淘宝网研发的OceanBase，豆瓣网开发的DoubanDB。虽然健值型数据库在性能上与关系型数据库相比有了非常明显的提升，但是这些数据库在处理数据一致性问题上往往都是根据自己特定的业务需求而开发的，而不像关系型数据库那样，可以适用于任何业务类型。这就会产生以下两个问题：1)不同的企业都需要开发满足自己业务需求的键值型数据库来解决传统的关系型数据库所引起的高并发问题等一系列问题。2)在一个应用内部不同的数据类型对于一致性要求也会有差异，例如图片与文字相比，其一致性要求显然没后者高，那么当两者采用同一种一致性方法时，肯定是通过采用提升前者一致性要求的方式来满足系统整体的一致性要求，那么对于系统整体而言，性能就会有所下降。从目前的情况来看，对于以上两个问题，无论是业界还是学术界，都还没有一个很好的解决方案。

基于以上的分析，出于以下两点需求：1)满足不同的应用对副本一致性所提出的不同需求；2)同一应用中不同的数据类型之间区别对待一致性的要求，需要一种灵活而又动态的一致性控制方法。

发明内容

本发明的目的在于提供一种海量数据环境下动态的一致性控制方法。该发明方法是在不需要开发一套新的键值型数据库的前提下，提供一种灵活的一致性控制方法。它不仅可以满足不同的应用对数据一致性的差异性需求，还可以对同一个应用中不同的数据类型提供针对性的一致性控制方法。

本发明提供的一种海量数据管理中动态一致性控制方法，其特征在于，该方法包括以下步骤：

(1)主线程对环境做初始化工作，包括以下五个步骤：

(1.1)创建三个空置队列，按照创建的先后顺序，分别命名为高优先级队列，表示为HQ；中优先级队列，表示为MQ；低优先级队列，表示为LQ；

(1.2)创建三个变量NS、VS、PS，分别用来保存所有的任务队列中所有的任务的数据条目偏差总和，数值偏差总和以及新旧程度偏差总和，并将初始值均设为0；

(1.3)创建三个计数器NC、VC、PC，分别用来保存当前所有的任务队列中关于数据条目偏差的任务总数，数值偏差的任务总数以及新旧程度偏差的任务总数，并将初始值均设为0；

(1.4)创建并启动一个子线程T1，用于逐个处理三个任务队列中的任务；

(1.5)创建并启动两个子线程T2和T3，用于定期调度三个任务队列中的任务，避免因较高优先级任务队列中的任务长时间拥堵，导致较低优先级队列中的任务没有机会处理的情况发生；

(2)服务节点开始监听来自客户端发来的读写请求；

(3)当服务节点接收到一个来自客户端发来的数据读写请求任务后，首先读取该请求任务的操作类型；

(4)读取该请求任务的偏差类型，并读取该请求任务的偏差值，并将读取结果与当前的阈值比较后放到相应的队列尾部；

(5)回退到步骤(2)，继续监听来自客户端发来的请求。

本发明是在不需要开发一套新的键值型数据库的前提下，通过用不同的数据偏差类型和偏差值来描述任意的一致性要求，从而提供一种灵活的一致性控制方法。可以将此发明方法应用到任何键值型数据库上，并将该数据库部署到物理机或是虚拟机上，形成一个服务节点。若干个服务节点统一对外提供数据访问服务，形成一个分布式的数据库环境。它不仅可以满足不同的应用对数据一致性的差异性需求，还可以对同一个应用中不同的数据类型提供针对性的一致性控制方法。具体而言，本发明具有以下几个优点：

(1)减少冗余工作。目前在海量数据环境下为了解决数据一致性的问题，各机构的做法往往是投入大量的人力对所有的业务逻辑做详尽的分析后开发出一套只能适合该业务本身的键值型数据库。不难看出，从调研到迭代开发，以及后期的各项测试，其所消耗的开发周期将会非常之长，而且各个解决方案的相似性非常大，这对于投入资源的浪费程度可想而知。而本发明的前提就是不需要单独开发一套键值型数据库，只需要选取任意一套开源的数据库，将本发明方法运用到此即可。由此可见，可以大大地减少冗余的工作，提高开发效率。

(2)灵活控制。传统的解决方案在开发之前会有非常详尽的前期需求分析，因此在正常情况下开发出来的数据库可以满足该需求。如果后期出现了增加新需求等情况，则有可能会出现已经开发完成的数据库不能解决该需求，不得不进行后期的迭代开发。而本发明方法所提出的通过对不同的数据设置相应的一致性偏差类型和偏差值的方式，可以灵活地对各种一致性要求进行描述，完全不需要额外的再开发工作。

(3)保证所有任务在有限的时间内得到处理。当数据库受到来自于客户端的高负载请求时，对于一致性要求较高的请求可能会出现得不到及时处理的情况。本发明中设置了三个不同优先级的任务队列，在尽可能保证较高优先级任务率先处理的前提下，通过对定时器的引入，保证较低优先级的任务在设置的时间间隔内肯定能够得到处理。

本发明可以克服不同的应用由于其业务数据对于一致性要求的差异性而不能使用现成的键值型数据库的困难。使得用户只需要关心所操作的数据对于一致性的指标及其取值，而完全不需要花大量的精力重新开发一套只能满足自己业务需求的键值型数据库。

附图说明

图1为本发明方法的流程图；

图2为任务调度队列的示意图。

具体实施方式

本发明的主要原理是通过分析用户请求任务中一致性指标的偏差取值，并将其与该指标类型所对应的当前任务队列中所有任务偏差平均值的一半值与两倍值(在下文中将这两个值统称为当前阈值)进行比较后分发到相应优先级的任务处理队列中。根据对任务队列中任务的先后处理顺序，来体现对一致性差异化的需求。

下面结合附图和实例，对本发明的具体实施步骤作详细说明。

(1)主线程对环境做初始化工作，这包括以下5点内容：

(1.1)创建三个空置队列，按照创建的先后顺序，分别命名为高优先级队列(在下文中用HQ表示)，中优先级队列(在下文中用MQ表示)，低优先级队列(在下文中用LQ表示)。

(1.2)创建三个变量NS、VS、PS，分别用来保存所有的任务队列中所有的任务的数据条目偏差总和，数值偏差总和以及新旧程度偏差总和，并将初始值均设为0。

(1.3)创建三个计数器NC、VC、PC，分别用来保存当前所有的任务队列中关于数据条目偏差的任务总数，数值偏差的任务总数以及新旧程度偏差的任务总数，并将初始值均设为0。

(1.4)创建并启动一个子线程T1，其目的是逐个处理三个任务队列中的任务。该线程的具体实施内容将在下文中详细说明。

(1.5)创建并启动两个子线程T2和T3，其目的是定期调度三个任务队列中的任务，避免因较高优先级任务队列中的任务长时间拥堵，导致较低优先级队列中的任务没有机会处理的情况发生。该线程的具体实施内容将在下文中详细说明。

(2)服务节点开始监听来自客户端发来的读写请求。

(3)当服务节点接收到一个来自客户端发来的数据读写请求任务后，首先读取该请求任务的操作类型，具体为读、写、删三者中的其中一种。

(4)然后读取该请求任务的偏差类型，具体为数据条目偏差、数值偏差、新旧程度偏差三者中的其中一种。并读取该请求任务的偏差值。

(4.1)对于偏差类型为数据条目偏差的情况：若NC≠0，当偏差值小于NS/(2*NC)，则将该请求任务放到HQ尾部；当偏差值介于NS/(2*NC)与2*NS/NC之间时，将该请求任务放到MQ尾部；当偏差值大于2*NS/NC时，将该请求任务放到LQ尾部。若NC＝0，则直接将请求任务放到HQ尾部。然后将数据条目偏差任务计数器NC自增1，数据条目偏差累加器NS与该请求任务的偏差之和作为新的NS的值。

(4.2)对于偏差类型为数值偏差的情况：若VC≠0，当偏差值小于VS/(2*VC)，则将该请求任务放到HQ尾部；当偏差值介于VS/(2*VC)与2*VS/VC之间时，将该请求任务放到MQ尾部；当偏差值大于2*VS/VC时，将该请求任务放到LQ尾部。若VC＝0，则直接将请求任务放到HQ尾部。然后将数据条目偏差任务计数器VC自增1，数据条目偏差累加器VS与该请求任务的偏差之和作为新的VS的值。

(4.3)对于偏差类型为新旧程度偏差的情况：若PC≠0，当偏差值小于PS/(2*PC)，则将该请求任务放到HQ尾部；当偏差值介于PS/(2*PC)与2*PS/PC之间时，将该请求任务放到MQ尾部；当偏差值大于2*PS/PC时，将该请求任务放到LQ尾部。若PC＝0，则直接将请求任务放到HQ尾部。然后将新旧程度偏差任务计数器PC自增1，新旧程度偏差累加器PS与该请求任务的偏差之和作为新的PS的值。

(5)回退到步骤(2)，继续监听来自客户端发来的请求。

由线程的特性可知，在同一个进程中的不同线程是并发执行的，因此子线程T1与主线程是同时并发执行任务的。下面对T1的工作过程作详细阐述。

(A1)判断HQ是否为空，若不为空，则从该队列头部获取一个请求任务，并跳转到步骤(A4)；否则转到步骤(A2)；

(A2)判断MQ是否为空，若不为空，则从该队列头部获取一个请求任务，并跳转到步骤(A4)；否则转到步骤(A3)；

(A3)判断LQ是否为空，若不为空，则从该队列头部获取一个请求任务，并跳转到步骤(A4)；否则跳回到步骤(A1)；

(A4)读取该请求任务的数据操作类型。

(A5)读取该请求任务的偏差类型，具体为数据条目偏差，数值偏差，新旧程度偏差。并读取该请求任务的偏差值。

(A5.1)对于偏差类型为数据条目偏差的情况，将数据条目偏差计数器NC自减1，数据条目偏差累加器NS与该任务的偏差值之差作为新的NS的值。

(A5.2)对于偏差类型为数值偏差的情况，将数值偏差计数器VC自减1，数值偏差累加器VS与该任务的偏差值之差作为新的VS的值。

(A5.3)对于偏差类型为新旧程度偏差的情况，将新旧程度偏差计数器PC自减1，新旧程度偏差累加器PS与该任务的偏差值之差作为新的PS值。

(A6)将请求交给相应的操作类型函数进行处理。并将处理结果返回给客户端。对于读操作而言，返回结果为一个结果集；对于写操作与删除操作，则返回结果为是否操作成功。

(A7)回退到步骤(A1)，继续处理队列中的任务。

在线程T1处理任务的过程中，会有请求任务源源不断地从客户端发来，并根据请求任务的偏差取值，被主线程放到不同优先级的任务队列中。因此就会出现以下这种情况：请求任务的接收速度比处理速度要快，而且大部分的任务都被放到HQ，那么将会导致HQ中的任务会越来越多，从而使得MQ与LQ中的任务始终没有机会处理；对于客户端而言，则表明一个请求发过去之后，始终没有得到响应。为了避免这种情况产生，则需要引入任务调度线程T2与T3。下面对这两个线程的工作过程作详细阐述：其中T2线程的工作过程包括以下步骤：

(B1)每隔预先设定的计时周期ΔT1的时间，检查HQ队列是否为空，如果为空，则说明HQ中没有阻塞的任务，并跳转到步骤(B5)；否则转到步骤(B2)。这里ΔT1的取值和请求的压力有一定的关系，如果请求压力大，则可以选取较小的值；如果请求压力小，可以选取较大的值。建议的取值范围为10秒至50秒之间。

(B2)检查MQ队列是否为空，如果为空，则跳转到步骤(B5)；否则，创建一个计数器C1，并初始化为0，然后转到步骤(B3)。

(B3)从MQ的头部获取一个任务，并交给主线程处理该任务，并将C1自增1。

(B4)如果C1小于一次调度过程中处理任务的最大数目N，并且MQ不为空，则返回到步骤(B3)，否则转到步骤(5)。和ΔT1的取值规则类似，N也受请求的压力影响，建议的取值范围为5至20之间。

(B5)T2当前的任务结束。

T3线程的工作过程包括以下步骤：

(E1)每隔另一个预先设定的计时周期ΔT2的时间，检查MQ队列是否为空，如果为空，则说明MQ中没有阻塞的任务，并跳转到步骤(E5)；否则转到步骤(E2)。一般情况下，ΔT2取十倍于ΔT1的值。

(E2)检查LQ队列是否为空，如果为空，则跳转到步骤(E5)；否则，创建一个计数器C2，并初始化为0，然后跳转到步骤(E3)。

(E3)从LQ的头部获得一个任务，并交给主线程处理任务，并将C2自增1。

(E4)如果C2小于N并且LQ不为空，则返回到步骤(E3)，否则转到步骤(E5)。

(E5)T3当前的任务结束。

这样就保证了队列中所有的任务都有机会在有限的时间内被处理。

本发明不仅局限于上述具体实施方式，本领域一般技术人员根据本发明公开的内容，可以采用其它多种具体实施方式实施本发明，因此，凡是采用本发明的设计结构和思路，做一些简单的变化或更改的设计，都落入本发明保护的范围。

Claims

1.一种海量数据管理中动态一致性控制方法，其特征在于，该方法包括以下步骤：

（1）主线程对环境做初始化工作，包括以下五个步骤：

(1.4)创建并启动一个子线程T1，用于逐个处理三个任务队列中的任务；子线程T1的处理流程如下：

(A4)读取该请求任务的数据操作类型；

(A5)读取该请求任务的偏差类型，并读取该请求任务的偏差值；步骤(A5)中，对于偏差类型为数据条目偏差的情况，将数据条目偏差计数器NC自减1，数据条目偏差累加器NS与该任务的偏差值之差作为新的NS的值；对于偏差类型为数值偏差的情况，将数值偏差计数器VC自减1，数值偏差累加器VS与该任务的偏差值之差作为新的VS的值；对于偏差类型为新旧程度偏差的情况，将新旧程度偏差计数器PC自减1，新旧程度偏差累加器PS与该任务的偏差值之差作为新的PS值；

(A6)将请求交给相应的操作类型函数进行处理；并将处理结果返回给客户端；

(A7)回退到步骤（A1），继续处理队列中的任务；

子线程T2的处理步骤为：

(B1)每隔一个预先设定的计时周期，检查HQ队列是否为空，如果为空，则说明HQ中没有阻塞的任务，并跳转到步骤（B5）；否则转到步骤（B2）；

(B2)检查MQ队列是否为空，如果为空，则跳转到步骤（B5）；否则，创建一个计数器C1，并初始化为0，然后转到步骤（B3）；

(B3)从MQ的头部获取一个任务，并交给主线程处理该任务，并将C1自增1；

(B4)如果C1小于一次调度过程中处理任务的最大数目、并且MQ不为空，则返回到步骤（B3），否则进入步骤（B5）；

(B5)当前的任务结束；

子线程T3的处理步骤为：

(E1)每隔另一个预先设定的计时周期，检查MQ队列是否为空，如果为空，则说明MQ中没有阻塞的任务，并跳转到步骤（E5）；否则转到步骤（E2）；

(E2)检查LQ队列是否为空，如果为空，则跳转到步骤（E5）；否则，创建一个计数器C2，并初始化为0，然后跳转到步骤（E3）；

(E3)从LQ的头部获得一个任务，并交给主线程处理任务，并将C2自增1；

(E4)如果C2小于一次调度过程中处理任务的最大数目、并且LQ不为空，则返回到步骤（E3），否则转到步骤（E5）；

(E5)T3当前的任务结束；

(2)服务节点开始监听来自客户端发来的读写请求；

(4)读取该请求任务的偏差类型，并读取该请求任务的偏差值，并将读取结果与当前的阈值比较后放到相应的队列尾部；步骤（4）按下述流程进行处理：

（4.1）对于偏差类型为数据条目偏差的情况：若NC≠0，当偏差值小于NS/（2*NC），则将该请求任务放到HQ尾部；当偏差值介于NS/(2*NC)与2*NS/NC之间时，将该请求任务放到MQ尾部；当偏差值大于2*NS/NC时，将该请求任务放到LQ尾部；若NC=0，则直接将请求任务放到HQ尾部；然后将数据条目偏差任务计数器NC自增1，数据条目偏差累加器NS与该请求任务的偏差之和作为新的NS的值；

（4.2）对于偏差类型为数值偏差的情况：若VC≠0，当偏差值小于VS/(2*VC)，则将该请求任务放到HQ尾部；当偏差值介于VS/(2*VC)与2*VS/VC之间时，将该请求任务放到MQ尾部；当偏差值大于2*VS/VC时，将该请求任务放到LQ尾部；若VC=0，则直接将请求任务放到HQ尾部；然后将数据条目偏差任务计数器VC自增1，数据条目偏差累加器VS与该请求任务的偏差之和作为新的VS的值；

(4.3)对于偏差类型为新旧程度偏差的情况：若PC≠0，当偏差值小于PS/(2*PC)，则将该请求任务放到HQ尾部；当偏差值介于PS/(2*PC)与2*PS/PC之间时，将该请求任务放到MQ尾部；当偏差值大于2*PS/PC时，将该请求任务放到LQ尾部；若PC=0，则直接将请求任务放到HQ尾部；然后将新旧程度偏差任务计数器PC自增1，新旧程度偏差累加器PS与该请求任务的偏差之和作为新的PS的值；

(5)回退到步骤（2），继续监听来自客户端发来的请求。