CN103077006A - 一种基于多线程的长事务并行执行方法 - Google Patents

Abstract

长事务是指包含多个原子事务且执行时间较长的事务，串行地执行这些原子事务不仅将使长事务执行时间较长，而且还占用较多的系统资源，导致系统运行效率降低。本发明公开了一种基于多线程的长事务并行执行方法，包括以下步骤：（1）将长事务形式化描述为一个扩展的有向图；（2）将LT分割为若干个可以并行执行的子事务LT，给出了其分割算法；（3） 基于POSIX线程库（或者Windows线程API）派生若干个子线程以并行嵌套的模式执行长事务。（4）并行化后的代码需要运行在多核处理器(或多CPU处理器)上。该发明可以显著缩短长事务的执行时间，提高长事务执行效率，可应用于面向服务架构SOA、服务组合、事务处理等领域。

Description

一种基于多线程的长事务并行执行方法

技术领域：本发明专利涉及长事务、图论、多线程技术、服务组合等技术领域，尤其是实现了一种基于多线程的长事务并行执行方法。

背景技术

随着Internet的广泛应用和网络技术的迅速发展，以Web服务为基础的面向服务架构(Service-Oriented Architecture，SOA)作为新型的分布式计算模式已成为目前Internet环境下主流的开发模式，通过动态地组合Web服务构建目标系统是软件开发的主要途径。在服务执行过程中，事务机制是保证数据一致性和可靠性的关键技术，由于服务组合的复杂性、异构性和长期性使得SOA模式下事务表现出不同于传统事务的特点。

传统事务也称为平坦事务，主要适用于处理时间较短的数据处理和较为简单的应用，事务应用控制只有一层，事务的ACID特性在这种情况下能够得到保障。而在基于互联网络的分布式环境下，由于服务组合产生的事务变得越来越复杂，其主要特点包括：（1）执行时间长。传统事务的处理时间只有几毫秒，而基于服务组合产生的事务执行时间相对较长，这是因为服务组合涉及到很多步骤，具有较复杂的业务逻辑，提交整个事务需要花费较长的时间。（2）拥有多个原子事务。一般地一个长事务包含多个原子事务，原子事务之间具有一定的依赖关系，每个原子事务都有自己的ACID特性，当所有的原子事务都提交后整个长事务才提交。（3）非严格的ACID特性。由于传统事务的执行时间较短，保障事务的ACID特性不会造成事务回滚时的大量资源浪费，而Web服务环境下，长事务涉及到许多原子事务，如果当原子事务执行失败而回滚整个长事务将导致系统效率降低，因此传统的事务ACID特性对长事务显得过于严格而代价过高。

一般地，长事务包括多个原子事务，只有当所有的原子事务执行完毕，整个长事务才算提交完成，其执行时间较长，占用的系统资源（如CPU、内存、数据字典、日志文件等）较多，这在基于锁的事务处理中尤其明显，如果长时间占用这些资源将导致系统运行效率降低，甚至数据库系统崩溃。

当前学术界关于长事务的研究主要集中于长事务的失效回复方法，当某一原子事务提交失败时，可以不用回必回滚整个长事务，即不必完全遵循事务的ACID特性。针对该问题，提出了多个模型，如较早的Sagas模型、适合于多数据库的Flexible模型、以及有严格提交先后关系的嵌套事务模型等，这些模型通过提出不同的补偿机制，确保原子事务在提交失败时，进行适当的处理，增强失效处理和失效回复的能力。

另一方面，长事务的长时间执行会造成事务的并发度降低，影响事务的执行效率。针对该问题，本发明专利实现了一种基于多线程的长事务并行执行方法，可以显著缩短长事务的执行时间，提高长事务执行效率和资源运行效率。

发明内容

为了缩短长事务的执行时间，提高长事务执行效率和资源运行效率，本发明专利通过分析长事务中原子事务的依赖关系，建立长事务执行模型，将长事务中包含的原子事务分割为多个可以并行执行的子事务，每个子事务由一个独立的线程执行，利用线程级并行技术加速执行长事务。

一种基于多线程的长事务并行执行方法，包括以下步骤：

（1）、将长事务描述为一个扩展的有向图。长事务可以形式化表示为一个扩展的有向图LT=(T，E，R)，其中T ={t₁,t₂,…,t_n}是原子事务集合，且每个原子事务且都具有ACID特性；E={e₁,e₂,…e_m}是原子事务间依赖关系集合，如e_i=t_i→t_k表示原子事务t_k的开始由t_i的执行结果决定，若t_i提交时t_k开始执行，则称为提交依赖，若t_i回滚时t_k开始执行，则称为回滚依赖；R＝{r₁,r₂,…,r_n}是逻辑关系的集合，如r_i表示一个以t_i为终点的事务之间的“与”、“或”逻辑表关系。

（2）、将长事务LT分割为若干个可以并行执行的子事务LT’。LT’是长事务的一个子集，可以包含一个或多个原子事务，即子事务LT’=(T’，E’，R’)，其中T’T，E’

E，R’

R。通过将长事务划分为若干个子事务，当子事务之间不存在依赖关系时即可并行执行。其分割过程包括以下步骤：

（2.1）、分析长事务中所包含的原子事务、原子事务之间的依赖关系、原子事务直接的逻辑关系实现，建立长事务扩展有向图（EDG）。

（2.2）、根据长事务扩展有向图(EDG)，合并有环子图，生成扩展有向无环图（EDAG）。

（2.3）、循环查找EDAG中的顺序事务。若当前事务只有唯一的孩子事务并且该孩子事务的父事务也是唯一的，则将它们是顺序事务，合并它们。

（2.4）、如果EDAG中仅包含一个子事务，则说明该长事务无法并行执行，否则输出并行化结果，该结果是包含多个可并行执行的子事务。

（3）、基于POSIX线程库（或者Windows线程API）派生若干个子线程并行执行长事务。长事务被划分为若干个子事务之后，其执行过程如下：

（3.1）、在长事务开始执行时，只生成一个线程（称为主线程），由它负责执行。

（3.2）、如果遇到可以并行执行的子事务时，则根据子事务的数量派生(Fork)出若干个子线程（称为辅助线程）并行执行。

（3.3）、在并行子事务执行过程中，如果又遇到可以并行执行的子事务，则继续派生新的辅助线程来执行新的并行子事务，此即为并行嵌套，可派生的辅助线程数目依赖于多核处理器的核数。

（3.4）、当辅助线程执行完毕后，则与主线程会和（Join），由主线程单独执行长事务，如果又遇到可并行的子事务，则转到（3.2），否则直到长事务执行完毕。

（4）、长事务并行执行的硬件环境是多核处理器(或多CPU处理器)，这些平台为TLP技术提供了平台支撑。

本发明的效果

本发明专利的效果是可以将串行执行的长事务并行化为多个可以同时执行的子事务，每个子事务由一个线程执行，通过多线程并行技术加速长事务的执行，显著缩短长事务的执行时间。

附图说明

图1是一个长事务的扩展有向图。

图2 是长事务的并行执行模式。

具体实施方式

参照图1和图2，进一步说明本发明。

一种基于多线程的长事务并行执行方法，包括以下步骤：

（1）、将长事务描述为一个扩展的有向图。长事务可以形式化表示为一个扩展的有向图LT=(T，E，R)，其中T ={t₁,t₂,…,t_n}是原子事务集合，且每个原子事务且都具有ACID特性；E={e₁,e₂,…e_m}是原子事务间依赖关系集合，如e_i=t_i→t_k表示原子事务t_k的开始由t_i的执行结果决定，若t_i提交时t_k开始执行，则称为提交依赖，若t_i回滚时t_k开始执行，则称为回滚依赖；R＝{r₁,r₂,…,r_n}是逻辑关系的集合，如r_i表示一个以t_i为终点的事务之间的“与”、“或”逻辑表关系。

图1是一个包含有11个原子事务的长事务扩展有向图，边t₁→t₅表示t₅执行依赖于t₁的提交，t₅→t₇表示t₇执行依赖于t₅的回滚，r₁表示t₁₀执行由t₆、t₇、t₄、t₉的逻辑与决定。

（2）、将长事务LT分割为若干个可以并行执行的子事务LT’。LT’是长事务的一个子集，可以包含一个或多个原子事务，即子事务LT’=(T’，E’，R’)，其中T’

T，E’

E，R’

R。通过将长事务划分为若干个子事务，当子事务之间不存在依赖关系时即可并行执行。在图1中t₂、t₃、t₄构成一个子事务，t₅、t₆、t₇构成一个子事务，t₈、t₉构成一个子事务，这三个子事务可以并行执行。其分割的具体步骤如下：

（2.1）、分析长事务中所包含的原子事务、原子事务之间的依赖关系、原子事务直接的逻辑关系实现，建立长事务扩展有向图（EDG）。

（2.2）、根据长事务扩展有向图(EDG)，合并有环子图，生成扩展有向无环图（EDAG）。

（2.3）、循环查找EDAG中的顺序事务。若当前事务只有唯一的孩子事务并且该孩子事务的父事务也是唯一的，则将它们是顺序事务，合并它们。

（2.4）、如果EDAG中仅包含一个子事务，则说明该长事务无法并行执行，否则输出并行结果，该结果是包含多个可并行执行的子事务。

下面是将长事务并行化为多个子事务的完整算法，用伪代码进行描述。

Input： LT=(T，E，R)

Output：LT={LT1’,LT2’..,LTn’}

1begin

2//根据原子事务、原子事务之间的依赖关系、逻辑关系生成长事务扩展有向图EDG.

3for(i=0;i< T.number;;i++)

4    EDG=AddTranscations(EDG, T.node);

5for(i=0;i< E.number;i++)

6    EDG=AddEdges(EDG,E.edge)

7for(i=0;i< R.number;i++)

8    EDG=AddRules(EDG,E.rule)

9//合并EDG中的有环子图，生成扩展有向无环图

10for(i=0;i<EDG.number/2;i++){

11   EDAG=findcycleTransactions(EDAG)

12   EDAG=mergecycleTransactions(EDAG);

13}

14//递归找出顺序事务，合并这些顺序事务

15For(i=0;i=TransactionNumber;i++){

16//若当前事务只有唯一的孩子事务并且该孩子事务的父事务也是唯一的，则将它们合并。

17  If (currentTransaction has only one child transaction && This child transaction has only one parenttransaction) then

18     EDAG =MergeTransactions( currentTransaction,chilldTransaction)

19}

20If (TranscationNumber==1) then //子事务数是1，退出，无法并行执行

21   return;

22ReturnParallelTransactions(EDAG);//返回可以并行执行的子事务

23end

（3）、基于POSIX线程库（或者Windows线程API）派生若干个子线程并行执行长事务。长事务被划分为若干个子事务之后，其执行过程如下：

（3.1）、在长事务开始执行时，只生成一个线程（称为主线程），由它负责执行。

（3.2）、如果遇到可以并行执行的子事务时，则根据子事务的数量派生(Fork)出若干个子线程（称为辅助线程）并行执行。

（3.3）、在并行子事务执行过程中，如果又遇到可以并行执行的子事务，则继续派生新的辅助线程来执行新的并行子事务，此即为并行嵌套，可派生的辅助线程数目依赖于多核处理器的核数。

（3.4）、当辅助线程执行完毕后，则与主线程会和（Join），由主线程单独执行长事务，如果又遇到可并行的子事务，则转到（3.2），否则直到长事务执行完毕。

（4）、长事务并行执行的硬件环境是多核处理器(或多CPU处理器)，这些平台为TLP技术提供了平台支撑。

Claims (1)

1.一种基于多线程的长事务并行执行方法，其特征在于：并行执行长事务包括以下步骤：

（1）、将长事务描述为一个扩展的有向图。长事务可以形式化表示为一个扩展的有向图LT=(T，E，R)，其中T ={t1,t2,…,tn}是原子事务集合，且每个原子事务且都具有ACID特性；E={e1,e2,…em}是原子事务间依赖关系集合，如ei=ti→tk表示原子事务tk的开始由ti的执行结果决定，若ti提交时tk开始执行，则称为提交依赖，若ti回滚时tk开始执行，则称为回滚依赖；R＝{r1,r2,…,rn}是逻辑关系的集合，如ri表示一个以ti为终点的事务之间的“与”、“或”逻辑表关系。

（2）、将长事务LT分割为若干个可以并行执行的子事务LT’。LT’是长事务的一个子集，可以包含一个或多个原子事务，即子事务LT’=(T’，E’，R’)，其中T’

T，E’

E，R’

R。通过将长事务划分为若干个子事务，当子事务之间不存在依赖关系时即可并行执行。其分割过程包括以下步骤：

（2.1）、分析长事务中所包含的原子事务、原子事务之间的依赖关系、原子事务直接的逻辑关系实现，建立长事务扩展有向图（EDG）。

（2.2）、根据长事务扩展有向图(EDG)，合并有环子图，生成扩展有向无环图（EDAG）。

（2.3）、循环查找EDAG中的顺序事务。若当前事务只有唯一的孩子事务并且该孩子事务的父事务也是唯一的，则将它们是顺序事务，合并它们。

（2.4）、如果EDAG中仅包含一个子事务，则说明该长事务无法并行执行，否则输出并行结果，该结果是包含多个可并行执行的子事务。

（3）、基于POSIX线程库（OpenM语言或者Windows线程API）派生若干个子线程并行执行长事务。长事务被划分为若干个子事务之后，其执行过程如下：

（3.1）、在长事务开始执行时，只生成一个线程（称为主线程），由它负责执行。

（3.2）如果遇到可以并行执行的子事务时，则根据子事务的数量派生(Fork)出若干个子线程（称为辅助线程）并行执行。

（3.3）、在并行子事务执行过程中，如果又遇到可以并行执行的子事务，则继续派生新的辅助线程来执行新的并行子事务，此即为并行嵌套，可派生的辅助线程数目依赖于多核处理器的核数。

（3.4）、当辅助线程执行完毕后，则与主线程会和（Join），由主线程单独执行长事务，如果又遇到可并行的子事务，则转到（3.2），否则直到长事务执行完毕。

（4）、长事务并行执行的硬件环境是多核处理器(或多CPU处理器)，这些平台为TLP技术提供了平台支撑。

Images