CN110162531A - 一种分布式并发数据处理任务决策方法 - Google Patents

Abstract

本发明公开了一种分布式并发数据处理任务的决策方法，包括：构建分布式数据系统的元数据结构和基本数据操作类型；并发任务间的冲突评价及处理机制；最后对分布式并发数据处理任务进行决策和处理。本发明所述的方法针对不同结构的数据对象，具有可变的处理精细度，可大大提高并发任务处理的时效性，并且以数据结构、任务语义和任务间的因果关系为基础，构建了任务间的转换逻辑，开发人员无需关注任务转换规则，具有高效、便捷、实时性好的优点。

Description

一种分布式并发数据处理任务决策方法

技术领域

本发明涉及一种分布式并发数据处理任务的决策方法，属于计算机、云计算和大数据处理邻域。

背景技术

在并发大数据的处理任务中，为了提高系统的可靠性和实时性，往往会将数据复制到分布式站点中，这样便可极大地提高系统的响应速度和操作便捷性，相应的又带来数据的同步性和并发任务的因果关联性问题，目前，现有技术通常是建立一个任务记录表，将当前任务与历史任务对比，并通过一定地转换规则，实现任务间的相对独立，来解决任务之间的因果关联性问题。但是其转换规则是针对于特定的应用程序，在不同的应用中，需要定制转换规则，这无疑降低了决策方法的通用性，也大大影响了决策方法的时效性。

发明内容

为解决以上问题，本发明提出了一种分布式并发数据处理任务决策方法。

本发明的技术方案为：

一种分布式并发数据处理任务的决策方法，其特征在于：包括以下步骤：A.构建分布式数据系统的元数据结构和基本数据操作类型； B.并发任务间的冲突评价及处理机制；C.对分布式并发数据处理任务进行决策和处理。

优选的，所述步骤A的具体实现方式为：

以对象数据模型为基础，将数据系统的元数据结构分为三类：原子对象、集合对象和复杂对象；其中，原子对象包括：整型、实型、布尔、字符串和字节5种；集合对象选择：set,bag，map,array,list5 种；复杂对象选取代表数据层次结构的“树”和描述网络结构的“图”2种；

基本数据操作类型包括：增加、删除、修改、引用四种。

优选的，所述步骤B的具体实现方式为：

所述方法的前提是分布式数据系统的并发任务处理方式是基于数据复制的分布式存储，因此整体框架服从“因果-操作-最终对象 (COF架构)”，基于此，数据系统的运行过程服从以下三个一致性条件：

假设两个并发任务为Op₁和Op₂，因果一致性条件记为C_c，操作一致性条件记为C_o，最终对象一致性条件记为C_f，则

其中，两数据对象Ob₁和Ob₂为逻辑等价Ob₁＝Ob₂的充要条件如下：

每个任务执行后，对于数据对象Ob来说可能会产生以下两种效果：

(1)返回值：记为R(Ob)，表示对操作对象Ob进行了读取或引用；

(2)对原数据产生了改变：记为A(Ob)，表示对Ob进行了更改；

基于以上，可得到两并发任务Op₁和Op₂是否冲突的评价方法：

当来自不同站点针对同一操作对象的任务产生了冲突时，根据不同的元数据结构将采取如下解决机制：

(1)原子类型数据的冲突解决机制：

两个并发任务在操作原子类型数据的过程中，可能产生冲突的情况如表1所示：

表1原子类型任务冲突情况(√：不冲突×：冲突)

由上表可知，相同操作对象的两个并发任务只要有一个更改任务，就会产生冲突；

解决机制如下：

1)为所有的数据对象建立一个独立的任务日志列表Lst^D；

该列表中存储着数据对象的已执行的任务相关信息，包括：任务执行后果类型S，目标数据对象的索引Index，执行值V_al，任务源站点号W_s，任务优先级Pr，分布式系统状态向量V_ob；

则日志列表Lst^D可表示为：

Lst^D＝{S,Index,V_al,W_s,Pr,V_Ob}

其中，本方法框架下的任务执行后果类型S有两种：正常执行OP_N和伪操作OP_P，分布式系统状态向量V_Ob中的元素为每一维站点的当前任务执行状态；

2)在冲突条件下的写任务处理机制：

在执行写任务A¹(Ob)时，算法按倒序查询任务日志列表Lst^D，先判断是否存在针对同一目标对象的并发写任务A²(Ob)，若存在，那么就回溯A¹(Ob)和A²(Ob)是否来自同一任务源Op₁，若是，则更新系统状态向量V_Ob，并正常执行A¹(Ob)，执行完毕则将日志信息更新到该对象的任务日志列表Lst^D，若回溯A¹(Ob)和A²(Ob)非同源，则比较二者的优先级Pr，高优先级的写任务 A^Indexof(max(Pr(A¹(Ob)),Pr(A²(Ob))))(Ob)得到正常执行，并加入OP_N标志；低优先级的写任务暂不执行，并加入伪操作OP_P标志；处理完毕后，将日志信息更新到该对象的任务日志列表Lst^D中，至此便完成了写任务冲突的处理；

(2)集合类型对象的任务冲突处理机制

在对象数据模型标准中，可总结出集合对象的所有操作方法都是以“遍历(N_av(Ob))、插入(I_st(Ob))、删除(D_el(Ob))”为元操作的，因此本方法以此为基础，展开集合类型对象的任务冲突处置，这三种元操作在任务中的冲突情况如表2所示：

表2集合类型对象的任务冲突情况表

(√:无冲突×:冲突)

解决机制如下：

1)为数据对象创建独立的任务日志列表Lst^S；

列表中包括：任务执行后果类型S，执行值V_al，任务源站点号W_s，任务优先级Pr，分布式系统状态向量V_Ob；

则日志列表Lst^S可表示为：

Lst^S＝{S,V_al,W_s,Pr,V_Ob}

其中，本方法框架下的任务执行后果类型S有两种：正常执行OP_N和伪操作OP_P，分布式系统状态向量V_Ob中的元素为每一维站点的当前任务执行状态；

2)冲突解决机制

从冲突情况表中可看到，只有N_av(Ob)任务在于其他元操作的交叉任务中会造成冲突，所以只需处理N_av(Ob)与I_st(Ob)、D_el(Ob)间的冲突即可；

为了满足前文所述的COF架构的一致性条件，集合对象的冲突解决机制采用以下原则：

①N_av(Ob)与I_st(Ob)并发执行时，N_av(Ob)的返回结果不包含 I_st(Ob)的执行值；

②N_av(Ob)与D_el(Ob)并发执行时，N_av(Ob)的返回结果包含 D_el(Ob)的执行对象；

(3)复杂类型对象的任务冲突处理机制：

对于复杂类型对象，其元操作除了包含集合类型对象的遍历 (N_av(Ob))、插入(I_st(Ob))、删除(D_el(Ob))三类外，还有更新操作 (U_dt(Ob))；

各种任务的冲突情况如表3所示：

表3复杂类型对象的任务冲突情况表

(√:无冲突×:冲突)

复杂类型对象的任务冲突处理机制如下：

1)为数据对象创建独立的任务日志列表Lst^G

本方法解决容器类对象任务冲突的思想仍然是基于为对象创建独立的任务日志列表Lst^G:

列表中包括：任务执行后果类型S，执行元素的索引Index，执行值V_al，任务源站点号W_s，任务优先级Pr，分布式系统状态向量V_Ob，则日志列表LSt^G可表示为：

LSt^G＝{S,Index,V_al,W_s,Pr,V_Ob}

其中，本方法框架下的任务执行后果类型S有两种：正常执行OP_N和伪操作OP_P，分布式系统状态向量V_Ob中的元素为每一维站点的当前任务执行状态；

2)冲突处理：

①复杂类型对象属于容器类对象，仅有对象的任务日志列表无法快速而又灵活地处理各类冲突，本方法在数据对象的任务日志列表上，再创建一个独立的冲突日志列表；

②当并发任务发起时，算法首先倒序查询任务日志列表，将冲突任务全部提取出来，组成冲突日志列表，然后对冲突日志列表重排序，相对待处理任务的高优先级的任务排在列表头部，并返回头列表索引；并发任务全部排列在冲突日志列表的尾部；

③判断并发任务的I_st-D_el冲突，对并发冲突任务进行转换，利用转换算法，最终得到待执行任务，加入正常执行OP_N序列。

优选的，所述步骤C的具体实现方式为：

本方法可以做成服务层的中间件也可作为单独应用，运行于分布式网络的所有站点，每个站点需要维护一个独立的任务日志列表和多个冲突日志列表，这些日志列表决定着并发任务间是否存在前后关联，是否并发冲突，以及调用转换算法，将用户层的任务操作转换成可有序执行的逻辑等价任务，而无需将复杂任务转换成元操作，再定制转换方法。

本发明的有益效果为：

本发明所述的一种分布式并发数据处理任务的决策方法，该方法部署灵活，使得用户无需再关注冲突任务的有序转换细节，并可将复杂的逻辑操作，转换为对应的等价逻辑，而不是各种元操作再组合，大大提高了决策效率和实时性，具有高效、稳定、通用性强的有益效果。

附图说明

图1为本方法元数据结构模型的构成示意图；

图2为原子类型对象的写任务冲突处理机制流程图；

图3为集合类型对象的任务冲突处理整体流程图；

图4为复杂类型对象的任务冲突处理整体流程图。

具体实施步骤

本发明分布式并发数据处理任务的决策方法，包括以下步骤：

A.构建分布式数据系统的元数据结构和基本数据操作类型。

为实现可变的处理精细度以提高系统响应效率，首先需要构建出数据系统的元数据结构。为保证所构建的结构具有丰富的语义，能够覆盖包括网络关系、层次关系在内的各种数据逻辑。本方法以对象数据模型(ODMG标准)为基础，将数据系统的元数据结构分为三类：原子对象、集合对象和复杂对象。其中，原子对象包括：整型、实型、布尔、字符串和字节5种；集合对象选择：set,bag，map,array,list 等5种；复杂对象选取代表数据层次结构的“树”和描述网络结构的“图”2种。这三类元数据结构的模型复杂度由低到高，精细度由高到低，以此便可实现本方法的可变处理精细度，而不必所有的任务都关注到字符背景，大大提高数据处理时效性。

基本数据操作类型：增加、删除、修改、引用四种。

B.并发任务间的冲突评价及解决机制：

本发明所述方法的前提是分布式数据系统的并发任务处理方式是基于数据复制的分布式存储，因此整体框架服从“因果-操作-最终对象(COF架构)”，基于此，数据系统的运行过程服从以下三个一致性条件：

假设两个并发任务为Op₁和Op₂，因果一致性条件记为C_c，操作一致性条件记为C_o，最终对象一致性条件记为C_f，那么有

其中，两数据对象Ob₁和Ob₂为逻辑等价Ob₁＝Ob₂的充要条件如下：

每个任务执行后，对于数据对象Ob来说可能会产生以下两种效果：

(1)返回值。记为R(Ob)，表示对操作对象Ob进行了读取或引用；

(2)对原数据产生了改变。记为A(Ob)，表示对Ob进行了更改。

基于以上，可得到两并发任务Op₁和Op₂是否冲突的评价方法：

当来自不同站点针对同一操作对象的任务产生了冲突时，本发明根据不同的元数据结构将采取如下解决机制：

(1)原子类型数据的冲突解决机制：

两个并发任务在操作原子类型数据的过程中，可能产生冲突的情况如表1所示：

表1原子类型任务冲突情况(√：不冲突×：冲突)

由上表可知，相同操作对象的两个并发任务只要有一个更改任务，就会产生冲突。

解决机制如下：

1)为所有的数据对象建立一个独立的任务日志列表Lst^D；

该列表中存储着数据对象的已执行的任务相关信息，包括：任务执行后果类型S，目标数据对象的索引Index，执行值V_al，任务源站点号W_s，任务优先级Pr，分布式系统状态向量V_Ob。

则日志列表Lst^D可表示为：

Lst^D＝{S,Index,V_al,W_s,Pr,V_Ob}

其中，本方法框架下的任务执行后果类型S有两种：正常执行OP_N和伪操作OP_P，分布式系统状态向量V_Ob中的元素为每一维站点的当前任务执行状态。

2)在冲突条件下的写任务处理机制：

在执行写任务A¹(Ob)时，算法按倒序查询任务日志列表Lst^D，先判断是否存在针对同一目标对象的并发写任务A²(Ob)，若存在，那么就回溯A¹(Ob)和A²(Ob)是否来自同一任务源Op₁，若是，则更新系统状态向量V_Ob，并正常执行A¹(Ob)，执行完毕则将日志信息更新到该对象的任务日志列表Lst^D。若回溯A¹(Ob)和A²(Ob)非同源，则比较二者的优先级Pr，高优先级的写任务 A^Indexof(max(Pr(A¹(Ob)),Pr(A²(Ob))))(Ob)得到正常执行，并加入OP_N标志；低优先级的写任务暂不执行，并加入伪操作OP_P标志；处理完毕后，将日志信息更新到该对象的任务日志列表Lst^D中，至此便完成了写任务冲突的处理，流程如图2所示。

(2)集合类型对象的任务冲突处理机制

在对象数据模型标准(ODMG)中，可总结出集合对象的所有操作方法都是以“遍历(N_av(Ob))、插入(I_st(Ob))、删除(D_el(Ob))”为元操作的，因此本方法以此为基础，展开集合类型对象的任务冲突处置。这三种元操作在任务中的冲突情况如表2所示：

表2集合类型对象的任务冲突情况表

(√:无冲突×:冲突)

解决机制如下：

1)为数据对象创建独立的任务日志列表Lst^s。

列表中包括：任务执行后果类型S，执行值V_al，任务源站点号W_s，任务优先级Pr，分布式系统状态向量V_Ob。

则日志列表Lst^S可表示为：

Lst^S＝{S,V_al,W_s,Pr,V_Ob}

其中，本方法框架下的任务执行后果类型S有两种：正常执行OP_N和伪操作OP_P，分布式系统状态向量V_Ob中的元素为每一维站点的当前任务执行状态。

2)冲突解决机制。

从冲突情况表中可看到，只有N_av(Ob)任务在于其他元操作的交叉任务中会造成冲突，所以只需处理N_av(Ob)与I_st(Ob)、D_el(Ob)间的冲突即可。

为了满足前文所述的COF架构的一致性条件，集合对象的冲突解决机制采用以下原则：

①N_av(Ob)与I_st(Ob)并发执行时，N_av(Ob)的返回结果不包含I_st(Ob)的执行值；

②N_av(Ob)与D_el(Ob)并发执行时，N_av(Ob)的返回结果包含 D_el(Ob)的执行对象。

整体流程如图3所示:

(3)复杂类型对象的任务冲突处理机制：

对于复杂类型对象，其元操作除了包含集合类型对象的遍历 (N_av(Ob))、插入(I_st(Ob))、删除(D_el(Ob))三类外，还有更新操作 (U_dt(Ob))。

各种任务的冲突情况如表3所示：

表3复杂类型对象的任务冲突情况表

(√:无冲突×:冲突)

复杂类型对象的任务冲突处理机制如下：

1)为数据对象创建独立的任务日志列表Lst^G。

本方法解决容器类对象任务冲突的思想仍然是基于为对象创建独立的任务日志列表Lst^G:

列表中包括：任务执行后果类型S，执行元素的索引Index，执行值V_al，任务源站点号W_s，任务优先级Pr，分布式系统状态向量V_Ob。

则日志列表Lst^G可表示为：

Lst^G＝{S,Index,V_al,W_s,Pr,V_Ob}

其中，本方法框架下的任务执行后果类型S有两种：正常执行OP_N和伪操作OP_P，分布式系统状态向量V_Ob中的元素为每一维站点的当前任务执行状态。

2)冲突处理：

①复杂类型对象属于容器类对象，仅有对象的任务日志列表无法快速而又灵活地处理各类冲突，本方法在数据对象的任务日志列表上，再创建一个独立的冲突日志列表。

②当并发任务发起时，算法首先倒序查询任务日志列表，将冲突任务全部提取出来，组成冲突日志列表，然后对冲突日志列表重排序，高优先级的(相对待处理任务)任务排在列表头部，并返回头列表索引；并发任务全部排列在冲突日志列表的尾部。

③判断并发任务的I_st-D_el冲突，对并发冲突任务进行转换，利用转换算法，最终得到待执行任务，加入正常执行OP_N序列。

详细流程如图4所示：

C.分布式并发数据处理任务的决策处理。

本方法可以做成服务层的中间件也可作为单独应用，运行于分布式网络的所有站点。每个站点需要维护一个独立的任务日志列表和多个冲突日志列表，这些日志列表决定着并发任务间是否存在前后关联，是否并发冲突，以及调用转换算法，将用户层的任务操作转换成可有序执行的逻辑等价任务，而无需将复杂任务转换成元操作，再定制转换方法。

综上所述，即完成了本发明所述的一种分布式并发数据处理任务的决策方法，该方法部署灵活，使得用户无需再关注冲突任务的有序转换细节，并可将复杂的逻辑操作，转换为对应的等价逻辑，而不是各种元操作再组合，大大提高了决策效率和实时性，具有高效、稳定、通用性强的有益效果。

Claims (4)

1.一种分布式并发数据处理任务的决策方法，其特征在于：包括以下步骤：A.构建分布式数据系统的元数据结构和基本数据操作类型；B.并发任务间的冲突评价及处理机制；C.对分布式并发数据处理任务进行决策和处理。

2.如权利要求1所述的分布式并发数据处理任务的决策方法，其特征在于：所述步骤A的具体实现方式为：

以对象数据模型为基础，将数据系统的元数据结构分为三类：原子对象、集合对象和复杂对象；其中，原子对象包括：整型、实型、布尔、字符串和字节5种；集合对象选择：set,bag，map,array,list5种；复杂对象选取代表数据层次结构的“树”和描述网络结构的“图”2种；

基本数据操作类型包括：增加、删除、修改、引用四种。

3.如权利要求2所述的分布式并发数据处理任务的决策方法，其特征在于：所述步骤B的具体实现方式为：

所述方法的前提是分布式数据系统的并发任务处理方式是基于数据复制的分布式存储，因此整体框架服从“因果-操作-最终对象(COF架构)”，基于此，数据系统的运行过程服从以下三个一致性条件：

假设两个并发任务为Op₁和Op₂，因果一致性条件记为C_c，操作一致性条件记为C_o，最终对象一致性条件记为C_f，则

其中，两数据对象Ob₁和Ob₂为逻辑等价Ob₁＝Ob₂的充要条件如下：

每个任务执行后，对于数据对象Ob来说可能会产生以下两种效果：

(1)返回值：记为R(Ob)，表示对操作对象Ob进行了读取或引用；

(2)对原数据产生了改变：记为A(Ob)，表示对Ob进行了更改；

基于以上，可得到两并发任务Op₁和Op₂是否冲突的评价方法：

当来自不同站点针对同一操作对象的任务产生了冲突时，根据不同的元数据结构将采取如下解决机制：

(1)原子类型数据的冲突解决机制：

两个并发任务在操作原子类型数据的过程中，可能产生冲突的情况如表1所示：

表1原子类型任务冲突情况(√：不冲突×：冲突)

由上表可知，相同操作对象的两个并发任务只要有一个更改任务，就会产生冲突；

解决机制如下：

1)为所有的数据对象建立一个独立的任务日志列表Lst^D；

该列表中存储着数据对象的已执行的任务相关信息，包括：任务执行后果类型S，目标数据对象的索引Index，执行值V_al，任务源站点号W_s，任务优先级Pr，分布式系统状态向量V_Ob；

则日志列表Lst^D可表示为：

Lst^D＝{S,Index,V_al,W_s,Pr,V_Ob}

其中，本方法框架下的任务执行后果类型S有两种：正常执行OP_N和伪操作OP_P，分布式系统状态向量V_Ob中的元素为每一维站点的当前任务执行状态；

2)在冲突条件下的写任务处理机制：

在执行写任务A¹(Ob)时，算法按倒序查询任务日志列表Lst^D，先判断是否存在针对同一目标对象的并发写任务A²(Ob)，若存在，那么就回溯A¹(Ob)和A²(Ob)是否来自同一任务源Op₁，若是，则更新系统状态向量V_Ob，并正常执行A¹(Ob)，执行完毕则将日志信息更新到该对象的任务日志列表Lst^D，若回溯A¹(Ob)和A²(Ob)非同源，则比较二者的优先级Pr，高优先级的写任务A^Indexof(max(Pr(A¹(Ob)),Pr(A²(Ob))))(Ob)得到正常执行，并加入OP_N标志；低优先级的写任务暂不执行，并加入伪操作OP_P标志；处理完毕后，将日志信息更新到该对象的任务日志列表Lst^D中，至此便完成了写任务冲突的处理；

(2)集合类型对象的任务冲突处理机制

在对象数据模型标准中，可总结出集合对象的所有操作方法都是以“遍历(N_av(Ob))、插入(I_st(Ob))、删除(D_el(Ob))”为元操作的，因此本方法以此为基础，展开集合类型对象的任务冲突处置，这三种元操作在任务中的冲突情况如表2所示：

表2集合类型对象的任务冲突情况表(√:无冲突×:冲突)

解决机制如下：

1)为数据对象创建独立的任务日志列表Lst^S；

列表中包括：任务执行后果类型S，执行值V_al，任务源站点号W_s，任务优先级Pr，分布式系统状态向量V_Ob；

则日志列表Lst^S可表示为：

Lst^S＝{S,V_al,W_s,Pr,V_Ob}

其中，本方法框架下的任务执行后果类型S有两种：正常执行OP_N和伪操作OP_P，分布式系统状态向量V_Ob中的元素为每一维站点的当前任务执行状态；

2)冲突解决机制

从冲突情况表中可看到，只有N_av(Ob)任务在于其他元操作的交叉任务中会造成冲突，所以只需处理N_av(Ob)与I_st(Ob)、D_el(Ob)间的冲突即可；

为了满足前文所述的COF架构的一致性条件，集合对象的冲突解决机制采用以下原则：

①N_av(Ob)与I_st(Ob)并发执行时，N_av(Ob)的返回结果不包含I_st(Ob)的执行值；

②N_av(Ob)与D_el(Ob)并发执行时，N_av(Ob)的返回结果包含D_el(Ob)的执行对象；

(3)复杂类型对象的任务冲突处理机制：

对于复杂类型对象，其元操作除了包含集合类型对象的遍历(N_av(Ob))、插入(I_st(Ob))、删除(D_el(Ob))三类外，还有更新操作(U_dt(Ob))；

各种任务的冲突情况如表3所示：

表3复杂类型对象的任务冲突情况表(√:无冲突×:冲突)

复杂类型对象的任务冲突处理机制如下：

1)为数据对象创建独立的任务日志列表Lst^G

本方法解决容器类对象任务冲突的思想仍然是基于为对象创建独立的任务日志列表Lst^G:

列表中包括：任务执行后果类型S，执行元素的索引Index，执行值V_al，任务源站点号W_s，任务优先级Pr，分布式系统状态向量V_Ob，则日志列表Lst^G可表示为：

Lst^G＝{S,Index,V_al,W_s,Pr,V_ob}

其中，本方法框架下的任务执行后果类型S有两种：正常执行OP_N和伪操作OP_P，分布式系统状态向量V_)b中的元素为每一维站点的当前任务执行状态；

2)冲突处理：

①复杂类型对象属于容器类对象，仅有对象的任务日志列表无法快速而又灵活地处理各类冲突，本方法在数据对象的任务日志列表上，再创建一个独立的冲突日志列表；

②当并发任务发起时，算法首先倒序查询任务日志列表，将冲突任务全部提取出来，组成冲突日志列表，然后对冲突日志列表重排序，相对待处理任务的高优先级的任务排在列表头部，并返回头列表索引；并发任务全部排列在冲突日志列表的尾部；

③判断并发任务的I_st-D_el冲突，对并发冲突任务进行转换，利用转换算法，最终得到待执行任务，加入正常执行OP_N序列。

4.如权利要求3所述的分布式并发数据处理任务的决策方法，其特征在于：所述步骤C的具体实现方式为：

本方法可以做成服务层的中间件也可作为单独应用，运行于分布式网络的所有站点，每个站点需要维护一个独立的任务日志列表和多个冲突日志列表，这些日志列表决定着并发任务间是否存在前后关联，是否并发冲突，以及调用转换算法，将用户层的任务操作转换成可有序执行的逻辑等价任务，而无需将复杂任务转换成元操作，再定制转换方法。