CN102479354B - 一种基于工作流的数据处理方法以及系统 - Google Patents

Abstract

本发明公开一种基于工作流的数据处理方法以及系统，应用于工作流的数据处理技术领域，其基本思路包括：将流程定义的最小元素细化到节点；将流程定义和任务获取权限的定义分成两个独立的模块，相互之间不再依赖；增加任务缓存Cache模块，对绝大多数任务的查询操作由该模块提供，降低DB的压力；增加历史数据分发BAM模块，根据任务所属的系统不同将历史数据分发给各业务系统自行保管并维护；本发明基于工作流的数据处理方法以及系统具有的优势包括：高并发性、灵活的流程定义模式、支持流程间通信、可以快速响应业务权限调整、更好的数据挖掘潜力。

Description

一种基于工作流的数据处理方法以及系统

技术领域

本发明涉及工作流的数据处理技术领域，尤其涉及一种基于工作流的数据处理方法以及系统。

背景技术

现有的对工作流的数据处理的过程，包括：

流程的定义阶段，包括：

首先，需要定义流程(Process)；流程是一个工作流程的抽象和定义，它确定了一些列具有相同或相似属性的工作流程的流转规则和属性，一个流程又是由一系列节点(node)构成的，而节点是现实工作流程中一个任务(task)的逻辑定义，一系列节点根据一定的流转规则组成了一个完整的流程；所谓流转规则即指在一个节点提交的任务可以业务属性的不同，扭转到哪一个后继节点；现有的工作流的最小定义单位是流程，一个流程是不可分割的，同时也是独立于其它流程的逻辑定义实体；

其次，定义任务的获取条件；现有的工作流在定义一个节点的时候还要定义在这个节点上哪个人或哪些人可以获取到任务，一旦在这个节点上创建，就会根据预先的定义分配给某一个人或者某一些人。如果在没有顶级的话，就表示所有人都可以获取到任务；

任务的流转阶段，包括：

首先，根据预先定义的流程，在首节点创建任务，任务会根据预先定义的权限分配给业务人员处理；

然后，相应的业务人员登陆系统后便会获取到可处理的任务进行处理并提交；

最后，根据业务人员提交的任务中的属性，工作流系统决策出下一个节点并在此之上生成新的任务开始新的任务流转，直到流程结束。

由以上现有的对工作流的数据处理的过程，可以得出现有的对工作流的数据处理的过程存在的缺陷，包括：

1、无法动态的启动流程、创建任务：在现实需求中往往并不是总在第一个节点创建任务，有时候还需要在第二、第三甚至第N个节点创建任务；

2、无法支持快速的响应人员行政调整：现有的工作流的任务分配规则是随流程定义而确定下来的，不能在后面的流转过程中转变，这样设置无法紧密的和业务角色关联，也不能很好的表示真实业务场景的人员分工、角色设置，同时更无法快速的响应业务权限的变化；

3、流程定义不支持流程件的通信：现有的工作流强调流程的概念，并强调流程的独立性，即流程是目前工作流划分流程定义的最小单位，一个流程是不可分割也独立于其它流程的逻辑定义实体。

4、DB压力大，限制系统容量：现有工作流的任务都是持久化在DB中，对任务的查询、更新包括抓取、提交等都是直接操作DB，这其中又主要以不改变任务数据的查询操作为主，在高并发的情况下性能比较低下，可能会因DB过载导致系统崩溃；

5、现有工作流的历史数据统一由工作流系统保存，工作流在系统架构上讲属于底层公共平台系统，不会针对业务系统提供各系统独立的功能，因此这中历史数据统一保存的方式不利于业务系统进行数据挖掘。

发明内容

本发明要解决的技术问题是提供一种基于工作流的数据处理方法以及系统。

本发明的目的在于提供一种基于工作流的数据处理方法，包括：

对流程的定义；对过滤器的定义；任务的创建；任务的获取；任务的提交。

其中，所述对流程的定义，包括：

定义节点，包括定义节点的类型、节点具有的业务属性、节点的流转规则。

其中，所述对过滤器的定义，包括：

定义在节点上对任务进行过滤的条件。

其中，所述任务的创建，包括：

根据所述对流程的定义，在所述定义的节点上创建任务，存储所述创建的任务。

其中，所述任务的获取，包括：

根据所述创建的任务对应的过滤器，过滤所述创建的任务。

其中，所述任务的提交，包括：

根据所述定义的业务规则，修改所述经过滤后的任务为符合所述定义的业务规则的任务，提交所述经修改后的任务。

本发明的目的在于提供一种基于工作流的数据处理系统，包括：

流程定义模块，用于提供对流程定义的集中管理，并将流程定义的最小粒度细化到节点级；

页面模块，用于提供需要由工作流统一控制的页面和工作流后台管理工具；

引擎模块，用于根据所述流程定义模块定义的流程定义，对任务进行流转、分配；

任务缓存模块，用于提供对DB持久化数据的镜像；

历史数据分发模块，用于根据任务归属的系统不同，按照业务系统在BAM中的设置进行分发。

其中，所述引擎模块包括：

任务流转模块，用于根据所述流程定义模块定义的流程定义，对任务进行流转；

任务分配模块，用于根据所述流程定义模块定义的流程定义，对任务进行分配；

过滤器，用于定义、维护任务分配的权限。

本发明基于工作流的数据处理方法以及系统具有的有益效果，包括：

1、高并发性，这是由cache模块和Engine的队列机制提供并保证的快速响应，这是由cache模块保证的；

2、灵活的流程定义模式，这是由于本项目讲流程定义的关注点细化到节点，从而使得节点可以随意组合，构建流程；

3、支持流程间通信；

4、可以快速响应业务权限调整，这是由于讲任务获取的权限定义和流程定义分割成两个独立的部门来保证的；

5、更好的数据挖掘潜力，工作流支持针对不同业务系统的任务分发到不同的数据源保存，且分发的业务属性也可以根据不同业务系统定制，从而为日后的数据挖掘打下良好的基础。

附图说明

图1，为本发明基于工作流的数据处理方法的示意图；

图2，为本发明基于工作流的数据处理系统的示意图。

具体实施方式

本发明提供一种基于工作流的数据处理方法以及系统，应用于工作流的数据处理技术领域，其基本思路包括：将流程定义的最小元素细化到节点；将流程定义和任务获取权限的定义分成两个独立的模块，相互之间不再依赖；增加任务缓存(Cache)模块，对绝大多数任务的查询操作由该模块提供，降低DB的压力；增加历史数据分发(BAM)模块，根据任务所属的系统不同将历史数据分发给各业务系统自行保管并维护。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明基于工作流的数据处理方法及系统与现有的对工作流的数据处理过程的改进之处，包括：

1、将流程定义的最小元素细化到节点；

2、将流程定义和任务获取权限的定义分成两个独立的模块，相互之间不再依赖；

3、增加任务缓存(Cache)模块，对绝大多数任务的查询操作由该模块提供，降低DB的压力；

4、增加历史数据分发(BAM)模块，根据任务所属的系统不同将历史数据分发给各业务系统自行保管并维护。

本发明提供一种基于工作流的数据处理方法。

请参见图1，为本发明基于工作流的数据处理方法的示意图，该基于工作流的数据处理方法包括：对数据的定义阶段、对数据的流转阶段。

其中，对数据的定义阶段包括：对流程的定义、对过滤器的定义。

其中，对数据的流转阶段包括：任务的创建、任务的获取、任务的提交。

先来看对数据的定义阶段，在对数据的定义阶段，首先要做的就是定义节点，在定义节点的时候要定义的内容包括节点的类型、节点具有的业务属性、节点的流转规则，当一系列相干节点都定义后就自然构成了流程，至此，创建一个工作流程的前提条件已经具备，但目前创建出来的任务还无法被任何人获取到，为此还需要对过滤器进行定义。

所谓过滤器，就是在一个节点上对任务进行过滤的条件；举个例子，在定义的节点A上，可能会创建出两种类型的任务，一种任务其业务属性bizType的值为B1，另一种任务对应值为B2，那么就可以定义两个过滤器Filter1和Filter2，Filter1的过滤条件是bizType为B1，Filter2的过滤条件是bizType为B2，然后在分别讲Filter1和Filter2分配给角色Role1和角色Role2，这样具有不同角色的人就可以获取到不同的任务。

在对数据的定义阶段，可以看到，对于流程的定义和对于任务获取权限的定义是完全对立的两个部分，这样就使得不同的人可以关注不同的点；例如将流程定义的工作交给SA人员，将任务获取权限的定义交给业务主管，同时，这样做最大的好处在于对权限的更改可以脱离流程定义进行，也就可以快速的响应业务的权限、人事、规则等的变化。

接下来，再看对数据的流转阶段：一个普通的数据流包含创建任务→获取任务→提交任务→决策→在下一个节点上创建任务→......直到整个流程结束，一步步来看，对数据的流转阶段包括：

创建任务，包括：

根据之前已经定义好的流程定义，可以在一个节点上创建一个任务，在创建的时候会讲这个任务持久化到DB中保存，同时还会在这个任务(部分特殊节点除外)中放入任务缓存模块(Cache)，至此一个任务就已经创建成功，可以被任务人员看到并获取；

获取任务，包括：

业务人员根据自身具有的业务角色对应的过滤器，在cache中进行过滤，得到符合条件的任务，然后再在cache和DB中更新这个任务，标明自身已经拥有该任务的处理权，这个任务就不会再被其他人获取；在这里采用了cache模块，大部分的查询操作都是在cache模块中进行，这样就降低了物理DB的I/O操作，从而避免数据库压力过大，提高了并行处理能力，同时由于内存数据库是内存级的操作，响应时间也远远超过DB操作，从而大幅提升了性能；

提交任务，包括：

业务人员获取到任务后，根据业务规则对部分数据进行修改后再提交给工作流系统，在这里的提交采用的是异步操作模式，这是因为工作流在决策任务、持久化任务等方面性能开销相对较大，是系统的性能瓶颈，对此，在接收业务系统提交过来的任务的时候只进行简单、必要的逻辑校验，只要校验通过，就认为是合法的并将它保存在一个队列中并返回给业务系统成功的信息，然后会有一定数量的线程不断轮询这个任务队列并处理任务，并最终确保任务可以按照既定的目前得到处理，这样做的好处是，校验相对而言是低开销的、短时间的，即便有大量数据并发提交，也可以积极的响应，从而进一步提高系统并行处理能力；

在提交任务阶段，还会根据任务的不同将历史数据分发给不同的业务系统自行维护，以便其进行数据挖掘；

任务决策，包括：

在任务决策阶段，根据之前定义的流程定义来确定出下一个节点，并调用下一个节点的创建任务方法；

至此，数据在一个节点上进行了一次完整流转并开始了下一个流转过程，直至任务到达结束节点或被中途作废。

本发明还提供一种基于工作流的数据处理系统。

请参见图2，为本发明基于工作流的数据处理系统的示意图，该基于工作流的数据处理系统包括：

流程定义模块(WorkNet-PMP)：该流程定义模块用于提供对流程定义的集中管理，同时将流程定义的最小粒度细化到节点级；不再显式的体现流程的概念，各个节点根据相应的流转规则隐式的构成了流程。这样做的好处，包括：

1、流程可以指定从任意节点开始，不再要求必须从“首节点”开始；

2、节点之间可以建立通讯机制从而达到流程直接进行交互的目的；

页面模块(WorkNet-Workspace)：该页面模块用于提供需要由工作流统一控制的页面如任务清单和工作流后台管理工具；

引擎模块(WorkNet-Engine)：该引擎模块用于根据已定的流程定义，对任务进行流转、分配；

该引擎模块还用于定义、维护任务分配的权限；在本发明中任务获取的权限不再和某人或某些人直接绑定，而是关联到业务角色上，同时权限的定义和权限与业务角色的绑定也是分开进行的，即权限可以自行定义，在定义之后可以将其绑定到某一个业务角色上，拥有该角色的业务人员自然拥有了该权限；

任务缓存模块(WorkNet-Cache)：该任务缓存模块用于提供对DB持久化数据的镜像，该任务缓存模块采用内存数据库模式，当有查询操作的时候，直接访问cache而不访问DB，提高了响应速度并降低了DB压力；

历史数据分发模块(WorkNet-BAM)：该历史数据分发模块用于根据任务归属的系统不同，按照业务系统在BAM中的设置进行分发，包括分发数据库，分发字段都可以由业务系统设置。

其中，引擎模块包括：

任务流转模块，用于根据已定的流程定义，对任务进行流转；

任务分配模块，用于根据已定的流程定义，对任务进行分配；

过滤器，用于定义、维护任务分配的权限。

由以上可以看出，本发明基于工作流的数据处理方法以及系统具有的优势，包括：

1、高并发性，这是由cache模块和Engine的队列机制提供并保证的快速响应，这是由cache模块保证的；

2、灵活的流程定义模式，这是由于本项目讲流程定义的关注点细化到节点，从而使得节点可以随意组合，构建流程；

3、支持流程间通信；

4、可以快速响应业务权限调整，这是由于讲任务获取的权限定义和流程定义分割成两个独立的部门来保证的；

5、更好的数据挖掘潜力，工作流支持针对不同业务系统的任务分发到不同的数据源保存，且分发的业务属性也可以根据不同业务系统定制，从而为日后的数据挖掘打下良好的基础。

对于本发明基于工作流的数据处理方法以及系统，实现的形式是多种多样的。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于工作流的数据处理方法，其特征在于，包括：

对流程进行定义，将流程定义的最小粒度细化到节点级，其中所述流程定义包括定义节点，且定义节点的内容包含有节点的类型、节点具有的业务属性及节点的流转规则；

对过滤器进行定义，定义在节点上对任务进行过滤的条件，以使不同角色的人获取到不同的任务；

创建任务，在上述任一节点上创建一个任务，且在创建时将该任务持久化到DB中保存，同时在这个任务中放入任务缓存模块，完成任务创建成功，以被任务人员看到并获取；

获取任务,根据自身具有的业务角色对应的过滤器，在任务缓存模块中进行过滤，得到符合条件的任务，然后再在任务缓存模块和DB中更新该任务，标明自身已经拥有该任务的处理权；

提交任务，根据业务规则对部分数据进行修改后，采用异步操作模式再提交给工作流系统，工作流系统在接收业务系统提交过来的任务时候进行逻辑校验，如果校验通过，则认为合法并将其保存在一个队列中，同时返回给业务系统成功信息。

2.一种基于工作流的数据处理系统，其特征在于，包括：

流程定义模块，用于提供对流程定义的集中管理，并将流程定义的最小粒度细化到节点级；

页面模块，用于提供需要由工作流统一控制的页面和工作流后台管理工具；

任务流转模块，用于根据所述流程定义模块定义的流程定义，对任务进行流转；

任务分配模块，用于根据所述流程定义模块定义的流程定义，对任务进行分配，并将任务获取的权限与业务角色关联；

过滤器，用于定义、维护任务分配的权限，定义在节点上对任务进行过滤的条件，以使不同角色的人获取到不同的任务；

任务缓存模块，用于提供对DB持久化数据的镜像；

历史数据分发模块，用于根据任务归属的系统不同，按照业务系统在历史数据分发模块中的设置进行分发。