CN104991952B - 一种智能数据分发流程引擎及其同步数据的方法 - Google Patents

Abstract

本发明一种智能数据分发流程引擎，包括客户端API接口、配置分析引擎、流程引擎、配置库、流程配置库，其中，通过共享平台调用客户端API接口，生成流程编排描述文件并发送给配置分析引擎；该配置分析引擎解析流程编排描述文件，对配置参数进行分析，生成流程引擎所能理解的配置信息并保存到配置库中，同时生成可执行的流程编排实例保存到流程配置库中；流程引擎监控配置库的状态，当配置库发现变化时，流程引擎会执行最新的配置信息，并为流程编排实例提供运行环境，并解释流程编排实例对象；本发明能够根据不同的配置将数据源端的数据自动同步到各种不同的数据接收端，具备良好的可扩充性和灵活性，可无缝地集成到各种应用系统中。

Description

一种智能数据分发流程引擎及其同步数据的方法

技术领域

本发明一种智能数据分发流程引擎及其同步数据的方法。

背景技术

在业务系统之间进行数据资源整合的过程中，时常需要把源端的数据按照不同的业务规则同步到不同的数据源中去。

早期的做法是按照业务规则配置相应的业务线程，然后进行同步，如果存在多个接收数据源端，那么需要配置多条业务流程，这种方法存在诸多缺点：一、需要多个线程同时处理，造成资源的浪费；二、对源端的性能影响很大。

发明内容

本发明涉及一种智能数据分发流程引擎及其同步数据的方法，能够根据不同的配置将数据源端的数据自动同步到各种不同的接收端，具备良好的可扩充性和灵活性，可无缝地集成到各种应用系统中。

一种智能数据分发流程引擎，包括客户端API接口、配置分析引擎、流程引擎、配置库、流程配置库，其中，通过共享平台调用客户端API接口，客户端API接口生成流程编排描述文件并发送给配置分析引擎，该流程编排描述文件包含配置参数；该配置分析引擎解析流程编排描述文件，对配置参数进行分析，生成流程引擎所能理解的配置信息并保存到配置库中，同时生成可执行的流程编排实例保存到流程配置库中；流程引擎监控配置库的状态，当配置库发现变化时，流程引擎会执行最新的配置信息，并为流程编排实例提供运行环境，并解释流程编排实例对象。

所述的一种智能数据分发流程引擎的同步数据的方法，包括如下步骤：

步骤1、通过共享平台调用客户端API接口，客户端API接口生成流程编排描述文件并发送给配置分析引擎，该流程编排描述文件包含配置参数；

步骤2、该配置分析引擎解析流程编排描述文件，对配置参数进行分析，生成流程引擎所能理解的配置信息并保存到配置库中，同时生成可执行的流程编排实例保存到流程配置库中；

步骤3、流程引擎监控配置库的状态，当配置库发现变化时，流程引擎会执行最新的配置信息，流程引擎运行流程编排实例对象并进行如下几个步骤：

(1)创建队列池，每个队列用于保存数据接收端所需要接收的数据；

(2)创建抽取线程，用于执行抽取数据，并根据数据接收端的配置条件进行数据过滤，并把符合条件的数据放入对应的队列中；

(3)为每个队列创建对应的数据接收线程，用于抽取队列中的数据，并同步到数据接收端；

(4)在增加或者减少数据接收端时，流程引擎会弹性地伸缩数据接收端的数据接收线程数量，当数据接收端超过阈值数量时，数据接收线程会根据增加的数量负责两个数据接收端的数据同步工作。

本发明的数据接收线程池弹性伸缩，多任务并发改造，对数据源端和数据接收端进行任务分离，实现任务分解，充分利用服务器的资源，实现数据分发的性能提升。

附图说明

图1是本发明一种智能数据分发流程引擎的示意图。

以下结合具体实施例和附图对本发明做进一步详述。

具体实施方式

如图1所示，本发明一种智能数据分发流程引擎包括客户端API接口、配置分析引擎、流程引擎、配置库、流程配置库，其中配置分析引擎主要用于解析流程编排描述文件，对配置参数进行分析，生成流程引擎所能理解的配置信息并保存到配置库中，同时生成可执行的流程编排实例保存到流程配置库中；流程引擎主要为流程编排实例提供运行环境，并解释流程编排实例对象。

本发明一种智能数据分发流程引擎同步数据的方法，包括如下步骤：

步骤1、通过共享平台调用客户端API接口，客户端API接口生成流程编排描述文件并发送给配置分析引擎，该流程编排描述文件包含配置参数；

步骤2、该配置分析引擎解析流程编排描述文件，对配置参数进行分析，生成流程引擎所能理解的配置信息并保存到配置库中，同时生成可执行的流程编排实例保存到流程配置库中；

步骤3、流程引擎监控配置库的状态，当配置库发现变化时，流程引擎会执行最新的配置信息，流程引擎运行流程编排实例对象并进行如下几个步骤：

(1)创建队列池，每个队列用于保存数据接收端所需要接收的数据；

(2)创建抽取线程，用于执行抽取数据，并根据数据接收端的配置条件进行数据过滤，并把符合条件的数据放入对应的队列中；

(3)为每个队列创建对应的数据接收线程，用于抽取队列中的数据，并同步到数据接收端；

(4)在增加或者减少数据接收端时，流程引擎会弹性地伸缩数据接收端的数据接收线程数量，当数据接收端超过阈值数量时，数据接收线程会根据增加的数量负责两个数据接收端的数据同步工作。

以上所述，仅是本发明较佳实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (1)

1.一种智能数据分发流程引擎，其特征在于包括客户端API接口、配置分析引擎、流程引擎、配置库、流程配置库，其中，通过共享平台调用客户端API接口，客户端API接口生成流程编排描述文件并发送给配置分析引擎，该流程编排描述文件包含配置参数；该配置分析引擎解析流程编排描述文件，对配置参数进行分析，生成流程引擎所能理解的配置信息并保存到配置库中，同时生成可执行的流程编排实例保存到流程配置库中；流程引擎监控配置库的状态，当配置库发现变化时，流程引擎会执行最新的配置信息，并为流程编排实例提供运行环境，并解释流程编排实例对象；

具体包括如下步骤：

步骤1、通过共享平台调用客户端API接口，客户端API接口生成流程编排描述文件并发送给配置分析引擎，该流程编排描述文件包含配置参数；

步骤2、该配置分析引擎解析流程编排描述文件，对配置参数进行分析，生成流程引擎所能理解的配置信息并保存到配置库中，同时生成可执行的流程编排实例保存到流程配置库中；

步骤3、流程引擎监控配置库的状态，当配置库发现变化时，流程引擎会执行最新的配置信息，流程引擎运行流程编排实例对象并进行如下几个步骤：

(1)创建队列池，每个队列用于保存数据接收端所需要接收的数据；

(2)创建抽取线程，用于执行抽取数据，并根据数据接收端的配置条件进行数据过滤，并把符合条件的数据放入对应的队列中；

(3)为每个队列创建对应的数据接收线程，用于抽取队列中的数据，并同步到数据接收端；

(4)在增加或者减少数据接收端时，流程引擎会弹性地伸缩数据接收端的数据接收线程数量，当数据接收端超过阈值数量时，数据接收线程会根据增加的数量负责两个数据接收端的数据同步工作。