CN110286892B - 一种基于业务流程设计的快速开发引擎系统 - Google Patents

Abstract

本发明公开了一种基于业务流程设计的快速开发引擎系统，该引擎系统包括流程驱动引擎和流程设计软件，所述流程驱动引擎具体包括数据源模块、日志模块、变量域模块、资源模块及作业模块，所述流程驱动引擎与流程设计软件通过协作接口进行数据通讯。本发明的基于业务流程设计的快速开发引擎系统以编程角度出发，利用流程设计软件制定业务流程，通过流程驱动引擎，使得开发人员以实现具体功能与逻辑为任务，实现从面向对象的开发模式转变为过程性功能实现的开发模式，大大提高了开发人员的开发效率，减小了管理成本。

Description

一种基于业务流程设计的快速开发引擎系统

技术领域

本发明属于开发引擎技术领域，具体涉及一种基于业务流程设计的快速开发引擎系统。

背景技术

在关于数据处理、业务流程的项目开发中，往往因为开发人员的技术水平、业务理解参差不齐，导致各自对项目目标、流程的理解不清晰，导致项目开发产生偏差。为了更好地完成项目开发，项目管理人员需要大量的项目管理工具，但这些往往只是以规范、制度性地规避风险。那么，让开发人员无需关心业务流程的和数据走向，专注某个具体功能实现的开发模式显得尤为重要。

发明内容

本发明的主要目的在于提供一种基于业务流程设计的快速开发引擎系统，旨在解决既有方法中存在的以上全部或部分技术问题。

为实现上述目的，本发明提供一种基于业务流程设计的快速开发引擎系统，包括流程驱动引擎和流程设计软件；

所述流程驱动引擎用于通过解析流程配置文件，按配置方式生成整个业务流程模型，自动完成数据输入、处理、输出；所述流程驱动引擎具体包括数据源模块、日志模块、变量域模块、资源模块及作业模块，所述数据源模块用于缓存流程中涉及的所有数据源，所述日志模块用于提供引擎中日志输出方式，所述变量域模块用于提供变量保存方式，所述资源模块用于设置组件使用到的全局资源，资源在引擎启动时加载，同时允许进行定时刷新，所述作业模块用于实现整个业务流程，通过循环器定义轮询周期，组织各组件形成业务流程；

所述流程设计软件用于对业务流程进行设计，生成配置文件，对项目、组件进行管理；

所述流程驱动引擎与流程设计软件通过协作接口进行数据通讯，所述流程设计软件完成业务流程设计后通过第一协作接口导出配置文件提供给流程引擎使用，所述流程驱动引擎通过第二协作接口向设计软件上报各通道的数据堆积统计量，所述流程驱动引擎通过第三协作接口向设计软件提供管理API接口。

进一步地，所述作业模块具体包括功能组件、数据通道和循环器，所述功能组件用于自动完成数据输入、处理、输出，所述数据通道用于以FIFO消息队列方式进行数据中转，所述循环器用于定义作业的轮询方式。

进一步地，所述流程驱动引擎中，将所有编程单元定义为可配置模块，其中具备数据流动的模块定位为功能组件，具体包括输入组件、过程组件、输出组件，所述输入组件用于将外部数据输入到流程驱动引擎中，所述过程组件用于将数据从数据通道取出，进行分析处理后，输出至另一通道的中间过程组件，所述输出组件从数据通道取出数据，并输出至外部系统。

进一步地，所述流程驱动引擎中，一个业务服务允许由一个或多个作业流程进行组织，在作业流程中各组件通过顺序流程形成串行输入输出关系，同时允许多个组件向一个组件输入，也允许一个组件向多个组件输出，数据流贯穿于整个业务服务流程中，作业流程以配置文件的方式保存，通过引擎加载生成各模块组件，并按配置执行自身的业务逻辑。

进一步地，所述流程驱动引擎所有的对外开发方式均采用接口实现，以反射工厂方式实现对象实例化，通过对接口的实现，形成类型的横向扩展，通过对对象的继承，实现派生的扩展，从而形成整个派生体系结构树。

进一步地，所述流程驱动引擎还用于进行通道监视、集成管控及数据追踪；

通道监视具体为对所有数据通道堆积的数据量进行统计，通过UDP方式向外进行数据包广播，流程设计软件接收后在流程监控图上展示；

集成管控具体为以自身作为注册节点，以restful接口方式提供管理API，允许第三方监控界面集成展示整个引擎服务、作业流程等，同时也提供对作业的管控能力；

数据追踪具体为数据在输入组件接收后进入系统内部时，通过对数据标注产生一个唯一的编号和时间戳，在数据最终输出时，通过编号和时间戳计算此数据的整个处理时间。

进一步地，所述流程设计软件以可视化方式配置各组件的输入输出关系，形成业务工作流，用户通过流程配置模块拖拽形成配置文件后，由编译打包模块负责在指定目录获取代码，进行编译，打包输出。

进一步地，所述流程设计软件在配置文件中指定各模块的配置，包括预置类型和用户开发的自定义类型；在配置文件配置完成后，启动系统，由框架统一装载配置文件，通过对配置文件的解析，获取各模块的类型，并按类型进行反射实例化，并通过读取自定义的配置信息，对功能模块进行个性化配置。

进一步地，系统允许以单节点方式或集群方式进行分布式部署，以单节点方式部署时，所有作业及组件作用于同一应用服务；以集群方式进行分布式部署时，以Kafka作为分布式部署的数据输入与输出源，实现全系统中各个服务的输入输出负载均衡。

本发明的有益效果是：本发明的基于业务流程设计的快速开发引擎系统以编程角度出发，利用流程设计软件制定业务流程，通过流程驱动引擎，使得开发人员以实现具体功能与逻辑为任务，实现从面向对象的开发模式转变为过程性功能实现的开发模式，大大提高了开发人员的开发效率，减小了管理成本。

附图说明

图1是本发明的基于业务流程设计的快速开发引擎系统的框架图；

图2是本发明的流程驱动引擎的执行流程图；

图3是本发明的流程驱动引擎与流程设计软件协作接口关系图；

图4是本发明的作业模块结构示意图；

图5是本发明的作业模块工作流程示意图；

图6是本发明的数据通道解耦示意图；

图7是本发明的流程驱动引擎接口拓展和继承示意图；

图8是本发明的业务服务组织结构示意图；

图9是本发明的流程驱动引擎集成管控示意图；

图10是本发明的流程驱动引擎数据追踪示意图；

图11是本发明的服务部署结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，是本发明的基于业务流程设计的快速开发引擎系统的框架图；一种基于业务流程设计的快速开发引擎系统，包括流程驱动引擎和流程设计软件；

所述流程驱动引擎用于通过解析流程配置文件，按配置方式生成整个业务流程模型，自动完成数据输入、处理、输出；所述流程驱动引擎具体包括数据源模块、日志模块、变量域模块、资源模块及作业模块，所述数据源模块用于缓存流程中涉及的所有数据源，所述日志模块用于提供引擎中日志输出方式，所述变量域模块用于提供变量保存方式，所述资源模块用于设置组件使用到的全局资源，资源在引擎启动时加载，同时允许进行定时刷新，所述作业模块用于实现整个业务流程，通过循环器定义轮询周期，组织各组件形成业务流程；

所述流程设计软件用于对业务流程进行设计，生成配置文件，对项目、组件进行管理；

所述流程驱动引擎与流程设计软件通过协作接口进行数据通讯，所述流程设计软件完成业务流程设计后通过第一协作接口导出配置文件提供给流程引擎使用，所述流程驱动引擎通过第二协作接口向设计软件上报各通道的数据堆积统计量，所述流程驱动引擎通过第三协作接口向设计软件提供管理API接口。

在本发明的一个可选实施例中，上述流程驱动引擎中的作业模块具体包括功能组件、数据通道和循环器，如图4所示，所述功能组件用于自动完成数据输入、处理、输出，所述数据通道用于以FIFO消息队列方式进行数据中转，所述循环器用于定义作业的轮询方式。

在流程驱动引擎中，将所有编程单元定义为可配置模块，其中具备数据流动的模块定位为功能组件，具体包括输入组件、过程组件、输出组件，所述输入组件用于将外部数据输入到流程驱动引擎中，所述过程组件用于将数据从数据通道取出，进行分析处理后，输出至另一通道的中间过程组件，所述输出组件从数据通道取出数据，并输出至外部系统。

本发明的流程驱动引擎的所有功能以模块方式实现独立的业务逻辑，其中，在流程中进行业务处理的模块定义为组件，其整体定义和作用如表1所示。

表1、功能模块定义表

本发明的流程驱动引擎的执行流程如图2所示，首先进行组件初始化处理，即对日志、数据源、数据管道及工作流进行初始化；再进行资源定时刷新，即对每个资源线程进行定时刷新；再进行流程调度，利用流程调度器初始化工作组件、初始化中间结构。初始化循环策略控制器，执行流程循环调度；最后进行启动流程，完成流程启动，由流程调度器控制流程循环。

本发明中流程驱动引擎与流程设计软件通过协作接口进行数据通讯，如图3所示，流程设计软件完成业务流程设计后通过第一协作接口IF1导出配置文件提供给流程引擎使用，流程驱动引擎通过第二协作接口IF2向设计软件上报各通道的数据堆积统计量，流程驱动引擎通过第三协作接口IF3向设计软件提供管理API接口，协作接口关系如表2所示。

表2、协作接口关系表

本发明的流程驱动引擎采用组件化开发模式，实现功能为开发核心，具体为流程驱动引擎通过接口方式将所有编程单元定义为可配置模块，其中具备数据流动的模块定位为功能组件，即：输入组件、过程组件、输出组件。开发人员无需关心各组件之间的关系，只需要专注于组件的功能逻辑实现即可。输入组件是通过逻辑将数据接入到引擎，过程组件完成数据在引擎中的变化与转换，输出组件将数据数据输出至外部系统。

各组件具备自身集成循环逻辑，具备完全独立的功能逻辑。启动时通过配置加载业务算法，通过从数据通道拉取数据完成输入，经过对数据的分析处理后，将数据压入输出通道完成输出，如图5所示。

本发明的流程驱动引擎以数据通道方式实现组件解耦，具体为数据通道作为暂存数据的存储模块，以FIFO(先进先出)消息队列方式完成数据中转。

数据通道实现了组件的完全解耦，各组件之间没有直接联系，各自完全独立，相互之间只有数据通道作为数据中转暂存区域。开发者通过配置将各组件与数据通道进行互联，形成组件的输入输出模型，从而形成数据通路，形成数据流。

如图6所示，组件1通过业务逻辑将数据逐条压入通道队列，组件2从通道中按先进先出方式逐条取出，形成组件2的输入，经过逻辑处理后压入下一数据通道。组件之间没有关联，数据通道实现了组件间的解耦。

本发明的流程驱动引擎以作业方式实现业务流程逻辑，具体为作业是通过配置将组件、数据通道、轮询器集成的业务流模型，描述了数据来源与分支、流向，定义了各环节的数据处理方式。一个业务的数据流程形成一个作业，通过多个组件构成数据从外部输入到外部输出的全过程，从而实现业务流转过程。

一个业务服务允许由一个或多个作业流程进行组织，在作业流程中各组件通过顺序流程形成串行输入输出关系，同时允许多个组件向一个组件输入，也允许一个组件向多个组件输出，数据流贯穿于整个业务服务流程中，如图8所示。

通过流程设计软件根据现实业务流程绘制整个数据流向过程，通过拖拽方式选取相关组件进行配置，设计组件之间的数据流动关系，从而完成整个服务的逻辑过程设计。设计的流程以配置文件的方式保存，通过引擎加载生成各模块、组件，并按配置执行自身的业务逻辑。

本发明的流程驱动引擎以接口编程模式实现组件的自由扩展，具体为流程驱动引擎所有的对外开发方式均采用接口实现，以反射工厂方式实现对象实例化，因此引擎允许各组件和模块完全实现各自特有逻辑，如图7所示。

本发明通过对接口的实现，形成类型的横向扩展，通过对对象的继承，实现派生的扩展，从而形成整个派生体系结构树。

本发明的流程驱动引擎提供一套对数据监视体系，用于捕获生产的数据量，对系统的性能分析提供辅助支撑，具体用于进行通道监视、集成管控及数据追踪；

通道监视具体为对所有数据通道堆积的数据量进行统计，通过UDP方式向外进行数据包广播，流程设计软件接收后在流程监控图上展示；

集成管控具体为以自身作为注册节点，以restful接口方式提供管理API，允许第三方监控界面集成展示整个引擎服务、作业流程等，同时也提供对作业的管控能力，如图9所示；

数据追踪具体为数据在输入组件接收后进入系统内部时，通过对数据标注产生一个唯一的编号和时间戳，在数据最终输出时，通过编号和时间戳计算此数据的整个处理时间，如图10所示。

在本发明的一个可选实施例中，上述流程设计软件通过组件设计业务流程，具体为以可视化方式配置各组件的输入输出关系，形成业务工作流。同时提供生成项目模版、一键打包、运行、组件管理、通道监视等功能。

流程设计软件流程配置模块与编译模块功能上有关联性。用户通过流程配置拖拽形成配置文件后，由编译打包模块负责在指定目录获取代码，进行编译，打包输出。组件配置模块允许用户对组件进行编辑，通过指定类路径和需要的配置项，创建组件，供流程编辑使用。

流程设计软件主要用于进行流程设计、模块管理、工程管理及流程监控；

流程设计具体为通过将组件拖拽至流程绘制区域，设置连线，形成数据流向关系，从而完成整个业务流程的设计工作。点击设置组件，将弹出当前组件的配置界面，通过界面输入完成组件配置。

在用户进行流程编辑时，记录组件类型，组件配置、组件在画布上的坐标以及组件之间的连线关系；连线代表数据管道。支持保存工程文件(*.design)和配置文件(*.json)，工程文件是指流程编辑的配置文件，主要保存画布数据；配置文件是以json格式保存数据，是设计中使用到的各模块配置，将模块配置组合成可被流程引擎识别的配置文件。

模块管理具体为允许用户通过对模块二次开发形成新的模块，通过模块管理功能注册到流程引擎中，实现流程、模块的扩展。

工程管理具体为通过配置指定项目路径、包名等，可以通过由流程逆向生成eclipse项目工程，通过提供一键编译、生成、打包功能。

流程监控具体为接收流程驱动引擎向外分发的当前状态，在流程图上进行实时展示，监控各通道的数据暂存量，为软件流程的各环节性能诊断提供辅助支持。

本发明以配置化方式实现组件的个性化扩展，具体为系统的运行都是基于配置文件，在配置文件里指定各模块的配置。包括预置类型和用户开发的自定义类型。配置文件配置完成后，启动系统，由框架统一装载配置文件，通过对配置文件的解析，获取各模块的类型，并按类型进行反射实例化。

通过实现Config接口后，可以对模块进行个性化配置，允许开发者读取自定义的配置信息，完成个性化配置需求。

组件的Config节点内容为自定义部分，完全由用户任意配置，通过onLoadConfig函数实现Config节点的读取，完成对内容的解析。

本发明设置有自由开放的部署方式，既允许以单节点方式进行独立部署，也可以通过集群方式进行分布式部署。

以单节点方式部署时，所有作业及组件作用于同一应用服务；以集群方式进行分布式部署时，以Kafka作为分布式部署的数据输入与输出源，实现全系统中各个服务的输入输出负载均衡。

如图11所示，数据采集服务将Kafka作为输出，同时数据清洗服务以Kafka作为输入源，通过主题订阅方式接收数据以后，经过清洗将数据输出至另一Kafka主题，规整存储以kafka作为输入源，将数据存储至数据库。

下面以日志采集分析服务作为示例，展示引擎的开发及部署流程。

第一步：设计业务流程

日志采集分析服务，完成其需求分析，了解整体业务过程，需要实现日志采集、结构化解析、无效数据清洗、数据告警、完成数据库和ES入库等主要功能需求。

第二步：配置组件

选中组件，点击设置组件，设置组件的各项参数。

第三步：针对特定业务进行组件扩展

当现有组件无法满足某些业务的需求时，通过二次开发方式扩展组件。通过继承方式开发新的组件，编写特定的业务逻辑。

第四步：运行、部署、监控

引擎设计集成编译打包功能，点击项目-打包将完成打包动作，生成可运行jar包，同时生成启动引导文件。将生成的可执行文件拷贝至待部署位置，启动运行即可。点击流程设计软件菜单开始监控，将启动接收流程引擎上报的通道监控数据，并在流程编辑界面实时展示。

以日志采集分析系统为例，该应用场景为监视某软件的日志文件，将产生的新日志解析后存入数据库，并对内容进行告警处理。其流程设计如下：

流程设计为通过文件夹监视组件对指定文件夹的日志文件进行监视，发生修改时将数据提取放入通道，分析器从通道内取出日志记录，进行结构化分析后压入下一通道，设备预处理对结构化日志的设备编号信息进行核对，将输出至SQL输出组件和ES输出组件，完成日志的入库。同时将日志记录传递至告警分析器，告警分析将对日志进行阈值、关键字分析，形成告警后输出至SQL输出组件和Redis输出组件。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (9)

1.一种基于业务流程设计的快速开发引擎系统，其特征在于，包括流程驱动引擎和流程设计软件；

所述流程驱动引擎用于通过解析流程配置文件，按配置方式生成整个业务流程模型，自动完成数据输入、处理、输出；所述流程驱动引擎具体包括数据源模块、日志模块、变量域模块、资源模块及作业模块，所述数据源模块用于缓存流程中涉及的所有数据源，所述日志模块用于提供引擎中日志输出方式，所述变量域模块用于提供变量保存方式，所述资源模块用于设置组件使用到的全局资源，资源在引擎启动时加载，同时允许进行定时刷新，所述作业模块用于实现整个业务流程，通过循环器定义轮询周期，组织各组件形成业务流程；

所述流程设计软件用于对业务流程进行设计，生成配置文件，对项目、组件进行管理；

所述流程驱动引擎与流程设计软件通过协作接口进行数据通讯，所述流程设计软件完成业务流程设计后通过第一协作接口导出配置文件提供给流程引擎使用，所述流程驱动引擎通过第二协作接口向设计软件上报各通道的数据堆积统计量，所述流程驱动引擎通过第三协作接口向设计软件提供管理API接口。

2.如权利要求1所述的基于业务流程设计的快速开发引擎系统，其特征在于，所述作业模块具体包括功能组件、数据通道和循环器，所述功能组件用于自动完成数据输入、处理、输出，所述数据通道用于以FIFO消息队列方式进行数据中转，所述循环器用于定义作业的轮询方式。

3.如权利要求2所述的基于业务流程设计的快速开发引擎系统，其特征在于，所述流程驱动引擎中，将所有编程单元定义为可配置模块，其中具备数据流动的模块定位为功能组件，具体包括输入组件、过程组件、输出组件，所述输入组件用于将外部数据输入到流程驱动引擎中，所述过程组件用于将数据从数据通道取出，进行分析处理后，输出至另一通道的中间过程组件，所述输出组件从数据通道取出数据，并输出至外部系统。

4.如权利要求3所述的基于业务流程设计的快速开发引擎系统，其特征在于，所述流程驱动引擎中，一个业务服务允许由一个或多个作业流程进行组织，在作业流程中各组件通过顺序流程形成串行输入输出关系，同时允许多个组件向一个组件输入，也允许一个组件向多个组件输出，数据流贯穿于整个业务服务流程中，作业流程以配置文件的方式保存，通过引擎加载生成各模块组件，并按配置执行自身的业务逻辑。

5.如权利要求4所述的基于业务流程设计的快速开发引擎系统，其特征在于，所述流程驱动引擎所有的对外开发方式均采用接口实现，以反射工厂方式实现对象实例化，通过对接口的实现，形成类型的横向扩展，通过对对象的继承，实现派生的扩展，从而形成整个派生体系结构树。

6.如权利要求5所述的基于业务流程设计的快速开发引擎系统，其特征在于，所述流程驱动引擎还用于进行通道监视、集成管控及数据追踪；

通道监视具体为对所有数据通道堆积的数据量进行统计，通过UDP方式向外进行数据包广播，流程设计软件接收后在流程监控图上展示；

集成管控具体为以自身作为注册节点，以restful接口方式提供管理API，允许第三方监控界面集成展示整个引擎服务、作业流程，同时也提供对作业的管控能力；

数据追踪具体为数据在输入组件接收后进入系统内部时，通过对数据标注产生一个唯一的编号和时间戳，在数据最终输出时，通过编号和时间戳计算此数据的整个处理时间。

7.如权利要求1-6任一所述的基于业务流程设计的快速开发引擎系统，其特征在于，所述流程设计软件以可视化方式配置各组件的输入输出关系，形成业务工作流，用户通过流程配置模块拖拽形成配置文件后，由编译打包模块负责在指定目录获取代码，进行编译，打包输出。

8.如权利要求7所述的基于业务流程设计的快速开发引擎系统，其特征在于，所述流程设计软件在配置文件中指定各模块的配置，包括预置类型和用户开发的自定义类型；在配置文件配置完成后，启动系统，由框架统一装载配置文件，通过对配置文件的解析，获取各模块的类型，并按类型进行反射实例化，并通过读取自定义的配置信息，对功能模块进行个性化配置。

9.如权利要求8所述的基于业务流程设计的快速开发引擎系统，其特征在于，系统允许以单节点方式或集群方式进行分布式部署，以单节点方式部署时，所有作业及组件作用于同一应用服务；以集群方式进行分布式部署时，以Kafka作为分布式部署的数据输入与输出源，实现全系统中各个服务的输入输出负载均衡。

Images