CN107563731A - 一种基于数据分析的工程流搭建系统 - Google Patents

Abstract

本发明提供了一种基于数据分析的工程流搭建系统，包括组件管理模块、模板管理模块、组件替换模块、工程流监控模块和工程流发布模块；所述模板管理模块用于存储工程流模板，所述工程流模板包括工程流组件；所述组件管理模块用于对所述工程流组件中可替换内容的进行修改；所述组件替换模块用于对所述工程流组件中可替换内容的进行替换；所述工程流监控模块用于在工程流运行时监控所述工程流组件的工作状态；所述工程流发布模块连接有前端服务器，用于测试所述工程流，并发布合格的工程流。本方案能够搭建针对不同应用的工程流，工程流搭建灵活方便。

Description

一种基于数据分析的工程流搭建系统

技术领域

本发明涉及工程流技术领域，尤其涉及一种基于数据分析的工程流搭建系统。

背景技术

模型是对复杂问题的一种简化和抽象，它将复杂系统的特征、行为和规律通过简单明了的形式表达出来。模型驱动构架(Model Driven Architecture，MDA)是由OMG定义的一个软件开发框架。在MDA中，软件开发过程是由对软件系统的建模行为驱动的。模型驱动架构主要为了解决软件的复杂性和变更能力。构件技术是指通过组装一系列可复用的软件构件来构造软件系统的软件技术。通过运用构件技术，开发人员可以有效的进行软件复用，减少重复开发，缩短软件的开发时间，降低软件的开发成本。构件技术在更高的层次对对象和业务逻辑进行抽象和封装，实现比类的粒度更大的复用。

目前在进行工程流的搭建时，模块固定化，无法针对不同的应用搭建合适的工程流，工程流搭建不够灵活。

发明内容

有鉴于此，本发明要解决的技术问题是提供一种基于数据分析的工程流搭建系统，能够搭建针对不同应用的工程流，工程流搭建灵活方便。

本发明的技术方案是这样实现的：

一种基于数据分析的工程流搭建系统，包括组件管理模块、模板管理模块、组件替换模块、工程流监控模块和工程流发布模块；

所述模板管理模块用于存储工程流模板，所述工程流模板包括工程流组件，所述工程流组件包括数据导入组件、数据格式转换组件、数据清洗与预处理组件、特征提取组件、模型选择组件、模型训练组件、模型评价组件和数据处理组件；

所述组件管理模块用于对所述工程流组件中可替换内容的进行修改；

所述组件替换模块用于对所述工程流组件中可替换内容的进行替换；

所述工程流监控模块用于在工程流运行时监控所述工程流组件的工作状态；

所述工程流发布模块连接有前端服务器，用于测试所述工程流，并发布合格的工程流。

优选的，所述工程流组件以json形式表示。

优选的，所述json形式表示的类型包括：

组件类型、组件输入来源、组件输出目标、组件内部方法、组件内部参数。

优选的，所述工程流监控模块包括日志单元；

所述日志单元用于生成监控日志并将所述监控日志发送至前台。

本发明提出的基于数据分析的工程流搭建系统，组件替换模块和组件管理模块可以根据应用需要对组件内容进行修改和替换，发布模块可以判断工程流是否合格并将合格的工程流发布给前端应用，从而能够搭建针对不同应用的工程流，工程流搭建灵活方便。

附图说明

图1为本发明实施例提出的基于数据分析的工程流搭建系统的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提出了一种基于数据分析的工程流搭建系统，包括组件管理模块101、模板管理模块102、组件替换模块103、工程流监控模块104和工程流发布模块105；

所述模板管理模块102用于存储工程流模板1021，所述工程流模板1021包括工程流组件，所述工程流组件包括数据导入组件、数据格式转换组件、数据清洗与预处理组件、特征提取组件、模型选择组件、模型训练组件、模型评价组件和数据处理组件；

所述组件管理模块101用于对所述工程流组件中可替换内容的进行修改；

所述组件替换模块103用于对所述工程流组件中可替换内容的进行替换；

所述工程流监控模块104用于在工程流运行时监控所述工程流组件的工作状态；

所述工程流发布模块105连接有前端服务器，用于测试所述工程流，并发布合格的工程流。

可见，本发明实施例提出的基于数据分析的工程流搭建系统，组件替换模块和组件管理模块可以根据应用需要对组件内容进行修改和替换，发布模块可以判断工程流是否合格并将合格的工程流发布给前端应用，从而能够搭建针对不同应用的工程流，工程流搭建灵活方便。

在本发明的一个优选实施例中，工程流组件以json形式表示，表示的内容可以包括：

组件类型、组件输入来源、组件输出目标、组件内部方法、组件内部参数。

在本发明的一个优选实施例中，所述工程流监控模块包括日志单元；

所述日志单元用于生成监控日志并将所述监控日志发送至前台。

在本实施例中，工程流监控模块在工程流在运行时监控工程流中各个组件的执行状态，状态包括：未执行、正在执行、执行成功、执行失败；工程流的执行指依照工程流文件内容对数据存储及机器学习后台操作，进行数据操作、特征提取、机器学习等功能，工程流监控实施监控依据对应后台生成日志，依据日志内容对工程流执行状态判断，并在前台为用户展示。

本发明提出的基于数据分析的工程流搭建系统使用时，通过模板管理模块选择针对不同应用的工程流模板，组件管理模块可以对工程流组件中可替换内容的进行修改，比如数据导入中的数据源、数据格式，特征提取的提取算法，模型选择的机器学习算法等；两种管理通过文件与数据库同步操作实现，首先为根据组件内容或者工程流模板的需要改动对应文件内容，若新增或删除组件内容或模板则对对应的数据表项进行相应的操作，实现从数据库存储对应文件路径，文件内可以存储具体内容；组件替换模块在对应的工程流模板中可以替换组件的部分内容，包括数据导入源、数据清洗方法、特征选择方法、算法模型等，通过在模板中替换组件内容，可以实现适应性的多种智能应用搭建，具体通过可以为工程流模板创建副本文件，并在替换组件内容时更替副本文件的对应内容；工程流监控模块在工程流在运行时监控工程流中各个组件的执行状态，状态包括：未执行、正在执行、执行成功、执行失败，工程流的执行指依照工程流文件内容对数据存储及机器学习后台操作，进行数据操作、特征提取、机器学习等功能，工程流监控实施监控依据对应后台生成日志，依据日志内容对工程流执行状态判断，并在前台为用户展示；工程流发布模块在创建的工程流测试可用后，可以将工程流内容外接前端web服务器，在web服务器中配置对应工程流的RESTful API接口，并定义可替换参数用于替换工程流中部分组件内容，实现工程流web服务的发布，为前端应用提供人工智能服务。

在本发明的一个优选实施例中，模板管理模块可以包括面向集成学习的工程流模板，其中面向继承学习的工程流模板的模型选择组件可以为集成学习模型选择组件，模型训练组件可以为机器学习模型训练组件；特征提取组件可以连接特征库，机器学习模型训练组件可以连接模型库。

综上所述，本发明实施例至少可以实现如下效果：

在本发明实施例中，组件替换模块和组件管理模块可以根据应用需要对组件内容进行修改和替换，发布模块可以判断工程流是否合格并将合格的工程流发布给前端应用，从而能够搭建针对不同应用的工程流，工程流搭建灵活方便。

在本发明实施例中，工程流监控模块包括日志单元，从而可以依据日志内容对工程流执行状态判断，并在前台为用户展示。

最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (4)

1.一种基于数据分析的工程流搭建系统，其特征在于，包括组件管理模块、模板管理模块、组件替换模块、工程流监控模块和工程流发布模块；

所述模板管理模块用于存储工程流模板，所述工程流模板包括工程流组件，所述工程流组件包括数据导入组件、数据格式转换组件、数据清洗与预处理组件、特征提取组件、模型选择组件、模型训练组件、模型评价组件和数据处理组件；

所述组件管理模块用于对所述工程流组件中可替换内容的进行修改；

所述组件替换模块用于对所述工程流组件中可替换内容的进行替换；

所述工程流监控模块用于在工程流运行时监控所述工程流组件的工作状态；

所述工程流发布模块连接有前端服务器，用于测试所述工程流，并发布合格的工程流。

2.如权利要求1所述的基于数据分析的工程流搭建系统，其特征在于，所述工程流组件以json形式表示。

3.如权利要求2所述的基于数据分析的工程流搭建系统，其特征在于，所述json形式表示的类型包括：

组件类型、组件输入来源、组件输出目标、组件内部方法、组件内部参数。

4.如权利要求1所述的基于数据分析的工程流搭建系统，其特征在于，所述工程流监控模块包括日志单元；

所述日志单元用于生成监控日志并将所述监控日志发送至前台。