CN108171473A

CN108171473A - 一种数据分析处理系统及数据分析处理方法

Info

Publication number: CN108171473A
Application number: CN201711434472.8A
Authority: CN
Inventors: 石孝川; 耿迪
Original assignee: Nine Chapter Yunji Technology Co Ltd Beijing
Current assignee: Nine Chapter Yunji Technology Co Ltd Beijing
Priority date: 2017-12-26
Filing date: 2017-12-26
Publication date: 2018-06-15

Abstract

本发明提供一种数据分析处理系统及数据分析处理方法，该数据分析处理系统包括：接口模块，用于显示用户界面，并检测用户在用户界面上执行的用于运行工作流的用户操作；分析处理模块，用于基于检测到的用于运行工作流的用户操作，运行工作流对数据进行处理，工作流包括至少一个工作流模块，所述工作流模块包括代码模块，每一所述代码模块中均包括用于对数据进行处理的代码。本发明中，用户可以通过接口模块显示的用户界面运行工作流，操作便利，提高了数据分析处理系统的使用便利性。

Description

一种数据分析处理系统及数据分析处理方法

技术领域

本发明涉及数据处理领域，尤其涉及一种数据分析处理系统及数据分析处理方法。

背景技术

近年来，大数据处理与分析已经成为全球性问题，随着经济社会信息化和自动化水平不断提高，在政府管理、公共服务、科学研究、商业应用等许多领域面临大数据问题，需要有各种针对性和经济有效的解决方案。大数据平台为行业大数据提供处理能力，集数据接入、数据处理、数据存储、查询检索、分析挖掘、应用接口等功能为一体。

现有的数据分析处理系统使用便利性不高。

发明内容

有鉴于此，本发明提供一种数据分析处理系统及数据分析处理方法，用于解决现有的数据分析处理系统使用便利性不高的问题。

为解决上述技术问题，本发明提供一种数据分析处理方法，包括：

接口模块，用于显示用户界面，并检测用户在所述用户界面上执行的用于运行工作流的用户操作；

分析处理模块，用于基于检测到的所述用于运行工作流的用户操作，运行工作流对数据进行处理，所述工作流包括至少一个工作流模块，所述工作流模块包括代码模块，每一所述代码模块中均包括用于对数据进行处理的代码。

优选地，所述工作流模块还包括数据模块，所述数据模块中包括数据和/或数据的资源配置。

优选地，所述工作流包括至少两个具有连接关系的工作流模块，具有连接关系的两工作流模块中，一个工作流模块的输出作为另一个工作流模块的输入。

优选地，所述接口模块，还用于检测用户在所述用户界面上执行的用于创建工作流的用户操作；

所述分析处理模块，还用于基于检测到的所述用于创建工作流的用户操作，创建工作流。

优选地，所述接口模块，还用于检测用户在所述用户界面上执行的用于编辑工作流的用户操作，所述编辑工作流包括增加工作流中的工作流模块、复制工作流中的工作流模块和删除工作流中的工作流模块中的至少其中之一；

所述分析处理模块，还用于基于检测到的所述用于编辑工作流的用户操作，编辑工作流。

优选地，所述用户界面中显示有工作流模块显示区域和工作流显示区域，所述创建工作流和/或编辑工作流的用户操作包括用户从所述工作流模块显示区域将工作流模块拖拽至所述工作流显示区域内的拖拽操作。

优选地，所述创建工作流和/或编辑工作流的用户操作包括用户在所述用户界面输入可编程式的工作流语言指令的操作。

优选地，所述分析处理模块包括：

编程操作平台模块，用于执行用户在所述用户界面输入可编程式的工作流语言指令。

优选地，所述接口模块，还用于检测用户在所述用户界面上执行的用于创建代码模块的用户操作；

所述分析处理模块，还用于基于检测到的所述用于创建代码模块的用户操作，创建代码模块；

所述接口模块，还用于在用户界面上显示代码编辑框供用户进行创建的代码模块的代码编辑；并检测用户在所述用户界面上执行的用于调试创建的代码模块的用户操作；

所述分析处理模块，还用于基于检测到的所述用于调试创建的代码模块的用户操作，为创建的代码模块创建容器，并运行创建的代码模块。

优选地，所述接口模块，还用于检测用户在所述用户界面上执行的用于发布创建的代码模块的用户操作；

所述分析处理模块，还用于基于检测到的所述用于发布创建的代码模块的用户操作，将创建的代码模块存储至能够用于构建工作流的代码模块的存储路径下。

优选地，所述接口模块包括：

用户界面展示模块，用于显示所述用户界面；

服务接口会话模块，用于完成所述用户界面与所述分析处理模块之间的会话。

优选地，所述用户界面展示模块包括Compass组件。

优选地，所述用户界面展示模块，还用于提供数据可视化。

优选地，所述用户界面展示模块还用于提供可定制化的用户界面。

优选地，所述服务接口会话模块包括会话服务Session Server组件。

优选地，所述接口模块还包括：

代理模块，用于代理外部系统与服务接口会话模块之间的会话。

优选地，所述代理模块采用反向代理服务器Nginx。

优选地，所述分析处理模块包括：

容器模块，用于构建工作流；

容器管理模块，用于管理所述容器模块，所述管理所述容器模块包括以下至少之一：管理容器模块的生命周期、工作流调度、对容器管理器或者容器服务器进行抽象处理、容器管理以及接收和处理生成代码模块的请求。

优选地，所述容器模块包括调试容器Debug Container组件和/或算法容器Algorithm Container组件。

优选地，所述容器管理模块包括Heron、Controller、Falcon、Mesos、Spec Server、Docker Registry组件中的至少之一。

优选地，所述分析处理模块还包括：

代码管理模块，用于与所述容器模块和所述容器管理模块进行配合，管理创建的代码模块的代码。

优选地，所述代码管理模块包括编辑服务Editor Service组件。

优选地，所述数据分析处理系统还包括：

支撑模块，用于提供数据支撑和服务支撑，所述数据支撑包括存储文件和/或存储数据，所述服务支撑包括为所述数据分析处理系统中的各模块提供服务注册、服务发现和服务监控中的至少之一。

优选地，所述支撑模块包括以下模块中的至少之一：

文件存储模块，用于存储文件；

数据库模块，用于存储数据；

队列处理模块，用于实现所述数据分析处理系统中的各模块的异步处理；

服务监控模块，用于执行以下功能中的至少之一：为所述数据分析处理系统中的各服务组件提供服务注册、服务发现、服务监控以及将容器的配置文件统一管理。

优选地，所述文件存储模块采用网络文件系统NFS或者分布式文件系统实现。

优选地，所述数据库模块包括PostgreSQL组件。

优选地，所述队列处理模块包括RabbitMQ组件。

优选地，所述服务监控模块包括Consul组件。

优选地，所述数据分析处理系统还包括：

辅助模块，用于执行用户管理、执行定时服务以及获取访问外部集群的权限的至少之一。

优选地，所述辅助模块包括以下模块中的至少之一：

用户中心模块，用于执行用户管理；

定时器模块，用于执行定时服务；

验证模块，用于获取访问外部集群的权限。

优选地，所述用户中心模块，还用于为用户提供不同的权限服务。

优选地，所述分析处理模块还包括：

模型发布模块，用于发布通过工作流训练得到的算法模型和/或数据模型。

优选地，所述模型发布模块采用FaaS集群发布。

优选地，所述算法模型和/或数据模型以软件开发工具包SDK的形式发布或应用程序编程接口API的形式发布。

优选地，所述分析处理模块还包括：

模型验证模块，用于验证所述模型发布模块发布的算法模型和/或数据模型。

优选地，所述数据分析处理系统还包括：

服务管理模块，用于执行以下功能至少之一：切换版本、熔断服务、为各模块进行路由服务、对服务的日志进行统一管理、为各模块提供异步处理以及为各模块提供无状态化服务。

本发明还提提供一种数据分析处理方法，包括：

显示用户界面，并检测用户在所述用户界面上执行的用于运行工作流的用户操作；

基于检测到的所述用于运行工作流的用户操作，运行工作流对数据进行处理，所述工作流包括至少一个工作流模块，所述工作流模块包括代码模块，每一所述代码模块中均包括用于对数据进行处理的代码。

优选地，所述检测用户在所述用户界面上执行的用于运行工作流的用户操作的步骤之前，还包括：

检测用户在所述用户界面上执行的用于创建工作流的用户操作；

基于检测到的所述用于创建工作流的用户操作，创建工作流。

优选地，所述基于检测到的所述用于创建工作流的用户操作，创建工作流的步骤，之后还包括：

检测用户在所述用户界面上执行的用于编辑工作流的用户操作，所述编辑工作流包括增加工作流中的工作流模块、复制工作流中的工作流模块和删除工作流中的工作流模块中的至少其中之一；

基于检测到的所述用于编辑工作流的用户操作，编辑工作流。

优选地，所述数据分析处理方法还包括：

检测用户在所述用户界面上执行的用于创建代码模块的用户操作；

基于检测到的所述用于创建代码模块的用户操作，创建代码模块；

在用户界面上显示代码编辑框供用户进行创建的代码模块的代码编辑；

检测用户在所述用户界面上执行的用于调试创建的代码模块的用户操作；

基于检测到的所述用于调试创建的代码模块的用户操作，为创建的代码模块创建容器，并运行创建的代码模块。

优选地，所述基于检测到的所述用于调试创建的代码模块的用户操作，为创建的代码模块创建容器的步骤，之后还包括：

检测用户在所述用户界面上执行的用于发布创建的代码模块的用户操作；

基于检测到的所述用于发布创建的代码模块的用户操作，将创建的代码模块存储至能够用于构建工作流的代码模块的存储路径下。

本发明还提供一种数据分析处理系统，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述处理器执行所述程序时实现上述数据分析处理方法。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述数据分析处理方法中的步骤。

本发明的上述技术方案的有益效果如下：

本发明实施例中，用户可以通过接口模块显示的用户界面运行工作流，操作便利，提高了数据分析处理系统的使用便利性。

附图说明

图1为本发明实施例一的数据分析处理系统的结构示意图；

图2为本发明一实施例的工作流的显示方式示意图；

图3为本发明另一实施例的工作流的显示方式示意图；

图4为本发明一实施例的用户界面的显示方式示意图；

图5为本发明实施例二的数据分析处理系统的结构示意图；

图6为本发明一实施例的Mesos的结构示意图；

图7为本发明一实施例的创建代码模块的流程示意图；

图8为本发明一实施例的运行代码模块的流程示意图；

图9为本发明实施例的数据分析处理方法的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明实施例一的数据分析处理系统，该数据分析处理系统1包括：

接口模块110，用于显示用户界面，并检测用户在所述用户界面上执行的用于运行工作流的用户操作；

分析处理模块120，与所述接口模块110连接，用于基于所述接口模块110检测到的所述用于运行工作流的用户操作，运行工作流对数据进行处理，所述工作流包括至少一个工作流模块，所述工作流模块包括代码模块，每一所述代码模块中均包括用于对数据进行处理的代码。

本发明实施例中，用户可以通过接口模块110显示的用户界面运行工作流，操作便利，提高了数据分析处理系统的使用便利性。

本发明实施例中的工作流包括至少一个工作流模块，通常情况下，一工作流包括多于一个的工作流模块，当工作流包括的工作流模块的个数多于一个时，通常情况下，工作流模块之间还具有连接关系。具有连接关系的两工作流模块中，一个工作流模块的输出作为另一个工作流模块的输入。该输出可以是数据，所述数据可以是原始数据、处理后的数据、可视化的数据中的至少之一。在用户界面下，具有连接关系的两工作流模块可以通过连线连接起来，当然，除了连线之外，也不排除采用其他方式表示两工作流模块具有连接关系。当采用连线表示工作流模块之间具有连接关系时，多个工作流模块的连接关系可以类似于树形拓扑结构。

请参考图2，图2为本发明一实施例的工作流的显示方法的示意图，从图2中可以看出，工作流包括10个代码模块(即工作流模块)，代码模块下方的圆圈表示代码模块的输出，代码模块的输出为数据，两代码模块之间的连线表示两代码模块具有连接关系，箭头表示数据的流向，箭头前端连接的代码模块表示输出的代码模块，末端连接的代码模块表示输入的代码模块。

在本发明的一些实施例中，工作流中的代码模块可以自身产生数据或数据模型并进行处理，在本发明的另外一些实施例中，所述工作流模块还可以包括数据模块，所述数据模块中包括数据和/或数据的资源配置，数据的资源配置包括但不限于数据的索引、指针、地址等。所述数据模块与所述代码模块相连，所述数据模块的输出作为与其相连的代码模块的输入。请参考图3，图3为本发明实施例的包括数据模块和代码模块的工作流的显示方法的示意图。数据模块下方的圆圈表示数据模块输出的数据或数据模型。

本发明实施例中的数据分析处理系统，在运行工作流之前，还可以创建工作流。即，

所述接口模块110，还用于检测用户在所述用户界面上执行的用于创建工作流的用户操作；

所述分析处理模块120，还用于基于检测到的所述用于创建工作流的用户操作，创建工作流。

本发明实施例中，用户可以通过接口模块110显示的用户界面创建工作流，操作便利，提高了数据分析处理系统的使用便利性。

本发明实施例中的数据分析处理系统，在创建工作流之后，还可以编辑工作流。即，

所述接口模块110，还用于检测用户在所述用户界面上执行的用于编辑工作流的用户操作，所述编辑工作流包括增加工作流中的工作流模块、复制工作流中的工作流模块和删除工作流中的工作流模块中的至少其中之一；所述工作流模块包括代码模块和/或数据模块；

所述分析处理模块120，还用于基于检测到的所述用于编辑工作流的用户操作，编辑工作流。

本发明实施例中，用户可以通过接口模块110显示的用户界面编辑工作流，操作便利，且可以根据用户需求方便地对工作流中的工作流模块进行编辑，例如，增加工作流模块、复制工作流模块或删除工作流模块等操作，提高了数据分析处理系统的使用灵活性，提高了用户使用的便利性。

在本发明的一些实施例中，所述用户界面中显示有工作流模块显示区域和工作流显示区域，所述创建工作流和/或编辑工作流的用户操作包括用户从所述工作流模块显示区域将工作流模块拖拽至所述工作流显示区域内的拖拽操作。请参考图4，图4为本发明实施例中的用户界面的示意图，该用户界面中显示有工作流模块显示区域和工作流显示区域，当用户需要创建工作流或者增加工作流中的工作流模块时，可以从工作流模块显示区域内将所需的工作流模块拖拽至工作流显示区域内，操作方式简单，提高用户体验。

具体的，工作流模块显示区域还可以分为数据模块显示区域和代码模块显示区域，数据模块显示区域内显示可用于构建工作流的数据模块，代码模块显示区域内显示可用于构建工作流的代码模块。

当然，在本发明的其他一些实施例中，所述创建工作流和/或编辑工作流的用户操作也可以包括用户在所述用户界面输入可编程式的工作流语言(DSL，domain specificlanguage)指令的操作。本发明实施例中，用户界面需要显示可编程式的工作流语言指令输入区域，在该输入区域内，用户可以通过输入可编程式的工作流语言指令的方式，创建工作流和/或编辑工作流。

当然，本发明实施例中的数据分析处理系统也可以同时支持拖拽操作和输入可编程式的工作流语言指令的操作，以为用户提供操作的多样性。

当数据分析处理系统支持输入可编程式的工作流语言指令的操作时，所述分析处理模块120可以包括：编程操作平台模块(图未示出)，用于执行用户在所述用户界面输入的可编程式的工作流语言(DSL)指令。本发明实施例中，用户通过简单的DSL就可以创建工作流和/或编辑工作流，从而提供更简单的方式让用户使用数据分析处理系统。DSL能够提供简单的编程接口，以操作整个数据分析处理系统的大多数功能，语言定义简单高效，且可移植性强(平台之间可以共享)，提供可监控、可视化的过程。具体的，需要定义DSL语法、实现DSL、运行DSL；DSL是中间过程，还需要解释层，解释到具体的功能。通过DSL，用户通过简单的编程语言(例如，一行或几行代码)就可以实现数据分析处理系统的主要功能(分析相关功能)：创建工作流、进行模型验证、进行模型发布、可视化等。

为了提高数据分析处理系统的可扩展性，优选地，本发明实施例中的数据分析处理系统还可以为用户提供自定义代码模块的功能，即

所述接口模块110，还用于检测用户在所述用户界面上执行的用于创建代码模块的用户操作；

所述分析处理模块120，还用于基于检测到的所述用于创建代码模块的用户操作，创建代码模块；

所述接口模块110，还用于在用户界面上显示代码编辑框供用户进行创建的代码模块的代码编辑，并检测用户在所述用户界面上执行的用于调试创建的代码模块的用户操作；

所述分析处理模块120，还用于基于检测到的所述用于调试创建的代码模块的用户操作，为创建的代码模块创建容器，并运行创建的代码模块。

本发明实施例中，数据分析处理系统为用户提供创建代码模块和调试代码模块的功能，使得用户可以根据需要自定义代码模块，提高数据分析系统的可扩展性。运行代码模块可以用于测试代码模块是否能够正常运行，提高了数据分析处理系统的稳定性。

本发明实施例所述的容器(Container)是指包含最小化操作系统的环境隔离装置，用于封装应用程序，进一步的，容器是代码模块的载体。本发明实施例中的容器可以是下述任意一种：Docker、Pouch、k8s(Kubernetes)Container、Mesos Container或YARNContainer。上述k8s(Kubernetes)、Mesos或YARN属于资源管理框架(容器管理器或者是容器服务器)；上述Docker、Pouch、k8s(Kubernetes)Container、Mesos Container、YARNContainer属于容器。

本发明实施例中，数据分析处理系统在创建了代码模块之后，还可以发布代码模块，以使得用户可以使用发布的代码模块构建工作流，即

所述接口模块110，还用于检测用户在所述用户界面上执行的用于发布创建的代码模块的用户操作；

所述分析处理模块120，还用于基于检测到的所述用于发布创建的代码模块的用户操作，将创建的代码模块存储至能够用于构建工作流的代码模块的存储路径下。

请参考图5，图5为本发明实施例二的数据分析处理系统，该数据分析处理系统包括：接口模块110和分析处理模块120。

本发明实施例中，接口模块110主要作为接口网关，为外部服务(对应上述用户操作)提供接口功能。分析处理模块120主要用于对数据进行分析处理，所述接口模块110和分析处理模块120配合完成所述数据分析处理系统的核心功能，所述核心功能可以包括：1)开发代码模块(包括创建、调试及发布代码模块；2)运行工作流。

本发明实施例中，所述接口模块110可以包括：代理模块111、服务接口会话模块112和用户界面(UI，user interface)展示模块113。

其中，代理模块111，用于代理外部系统与服务接口会话模块112之间的会话。

服务接口会话模块112，用于完成所述用户界面与所述分析处理模块之间的会话。

用户界面展示模块113，用于显示用户界面。

在本发明的其他一些实施例中，接口模块110也可以不包括代理模块111，只包括服务接口会话模块112和用户界面展示模块113，即数据分析处理系统的接口模块110也可以不具备代理功能。

所述代理模块111对服务接口会话模块112和用户界面展示模块113进行统一处理。

其中，代理模块111可以包括反向代理服务器Nginx，所述服务接口会话模块112可以包括Session Server(会话服务)组件，所述用户界面展示模块113可以包括Compass组件。

具体的，所述Session Server可作为下文提到的Editor Service、Heron、Controller、Falcon组件的网关，进一步的还可以作为PostgreSQL(DB)组件的对外接口，Session Server有对外的API(Application Programming Interface,应用程序编程接口)接口。Session Server不但要管理UI端页面网络通信协议WebSocket的Session，还要为服务端的服务(Heron、Editor Service)提供统一的REST API(Representational StateTransfer API，Rest API)访问入口，并重写请求头(Request Header)以便于请求跟踪(Request Tracking)。即Session Server是(1)Web Socket的Session管理(Sessionmanagement)，和(2)服务路由(Service Routing)。

所述Compass由静态文件组成。

下面举例对代理模块111、服务接口会话模块112和用户界面展示模块113的一工作流程进行说明，例如，用户在浏览器输入数据处理系统的网址→反向代理服务器Nginx接收到网址请求→反向代理服务器Nginx利用Compass解析网址→接收异步请求(例如Ajax)→请求到达Session Server。

所述异步，是指不需要等待上一个进程结束下一个进程就开始。异步的含义是计算机多线程的异步处理。与同步处理相对，异步处理不用阻塞当前线程来等待处理完成，而是允许后续操作，直至其它线程将处理完成，并回调通知此线程。

进一步地，所述用户界面展示模块113还用于提供数据可视化。例如，可以在Compass中增加可视化模块Data visualization，Data visualization为全局可视化组件，为整个数据分析处理系统提供数据可视化支持，用户可以把数据分析处理系统内任意地方的数据发布为一个可视化数据源。例如，可以实现运行之后的可视化、交互探索的可视化、数据查询、模型训练或者模型调优的可视化等。

进一步地，所述用户界面展示模块113还用于提供可定制化的用户界面。举例来说，用户或者运维/实施人员可以通过用户界面对菜单，按钮，以及Logo等元素进行定制化。上述功能集中在页面层(即表现层)，涉及Compass组件，与PostgreSQL(DB)组件耦合。更进一步的，提供权限系统，用户界面中所有可点击和操作的元素，都可以进行权限设置。即用户界面的元素可以定制，不同权限用户看到的页面元素不同。

本发明实施例中，所述分析处理模块120可以包括：容器模块121、容器管理模块122和代码管理模块123。

其中，容器模块121，用于构建工作流；

容器管理模块122，用于管理所述容器模块，所述管理所述容器模块包括以下至少之一：管理容器模块的生命周期、工作流调度、对容器管理器或者容器服务器进行抽象处理、容器管理以及接收和处理生成代码模块的请求。

代码管理模块123，用于与所述容器模块和所述容器管理模块进行配合，管理创建的代码模块的代码。

在本发明的其他一些实施例中，分析处理模块120也可以不包括代码管理模块123，只包括容器模块121和容器管理模块122，此时，数据分析处理系统不具备管理创建的代码模块的代码的功能。

所述容器模块121可以包括Debug Container(调试容器)组件和/或AlgorithmContainer(算法容器)组件。

Debug Container是调试代码模块，即运行一个代码模块和/或创建代码模块，即给一个代码模块生成容器以使该代码模块可以工作(如已有容器则仅运行)。调试代码模块执行的功能可以包括：1)RT(Runtime)运行时、2)Volume存储、3)输入输出、4)设置环境变量和5)与容器外部的数据分析处理系统的组件进行互动，进一步的，调试代码模块还可以包括工作流调试模块，即除了保证上述1)-5)，还要执行以下内容：6)工作流模块之间的输入输出、7)全局的环境变量以及8)全局的Volume。所述Volume是数据存储的接口，例如，容器需要通过Volume访问文件存储模块和/或数据库模块中存储的数据。

Algorithm Container将多个工作流模块(代码模块和/或数据模块)构建工作流。

Debug Container和Algorithm Container均与工作流相关。

所述容器管理模块122可以包括Heron、Controller、Falcon、Mesos、Spec Server、Docker Registry组件中的至少之一。

HERON是Debug Container的管理模块，管理Debug Container的生命周期(启动、停止等)。例如设置时间阈值T1，超过T1即停止，用于让资源运转更高效，提高资源使用率。

Controller是工作流调度器。

进一步的，所述容器管理模块122还可以包括Falcon，Falcon是资源管理框架的抽象服务，Falcon对不同类型容器管理器或者是容器服务器进行抽象处理；所有的Docker都用Mesos管理，在Mesos的上一层增加了一层服务即Falcon，Falcon能够隔离Mesos和服务如Heron、Controller，使得这些服务不用关心具体用的是Mesos还是k8s或其他的同类工具。

Mesos用于容器管理，请参考图6，由Server和多个Agent构成，Agent运行Docker；

Spec Server在代码模块发布(代码模块提交)后，接收和处理生成代码模块的请求；Spec Server向Docker Registry里写Docker的镜像(image)，向PostgreSQL(DB)里写上述image的信息(info)；

Docker Registry是为Agent提供镜像服务的且Docker Registry是基于全局的；Spec Server向Docker Registry里写Docker的镜像(image)，Agent读上述镜像。

代码管理模块123(Editor Service)与所述容器模块121和所述容器管理模块122进行配合，管理创建的代码模块的代码。代码管理模块123是基于版本控制的代码文件管理系统，可以进行文件编辑，所述文件是包含代码或者配置的文件。例如，通过Git或SVN管理在线编辑代码模块的代码，为页面编写功能提供接口；Editor Service用到的服务可以包括以下至少之一：1)NFS或者分布式文件系统存取文件、2)Heron管理的调试代码模块、3)写数据库用到PostgreSQL(DB)、4)需要RabbitMQ队列来做异步的通知。包括Editor Service在内的各个模块之间是互相调用的。

上述不同模块之间的耦合通过Queue队列来进行，例如RabbitMQ；

上述Editor Service、Heron、Falcon、Mesos、DockerRegistry具有对内的API接口，即与所述数据分析处理系统内的其他模块之间的接口。

上述模块中，运行相关的模块Algorithm Container、Controller、Falcon、Mesos、Docker Registry是比较基础的模块；进一步的，还可以提供自定义代码模块相关的，例如，Debug Container、Heron、Spec Server、Editor Service，使得用户可以自定义模块。

请参考图5，本发明实施例中的数据分析处理系统还可以包括：支撑模块130，用于提供数据支撑和服务支撑，数据支撑包括存储文件和/或存储数据，服务支撑包括为所述数据分析处理系统中的各模块提供服务注册、服务发现和服务监控中的至少之一。

本发明实施例中，所述支撑模块130可以包括以下模块中的至少之一：文件存储模块131、数据库模块132、队列处理模块133和服务监控模块134。

其中，文件存储模块131，用于存储文件；即存储文件形式的数据或其他文件，例如是一个数据的地址(如数据模块的数据资源配置)。

数据库模块132，用于存储数据；所述数据例如为数据模块中的数据，或者用户数据等。

队列处理模块133，用于实现所述数据分析处理系统中的各模块的异步处理；

服务监控模块134，用于执行以下功能中的至少之一：为所述数据分析处理系统中的各服务组件提供服务注册、服务发现、服务监控以及将容器的配置文件统一管理。

所述文件存储模块131存储的文件为结构化或非结构化数据，文件存储模块131可以采用NFS(Network File System，网络文件系统)或者分布式文件系统实现。NFS网络文件系统可以实现多机器文件存储/共享，位于挂载的硬盘，涉及上述Volume。进一步的，也可以采用分布式文件系统，通过分布式文件系统可以动态的无限的扩展空间以应对日益增长的空间需求，从而支撑数据量较大的情况。例如用Ceph，当存储空间不足时可以通过添加Algorithm device进行空间扩展动态扩容；或者，也可以采用Swift(OpenStack Swift)。

所述数据库模块132存储结构化数据，例如存储元素和对象之间的关系，所述数据库模块132可以包括PostgreSQL(DB)组件。

所述队列处理模块133可以包括RabbitMQ组件。RabbitMQ是可复用的企业消息系统。

所述服务监控模块134可以包括Consul组件。Consul通过软件开发工具包SDK(Parrot)为所述数据分析处理系统的所有服务组件提供服务注册、服务发现及服务状态监控等功能，例如需要知道各个模块的启动状态、启动依赖的组件的状态(例如需要用哪些DB、Queue)，并通过DNSmasq为所有服务器提供DNS服务，即解析地址。所述服务组件包括数据分析处理系统中的各组件，例如Session Server、Editor Service、Heron、Controller、Falcon、Spec Server、Scheduler、User Center、Compass、Nginx、RabbitMQ、Mesos、Debugcontainer、Algorithm container、Docker Registry、PostgreSQL和NFS，都能够提供服务。

进一步的，Consul还可以实现配置中心化，即把容器的配置文件都放在Consul里通过接口来访问，改配置时直接改Consul里的配置即可，就不需要去改容器里的配置文件了。Consul简化了运维和实施。例如，Editor Service为页面编写功能提供接口，依赖和用到的服务可以包括以下至少之一：1)NFS或者分布式文件系统存取文件、2)Heron管理的调试代码模块、3)写数据库用到PostgreSQL(DB)、4)需要RabbitMQ队列来做异步的通知，通过上述服务注册、服务发现及服务状态监控来查看/查询/记录各个服务的状态，例如NFS的状态，是否运行，例如发现RabbitMQ没有运行，则等待，间隔时间T2后再查询，上述1)-4)各个服务都运行了才真正启动Editor Service。Consul是分布式系统，分布式系统之间是互相隔离的，记录的是服务的状态，例如可以采用日志进行记录，通过分布式日志进行数据同步，在此基础上提供上述功能。Consul还能提供KVstore(keyvalue存储)键值存储功能。

请参考图5，本发明实施例的数据分析处理系统还可以包括：辅助模块140，用于为用户提供了更丰富的辅助功能。辅助模块140可以用于执行用户管理，执行定时服务以及获取访问外部集群的权限的至少之一。所述定时服务例如为工作流的运行设置定时/周期运行等。

所述辅助模块140可以包括：用户中心模块141、定时器模块142和验证模块143。

在本发明的一些实施例中，所述辅助模块140还可以不包括验证模块143，只包括用户中心模块141和定时器模块142。

其中，用户中心模块141，用于执行用户管理；

定时器模块142，用于执行定时服务；

验证模块143，用于获取访问外部集群的权限。

用户中心模块141(User Center)为用户系统抽象管理层，适配不同的用户存储系统，通过User Center配置和管理数据分析处理系统的用户，包括系统内部数据库、系统外部基于轻量级目录访问协议的用户数据提供平台，LDAP(Lightweight Directory AccessProtocol，轻量级目录访问协议)basedUserProvider(例如Windows AD)；通过把用户数据抽出来放在DB(PostgreSQL)中，从而对客户现有环境(即数据分析处理系统的外部系统，例如上述用户数据的提供平台)改动小，成本低。在本发明的一些实施例中，所述用户中心模块141还用于为用户提供不同的权限服务。用户中心模块141能够支持多种数据提供平台Data Provider(例如系统内部的或基于LDAP的)，整合新的权限系统。设置用户组层级/用户层级及用户组层级/用户层级的资源限额。外部的计算资源和存储资源是有限的，对于用户而言特别是运维用户，需要有效利用资源，因此提供用户限额。

定时器模块142(Scheduler)处理所有需要做定时任务的；例如用到定时器的服务。

验证模块143为验证管理系统，用于获取访问外部Hadoop集群的权限，存储例如令牌检测Kerberos和/或认证机制PAM。

下面举例对上述各模块之间进行配合工作的流程进行说明，以下例子以用户在用户界面上执行调试代码模块的操作为例进行说明。

当用户在用户界面上执行调试代码模块的用户操作时，例如用户通过点击页面(page)上的调试按键执行调试已编写代码的代码模块的用户操作，包括如下步骤：

一、创建代码模块

(1)请参考图7，此时页面(page)发请求(Request)给Nginx(对应代理模块111)→Nginx解析请求(Request)→(2)Nginx转发请求(Request)至Session server(对应服务接口会话模块112)→(3)Session server将请求(Request)转发给Heron(对应容器管理模块122)→(4)Heron对请求(Request)进行一次包装后再向Falcon(对应容器管理模块122)发送请求(Request)，即Heron告诉Falcon某用户要请求某资源→(5)Falcon告诉Mesos(对应容器管理模块122)，Mesos申请资源，创建容器，还可以包含运行代码模块。并从Falcon按原路返回消息，即返回响应(Response)，返回的路径为：Falcon(Response)→Heron(Response)→Session server(Response)→Nginx(Response)→页面(page)。所述返回的消息例如为：开始创建/无资源。上述Request和Response一般是成对出现的。

在上述步骤(5)中，Falcon给出两个队列，例如RabbitMQ队列，一个是命令(command)队列，另一个是容器输出(output)队列，上述两个队列是Falcon给Mesos的，可以认为是两个参数，即Mesos的参数中的两个，然后Mesos创建容器。按原路返回消息的过程中Session server监控队列。

上述步骤(1)-(4)都是HTTP请求(其中的Request和Response都是HTTP请求)；上述步骤(5)是SDK，即软件开发工具包(接收请求和返回响应都是SDK)。

上述调试可以是新建/修改/调整代码(code)，例如修改/调整工作流中的某一个具体的代码模块的代码(code)，使得某一个具体的代码模块能够工作。

二、运行代码模块

请参考图8，运行代码模块的请求路径为：用户界面-(HTTP)→Nginx-(HTTP)→Session server→Rabbit MQ(command)→Troy，Troy是容器内部接收消息的服务；

返回路径：Troy(output)→RabbitMQ(output)→Session server-(WS)→Nginx-(WS)→用户界面。

返回是服务通过RabbitMQ把结果通过WS(WebSocket)推送给页面。WS是一种网络通信协议。

运行代码模块的流程，通过MQ耦合，所以不用经过Heron、Falcon、Mesos。队列是数据结构；MQ消息队列是通信模型。需要先创建再进行运行。

在本发明的其他一些实施例中，所述分析处理模块120还可以包括：模型发布模块(图未示出)，用于发布通过工作流训练得到的算法模型和/或数据模型。所述算法模型可以是创建好的代码模块。具体的，所述模型发布模块可以采用FaaS(Function as a Service，功能即服务)集群发布，发布之后用户可以大规模的进行调用，同时所述数据分析处理系统对其进行监控。所述模型发布模块可以为用户提供将模型发布为REST API功能。同时支持单机和集群两种模式，并支持灰度发布(非正式发布，能够平滑过渡的一种发布方式)。

工作流里包括样本数据，工作流的功能之一是把样本数据作为数据源训练模型(是一个迭代式演进的过程)，然后应用上述模型，应用的方式一种为以SDK的形式集成到当前用户的产品里，应用的方式另一种为以API的形式对外提供服务，本发明实施例中，优选以API的形式对外提供服务；因此，基于工作流运行结果训练模型并迭代，将模型发布为API，其中训练模型通过在线IDE(集成开发环境，Integrated Development Environment)实现(也可以预置模型)，通过模型发布模块发布为REST API。例如用于对数据进行计算。其中，训练可以是经历工作流中数据模块、代码模块对模型进行训练。上述模型是通过机器学习训练出来的，一般为算法模型，也可以是数据模型(DDL)。

目前模型发布主要采用的是SaaS(Software As AService，软件即服务)，其中Software可以对应多个功能，Service指抽象的服务，例如提供给用户的服务。还包括IaaS(Infrastructure as a Service，基础设施即服务)、PaaS(Platform as a Service，平台即服务)。从IaaS到PaaS，再到SaaS，再到FaaS，粒度从大到小，专注度越来越高。

FaaS是比较轻的即FaaS使用便利性更高，主流实现方式是用容器作为承载，可以提供以下功能：1)API调用/接口；2)验证，与验证模块143关联；3)接口的跟踪Tracking(可以理解为日志系统)；4)限流limit：限定接口可以调用/访问的频次。其中，2)和4)属于安全范畴，是对于系统外部而言的。FaaS与其他模块之间深度优化及交互。具体的，FaaS的实现可以采用OpenFaaS或Serverless。

在本发明的其他一些实施例中，所述分析处理模块120还可以包括：模型验证模块(图未示出)，用于验证所述模型发布模块发布的算法模型和/或数据模型。模型验证模块可以为用户提供操作简单高性能的模型验证功能，用于验证模型效果的好坏，用户可以通过历史数据对新训练的模型或者新发布的模型进行验证，并且还可以将新训练的模型或者新发布的模型与历史数据对比。上述模型是算法模型时，同一算法对于不同数据有最优和最差之分，需要评判算法的好坏，例如每三天进行一次迭代，每五天进行一次发布，对模型进行版本化，针对模型的样本和算法的结果对于同一模型的不同版本进行打分。举例进行说明，针对预测投保结果模型，通过真实的投保数据进行模型验证(例如不同的时间来了不同批的数据)，对于同一模型的不同版本进行打分，针对不同批的数据不同版本模型打分不同，有可能模型版本1.0的分数为97％，模型版本2.0的分数为93％，从而需要进行模型调优。

在本发明的其他一些实施例中，所述分析处理模块120还可以包括：服务管理模块(图未示出)，用于执行以下功能至少之一：切换版本、熔断服务、为各模块进行路由服务、对服务的日志进行统一管理、为各模块提供异步处理以及为各模块提供无状态化服务。所述服务管理模块使得数据处理分析系统实现后端服务微服务化、异步化和无状态化。

所谓微服务化(Micro Service，提高了用户特别是运维用户使用数据分析处理系统的便利性，)可以包括以下至少之一：1)配置中心化，即把容器的配置文件都放在Consul里通过接口来访问，改配置时直接改Consul里的配置即可，就不需要去改容器里的配置文件了。2)服务降级(即切换服务的版本为低版本)/熔断服务(不访问服务了或服务不可用)，以提高数据分析处理系统整体稳定性；3)服务路由，即为各模块进行路由服务，例如Session Server路由了后端的其他的一些服务例如Editor Service、Heron或Controller，为后端的服务提供访问的统一入口，及内部管理访问请求，访问进来之后进行统一处理，例如给请求加标记，方便后续做日志集中化；4)日志集中化，用于对操作流程进行跟踪，统一管理位于不同机器的服务的日志(不同机器的日志直接写进来以用于查看等)。微服务包含Consul的服务，进一步的，Consul增加全局字典功能(KVstore，key valure store，健值存储)。

微服务是全局性的。进一步的，微服务需要为后端服务提供统一的日志操作抽象，可以通过UI的形式进行查看和管理以及DEBUG(例如Github.com)。该统一的日志操作抽象可通过Jaejer实现。

所谓异步化，是指不用等前一个结果就开始处理下一个，以提高效率，提高吞吐量。

所谓服务无状态化，即不在自身内存里存服务的状态，所述自身内存是指分配给该服务的那一部分内存。如果服务是有状态的，就需要去维护状态(例如用Consul去维护)，增加了复杂度和维护成本；进一步的，将服务改为无状态，那么服务崩溃了也可以重新接着运行，无状态是不需要关注额外的信息，具体的可以是下述至少之一：1)只要服务中有一个能够运行的就可以接着运行；2)不用恢复之前的状态，能比较快的继续运行，其中2)可包含重启/等待的过程。举例说明，可以通过多个实例运行多个实例(例如用多个Queue队列运行多个Controller)，即仅通过Queue耦合，不记录状态，也不需要恢复状态。多个服务实例共同消费同一个Queue，当Queue中有新消息的时候，这些实例(instance)是通过竞争的方式来消费新消息，每一个消息有且只被消费一次。

以上，对外一般指对于数据分析处理系统的外部系统；对内指数据分析处理系统的内部模块之间。前端(UI端)，指用户UI界面，即用户能看到的，能操作的；后端(服务端)，指系统的后台服务，内部实现。

基于同一发明构思，请参考图9，本发明实施例还提供一种数据分析处理方法，包括：

步骤91：显示用户界面，并检测用户在所述用户界面上执行的用于运行工作流的用户操作；

步骤92：基于检测到的所述用于运行工作流的用户操作，运行工作流对数据进行处理，所述工作流包括至少一个工作流模块，所述工作流模块包括代码模块，每一所述代码模块中均包括用于对数据进行处理的代码。

本发明实施例中，用户可以通过接口模块显示的用户界面运行工作流，操作便利，且工作流包括至少一个独立的代码模块，可以根据用户需求对工作流中的代码模块进行编辑，提高了数据分析处理系统的使用灵活性，提高了用户使用的便利性。

本发明实施例中，可选地，所述工作流模块还包括数据模块，所述数据模块中包括数据和/或数据的资源配置。

本发明实施例中，可选地，所述工作流包括至少两个具有连接关系的工作流模块，具有连接关系的两工作流模块中，一个工作流模块的输出作为另一个工作流模块的输入。

本发明实施例中的数据分析处理系统，在运行工作流之前，还可以创建工作流。即，所述检测用户在所述用户界面上执行的用于运行工作流的用户操作的步骤之前，还包括：

本发明实施例中，用户可以通过接口模块显示的用户界面创建工作流，操作便利，可以根据用户需求方便地创建工作流，提高了数据分析处理系统的使用灵活性，提高了用户使用的便利性。

本发明实施例中的数据分析处理系统，在创建工作流之后，还可以编辑工作流。即，所述基于检测到的所述用于创建工作流的用户操作，创建工作流的步骤，之后还包括：

检测用户在所述用户界面上执行的用于编辑工作流的用户操作，所述编辑工作流包括增加工作流中的代码模块、复制工作流中的代码模块和删除工作流中的代码模块中的至少其中之一；

本发明实施例中，用户可以通过接口模块显示的用户界面编辑工作流，操作便利，且可以根据用户需求方便地对工作流中的代码模块进行编辑，例如，增加代码模块、复制代码模块或删除代码模块等操作，提高了数据分析处理系统的使用灵活性，提高了用户使用的便利性。

为了提高数据分析处理系统的可扩展性，优选地，本发明实施例中的数据分析处理系统还可以为用户提供自定义代码模块的功能，即，所述数据分析处理方法还包括：

本发明实施例中，数据分析处理系统为用户提供创建代码模块和调试代码模块的功能，使得用户可以根据需要自定义代码模块，提高数据分析系统的可扩展性。

运行代码模块可以用于测试代码模块是否能够正常运行，提高了数据分析系统的稳定性。

本发明实施例中，数据分析处理系统在创建了代码模块之后，还可以发布代码模块，以使得用户可以使用发布的代码模块构建工作流，即，所述基于检测到的所述用于调试创建的代码模块的用户操作，为创建的代码模块创建容器的步骤，之后还包括：

本发明实施例还提供一种数据分析处理系统，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述处理器执行所述程序时实现上述数据分析处理方法。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述数据分析处理方法中的步骤。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种数据分析处理系统，其特征在于，包括：

2.根据权利要求1所述的数据分析处理系统，其特征在于，所述工作流模块还包括数据模块，所述数据模块中包括数据和/或数据的资源配置。

3.根据权利要求1所述的数据分析处理系统，其特征在于：

所述接口模块，还用于检测用户在所述用户界面上执行的用于创建工作流的用户操作；

4.根据权利要求3所述的数据分析处理系统，其特征在于，所述用户界面中显示有工作流模块显示区域和工作流显示区域，所述创建工作流的用户操作包括用户从所述工作流模块显示区域将工作流模块拖拽至所述工作流显示区域内的拖拽操作。

5.根据权利要求1所述的数据分析处理系统，其特征在于：

所述接口模块，还用于检测用户在所述用户界面上执行的用于创建代码模块的用户操作；

6.一种数据分析处理方法，其特征在于，包括：

7.根据权利要求6所述的数据分析处理方法，其特征在于，所述工作流模块还包括数据模块，所述数据模块中包括数据和/或数据的资源配置。

8.根据权利要求6所述的数据分析处理方法，其特征在于，所述检测用户在所述用户界面上执行的用于运行工作流的用户操作的步骤之前，还包括：

9.根据权利要求6所述的数据分析处理方法，其特征在于，还包括：

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求6-9任一项所述的数据分析处理方法中的步骤。