CN108764808A - 数据分析处理系统及其在线模型部署方法 - Google Patents

Abstract

本发明提供一种数据分析处理系统及其在线模型部署方法，该方法包括：基于检测到的用于部署算法模型的用户操作，进行算法模型发布，并在用户界面中显示发布的算法模型，以供使用所述数据分析处理系统的预设用户访问和/或调用发布的算法模型。本发明能够将系统提供或者用户建立的算法模型发布为其他用户可访问的服务，能够提高数据分析处理系统的协作性，方便用户使用并提高使用效率。

Description

数据分析处理系统及其在线模型部署方法

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据分析处理系统及其在线模型部署方法。

背景技术

近年来，大数据处理与分析已经成为全球性问题，随着经济社会信息化和自动化水平不断提高，在政府管理、公共服务、科学研究、商业应用等许多领域面临大数据问题，需要有各种针对性和经济有效的解决方案。大数据平台为行业大数据提供处理能力，集数据接入、数据处理、数据存储、查询检索、分析挖掘、应用接口等功能为一体。

现有的数据分析处理系统中，如果开发人员或者某些用户开发出较好的算法模型，只能自己使用，其他用户难以使用，使用便利性不高。

发明内容

有鉴于此，本发明提供一种数据分析处理系统及其在线模型部署方法，能够将算法模型发布为其他用户可访问的服务，能够提高数据分析处理系统的协作性、方便用户使用并提高使用效率。

为解决上述技术问题，本发明提供一种数据分析处理系统的在线模型部署方法，包括：基于检测到的用于部署算法模型的用户操作，进行算法模型发布，并在用户界面中显示发布的算法模型，以供使用所述数据分析处理系统的预设用户访问和/或调用发布的算法模型。

优选地，所述进行算法模型发布的步骤包括：

获取待发布的算法模型；

验证待发布的算法模型是否为可发布的算法模型；

当待发布的算法模型为可发布的算法模型时，进行算法模型发布。

优选地，所述获取待发布的算法模型的步骤包括：

显示用于模型部署的用户界面，所述用于模型部署的用户界面中显示有至少一个供用户选择的算法模型；

获取用户在所述用于模型部署的用户界面中选择的算法模型，作为待发布的算法模型。

优选地，所述进行算法模型发布的步骤包括：

将算法模型存储至共享存储中；

为算法模型建立容器的镜像。

优选地，所述共享存储为网络文件系统NFS和/或分布式文件系统Ceph。

优选地，所述进行算法模型发布的步骤还包括：

将算法模型的信息存储至数据库中。

优选地，所述用户界面中显示的发布的算法模型包括部署成功的算法模型和部署失败的算法模型，其中，部署成功的算法模型能够被调用，部署失败的算法模型不能够被调用。

优选地，所述用于模型部署的用户界面中显示的算法模型为一工作流中的模型训练模块输出的算法模型；所述工作流包括数据模块和所述模型训练模块，所述数据模块用于输出待训练的数据，所述模型训练模块用于根据设置的算法模型的参数和输入的待训练的数据对算法模型进行训练，并输出训练结果，当所述训练结果符合目标结果时，输出当前算法模型。

优选地，所述显示用于模型部署的用户界面的步骤包括：

从所述模型训练模块输出的多个内容中，获取预设文件格式的算法模型；

在所述用于模型部署的用户界面中显示获取的预设文件格式的算法模型。

优选地，所述预设文件格式为预测模型标记语言PMML文件格式。

优选地，所述获取预设文件格式的算法模型的步骤包括：

筛选出后缀符合预设文件格式的算法模型；

对筛选出的算法模型进行解析，确定筛选出的算法模型是否为预设文件格式的算法模型；

对预设文件格式的算法模型进行解析，得到算法模型的元数据。

优选地，所述验证待发布的算法模型是否为可发布的算法模型的步骤包括：

根据待发布的算法模型的元数据，确定调试特征；

获取用户设置的调试特征的值；

根据用户设置的调试特征的值，对待发布的算法模型进行调试；

当调试通过时，确定待发布的算法模型为可发布的算法模型。

优选地，所述进行算法模型发布，并在用户界面中显示发布的所述算法模型的步骤之后，还包括：

在一用于创建或编辑工作流的用户界面下，当检测到用于调用发布的算法模型的用户操作时，将调用的算法模型作为所述工作流的一工作流模块添加至所述工作流中。

优选地，所述调用发布的算法模型的用户操作包括：

将调用的算法模型拖拽至所述工作流的显示区域内的拖拽操作；或者

将调用的算法模型的应用程序编程接口API访问接口和接口秘钥API KEY复制至所述工作流的代码中的复制操作；或者

采用虚拟请求工具在统一资源定位符URL地址栏中输入调用的算法模型的APIURL的输入操作。

优选地，所述获取待发布的算法模型的步骤之前，还包括：

训练得到待发布的算法模型。

优选地，所述训练得到待发布的算法模型的步骤包括：

当检测到用于创建工作流的用户操作时，创建工作流，所述工作流包括数据模块和模型训练模块，所述数据模块用于输出待训练的数据；

当接收到用于运行所述工作流的指示时，运行工作流，运行工作流时，所述工作流中的模型训练模块根据设置的算法模型的参数和输入的待训练的数据对算法模型进行训练，并输出训练结果；

验证所述训练结果是否符合目标结果；

当所述训练结果符合目标结果时，输出当前算法模型；

当所述训练结果不符合目标结果时，调整设置的算法模型的参数，重新运行工作流，对算法模型进行训练，直至算法模型输出的训练结果符合所述目标结果。

优选地，所述工作流还包括：数据预处理模块和/或特征选择模块，所述数据预处理模块用于对所述数据模块输入所述数据预处理模块的数据进行预处理，得到符合要求的数据；所述特征选择模块，用于筛选数据，分析输入的数据的特征，判断特征是否发散和/或特征与目标结果的相关性，根据分析结果，选择特征，并输出采用选择的特征筛选的数据。

本发明还提供一种数据分析处理系统，包括：

发布模块，用于基于检测到的用于部署算法模型的用户操作，进行算法模型发布，并在用户界面中显示发布的算法模型，以供使用所述数据分析处理系统的预设用户访问和/或调用发布的算法模型。

优选地，所述发布模块包括：

获取子模块，用于获取待发布的算法模型；

确定子模块，用于验证待发布的算法模型是否为可发布的算法模型；

执行子模块，用于当待发布的算法模型为可发布的算法模型时，进行算法模型发布。

优选地，所述获取子模块，用于显示用于模型部署的用户界面，所述用于模型部署的用户界面中显示有至少一个供用户选择的算法模型；获取用户在所述用于模型部署的用户界面中选择的算法模型，作为待发布的算法模型。

优选地，所述发布模块包括：

第一存储子模块，用于将算法模型存储至共享存储中；

建立子模块，用于为算法模型建立容器的镜像。

优选地，所述共享存储为NFS和/或Ceph。

优选地，所述发布模块包括：

第二存储子模块，用于将算法模型的信息存储至数据库中。

优选地，所述用户界面中显示的发布的算法模型包括部署成功的算法模型和部署失败的算法模型，其中，部署成功的算法模型能够被调用，部署失败的算法模型不能够被调用。

优选地，所述用于模型部署的用户界面中显示的算法模型为一工作流中的模型训练模块输出的算法模型；所述工作流包括数据模块和所述模型训练模块，所述数据模块用于输出待训练的数据，所述模型训练模块用于根据设置的算法模型的参数和输入的待训练的数据对算法模型进行训练，并输出训练结果，当所述训练结果符合目标结果时，输出当前算法模型。

优选地，所述获取子模块，用于从所述模型训练模块输出的多个内容中，获取预设文件格式的算法模型；在所述用于模型部署的用户界面中显示获取的预设文件格式的算法模型。

优选地，所述预设文件格式为PMML文件格式。

优选地，所述获取子模块，用于筛选出后缀符合预设文件格式的算法模型；对筛选出的算法模型进行解析，确定筛选出的算法模型是否为预设文件格式的算法模型；对预设文件格式的算法模型进行解析，得到算法模型的元数据。

优选地，所述确定子模块，用于根据待发布的算法模型的元数据，确定调试特征；获取用户设置的调试特征的值；根据用户设置的调试特征的值，对待发布的算法模型进行调试；当调试通过时，确定待发布的算法模型为可发布的算法模型。

优选地，所述数据分析处理系统还包括：

调用模块，用于在一用于创建或编辑工作流的用户界面下，当检测到用于调用发布的算法模型的用户操作时，将调用的算法模型作为所述工作流的一工作流模块添加至所述工作流中。

优选地，所述调用发布的算法模型的用户操作包括：

将调用的算法模型拖拽至所述工作流的显示区域内的拖拽操作；或者

将调用的算法模型的应用程序编程接口API访问接口和接口秘钥API KEY复制至所述工作流的代码中的复制操作；或者

采用虚拟请求工具在统一资源定位符URL地址栏中输入调用的算法模型的APIURL的输入操作。

优选地，所述数据分析处理系统还包括：

训练模块，用于训练得到所述算法模型。

优选地，所述训练模块，用于当检测到用于创建工作流的用户操作时，创建工作流，所述工作流包括数据模块和模型训练模块，所述数据模块用于输出待训练的数据；当接收到用于运行所述工作流的指示时，运行工作流，运行工作流时，所述工作流中的模型训练模块根据设置的算法模型的参数和输入的待训练的数据对算法模型进行训练，并输出训练结果；验证所述训练结果是否符合目标结果；当所述训练结果符合目标结果时，输出当前算法模型；当所述训练结果不符合目标结果时，调整设置的算法模型的参数，重新运行工作流，对算法模型进行训练，直至算法模型输出的训练结果符合所述目标结果。

优选地，所述工作流还包括：数据预处理模块和/或特征选择模块，所述数据预处理模块用于对所述数据模块输入所述数据预处理模块的数据进行预处理，得到符合要求的数据；所述特征选择模块，用于筛选数据，分析输入的数据的特征，判断特征是否发散和/或特征与目标结果的相关性，根据分析结果，选择特征，并输出采用选择的特征筛选的数据。

本发明还提供一种数据分析处理系统，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述处理器执行所述程序时实现上述在线模型部署方法。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述在线模型部署方法中的步骤。

本发明的上述技术方案的有益效果如下：

本发明能够将系统提供或者用户建立的算法模型发布为其他用户可访问的服务，能够提高数据分析处理系统的协作性，方便用户使用并提高使用效率。

附图说明

图1为本发明实施例的数据分析处理系统的在线模型部署方法的流程示意图；

图2为本发明实施例的用于算法模型训练的工作流的显示界面的示意图；

图3-7为本发明实施例中用于模型部署的用户界面的示意图；

图8为本发明实施例的上线后的算法模型的显示界面的示意图；

图9为本发明一实施例的算法模型的训练方法的示意图；

图10为本发明实施例的用于训练算法模型的工作流的示意图；

图11为本发明另一实施例的算法模型的训练方法的示意图；

图12为本发明实施例的数据分析处理系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明实施例的数据分析处理系统的在线模型部署方法的流程示意图，该方法包括：

步骤10：基于检测到的用于部署算法模型的用户操作，进行算法模型发布，并在用户界面中显示发布的算法模型，以供使用所述数据分析处理系统的预设用户访问和/或调用发布的算法模型。

本发明实施例中的用于发布的算法模型可以为数据分析处理系统提供的(出厂设置及后续版本更新进行提供)，也可以是数据分析处理系统的用户自己建立的。所述预设用户可以是数据分析处理系统的用户或数据分析处理系统的下游系统用户。

本发明实施例提供的数据分析处理系统的在线模型部署方法，能够将系统提供或者用户建立的算法模型在数据分析处理系统中发布为其他用户可访问的服务，能够提高数据分析处理系统的协作性，方便用户使用并提高使用效率。

在本发明一些实施例中，所述进行算法模型发布的步骤可以包括：

步骤11：获取待发布的算法模型；

步骤12：验证待发布的算法模型是否为可发布的算法模型；

步骤13：当待发布的算法模型为可发布的算法模型时，进行算法模型发布。

也就是说，在进行算法模型的发布时，首先对算法模型进行验证，验证通过后，才进行算法模型的发布，从而使得发布的算法模型更稳定。

在本发明一些实施例中，所述用于模型部署的用户界面中显示的算法模型可以为一工作流中的模型训练模块输出的算法模型。所述工作流为用于训练算法模型的工作流。

本发明实施例中的工作流包括至少一个工作流模块，通常情况下，一工作流包括多于一个的工作流模块，当工作流包括的工作流模块的个数多于一个时，工作流模块之间还具有连接关系。具有连接关系的两工作流模块中，一个工作流模块的输出作为另一个工作流模块的输入。该输出可以是数据，所述数据可以是原始数据、处理后的数据和可视化的数据中的至少之一。在用户界面下，具有连接关系的两工作流模块可以通过连线连接起来，当然，除了连线之外，也不排除采用其他方式表示两工作流模块具有连接关系。当采用连线表示工作流模块之间具有连接关系时，多个工作流模块的连接关系可以类似于树形拓扑结构。

本发明实施例中的工作流包括数据模块和所述模型训练模块，所述数据模块用于输出待训练的数据，所述模型训练模块用于根据设置的算法模型的参数和输入的待训练的数据对算法模型进行训练，并输出训练结果，当所述训练结果符合目标结果时，输出当前算法模型。

请参考图2，在本发明的一些实施例中，当一用于算法模型训练的工作流运行后，在该工作流的模型训练模块上点击右键可以弹出“在线模型部署”，点击“在线模型部署”，可以进入在线模型部署界面的配置信息的界面，请参考图3。所述工作流运行后，可以在一任务列表中显示为一任务，任务列表为工作流运行后的结果列表。

请参考图3，在配置信息的界面下，可以在“选择输出”对应的位置显示至少一个供用户选择的算法模型，本发明实施例中，该算法模型是图2中用户点击的模型训练模块输出的算法模型。

由于模型训练模块除了可以输出一个或多个算法模型之外，还可以输出其他内容，例如：评价指标例如混淆矩阵(准确率等)、决策树图(模型算法可视化)或模型可视化(例如展示变量重要性)等，因而在显示用于模型部署的用户界面之前，还需要将所需的算法模型从模型训练模块的多个输出中筛选出来。

即，所述获取待发布的算法模型的步骤可以包括：

步骤111：显示用于模型部署的用户界面，所述用于模型部署的用户界面中显示有至少一个供用户选择的算法模型；

步骤112：获取用户在所述用于模型部署的用户界面中选择的算法模型，作为待发布的算法模型。

也就是说，提供可视化的方式，向用户显示用于模型部署的用户界面，以供用户进行算法模型的选择，提高用户的操作便利性。

本发明的一些实施例中，所述显示用于模型部署的用户界面的步骤可以包括：

步骤1111：从所述模型训练模块输出的多个内容中，获取预设文件格式的算法模型；

步骤1112：在所述用于模型部署的用户界面中显示获取的预设文件格式的算法模型。

本发明实施例中，优选地的，所述预设文件格式为PMML(Predictive ModelMarkup Language，预测模型标记语言)文件格式。PMML是一种标准语言，是一种基于XML(eXtensible Markup Language，可扩展标记语言)的语言，便于处理跨语言跨平台(系统)的移动/共享模型。

本发明实施例中，数据分析处理系统可以直接从模型训练模块输出的多个内容中，获取一个或多个预设文件格式的算法模型，并显示在用于模型部署的用户界面上。如图3所示，可以在“选择输出”的下拉列表上显示一个或多个算法模型的名称。

本发明实施例中，所述获取预设文件格式的算法模型的步骤可以包括：

步骤11111：筛选出后缀符合预设文件格式的算法模型；

该步骤是对算法模型的粗筛步骤，只是根据文件名后缀进行筛选，并不判断筛选出的算法模型是否为真正的预设文件格式的算法模型。

步骤11112：对筛选出的算法模型进行解析，确定筛选出的算法模型是否为预设文件格式的算法模型；对预设文件格式的算法模型进行解析，得到算法模型的元数据。

该步骤是验证算法模型是否为真正的预设文件格式的算法模型的步骤。

具体的，对算法模型文件(用语言R或Python编写的)进行解析，解析为当前语言可识别的对象，数据分析处理系统服务用的编程语言优选为Java，Java语言生态比较完善，企业级应用比较成熟，一般情况下，算法模型的编程语言(例如R或python)与数据分析处理系统平台语言不同，通过代码解析，把算法模型文件(如PMML文件)解析为一段Java语言对象，可以用组件pmml-evaluator PMML鉴别器进行解析。解析还用于确认算法模型的文件类型，校验算法模型是否为预设文件格式的算法模型(如PMML文件)。解析有可能失败，例如算法模型的文件实际上不是PMML文件。然后，解析得到元数据，元数据包含算法模型的类型(例如逻辑回归、决策树等)和变量(包括变量的名称、类型)。

请参考图3，在配置信息的界面上还可以显示“模型名称”设置模块，以使得用户可以对需要发布的算法模型进行命名。优选地，在配置信息的界面上还可以显示“描述”设置模块，以使得用户可以对需要发布的算法模型进行详细描述，例如描述其用途等。进一步的，在配置信息的界面上还可以显示“业务场景”设置模块(图未示出)，用于设置算法模型的业务场景。

在本发明的一些实施例中，当进行算法模型的发布之前，还可以先对算法模型进行调试，调试成功才进行发布，调试不成功不进行发布，使得发布的算法模型更稳定。

即，所述验证待发布的算法模型是否为可发布的算法模型的步骤包括：

步骤121：根据待发布的算法模型的元数据，确定调试特征；

步骤122：获取用户设置的调试特征的值；

步骤123：根据用户设置的调试特征的值，对待发布的算法模型进行调试；

步骤124：当调试通过时，确定待发布的算法模型为可发布的算法模型。

所述特征指的是变量，包括变量名称、类型等，类型支持整数、小数或字符等。特征例如为客户信息，其中，客户信息可以是：客户存款：5W、客户购买理财产品数量：2种、客户近3月交易次数：5次。特征的值为算法模型的输入，通过对算法模型进行调试，验证算法模型的有效性(例如：算法模型能否基于特征的值计算出结果，计算出的结果是否符合预期)，调试不成功提示失败，调试成功进行算法模型的部署(即算法模型的发布)，并生成算法模型的API(Application Programming Interface,应用程序编程接口)访问接口和API KEY(接口秘钥)。

在调试算法模型的过程中，首先数据分析处理系统接收输入，即变量，运行算法模型，进行输出。调试即验证算法模型是否是正常的，有输出结果即调试成功，没有输出结果即调试失败。

请参考图4，当用户在配置信息的界面上填写完算法模型的配置信息时，可以通过点击“下一步”进入“设置特征值”界面，在该界面下，用户可以设置用于调试的调试特征值。

请参考图5和图6，当调试完成后，可以在调试的界面显示调试状态和调试结果，调试状态包括调试成功和调试失败；调试成功后可进行算法模型的部署。调试结果例如为客户流失预测结果为0或1，其中，1表示流失，0表示非流失。调试失败一般是因为模型运行不了，出不来结果，调试失败后不能够进行算法模型的部署。

请参考图7，调试完成后，可以在部署的界面显示算法模型的确认信息，如果用户点击“提交”，则进行算法模型的发布。

在本发明的一些实施例中，所述进行算法模型发布的步骤可以包括：

步骤111’：将算法模型存储至共享存储中；

存储算法模型文件(优选为PMML文件)，以用于管理算法模型文件，包括进行上线和删除，优选存储到共享存储中，例如文件存储系统NFS(Network File System，网络文件系统)、Ceph(分布式文件系统)等，其中，采用Ceph进行存储可以采用对象存储方式，对象存储是存储数据和元数据(例如数据的路径)，不需要遍历扫描，通过元数据快速定位。

步骤112’：为算法模型建立容器的镜像。

创建一个容器的镜像(即容器的镜像文件也即操作系统)，即把算法模型文件用容器的镜像封装起来。镜像是容器的基础，用于向外提供算法模型，使得其他用户能够访问。将容器的镜像存储在容器的仓库即registry里。

本发明实施例所述的容器(Container)是指包含最小化操作系统的环境隔离装置，用于封装应用程序，进一步的，容器是代码模块的载体。本发明实施例中的容器可以是下述任意一种：Docker、Pouch、k8s(Kubernetes)Container、Mesos Container或YARNContainer。本发明以Docker为例进行说明。上述k8s(Kubernetes)、Mesos或YARN属于资源管理框架(容器管理器或者是容器服务器)；上述Docker、Pouch、k8s(Kubernetes)Container、Mesos Container、YARN Container属于容器。

本发明实施例中，优选地，所述进行算法模型发布的步骤还包括：将算法模型的信息存储至数据库中。

本发明实施例中，将算法模型存储至共享存储中，将算法模型的信息存储到数据库，算法模型的信息与算法模型文件可以不存储在一起，例如不存储在同一个表里。算法模型的信息指的是名称、变量、描述等，使得能够在数据分析处理系统级别管理信息，使得调用信息更方便更轻量级。其中进行管理包括展示、进行下一步操作等。

本发明的上述实施例中，可以采用以下方法对算法模型进行上线：

基于容器的镜像启动容器container(即创建Docker容器)，具体还包括采用下述步骤：

1)容器里面的服务把算法模型文件加载到容器，同时把它解析成Java语言对象(解析与上文所述步骤11112中的解析，分别属于不同的服务)；或者2)容器里面的服务从存储读取Java语言对象，即所述步骤11112中解析算法模型时，把算法模型解析成Java语言对象，存储到合适的存储(例如本地文件系统、数据库、对象存储等)，序列化成一个文件(即转成二进制)，容器里面的服务从存储读取Java语言对象(即反序列化成Java语言对象)。

容器里面的服务是把算法模型运行起来，提供HTTP(Hyper Text TransferProtocol，超文本传输协议)服务(即API访问接口)。上线管理还包括多个容器的增加/减少，可以用户设置或系统自动分配，在访问量大导致一个容器接收不了的情况下，需要设置多个容器，分发请求，进行负载均衡。

举例来说，用户点击“提交”后，将算法模型存储至数据分析处理系统的模型仓库中，并在模型仓库界面的模型仓库列表中显示算法模型，模型仓库列表中包括部署成功的算法模型，其中，数据分析处理系统对部署成功的算法模型自动进行上线，部署成功的算法模型能够被调用。进一步的还可以包括部署失败的模型，部署失败的算法模型不能够被调用。部署失败的原因包括：由于需要为算法模型建立容器的镜像，容器的镜像有可能会建立失败，例如网络信号不好、磁盘性能差等会导致超时从而容器的镜像建立失败，导致部署失败。在部署过程中，用于调试的特征的名称和特征的值，存储到数据库中。

请参考图8，当算法模型上线后，用户可以查看算法模型的详情。

上述模型仓库可以是基于业务场景进行分类的模型仓库。

本发明实施例中，所述进行算法模型发布的步骤之后，还可以包括：当检测到第一预设用户执行用于将选择的发布的算法模型下线的用户操作时，将选择的发布的算法模型下线，发布的算法模型下线后不能够被调用。当然，在算法模型下线后，用户还可以通过前述方法将算法模型重新进行上线。

本发明实施例中，所述进行算法模型发布的步骤之后，还可以包括：当检测到第一预设用户执行用于将选择的发布的算法模型删除的用户操作时，将选择的发布的算法模型删除，当发布的算法模型被删除后，用户界面中不再显示被删除的算法模型。

所述第一预设用户可以是进行模型部署的用户和管理员。第一预设用户对模型的管理权限包括，上线、下线、删除、查看和调用。除第一预设用户之外的其他预设用户对模型的管理权限包括：查看和调用。

本发明实施例中，算法模型上线后，数据分析处理系统的下游系统用户或数据分析处理系统的其他用户可以直接调用该模型，以用于某些业务场景，用户可基于模型名称、类型或描述等进行选择，其他用户不用重新搭建算法模型，从而提高使用效率。

在本发明的一些优选实施例中，所述进行算法模型发布，并在用户界面中显示发布的所述算法模型的步骤之后，还可以包括：在一用于创建或编辑工作流的用户界面下，当检测到用于调用发布的算法模型的用户操作时，将调用的算法模型作为所述工作流的一工作流模块添加至所述工作流中。

在本发明的一些优选实施例中，所述调用发布的算法模型的用户操作可以包括：

将调用的算法模型拖拽至所述工作流的显示区域内的拖拽操作；或者

将调用的算法模型的API访问接口和API KEY复制至所述工作流的代码中的复制操作；或者

采用虚拟请求工具(例如模拟浏览器请求工具Postman)在URL(Uniform ResourceLocator，统一资源定位符)地址栏中输入调用的算法模型的API URL的输入操作，API URL即API访问接口、特征值和API KEY。

上述实施例中提到，发布的算法模型可以为一工作流中的模型训练模块输出的算法模型，下面对如何训练得到算法模型进行详细说明。

请参考图9，在本发明的一些优选实施例中，训练所述算法模型的方法包括：

步骤91：当检测到用于创建工作流的用户操作时，创建工作流，所述工作流包括数据模块和模型训练模块，所述数据模块用于输出待训练的数据；

步骤92：当接收到用于运行所述工作流的指示时，运行工作流，运行工作流时，所述工作流中的模型训练模块根据设置的算法模型的参数和输入的待训练的数据对算法模型进行训练，并输出训练结果；

步骤93：验证所述训练结果是否符合目标结果；当所述训练结果符合目标结果时，执行步骤94，否则执行步骤95；

步骤94：输出当前算法模型；

步骤95：调整设置的算法模型的参数，返回步骤92，重新运行工作流，对算法模型进行训练，直至算法模型输出的训练结果符合所述目标结果。

本发明实施例中，使用数据分析处理系统对需要发布的算法模型进行训练，训练方式简单有效，得到的算法模型更稳定。

本发明实施例中，数据模块用于获取训练算法模型的数据，并输出。数据模块的数据来源包括本地、Hive(基于Hadoop的一个数据仓库工具)、HDFS(Hadoop分布式文件系统)等。

模型训练模块用于根据设置的算法模型的参数(例如，用户可以在模型训练模块编辑界面设置算法模型的参数)和输入的待训练的数据对算法模型进行训练，并输出训练结果；训练就是通过待训练的数据和目标结果，调整算法模型的参数，使得输出的训练结果符合目标结果，目标结果是基于对某业务线的要求的理解确定的，算法模型采用的算法例如可以是决策树、逻辑回归或神经网络等。

在本发明的一些优选实施例中，所述工作流除了包括数据模块和模型训练模块之外，还可以包括：数据预处理模块和/或特征选择模块。

所述数据预处理模块用于对所述数据模块输入数据预处理模块的数据进行预处理，得到符合要求的数据；预处理可以采用下述方法至少之一：无量纲化、归一化、缺失值计算、非法值排除和数据变换等，其中，无量纲化包括标准化法、区间缩放法等，缺失值计算包括缺失值填充等，数据变换包括多项式数据转换等。

特征选择模块，用于筛选数据，分析输入的数据的特征，判断特征是否发散和/或特征与目标结果的相关性，根据分析结果，选择特征，并输出采用选择的特征筛选的数据。其中，对于特征是否发散，如果一个特征不发散，即样本在这个特征上基本上没有差异，这个特征对于样本的区分并没有什么用。对于特征与目标结果的相关性，与目标结果相关性高的特征，应当优先选择。特征选择可以采用下述方法至少之一：方差选择法、相关系数法、卡方检验、最大信息系数法、递归特征消除法等。其中，所述方差法涉及特征是否发散，所述其他方法涉及特征与目标结果的相关性。

也就是说，输入模型训练模块的数据，可以是通过数据模块上传的数据文件或输入的数据文件地址链接获取的数据，或者是，进一步经过数据预处理和特征选择形成的数据。

请参考图10，图10为本发明一优选实施例中的用于进行算法模型训练的一工作流的示意图，本发明实施例中的工作流包括：数据模块、数据预处理模块、特征选择模块和模型训练模块。其中，特征选择模块的数量为两个。运行工作流时，数据模块中的待训练的数据经过数据预处理模块的预处理，特征选择模块的筛选后，进入模型训练模块进行训练。

下面以训练得到客户流失预测模型为例，对本发明实施例中的算法模型的训练过程进行详细解释说明。

假设用于训练客户流失预测模型的工作流包括：数据模块、数据预处理模块、特征选择模块和模型训练模块。

其中，数据模块，用于获取训练客户流失预测模型的数据，并输出。例如数据为客户信息，包括客户基本信息、客户产品持有信息、客户购买行为信息、客户交易行为信息等。数据模块的数据来源包括本地、Hive、HDFS等。

数据预处理模块，用于对数据模块输入数据预处理模块的数据进行预处理，预处理可以采用下述方法至少之一：无量纲化、归一化、缺失值计算、非法值排除和数据变换等，其中，无量纲化包括标准化法、区间缩放法等，缺失值计算包括缺失值填充等，数据变换包括多项式数据转换等。

特征选择模块，用于筛选输入模型训练模块的数据，即筛选输入的数据的特征，选择有意义的特征输入模型训练模块进行训练。分析输入的特征是否发散，和/或，分析输入的特征与目标结果的相关性，根据分析结果选择特征，并输出筛选后的数据。其中，如果一个特征不发散，即样本在这个特征上基本上没有差异，这个特征对于样本的区分并没有什么用，需要筛去。所述样本例如为一个客户的信息，所述信息包含多个数据，从中筛选数据即选择有意义的特征。对于特征与目标结果的相关性，与目标结果相关性高的特征，应当优先选择。特征选择可以采用下述方法至少之一：方差选择法、相关系数法、卡方检验、最大信息系数法、递归特征消除法等。其中，所述方差法涉及特征是否发散，所述其他方法涉及特征与目标结果的相关性。

模型训练模块，用于接收特征选择模块的输入，根据设置的算法模型的参数和输入的待训练的数据对算法模型进行训练，并输出训练结果。

训练就是通过待训练的数据和目标结果，调节算法的参数，使得算法更好的拟合待训练的数据，目标结果是基于对某业务线的要求的理解确定的，算法例如可以是决策树、逻辑回归或神经网络等。其中，参数可以是用户设定，也可以是系统自动设定，例如系统基于某些业务场景进行设定。数据拟合又称曲线拟合，是一种把现有数据透过数学方法来代入一条数式的表示方式。

根据工作流的运行结果(即任务的运行结果)，对算法模型进行评估验证，评估方法可以采用下述方法至少之一：交叉验证、调整估计器(estimator)的超参数和通过指标来评估(即通过指标量化预测的质量)等。交叉验证的基本思想是在某种意义下将原始数据进行分组,一部分做为训练集,另一部分做为验证集,首先用训练集进行训练,再利用验证集来测试训练得到的算法模型,来做为评价的性能指标。调整估计器的超参数是指调整用来评估算法模型的估计器的参数。通过指标量化预测的质量是指用当前已有的实际评价指标来评估算法模型。其中，通过指标来评估，例如计算预测的准确性指标，可以通过将预测数值和实际数值做比较来获得。根据某具体业务场景下的业务需求，例如预测的准确性，调整算法模型参数。

数据分析处理系统对数据进行分析的过程也是对算法模型进行训练的过程，整个过程是一个循环，请参考图11，训练过程为：

步骤1101：基于业务理解(对某业务线的要求的理解)，预估目标结果；

步骤1102：对待训练的数据进行预处理；

步骤1103：筛选数据，分析输入的数据的特征，判断特征是否发散和/或特征与目标结果的相关性，根据分析结果选择特征，并输出采用选择的特征筛选的数据。

步骤1104：调整算法模型的参数；

步骤1105：运行工作流，根据设置的算法模型的参数和输入的待训练的数据对算法模型进行训练，并输出训练结果。

步骤1106：根据输出的训练结果，对算法模型进行评估；

步骤1107：根据评估结果判断算法模型是否满足业务需求，如果是，结束，否则，返回步骤1104，或者，返回步骤1101，调整目标结果。

即，完整的训练过程为：运行模型训练模块即训练算法模型-评估算法模型-判断是否满足业务需求-调整业务理解-数据预处理-特征选择-调整算法模型参数-运行模型训练模块……,以使得通过此算法模型预测的结果更满足业务需求(即期望结果)。

上述过程也可以简化为：运行模型训练模块-评估算法模型-判断是否满足业务需求-调整算法模型参数-运行模型训练模块……。

调整算法模型参数可以用户进行手动调节，也可以系统自动调节。对于客户流失预测模型，例如用决策树算法预测客户流失，设置决策树算法的参数：最大深度、最大叶节点数等，运行模型训练模块进行训练，通过指标来进行结果评估，指标选用准确率，通过算法模型评估输出决策树算法的准确率为81％，然后进行参数调整重新训练算法模型，进行模型评估输出决策树算法的准确率为85％，如满足该业务线的要求(期望结果)，则可以对该算法模型进行部署。

基于同一发明构思，请参考图12，本发明实施例还提供一种数据分析处理系统，包括：

发布模块1201，用于基于检测到的用于部署算法模型的用户操作，进行算法模型发布，并在用户界面中显示发布的算法模型，以供使用所述数据分析处理系统的预设用户访问和/或调用发布的算法模型。

优选地，所述发布模块包括：

获取子模块，用于获取待发布的算法模型；

确定子模块，用于验证待发布的算法模型是否为可发布的算法模型；

执行子模块，用于当待发布的算法模型为可发布的算法模型时，进行算法模型发布。

优选地，所述获取子模块，用于显示用于模型部署的用户界面，所述用于模型部署的用户界面中显示有至少一个供用户选择的算法模型；获取用户在所述用于模型部署的用户界面中选择的算法模型，作为待发布的算法模型。

优选地，所述发布模块包括：

第一存储子模块，用于将算法模型存储至共享存储中；

建立子模块，用于为算法模型建立容器的镜像。

优选地，所述共享存储为NFS和/或Ceph。

优选地，所述发布模块包括：

第二存储子模块，用于将算法模型的信息存储至数据库中。

优选地，所述用户界面中显示的发布的算法模型包括部署成功的算法模型和部署失败的算法模型，其中，部署成功的算法模型能够被调用，部署失败的算法模型不能够被调用。

优选地，所述用于模型部署的用户界面中显示的算法模型为一工作流中的模型训练模块输出的算法模型；所述工作流包括数据模块和所述模型训练模块，所述数据模块用于输出待训练的数据，所述模型训练模块用于根据设置的算法模型的参数和输入的待训练的数据对算法模型进行训练，并输出训练结果，当所述训练结果符合目标结果时，输出当前算法模型。

优选地，所述获取子模块，用于从所述模型训练模块输出的多个内容中，获取预设文件格式的算法模型；在所述用于模型部署的用户界面中显示获取的预设文件格式的算法模型。

优选地，所述预设文件格式为PMML文件格式。

优选地，所述获取子模块，用于筛选出后缀符合预设文件格式的算法模型；对筛选出的算法模型进行解析，确定筛选出的算法模型是否为预设文件格式的算法模型；对预设文件格式的算法模型进行解析，得到算法模型的元数据。优选地，所述确定子模块，用于根据待发布的算法模型的元数据，确定调试特征；获取用户设置的调试特征的值；根据用户设置的调试特征的值，对待发布的算法模型进行调试；当调试通过时，确定待发布的算法模型为可发布的算法模型。

优选地，所述数据分析处理系统还包括：

调用模块，用于在一用于创建或编辑工作流的用户界面下，当检测到用于调用发布的算法模型的用户操作时，将调用的算法模型作为所述工作流的一工作流模块添加至所述工作流中。

优选地，所述调用发布的算法模型的用户操作包括：

将调用的算法模型拖拽至所述工作流的显示区域内的拖拽操作；或者

将调用的算法模型的应用程序编程接口API访问接口和接口秘钥API KEY复制至所述工作流的代码中的复制操作；或者

采用虚拟请求工具在统一资源定位符URL地址栏中输入调用的算法模型的APIURL的输入操作。

优选地，所述数据分析处理系统还包括：

训练模块，用于训练得到所述算法模型。

优选地，所述训练模块，用于当检测到用于创建工作流的用户操作时，创建工作流，所述工作流包括数据模块和模型训练模块，所述数据模块用于输出待训练的数据；当接收到用于运行所述工作流的指示时，运行工作流，运行工作流时，所述工作流中的模型训练模块根据设置的算法模型的参数和输入的待训练的数据对算法模型进行训练，并输出训练结果；验证所述训练结果是否符合目标结果；当所述训练结果符合目标结果时，输出当前算法模型；当所述训练结果不符合目标结果时，调整设置的算法模型的参数，重新运行工作流，对算法模型进行训练，直至算法模型输出的训练结果符合所述目标结果。

优选地，所述工作流还包括：数据预处理模块和/或特征选择模块，所述数据预处理模块用于对所述数据模块输入所述数据预处理模块的数据进行预处理，得到符合要求的数据；所述特征选择模块，用于筛选数据，分析输入的数据的特征，判断特征是否发散和/或特征与目标结果的相关性，根据分析结果，选择特征，并输出采用选择的特征筛选的数据。

本发明实施例还提供一种数据分析处理系统，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述处理器执行所述程序时实现上述任一实施例中所述的数据分析处理系统的在线模型部署方法。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例中所述的数据分析处理系统的在线模型部署方法中的步骤。

上述计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种数据分析处理系统的在线模型部署方法，其特征在于，包括：

基于检测到的用于部署算法模型的用户操作，进行算法模型发布，并在用户界面中显示发布的算法模型，以供使用所述数据分析处理系统的预设用户访问和/或调用发布的算法模型。

2.根据权利要求1所述的方法，其特征在于，所述进行算法模型发布的步骤包括：

获取待发布的算法模型；

验证待发布的算法模型是否为可发布的算法模型；

当待发布的算法模型为可发布的算法模型时，进行算法模型发布。

3.根据权利要求2所述的方法，其特征在于，所述获取待发布的算法模型的步骤包括：

显示用于模型部署的用户界面，所述用于模型部署的用户界面中显示有至少一个供用户选择的算法模型；

获取用户在所述用于模型部署的用户界面中选择的算法模型，作为待发布的算法模型。

4.根据权利要求1所述的方法，其特征在于，所述进行算法模型发布的步骤包括：

将算法模型存储至共享存储中；

为算法模型建立容器的镜像。

5.根据权利要求3所述的方法，其特征在于，

所述用于模型部署的用户界面中显示的算法模型为一工作流中的模型训练模块输出的算法模型；所述工作流包括数据模块和所述模型训练模块，所述数据模块用于输出待训练的数据，所述模型训练模块用于根据设置的算法模型的参数和输入的待训练的数据对算法模型进行训练，并输出训练结果，当所述训练结果符合目标结果时，输出当前算法模型。

6.一种数据分析处理系统，其特征在于，包括：

发布模块，用于基于检测到的用于部署算法模型的用户操作，进行算法模型发布，并在用户界面中显示发布的算法模型，以供使用所述数据分析处理系统的预设用户访问和/或调用发布的算法模型。

7.根据权利要求6所述的数据分析处理系统，其特征在于，所述发布模块包括：

获取子模块，用于获取待发布的算法模型；

确定子模块，用于验证待发布的算法模型是否为可发布的算法模型；

执行子模块，用于当待发布的算法模型为可发布的算法模型时，进行算法模型发布。

8.根据权利要求7所述的数据分析处理系统，其特征在于，

所述获取子模块，用于显示用于模型部署的用户界面，所述用于模型部署的用户界面中显示有至少一个供用户选择的算法模型；获取用户在所述用于模型部署的用户界面中选择的算法模型，作为待发布的算法模型。

9.根据权利要求6所述的数据分析处理系统，其特征在于，所述发布模块包括：

第一存储子模块，用于将算法模型存储至共享存储中；

建立子模块，用于为算法模型建立容器的镜像。

10.根据权利要求8所述的数据分析处理系统，其特征在于，

所述用于模型部署的用户界面中显示的算法模型为一工作流中的模型训练模块输出的算法模型；所述工作流包括数据模块和所述模型训练模块，所述数据模块用于输出待训练的数据，所述模型训练模块用于根据设置的算法模型的参数和输入的待训练的数据对算法模型进行训练，并输出训练结果，当所述训练结果符合目标结果时，输出当前算法模型。