CN111459820A - 一种模型应用方法、装置及数据分析处理系统 - Google Patents

Abstract

本发明提供一种模型应用方法、装置及数据分析处理系统，涉及数据处理技术领域，所述方法包括：获取待评估模型的输出结果；根据用户在第一用户界面上输入的用于创建评估算子的第一信息，生成评估算子；采用所述评估算子，对所述输出结果进行评估，获得评估结果。本发明的方案提高了对模型的评估效率且满足了用户的个性化需求。

Description

一种模型应用方法、装置及数据分析处理系统

技术领域

本发明涉及数据处理技术领域，尤其是涉及一种模型应用方法、装置及数据分析处理系统。

背景技术

在模型训练阶段和模型应用阶段中，为了了解当前训练或应用的模型的性能，需要对该模型进行评估。现有技术中，针对模型的评估，一般只能采用系统中固有的模型评估算法对该模型进行评估，而这种固有的模型评估算法往往会存在输出的评估结果与用户需求不一致的情况，这就导致了模型的评估效率过低，用户体验欠佳。

发明内容

本发明的目的在于提供一种模型应用方法、装置及数据分析处理系统，从而解决现有技术中对模型进行评估的效率低的问题。

为了达到上述目的，本发明提供一种模型应用方法，包括：

获取待评估模型的输出结果；

根据用户在第一用户界面上输入的用于创建评估算子的第一信息，生成评估算子；

采用所述评估算子，对所述输出结果进行评估，获得评估结果。

可选的，所述根据用户在第一用户界面上输入的用于创建评估算子的第一信息，生成评估算子，包括：

在所述第一用户界面中显示评估算子模板；

根据用户在所述评估算子模板上输入的所述第一信息，生成所述评估算子。

可选的，所述第一信息包括预定义指标名称，所述根据用户在所述评估算子模板上输入的所述第一信息，生成所述评估算子，包括：

根据所述预定义指标名称，获取与所述预定义指标名称对应的指标运算逻辑代码；

根据所述预定义指标名称和所述预定义指标名称对应的指标运算逻辑代码，生成所述评估算子。

可选的，所述第一信息包括机器学习框架类型，所述根据用户在所述评估算子模板上输入的所述第一信息，生成所述评估算子，包括：

获取用户在所述评估算子模板中输入的机器学习框架类型；

基于所述机器学习框架类型，获取与所述机器学习框架类型对应的评估指标名称；

根据用户输入的用于选择评估指标的第一选择操作，获取用户选择的目标评估指标名称；

根据所述目标评估指标名称，调用与所述目标评估指标名称对应的指标运算逻辑代码；

根据所述目标评估指标名称和与所述目标评估指标名称对应的指标运算逻辑代码，生成所述评估算子。

可选的，若所述评估算子模板为构建评估算子对应的通用代码模板，所述通用代码模板包括：通用代码部分和处理逻辑代码部分；

所述根据用户在所述评估算子模板上输入的所述第一信息，生成所述评估算子，包括：

获取用户在所述处理逻辑代码部分输入的指标运算逻辑代码；

根据所述通用代码部分的代码和所述指标运算逻辑代码，生成所述评估算子。

可选的，若所述评估算子模板为已有评估算子对应的代码；

所述根据用户在所述评估算子模板上输入的所述第一信息，生成所述评估算子，包括：

在已有评估算子对应代码的基础上，编辑已有评估算子对应的处理逻辑部分的代码，得到代码更新后的评估算子；

其中，所述代码更新后的评估算子为根据所述第一信息生成的评估算子。

可选的，在所述第一用户界面中显示评估算子模板之前，所述方法还包括：

在所述第一信息包括待评估模型的模型类型和/或模型应用业务场景时，基于所述待评估模型的模型类型和/或模型应用业务场景，获取与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估算子模板。

可选的，根据用户在第一用户界面上输入的用于创建评估算子的第一信息，生成评估算子的步骤包括：

获取用户在所述第一用户界面上输入的所述第一信息，其中，所述第一信息包括：所述待评估模型的模型类型和/或模型应用业务场景；

基于预先存储的模型类型和/或模型应用业务场景与评估指标对应关系，获取与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估指标；

根据当前获取的与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估指标，生成所述评估算子。

可选的，所述根据当前获取的与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估指标，生成所述评估算子，包括：

在第二用户界面上显示当前获取的与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估指标；

根据用户在所述第二用户界面上输入的用于选择至少一个评估指标的第二选择操作，获取目标评估指标；

根据所述目标评估指标，生成所述评估算子。

可选的，所述根据当前获取的与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估指标，生成所述评估算子，包括：

在第三用户界面上显示当前获取的与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估指标；

根据用户在所述第三用户界面上输入的用于选择两个或两个以上的评估指标的第三选择操作和用于配置所述两个或两个以上的评估指标之间的逻辑关系的配置操作，获取目标评估指标；

根据所述目标评估指标，生成所述评估算子。

可选的，所述根据用户在所述第三用户界面上输入的用于选择两个或两个以上的评估指标的第三选择操作和用于配置所述两个或两个以上的评估指标之间的逻辑关系的配置操作，获取目标评估指标之后，所述方法还包括：

获取用户在第四用户界面上输入的指标名称；

保存用户输入的所述指标名称。

可选的，所述获取待评估模型的输出结果之前，所述方法还包括：

接收用户在第五用户界面上输入的数据集以及待评估模型；

采用所述数据集运行所述待评估模型，生成所述输出结果。

可选的，所述采用所述评估算子，对所述输出结果进行评估，获得评估结果之后，所述方法还包括：

根据用户在第六用户界面上输入的用于创建评估分析规则的第二信息，生成评估分析模块；

采用所述评估分析模块对所述评估结果进行分析，获得分析结果；

根据所述分析结果，确定目标模型。

可选的，所述根据用户在第六用户界面上输入的用于创建评估分析规则的第二信息，生成评估分析模块，包括：

获取所述第二信息中的目标分析指标和预设分析条件；

根据所述目标分析指标和所述预设分析条件，生成所述评估评估分析模块。

可选的，所述方法还包括：

根据所述评估结果，应用所述待评估模型。

可选的，所述根据所述评估结果，应用所述待评估模型的步骤包括：

通过采用以下方式之一应用所述待评估模型：

提供应用所述待评估模型的应用程序接口；

获取数据文件，采用批处理方式，利用所述待评估模型对所述数据文件进行处理，输出处理结果；

导出与所述待评估模型对应的软件开发工具包；

导出与所述待评估模型对应的模型文件。

可选的，在所述应用所述待评估模型之前，所述方法还包括：

向预先设置的第三方系统推送提示消息；其中，所述提示消息包括：所述待评估模型的下载地址或所述待评估模型的模型文件。

本发明实施例还提供一种模型应用装置，包括：

第一获取模块，用于获取待评估模型的输出结果；

第一生成模块，用于根据用户在第一用户界面上输入的用于创建评估算子的第一信息，生成评估算子；

第二获取模块，用于采用所述评估算子，对所述输出结果进行评估，获得评估结果。

可选的，所述第一生成模块包括：

显示子模块，用于在所述第一用户界面中显示评估算子模板；

第一生成子模块，用于根据用户在所述评估算子模板上输入的所述第一信息，生成所述评估算子。

可选的，所述第一信息包括预定义指标名称，所述第一生成子模块包括：

第一获取单元，用于根据所述预定义指标名称，获取与所述预定义指标名称对应的指标运算逻辑代码；

第一生成单元，用于根据所述预定义指标名称和所述预定义指标名称对应的指标运算逻辑代码，生成所述评估算子。

可选的，所述第一信息包括机器学习框架类型，所述第一生成子模块还包括：

第二获取单元，用于获取用户在所述评估算子模板中输入的机器学习框架类型；

所述第二获取单元，还用于基于所述机器学习框架类型，获取与所述机器学习框架类型对应的评估指标名称；

第三获取单元，用于根据用户输入的用于选择评估指标的第一选择操作，获取用户选择的目标评估指标名称；

调用单元，用于根据所述目标评估指标名称，调用与所述目标评估指标名称对应的指标运算逻辑代码；

第二生成单元，用于根据所述目标评估指标名称和与所述目标评估指标名称对应的指标运算逻辑代码，生成所述评估算子。

可选的，若所述评估算子模板为构建评估算子对应的通用代码模板，所述通用代码模板包括：通用代码部分和处理逻辑代码部分；

所述第一生成子模块还包括：

第四获取单元，用于获取用户在所述处理逻辑代码部分输入的指标运算逻辑代码；

第三生成单元，用于根据所述通用代码部分的代码和所述指标运算逻辑代码，生成所述评估算子。

可选的，所述第一生成子模块还包括：

第五获取单元，用于若所述评估算子模板为已有评估算子对应的代码，则在已有评估算子对应代码的基础上，编辑已有评估算子对应的处理逻辑部分的代码，得到代码更新后的评估算子；

其中，所述代码更新后的评估算子为根据所述第一信息生成的评估算子。

可选的，所述第一生成模块还包括：

第一获取子模块，用于在所述第一信息包括待评估模型的模型类型和/或模型应用业务场景时，基于所述待评估模型的模型类型和/或模型应用业务场景，获取与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估算子模板。

可选的，所述第一生成模块还包括：

第二获取子模块，用于获取用户在所述第一用户界面上输入的所述第一信息，其中，所述第一信息包括：所述待评估模型的模型类型和/或模型应用业务场景；

第三获取子模块，用于基于预先存储的模型类型和/或模型应用业务场景与评估指标对应关系，获取与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估指标；

第二生成子模块，用于根据当前获取的与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估指标，生成所述评估算子。

可选的，所述第二生成子模块包括：

第一显示单元，用于在第二用户界面上显示当前获取的与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估指标；

第六获取单元，用于根据用户在所述第二用户界面上输入的用于选择至少一个评估指标的第二选择操作，获取目标评估指标；

第四生成单元，用于根据所述目标评估指标，生成所述评估算子。

可选的，所述第二生成子模块还包括：

第二显示单元，用于在第三用户界面上显示当前获取的与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估指标；

第七获取单元，用于根据用户在所述第三用户界面上输入的用于选择两个或两个以上的评估指标的第三选择操作和用于配置所述两个或两个以上的评估指标之间的逻辑关系的配置操作，获取目标评估指标；

第五生成单元，用于根据所述目标评估指标，生成所述评估算子。

可选的，所述第二生成子模块还包括：

第八获取单元，用于获取用户在第四用户界面上输入的指标名称；

保存单元，用于保存用户输入的所述指标名称。

可选的，所述装置还包括：

接收模块，用于接收用户在第五用户界面上输入的数据集以及待评估模型；

第二生成模块，用于采用所述数据集运行所述待评估模型，生成所述输出结果。

可选的，所述装置还包括：

第三生成模块，用于根据用户在第六用户界面上输入的用于创建评估分析规则的第二信息，生成评估分析模块；

第三获取模块，用于采用所述评估分析模块对所述评估结果进行分析，获得分析结果；

确定模块，用于根据所述分析结果，确定目标模型。

可选的，所述第三生成模块包括：

第四获取子模块，用于获取所述第二信息中的目标分析指标和预设分析条件；

第三生成子模块，用于根据所述目标分析指标和所述预设分析条件，生成所述评估评估分析模块。

所述装置还包括：

应用模块，用于根据所述评估结果，应用所述待评估模型。

可选的，所述应用模块具体用于：

通过采用以下方式之一应用所述待评估模型：

提供应用所述待评估模型的应用程序接口；

获取数据文件，采用批处理方式，利用所述待评估模型对所述数据文件进行处理，输出处理结果；

导出与所述待评估模型对应的软件开发工具包；

导出与所述待评估模型对应的模型文件。

可选的，所述装置还包括：

推送模块，用于向预先设置的第三方系统推送提示消息；其中，所述提示消息包括：所述待评估模型的下载地址或所述待评估模型的模型文件。

本发明实施例还提供一种数据分析处理系统，包括如上所述的模型应用装置。

本发明实施例还提供一种数据分析处理系统，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的模型应用方法的步骤。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的模型应用方法的步骤。

本发明的上述技术方案至少具有如下有益效果：

本发明实施例的模型应用方法，一方面，通过根据用户输入的第一信息生成评估算子，实现了用户根据自身需求自定义评估算子，使得待评估模型的输出结果符合用户需求，提高了对模型的评估效率；另一方面，通过根据用户输入的用于创建评估分析规则的第二信息，生成评估分析模块，实现了用户自定义评估分析规则，使得用户能够根据分析结果直观的确定满足自身需求的最优模型；再一方面，本发明实施例还实现了通过不同的方式实现在不同应用场景中应用所述待评估模块，满足了用户的个性化需求。

附图说明

图1为本发明实施例的模型应用方法的步骤示意图；

图2为本发明实施例的第三用户界面的示意图；

图3为本发明实施例的模型应用装置的结构示意图；

图4为本发明实施例的数据分析处理系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

本发明针对现有技术中的对待评估模型的输出结果准确性进行评估时，评估效率低且无法根据用户的需求个性化设置的问题，提供了一种模型应用方法、装置及数据分析处理系统，一方面实现了提高了评估效率，另一方面实现了根据用户需求确定评估指标，提升了用户使用体验。

需要说明的是，模型建模与应用的整体工作流程包括以下阶段：模型训练、模型评估、模型上线、模型应用和模型上线后的监控评估。模型在训练完成后，需要对于训练完成的模型进行评估，将该评估后的模型上线发布为模型服务，调用该模型服务，在生产环境应用该评估后的模型。进一步的，在模型上线后还可以对该模型进行监控评估，以便于了解模型是否仍满足需求。可见，模型评估对模型的上线与应用至关重要，因此，如图1所示，本发明实施例提供了一种模型应用方法，包括：

步骤S101，获取待评估模型的输出结果；

本步骤中，所述输出结果为使用用于模型评估的数据集运行所述待评估模型后产生的输出结果；其中，若用户需要对多个模型进行评估时，本步骤可以为获得多个不同待评估模型的输出结果，从而实现同时评估，提高模型的评估效率。

步骤S102，根据用户在第一用户界面上输入的用于创建评估算子的第一信息，生成评估算子；

其中，本发明实施例涉及的评估算子至少包括：评估指标和用于计算评估指标值的评估算法。

本步骤S102的实现，具体包括：根据用户输入的第一信息确定用于评估模型的评估指标以及计算评估指标值的评估算法，从而基于确定出的评估指标和对应的评估算法，得到该评估算子。本步骤中，通过根据用户输入的第一信息确定评估指标和对应的评估算法，从而利用该确定出评估指标对待评估模型进行评估，实现了根据用户需求对待评估模型的评估算子进行个性化定制，提高了用户的使用体验和模型的评估效率。

在一具体应用场景中，如对聚类模型、图像分类模型、目标检测模型、图像语义分割模型以及强化学习类模型等不能使用系统中固有的评估算子进行评估的模型，需要基于用户输入的所述第一信息，生成用于评估该模型的自定义的评估算子，以实现对该模型的评估。例如，对于聚类模型，通过判断该聚类模型将数据分成K类(即输出K簇数据)的合理性来评估模型，和/或，通过确定该聚类模型的聚类质量(即分类质量，表征分的好坏)实现对聚类模型的评估，其中，对于数据簇K(即分成K类)的好坏可以通过K折线法进行判断分成几类比较好；对于聚类质量可以通过轮廓系数进行评估。在对聚类模型的评估时，用户可以依据上述判断方法，在所述第一用户界面上输入所述第一信息，生成基于K折线法和/或轮廓系数实现评估的评估算子；又例如，对于目标检测模型则需要通过MAP(Mean AveragePrecision，即各类别AP的平均值，也即所有类别P-R曲线(Precision-Recall曲线，精准率-召回率曲线)下面积的平均值)进行评价，具体的，在对目标检测模型进行评估时，用户可以依据MAP评估方法，在所述第一用户界面上输入第一信息，从而生成利用MAP评估方法实现评估的评估算子。

步骤S103，采用所述评估算子，对所述输出结果进行评估，获得评估结果。

需要说明的是，对待评估模型进行评估时，可以通过创建模型评估工作流来实现。具体的，模型评估工作流至少包括：数据集模块、模型模块和评估算子模块。其中，所述数据集模块用于提供模型评估所用的数据集；模型模块包括待评估模型，模型模块用于使用数据集模块中的数据集运行被评估的模型得到模型的输出结果；所述评估算子模块包括用来评估待评估模型的评估算子，所述评估算子模块用于用所述评估算子评估该待评估模型的输出结果，如：用待评估模型的输出结果与所述数据集中的真实的结果进行比较计算，得到评估结果，其中，所述评估结果包括计算出来的评估指标的值。

本发明实施例的模型应用方法，基于用户输入的第一信息生成评估算子，实现用户根据自身需求自主定义评估算子，并且利用自定义的评估算子，对待评估模型进行评估，从而使得利用该自定义的评估算子进行评估得到的评估结果更满足用户需求，进而使得用户根据评估结果，能够更加直观准确的确定出待评估模型是否符合自身需求，因此，采用本发明实施例提供的模型应用方法对待评估模型进行评估，提高了模型的评估效率，并且为后续确定待评估模型是否符合需求，提供了更有效的指导。

作为一个可选实施例，步骤S102，根据用户在第一用户界面上输入的用于创建评估算子的第一信息，生成评估算子，包括：

a)在所述第一用户界面中显示评估算子模板；

b)根据用户在所述评估算子模板上输入的所述第一信息，生成所述评估算子。

本实施例中，基于对模型进行评估的处理逻辑，可以通过用户在所述评估算子模板上写代码创建相应的评估算子，实现了用户对评估算子的个性化设置。

进一步的，为了简化用户写代码的工作量，本发明实施例在用户通过写代码的方式确定评估指标和计算评估指标的值的计算方法时，即通过写代码的方式自定义评估算子时，系统可以根据用户写入的代码给出后续代码提示，还可以提示每个参数的功能，具体的，用户输入部分字符，系统会自动补全字符，得到该自定义的评估算子对应的完整代码，或者，用户可以写简化代码，自动生成自定义的评估算子对应的完整代码等，其中，简化代码可以为该评估指标的值的计算方法的代码，或者，简化代码还可以为该评估指标的名称，输入该该评估指标的名称，自动调用该评估指标的计算逻辑代码，得到评估算子对应的完整代码。

作为一个具体实施例，所述第一信息包括预定义指标名称，所述根据用户在所述评估算子模板上输入的所述第一信息，生成所述评估算子，包括：

根据所述预定义指标名称，获取与所述预定义指标名称对应的指标运算逻辑代码；

根据所述预定义指标名称和所述预定义指标名称对应的指标运算逻辑代码，生成所述评估算子。

这里需要说明的是，本发明实施例中，在基于评估算子模板上输入的所述第一信息，生成所述评估算子之前，需要预先定义评估指标，也即需要用户输入的自定义指标名称和对应的计算逻辑，即需输入构建该评估指标的名称与该评估指标的计算方法的相关代码，得到该预定义评估指标。通过预先定义评估指标的相关代码，便可以实现通过输入评估指标名称，自动调用相关代码。其中，用户编写评估指标的相关代码时，可以提供自定义指标模板，用户只需要在指定位置输入定义的指标名称和对应的计算逻辑代码即可。

作为一个具体实施例，所述第一信息还包括机器学习框架类型，所述根据用户在所述评估算子模板上输入的所述第一信息，生成所述评估算子，包括：

获取用户在所述评估算子模板中输入的机器学习框架类型；

基于所述机器学习框架类型，显示与所述机器学习框架类型对应的评估指标名称；

根据用户输入的用于选择评估指标的第一选择操作，获取用户选择的目标评估指标名称；

根据所述目标评估指标名称，调用与所述目标评估指标名称对应的指标运算逻辑代码；

根据所述目标评估指标名称和与所述目标评估指标名称对应的指标运算逻辑代码，生成所述评估算子。

在本实施例中，一个具体的实现方式如下：数据分析处理系统中兼容多个机器学习框架类型，数据分析处理系统中兼容的机器学习框架类型包括但不限于下述至少之一：tensorflow，keras，scikit-learn。每类机器学习框架下对应多个评估指标，在通过写代码创建评估算子时，用户在评估算子模板上输入指定的机器学习框架类型，系统基于用户输入的机器学习框架类型展示该机器学习框架类型对应的所有评估指标名称，用户基于需求选择目标评估指标的名称，系统基于该目标评估指标的名称，自动调用该目标评估指标对应的指标计算逻辑代码，并将该指标计算逻辑代码自动填充到该评估算子模板的指定位置，从而得到评估算子。这里需要说明的是，用户选择的目标评估指标的名称包括至少一个评估指标的名称，即该目标评估指标包括用户选择的一个或一个以上的评估指标。例如，写代码时，用户在该评估算子模板的相应位置输入keras框架，系统展示keras框架对应的评估指标名称，如：mae(mean absolute error，平均绝对误差)、mse(mean squared error，均方误差)、mape(mean absolute percentage error，平均绝对百分偏差)、msle(meansquared logarithmic error，均方对数误差)、squared hinge(平方铰链)、hinge deng(多标记评估指标)等评估指标名称，用户在指定位置输入mae，系统自动调用mae的指标计算逻辑代码，自动填充到该评估算子模板的指定位置，从而生成评估算子。

作为另外一个可选实施例，用户可以在所述评估算子模板中写入指标运算逻辑，从而得到所述评估算子。

一方面：若所述评估算子模板为构建评估算子对应的通用代码模板，所述通用代码模板包括：通用代码部分和处理逻辑代码部分；

具体的，所述根据用户在所述评估算子模板上输入的所述第一信息，生成所述评估算子，包括：

获取用户在所述处理逻辑代码部分输入的指标运算逻辑代码；

根据所述通用代码部分的代码和所述指标运算逻辑代码，生成所述评估算子。

其中，用户在所述处理逻辑代码部分输入所述指标运算逻辑代码时，用户可以根据数据分析处理系统给出的后续代码提示和每个参数功能提示，自动填充指标运算逻辑代码，从而简化用户写代码的工作量。具体可以为：用户输入部分字符，系统会自动补全该字符，如：用户输入字母“m”，系统会自动提示与“m”相关的多个运算函数，用户在多个运算函数中选择满足需求的一个函数后，系统自动补全该函数；或者，用户可以写简化代码，自动生成完整代码等，其中，简化代码可以为该计算方法的代码。

本实施例中，该通用代码模板为包含评估算子代码流程的代码模板，该通用代码模板包括通用代码部分和处理逻辑代码部分，所述通用代码部分包括评估算子模板中的初始化代码部分，在通用代码模板中该通用代码部分的代码是完整的，无需编写代码；所述处理逻辑代码部分为与评估算子处理逻辑对应的代码部分，在通用代码模板中该处理逻辑代码部分是空白的；也即，所述通用代码模板是与评估算子处理逻辑对应的代码部分为空白部分，其他部分(通用代码部分)为完整代码部分的模板，在使用这种评估算子模板自定义评估算法时，只需要写入评估算子处理逻辑对应的代码部分，以补全代码，得到自定义评估算法。

另一方面，若所述评估算子模板为已有评估算子对应的代码；

所述根据用户在所述评估算子模板上输入的所述第一信息，生成所述评估算子，包括：

在已有评估算子对应代码的基础上，编辑已有评估算子对应的处理逻辑部分的代码，得到代码更新后的评估算子；

其中，所述代码更新后的评估算子为根据所述第一信息生成的评估算子。

具体的，在已有评估算子对应代码的基础上，编辑已有评估算子对应的处理逻辑部分的代码，该编辑后的已有评估算子则为新生成的自定义评估算子。其中，对已有评估算子的编辑包括下述至少之一：删除部分代码、增加代码和修改部分代码。例如：首先，用户选择现有评估算子模板，其中，该现有评估算子模板可以是数据分析处理系统预置的评估算子模板；其次，在该评估算子模板基础上进行编辑，得到新的自定义评估算子。具体的，在选择评估算子模板时系统可以获取待评估模型的模型类型和/或模型应用业务场景，基于待评估模型的模型类型和/或模型应用业务场景推荐评估算子模板，从而在推荐评估算子模板基础上基于模型评估的处理逻辑补充调整生成新的评估算子，其中，补充调整的过程中也可以给出代码提示，从而自动填充。

一具体应用场景实例如下：二分类模型常用的评估指标为精准率、召回率等，回归类模型常用的评估指标为均方误差(mse)、平均绝对误差(mae)、均方根误差(rmse)等，数据分析处理系统中预置有基于精确率、召回率等评估指标得到的二分类模型评估算子模板，基于均方误差(mse)、平均绝对误差(mae)、均方根误差(rmse)等评估指标得到的回归类模型的评估算子模板，若待评估模型的模型类型为回归类模型，则评估算子模板为已有评估算子。在已有评估算子基础上进行编辑，得到新的评估算子的具体实现如下：系统基于待评估模型的模型类型推荐待评估模型的模型类型推荐回归类模型的评估算子模板，然后，展示该评估算子模板，获取用户输入的删除部分代码的删除操作，删除评估算子模板中的部分代码，得到新的评估算子，如，删除操作为删除评估算子模板中的均方误差指标对应的代码；或者，在展示该评估算子模板之后，获取用户输入的增加代码的增加操作，获取增加的代码，得到新的评估算子，如，增加操作为增加误差中位数对应的代码。

作为一个可选实施例，步骤S102，根据用户在第一用户界面上输入的第一信息，生成评估算法包括：

a)获取用户在所述第一用户界面上输入的所述第一信息，其中，所述第一信息包括：所述待评估模型的模型类型和/或模型应用业务场景。

可选的，所述待评估模型的模型类型和/或模型应用业务场景包括但不限于下述之一：二分类模型、多分类模型、回归模型、聚类模型、图像分类模型、目标检测模型、图像语义分割模型和强化学习类模型等。

b)根据待评估模型的模型类型和/或模型应用业务场景，获取与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估指标。

本发明实施例中，数据分析处理系统中预先存储有对各模型进行评估的评估指标以及模型类型和/或模型应用业务场景与评估指标的对应关系，用户在进行模型的评估中，可以根据自身需求从数据分析处理系统中存储的模型选择待评估模型进行评估，或者导入模型到数据分析处理系统中进行评估，然后，数据分析处理系统基于选择的待评估模型类型和/或模型应用业务场景，以及，预存的模型类型(和/或，模型应用业务场景)与评估指标的对应关系，确定用于评估的评估指标。

具体的，步骤b)包括：判断预先存储的模型类型(和/或，模型应用业务场景)与评估指标对应关系中是否存在所述待评估模型的模型类型(和/或，模型应用业务场景)；若存在，则获取与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估指标；若不存在，则输出指示未查找的提示信息，或者，显示自定义评估指标的提示信息，本发明对此不做具体限定。

c)根据当前获取的与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估指标，生成所述评估算子。

其中，所述评估算子包括评估指标和确定所述评估指标的计算方法。

数据分析处理系统中预置了各模型类型和/或模型应用业务场景对应的评估指标，例如，在对回归类模型进行评估时，数据分析处理系统基于模型类型，获取回归类模型对应的评估指标，如：均方误差、平均绝对误差、均方根误差等评估指标，数据分析处理系统基于这些评估指标生成评估算子。

本发明实施例中，通过判断数据分析处理系统中预先存储的模型类型(和/或，模型应用业务场景)与评估指标对应关系中是否存在所述待评估模型的模型类型(和/或，模型应用业务场景)，若存在，则可以通过直接调用或者编辑所述数据分析处理系统中与该待评估模型的模型类型和/或模型应用业务场景对应的评估指标，得到满足需求的评估指标，而无需用户自己输入评估算子的代码，实现了数据分析处理系统对用户的开放，满足用户的个性化需求，提高了评估效率。

进一步的，在生成所述评估算子之后，所述方法还包括在第一显示界面上显示所述评估算子。通过显示所述评估算子方便用户直观确定当前生成的评估算子是否满足自身需求，若不满足，则用户可以重新选择评估指标及计算所述评估指标的算法。

进一步的，本发明针对于数据分析处理系统根据当前获取的与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估指标，生成所述评估算子的实现，提供了以下可行实施思路：第一种是，基于获取与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估指标，选择一个或一个以上的评估指标，直接生成评估算子；另一种是，基于获取与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估指标，选择两个或两个以上的评估指标，基于选择的两个或两个以上的评估指标生成一个新的评估指标，从而在基于新的评估指标进一步得到评估算子。

具体的，基于上述第一种实施思路，根据当前获取的与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估指标，生成所述评估算子的步骤包括：

a)在第二用户界面上显示当前获取的与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估指标。其中，当前获取的与所述评估模型的模型类型和/或模型应用业务场景相对应的评估指标为所述数据分析处理系统根据所述模型类型和/或模型应用业务场景与评估指标对应关系和用户输入的模型类型和/或模型应用业务场景确定的评估指标。

b)根据用户在所述第二用户界面上输入的用于选择至少一个评估指标的第二选择操作，获取目标评估指标。其中，所述目标评估指标为用户在所述第二用户界面上显示的评估指标中选择的符合用户需求的评估指标。

c)根据所述目标评估指标，生成所述评估算子。

这里，需要强调的是，用户能够根据需求选择多个评估指标作为目标评估指标，如此，基于该目标评估指标生成的评估算子可以计算并输出多个评估指标。

具体的，基于上述第二种实施思路，所述根据当前获取的与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估指标，生成所述评估算子，包括：

a)在第三用户界面上显示当前获取的与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估指标。其中，当前获取的与所述评估模型的模型类型和/或模型应用业务场景相对应的评估指标为所述数据分析处理系统根据所述模型类型和/或模型应用业务场景与评估指标对应关系和用户输入的模型类型和/或模型应用业务场景确定的评估指标。

b)根据用户在所述第三用户界面上输入的用于选择两个或两个以上的评估指标的第三选择操作和用于配置所述两个或两个以上的评估指标之间的逻辑关系的配置操作，获取目标评估指标；

本步骤具体为：系统基于被评估的模型的类型和/或模型应用业务场景等推荐系统中预置的多个指标，用户从系统推荐的多个指标中选择两个或多于两个评估指标，并配置这些评估指标之间的逻辑关系，获得自定义的评估指标，进而得到自定义的评估算法。

如图2所示，图2为本发明提供第三用户界面的示意图，用户从第三用户界面中选择两个或多于两个已有指标，并从该第三用户界面选择逻辑运算单元，然后，基于选择的逻辑运算单元将各评估分析指标进行连接，将选择的评估指标进行加工运算，得到自定义的评估指标，例如：评估指标选择的是精确率和召回率，逻辑运算单元选择的是求调和平均数，将精确率和召回率进行求调和平均数得到新的评估指标，点击“保存”从而自动构成新的评估指标，进而，用户基于新的评估指标得到自定义的评估算子。

c)根据所述目标评估指标，生成所述评估算子。

该步骤的一个优选实施方式可以为：采用可视化的方式得到评估算子，具体为：用户选择一个或多个评估指标到用于生成评估算子的画布中，从而基于该画布中展示的评估指标得到评估算子；本实施方式中的画布可以为向用户展示的操作界面。

该步骤的另一个优选实时方式可以为：采用上述通过代码创建评估算子的方式得到所述评估算子。具体的，本发明实施例中在基于可视化的方式得到自定义的目标评估指标后，系统会获取自定义的目标评估指标的计算逻辑，并基于该计算逻辑自动生成该自定义的目标评估指标对应的代码，如此，在基于代码方式得到评估算子时，便可以基于输入该自定义评估指标的名称，自动调用相应代码，得到评估算子。

进一步的，在根据所述目标评估指标，生成所述评估算子时，可以直接基于新的评估指标得到评估算子；或者，还可以基于新的评估指标和用户选择的其他评估指标得到评估算子。

还需要说明的是，新生成的目标评估指标可以作为已有指标，存储在数据分析处理系统中，以便复用该模板模型评估指标。

进一步的，为了便于查找和使用该目标评估指标作为一个可选实施例，所述根据用户在所述第三用户界面上输入的用于选择两个或两个以上的评估指标的第三选择操作和用于配置所述两个或两个以上的评估指标之间的逻辑关系的配置操作，获取目标评估指标之后，所述方法还包括：

获取用户在第四用户界面上输入的指标名称；保存用户输入的所述指标名称。

具体的，用户在生成目标评估指标后，点击“保存”形成新的评估指标时，显示评估指标设置窗口，在设置窗孔中设置该评估指标的名称。

本实施例中，用户在自定义评估算子时，还可以对新定义的评估指标命名为有业务含义的名称，从而方便以后对模型评估时直接调用自定义的评估算子，并且从业务含义角度对评估指标进行命名，也便于理解评估指标的意义。

本发明采用上述实施例提供的生成评估算子的方案，实现了根据需要自定义评估算子，自定义评估算子包括自定义评估指标以及自定义评估指标的值的计算方法，并以算子的形式实现自定义评估，在评估算子内定义好评估指标和评估指标值的计算方法，利用计算方法产生评估结果，实现了根据不同业务场景、数据形式等信息，生成自定义评估指标(即：根据业务需求，确定自定义哪种指标比较好和使用哪种计算方法进行计算)，这样，实现了用户根据自身需求评估模型的优劣，使得用户根据评估结果直观的确定符合需求的最优模型，提高了评估效率。

进一步的，作为一个可选实施例，步骤S101，获取待评估模型的输出结果之前，所述方法还包括：

a)接收用户在第五用户界面上输入的数据集以及待评估模型；

具体的，作为一个具体实施例，本步骤中，用户可以在数据分析处理系统的第五用户界面上输入用于创建评估数据集的第三信息，其中，所述第三信息优选为运行所述待评估模型所用的评估数据集的数据文件名称及存储路径等，数据分析处理系统根据所述数据文件名称和存储路径等第三信息创建评估数据集，优选的，所述评估数据集为一映射表，通过设置所述映射表，实现了根据映射表直接调用用户提供的数据，避免了在运行所述待评估模型时根据所述存储路径读取数据，降低了数据分析处理系统的工作压力。

具体的，用户可以同时输入多个待评估模型，从而实现对多个待评估模型的同时运行，提高评估效率。

c)采用所述数据集运行所述待评估模型，生成所述输出结果。

在一个具体实施例，用户可以利用数据集和所述待评估模块创建一工作流，通过运行该工作流，实现采用数据集运行待评估模型，得到模型的输出结果。

进一步的，作为一个可选实施例，步骤S103，采用所述评估算子，对所述输出结果进行评估，获得评估结果之后，所述方法还包括：

根据用户在第六用户界面上输入的用于创建评估分析规则的第二信息，生成评估分析模块；

采用所述评估分析模块对所述评估结果进行分析，获得分析结果；

根据所述分析结果，确定目标模型。

本步骤中，根据所述第二信息生成所述评估分析模块，实现了个性化设置评估分析模块，使得评估结果与用户需求相匹配，方便用户快速确定各待评估模型的优劣。

本发明实施例为了确定被评估的模型是否满足上线条件，和/或，为确定已上线模型是否仍满足当前需求，上述模型评估工作流还可以包括：评估分析模块，该评估分析模块对评估算子模块输出的评估结果进行分析，得到分析结果，从而基于分析结果确定当前被评估的模型是否满足需求。

本发明实例中，根据所述第二信息生成所述评估分析模块具体为：可以基于业务需求和评估指标，在评估分析模块中自定义评估分析规则，从而依据该评估分析规则筛选出满足条件的模型。基于业务需求和评估指标生成评估分析规则可以为，在评估分析模块中，用户可以设置用于评估分析的指标，从而依据设置的用于评估分析的指标对所有模型排序，并选出在该指标下最好的模型。例如，假设预先设定用于评估分析的指标为F1分数，对多个待评估模型分别进行评估，得到各模型的各项评估指标后，评估分析模块依据该F1分数对各模型进行排序，从而筛选出最优模型；基于业务需求和评估指标生成评估分析规则还可以为在评估分析模块中，可以设置用于评估分析的指标，并设置多个用于评估分析的指标之间的逻辑连接关系，从而依据多个用于评估分析的指标和该多个指标之间的辑连接关系，得到评估分析规则。例如，可以设置多个用于评估分析的指标为准确率和召回率，并设置的多个用于评估分析的指标之间的逻辑连接关系为准确率大于85％且召回率大于70％，也即评估分析模型中自定义的评估分析规则为：准确率大于85％且召回率大于70％，对多个模型进行评估分析时，评估算子模块将各模型评估指标输入至评估分析模块，评估分析模块基于该自定义的评估分析规则，筛选出准确率大于85％且召回率大于70％的模型。

作为一个可选实施例，所述根据用户在第六用户界面上输入的用于创建评估分析规则的第二信息，生成评估分析模块，包括：

获取所述第二信息中的目标分析指标和预设分析条件；

根据所述目标分析指标和所述预设分析条件，生成所述评估分析模块。

具体的，例如：预设分析条件可以为如上所述的，对目标评估指标按升序排列多个待评估模型，按照准确率大于85％且召回率大于70％筛选待评估模型，还可以为：分别使多个目标评估指标与对应的权重相乘，然后求和，并根据求和结果对多个待评估模型进行筛选等等。

本发明实施例中，用户根据需求输入目标分析指标和分析条件，确定评估分析规则，实现了根据用户需求个性化设置评估分析规则，满足了用户的个性化需求，从而使获得的分析结果中的目标模型为满足用户需求的最优模型。

进一步的，作为一个可选实施例，对模型进行训练和评估，其目的是为了应用该模型，因此，在对模型进行评估之后，本发明提供的模型应用方法还包括：根据所述评估结果，应用所述待评估模型。

作为一个可选实施例，应用所述待评估模型，包括：

通过采用以下方式之一应用所述待评估模型：

提供应用所述待评估模型的应用程序接口；

获取数据文件，采用批处理方式，利用所述待评估模型对所述数据文件进行处理，输出处理结果；

导出与所述待评估模型对应的软件开发工具包；

导出与所述待评估模型对应的模型文件。

以下，对上述几种应用待评估模型的方式做进一步说明：

a)通过提供应用所述待评估模型的应用程序接口(Application ProgrammingInterface，简称：API)的方式提供在线模型服务(例如以rest方式)，通过该应用程序接口调用在线模型服务，以实现模型的应用。优选的是，该应用方式主要应用于实时调用服务场景。

在一实时数据处理场景下，模型部署在数据分析处理系统中，数据分析处理系统通过HTTP方式提供模型调用的接口，为其他系统提供在线模型服务。在该场景下，数据分析对外提供调用在线模型服务的API地址，其他系统(即第三方系统)可以通过向该API地址发送合法的请求数据获得输出结果。具体的，数据分析处理系统接收第三方系统发送的数据，然后利用该数据运行该模型，得到输出结果，并将输出结果返回给第三方系统。

b)通过获取数据文件，采用批处理方式，利用所述待评估模型对所述数据文件进行处理，输出处理结果。优选的是，该应用方式主要应用于适合批量(数据量较大)、非实时处理的场景。数据分析处理系统可以通过访问一些文件系统获取数据文件，或者，也可以通过用户输入的方式获取数据文件；在获得数据文件后，使用该数据文件中的数据运行模型，得到模型的输出结果，然后，将模型的输出结果返回至该文件系统，或者，显示在用户界面上。

在一离线数据处理场景下：数据分析处理系统访问指定文件系统(如其他系统的文件系统，包含最新的输入数据)，获取文件系统中的数据，并对这些数据进行处理。在数据分析处理系统中，可以通过数据处理工作流实现数据处理功能，该数据处理工作流至少包括：数据获取模块、模型模块。数据获取模块用于读取文件系统中最新的数据，并将数据发送给模型模块；模型模块用于利用数据运行模型并利用模型对数据进行处理得到模型的输出结果，然后，将模型的输出结果返回给该文件系统。另外，补充说明的是，为提高数据处理效率，在对数据进行处理时，可以采用并行处理方式对多条数据进行处理。该数据处理工作流可以周期性的运行，即可周期性的读取新的数据并进行批量处理。

需要说明的是，a)、b)两种方式中利用模型对数据处理的过程在数据分析处理系统内部完成。

c)导出与所述待评估模型对应的软件开发工具包：将模型导出为可在第三方系统支持的代码环境或框架环境等运行环境中(例如：Java/Hive/Spark环境)进行离线数据处理的开发工具包。优选的是，该应用方式应用于大批数据处理的场景中，如离线场景。

其中，上述软件开发工具包包括但不限于：SDK包，jar包等。

一具体场景中：将模型导出为一个jar包(软件包文件格式)，用户在自己的系统中导入该jar包，就可以应用该模型，如：在自己的系统中导入jar包，该模型当作一个函数，可以直接通过调用来实现模型应用。

d)导出与所述待评估模型对应的模型文件方式：把模型文件直接给用户，用户只要将模型文件加载到适当的运行环境中，同样可以实现预测的功能，该应用流程与导出软件开发工具包方式原理相同，本发明针对于该应用方式不再具体赘述。

作为另一个可选实施例，在所述应用所述待评估模型之前，所述方法还包括：

向预先设置的第三方系统推送提示消息；其中，所述提示消息包括：所述待评估模型的下载地址或所述待评估模型的模型文件。

用户在使用当前的模型时，可能会有新的“冠军”模型产生，为了提高用户的体验，确保用户采用所述待评估模型的输出结果更加准确，本发明实施例还支持消息订阅功能，可以接收到数据分析处理系统推送的模型消息，订阅方(第三方系统)可以基于该推送的模型消息了解数据分析处理系统中的模型情况。具体的：在有“冠军”模型产生时，数据分析处理系统则向订阅方推送模型消息，其中，在这个模型消息里，可以包含“冠军”模型的下载地址或直接包括模型文件。

可选的是，可以基于需求新建消息订阅，设置模型消息的推送地址和订阅名称，其中，模型消息的推送地址为接收该模型消息的第三方系统的地址。

如图3所示，本发明实施例提供了一种模型评估装置，所述装置包括：

本发明实施例还提供一种模型应用装置，包括：

第一获取模块301，用于获取待评估模型的输出结果；

第一生成模块302，用于根据用户在第一用户界面上输入的用于创建评估算子的第一信息，生成评估算子；

第二获取模块303，用于采用所述评估算子，对所述输出结果进行评估，获得评估结果。

本发明实施例的模型应用装置中，所述第一生成模块302包括：

显示子模块，用于在所述第一用户界面中显示评估算子模板；

第一生成子模块，用于根据用户在所述评估算子模板上输入的所述第一信息，生成所述评估算子。

本发明实施例的模型应用装置中，所述第一信息包括预定义指标名称，所述第一生成子模块包括：

第一获取单元，用于根据所述预定义指标名称，获取与所述预定义指标名称对应的指标运算逻辑代码；

第一生成单元，用于根据所述预定义指标名称和所述预定义指标名称对应的指标运算逻辑代码，生成所述评估算子。

本发明实施例的模型应用装置中，所述第一信息包括机器学习框架类型，所述第一生成子模块还包括：

第二获取单元，用于获取用户在所述评估算子模板中输入的机器学习框架类型；

所述第二获取单元，还用于基于所述机器学习框架类型，获取与所述机器学习框架类型对应的评估指标名称；

第三获取单元，用于根据用户输入的用于选择评估指标的第一选择操作，获取用户选择的目标评估指标名称；

调用单元，用于根据所述目标评估指标名称，调用与所述目标评估指标名称对应的指标运算逻辑代码；

第二生成单元，用于根据所述目标评估指标名称和与所述目标评估指标名称对应的指标运算逻辑代码，生成所述评估算子。

本发明实施例的模型应用装置中，若所述评估算子模板为构建评估算子对应的通用代码模板，所述通用代码模板包括：通用代码部分和处理逻辑代码部分；

所述第一生成子模块还包括：

第四获取单元，用于获取用户在所述处理逻辑代码部分输入的指标运算逻辑代码；

第三生成单元，用于根据所述通用代码部分的代码和所述指标运算逻辑代码，生成所述评估算子。

本发明实施例的模型应用装置中，所述第一生成子模块还包括：

第五获取单元，用于若所述评估算子模板为已有评估算子对应的代码，则在已有评估算子对应代码的基础上，编辑已有评估算子对应的处理逻辑部分的代码，得到代码更新后的评估算子；

其中，所述代码更新后的评估算子为根据所述第一信息生成的评估算子。

本发明实施例的模型应用装置中，所述第一生成模块302还包括：

第一获取子模块，用于在所述第一信息包括待评估模型的模型类型和/或模型应用业务场景时，基于所述待评估模型的模型类型和/或模型应用业务场景，获取与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估算子模板。

本发明实施例的模型应用装置中，所述第一生成模块302还包括：

第二获取子模块，用于获取用户在所述第一用户界面上输入的所述第一信息，其中，所述第一信息包括：所述待评估模型的模型类型和/或模型应用业务场景；

第三获取子模块，用于若基于预先存储的模型类型和/或模型应用业务场景与评估指标对应关系，获取与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估指标；

第二生成子模块，用于根据当前获取的与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估指标，生成所述评估算子。

本发明实施例的模型应用装置中，所述第二生成子模块包括：

第一显示单元，用于在第二用户界面上显示当前获取的与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估指标；

第六获取单元，用于根据用户在所述第二用户界面上输入的用于选择至少一个评估指标的第二选择操作，获取目标评估指标；

第四生成单元，用于根据所述目标评估指标，生成所述评估算子。

本发明实施例的模型应用装置中，所述第二生成子模块还包括：

第二显示单元，用于在第三用户界面上显示当前获取的与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估指标；

第七获取单元，用于根据用户在所述第三用户界面上输入的用于选择两个或两个以上的评估指标的第三选择操作和用于配置所述两个或两个以上的评估指标之间的逻辑关系的配置操作，获取目标评估指标；

第五生成单元，用于根据所述目标评估指标，生成所述评估算子。

本发明实施例的模型应用装置中，所述第二生成子模块还包括：

第八获取单元，用于获取用户在第四用户界面上输入的指标名称；

保存单元，用于保存用户输入的所述指标名称。

本发明实施例的模型应用装置还包括：

接收模块，用于接收用户在第五用户界面上输入的数据集以及待评估模型；

第二生成模块，用于采用所述数据集运行所述待评估模型，生成所述输出结果。

本发明实施例的模型应用装置还包括：

第三生成模块，用于根据用户在第六用户界面上输入的用于创建评估分析规则的第二信息，生成评估分析模块；

第三获取模块，用于采用所述评估分析模块对所述评估结果进行分析，获得分析结果；

确定模块，用于根据所述分析结果，确定目标模型。

本发明实施例的模型应用装置中，所述第三生成模块包括：

第四获取子模块，用于获取所述第二信息中的目标分析指标和预设分析条件；

第三生成子模块，用于根据所述目标分析指标和所述预设分析条件，生成所述评估评估分析模块。

本发明实施例的模型应用装置还包括：

应用模块，用于根据所述评估结果，应用所述待评估模型。

本发明实施例的模型应用装置中，所述应用模块具体用于：

通过采用以下方式之一应用所述待评估模型：

提供应用所述待评估模型的应用程序接口；

获取数据文件，采用批处理方式，利用所述待评估模型对所述数据文件进行处理，输出处理结果；

导出与所述待评估模型对应的软件开发工具包；

导出与所述待评估模型对应的模型文件。

本发明实施例的模型应用装置还包括：

推送模块，用于向预先设置的第三方系统推送提示消息；其中，所述提示消息包括：所述待评估模型的下载地址或所述待评估模型的模型文件。

本发明实施例还提供一种数据分析处理系统，包括如上所述的模型应用装置。

如图4所示，本发明实施例还提供一种数据分析处理系统40，包括处理器402、存储器401及存储在所述存储器401上并可在所述处理器402上运行的计算机程序，所述计算机程序被所述处理器402执行时实现如下步骤：

获取待评估模型的输出结果；

根据用户在第一用户界面上输入的用于创建评估算子的第一信息，生成评估算子；

采用所述评估算子，对所述输出结果进行评估，获得评估结果。

处理器401负责管理总线架构和通常的处理，存储器402可以存储处理器401在执行操作时所使用的数据。

可选的，所述计算机程序被所述处理器401执行时还可实现如下步骤：所述根据用户在第一用户界面上输入的用于创建评估算子的第一信息，生成评估算子，包括：

在所述第一用户界面中显示评估算子模板；

根据用户在所述评估算子模板上输入的所述第一信息，生成所述评估算子。

具体的，所述第一信息包括预定义指标名称，所述计算机程序被所述处理器401执行时还可实现如下步骤：所述根据用户在所述评估算子模板上输入的所述第一信息，生成所述评估算子，包括：

根据所述预定义指标名称，获取与所述预定义指标名称对应的指标运算逻辑代码；

根据所述预定义指标名称和所述预定义指标名称对应的指标运算逻辑代码，生成所述评估算子。

具体的，所述第一信息包括机器学习框架类型，所述计算机程序被所述处理器401执行时还可实现如下步骤：所述根据用户在所述评估算子模板上输入的所述第一信息，生成所述评估算子，包括：

获取用户在所述评估算子模板中输入的机器学习框架类型；

基于所述机器学习框架类型，获取与所述机器学习框架类型对应的评估指标名称；

根据用户输入的用于选择评估指标的第一选择操作，获取用户选择的目标评估指标名称；

根据所述目标评估指标名称，调用与所述目标评估指标名称对应的指标运算逻辑代码；

根据所述目标评估指标名称，调用与所述目标评估指标名称对应的指标运算逻辑代码；

根据所述目标评估指标平成和与所述目标评估指标名称对应的指标运算逻辑代码，生成所述评估算子。

具体的，若所述评估算子模板为构建评估算子对应的通用代码模板，所述通用代码模板包括：通用代码部分和处理逻辑代码部分；

所述计算机程序被所述处理器401执行时还可实现如下步骤：所述根据用户在所述评估算子模板上输入的所述第一信息，生成所述评估算子，包括：

获取用户在所述处理逻辑代码部分输入的指标运算逻辑代码；

根据所述通用代码部分的代码和所述指标运算逻辑代码，生成所述评估算子。

具体的，若所述评估算子模板为已有评估算子对应的代码；所述计算机程序被所述处理器401执行时还可实现如下步骤：

所述根据用户在所述评估算子模板上输入的所述第一信息，生成所述评估算子，包括：

在已有评估算子对应代码的基础上，编辑已有评估算子对应的处理逻辑部分的代码，得到代码更新后的评估算子；

其中，所述代码更新后的评估算子为根据所述第一信息生成的评估算子。

进一步的，所述计算机程序被所述处理器401执行时还可实现如下步骤：在所述第一用户界面中显示评估算子模板之前，所述方法还包括：

在所述第一信息包括待评估模型的模型类型和/或模型应用业务场景时，基于所述待评估模型的模型类型和/或模型应用业务场景，获取与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估算子模板。

可选的，所述计算机程序被所述处理器401执行时还可实现如下步骤：根据用户在第一用户界面上输入的用于创建评估算子的第一信息，生成评估算子的步骤包括：

获取用户在所述第一用户界面上输入的所述第一信息，其中，所述第一信息包括：所述待评估模型的模型类型和/或模型应用业务场景；

基于预先存储的模型类型和/或模型应用业务场景与评估指标对应关系，获取与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估指标；

根据当前获取的与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估指标，生成所述评估算子。

具体的，所述计算机程序被所述处理器401执行时还可实现如下步骤：所述根据当前获取的与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估指标，生成所述评估算子，包括：

在第二用户界面上显示当前获取的与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估指标；

根据用户在所述第二用户界面上输入的用于选择至少一个评估指标的第二选择操作，获取目标评估指标；

根据所述目标评估指标，生成所述评估算子。

具体的，所述计算机程序被所述处理器401执行时还可实现如下步骤：所述根据当前获取的与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估指标，生成所述评估算子，包括：

在第三用户界面上显示当前获取的与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估指标；

根据用户在所述第三用户界面上输入的用于选择两个或两个以上的评估指标的第三选择操作和用于配置所述两个或两个以上的评估指标之间的逻辑关系的配置操作，获取目标评估指标；

根据所述目标评估指标，生成所述评估算子。

进一步的，所述计算机程序被所述处理器401执行时还可实现如下步骤：所述根据用户在所述第三用户界面上输入的用于选择两个或两个以上的评估指标的第三选择操作和用于配置所述两个或两个以上的评估指标之间的逻辑关系的配置操作，获取目标评估指标之后，所述方法还包括：

获取用户在第四用户界面上输入的指标名称；

保存用户输入的所述指标名称。

进一步的，所述计算机程序被所述处理器401执行时还可实现如下步骤：所述获取待评估模型的输出结果之前，所述方法还包括：

接收用户在第五用户界面上输入的数据集以及待评估模型；

采用所述数据集运行所述待评估模型，生成所述输出结果。

进一步的，所述计算机程序被所述处理器401执行时还可实现如下步骤：所述采用所述评估算子，对所述输出结果进行评估，获得评估结果之后，所述方法还包括：

根据用户在第六用户界面上输入的用于创建评估分析规则的第二信息，生成评估分析模块；

采用所述评估分析模块对所述评估结果进行分析，获得分析结果；

根据所述分析结果，确定目标模型。

可选的，所述计算机程序被所述处理器401执行时还可实现如下步骤：所述根据用户在第六用户界面上输入的用于创建评估分析规则的第二信息，生成评估分析模块，包括：

获取所述第二信息中的目标分析指标和预设分析条件；

根据所述目标分析指标和所述预设分析条件，生成所述评估评估分析模块。

进一步的，所述计算机程序被所述处理器401执行时还可实现如下步骤：所述方法还包括：

根据所述评估结果，应用所述待评估模型。

具体的，所述计算机程序被所述处理器401执行时还可实现如下步骤：所述根据所述评估结果，应用所述待评估模型，包括：

通过采用以下方式之一应用所述待评估模型：

提供应用所述待评估模型的应用程序接口；

获取数据文件，采用批处理方式，利用所述待评估模型对所述数据文件进行处理，输出处理结果；

导出与所述待评估模型对应的软件开发工具包；

导出与所述待评估模型对应的模型文件。

进一步的，所述计算机程序被所述处理器401执行时还可实现如下步骤：在所述应用所述待评估模型之前，所述方法还包括：

向预先设置的第三方系统推送提示消息；其中，所述提示消息包括：所述待评估模型的下载地址或所述待评估模型的模型文件。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述模型应用方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种模型应用方法，其特征在于，包括：

获取待评估模型的输出结果；

根据用户在第一用户界面上输入的用于创建评估算子的第一信息，生成评估算子；

采用所述评估算子，对所述输出结果进行评估，获得评估结果。

2.根据权利要求1所述的模型应用方法，其特征在于，所述根据用户在第一用户界面上输入的用于创建评估算子的第一信息，生成评估算子，包括：

在所述第一用户界面中显示评估算子模板；

根据用户在所述评估算子模板上输入的所述第一信息，生成所述评估算子。

3.根据权利要求2所述的模型应用方法，其特征在于，所述第一信息包括机器学习框架类型，所述根据用户在所述评估算子模板上输入的所述第一信息，生成所述评估算子，包括：

获取用户在所述评估算子模板中输入的机器学习框架类型；

基于所述机器学习框架类型，获取与所述机器学习框架类型对应的评估指标名称；

根据用户输入的用于选择评估指标的第一选择操作，获取用户选择的目标评估指标名称；

根据所述目标评估指标名称，调用与所述目标评估指标名称对应的指标运算逻辑代码；

根据所述目标评估指标名称和与所述目标评估指标名称对应的指标运算逻辑代码，生成所述评估算子。

4.根据权利要求1所述的模型应用方法，其特征在于，根据用户在第一用户界面上输入的用于创建评估算子的第一信息，生成评估算子的步骤包括：

获取用户在所述第一用户界面上输入的所述第一信息，其中，所述第一信息包括：所述待评估模型的模型类型和/或模型应用业务场景；

基于预先存储的模型类型和/或模型应用业务场景与评估指标对应关系，获取与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估指标；

根据当前获取的与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估指标，生成所述评估算子。

5.根据权利要求4所述的模型应用方法，其特征在于，所述根据当前获取的与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估指标，生成所述评估算子，包括：

在第三用户界面上显示当前获取的与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估指标；

根据用户在所述第三用户界面上输入的用于选择两个或两个以上的评估指标的第三选择操作和用于配置所述两个或两个以上的评估指标之间的逻辑关系的配置操作，获取目标评估指标；

根据所述目标评估指标，生成所述评估算子。

6.一种模型应用装置，其特征在于，包括：

第一获取模块，用于获取待评估模型的输出结果；

第一生成模块，用于根据用户在第一用户界面上输入的用于创建评估算子的第一信息，生成评估算子；

第二获取模块，用于采用所述评估算子，对所述输出结果进行评估，获得评估结果。

7.根据权利要求6所述的模型应用装置，其特征在于，所述第一生成模块包括：

显示子模块，用于在所述第一用户界面中显示评估算子模板；

第一生成子模块，用于根据用户在所述评估算子模板上输入的所述第一信息，生成所述评估算子。

8.根据权利要求7所述的模型应用装置，其特征在于，所述第一信息包括机器学习框架类型，所述第一生成子模块还包括：

第二获取单元，用于获取用户在所述评估算子模板中输入的机器学习框架类型；

所述第二获取单元，还用于基于所述机器学习框架类型，获取与所述机器学习框架类型对应的评估指标名称；

第三获取单元，用于根据用户输入的用于选择评估指标的第一选择操作，获取用户选择的目标评估指标名称；

调用单元，用于根据所述目标评估指标名称，调用与所述目标评估指标名称对应的指标运算逻辑代码；

第二生成单元，用于根据所述目标评估指标名称和与所述目标评估指标名称对应的指标运算逻辑代码，生成所述评估算子。

9.根据权利要求6所述的模型应用装置，其特征在于，所述第一生成模块还包括：

第二获取子模块，用于获取用户在所述第一用户界面上输入的所述第一信息，其中，所述第一信息包括：所述待评估模型的模型类型和/或模型应用业务场景；

第三获取子模块，用于基于预先存储的模型类型和/或模型应用业务场景与评估指标对应关系，获取与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估指标；

第二生成子模块，用于根据当前获取的与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估指标，生成所述评估算子。

10.根据权利要求9所述的模型应用装置，其特征在于，所述第二生成子模块还包括：

第二显示单元，用于在第三用户界面上显示当前获取的与所述待评估模型的模型类型和/或模型应用业务场景相对应的评估指标；

第七获取单元，用于根据用户在所述第三用户界面上输入的用于选择两个或两个以上的评估指标的第三选择操作和用于配置所述两个或两个以上的评估指标之间的逻辑关系的配置操作，获取目标评估指标；

第五生成单元，用于根据所述目标评估指标，生成所述评估算子。

Images