CN111523676A - 辅助机器学习模型上线的方法及装置 - Google Patents

Abstract

公开了一种辅助机器学习模型上线的方法及装置。获取线下训练机器学习模型得到的模型文件；对所述模型文件进行解析，确定模型训练过程使用的训练数据表；在线上数据库中创建与所述训练数据表的表信息一致的线上数据表；将至少部分线下数据导入所述线上数据表。由此，在将离线训练的机器学习模型部署到线上时，利用本发明可以实现线上数据冷启动，为模型上线提供支持。

Description

辅助机器学习模型上线的方法及装置

技术领域

本发明总体说来涉及人工智能领域，更具体地说，涉及一种辅助机器学习模型上线的方法及装置。

背景技术

机器学习是人工智能研究发展到一定阶段的必然产物，其致力于通过计算的手段，利用经验来改善系统自身的性能。在计算机系统中，“经验”通常以“数据”形式存在，通过机器学习算法，可从数据中产生“模型”，也就是说，将经验数据提供给机器学习算法，就能基于这些经验数据产生模型，在面对新的情况时，模型会提供相应的判断，即，预测结果。

目前机器学习应用场景大多是离线场景，比如营销名单产出、事后行为追踪等。在离线场景中，用户实际发生行为的时间要提前于当前模型预估决策的时间，使得这一时间间隔内发生的行为变化将无法被感知，模型预估效果会产生损失。

而随着业务迭代和决策节奏的加快，市场对于数据的时效价值越发关注，将机器学习模型上线以对线上数据进行实时预测，也就显得尤为重要。

发明内容

本发明的示例性实施例旨在提供一种机器学习模型上线的辅助方案，以为机器学习模型的上线提供支持。

根据本发明的第一个方面，提出了一种辅助机器学习模型上线的方法，包括：获取线下训练机器学习模型得到的模型文件；对模型文件进行解析，确定模型训练过程使用的训练数据表；在线上数据库中创建与训练数据表的表信息一致的线上数据表；将至少部分线下数据导入线上数据表。

可选地，确定模型训练过程使用的训练数据表的步骤包括：通过对模型文件进行解析，得到模型训练过程信息；根据模型训练过程信息，将特征处理步骤对应的输入表作为模型训练过程使用的训练数据表。

可选地，模型训练过程信息包括以下至少一项：模型训练过程中的处理节点、处理节点对应的输入表和/或输出表。

可选地，特征处理步骤包括字段名和针对字段名的特征处理方法，该方法还包括：根据特征处理步骤涉及的字段名，在线上数据库中以字段名为键存储线上数据表中的数据。

可选地，该方法还包括：通过对模型文件进行解析，确定特征处理步骤针对的数据范围，其中，将至少部分线下数据导入线上数据表的步骤包括：将对应于数据范围的线下数据导入线上数据表。

可选地，该方法还包括：部署用于实现机器学习模型的预测功能的预上线预测服务；利用预上线预测服务对待预测数据进行预测得到第一预测结果；在线下环境中对待预测数据进行预测得到第二预测结果；比较第一预测结果和第二预测结果；根据第一预测结果和第二预测结果之间的差异，确定是否上线预上线预测服务。

可选地，在线下环境中对待预测数据进行预测得到第二预测结果的步骤包括：通过对模型文件进行解析，确定下游执行算子和模型预测算子，下游执行算子用于表征待预测数据在模型预测之前需要执行的操作；将待预测数据输入下游执行算子；将下游执行算子的输出输入模型预测算子，模型预测算子的输出即为对待预测数据进行预测得到的第二预测结果。

可选地，该方法还包括：向用户提供用于设置线上预测服务的图形界面；接收用户通过图形界面选择的预上线预测服务；其中，获取线下训练机器学习模型得到的模型文件的步骤包括：获取服务器端存储的与预上线预测服务对应的模型文件；并且/或者接收用户上传的模型文件。

可选地，该方法还包括：在图形界面中展示模型效果；并且/或者在图形界面中展示线上数据表。

可选地，该方法还包括：在图形界面中展示向用户推荐的资源配置信息；并且/或者接收用户通过图形界面设置的资源配置信息。

可选地，该方法还包括：在设置完成后，校验预上线预测服务的当前环境是否满足上线要求。

可选地，该方法还包括：在当前环境满足上线要求的情况下，校验预上线预测服务的预测性能与线下环境中机器学习模型的预测性能是否一致；在预上线预测服务的预测性能与线下环境中机器学习模型的预测性能一致或基本一致的情况下，将预上线预测服务转为线上预测服务。

可选地，校验预上线预测服务的预测性能与线下环境中机器学习模型的预测性能是否一致的步骤包括：获取用户指定的样例数据以及输出字段；启动用于模拟线下运行环境的离线预估任务和用于模拟线上运行环境的模拟预估任务，分别对样例数据进行预测；比较离线预估任务和模拟预估任务针对输出字段的输出结果是否一致。

可选地，该方法还包括：向用户提供服务详情页，服务详情页用于展示预上线预测服务的以下至少一项服务信息：基本参数、模型参数、一致性校验结果、服务状态信息。

可选地，基本参数包括以下至少一项：服务名称、服务类型、运行状态、部署时间、运行时间、资源参数；并且/或者模型参数包括以下至少一项：模型名称、模型类型、模型准确率、对数损失值；并且/或者一致性校验结果包括一条或多条预测数据分别在线上环境中的预测结果和线下环境中的打分结果；并且/或者服务状态信息包括以下至少一项：性能指标、日志信息和运行状态监控信息。

可选地，该方法还包括：在将预上线预测服务转为线上预测服务的情况下，向用户提供线上预测服务的服务地址，并且/或者向用户展示一条或多条预测数据的线上预测结果。

可选地，该方法还包括：接收用户对预测数据中一个或多个字段值的修改；以及展示修改后的预测数据的线上预测结果。

根据本发明的第二个方面，还提出了一种辅助机器学习模型上线的装置，包括：获取模块，用于获取线下训练机器学习模型得到的模型文件；第一确定模块，用于对模型文件进行解析，确定模型训练过程使用的训练数据表；创建模块，用于在线上数据库中创建与训练数据表的表信息一致的线上数据表；导入模块，用于将至少部分线下数据导入线上数据表。

可选地，第一确定模块用于：通过对模型文件进行解析，得到模型训练过程信息；根据模型训练过程信息，将特征处理步骤对应的输入表作为模型训练过程使用的训练数据表。

可选地，模型训练过程信息包括以下至少一项：模型训练过程中的处理节点、处理节点对应的输入表和/或输出表。

可选地，特征处理步骤包括字段名和针对字段名的特征处理方法，该装置还包括：存储模块，用于根据特征处理步骤涉及的字段名，在线上数据库中以字段名为键存储线上数据表中的数据。

可选地，该装置还包括：第二确定模块，用于通过对模型文件进行解析，确定特征处理步骤针对的数据范围，其中，导入模块将对应于数据范围的线下数据导入线上数据表。

可选地，该装置还包括：部署模块，用于部署用于实现机器学习模型的预测功能的预上线预测服务；第一预测模块，用于利用预上线预测服务对待预测数据进行预测得到第一预测结果；第二预测模块，用于在线下环境中对待预测数据进行预测得到第二预测结果；比较模块，用于比较第一预测结果和第二预测结果；第一上线模块，用于根据第一预测结果和第二预测结果之间的差异，确定是否上线预上线预测服务。

可选地，第二预测模块用于：通过对模型文件进行解析，确定下游执行算子和模型预测算子，下游执行算子用于表征待预测数据在模型预测之前需要执行的操作；将待预测数据输入下游执行算子；将下游执行算子的输出输入模型预测算子，模型预测算子的输出即为对待预测数据进行预测得到的第二预测结果。

可选地，该装置还包括：呈现模块，用于向用户提供用于设置线上预测服务的图形界面；接收模块，用于接收用户通过图形界面选择的预上线预测服务；其中，获取模块用于：获取服务器端存储的与预上线预测服务对应的模型文件；并且/或者接收用户上传的模型文件。

可选地，呈现模块还在图形界面中展示模型效果；并且/或者呈现模块还在图形界面中展示线上数据表。

可选地，呈现模块还在图形界面中展示向用户推荐的资源配置信息；并且/或者接收模块还接收用户通过图形界面设置的资源配置信息。

可选地，该装置还包括：第一校验模块，用于在预上线预测服务设置完成后，校验预上线预测服务的当前环境是否满足上线要求。

可选地，该装置还包括：第二校验模块，用于在当前环境满足上线要求的情况下，校验预上线预测服务的预测性能与线下环境中机器学习模型的预测性能是否一致；第二上线模块，用于在预上线预测服务的预测性能与线下环境中机器学习模型的预测性能一致或基本一致的情况下，将预上线预测服务转为线上预测服务。

可选地，第二校验模块用于：获取用户指定的样例数据以及输出字段；启动用于模拟线下运行环境的离线预估任务和用于模拟线上运行环境的模拟预估任务，分别对样例数据进行预测；比较离线预估任务和模拟预估任务针对输出字段的输出结果是否一致。

可选地，呈现模块还向用户提供服务详情页，服务详情页用于展示线上预测服务的以下至少一项服务信息：基本参数、模型参数、一致性校验结果、服务状态信息。

可选地，基本参数包括以下至少一项：服务名称、服务类型、运行状态、部署时间、运行时间、资源参数；并且/或者模型参数包括以下至少一项：模型名称、模型类型、模型准确率、对数损失值；并且/或者一致性校验结果包括一条或多条预测数据分别在线上环境中的预测结果和线下环境中的打分结果；并且/或者服务状态信息包括以下至少一项：性能指标、日志信息和运行状态监控信息。

可选地，该装置还包括：提供模块，用于在将预上线预测服务转为线上预测服务的情况下，向用户提供线上预测服务的服务地址，并且/或者向用户展示一条或多条预测数据的线上预测结果。

可选地，接收模块还接收用户对预测数据中一个或多个字段值的修改；呈现模块还展示修改后的预测数据的线上预测结果。

根据本发明的第三个方面，还提出了一种包括至少一个计算装置和至少一个存储指令的存储装置的系统，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行如本发明第一个方面所述的方法。

根据本发明的第四个方面，还提出了一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行如本发明第一个方面所述的方法。

在根据本发明示例性实施例的辅助机器学习模型上线的方法及装置中，通过解析模型文件，创建与训练数据表的表信息一致的线上数据表，并将一定时间范围的离线训练数据导入创建的线上数据表，可以实现线上数据冷启动，为模型上线提供支持。

附图说明

从下面结合附图对本发明实施例的详细描述中，本发明的这些和/或其他方面和优点将变得更加清楚并更容易理解，其中：

图1示出了根据本发明示例性实施例的辅助机器学习模型上线的方法的流程图；

图2示出了一种模型训练过程的DAG(有向无环图)；

图3示出了模型文件携带的部分信息示意图

图4示出了向用户展示的图形界面的示意图；

图5示出了向用户展示的服务详情页的示意图；

图6示出了一致性校验过程的示意图；

图7示出了模型上线流程示意性图；

图8示出了根据本发明示例性实施例的辅助机器学习模型上线的装置的结构框图。

具体实施方式

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明的示例性实施例作进一步详细说明。

图1示出了根据本发明示例性实施例的辅助机器学习模型上线的方法的流程图。图1所示的方法可完全通过计算机程序以软件方式实现，还可通过特定配置的计算装置来执行图1所示的方法。

参见图1，在步骤S110，获取线下训练机器学习模型得到的模型文件。

线下训练机器学习模型得到的模型文件，也即在离线环境中进行模型训练所得到的模型文件。机器学习模型的训练过程不是本发明的侧重点，不再赘述。模型文件中可以包括但不限于模型结构信息、训练过程配置信息等与模型训练相关的信息。

在步骤S120，对模型文件进行解析，确定模型训练过程使用的训练数据表。训练数据表是指模型训练过程中的特征处理步骤所对应的输入表，也即特征处理前的输入表。一般来说，在进行特征处理前会对原始的数据表执行预处理操作，以使得经过预处理后的数据表为符合训练需求的数据表。其中，训练数据表就是指经过预处理后的用于进行特征处理的输入表。

可以通过对模型文件进行解析，得到模型训练过程信息，并根据模型训练过程信息，将特征处理步骤对应的输入表作为模型训练过程使用的训练数据表。模型训练过程信息可以包括但不限于模型训练过程中的处理节点、处理节点对应的输入表和/或输出表中的一项或多项。其中，处理节点可以视为模型训练过程中某个特定的机器学习步骤，处理节点处还可以包括对应的处理方法，处理方法可以是但不限于处理脚本或算子。

作为示例，模型文件中可以包括特征处理脚本(如特征构建脚本)。特征处理脚本可以是基于特定描述语言编写的。本发明可以通过对特征处理脚本进行解析，确定训练数据表。关于特征处理脚本的具体结构本发明不做限定。

图2示出了一种模型训练过程的DAG(有向无环图)。如图2所示，DAG包括数据表A、数据表B、数据预处理、特征处理、特征签名、模型训练。其中，数据表A并不直接进行特征处理，而是需要经过数据预处理，因此数据表A不满足训练数据表的定义。

作为示例，按照图2所示的DAG进行训练最终产出的模型文件可以携带图3所示的信息。本发明可以通过对模型文件进行解析，获取图3所示信息。其中图3所示的信息展示了算子节点(即上文述及的处理节点)之间的关系、算子节点的输入表和/或输出表、特征处理脚本等内容。本发明可以根据上述内容从中筛选出特征处理前的输入表(即训练数据表)，例如可以将对数据表A进行预处理后得到的输入表以及数据表B作为训练数据表，并获取训练数据表的组织结构(schema)以及表名等表信息。

在步骤S130，在线上数据库中创建与训练数据表的表信息一致的线上数据表。表信息可以是指训练数据表的组织结构(schema)以及表名等信息，如可以包括但不限于训练数据表中的字段名、字段类型等信息。在创建好线上数据表后，线上实时生成的数据(也即线上数据)就可以导入线上数据表。

线上数据库是指用于存储线上数据的数据库。线上数据库可以采用KV存储数据库(比如Redis或其他实时特征存储引擎RtiDB等)，以保证读写高性能、数据高可用等要求。并且在线上数据库中存储数据时需要结合特征构建的逻辑设置合理的key键值，比如特征构建的时候采用以name字段为key进行特征计算，那么创建线上数据表的时候需要设置name为存储key键值。

为此本发明还可以根据对模型文件进行解析时所确定的特征处理步骤涉及的字段名，在线上数据库中以字段名为键存储线上数据表中的数据，以确保线上数据读写高性能。即，对模型文件进行解析所确定的特征处理步骤还可以包括字段名和针对字段名的特征处理方法，本发明可以根据特征处理步骤涉及的字段名，在线上数据库中以字段名为键存储线上数据表中的数据。

在步骤S140，将至少部分线下数据导入线上数据表。

考虑到线上数据存在冷启动，即初始时刻线上数据表中可能没有足够用于进行模型预测的线上数据。在创建好线上数据表后，还可以将至少部分线下数据导入线上数据表，以解决数据冷启动问题。

考虑到线上数据库往往会采用内存存储的方式，若存储过多的数据会消耗机器资源以及线上性能。本发明还可以通过对模型文件进行解析，确定特征处理步骤针对的数据范围，并将对应于所确定的数据范围的线下数据导入线上数据表。例如，特征构建最大的时间区间是30天，那么只需要保证将数据范围为30天的线下数据导入线上数据表。由此在解决数据冷启动问题的同时，可以降低线上数据库的存储压力，降低资源成本。可选地，可以支持用户自定义导入数据，提供一定的灵活性以切合实际场景。

本发明通过解析模型文件，创建与训练数据表的表信息一致的线上数据表，并将一定时间范围的离线训练数据导入创建的线上数据表，可以实现线上数据冷启动，为模型上线提供支持。并且对于用户而言，只需要启动线上数据创建流程，选择期望上线的模型文件，后续可以由系统自动解析模型文件，创建相关线上数据表后自动将离线数据导入其中，从而可以减少用户手动创表、导表失败的情况发生。

在创建好线上数据表后，还可以部署用于实现机器学习模型的预测功能(也即线上预测功能)的预上线预测服务。并且在将预上线预测服务上线前，还可以对预上线预测服务的预测效果进行一致性校验，以确保预上线预测服务的可靠性。其中，一致性校验是指对预上线预测服务的线上预测结果与线下环境中的线下预测结果的一致性进行校验。

作为示例，可以利用预上线预测服务对待预测数据进行预测得到第一预测结果；在线下环境中对待预测数据进行预测得到第二预测结果；比较第一预测结果和第二预测结果；根据第一预测结果和第二预测结果之间的差异，确定是否上线预上线预测服务。若第一预测结果和第二预测结果之间的差异大于第一阈值，表明预上线预测服务的在线预测效果较差，可以对预上线预测服务进行修正，在修正后再次进行一致性校验；若第一预测结果和第二预测结果之间的差异小于第二阈值，表明预上线预测服务的线上预测效果与线下预测效果一致，可以将预上线预测服务部署到线上。其中，第一阈值大于等于第二阈值。待预测数据可以是用户指定的样例数据，也可以是线上数据库中的数据，还可以是其他来源的数据，对此本发明不做限定。

在线下环境中对待预测数据进行预测，也即利用线下训练得到的机器学习模型在线下环境中对待预测数据进行预测。作为示例，可以通过对模型文件进行解析，确定下游执行算子和模型预测算子，下游执行算子用于表征待预测数据在模型预测之前需要执行的操作；将待预测数据输入下游执行算子；将下游执行算子的输出输入模型预测算子，模型预测算子的输出即为对待预测数据进行预测得到的第二预测结果。

将机器学习模型应用于线上预测，可以处理实时请求数据，提高模型预估效果，但模型上线成本较高，在实际运用过程中需要较多定制化开发。本发明提出的辅助机器学习模型上线的方法，可以实现线上数据冷启动、模型上线评估校验，为机器学习模型的上线提供支持。

本发明的辅助机器学习模型上线的方法可以由用于实现机器学习相关业务的机器学习平台执行。机器学习平台可以通过可视化的方式为用户提供模型上线服务。例如，可以由机器学习平台向用户提供用于设置线上预测服务的图形界面，并接收用户通过图形界面选择的预上线预测服务。其中，机器学习平台可以向用户提供多个可供选择的预上线预测服务，每个预上线预测服务具有对应的模型文件，模型文件可以存储在后台服务端，可以根据用户选择的预上线预测服务，获取服务器端存储的与预上线预测服务对应的模型文件。另外用户也可以在选择预上线预测服务时，向机器学习平台上传模型文件。机器学习平台可以基于模型文件，通过执行上文结合图1所示的方法，实现线上数据冷启动、模型上线评估校验，为机器学习模型的上线提供支持。

图4示出了向用户展示的图形界面的示意图。

图4中示出的预上线应用即为上文述及的预上线预测服务。如图4所示，还可以在图形界面中展示模型效果；并且/或者还可以在图形界面中展示创建好的线上数据表(即图中示出的线上动态表)。其中，模型效果可以包括但不限于准确率、损失函数等模型评价指标。

可以向用户提供是否模拟上线的选项，用户可以根据需求选择是否模拟上线。若选择直接上线，也需要模块配置并进行环境校验，但不会做后续的一致性校验，如此将难以确保线上预测效果的可靠性，若出现不一致问题，反向定位成本高，因此建议用户选择模拟上线。此外用户在部署服务过程中，可以查看所含模型效果、对应线上数据表的存在情况，以辅助用户判断是否需要进行模拟上线应用部署(比如效果差、线上数据表异常，用户可以取消部署，避免资源浪费)。

还可以在图形界面中展示向用户推荐的资源配置信息；并且/或者还可以接收用户通过图形界面设置的资源配置信息。例如可以为用户提供“启用系统推荐”和“自定义资源参数”两个选择项，当用户选中“启用系统推荐”时，可以使用系统推荐的资源配置，当用户选中“自定义资源参数”时，可以接收用户输入的资源配置。

在设置完成后，可以启动环境校验，校验预上线预测服务的当前环境是否满足上线要求。此处述及的校验可以包括但不限于校验线上数据库是否可用、线上数据是否冷启动等。

若当前环境不满足上线要求，可以定位并修正问题。

若当前环境满足上线要求，可以完成预上线预测服务的部署，并向用户提供服务详情页。服务详情页可以用于展示预上线预测服务的以下至少一项服务信息：基本参数、模型参数、一致性校验结果、服务状态信息。其中，基本参数可以包括但不限于以下至少一项：服务名称、服务类型、运行状态、部署时间、运行时间、资源参数；并且/或者模型参数可以包括但不限于以下至少一项：模型名称、模型类型、模型准确率、对数损失值；并且/或者一致性校验结果可以包括但不限于一条或多条预测数据分别在线上环境中的预测结果和线下环境中的打分结果；并且/或者服务状态信息可以包括但不限于以下至少一项：性能指标、日志信息和运行状态监控信息。

图5示出了向用户展示的服务详情页的示意图。

如图5所示，服务详情页面中可以呈现当前服务的基本参数、模块参数(包括所含模型、线上数据库)、一致性校验、服务状态(包括性能指标、日志和资源)等。其中，一致性校验是指进一步校验预上线预测服务的预测性能与线下环境中机器学习模型的预测性能是否一致；在预上线预测服务的预测性能与线下环境中机器学习模型的预测性能一致或基本一致的情况下，可以将预上线预测服务转为线上预测服务。

校验预上线预测服务的预测性能与线下环境中机器学习模型的预测性能是否一致的实现过程可以参见上文相关描述。作为示例，可以将模型自带样例数据作为待预测数据，也可以获取用户上传的样例数据，将用户指定的样例数据作为待预测数据。其中，用户还可以指定输出字段。然后可以启动用于模拟线下运行环境的离线预估任务和用于模拟线上运行环境的模拟预估任务，分别对样例数据进行预测。最后可以比较离线预估任务和模拟预估任务针对输出字段的输出结果是否一致。

图6示出了一致性校验过程的示意图。

如图6所示，可以在页面中呈现针对输出字段的离线预估结果和模拟预估结果。其中，离线预估服务和模拟预估服务的结果均会通过表格的方式呈现，用户可以点击“结果一致性校验”按钮对比两者结果，并呈现不一致的结果，也可以通过人工逐条对比，若结果满足用户期望(完全相同或者存在可容忍的偏差)，表明该预上线预测服务满足上线要求，可以部署到线上。

在将预上线预测服务转为线上预测服务的情况下，还可以向用户提供线上预测服务的服务地址(如API服务地址)，并且/或者向用户展示一条或多条预测数据的线上预测结果。在向用户展示一条或多条预测数据的线上预测结果的情况下，还可以接收用户对预测数据中一个或多个字段值的修改，并展示修改后的预测数据的线上预测结果。其中，预测数据可以是线上实时生成的数据。

综上，本发明可以实现为一套模型上线流程，包括线上数据冷启动、模拟上线及应用上线，整个流程中可以通过可视化页面进行引导，降低用户操作成本。模拟上线是指在应用上线前进行环境校验及一致性校验，当满足系统约定的校验条件后，该应用支持直接部署上线。环境校验包括校验线上数据库是否可用、线上数据是否冷启动等，一致性校验则包括获取样例数据、针对样例数据进行离线预估打分、针对样例数据进行模拟预估打分、校验打分结果是否一致。

图7示出了模型上线流程示意性图。其中，线上数据冷启动和模拟上线作为本发明的要点已在上文做了详细描述，其他相关模块作为默认的组件能力不做详细描述。

如图7所示，用户可以在离线环境下进行模型训练，产出模型文件。当用户需要针对当前训练的模型部署实时应用上线时，可以进入应用管理页面创建实时预估应用模板，并选择当前训练的模型信息，应用模板会自动解析模型文件，获取模型训练过程中需要的数据表信息和特征构建脚本。

可以由页面引导用户根据解析结果进行线上数据冷启动，包括数据表创建和导数，相关流程会在数据管理页面统一进行。接着，用户需要配置补充补充信息，比如资源信息、日志信息等，然后将实时预估应用模块打包成预上线应用，并进入模拟上线流程。在模拟上线流程中，系统会自动校验当前环境是否满足上线要求，包括线上数据库是否可用、线上数据是否冷启动，然后用户可以自定义样例数据或选择系统提供的样例数据，分别进行离线模型的预估打分和预上线模型的模拟打分，通过对比两者数据是否一致来判定当前预上线应用是否满足上线要求，若满足用户可以直接进行上线，产生上线应用并提供外部可调用的API，从而完成全流程。关于模型上线流程的实现细节可以参见上文相关描述，此处不再赘述。

本发明的辅助机器学习模型上线的方法，还可以实现为一种用于创建机器学习方案模板的装置。图8示出了根据本发明示例性实施例的辅助机器学习模型上线的装置的结构框图。其中，辅助机器学习模型上线的装置的功能单元可以由实现本发明原理的硬件、软件或硬件和软件的结合来实现。本领域技术人员可以理解的是，图8所描述的功能单元可以组合起来或者划分成子单元，从而实现上述发明的原理。因此，本文的描述可以支持对本文描述的功能单元的任何可能的组合、或者划分、或者更进一步的限定。

下面就辅助机器学习模型上线的装置可以具有的功能单元以及各功能单元可以执行的操作做简要说明，对于其中涉及的细节部分可以参见上文相关描述，这里不再赘述。

参见图8，辅助机器学习模型上线的装置800包括获取模块810、第一确定模块820、创建模块830以及导入模块840。

获取模块810用于获取线下训练机器学习模型得到的模型文件。

第一确定模块820用于对模型文件进行解析，确定模型训练过程使用的训练数据表。作为示例，第一确定模块80可以通过对模型文件进行解析，得到模型训练过程信息，并根据模型训练过程信息，将特征处理步骤对应的输入表作为模型训练过程使用的训练数据表。模型训练过程信息可以包括但不限于以下至少一项：模型训练过程中的处理节点、处理节点对应的输入表和/或输出表。

特征处理步骤包括字段名和针对字段名的特征处理方法，辅助机器学习模型上线的装置800还可以包括存储模块，用于根据特征处理步骤涉及的字段名，在线上数据库中以字段名为键存储线上数据表中的数据。

创建模块830用于在线上数据库中创建与训练数据表的表信息一致的线上数据表。

导入模块840用于将至少部分线下数据导入线上数据表。作为示例，辅助机器学习模型上线的装置800还可以包括第二确定模块，用于通过对模型文件进行解析，确定特征处理步骤针对的数据范围，导入模块840可以将对应于数据范围的线下数据导入线上数据表。

辅助机器学习模型上线的装置800还可以包括部署模块、第一预测模块、第二预测模块以及第一上线模块。部署模块用于部署用于实现机器学习模型的预测功能的预上线预测服务；第一预测模块用于利用预上线预测服务对待预测数据进行预测得到第一预测结果；第二预测模块用于在线下环境中对待预测数据进行预测得到第二预测结果；比较模块用于比较第一预测结果和第二预测结果；第一上线模块用于根据第一预测结果和第二预测结果之间的差异，确定是否上线预上线预测服务。

第二预测模块可以通过对模型文件进行解析，确定下游执行算子和模型预测算子，下游执行算子用于表征待预测数据在模型预测之前需要执行的操作；将待预测数据输入下游执行算子；将下游执行算子的输出输入模型预测算子，模型预测算子的输出即为对待预测数据进行预测得到的第二预测结果。

作为示例，辅助机器学习模型上线的装置800还可以包括呈现模块和接收模块。呈现模块用于向用户提供用于设置线上预测服务的图形界面；接收模块用于接收用户通过图形界面选择的预上线预测服务；其中，获取模块810可以获取服务器端存储的与预上线预测服务对应的模型文件，并且/或者也可以接收用户上传的模型文件。

可选地，呈现模块还可以在图形界面中展示模型效果；并且/或者呈现模块还可以在图形界面中展示线上数据表

可选地，呈现模块还可以在图形界面中展示向用户推荐的资源配置信息；并且/或者接收模块还可以接收用户通过图形界面设置的资源配置信息。

辅助机器学习模型上线的装置800还可以包括第一校验模块，用于在预上线预测服务设置完成后，校验预上线预测服务的当前环境是否满足上线要求。

辅助机器学习模型上线的装置800还可以包括第二校验模块和第二上线模块。第二校验模块用于在当前环境满足上线要求的情况下，校验预上线预测服务的预测性能与线下环境中机器学习模型的预测性能是否一致；第二上线模块用于在预上线预测服务的预测性能与线下环境中机器学习模型的预测性能一致或基本一致的情况下，将预上线预测服务转为线上预测服务。

作为示例，第二校验模块可以获取用户指定的样例数据以及输出字段；启动用于模拟线下运行环境的离线预估任务和用于模拟线上运行环境的模拟预估任务，分别对样例数据进行预测；比较离线预估任务和模拟预估任务针对输出字段的输出结果是否一致。

呈现模块还向用户提供服务详情页，服务详情页用于展示预上线预测服务的以下至少一项服务信息：基本参数、模型参数、一致性校验结果、服务状态信息。关于各项服务信息的具体内容可以参见上文相关描述。

作为示例，辅助机器学习模型上线的装置800还可以包括提供模块。提供模块用于在将预上线预测服务转为线上预测服务的情况下，向用户提供线上预测服务的服务地址，并且/或者向用户展示一条或多条预测数据的线上预测结果。其中，接收模块还接收用户对预测数据中一个或多个字段值的修改；呈现模块还展示修改后的预测数据的线上预测结果。

应该理解，根据本发明示例性实施例的辅助机器学习模型上线的装置800的具体实现方式可参照上文结合图1至图7针对辅助机器学习模型上线的方法的相关描述来实现，在此不再赘述。

以上参照图1到图8描述了根据本发明示例性实施例的辅助机器学习模型上线的方法及装置。应理解，上述方法可通过记录在计算可读介质上的程序来实现，例如，根据本发明的示例性实施例，可提供一种存储指令的计算机可读存储介质，其中，在所述计算机可读介质上记录有用于执行本发明的辅助机器学习模型上线的方法(例如图1所示)的计算机程序。

上述计算机可读介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，应注意，所述计算机程序除了可用于执行除了图1示出的步骤之外，还可用于执行除了上述步骤以外的附加步骤或者在执行上述步骤时执行更为具体的处理，这些附加步骤和进一步处理的内容已经参照图1进行了描述，这里为了避免重复将不再进行赘述。

应注意，根据本发明示例性实施例的辅助机器学习模型上线的装置，可完全依赖计算机程序的运行来实现相应的功能，即，各个装置与计算机程序的功能架构中与各步骤相应，使得整个装置通过专门的软件包(例如，lib库)而被调用，以实现相应的功能。

另一方面，图8所示的各个装置也可以通过硬件、软件、固件、中间件、微代码或其任意组合来实现。当以软件、固件、中间件或微代码实现时，用于执行相应操作的程序代码或者代码段可以存储在诸如存储介质的计算机可读介质中，使得处理器可通过读取并运行相应的程序代码或者代码段来执行相应的操作。

例如，本发明的示例性实施例还可以实现为计算装置，该计算装置包括存储部件和处理器，存储部件中存储有计算机可执行指令集合，当所述计算机可执行指令集合被所述处理器执行时，执行辅助机器学习模型上线的方法。

具体说来，所述计算装置可以部署在服务器或客户端中，也可以部署在分布式网络环境中的节点装置上。此外，所述计算装置可以是PC计算机、平板装置、个人数字助理、智能手机、web应用或其他能够执行上述指令集合的装置。

这里，所述计算装置并非必须是单个的计算装置，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。计算装置还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子装置。

在所述计算装置中，处理器可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。

根据本发明示例性实施例的辅助机器学习模型上线的方法中所描述的某些操作可通过软件方式来实现，某些操作可通过硬件方式来实现，此外，还可通过软硬件结合的方式来实现这些操作。

处理器可运行存储在存储部件之一中的指令或代码，其中，所述存储部件还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，所述网络接口装置可采用任何已知的传输协议。

存储部件可与处理器集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储部件可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储部件和处理器可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得处理器能够读取存储在存储部件中的文件。

此外，所述计算装置还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。计算装置的所有组件可经由总线和/或网络而彼此连接。

根据本发明示例性实施例的辅助机器学习模型上线的方法所涉及的操作可被描述为各种互联或耦合的功能块或功能示图。然而，这些功能块或功能示图可被均等地集成为单个的逻辑装置或按照非确切的边界进行操作。

例如，如上所述，根据本发明示例性实施例的辅助机器学习模型上线的的装置可包括存储部件和处理器，其中，存储部件中存储有计算机可执行指令集合，当所述计算机可执行指令集合被所述处理器执行时，执行上文述及的辅助机器学习模型上线的的方法。

以上描述了本发明的各示例性实施例，应理解，上述描述仅是示例性的，并非穷尽性的，本发明不限于所披露的各示例性实施例。在不偏离本发明的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。因此，本发明的保护范围应该以权利要求的范围为准。

Claims (10)

1.一种辅助机器学习模型上线的方法，包括：

获取线下训练机器学习模型得到的模型文件；

对所述模型文件进行解析，确定模型训练过程使用的训练数据表；

在线上数据库中创建与所述训练数据表的表信息一致的线上数据表；

将至少部分线下数据导入所述线上数据表。

2.根据权利要求1所述的方法，其中，确定模型训练过程使用的训练数据表的步骤包括：

通过对所述模型文件进行解析，得到模型训练过程信息；

根据所述模型训练过程信息，将特征处理步骤对应的输入表作为模型训练过程使用的训练数据表。

3.根据权利要求2所述的方法，其中，所述模型训练过程信息包括以下至少一项：模型训练过程中的处理节点、所述处理节点对应的输入表和/或输出表。

4.根据权利要求2所述的方法，其中，所述特征处理步骤包括字段名和针对所述字段名的特征处理方法，该方法还包括：

根据所述特征处理步骤涉及的字段名，在线上数据库中以所述字段名为键存储所述线上数据表中的数据。

5.根据权利要求1所述的方法，还包括：

通过对所述模型文件进行解析，确定特征处理步骤针对的数据范围，

其中，将至少部分线下数据导入所述线上数据表的步骤包括：将对应于所述数据范围的线下数据导入所述线上数据表。

6.根据权利要求1所述的方法，还包括：

部署用于实现所述机器学习模型的预测功能的预上线预测服务；

利用所述预上线预测服务对待预测数据进行预测得到第一预测结果；

在线下环境中对所述待预测数据进行预测得到第二预测结果；

比较所述第一预测结果和所述第二预测结果；

根据所述第一预测结果和所述第二预测结果之间的差异，确定是否上线所述预上线预测服务。

7.根据权利要求6所述的方法，其中，在线下环境中对所述待预测数据进行预测得到第二预测结果的步骤包括：

通过对所述模型文件进行解析，确定下游执行算子和模型预测算子，所述下游执行算子用于表征所述待预测数据在模型预测之前需要执行的操作；

将所述待预测数据输入所述下游执行算子；

将所述下游执行算子的输出输入所述模型预测算子，所述模型预测算子的输出即为对所述待预测数据进行预测得到的第二预测结果。

8.一种辅助机器学习模型上线的装置，包括：

获取模块，用于获取线下训练机器学习模型得到的模型文件；

第一确定模块，用于对所述模型文件进行解析，确定模型训练过程使用的训练数据表；

创建模块，用于在线上数据库中创建与所述训练数据表的表信息一致的线上数据表；

导入模块，用于将至少部分线下数据导入所述线上数据表。

9.一种包括至少一个计算装置和至少一个存储指令的存储装置的系统，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行如权利要求1到7中的任一权利要求所述的方法。

10.一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行如权利要求1到7中的任一权利要求所述的方法。

Images