CN111832735A - 基于模板来执行机器学习过程的方法和系统 - Google Patents
基于模板来执行机器学习过程的方法和系统 Download PDFInfo
- Publication number
- CN111832735A CN111832735A CN201910311702.4A CN201910311702A CN111832735A CN 111832735 A CN111832735 A CN 111832735A CN 201910311702 A CN201910311702 A CN 201910311702A CN 111832735 A CN111832735 A CN 111832735A
- Authority
- CN
- China
- Prior art keywords
- machine learning
- template
- learning process
- model
- macro
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 208
- 230000008569 process Effects 0.000 title claims abstract description 162
- 238000010801 machine learning Methods 0.000 title claims abstract description 143
- 238000012545 processing Methods 0.000 claims abstract description 62
- 238000012549 training Methods 0.000 claims abstract description 38
- 238000012544 monitoring process Methods 0.000 claims description 34
- 230000002159 abnormal effect Effects 0.000 claims description 26
- 238000011156 evaluation Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 17
- 230000001960 triggered effect Effects 0.000 claims description 13
- 230000010485 coping Effects 0.000 claims description 10
- 230000000295 complement effect Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000008676 import Effects 0.000 description 3
- 238000013515 script Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Software Systems (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Data Mining & Analysis (AREA)
- General Business, Economics & Management (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Game Theory and Decision Science (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本公开提供了一种基于模板来执行机器学习过程的方法和系统。所述方法可包括：设置用于声明如何执行机器学习过程的模板；接收符合模板的数据；以及针对接收的数据，按照模板的声明来执行机器学习过程，其中，机器学习过程涉及训练机器学习模型和/或利用机器学习模型执行预估的过程，并且，模板的声明涉及以下项中的至少一项：机器学习过程所涉及的数据、特征处理、模型训练、模型预估、运算资源。根据本公开的方法和系统，可减少细节方面的配置操作，也为整个机器学习过程引入了灵活性，从而用户可以更方便地应用机器学习技术。
Description
技术领域
本公开总体说来涉及机器学习技术，更具体地讲，涉及一种基于模板来执行机器学习过程的方法和系统。
背景技术
机器学习过程通常涉及如下处理之中的至少一个：数据导入、基于导入的数据获得训练样本、基于训练样本进行模型训练、模型自学习、在线预估、批量预估等。对于帮助开发者设计并执行机器学习过程的系统(例如，机器学习工具系统)而言，用户需要逐一配置上述处理以完成机器学习过程，执行这样的配置给用户带来不便。
对于机器学习解决方案的开发者来说，目前现有的机器学习工具系统(例如，AI平台等)只能实现最基本的建模能力，而在建立及应用模型的整个方案中，缺乏有效的方式来支撑用户对系统运行和状态的干预或控制，给机器学习模型的开发和运用带来不便。
发明内容
本公开的示例性实施例旨在克服现有的执行机器学习过程的系统及其操作方法对整个机器学习方案的开发或运行缺乏足够、有效支持的缺陷。
根据本公开的示例性实施例，提供了一种基于模板来执行机器学习过程的方法，其中，所述方法可包括：设置用于声明如何执行机器学习过程的模板；接收符合模板的数据；以及针对接收的数据，按照模板的声明来执行机器学习过程，其中，机器学习过程涉及训练机器学习模型和/或利用机器学习模型执行预估的过程，并且，模板的声明涉及以下项中的至少一项：机器学习过程所涉及的数据、特征处理、模型训练、模型预估、运算资源。
可选的，所述方法还包括：在执行机器学习过程的情况下，执行自定义的计划任务，其中，所述计划任务被设置在模板之内和/或模板之外，用于对模板声明的机器学习过程进行补充处理，其中，所述计划任务用于执行以下处理中的至少一个处理：控制建模过程、获取用于模型预测和/或预估的数据、执行数据处理、执行特征处理、执行异常情况监控、执行针对异常情况的应对处理、显示计划任务的执行结果、根据自定义的业务评估指标进行模型评估、根据自定义的业务监控指标进行业务监控、根据自定义的业务统计指标进行业务统计。
可选的，所述计划任务由时间和/或事件来触发，其中，所述事件包括以下项之中的至少一项：模板被启用、接收到用于触发计划任务的手动输入、模型训练完毕、机器学习过程中的相关任务失败。
可选的，所述计划任务通过调用宏和/或功能接口来执行所述至少一个处理，其中，所述宏是自定义宏或模板预置的宏，所述功能接口对应于执行机器学习过程的系统内预置的基础功能。
可选的，所述宏定义了输入参数、输出参数、和用于执行所述至少一个处理的运行程序。
可选的，所述方法还包括：当所述计划任务发生执行超时或执行异常时，向特定接收接口发出告警信息。
可选的，所述方法还包括：在执行机器学习过程的情况下，执行用于对模板声明的机器学习过程进行补充处理的由用户定义的宏，其中，所述宏在所述模板之内和/或所述模板之外，其中，所述宏用于执行以下处理中的至少一个处理：控制建模过程、获取用于模型预测和/或预估的数据、执行数据处理、执行特征处理、执行异常情况监控、执行针对异常情况的应对处理、显示计划任务的执行结果、根据自定义的业务评估指标进行模型评估、根据自定义的业务监控指标进行业务监控、根据自定义的业务统计指标进行业务统计。
根据本公开的另一示例性实施例，提供了一种基于模板来执行机器学习过程的系统，其中，所述系统可包括：模板设置单元，用于设置用于声明如何执行机器学习过程的模板；数据接收单元，用于接收符合模板的数据；执行单元，用于针对接收的数据，按照模板的声明来执行机器学习过程，其中，机器学习过程涉及训练机器学习模型和/或利用机器学习模型执行预估的过程，并且，模板的声明涉及以下项中的至少一项：机器学习过程所涉及的数据、特征处理、模型训练、模型预估、运算资源。
可选的，所述执行单元还用于在执行机器学习过程的情况下，执行自定义的计划任务，其中，所述计划任务被设置在模板之内和/或模板之外，用于对模板声明的机器学习过程进行补充处理，其中，所述计划任务用于执行以下处理中的至少一个处理：控制建模过程、获取用于模型预测和/或预估的数据、执行数据处理、执行特征处理、执行异常情况监控、执行针对异常情况的应对处理、显示计划任务的执行结果、根据自定义的业务评估指标进行模型评估、根据自定义的业务监控指标进行业务监控、根据自定义的业务统计指标进行业务统计。
可选的，所述计划任务由时间和/或事件来触发，其中，所述事件包括以下项之中的至少一项：模板被启用、接收到用于触发计划任务的手动输入、模型训练完毕、机器学习过程中的相关任务失败。
可选的，所述计划任务通过调用宏和/或功能接口来执行所述至少一个处理，其中，所述宏是自定义宏或模板预置的宏，所述功能接口对应于执行机器学习过程的系统内预置的基础功能。
可选的，所述宏定义了输入参数、输出参数、和用于执行所述至少一个处理的运行程序。
可选的，所述执行单元还用于当所述计划任务发生执行超时或执行异常时，向特定接收接口发出告警信息。
可选的，所述执行单元还用于在执行机器学习过程的情况下，执行用于对模板声明的机器学习过程进行补充处理的由用户定义的宏，其中，所述宏在所述模板之内和/或所述模板之外，其中，所述宏用于执行以下处理中的至少一个处理：控制建模过程、获取用于模型预测和/或预估的数据、执行数据处理、执行特征处理、执行异常情况监控、执行针对异常情况的应对处理、显示计划任务的执行结果、根据自定义的业务评估指标进行模型评估、根据自定义的业务监控指标进行业务监控、根据自定义的业务统计指标进行业务统计。
根据本公开的另一示例性实施例，提供了一种包括至少一个计算装置和至少一个存储指令的存储装置的系统，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行如上所述的方法。
根据本公开的另一示例性实施例，提供了一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行如上所述的方法。
在本公开中，可通过模板声明机器学习过程所涉及的数据、特征处理、模型训练、模型预估和运算资源之中的至少一项，在基于这样的模板进行机器学习时，不仅可减少细节方面的配置操作，也为整个机器学习过程引入了灵活性，从而用户可以更方便地应用机器学习技术。
此外，通过自定义的计划任务和/或自定义的宏，可对模板声明的机器学习过程进行补充处理，从而提供更多功能，满足不同场景的需要，给用户带来便利，增强了机器学习方案的应用能力，提高了机器学习平台或系统的可用性。
将在接下来的描述中部分阐述本公开总体构思另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本公开总体构思的实施而得知。
附图说明
通过下面结合示例性地示出实施例的附图进行的描述，本公开示例性实施例的上述和其他目的和特点将会变得更加清楚，其中：
图1示出根据本公开的示例性实施例的基于模板来执行机器学习过程的方法的流程图；
图2示出根据本公开的示例性实施例的基于模板来执行机器学习过程的系统的框图。
具体实施方式
现将详细参照本公开的实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本公开。
本公开适用于多种与机器学习模型方案的开发和/或应用有关的系统(例如，AI平台)，作为示例，可包括自动机器学习(简称为AutoML)平台和非AutoML平台的机器学习平台。在所述系统中，可执行数据导入、特征处理或模型训练等建模相关处理，或者，可利用训练的模型来提供各种预估服务。
图1示出根据本公开的示例性实施例的基于模板来执行机器学习过程的方法的流程图。
如图1中所示，本公开的示例性实施例的基于模板来执行机器学习过程的方法可包括步骤S110至步骤S130。
在步骤S110，设置用于声明如何执行机器学习过程的模板，这里，机器学习过程可涉及训练机器学习模型和/或利用机器学习模型执行预估的过程。
根据本公开的示例性实施例，模板可涉及模型的至少一部分训练过程，也可涉及至少一部分利用训练好的模型执行预估的过程，还可同时涉及上述两者，即，既涵盖模型训练的至少一部分，也涵盖模型预估的至少一部分。
相应地，模板的声明可涉及以下项中的至少一项：机器学习过程所涉及的数据、特征处理、模型训练、模型预估、运算资源。
作为示例，可在设置的模板中声明需要输入何种数据。这样的模板可被提供给用户，用户在获得模板之后，可根据模板的声明来准备数据，并导入准备的数据。模板不仅可以声明执行机器学习过程所涉及的数据，而且还可声明执行机器学习过程中涉及的特征处理、模型训练、模型预估和/或运算资源。
举例而言，通过对特征处理的声明，可指示为了满足模型训练需要而对数据字段进行的处理，例如，为了生成入模样本而需进行的特征工程。通过对模型训练的声明，可指示模型训练过程中涉及的算法、参数调优、训练迭代和/或模型验证等处理方案或细节。通过对模型预估的声明，可指示模型的自学习方式和/或预估方式等处理。通过对运算资源的声明，可指示机器学习过程所涉及的软件资源和/或硬件资源。
在步骤S120，接收符合模板的数据。具体而言，用户在获得模板之后，可从模板获知机器学习过程需要的数据，例如，数据含义、字段类型、数据格式、数据数量、数据地址、数据流入方式等，这些内容可称作数据规则。用户可根据这样的数据规则输入数据，例如，按照数据规则约定的方式从本地和/或网络导入相应的数据。
在步骤S130，针对接收的数据，按照模板的声明来执行机器学习过程。如上所述，机器学习过程涉及训练机器学习模型和/或利用机器学习模型执行预估的过程。相关的声明已经限定了以下处理中的至少一个处理：特征处理、模型训练、模型预估、运算资源。
根据本公开的示例性实施例，机器学习的相关特定处理方式可在模板中被预先设置。通过上述模板，用户可便利地执行机器学习过程，而不需要关心封装好的细节，在模板涉及AutoML方案的情况下，可按照自动的方式来执行机器学习过程。
为了使得用户可方便地将模型训练/预估与具体的业务场景相结合，作为示例，在执行机器学习过程的情况下，可执行自定义的计划任务，其中，所述计划任务被设置在模板之内和/或模板之外，用于对模板声明的机器学习过程进行补充处理，其中，所述计划任务用于执行以下处理中的至少一个处理：控制建模过程、获取用于模型预测和/或预估的数据、执行数据处理、执行特征处理、执行异常情况监控、执行针对异常情况的应对处理、显示计划任务的执行结果、根据自定义的业务评估指标进行模型评估、根据自定义的业务监控指标进行业务监控、根据自定义的业务统计指标进行业务统计。
例如，所述计划任务可被设置为用于对输入数据、输出数据、和/或中间数据的清理。此外，根据业务场景，可确定对应的需求，从而通过计划任务来执行对应的处理，例如，针对具体的业务目标来计算相应的业务评估指标，并按照业务评估指标的计算结果来进行排序。作为示例，还可执行各种情况下的监控，例如针对机器学习过程的流程监控、基于业务监控指标的业务监控等。
作为示例，计划任务的状态可包括已触发(或称作激活)状态和未触发(或称作未激活)状态。可通过计划任务列表列出计划任务，设置的计划任务可不被立即触发。可执行事件监听，以在监听到特定事件时触发计划任务，和/或等待特定时间到达，以在到达所述特定时间时触发计划任务。
作为示例，计划任务可在达到预设条件时被触发以执行对应处理，所述预设条件可以是时间和/或事件。也就是说，所述计划任务由时间和/或事件来触发，其中，所述事件包括以下项之中的至少一项：模板被启用、接收到用于触发计划任务的手动输入、模型训练完毕、机器学习过程中的相关任务失败。
具体而言，在设置计划任务时，可设置以下项中的至少一项：计划任务的触发条件、计划任务被触发时执行的处理、计划任务的执行结果、以及异常处理策略。这里，触发条件主要分为定时触发和事件触发，其中，通过时间的触发称作定时触发，是一种主动触发计划任务的方式，即：当时间达到时触发计划任务。
通过事件的触发称作事件触发，是一种被动触发计划任务的方式，即：当事件发生时触发计划任务。当计划任务被触发时执行的处理可以是一个或更多个运行程序，当绑定了多个运行程序时，所述多个运行程序被顺序执行，当所述多个运行程序之中的一个运行程序停止运行时，所述计划任务停止运行，即：不执行定制的运行程序之后的运行程序。
作为示例，当所述计划任务发生执行超时或执行异常时，向特定接收接口发出告警信息。具体而言，当发生异常情况，例如上述停止运行的情况时，根据设置的异常处理策略来处理。异常处理策略还可针对超时的情况。异常处理策略可设置以下项中的至少一项：超时时长、是否发出告警、告警的接收目标、告警的类型、告警的接口，其中，告警的接收目标可包括邮箱、手机等。
如下的表1示出了根据本公开的示例性实施例的计划任务的运行结果展示配置方式。这里，可配置为展示或者不展示运行结果。当在展示模式项目中选择了指标展示时，可选择指标类型项，以便在系统的展示区域以折线图或列表的方式展示运行结果。当选择无需指标展示项时，则不展示计划任务的运行结果。指标类型项目可用于设置展示方式，除了表1中所示的折线图和列表之外，还可包括饼状图、柱状图等各种图表。除此之外，还可进行可选项目(例如，“工厂”函数可以是针对宏运行输出物的后处理函数，这里，假设宏的输出是一个模型，则工厂函数可获取模型的名称、AUC、PRN等信息，用于前端展示、绘图、或其他操作逻辑使用)、图表模板、显示条数的选择。
表1
作为示例，所述计划任务通过调用宏和/或功能接口来执行所述至少一个处理，其中，所述宏是自定义宏或模板预置的宏，所述功能接口对应于执行机器学习过程的系统内预置的基础功能。
这里，所述宏旨在通过运行用于执行所述至少一个处理的程序来完成特定功能。作为示例，所述宏定义了输入参数、输出参数、和用于执行所述至少一个处理的运行程序。
作为示例，当通过宏来执行所述至少一个处理时，可设置执行宏所需要的参数，当通过功能接口来执行所述至少一个处理时，可设置所述功能接口所需要的参数。还可设置校验任务，以校验参数的格式等是否正确。例如，所述方法还包括：校验用户定义计划任务和/或自定义宏时设置的参数是否正确，当设置的参数不正确时，执行针对异常情况的应对处理。
作为示例，自定义的宏可通过或不通过计划任务来执行。作为示例，在执行机器学习过程的情况下，执行用于对模板声明的机器学习过程进行补充处理的由用户定义的宏，其中，所述宏在所述模板之内和/或所述模板之外，其中，所述宏用于执行以下处理中的至少一个处理：控制建模过程、获取用于模型预测和/或预估的数据、执行数据处理、执行特征处理、执行异常情况监控、执行针对异常情况的应对处理、显示计划任务的执行结果、根据自定义的业务评估指标进行模型评估、根据自定义的业务监控指标进行业务监控、根据自定义的业务统计指标进行业务统计。
作为示例，当自定义宏时，可设置宏的标识名称、标准输入、运行程序、标准输出。还可设置描述信息，例如，对外展示宏时显示的名称、简介信息、使用说明等。
具体而言，标准输入可包括宏被运行时需要的输入相关参数，标准输出可包括宏被运行后的输出相关参数，其中，参数名称为必要信息。此外，还可设置参数类型、参数描述、参数默认值等信息。运行程序是宏包括的程序，即：在宏被执行时运行的程序。当宏被执行时运行的程序可以是各种程序中的一个或多个的组合。这样的程序可包括计算机语言编写的程序、脚本等，例如，基于Python和/或Java的程序和/或脚本，还可包括机器学习平台或系统本身所具有的程序。标准输出可以是宏输出的内容，例如，机器学习平台或系统的算子的输出、程序和/或脚本的输出等，输出的类型可以是文本和/或文件。
举例而言，可根据如下的表2设置宏的输入相关参数，也可根据如下的表3设置宏的输出相关参数。
表2
表3
| 输出相关参数的名称 | 参数类型 | 参数描述 | 参数默认值 |
| 数据清理结果 | 文本 | 0表示失败，1表示成功 | 无 |
作为示例，自定义的宏可被记录在宏列表中，宏列表可被展示给用户。在宏列表中的每一行可表示一个宏。用户可通过对行的点击来执行被点击的行所对应的宏。另外，自定义的宏也可被计划任务调用，和/或通过对外接口被外部调用。可通过如上的表2和表3设置宏的相关参数。
通过本公开的示例性实施例的基于模板来执行机器学习过程的方法，可通过模板声明如何执行机器学习过程，随后，可接收符合模板的数据并按照模板的声明来执行机器学习过程。通过这样的模板，在输入符合模板的数据后即可获得需要的结果，不需要了解或设置复杂的建模逻辑。对于想要灵活配置功能的用户而言，可按照需要的方式实例化模板，或通过自定义的计划任务和/或自定义的宏来设置或完善想要的功能，从而可方便地进行功能扩展和完善。
图2示出根据本公开的示例性实施例的基于模板来执行机器学习过程的系统的框图。
如图2中所示，本示例性实施例的基于模板来执行机器学习过程的系统200包括：模板设置单元210、数据接收单元220和执行单元230。
模板设置单元210用于设置用于声明如何执行机器学习过程的模板；数据接收单元220用于接收符合模板的数据；执行单元230用于针对接收的数据，按照模板的声明来执行机器学习过程，其中，机器学习过程涉及训练机器学习模型和/或利用机器学习模型执行预估的过程，并且，模板的声明涉及以下项中的至少一项：机器学习过程所涉及的数据、特征处理、模型训练、模型预估、运算资源。
作为示例，执行单元230还用于在执行机器学习过程的情况下，执行自定义的计划任务，其中，所述计划任务被设置在模板之内和/或模板之外，用于对模板声明的机器学习过程进行补充处理，其中，所述计划任务用于执行以下处理中的至少一个处理：控制建模过程、获取用于模型预测和/或预估的数据、执行数据处理、执行特征处理、执行异常情况监控、执行针对异常情况的应对处理、显示计划任务的执行结果、根据自定义的业务评估指标进行模型评估、根据自定义的业务监控指标进行业务监控、根据自定义的业务统计指标进行业务统计。
作为示例，所述计划任务由时间和/或事件来触发，其中，所述事件包括以下项之中的至少一项：模板被启用、接收到用于触发计划任务的手动输入、模型训练完毕、机器学习过程中的相关任务失败。
作为示例，所述计划任务通过调用宏和/或功能接口来执行所述至少一个处理，其中，所述宏是自定义宏或模板预置的宏，所述功能接口对应于执行机器学习过程的系统内预置的基础功能。
作为示例，所述宏定义了输入参数、输出参数、和用于执行所述至少一个处理的运行程序。
作为示例，执行单元230还用于当所述计划任务发生执行超时或执行异常时，向特定接收接口发出告警信息。
作为示例，执行单元230还用于在执行机器学习过程的情况下，执行用于对模板声明的机器学习过程进行补充处理的由用户定义的宏，其中，所述宏在所述模板之内和/或所述模板之外，其中，所述宏用于执行以下处理中的至少一个处理：控制建模过程、获取用于模型预测和/或预估的数据、执行数据处理、执行特征处理、执行异常情况监控、执行针对异常情况的应对处理、显示计划任务的执行结果、根据自定义的业务评估指标进行模型评估、根据自定义的业务监控指标进行业务监控、根据自定义的业务统计指标进行业务统计。
应该理解，根据本公开示例性实施例的基于模板来执行机器学习过程的系统的具体实现方式可参照关于基于模板来执行机器学习过程的方法的相关具体实现方式来实现，在此不再赘述。
根据本公开的示例性实施例的基于模板来执行机器学习过程的系统的各个单元可被分别配置为执行特定功能的软件、硬件、固件或上述项的任意组合。例如，这些单元可对应于专用的集成电路，也可对应于纯粹的软件代码，还可对应于软件与硬件相结合的单元或模块。此外，这些单元所实现的一个或多个功能也可由物理实体设备(例如，处理器、客户端或服务器等)中的组件来统一执行。
以上描述了根据本公开示例性实施例的基于模板来执行机器学习过程的方法和系统。应理解，上述方法可通过记录在计算可读介质上的程序来实现，例如，根据本公开的示例性实施例，可提供一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行：设置用于声明如何执行机器学习过程的模板；接收符合模板的数据；以及针对接收的数据，按照模板的声明来执行机器学习过程，其中，机器学习过程涉及训练机器学习模型和/或利用机器学习模型执行预估的过程，并且，模板的声明涉及以下项中的至少一项：机器学习过程所涉及的数据、特征处理、模型训练、模型预估、运算资源。
上述计算机可读存储介质中的计算机程序可在诸如处理器、客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，例如，由位于单机环境或分布式集群环境的至少一个计算装置来运行，作为示例，这里的计算装置可作为计算机、处理器、计算单元(或模块)、客户端、主机、代理装置、服务器等。应注意，所述计算机程序还可用于执行除了上述步骤以外的附加步骤或者在执行上述步骤时执行更为具体的处理，这些附加步骤和进一步处理的内容已经参照图1进行了描述，这里为了避免重复将不再进行赘述。
应注意，根据本公开示例性实施例的基于模板来执行机器学习过程的方法和系统可完全依赖计算机程序的运行来实现相应的功能，即，各个单元与计算机程序的功能架构中与各步骤相应，使得整个系统通过专门的软件包(例如，lib库)而被调用，以实现相应的功能。
另一方面，根据本公开的示例性实施例的基于模板来执行机器学习过程的系统的各个单元也可以通过硬件、软件、固件、中间件、微代码或其任意组合来实现。当以软件、固件、中间件或微代码实现时，用于执行相应操作的程序代码或者代码段可以存储在诸如存储介质的计算机可读介质中，使得处理器可通过读取并运行相应的程序代码或者代码段来执行相应的操作。
例如，根据本公开示例性实施例，可提供一种包括至少一个计算装置和至少一个存储指令的存储装置的系统，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行以下步骤：设置用于声明如何执行机器学习过程的模板；接收符合模板的数据；以及针对接收的数据，按照模板的声明来执行机器学习过程，其中，机器学习过程涉及训练机器学习模型和/或利用机器学习模型执行预估的过程，并且，模板的声明涉及以下项中的至少一项：机器学习过程所涉及的数据、特征处理、模型训练、模型预估、运算资源。
这里，所述系统可构成单机计算环境或分布式计算环境，其包括至少一个计算装置和至少一个存储装置，这里，作为示例，计算装置可以是通用或专用的计算机、处理器等，可以是单纯利用软件来执行处理的单元，还可以是软硬件相结合的实体。也就是说，计算装置可实现为计算机、处理器、计算单元(或模块)、客户端、主机、代理装置、服务器等。此外，存储装置可以是物理上的存储设备或逻辑上划分出的存储单元，其可与计算装置在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信。
此外，例如，本公开的示例性实施例还可以实现为计算装置，该计算装置包括存储部件和处理器，存储部件中存储有计算机可执行指令集合，当所述计算机可执行指令集合被所述处理器执行时，执行基于模板来执行机器学习过程的方法。
具体说来，所述计算装置可以部署在服务器或客户端中，也可以部署在分布式网络环境中的节点装置上。此外，所述计算装置可以是PC计算机、平板装置、个人数字助理、智能手机、web应用或其他能够执行上述指令集合的装置。
这里，所述计算装置并非必须是单个的计算装置，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。计算装置还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子装置。
在所述计算装置中，处理器可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。
根据本公开示例性实施例的基于模板来执行机器学习过程的方法中所描述的某些操作可通过软件方式来实现，某些操作可通过硬件方式来实现，此外，还可通过软硬件结合的方式来实现这些操作。
处理器可运行存储在存储部件之一中的指令或代码，其中，所述存储部件还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，所述网络接口装置可采用任何已知的传输协议。
存储部件可与处理器集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储部件可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储部件和处理器可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得处理器能够读取存储在存储部件中的文件。
此外，所述计算装置还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。计算装置的所有组件可经由总线和/或网络而彼此连接。
根据本公开示例性实施例的基于模板来执行机器学习过程的方法所涉及的操作可被描述为各种互联或耦合的功能块或功能示图。然而，这些功能块或功能示图可被均等地集成为单个的逻辑装置或按照非确切的边界进行操作。
以上描述了本公开的各示例性实施例，应理解，上述描述仅是示例性的，并非穷尽性的，本公开不限于所披露的各示例性实施例。在不偏离本公开的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。因此，本公开的保护范围应该以权利要求的范围为准。
Claims (10)
1.一种基于模板来执行机器学习过程的方法，包括：
设置用于声明如何执行机器学习过程的模板；
接收符合模板的数据；以及
针对接收的数据，按照模板的声明来执行机器学习过程，
其中，机器学习过程涉及训练机器学习模型和/或利用机器学习模型执行预估的过程，并且，模板的声明涉及以下项中的至少一项：机器学习过程所涉及的数据、特征处理、模型训练、模型预估、运算资源。
2.如权利要求1所述的方法，还包括：
在执行机器学习过程的情况下，执行自定义的计划任务，其中，所述计划任务被设置在模板之内和/或模板之外，用于对模板声明的机器学习过程进行补充处理，
其中，所述计划任务用于执行以下处理中的至少一个处理：
控制建模过程、获取用于模型预测和/或预估的数据、执行数据处理、执行特征处理、执行异常情况监控、执行针对异常情况的应对处理、显示计划任务的执行结果、根据自定义的业务评估指标进行模型评估、根据自定义的业务监控指标进行业务监控、根据自定义的业务统计指标进行业务统计。
3.如权利要求2所述的方法，其中，所述计划任务由时间和/或事件来触发，其中，所述事件包括以下项之中的至少一项：模板被启用、接收到用于触发计划任务的手动输入、模型训练完毕、机器学习过程中的相关任务失败。
4.如权利要求2所述的方法，其中，所述计划任务通过调用宏和/或功能接口来执行所述至少一个处理，其中，所述宏是自定义宏或模板预置的宏，所述功能接口对应于执行机器学习过程的系统内预置的基础功能。
5.如权利要求4所述的方法，其中，所述宏定义了输入参数、输出参数、和用于执行所述至少一个处理的运行程序。
6.如权利要求2所述的方法，还包括：
当所述计划任务发生执行超时或执行异常时，向特定接收接口发出告警信息。
7.如权利要求1所述的方法，还包括：
在执行机器学习过程的情况下，执行用于对模板声明的机器学习过程进行补充处理的由用户定义的宏，其中，所述宏在所述模板之内和/或所述模板之外，
其中，所述宏用于执行以下处理中的至少一个处理：
控制建模过程、获取用于模型预测和/或预估的数据、执行数据处理、执行特征处理、执行异常情况监控、执行针对异常情况的应对处理、显示计划任务的执行结果、根据自定义的业务评估指标进行模型评估、根据自定义的业务监控指标进行业务监控、根据自定义的业务统计指标进行业务统计。
8.一种基于模板来执行机器学习过程的系统，包括：
模板设置单元，用于设置用于声明如何执行机器学习过程的模板；
数据接收单元，用于接收符合模板的数据；以及
执行单元，用于针对接收的数据，按照模板的声明来执行机器学习过程，
其中，机器学习过程涉及训练机器学习模型和/或利用机器学习模型执行预估的过程，并且，模板的声明涉及以下项中的至少一项：机器学习过程所涉及的数据、特征处理、模型训练、模型预估、运算资源。
9.一种包括至少一个计算装置和至少一个存储指令的存储装置的系统，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行如权利要求1到7中的任一权利要求所述的方法。
10.一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行如权利要求1到7中的任一权利要求所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910311702.4A CN111832735B (zh) | 2019-04-18 | 2019-04-18 | 基于模板来执行机器学习过程的方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910311702.4A CN111832735B (zh) | 2019-04-18 | 2019-04-18 | 基于模板来执行机器学习过程的方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111832735A true CN111832735A (zh) | 2020-10-27 |
| CN111832735B CN111832735B (zh) | 2024-06-18 |
Family
ID=72915063
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910311702.4A Active CN111832735B (zh) | 2019-04-18 | 2019-04-18 | 基于模板来执行机器学习过程的方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111832735B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106250987A (zh) * | 2016-07-22 | 2016-12-21 | 无锡华云数据技术服务有限公司 | 一种机器学习方法、装置及大数据平台 |
| CN107273979A (zh) * | 2017-06-08 | 2017-10-20 | 第四范式（北京）技术有限公司 | 基于服务级别来执行机器学习预测的方法及系统 |
| CN107609652A (zh) * | 2017-08-30 | 2018-01-19 | 第四范式（北京）技术有限公司 | 执行机器学习的分布式系统及其方法 |
| US20180137093A1 (en) * | 2016-11-11 | 2018-05-17 | General Electric Company | Machine learning templates in a machine learning framework |
| CN109144724A (zh) * | 2018-07-27 | 2019-01-04 | 众安信息技术服务有限公司 | 一种微服务资源调度系统及方法 |
| CN109325541A (zh) * | 2018-09-30 | 2019-02-12 | 北京字节跳动网络技术有限公司 | 用于训练模型的方法和装置 |
-
2019
- 2019-04-18 CN CN201910311702.4A patent/CN111832735B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106250987A (zh) * | 2016-07-22 | 2016-12-21 | 无锡华云数据技术服务有限公司 | 一种机器学习方法、装置及大数据平台 |
| US20180137093A1 (en) * | 2016-11-11 | 2018-05-17 | General Electric Company | Machine learning templates in a machine learning framework |
| CN107273979A (zh) * | 2017-06-08 | 2017-10-20 | 第四范式（北京）技术有限公司 | 基于服务级别来执行机器学习预测的方法及系统 |
| CN107609652A (zh) * | 2017-08-30 | 2018-01-19 | 第四范式（北京）技术有限公司 | 执行机器学习的分布式系统及其方法 |
| CN109144724A (zh) * | 2018-07-27 | 2019-01-04 | 众安信息技术服务有限公司 | 一种微服务资源调度系统及方法 |
| CN109325541A (zh) * | 2018-09-30 | 2019-02-12 | 北京字节跳动网络技术有限公司 | 用于训练模型的方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 夏冉;: "基于Spark的机器学习Web服务引擎设计", 指挥控制与仿真, no. 01, 15 February 2018 (2018-02-15) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111832735B (zh) | 2024-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11500762B2 (en) | System and method for automated intelligent mobile application testing | |
| CN108427616B (zh) | 后台程序监控方法及监控装置 | |
| US8584079B2 (en) | Quality on submit process | |
| US20200034281A1 (en) | System and method for automated intelligent mobile application testing | |
| CN109034394B (zh) | 一种机器学习模型的更新方法和装置 | |
| US20080244565A1 (en) | Dynamic software installation and configuration | |
| US20140331209A1 (en) | Program Testing Service | |
| US10452469B2 (en) | Server performance correction using remote server actions | |
| CN109117141B (zh) | 简化编程的方法、装置、电子设备、计算机可读存储介质 | |
| EP4024228A1 (en) | System and method for batch and real-time feature calculation | |
| WO2019148721A1 (zh) | 电子装置、互联网服务系统风险预警方法及存储介质 | |
| US8661414B2 (en) | Method and system for testing an order management system | |
| US11169910B2 (en) | Probabilistic software testing via dynamic graphs | |
| CN112965794A (zh) | 算法调用方法、电子设备及存储介质 | |
| US20170004064A1 (en) | Actions test automation | |
| CN115437933A (zh) | 自动化测试方法、装置、计算机设备及存储介质 | |
| US20140331205A1 (en) | Program Testing Service | |
| WO2014179731A1 (en) | Program testing service | |
| US11677637B2 (en) | Contextual update compliance management | |
| CN111832735B (zh) | 基于模板来执行机器学习过程的方法和系统 | |
| CN115840691A (zh) | 远程修复崩溃进程 | |
| CN111679924B (zh) | 构件化软件系统可靠性仿真方法、装置及电子设备 | |
| CN113986768A (zh) | 应用程序稳定性测试方法、装置、设备及介质 | |
| US9497253B2 (en) | Authorization review system | |
| CN110837399A (zh) | 一种管理流式计算应用程序的方法、装置及计算设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |