CN108960433A - 用于运行机器学习建模过程的方法及系统 - Google Patents

用于运行机器学习建模过程的方法及系统 Download PDF

Info

Publication number
CN108960433A
CN108960433A CN201810669947.XA CN201810669947A CN108960433A CN 108960433 A CN108960433 A CN 108960433A CN 201810669947 A CN201810669947 A CN 201810669947A CN 108960433 A CN108960433 A CN 108960433A
Authority
CN
China
Prior art keywords
machine learning
modeling process
learning modeling
running
operating status
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810669947.XA
Other languages
English (en)
Other versions
CN108960433B (zh
Inventor
彭聆然
陈志翰
刘守湘
刘冬清
康执玺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
4Paradigm Beijing Technology Co Ltd
Original Assignee
4Paradigm Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 4Paradigm Beijing Technology Co Ltd filed Critical 4Paradigm Beijing Technology Co Ltd
Priority to CN201810669947.XA priority Critical patent/CN108960433B/zh
Publication of CN108960433A publication Critical patent/CN108960433A/zh
Application granted granted Critical
Publication of CN108960433B publication Critical patent/CN108960433B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

提供一种用于运行机器学习建模过程的方法及系统。所述方法包括:在用于构建机器学习建模过程的图形界面中显示构建的机器学习建模过程,其中,所述机器学习建模过程中的步骤处于编辑状态;响应于用于运行所述机器学习建模过程中的至少一个步骤的用户操作,使所述至少一个步骤由编辑状态进入运行状态,并按序运行处于运行状态的步骤;在不影响当前正运行的步骤的运行的同时,响应于用户的用于停止运行当前正运行的步骤的下游的处于运行状态的步骤的运行停止操作,使所述运行停止操作所针对的步骤由运行状态进入编辑状态。根据所述方法及系统,能够提高机器学习建模过程的运行的灵活性。

Description

用于运行机器学习建模过程的方法及系统
技术领域
本发明总体说来涉及机器学习领域,更具体地讲,涉及一种用于运行机器学习建模过程的方法及系统。
背景技术
随着海量数据的出现,人们倾向于使用机器学习技术来从数据中挖掘出价值。机器学习是人工智能研究发展到一定阶段的必然产物,其致力于通过计算的手段,利用经验来改善系统自身的性能。在计算机系统中,“经验”通常以“数据”形式存在,通过机器学习算法,可从数据中产生“模型”,也就是说,将经验数据提供给机器学习算法,就能基于这些经验数据产生模型,在面对新的情况时,模型会提供相应的判断,即,预测结果。可以看出,如何基于经验数据产生模型(即,机器学习建模过程)是机器学习技术的关键。
用户在构建机器学习建模过程时,需要不断地修改并运行机器学习建模过程,直至确认构建的机器学习建模过程能够满足其要求。而目前在通过机器学习平台(例如,微软云计算系统“Azure”等)构建机器学习建模过程时,在开始运行构建的机器学习建模过程之后,如果用户不想运行未运行到的一个或多个步骤,则只能通过停止运行整个机器学习建模过程、重新选择并运行所需的步骤的方式来实现,这种实现方式既操作繁琐,又可能导致已经运行了很长时间的步骤被迫停止运行,使得该步骤已得到的部分运行结果被舍弃,造成了运行工作的浪费,影响了运行效率。
发明内容
本发明的示例性实施例在于提供一种用于运行机器学习建模过程的方法及系统,以解决现有技术存在的在开始运行机器学习建模过程之后,不能便捷地针对未运行到的步骤进行操作的问题。
根据本发明的示例性实施例,提供一种用于运行机器学习建模过程的方法,其中,所述方法包括:在用于构建机器学习建模过程的图形界面中显示构建的机器学习建模过程,其中,所述机器学习建模过程中的步骤处于编辑状态;响应于用于运行所述机器学习建模过程中的至少一个步骤的用户操作,使所述至少一个步骤由编辑状态进入运行状态,并按序运行处于运行状态的步骤;在不影响当前正运行的步骤的运行的同时,响应于用户的用于停止运行当前正运行的步骤的下游的处于运行状态的步骤的运行停止操作,使所述运行停止操作所针对的步骤由运行状态进入编辑状态。
可选地,所述方法还包括:在不影响当前正运行的步骤的运行的同时,响应于用户的用于继续运行当前正运行的步骤的下游的处于编辑状态的步骤的继续运行操作,使所述继续运行操作所针对的步骤由编辑状态进入运行状态。
可选地,所述方法还包括:在不影响当前正运行的步骤的运行的同时,响应于用户的用于修改当前正运行的步骤的下游的处于编辑状态的步骤的配置的配置操作,对所述配置操作所针对的步骤的配置进行修改。
可选地,所述方法还包括:在不影响当前正运行的步骤的运行的同时,响应于用户的用于调整所述机器学习建模过程之中处于运行状态的最下游步骤的下游结构的结构调整操作,调整所述机器学习建模过程的结构。
可选地,结构调整操作包括:用于向机器学习建模过程添加步骤的操作、用于删除机器学习建模过程中的步骤的操作、以及用于改变机器学习建模过程中的步骤之间的逻辑关系的操作之中的至少一项。
可选地,在用于构建机器学习建模过程的图形界面中显示构建的机器学习建模过程的步骤包括:在用于构建机器学习建模过程的图形界面中显示用于表示构建的机器学习建模过程的有向无环图,其中,所述有向无环图中的节点与所述机器学习建模过程中的步骤一一对应。
可选地,所述方法还包括:在不影响当前正运行的步骤的运行的同时,响应于用于在所述图形界面中构建另一个机器学习建模过程的用户操作,对所述另一个机器学习建模过程进行构建,其中,所述另一个机器学习建模过程中的步骤处于编辑状态。
可选地,所述方法还包括:在不影响当前正运行的步骤的运行的同时,响应于用于运行所述另一个机器学习建模过程中的至少一个步骤的用户操作,使所述至少一个步骤由编辑状态进入运行状态,并按序运行所述另一个机器学习建模过程中的处于运行状态的步骤。
可选地,所述方法还包括:当接收到用于保存所述图形界面中当前显示的机器学习建模过程的用户操作、用于运行当前显示的机器学习建模过程中的至少一个步骤的用户操作、以及用于继续运行当前正运行的步骤的下游的处于编辑状态的步骤的继续运行操作之一时,将所述图形界面中当前显示的机器学习建模过程作为一个版本进行保存。
根据本发明的另一示例性实施例,提供一种用于运行机器学习建模过程的系统,其中,所述系统包括:显示装置,用于在用于构建机器学习建模过程的图形界面中显示构建的机器学习建模过程;状态管理装置,用于在未运行所述机器学习建模过程之前,使所述机器学习建模过程中的步骤均处于编辑状态,并响应于用于运行所述机器学习建模过程中的至少一个步骤的用户操作,使所述至少一个步骤由编辑状态进入运行状态;运行装置,用于按序运行处于运行状态的步骤,其中,在运行装置按序运行处于运行状态的步骤的同时,状态管理装置响应于用户的用于停止运行当前正运行的步骤的下游的处于运行状态的步骤的运行停止操作,使所述运行停止操作所针对的步骤由运行状态进入编辑状态。
可选地,在运行装置按序运行处于运行状态的步骤的同时,状态管理装置响应于用户的用于继续运行当前正运行的步骤的下游的处于编辑状态的步骤的继续运行操作,使所述继续运行操作所针对的步骤由编辑状态进入运行状态。
可选地,所述系统还包括:构建装置,用于在运行装置按序运行处于运行状态的步骤的同时,响应于用户的用于修改当前正运行的步骤的下游的处于编辑状态的步骤的配置的配置操作,对所述配置操作所针对的步骤的配置进行修改。
可选地,所述系统还包括:构建装置,用于在运行装置按序运行处于运行状态的步骤的同时,响应于用户的用于调整所述机器学习建模过程之中处于运行状态的最下游步骤的下游结构的结构调整操作,调整所述机器学习建模过程的结构。
可选地,结构调整操作包括:用于向机器学习建模过程添加步骤的操作、用于删除机器学习建模过程中的步骤的操作、以及用于改变机器学习建模过程中的步骤之间的逻辑关系的操作之中的至少一项。
可选地,显示装置在用于构建机器学习建模过程的图形界面中显示用于表示构建的机器学习建模过程的有向无环图,其中,所述有向无环图中的节点与所述机器学习建模过程中的步骤一一对应。
可选地,所述系统还包括:构建装置,用于在运行装置按序运行所述机器学习建模过程中的处于运行状态的步骤的同时,响应于用于在所述图形界面中构建另一个机器学习建模过程的用户操作,对所述另一个机器学习建模过程进行构建,其中,状态管理装置在未运行所述另一个机器学习建模过程之前,使所述另一个机器学习建模过程中的步骤均处于编辑状态。
可选地,在运行装置按序运行所述机器学习建模过程中的处于运行状态的步骤的同时,状态管理装置响应于用于运行所述另一个机器学习建模过程中的至少一个步骤的用户操作,使所述至少一个步骤由编辑状态进入运行状态,并且运行装置还同时按序运行所述另一个机器学习建模过程中的处于运行状态的步骤。
可选地,所述系统还包括:版本保存装置,用于当接收到用于保存所述图形界面中当前显示的机器学习建模过程的用户操作、用于运行当前显示的机器学习建模过程中的至少一个步骤的用户操作、以及用于继续运行当前正运行的步骤的下游的处于编辑状态的步骤的继续运行操作之一时,将所述图形界面中当前显示的机器学习建模过程作为一个版本进行保存。
根据本发明的另一示例性实施例,提供一种计算机可读介质,其中,在所述计算机可读介质上记录有用于执行如上所述的用于运行机器学习建模过程的方法的计算机程序。
根据本发明的另一示例性实施例,提供一种计算装置,包括存储部件和处理器,其中,存储部件中存储有计算机可执行指令集合,当所述计算机可执行指令集合被所述处理器执行时,执行如上所述的用于运行机器学习建模过程的方法。
根据本发明示例性实施例的用于运行机器学习建模过程的方法及系统,在运行机器学习建模过程的同时,能够从运行排队队列中删除待运行的步骤以停止未运行到的步骤的运行,能够向运行排队队列中添加步骤以启动当前正运行的步骤的下游步骤的运行,还能够对该机器学习建模过程进行修改,从而实现在不影响机器学习建模过程运行的情况下,对该机器学习建模过程的运行进行调整、对该机器学习建模过程进行修改。此外,还能够在运行一个机器学习建模过程的同时,构建和/或运行另一个机器学习建模过程。
根据本发明示例性实施例的用于运行机器学习建模过程的方法及系统,使得机器学习建模过程的运行方式更为灵活,一方面,方便用户在运行一个机器学习建模过程期间,继续对该机器学习建模过程进行完善(例如,修改结构或步骤配置、补全机器学习建模过程的其他步骤等),或者,构建另一个机器学习建模过程,以使用户能够利用机器学习建模过程的运行时间,进行其他建模工作,即,通过提高运行工作的并行度提高了建模工作的效率;另一方面,方便用户及时基于上游步骤的运行效果(例如,输出结果),调整下游步骤的配置或下游结构,以使下游部分能够更好地对上游步骤的运行结果进行适合的处理,大大提高了建模工作的灵活性和效率。
将在接下来的描述中部分阐述本发明总体构思另外的方面和/或优点,还有一部分通过描述将是清楚的,或者可以经过本发明总体构思的实施而得知。
附图说明
通过下面结合示例性地示出实施例的附图进行的描述,本发明示例性实施例的上述和其他目的和特点将会变得更加清楚,其中:
图1示出根据本发明示例性实施例的用于运行机器学习建模过程的方法的流程图;
图2示出根据本发明示例性实施例的运行机器学习建模过程的示例;
图3示出根据本发明示例性实施例的运行机器学习建模过程的另一示例;
图4示出根据本发明示例性实施例的运行机器学习建模过程的另一示例;
图5示出根据本发明示例性实施例的用于展示与所选择的节点对应的步骤的输出元素的控件的示例;
图6示出根据本发明示例性实施例的向用户展示与所选择的节点对应的步骤的输出结果的示例;
图7示出根据本发明示例性实施例的运行机器学习建模过程的另一示例;
图8示出根据本发明示例性实施例的运行机器学习建模过程的另一示例;
图9示出根据本发明示例性实施例的查看机器学习建模过程的历史版本的示例;
图10示出根据本发明示例性实施例的用于运行机器学习建模过程的系统的框图。
具体实施方式
现将详细参照本发明的实施例,所述实施例的示例在附图中示出,其中,相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例,以便解释本发明。
图1示出根据本发明示例性实施例的用于运行机器学习建模过程的方法的流程图。这里,作为示例,所述方法可通过计算机程序来执行,也可由专门的用于执行机器学习、大数据计算、或数据分析的硬件设备或软硬件资源的集合体来执行,例如,可由用于实现机器学习相关业务的机器学习平台来执行所述方法。
参照图1,在步骤S10中,在用于构建机器学习建模过程的图形界面中显示构建的机器学习建模过程。这里,在未运行构建的机器学习建模过程之前,所述机器学习建模过程中的所有步骤均处于编辑状态。
作为示例,可首先进入用于构建机器学习建模过程的图形界面,随后,当接收到用户打开表示机器学习建模过程的文件的操作时,在图形界面中显示所述文件的内容所限定的机器学习建模过程;也可当接收到用户请求创建机器学习建模过程的操作时,实时响应于用户的用于构建机器学习建模过程的构建操作,在所述图形界面中显示构建的机器学习建模过程。
并且,在未运行构建的机器学习建模过程之前,用户可通过所述图形界面继续对显示的机器学习建模过程进行构建。例如,可响应于用户的用于修改处于编辑状态的步骤的配置的配置操作,对所述配置操作所针对的步骤的配置进行修改;可响应于用户的用于调整机器学习建模过程的结构的结构调整操作,调整所述机器学习建模过程的结构。作为示例,结构调整操作可包括用于向机器学习建模过程添加步骤的操作、用于删除机器学习建模过程中的步骤的操作、以及用于改变机器学习建模过程中的步骤之间的逻辑关系的操作之中的至少一项。这里,步骤之间的逻辑关系也即步骤之间的输入输出关联关系,例如,一个步骤的输出作为另一个步骤的输入。
作为示例,构建的机器学习建模过程可包括以下步骤之中的至少一个步骤:数据导入、数据拼接、数据拆分、特征抽取、模型训练、模型测试和模型评估。具体说来,数据导入步骤用于导入一个或多个包含历史数据记录的数据集(例如,数据表);数据拼接步骤用于对导入的多个数据集中的数据记录进行拼接;数据拆分步骤用于将拼接后的数据记录拆分为训练集和测试集,或者,将导入的一个数据集中的数据记录拆分为训练集和测试集,其中,训练集中的数据记录用于转换为训练样本以训练出模型,而测试集中的数据记录用于转换为测试样本,以根据训练出的模型针对测试样本的测试结果来评估模型效果;特征抽取步骤用于对训练集和测试集进行特征抽取,以生成训练样本和测试样本;模型训练步骤用于按照机器学习算法,基于训练样本来训练出机器学习模型;模型测试步骤用于获得训练出的机器学习模型针对测试样本的测试结果;模型评估步骤用于基于测试结果的准确性来评估训练出的机器学习模型的效果。
作为示例,可在用于构建机器学习建模过程的图形界面中显示用于表示构建的机器学习建模过程的有向无环图(DAG图),其中,所述有向无环图中的节点与所述机器学习建模过程中的步骤一一对应。相应地,在未运行所述有向无环图之前,所述有向无环图中的所有节点均处于编辑状态,用户可通过对显示的DAG图的编辑操作,来构建对应的机器学习建模过程。
在步骤S20中,响应于用于运行所述机器学习建模过程中的至少一个步骤的用户操作,使所述至少一个步骤由编辑状态进入运行状态,并按序运行处于运行状态的步骤。这里,步骤的运行状态指示该步骤在本次运行中将被运行,步骤的编辑状态指示该步骤在本次运行中将不会被运行。
具体说来,按序运行处于运行状态的步骤即:按照在所述机器学习建模过程中处于运行状态的步骤之间的逻辑关系来运行处于运行状态的步骤。例如,当两个步骤之间的逻辑关系是一个步骤的输出作为另一个步骤的输入时,这两个步骤的执行顺序是先执行所述一个步骤,在执行完所述一个步骤之后,执行所述另一个步骤。
作为示例,当在所述图形界面中显示的是用于表示构建的机器学习建模过程的DAG图时,响应于用于运行所述有向无环图中的至少一个节点的用户操作,使所述至少一个节点由编辑状态进入运行状态,并按照所述至少一个节点之间的连接顺序来运行与所述至少一个节点对应的步骤。
在步骤S30中,在不影响当前正运行的步骤的运行的同时,响应于用户的用于停止运行当前正运行的步骤的下游的处于运行状态的步骤的运行停止操作,使所述运行停止操作所针对的步骤由运行状态进入编辑状态。也就是说,在运行当前步骤的同时,即使用户进行操作以停止其下游步骤,当前步骤也将正常运行而不受影响。由于本次运行仅按序运行处于运行状态的步骤,因此,本次运行将不会运行该由运行状态进入编辑状态的步骤。
这里,当前正运行的步骤的下游的处于运行状态的步骤是指:运行顺序在当前正运行的步骤之后的步骤。作为示例,所述运行停止操作可针对机器学习建模过程中的一个步骤或多个步骤。例如,可在用于构建机器学习建模过程的图形界面中显示分别针对每一个步骤的用于在本次运行中停止运行该步骤的控件,运行停止操作可以是对该控件的选择操作。
作为示例,根据本发明的示例性实施例的用于运行机器学习建模过程的方法还可包括:在不影响当前正运行的步骤的运行的同时,响应于用户的用于继续运行当前正运行的步骤的下游的处于编辑状态的步骤的继续运行操作,使所述继续运行操作所针对的步骤由编辑状态进入运行状态。由于本次运行将会按序运行所有处于运行状态的步骤,因此,当运行完该由编辑状态进入运行状态的步骤的上一步骤,将会继续运行该由编辑状态进入运行状态的步骤。
作为示例,所述继续运行操作可针对机器学习建模过程中的一个步骤或多个步骤。例如,可在用于构建机器学习建模过程的图形界面中显示分别针对每一个步骤的用于在本次运行中运行该步骤的控件,继续运行操作可以是对该控件的选择操作。优选地,可针对显示的机器学习建模过程中的每一个步骤,显示该步骤的用于开启或关闭“在本次运行中运行该步骤”的开关按钮,继续运行操作可以是开启该开关按钮的操作,运行停止操作可以是关闭该开关按钮的操作。
可通过各种适当的方式来实现按序运行机器学习建模过程中的处于运行状态的步骤。作为示例,所述方法可由用于执行机器学习过程的机器学习平台来执行,可响应于用于运行显示的机器学习建模过程中的至少一个步骤的用户操作,将所述至少一个步骤的状态由编辑状态修改为运行状态,并将用于执行相应步骤的任务提交给所述机器学习平台的运行装置(例如,位于所述机器学习平台后端的用于执行任务工作流的服务器),以按照所述至少一个步骤的配置及步骤之间的逻辑关系来按序运行所述至少一个步骤;并且,在按序运行所述至少一个步骤的同时,可响应于用户的用于停止运行当前正运行的步骤的下游的处于运行状态的步骤的运行停止操作,将该步骤的状态由运行状态修改为编辑状态,并通知运行装置该步骤的状态已经修改为编辑状态,以使运行装置在本次运行中不运行该步骤;此外,在不影响当前正运行的步骤的运行的同时,还可响应于用户的用于继续运行当前正运行的步骤的下游的处于编辑状态的步骤的继续运行操作,将该步骤的状态由编辑状态修改为运行状态,并通知运行装置该步骤的状态已经修改为运行状态,以使运行装置在运行完该步骤的上一步骤之后,基于该步骤的配置来运行该步骤,从而实现按序运行所有处于运行状态的步骤,并且,仅运行处于运行状态的步骤。
作为示例,针对显示的机器学习建模过程中的每一个步骤,可通过修改该步骤的指示其状态的参数的参数值来实现使该步骤由编辑状态进入运行状态或由运行状态进入编辑状态。
作为示例,当接收到用于运行显示的机器学习建模过程中的至少一个步骤的用户操作时,可响应于所述用户操作,将所述至少一个步骤的状态由编辑状态修改为运行状态,并由于检测到该机器学习建模过程当前没有被运行,调用“start”接口来通知所述机器学习平台的运行装置开始运行处于运行状态的步骤,并将所述至少一个步骤的配置及步骤之间的逻辑关系发送到运行装置;当接收到用户的用于继续运行当前正运行的步骤的下游的处于编辑状态的步骤的继续运行操作时,可响应于所述继续运行操作,将继续运行操作所针对的步骤的状态由编辑状态修改为运行状态,并由于检测到所述机器学习建模过程当前正在被运行,调用“append”接口来通知所述机器学习平台的运行装置将该步骤添加到运行排队队列,并将该步骤的配置及该步骤与其他步骤之间的逻辑关系发送到运行装置。即,可通过调用不同的运行接口来实现运行机器学习建模过程。
作为示例,根据本发明的示例性实施例的用于运行机器学习建模过程的方法还可包括:在不影响当前正运行的步骤的运行的同时,响应于用户的用于修改当前正运行的步骤的下游的处于编辑状态的步骤的配置的配置操作,对所述配置操作所针对的步骤的配置进行修改。
作为示例,当在用于构建机器学习建模过程的图形界面中显示的是用于表示构建的机器学习建模过程的有向无环图,并且运行与所述有向无环图中的至少一个节点对应的步骤时,可在不影响当前正运行的节点的运行的同时,接收用户对当前运行的节点的下游的处于编辑状态的节点的选择操作,并响应于所述选择操作,向用户显示用于配置与所选择的节点对应的步骤的配置项的控件,然后,接收用户对显示的控件的输入操作,并响应于所述输入操作,对该节点所对应的步骤的配置进行修改。例如,对节点的选择操作可以是通过鼠标左键单击节点的操作。例如,可在所述图形界面的预定区域中显示用于配置与所选择的节点对应的步骤的配置项的控件。
例如,在用于构建机器学习建模过程的图形界面中显示一个用于表示机器学习建模过程的DAG图,如图2所示,该DAG图包括节点一和节点二,可响应于用于运行该DAG图的用户操作,使节点一和节点二进入运行状态,并依次运行节点一对应的步骤和节点二对应的步骤。正运行节点一对应的步骤的同时,当接收到用于停止运行节点二的运行停止操作时,可响应于该运行停止操作,在继续运行节点一对应的步骤的同时,使节点二由运行状态进入编辑状态。然后,当接收到用于修改节点二的配置的配置操作时,可响应于该配置操作,在不影响节点一对应的步骤的运行的同时,修改节点二对应的步骤的配置。接下来,当接收到用于继续运行节点二的继续运行操作时,可响应于该继续运行操作,在不影响节点一对应的步骤的运行的同时,使节点二由编辑状态进入运行状态,以在运行完节点一对应的步骤之后,基于修改后的配置来继续运行节点二对应的步骤。从而,在不影响DAG图的运行的同时,按照用户的需求对节点二对应的步骤的配置进行了修改,以在运行节点二对应的步骤时,能够按照用户所需的配置来运行。相对于现有技术必须在整个DAG图运行完或者手动停止运行DAG图之后,才能修改DAG图的方式,本发明的示例性实施例能够对DAG图的局部进行调整而不影响DAG图的运行,提高了运行DAG图的灵活性,进而提高了构建机器学习建模过程的效率。
作为示例,根据本发明的示例性实施例的用于运行机器学习建模过程的方法还可包括:在不影响当前正运行的步骤的运行的同时,响应于用户的用于调整所述机器学习建模过程之中处于运行状态的最下游步骤的下游结构的结构调整操作,调整所述机器学习建模过程的结构。这里,所述机器学习建模过程之中处于运行状态的最下游步骤的下游结构即:所述机器学习建模过程之中运行顺序应当在最下游的处于运行状态的步骤之后的部分的结构。应该理解,在所述图形界面中显示的机器学习建模过程中的步骤仅有两种状态,即运行状态和编辑状态,如果一个步骤不处于运行状态,那么它必然处于编辑状态。例如,响应于结构调整操作向机器学习建模过程新添加的步骤处于编辑状态。
作为示例,结构调整操作可包括:用于向机器学习建模过程添加步骤的操作、用于删除机器学习建模过程中的步骤的操作、以及用于改变机器学习建模过程中的步骤之间的逻辑关系的操作之中的至少一项。作为示例,当在用于构建机器学习建模过程的图形界面中显示的是用于表示构建的机器学习建模过程的有向无环图时,结构调整操作可包括:向有向无环图中添加节点、从有向无环图中删除节点、改变有向无环图中的节点之间的连接关系之中的至少一项。作为示例,可在不影响当前正运行的步骤的运行的同时,在所述图形界面的预定区域显示节点列表,并接收从所述节点列表中选择并拖动节点连接到所述有向无环图中的节点的结构调整操作。作为另一示例,可在不影响当前正运行的步骤的运行的同时,响应于针对所述有向无环图中的一个节点的一个连接点的用户操作,向用户推荐所述节点通过所述连接点能够连接到的节点和/或节点组合;并接收用户从推荐的节点和/或节点组合中选择一个节点或一个节点组合连接到所述连接点的结构调整操作。例如,可在所述连接点的周围展示所述节点通过所述连接点能够连接到的节点和/或节点组合。例如,所述针对所述有向无环图中的一个节点的一个连接点的用户操作可包括:在所述有向无环图中的一个节点的一个连接点上悬停,并在所述连接点响应于所述悬停操作进入待连接状态之后,单击所述连接点。
例如,在用于构建机器学习建模过程的图形界面中显示一个用于表示机器学习建模过程的DAG图,如图3所示,该DAG图包括节点一和节点二,可响应于用于运行该DAG图的用户操作,使节点一和节点二进入运行状态,并依次运行节点一对应的步骤和节点二对应的步骤。正运行节点一对应的步骤或节点二对应的步骤的同时,当接收到用于向该DAG图添加节点三并连接到节点二的结构调整操作时,可响应于该结构调整操作,在继续运行节点一对应的步骤或节点二对应的步骤的同时,在该DAG图中添加节点三并连接到节点二,并使节点三进入编辑状态,进一步地,还可响应于用于修改节点三的配置的配置操作,修改节点三对应的步骤的配置。然后,当接收到用于继续运行节点三的继续运行操作时,可响应于该继续运行操作,在不影响当前正运行的步骤的运行的同时,使节点三由编辑状态进入运行状态,以在运行完节点二对应的步骤之后,继续运行节点三对应的步骤。从而,在不影响DAG图的运行的同时,按照用户的需求添加了节点三,以在运行完节点二对应的步骤之后,继续运行新添加的节点三对应的步骤。
如图4所示,在用于构建机器学习建模过程的图形界面中显示表示机器学习建模过程的DAG图,当前正运行该DAG图中的“HE—TreeNet”节点对应的步骤,“HE—TreeNet”节点下游的模型测试节点和模型评估节点均处于运行状态,在继续运行“HE—TreeNet”节点对应的步骤的同时,可响应于针对模型测试节点的运行停止操作,使模型测试节点由运行状态进入编辑状态,并响应于用户对处于编辑状态的模型测试节点的选择操作,在该图形界面的右侧区域显示用于配置模型测试步骤的配置项的控件,并响应于用户对显示的控件的输入操作,对模型测试步骤的配置进行修改,然后,可响应于针对模型测试节点的继续运行操作,使模型测试节点由编辑状态进入运行状态,从而实现在运行到模型测试步骤之前,对模型测试步骤的配置进行调整,以基于调整后的配置来运行模型测试步骤。此外,可在所述图形界面的左侧区域显示节点列表,在运行“HE—TreeNet”节点对应的步骤的同时,可接收从该节点列表中选择并拖动节点连接到该有向无环图中的节点的结构调整操作。
此外,作为示例,根据本发明的示例性实施例的用于运行机器学习建模过程的方法还可包括:当在用于构建机器学习建模过程的图形界面中显示的是用于表示构建的机器学习建模过程的有向无环图,并且运行与所述有向无环图中的至少一个节点对应的步骤时,接收用户对所述有向无环图中的节点的选择操作,并可响应于所述选择操作,在所选择的节点的周围显示分别用于展示与所述节点对应的步骤的至少一个输出元素的至少一个控件,并响应于用户对所述至少一个控件之一的选择操作,向用户展示与所选择的控件对应的输出元素的输出结果。一个步骤的至少一个输出元素即该步骤输出的至少一个元素。作为示例,所述至少一个控件可与所述至少一个输出元素一一对应。作为示例,所述至少一个控件可按照所对应的输出元素的类型被施加对应的视觉效果,其中,不同类型对应的视觉效果不同。作为示例,输出元素的输出结果可包括输出元素的当前输出结果和/或历史输出结果。这里,当前输出结果即本次运行与所选择的节点对应的步骤后得到的输出结果,历史输出结果即在本次运行之前运行与所选择的节点对应的步骤后得到的输出结果。作为示例,所述至少一个控件被显示的视觉效果还可用于区分地提示对应的输出元素是否具有本次运行的结果。
作为示例,输出元素的输出结果可以是输出元素的具体输出内容本身,也可以是具体输出内容的相关信息,例如,可以是具体输出内容的大小、用于访问具体输出内容的通道入口等。应该理解,同一步骤的多个输出元素的类型可相同或不同,不同步骤的输出元素的类型可相同或不同。作为示例,输出元素的类型可包括以下类型之中的至少一种:数据表、用于限定机器学习模型的信息、评估报告、分析报告。例如,关于数据表,可以是数据拆分步骤输出的作为训练集的数据表和作为测试集的数据表,可以是特征抽取步骤输出的作为训练样本的数据表和作为测试样本的数据表,还可以是模型测试步骤输出的指示测试结果的数据表;用于限定机器学习模型的信息可以是机器学习模型的参数;评估报告可以是用于评估机器学习模型的测试效果的报告;分析报告可以是关于运行步骤的过程中所进行的分析的报告,例如,关于在运行特征抽取步骤的过程中所进行的特征重要性分析的报告。
如图5所示,响应于用户对运行的有向无环图中的节点的选择操作,可在所选择的节点的周围显示分别用于展示与所述节点对应的步骤的至少一个输出元素的至少一个控件,该步骤的多个输出元素的类型可相同或不同,且不同类型的输出元素所对应的控件被区分显示。如图6所示,可响应于用户对在数据拆分节点的周围显示的控件的选择操作,在图形界面的右侧区域中展示与所选择的控件对应的输出元素的输出结果,并将数据拆分节点与所选择的控件对应的输出元素被应用到的后续节点(即,特征抽取节点)之间的连线突出显示(例如,高亮显示)。其中,可通过显示与所选择的控件对应的输出元素的具体输出内容的大小、用于访问该具体输出内容的通道入口等来向用户展示数据拆分步骤的输出结果,此外,还可根据用户选择来在切换当前输出结果和历史输出结果的展示。应理解,本发明的示例性实施例在向用户展示与所选择的节点对应的步骤的输出结果时的具体交互场景及操作细节不限于图5和图6所示的示例。
根据本发明的上述示例性实施例,方便用户查看上游步骤的输出结果,并及时调整下游步骤的配置或下游结构,以使下游部分能够更好地对上游步骤输出的结果进行适合的处理,大大提高了建模工作的灵活性和效率。
此外,作为示例,根据本发明的示例性实施例的用于运行机器学习建模过程的方法还可包括:在不影响当前正运行的步骤的运行的同时,响应于用于在所述图形界面中构建另一个机器学习建模过程的用户操作(也即,构建操作),对所述另一个机器学习建模过程进行构建,其中,所述另一个机器学习建模过程中的步骤处于编辑状态。
进一步地,作为示例,根据本发明的示例性实施例的用于运行机器学习建模过程的方法还可包括:在不影响当前正运行的步骤的运行的同时,响应于用于运行所述另一个机器学习建模过程中的至少一个步骤的用户操作,使所述至少一个步骤由编辑状态进入运行状态,并按序运行所述另一个机器学习建模过程中的处于运行状态的步骤。应该理解,这里的按序运行是指:按照在所述另一机器学习建模过程中处于运行状态的步骤之间的逻辑关系来运行处于运行状态的步骤。根据本发明的示例性实施例,能够同时运行多个机器学习建模过程,并且,彼此之间的运行互不影响。
例如,在用于构建机器学习建模过程的图形界面中显示一个用于表示机器学习建模过程的DAG图,如图7所示,该DAG图包括节点一和节点二,可响应于用于运行该DAG图的用户操作,使节点一和节点二进入运行状态,并依次运行节点一对应的步骤和节点二对应的步骤。当接收到用于在该图形界面中构建另一个用于表示另一个机器学习建模过程的DAG图的用户操作时,可响应于所述用户操作,在不影响当前运行的步骤的运行的同时,在该图形界面中新添加节点三和节点四,并将节点三与节点四相连接以形成用于表示所述另一个机器学习建模过程的DAG图,其中,节点三和节点四处于编辑状态,进一步地,还可响应于用于修改节点三的配置和节点四的配置的配置操作,修改节点三对应的步骤的配置和节点四对应的步骤的配置。接下来,当接收到用于运行所述另一个DAG图的用户操作时,可响应于所述用户操作,在不影响当前运行的步骤的运行的同时,使节点三和节点四由编辑状态进入运行状态,并依次运行节点三对应的步骤和节点四对应的步骤,即,同时运行两个DAG图。
如图8所示,在用于构建机器学习建模过程的图形界面中显示表示机器学习建模过程的DAG图,当前正运行该DAG图中的“HE—TreeNet”节点对应的步骤,可在所述图形界面的左侧区域显示节点列表,在继续运行该DAG图的同时,可接收从该节点列表中选择并添加到所述图形界面的画布区域,并将新添加的节点相互连接的用户操作,响应于该用户操作,创建另一个DAG图,其中,新创建的DAG图中的节点处于编辑状态。此外,还可响应于用户操作,在运行原DAG图的同时,运行新创建的DAG图。应理解,根据本发明的示例性实施例的运行机器学习建模过程的具体交互场景及操作细节不限于图2至图4、图7至图8所示的示例。
进一步地,作为示例,可在不影响当前正运行的步骤的运行的同时,响应于用户的用于停止运行所述另一个机器学习建模过程中的当前正运行的步骤的下游的处于运行状态的步骤的运行停止操作,使所述运行停止操作所针对的步骤由运行状态进入编辑状态。
作为示例,可在不影响当前正运行的步骤的运行的同时,响应于用户的用于继续运行所述另一个机器学习建模过程中的当前正运行的步骤的下游的处于编辑状态的步骤的继续运行操作,使所述继续运行操作所针对的步骤由编辑状态进入运行状态。
作为示例,可在不影响当前正运行的步骤的运行的同时,响应于用户的用于修改所述另一个机器学习建模过程中的当前正运行的步骤的下游的处于编辑状态的步骤的配置的配置操作,对所述配置操作所针对的步骤的配置进行修改。
作为示例,可在不影响当前正运行的步骤的运行的同时,响应于用户的用于调整所述另一个机器学习建模过程之中处于运行状态的最下游步骤的下游结构的结构调整操作,调整所述另一个机器学习建模过程的结构。
此外,作为示例,可当接收到用于保存所述图形界面中当前显示的机器学习建模过程的用户操作、用于运行当前显示的机器学习建模过程中的至少一个步骤的用户操作、以及用于继续运行当前正运行的步骤的下游的处于编辑状态的步骤的继续运行操作之一时,将所述图形界面中当前显示的机器学习建模过程作为一个版本进行保存。例如,如果用户每次修改机器学习建模过程之后,需要点击“确认”控件或“保存”控件才能保存修改后的机器学习建模过程,则用于保存所述图形界面中当前显示的机器学习建模过程的用户操作可以是用户每次对机器学习建模过程进行修改之后点击“确认”控件或“保存”控件的操作;如果用户每次修改机器学习建模过程之后,不需要点击“确认”控件或“保存”控件,即可自动保存修改后的机器学习建模过程,则可将用户每次修改机器学习建模过程的操作均作为用于保存所述图形界面中当前显示的机器学习建模过程的用户操作。此外,当所述图形界面中当前显示的机器学习建模过程为多个时,可将所述多个机器学习建模过程作为一个历史版本进行保存,也可分别将所述图形界面中当前显示的不同机器学习建模过程分别作为不同的历史版本进行保存。
如图9所示,用于显示机器学习建模过程的历史版本的图形界面的最左侧一栏可显示机器学习建模过程的各个历史版本,具体地,可显示各个历史版本的版本名称、操作者以及操作时间等。可响应于用户从中选择历史版本的操作(例如,选择版本V3的用户操作),在所述图形界面的中间区域中显示所选择的机器学习建模过程的历史版本(例如,以DAG图的方式),并还可在所述图形界面的右侧配置栏中显示用户从中间区域显示的DAG图中选择的节点对应的步骤的具体配置情况(例如,各配置项的具体内容),此外,还可具体地向用户显示该历史版本与上一历史版本的不同之处,例如,基于上一历史版本进行了哪些操作(例如,增加步骤、修改步骤的配置、删除步骤等)后得到该历史版本;和/或,向用户显示已经运行了该历史版本的哪些步骤。此外,还可显示用于查看该历史版本中的步骤的输出结果的控件。此外,还可根据用户的恢复操作,在用于构建机器学习建模过程图形界面中显示该历史版本,以继续基于该历史版本进行构建。此外,还可基于用户通过右侧配置栏对该历史版本的相关信息的修改操作,对该历史版本的相关信息进行修改和添加。根据本发明的示例性实施例,相对于现有技术仅将运行过的机器学习建模过程进行保存的方式,能够将机器学习建模过程的产生过程(也即,主要生成资料)进行更为详细的记录,方便用户查看产生过程中每个历史节点的版本,便于用户进行建模工作的回溯和审计。应理解,本发明的示例性实施例在向用户显示机器学习建模过程的历史版本的具体交互场景及操作细节不限于图9所示的示例。
图10示出根据本发明的示例性实施例的用于运行机器学习建模过程的系统的框图。如图10所示,根据本发明的示例性实施例的用于运行机器学习建模过程的系统包括:显示装置10、状态管理装置20和运行装置30。
具体说来,显示装置10用于在用于构建机器学习建模过程的图形界面中显示构建的机器学习建模过程。
作为示例,显示装置10可在用于构建机器学习建模过程的图形界面中显示用于表示构建的机器学习建模过程的有向无环图,其中,所述有向无环图中的节点与所述机器学习建模过程中的步骤一一对应。
状态管理装置20用于在未运行所述机器学习建模过程之前,使所述机器学习建模过程中的步骤均处于编辑状态,并响应于用于运行所述机器学习建模过程中的至少一个步骤的用户操作,使所述至少一个步骤由编辑状态进入运行状态。
运行装置30用于按序运行处于运行状态的步骤。
在运行装置30按序运行处于运行状态的步骤的同时,状态管理装置20响应于用户的用于停止运行当前正运行的步骤的下游的处于运行状态的步骤的运行停止操作,使所述运行停止操作所针对的步骤由运行状态进入编辑状态。
作为示例,可在运行装置30按序运行处于运行状态的步骤的同时,状态管理装置20响应于用户的用于继续运行当前正运行的步骤的下游的处于编辑状态的步骤的继续运行操作,使所述继续运行操作所针对的步骤由编辑状态进入运行状态。
作为示例,根据本发明的示例性实施例的用于运行机器学习建模过程的系统还可包括:构建装置(未示出)。
作为一个示例,构建装置可用于在运行装置30按序运行处于运行状态的步骤的同时,响应于用户的用于修改当前正运行的步骤的下游的处于编辑状态的步骤的配置的配置操作,对所述配置操作所针对的步骤的配置进行修改。
作为另一个示例,构建装置可用于在运行装置30按序运行处于运行状态的步骤的同时,响应于用户的用于调整所述机器学习建模过程之中处于运行状态的最下游步骤的下游结构的结构调整操作,调整所述机器学习建模过程的结构。
作为示例,结构调整操作可包括:用于向机器学习建模过程添加步骤的操作、用于删除机器学习建模过程中的步骤的操作、以及用于改变机器学习建模过程中的步骤之间的逻辑关系的操作之中的至少一项。
作为另一个示例,构建装置可用于在运行装置30按序运行所述机器学习建模过程中的处于运行状态的步骤的同时,响应于用于在所述图形界面中构建另一个机器学习建模过程的用户操作,对所述另一个机器学习建模过程进行构建,其中,状态管理装置20在未运行所述另一个机器学习建模过程之前,使所述另一个机器学习建模过程中的步骤均处于编辑状态。
此外,作为示例,在运行装置30按序运行所述机器学习建模过程中的处于运行状态的步骤的同时,状态管理装置20可响应于用于运行所述另一个机器学习建模过程中的至少一个步骤的用户操作,使所述至少一个步骤由编辑状态进入运行状态,并且运行装置30还同时按序运行所述另一个机器学习建模过程中的处于运行状态的步骤。
作为示例,根据本发明的示例性实施例的用于运行机器学习建模过程的系统还可包括:版本保存装置(未示出),用于当接收到用于保存所述图形界面中当前显示的机器学习建模过程的用户操作、用于运行当前显示的机器学习建模过程中的至少一个步骤的用户操作、以及用于继续运行当前正运行的步骤的下游的处于编辑状态的步骤的继续运行操作之一时,将所述图形界面中当前显示的机器学习建模过程作为一个版本进行保存。
应该理解,根据本发明示例性实施例的用于运行机器学习建模过程的系统的具体实现方式可参照结合图1至图9描述的相关具体实现方式来实现,在此不再赘述。
根据本发明示例性实施例的用于运行机器学习建模过程的系统所包括的装置可被分别配置为执行特定功能的软件、硬件、固件或上述项的任意组合。例如,这些装置可对应于专用的集成电路,也可对应于纯粹的软件代码,还可对应于软件与硬件相结合的模块。此外,这些装置所实现的一个或多个功能也可由物理实体设备(例如,处理器、客户端或服务器等)中的组件来统一执行。
应理解,根据本发明示例性实施例的用于运行机器学习建模过程的方法可通过记录在计算可读介质上的程序来实现,例如,根据本发明的示例性实施例,可提供一种用于运行机器学习建模过程的计算机可读介质,其中,在所述计算机可读介质上记录有用于执行以下方法步骤的计算机程序:在用于构建机器学习建模过程的图形界面中显示构建的机器学习建模过程,其中,所述机器学习建模过程中的步骤处于编辑状态;响应于用于运行所述机器学习建模过程中的至少一个步骤的用户操作,使所述至少一个步骤由编辑状态进入运行状态,并按序运行处于运行状态的步骤;在不影响当前正运行的步骤的运行的同时,响应于用户的用于停止运行当前正运行的步骤的下游的处于运行状态的步骤的运行停止操作,使所述运行停止操作所针对的步骤由运行状态进入编辑状态。
上述计算机可读介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行,应注意,所述计算机程序还可用于执行除了上述步骤以外的附加步骤或者在执行上述步骤时执行更为具体的处理,这些附加步骤和进一步处理的内容已经参照图1至图9进行了描述,这里为了避免重复将不再进行赘述。
应注意,根据本发明示例性实施例的用于运行机器学习建模过程的系统可完全依赖计算机程序的运行来实现相应的功能,即,各个装置与计算机程序的功能架构中与各步骤相应,使得整个系统通过专门的软件包(例如,lib库)而被调用,以实现相应的功能。
另一方面,根据本发明示例性实施例的用于运行机器学习建模过程的系统所包括的各个装置也可以通过硬件、软件、固件、中间件、微代码或其任意组合来实现。当以软件、固件、中间件或微代码实现时,用于执行相应操作的程序代码或者代码段可以存储在诸如存储介质的计算机可读介质中,使得处理器可通过读取并运行相应的程序代码或者代码段来执行相应的操作。
例如,本发明的示例性实施例还可以实现为计算装置,该计算装置包括存储部件和处理器,存储部件中存储有计算机可执行指令集合,当所述计算机可执行指令集合被所述处理器执行时,执行用于运行机器学习建模过程的方法。
具体说来,所述计算装置可以部署在服务器或客户端中,也可以部署在分布式网络环境中的节点装置上。此外,所述计算装置可以是PC计算机、平板装置、个人数字助理、智能手机、web应用或其他能够执行上述指令集合的装置。
这里,所述计算装置并非必须是单个的计算装置,还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。计算装置还可以是集成控制系统或系统管理器的一部分,或者可被配置为与本地或远程(例如,经由无线传输)以接口互联的便携式电子装置。
在所述计算装置中,处理器可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制,处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。
根据本发明示例性实施例的用于运行机器学习建模过程的方法中所描述的某些操作可通过软件方式来实现,某些操作可通过硬件方式来实现,此外,还可通过软硬件结合的方式来实现这些操作。
处理器可运行存储在存储部件之一中的指令或代码,其中,所述存储部件还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收,其中,所述网络接口装置可采用任何已知的传输协议。
存储部件可与处理器集成为一体,例如,将RAM或闪存布置在集成电路微处理器等之内。此外,存储部件可包括独立的装置,诸如,外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储部件和处理器可在操作上进行耦合,或者可例如通过I/O端口、网络连接等互相通信,使得处理器能够读取存储在存储部件中的文件。
此外,所述计算装置还可包括视频显示器(诸如,液晶显示器)和用户交互接口(诸如,键盘、鼠标、触摸输入装置等)。计算装置的所有组件可经由总线和/或网络而彼此连接。
根据本发明示例性实施例的用于运行机器学习建模过程的方法所涉及的操作可被描述为各种互联或耦合的功能块或功能示图。然而,这些功能块或功能示图可被均等地集成为单个的逻辑装置或按照非确切的边界进行操作。
例如,如上所述,根据本发明示例性实施例的用于运行机器学习建模过程的计算装置可包括存储部件和处理器,其中,存储部件中存储有计算机可执行指令集合,当所述计算机可执行指令集合被所述处理器执行时,执行下述步骤:在用于构建机器学习建模过程的图形界面中显示构建的机器学习建模过程,其中,所述机器学习建模过程中的步骤处于编辑状态;响应于用于运行所述机器学习建模过程中的至少一个步骤的用户操作,使所述至少一个步骤由编辑状态进入运行状态,并按序运行处于运行状态的步骤;在不影响当前正运行的步骤的运行的同时,响应于用户的用于停止运行当前正运行的步骤的下游的处于运行状态的步骤的运行停止操作,使所述运行停止操作所针对的步骤由运行状态进入编辑状态。
以上描述了本发明的各示例性实施例,应理解,上述描述仅是示例性的,并非穷尽性的,本发明不限于所披露的各示例性实施例。在不偏离本发明的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。因此,本发明的保护范围应该以权利要求的范围为准。

Claims (10)

1.一种用于运行机器学习建模过程的方法,其中,所述方法包括:
在用于构建机器学习建模过程的图形界面中显示构建的机器学习建模过程,其中,所述机器学习建模过程中的步骤处于编辑状态;
响应于用于运行所述机器学习建模过程中的至少一个步骤的用户操作,使所述至少一个步骤由编辑状态进入运行状态,并按序运行处于运行状态的步骤;
在不影响当前正运行的步骤的运行的同时,响应于用户的用于停止运行当前正运行的步骤的下游的处于运行状态的步骤的运行停止操作,使所述运行停止操作所针对的步骤由运行状态进入编辑状态。
2.根据权利要求1所述的方法,其中,所述方法还包括:
在不影响当前正运行的步骤的运行的同时,响应于用户的用于继续运行当前正运行的步骤的下游的处于编辑状态的步骤的继续运行操作,使所述继续运行操作所针对的步骤由编辑状态进入运行状态。
3.根据权利要求1所述的方法,其中,所述方法还包括:
在不影响当前正运行的步骤的运行的同时,响应于用户的用于修改当前正运行的步骤的下游的处于编辑状态的步骤的配置的配置操作,对所述配置操作所针对的步骤的配置进行修改。
4.根据权利要求1所述的方法,其中,所述方法还包括:
在不影响当前正运行的步骤的运行的同时,响应于用户的用于调整所述机器学习建模过程之中处于运行状态的最下游步骤的下游结构的结构调整操作,调整所述机器学习建模过程的结构。
5.根据权利要求4所述的方法,其中,结构调整操作包括:用于向机器学习建模过程添加步骤的操作、用于删除机器学习建模过程中的步骤的操作、以及用于改变机器学习建模过程中的步骤之间的逻辑关系的操作之中的至少一项。
6.根据权利要求1所述的方法,其中,在用于构建机器学习建模过程的图形界面中显示构建的机器学习建模过程的步骤包括:
在用于构建机器学习建模过程的图形界面中显示用于表示构建的机器学习建模过程的有向无环图,其中,所述有向无环图中的节点与所述机器学习建模过程中的步骤一一对应。
7.根据权利要求1所述的方法,其中,所述方法还包括:
在不影响当前正运行的步骤的运行的同时,响应于用于在所述图形界面中构建另一个机器学习建模过程的用户操作,对所述另一个机器学习建模过程进行构建,其中,所述另一个机器学习建模过程中的步骤处于编辑状态。
8.一种用于运行机器学习建模过程的系统,其中,所述系统包括:
显示装置,用于在用于构建机器学习建模过程的图形界面中显示构建的机器学习建模过程;
状态管理装置,用于在未运行所述机器学习建模过程之前,使所述机器学习建模过程中的步骤均处于编辑状态,并响应于用于运行所述机器学习建模过程中的至少一个步骤的用户操作,使所述至少一个步骤由编辑状态进入运行状态;
运行装置,用于按序运行处于运行状态的步骤,
其中,在运行装置按序运行处于运行状态的步骤的同时,状态管理装置响应于用户的用于停止运行当前正运行的步骤的下游的处于运行状态的步骤的运行停止操作,使所述运行停止操作所针对的步骤由运行状态进入编辑状态。
9.一种计算机可读介质,其中,在所述计算机可读介质上记录有用于执行如权利要求1至7任一所述的用于运行机器学习建模过程的方法的计算机程序。
10.一种计算装置,包括存储部件和处理器,其中,存储部件中存储有计算机可执行指令集合,当所述计算机可执行指令集合被所述处理器执行时,执行如权利要求1至7任一所述的用于运行机器学习建模过程的方法。
CN201810669947.XA 2018-06-26 2018-06-26 用于运行机器学习建模过程的方法及系统 Active CN108960433B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810669947.XA CN108960433B (zh) 2018-06-26 2018-06-26 用于运行机器学习建模过程的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810669947.XA CN108960433B (zh) 2018-06-26 2018-06-26 用于运行机器学习建模过程的方法及系统

Publications (2)

Publication Number Publication Date
CN108960433A true CN108960433A (zh) 2018-12-07
CN108960433B CN108960433B (zh) 2022-04-05

Family

ID=64486764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810669947.XA Active CN108960433B (zh) 2018-06-26 2018-06-26 用于运行机器学习建模过程的方法及系统

Country Status (1)

Country Link
CN (1) CN108960433B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020239033A1 (zh) * 2019-05-28 2020-12-03 第四范式(北京)技术有限公司 机器学习自动建模过程的展示方法及系统

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1755721A (zh) * 2004-10-01 2006-04-05 微软公司 组件化和可扩展的工作流模型
CN101782976A (zh) * 2010-01-15 2010-07-21 南京邮电大学 一种云计算环境下机器学习自动选择方法
CN103403700A (zh) * 2011-03-01 2013-11-20 国际商业机器公司 用于在mapreduce环境中处理机器学习算法的系统和方法
CN103620581A (zh) * 2011-03-01 2014-03-05 赛门铁克公司 用于执行机器学习的用户界面和工作流
US9098326B1 (en) * 2011-11-09 2015-08-04 BigML, Inc. Evolving parallel system to automatically improve the performance of multiple concurrent tasks on large datasets
US20150317562A1 (en) * 2014-05-01 2015-11-05 Adobe Systems Incorporated Automatic moderation of online content
CN105843873A (zh) * 2016-03-18 2016-08-10 北京物思创想科技有限公司 用于管理数据建模的系统及其方法
US20160232457A1 (en) * 2015-02-11 2016-08-11 Skytree, Inc. User Interface for Unified Data Science Platform Including Management of Models, Experiments, Data Sets, Projects, Actions and Features
CN106228314A (zh) * 2016-08-11 2016-12-14 电子科技大学 基于深度增强学习的工作流调度方法
CN106779088A (zh) * 2016-12-06 2017-05-31 北京物思创想科技有限公司 执行机器学习流程的方法及系统
US20170228222A1 (en) * 2015-12-18 2017-08-10 International Business Machines Corporation Dynamic recompilation techniques for machine learning programs
CN107092962A (zh) * 2016-02-17 2017-08-25 阿里巴巴集团控股有限公司 一种分布式机器学习方法和平台
CN107169575A (zh) * 2017-06-27 2017-09-15 北京天机数测数据科技有限公司 一种可视化机器学习训练模型的建模系统和方法
US20170270432A1 (en) * 2016-03-17 2017-09-21 Accenture Global Solutions Limited System modernization using machine learning
CN107450972A (zh) * 2017-07-04 2017-12-08 阿里巴巴集团控股有限公司 一种调度方法、装置以及电子设备

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1755721A (zh) * 2004-10-01 2006-04-05 微软公司 组件化和可扩展的工作流模型
CN101782976A (zh) * 2010-01-15 2010-07-21 南京邮电大学 一种云计算环境下机器学习自动选择方法
CN103403700A (zh) * 2011-03-01 2013-11-20 国际商业机器公司 用于在mapreduce环境中处理机器学习算法的系统和方法
CN103620581A (zh) * 2011-03-01 2014-03-05 赛门铁克公司 用于执行机器学习的用户界面和工作流
US9098326B1 (en) * 2011-11-09 2015-08-04 BigML, Inc. Evolving parallel system to automatically improve the performance of multiple concurrent tasks on large datasets
US20150317562A1 (en) * 2014-05-01 2015-11-05 Adobe Systems Incorporated Automatic moderation of online content
US20160232457A1 (en) * 2015-02-11 2016-08-11 Skytree, Inc. User Interface for Unified Data Science Platform Including Management of Models, Experiments, Data Sets, Projects, Actions and Features
US20170228222A1 (en) * 2015-12-18 2017-08-10 International Business Machines Corporation Dynamic recompilation techniques for machine learning programs
CN107092962A (zh) * 2016-02-17 2017-08-25 阿里巴巴集团控股有限公司 一种分布式机器学习方法和平台
US20170270432A1 (en) * 2016-03-17 2017-09-21 Accenture Global Solutions Limited System modernization using machine learning
CN105843873A (zh) * 2016-03-18 2016-08-10 北京物思创想科技有限公司 用于管理数据建模的系统及其方法
CN106228314A (zh) * 2016-08-11 2016-12-14 电子科技大学 基于深度增强学习的工作流调度方法
CN106779088A (zh) * 2016-12-06 2017-05-31 北京物思创想科技有限公司 执行机器学习流程的方法及系统
CN107169575A (zh) * 2017-06-27 2017-09-15 北京天机数测数据科技有限公司 一种可视化机器学习训练模型的建模系统和方法
CN107450972A (zh) * 2017-07-04 2017-12-08 阿里巴巴集团控股有限公司 一种调度方法、装置以及电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ABADI M等: "Tensorflow: Large-scale machine learning on heterogeneous distributed systems", 《ARXIV:1603.04467》 *
刘冬清: "云计算编程模型的形式化描述方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
王兆华: "基于大数据分析下的机器学习模型设计方法", 《电脑知识与技术》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020239033A1 (zh) * 2019-05-28 2020-12-03 第四范式(北京)技术有限公司 机器学习自动建模过程的展示方法及系统

Also Published As

Publication number Publication date
CN108960433B (zh) 2022-04-05

Similar Documents

Publication Publication Date Title
CN106779088B (zh) 执行机器学习流程的方法及系统
US20210279577A1 (en) Testing of Computing Processes Using Artificial Intelligence
US9501596B2 (en) Graphical design verification environment generator
AU2004233548B2 (en) Method for Computer-Assisted Testing of Software Application Components
CN108710949A (zh) 用于创建机器学习建模模板的方法及系统
WO2021109928A1 (zh) 机器学习方案模板的创建方法、使用方法及装置
CN108830383A (zh) 用于展示机器学习建模过程的方法及系统
US8903691B2 (en) Linking graphical user interface testing tools and human performance modeling to enable usability assessment
CN108898229A (zh) 用于构建机器学习建模过程的方法及系统
CN108228861A (zh) 用于执行机器学习的特征工程的方法及系统
US20200202737A1 (en) Automated system for mapping ordinary 3d media as multiple event sinks to spawn interactive educational material
CN107316082A (zh) 用于确定机器学习样本的特征重要性的方法及系统
US10990359B2 (en) Use and advancements of assistive technology in automation for the visually-impaired workforce
CN110197004B (zh) 基于移动终端的电路仿真方法、装置、计算机介质及设备
WO2022134001A1 (zh) 基于容器化技术的机器学习模型框架的开发方法与系统
CN108960433A (zh) 用于运行机器学习建模过程的方法及系统
Yang Graphic user interface modelling and testing automation
Mao Multi-objective search-based mobile testing
Flora-Holmquist et al. The virtual finite-state machine design and implementation paradigm
CN102929632B (zh) 控件动作执行方法
Cai et al. Reinforcement learning application testing method based on multi-attribute fusion
Pulido Applying behavior driven development practices and tools to low-code technology
Chang et al. A survey and implementation on neural network visualization
Gervas Analysis of User Interface design methods
CN116400993B (zh) 用户使用客服页面功能时教学方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant