CN108898229B - 用于构建机器学习建模过程的方法及系统 - Google Patents

Abstract

提供一种用于构建机器学习建模过程的方法及系统。所述方法包括：在用于构建机器学习建模过程的图形界面中显示构建的机器学习建模过程；响应于用于运行所述机器学习建模过程中的至少一个步骤的用户操作，运行所述至少一个步骤；在运行所述至少一个步骤的同时，接收用户的用于修改所述机器学习建模过程的修改操作；响应于所述修改操作，对所述机器学习建模过程进行修改，其中，当运行到所述机器学习建模过程的被修改的部分时，基于修改后的机器学习建模过程来运行。根据所述方法及系统，能够提高机器学习建模的效率。

Description

用于构建机器学习建模过程的方法及系统

技术领域

本发明总体说来涉及机器学习领域，更具体地讲，涉及一种用于构建机器学习建模过程的方法及系统。

背景技术

随着海量数据的出现，人们倾向于使用机器学习技术来从数据中挖掘出价值。机器学习是人工智能研究发展到一定阶段的必然产物，其致力于通过计算的手段，利用经验来改善系统自身的性能。在计算机系统中，“经验”通常以“数据”形式存在，通过机器学习算法，可从数据中产生“模型”，也就是说，将经验数据提供给机器学习算法，就能基于这些经验数据产生模型，在面对新的情况时，模型会提供相应的判断，即，预测结果。可以看出，如何基于经验数据产生模型(即，机器学习建模过程)是机器学习技术的关键。

用户在构建机器学习建模过程时，需要不断地修改并运行机器学习建模过程，直至确认构建的机器学习建模过程能够满足其要求。而目前在通过机器学习平台(例如，微软云计算系统“Azure”等)构建机器学习建模过程时，在运行构建的机器学习建模过程的过程中，仅能查看该机器学习建模过程中的步骤的配置，如果用户想要修改该机器学习建模过程，则只能等整个机器学习建模过程运行完或者手动停止运行机器学习建模过程，一方面，等待整个机器学习建模过程运行完将需要较长时间，这使得不能及时地完善机器学习建模过程，极大地影响了建模效率；另一方面，手动停止运行机器学习建模过程，可能会导致已经运行了很长时间的步骤被迫停止运行，使得该步骤已得到的部分运行结果被舍弃，造成了运行工作的浪费，进而影响到建模效率。

发明内容

本发明的示例性实施例在于提供一种用于构建机器学习建模过程的方法及系统，以解决现有技术存在的建模效率低的问题。

根据本发明的示例性实施例，提供一种用于构建机器学习建模过程的方法，包括：在用于构建机器学习建模过程的图形界面中显示构建的机器学习建模过程；响应于用于运行所述机器学习建模过程中的至少一个步骤的用户操作，运行所述至少一个步骤；在运行所述至少一个步骤的同时，接收用户的用于修改所述机器学习建模过程的修改操作；响应于所述修改操作，对所述机器学习建模过程进行修改，其中，当运行到所述机器学习建模过程的被修改的部分时，基于修改后的机器学习建模过程来运行。

可选地，在用于构建机器学习建模过程的图形界面中显示构建的机器学习建模过程的步骤包括：在用于构建机器学习建模过程的图形界面中显示用于表示构建的机器学习建模过程的有向无环图，其中，所述有向无环图中的节点与所述机器学习建模过程中的步骤一一对应。

可选地，所述修改操作包括用于修改当前正运行的步骤的下游步骤的配置的配置操作，其中，响应于所述修改操作对所述机器学习建模过程进行修改的步骤包括：响应于所述配置操作，在运行所述至少一个步骤的同时，对所述配置操作所针对的步骤的配置进行修改，其中，当运行到被修改的步骤时，基于修改后的配置来运行所述被修改的步骤。

可选地，所述修改操作包括用于修改当前正运行的步骤的配置或当前正运行的步骤的上游步骤的配置的配置操作，其中，响应于所述修改操作对所述机器学习建模过程进行修改的步骤包括：响应于所述配置操作，停止运行当前正运行的步骤，并对所述配置操作所针对的步骤的配置进行修改，其中，所述方法还包括：当再次接收到用于运行所述机器学习建模过程中的至少一个步骤的用户操作时，从最上游的被修改的步骤开始运行，其中，当运行到被修改的步骤时，基于修改后的配置来运行所述被修改的步骤。

可选地，所述修改操作包括用于调整所述机器学习建模过程之中当前正运行的步骤的下游结构的结构调整操作，其中，响应于所述修改操作对所述机器学习建模过程进行修改的步骤包括：响应于所述结构调整操作，在运行所述至少一个步骤的同时，调整所述机器学习建模过程的结构，其中，当运行到所述机器学习建模过程被调整结构的部分时，按照调整后的结构来运行。

可选地，所述修改操作包括用于调整所述机器学习建模过程之中当前正运行的步骤的上游结构的结构调整操作，其中，响应于所述修改操作对所述机器学习建模过程进行修改的步骤包括：响应于所述结构调整操作，停止运行当前正运行的步骤，并调整所述机器学习建模过程的结构，其中，所述方法还包括：当再次接收到用于运行所述机器学习建模过程中的至少一个步骤的用户操作时，从所述机器学习建模过程的最上游的被调整结构的部分开始运行，其中，当运行到所述机器学习建模过程被调整结构的部分时，按照调整后的结构来运行。

可选地，所述结构调整操作包括：用于向机器学习建模过程添加步骤的操作、用于删除机器学习建模过程中的步骤的操作、以及用于改变机器学习建模过程中的步骤之间的逻辑关系的操作之中的至少一项。

可选地，所述方法还包括：在运行所述至少一个步骤的同时，接收用户在所述图形界面中构建另一个机器学习建模过程的构建操作；响应于所述构建操作，在运行所述至少一个步骤的同时，构建所述另一个机器学习建模过程。

可选地，在运行所述至少一个步骤的同时接收用户的用于修改所述机器学习建模过程的修改操作的步骤包括：在运行所述至少一个步骤的同时，接收用户对所述有向无环图中的节点的选择操作；响应于所述选择操作，向用户显示用于配置与所选择的节点对应的步骤的配置项的控件；接收用户对显示的控件的输入操作。

可选地，所述方法还包括：在运行所述至少一个步骤的同时，接收用户对所述有向无环图中的节点的选择操作；响应于所述选择操作，在所选择的节点的周围显示分别用于展示与所述节点对应的步骤的至少一个输出元素的至少一个控件，并响应于用户对所述至少一个控件之一的选择操作，向用户展示与所选择的控件对应的输出元素的输出结果。

可选地，在运行所述至少一个步骤的同时接收用户的用于修改所述机器学习建模过程的修改操作的步骤包括：在运行所述至少一个步骤的同时，在所述图形界面的预定区域显示节点列表，并接收从所述节点列表中选择并拖动节点连接到所述有向无环图中的节点的用户操作；和/或，在运行所述至少一个步骤的同时，响应于针对所述有向无环图中的一个节点的一个连接点的用户操作，向用户推荐所述节点通过所述连接点能够连接到的节点和/或节点组合；并接收用户从推荐的节点和/或节点组合中选择一个节点或一个节点组合连接到所述连接点的操作。

可选地，所述方法还包括：响应于用于运行所述另一个机器学习建模过程中的至少一个步骤的用户操作，在运行所述机器学习建模过程中的所述至少一个步骤的同时，运行所述另一个机器学习建模过程中的所述至少一个步骤；在运行所述另一个机器学习建模过程中的所述至少一个步骤的同时，接收用户的用于修改所述另一个机器学习建模过程的修改操作；响应于所述修改操作，对所述另一个机器学习建模过程进行修改，其中，当运行到所述另一个机器学习建模过程的被修改的部分时，基于修改后的机器学习建模过程来运行。

根据本发明的另一示例性实施例，提供一种用于构建机器学习建模过程的系统，包括：显示装置，用于在用于构建机器学习建模过程的图形界面中显示构建的机器学习建模过程；运行装置，用于响应于用于运行所述机器学习建模过程中的至少一个步骤的用户操作，运行所述至少一个步骤；构建装置，用于在运行装置运行所述至少一个步骤的同时，接收用户的用于修改所述机器学习建模过程的修改操作，并响应于所述修改操作，对所述机器学习建模过程进行修改，其中，当运行装置运行到所述机器学习建模过程的被修改的部分时，基于修改后的机器学习建模过程来运行。

可选地，显示装置在用于构建机器学习建模过程的图形界面中显示用于表示构建的机器学习建模过程的有向无环图，其中，所述有向无环图中的节点与所述机器学习建模过程中的步骤一一对应。

可选地，所述修改操作包括用于修改当前正运行的步骤的下游步骤的配置的配置操作，其中，响应于所述配置操作，在运行装置运行所述至少一个步骤的同时，构建装置对所述配置操作所针对的步骤的配置进行修改，其中，当运行装置运行到被修改的步骤时，基于修改后的配置来运行所述被修改的步骤。

可选地，所述修改操作包括用于修改当前正运行的步骤的配置或当前正运行的步骤的上游步骤的配置的配置操作，其中，响应于所述配置操作，运行装置停止运行当前正运行的步骤，并且，构建装置对所述配置操作所针对的步骤的配置进行修改，其中，当再次接收到用于运行所述机器学习建模过程中的至少一个步骤的用户操作时，运行装置从最上游的被修改的步骤开始运行，其中，当运行装置运行到被修改的步骤时，基于修改后的配置来运行所述被修改的步骤。

可选地，所述修改操作包括用于调整所述机器学习建模过程之中当前正运行的步骤的下游结构的结构调整操作，其中，响应于所述结构调整操作，在运行装置运行所述至少一个步骤的同时，构建装置调整所述机器学习建模过程的结构，其中，当运行装置运行到所述机器学习建模过程被调整结构的部分时，按照调整后的结构来运行。

可选地，所述修改操作包括用于调整所述机器学习建模过程之中当前正运行的步骤的上游结构的结构调整操作，其中，响应于所述结构调整操作，运行装置停止运行当前正运行的步骤，并且构建装置调整所述机器学习建模过程的结构，其中，当再次接收到用于运行所述机器学习建模过程中的至少一个步骤的用户操作时，运行装置从所述机器学习建模过程的最上游的被调整结构的部分开始运行，其中，当运行装置运行到所述机器学习建模过程被调整结构的部分时，按照调整后的结构来运行。

可选地，所述结构调整操作包括：用于向机器学习建模过程添加步骤的操作、用于删除机器学习建模过程中的步骤的操作、以及用于改变机器学习建模过程中的步骤之间的逻辑关系的操作之中的至少一项。

可选地，构建装置在运行装置运行所述至少一个步骤的同时，接收用户在所述图形界面中构建另一个机器学习建模过程的构建操作，并响应于所述构建操作，在运行所述至少一个步骤的同时，构建所述另一个机器学习建模过程。

可选地，构建装置在运行装置运行所述至少一个步骤的同时，接收用户对所述有向无环图中的节点的选择操作；响应于所述选择操作，向用户显示用于配置与所选择的节点对应的步骤的配置项的控件；并接收用户对显示的控件的输入操作。

可选地，构建装置在运行装置运行所述至少一个步骤的同时，接收用户对所述有向无环图中的节点的选择操作；响应于所述选择操作，在所选择的节点的周围显示分别用于展示与所述节点对应的步骤的至少一个输出元素的至少一个控件，并响应于用户对所述至少一个控件之一的选择操作，向用户展示与所选择的控件对应的输出元素的输出结果。

可选地，构建装置在运行装置运行所述至少一个步骤的同时，在所述图形界面的预定区域显示节点列表，并接收从所述节点列表中选择并拖动节点连接到所述有向无环图中的节点的用户操作；和/或，构建装置在运行装置运行所述至少一个步骤的同时，响应于针对所述有向无环图中的一个节点的一个连接点的用户操作，向用户推荐所述节点通过所述连接点能够连接到的节点和/或节点组合；并接收用户从推荐的节点和/或节点组合中选择一个节点或一个节点组合连接到所述连接点的操作。

可选地，运行装置响应于用于运行所述另一个机器学习建模过程中的至少一个步骤的用户操作，在运行所述机器学习建模过程中的所述至少一个步骤的同时，运行所述另一个机器学习建模过程中的所述至少一个步骤；构建装置在运行装置运行所述另一个机器学习建模过程中的所述至少一个步骤的同时，接收用户的用于修改所述另一个机器学习建模过程的修改操作，并响应于所述修改操作，对所述另一个机器学习建模过程进行修改，其中，当运行装置运行到所述另一个机器学习建模过程的被修改的部分时，基于修改后的机器学习建模过程来运行。

根据本发明的另一示例性实施例，提供一种计算机可读介质，其中，在所述计算机可读介质上记录有用于执行如上所述的用于构建机器学习建模过程的方法的计算机程序。

根据本发明的另一示例性实施例，提供一种计算装置，包括存储部件和处理器，其中，存储部件中存储有计算机可执行指令集合，当所述计算机可执行指令集合被所述处理器执行时，执行如上所述的用于构建机器学习建模过程的方法。

根据本发明示例性实施例的用于构建机器学习建模过程的方法及系统，在运行机器学习建模过程的同时，能够对该机器学习建模过程进行修改。此外，还能够在运行一个机器学习建模过程的同时，构建和/或运行另一个机器学习建模过程。

根据本发明示例性实施例的用于构建机器学习建模过程的方法及系统，使得机器学习建模过程的运行方式更为灵活，一方面，方便用户在运行一个机器学习建模过程期间，继续对该机器学习建模过程进行完善(例如，修改结构或步骤配置、补全机器学习建模过程的其他步骤等)，或者，构建另一个机器学习建模过程，以使用户能够利用机器学习建模过程的运行时间，进行其他建模工作，即，通过提高运行工作的并行度提高了建模工作的效率；另一方面，方便用户及时基于上游步骤的运行效果(例如，输出结果)，调整下游步骤的配置或下游结构，以使下游部分能够更好地对上游步骤的运行结果进行适合的处理，大大提高了建模工作的灵活性和效率。

将在接下来的描述中部分阐述本发明总体构思另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本发明总体构思的实施而得知。

附图说明

通过下面结合示例性地示出实施例的附图进行的描述，本发明示例性实施例的上述和其他目的和特点将会变得更加清楚，其中：

图1示出根据本发明示例性实施例的用于构建机器学习建模过程的方法的流程图；

图2示出根据本发明示例性实施例的构建机器学习建模过程的示例；

图3示出根据本发明示例性实施例的用于展示与所选择的节点对应的步骤的输出元素的控件的示例；

图4示出根据本发明示例性实施例的向用户展示与所选择的节点对应的步骤的输出结果的示例；

图5示出根据本发明示例性实施例的构建机器学习建模过程的另一示例；

图6示出根据本发明示例性实施例的用于构建机器学习建模过程的系统的框图。

具体实施方式

现将详细参照本发明的实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本发明。

图1示出根据本发明示例性实施例的用于构建机器学习建模过程的方法的流程图。这里，作为示例，所述方法可通过计算机程序来执行，也可由专门的用于执行机器学习、大数据计算、或数据分析的硬件设备或软硬件资源的集合体来执行，例如，可由用于实现机器学习相关业务的机器学习平台来执行所述方法。

参照图1，在步骤S10中，在用于构建机器学习建模过程的图形界面中显示构建的机器学习建模过程。

作为示例，可首先进入用于构建机器学习建模过程的图形界面，随后，当接收到用户打开表示机器学习建模过程的文件的操作时，在图形界面中显示所述文件的内容所限定的机器学习建模过程；也可当接收到用户请求创建机器学习建模过程的操作时，实时响应于用户的用于构建机器学习建模过程的构建操作，在所述图形界面中显示构建的机器学习建模过程。

并且，在未运行构建的机器学习建模过程之前，用户可通过所述图形界面继续对显示的机器学习建模过程进行构建。例如，可响应于用户的用于修改步骤的配置的配置操作，对所述配置操作所针对的步骤的配置进行修改；可响应于用户的用于调整机器学习建模过程的结构的结构调整操作，调整所述机器学习建模过程的结构。作为示例，结构调整操作可包括用于向机器学习建模过程添加步骤的操作、用于删除机器学习建模过程中的步骤的操作、以及用于改变机器学习建模过程中的步骤之间的逻辑关系的操作之中的至少一项。这里，步骤之间的逻辑关系也即步骤之间的输入输出关联关系，例如，一个步骤的输出作为另一个步骤的输入。

作为示例，构建的机器学习建模过程可包括以下步骤之中的至少一个步骤：数据导入、数据拼接、数据拆分、特征抽取、模型训练、模型测试和模型评估。具体说来，数据导入步骤用于导入一个或多个包含历史数据记录的数据集(例如，数据表)；数据拼接步骤用于对导入的多个数据集中的数据记录进行拼接；数据拆分步骤用于将拼接后的数据记录拆分为训练集和测试集，或者，将导入的一个数据集中的数据记录拆分为训练集和测试集，其中，训练集中的数据记录用于转换为训练样本以训练出模型，而测试集中的数据记录用于转换为测试样本，以根据训练出的模型针对测试样本的测试结果来评估模型效果；特征抽取步骤用于对训练集和测试集进行特征抽取，以生成训练样本和测试样本；模型训练步骤用于按照机器学习算法，基于训练样本来训练出机器学习模型；模型测试步骤用于获得训练出的机器学习模型针对测试样本的测试结果；模型评估步骤用于基于测试结果的准确性来评估训练出的机器学习模型的效果。

作为示例，可在用于构建机器学习建模过程的图形界面中显示用于表示构建的机器学习建模过程的有向无环图(DAG图)，其中，所述有向无环图中的节点与所述机器学习建模过程中的步骤一一对应。用户可通过对显示的DAG图的编辑操作或运行操作，来构建或运行对应的机器学习建模过程。

在步骤S20中，响应于用于运行所述机器学习建模过程中的至少一个步骤的用户操作，运行所述至少一个步骤。

这里，作为示例，可接收用户对所述机器学习建模过程中的一个或多个可运行的步骤的选择，并根据用户的选择来顺序地运行相应的步骤。

在步骤S30中，在运行所述至少一个步骤的同时，接收用户的用于修改所述机器学习建模过程的修改操作。

作为示例，所述修改操作可包括：用于修改机器学习建模过程中的步骤的配置的配置操作和/或用于调整机器学习建模过程的结构的结构调整操作。作为示例，结构调整操作可包括：用于向机器学习建模过程添加步骤的操作、用于删除机器学习建模过程中的步骤的操作、以及用于改变机器学习建模过程中的步骤之间的逻辑关系的操作之中的至少一项。作为示例，当在用于构建机器学习建模过程的图形界面中显示的是用于表示构建的机器学习建模过程的有向无环图时，结构调整操作可包括：向有向无环图中添加节点、从有向无环图中删除节点、改变有向无环图中的节点之间的连接关系之中的至少一项。

在步骤S40中，响应于所述修改操作，对所述机器学习建模过程进行修改，其中，当运行到所述机器学习建模过程的被修改的部分时，基于修改后的机器学习建模过程来运行。

作为示例，当所述修改操作为用于修改当前正运行的步骤的下游步骤的配置的配置操作时，响应于所述配置操作，在运行所述至少一个步骤的同时，对所述配置操作所针对的步骤的配置进行修改，其中，当运行到被修改的步骤时，基于修改后的配置来运行所述被修改的步骤。

这里，当前正运行的步骤的下游步骤是指：运行顺序应当在当前正运行的步骤之后的步骤。应该理解，所述配置操作所针对的步骤可以是在本次运行中将会被运行到的步骤(即，为所述至少一个步骤中的步骤)，也可以是在本次运行中不会被运行到的步骤(即，不是所述至少一个步骤中的步骤)。

作为示例，当所述修改操作为用于调整所述机器学习建模过程之中当前正运行的步骤的下游结构的结构调整操作时，响应于所述结构调整操作，在运行所述至少一个步骤的同时，调整所述机器学习建模过程的结构，其中，当运行到所述机器学习建模过程被调整结构的部分时，按照调整后的结构来运行。

这里，所述机器学习建模过程之中当前正运行的步骤的下游结构即：所述机器学习建模过程之中运行顺序应当在当前正运行的步骤之后的部分的结构。应该理解，所述结构调整操作可用于调整在本次运行中将会被运行到的部分的结构，也可用于调整在本次运行中不会被运行到的部分的结构。

根据本发明的上述示例性实施例，能够在不影响机器学习建模过程的运行的同时，对当前正运行的步骤的下游步骤的配置或下游结构进行灵活调整。

作为示例，当所述修改操作为用于修改当前正运行的步骤的配置或当前正运行的步骤的上游步骤的配置的配置操作时，响应于所述配置操作，停止运行当前正运行的步骤，并对所述配置操作所针对的步骤的配置进行修改，其中，根据本发明示例性实施例的用于构建机器学习建模过程的方法还包括：当再次接收到用于运行所述机器学习建模过程中的至少一个步骤的用户操作时，从最上游的被修改的步骤开始运行，其中，当运行到被修改的步骤时，基于修改后的配置来运行所述被修改的步骤。

这里，当前正运行的步骤的上游步骤是指：运行顺序应当在当前正运行的步骤之前的步骤。应该理解，所述配置操作所针对的步骤可以是在本次运行中已被运行过的步骤或正被运行的步骤(即，为所述至少一个步骤中的步骤)，也可以是在本次运行中不会被运行到的步骤(即，不是所述至少一个步骤中的步骤)。这里，最上游的被修改的步骤即被修改的步骤之中运行顺序最靠前的步骤。由于上游步骤被修改，其输出结果必然会相应改变进而影响到下游步骤的运行，因此，当再次接收到用于运行所述机器学习建模过程中的至少一个步骤的用户操作时，即使该至少一个步骤不包括最上游的被修改的步骤，也需要从最上游的被修改的步骤开始运行。

作为示例，当所述修改操作为用于调整所述机器学习建模过程之中当前正运行的步骤的上游结构的结构调整操作时，响应于所述结构调整操作，停止运行当前正运行的步骤，并调整所述机器学习建模过程的结构，其中，根据本发明示例性实施例的用于构建机器学习建模过程的方法还包括：当再次接收到用于运行所述机器学习建模过程中的至少一个步骤的用户操作时，从所述机器学习建模过程的最上游的被调整结构的部分开始运行，其中，当运行到所述机器学习建模过程被调整结构的部分时，按照调整后的结构来运行。

这里，所述机器学习建模过程之中当前正运行的步骤的上游结构即：所述机器学习建模过程之中运行顺序应当在当前正运行的步骤之前的部分的结构。应该理解，所述结构调整操作可用于调整在本次运行中已运行过的部分的结构，也可用于调整在本次运行未运行过的部分的结构。

作为示例，步骤S20至步骤S40可通过下述方式来实现：所述方法可由用于执行机器学习过程的机器学习平台来执行，可响应于用于运行显示的机器学习建模过程中的至少一个步骤的用户操作，将用于执行相应步骤的任务提交给所述机器学习平台的运行装置(例如，位于所述机器学习平台后端的用于执行任务工作流的服务器)，以按照所述至少一个步骤的配置及步骤之间的逻辑关系来按序运行所述至少一个步骤。在运行装置运行所述至少一个步骤的同时，接收配置操作，响应于所述配置操作，确定所述配置操作所针对的步骤属于以下哪种类型：当前正运行的步骤下游的待运行步骤(即，运行排队队列中的步骤)、当前正运行的步骤下游的非待运行步骤(即，不是运行排队队列中的步骤)、当前正运行的步骤及其上游步骤。当确定属于当前正运行的步骤下游的待运行步骤时，对所述配置操作所针对的步骤的配置进行修改，并通知运行装置该步骤的配置已经被修改，以使运行装置在运行该步骤时，按照修改后的配置来运行该步骤；当确定属于当前正运行的步骤下游的非待运行步骤时，对所述配置操作所针对的步骤的配置进行修改；当确定属于当前正运行的步骤及其上游步骤时，通知运行装置停止运行所述至少一个步骤，并对所述配置操作所针对的步骤的配置进行修改。

相应地，在运行装置运行所述至少一个步骤的同时，接收结构调整操作，响应于所述结构调整操作，确定所述结构调整操作所针对的部分属于以下哪种类型：包括当前正运行的步骤下游的待运行步骤的当前正运行的步骤的下游结构、不包括当前正运行的步骤下游的待运行步骤的当前正运行的步骤的下游结构、当前正运行的步骤的上游结构。当确定属于包括当前正运行的步骤下游的待运行步骤的当前正运行的步骤的下游结构时，对所述结构调整操作所针对的部分的结构进行调整，并通知运行装置该部分的结构已经被修改，以使运行装置在运行该部分时，按照修改后的结构来运行；当确定属于不包括当前正运行的步骤下游的待运行步骤的当前正运行的步骤的下游结构时，对所述结构调整操作所针对的部分的结构进行调整；当确定属于当前正运行的步骤的上游结构时，通知运行装置停止运行所述至少一个步骤，并对所述结构调整操作所针对的部分的结构进行调整。

作为示例，当在用于构建机器学习建模过程的图形界面中显示的是用于表示构建的机器学习建模过程的有向无环图，并且运行与所述有向无环图中的至少一个节点对应的步骤时，可通过下述方式在运行所述至少一个步骤的同时接收配置操作：在运行所述至少一个步骤的同时，接收用户对所述有向无环图中的节点的选择操作，响应于所述选择操作，向用户显示用于配置与所选择的节点对应的步骤的配置项的控件，并接收用户对显示的控件的输入操作。例如，对节点的选择操作可以是通过鼠标左键单击节点的操作。例如，可在所述图形界面的预定区域中显示用于配置与所选择的节点对应的步骤的配置项的控件。

作为示例，当在用于构建机器学习建模过程的图形界面中显示的是用于表示构建的机器学习建模过程的有向无环图，并且运行与所述有向无环图中的至少一个节点对应的步骤时，可通过下述方式在运行所述至少一个步骤的同时接收结构调整操作：在运行所述至少一个步骤的同时，在所述图形界面的预定区域显示节点列表，并接收从所述节点列表中选择并拖动节点连接到所述有向无环图中的节点的用户操作；和/或，在运行所述至少一个步骤的同时，响应于针对所述有向无环图中的一个节点的一个连接点的用户操作，向用户推荐所述节点通过所述连接点能够连接到的节点和/或节点组合，并接收用户从推荐的节点和/或节点组合中选择一个节点或一个节点组合连接到所述连接点的操作。例如，可在所述连接点的周围展示所述节点通过所述连接点能够连接到的节点和/或节点组合。例如，所述针对所述有向无环图中的一个节点的一个连接点的用户操作可包括：在所述有向无环图中的一个节点的一个连接点上悬停，并在所述连接点响应于所述悬停操作进入待连接状态之后，单击所述连接点。

如图2所示，在用于构建机器学习建模过程的图形界面中显示表示机器学习建模过程的DAG图，当前正运行该DAG图中的“HE—TreeNet”节点对应的步骤，在继续运行“HE—TreeNet”节点对应的步骤的同时，可响应于用户对模型测试节点的选择操作，在该图形界面的右侧区域显示用于配置模型测试步骤的配置项的控件，并响应于用户对显示的控件的输入操作，对模型测试步骤的配置进行修改，从而实现在运行到模型测试步骤之前，对模型测试步骤的配置进行调整，以基于调整后的配置来运行模型测试步骤。此外，在运行“HE—TreeNet”节点对应的步骤的同时，还可响应于用户对特征抽取节点的选择操作，在该图形界面的右侧区域显示用于配置特征抽取步骤的配置项的控件，然后，响应于用户对显示的控件的输入操作，停止运行“HE—TreeNet”节点对应的步骤，并对特征抽取步骤的配置进行修改，当再次接收到用于运行该DAG图的用户操作时，由于特征抽取步骤的上游步骤均未发生改变，因此，可从特征抽取步骤开始运行，并且，基于修改后的配置来运行特征抽取步骤。此外，可在所述图形界面的左侧区域显示节点列表，在运行“HE—TreeNet”节点对应的步骤的同时，可接收从该节点列表中选择并拖动节点连接到该有向无环图中的节点的结构调整操作。

此外，作为示例，根据本发明的示例性实施例的用于构建机器学习建模过程的方法还可包括：当在用于构建机器学习建模过程的图形界面中显示的是用于表示构建的机器学习建模过程的有向无环图，并且运行与所述有向无环图中的至少一个节点对应的步骤时，接收用户对所述有向无环图中的节点的选择操作，并可响应于所述选择操作，在所选择的节点的周围显示分别用于展示与所述节点对应的步骤的至少一个输出元素的至少一个控件，并响应于用户对所述至少一个控件之一的选择操作，向用户展示与所选择的控件对应的输出元素的输出结果。一个步骤的至少一个输出元素即该步骤输出的至少一个元素。作为示例，所述至少一个控件可与所述至少一个输出元素一一对应。作为示例，所述至少一个控件可按照所对应的输出元素的类型被施加对应的视觉效果，其中，不同类型对应的视觉效果不同。作为示例，输出元素的输出结果可包括输出元素的当前输出结果和/或历史输出结果。这里，当前输出结果即本次运行与所选择的节点对应的步骤后得到的输出结果，历史输出结果即在本次运行之前运行与所选择的节点对应的步骤后得到的输出结果。作为示例，所述至少一个控件被显示的视觉效果还可用于区分地提示对应的输出元素是否具有本次运行的结果。

作为示例，输出元素的输出结果可以是输出元素的具体输出内容本身，也可以是具体输出内容的相关信息，例如，可以是具体输出内容的大小、用于访问具体输出内容的通道入口等。应该理解，同一步骤的多个输出元素的类型可相同或不同，不同步骤的输出元素的类型可相同或不同。作为示例，输出元素的类型可包括以下类型之中的至少一种：数据表、用于限定机器学习模型的信息、评估报告、分析报告。例如，关于数据表，可以是数据拆分步骤输出的作为训练集的数据表和作为测试集的数据表，可以是特征抽取步骤输出的作为训练样本的数据表和作为测试样本的数据表，还可以是模型测试步骤输出的指示测试结果的数据表；用于限定机器学习模型的信息可以是机器学习模型的参数；评估报告可以是用于评估机器学习模型的测试效果的报告；分析报告可以是关于运行步骤的过程中所进行的分析的报告，例如，关于在运行特征抽取步骤的过程中所进行的特征重要性分析的报告。

如图3所示，响应于用户对运行的有向无环图中的节点的选择操作，可在所选择的节点的周围显示分别用于展示与所述节点对应的步骤的至少一个输出元素的至少一个控件，该步骤的多个输出元素的类型可相同或不同，且不同类型的输出元素所对应的控件被区分显示。如图4所示，可响应于用户对在数据拆分节点的周围显示的控件的选择操作，在图形界面的右侧区域中展示与所选择的控件对应的输出元素的输出结果，并将数据拆分节点与所选择的控件对应的输出元素被应用到的后续节点(即，特征抽取节点)之间的连线突出显示(例如，高亮显示)。其中，可通过显示与所选择的控件对应的输出元素的具体输出内容的大小、用于访问该具体输出内容的通道入口等来向用户展示数据拆分步骤的输出结果，此外，还可根据用户选择来在切换当前输出结果和历史输出结果的展示。应理解，本发明的示例性实施例在向用户展示与所选择的节点对应的步骤的输出结果时的具体交互场景及操作细节不限于图3和图4所示的示例。

根据本发明的上述示例性实施例，方便用户查看上游步骤的输出结果，并及时调整下游步骤的配置或下游结构，以使下游部分能够更好地对上游步骤输出的结果进行适合的处理，大大提高了建模工作的灵活性和效率。

此外，作为示例，根据本发明的示例性实施例的用于构建机器学习建模过程的方法还可包括：在运行所述至少一个步骤的同时，接收用户在所述图形界面中构建另一个机器学习建模过程的构建操作；响应于所述构建操作，在运行所述至少一个步骤的同时，构建所述另一个机器学习建模过程。

进一步地，作为示例，根据本发明的示例性实施例的用于构建机器学习建模过程的方法还可包括：响应于用于运行所述另一个机器学习建模过程中的至少一个步骤的用户操作，在运行所述机器学习建模过程中的所述至少一个步骤的同时，运行所述另一个机器学习建模过程中的所述至少一个步骤。根据本发明的示例性实施例，能够同时运行多个机器学习建模过程，并且，彼此之间的运行互不影响。

进一步地，作为示例，根据本发明示例性实施例的用于构建机器学习建模过程的方法还可包括：在运行所述另一个机器学习建模过程中的所述至少一个步骤的同时，接收用户的用于修改所述另一个机器学习建模过程的修改操作；响应于所述修改操作，对所述另一个机器学习建模过程进行修改，其中，当运行到所述另一个机器学习建模过程的被修改的部分时，基于修改后的机器学习建模过程来运行。

如图5所示，在用于构建机器学习建模过程的图形界面中显示表示机器学习建模过程的DAG图，当前正运行该DAG图中的“HE—TreeNet”节点对应的步骤，可在所述图形界面的左侧区域显示节点列表，在继续运行该DAG图的同时，可接收从该节点列表中选择并添加到所述图形界面的画布区域，并将新添加的节点相互连接的用户操作，响应于该用户操作，创建另一个DAG图。此外，还可响应于用户操作，在运行原DAG图的同时，运行新创建的DAG图。进一步地，还可在运行新创建的DAG图的同时，接收用户的用于修改新创建的DAG图的修改操作；响应于所述修改操作，对新创建的DAG图进行修改，其中，当运行到新创建的DAG图的被修改的部分时，基于修改后的DAG图来运行。应理解，根据本发明的示例性实施例的运行机器学习建模过程的具体交互场景及操作细节不限于图2和图5所示的示例。

图6示出根据本发明的示例性实施例的用于构建机器学习建模过程的系统的框图。如图6所示，根据本发明的示例性实施例的用于构建机器学习建模过程的系统包括：显示装置10、运行装置20和构建装置30。

具体说来，显示装置10用于在用于构建机器学习建模过程的图形界面中显示构建的机器学习建模过程。

作为示例，显示装置10可在用于构建机器学习建模过程的图形界面中显示用于表示构建的机器学习建模过程的有向无环图，其中，所述有向无环图中的节点与所述机器学习建模过程中的步骤一一对应。

运行装置20用于响应于用于运行所述机器学习建模过程中的至少一个步骤的用户操作，运行所述至少一个步骤。

构建装置30用于在运行装置20运行所述至少一个步骤的同时，接收用户的用于修改所述机器学习建模过程的修改操作，并响应于所述修改操作，对所述机器学习建模过程进行修改，其中，当运行装置20运行到所述机器学习建模过程的被修改的部分时，基于修改后的机器学习建模过程来运行。

作为示例，所述修改操作可包括用于修改当前正运行的步骤的下游步骤的配置的配置操作，其中，响应于所述配置操作，在运行装置20运行所述至少一个步骤的同时，构建装置30可对所述配置操作所针对的步骤的配置进行修改，其中，当运行装置20运行到被修改的步骤时，基于修改后的配置来运行所述被修改的步骤。

作为示例，所述修改操作可包括用于修改当前正运行的步骤的配置或当前正运行的步骤的上游步骤的配置的配置操作，其中，响应于所述配置操作，运行装置20停止运行当前正运行的步骤，并且，构建装置30对所述配置操作所针对的步骤的配置进行修改，其中，当再次接收到用于运行所述机器学习建模过程中的至少一个步骤的用户操作时，运行装置20从最上游的被修改的步骤开始运行，其中，当运行装置20运行到被修改的步骤时，基于修改后的配置来运行所述被修改的步骤。

作为示例，所述修改操作可包括用于调整所述机器学习建模过程之中当前正运行的步骤的下游结构的结构调整操作，其中，响应于所述结构调整操作，在运行装置20运行所述至少一个步骤的同时，构建装置30调整所述机器学习建模过程的结构，其中，当运行装置20运行到所述机器学习建模过程被调整结构的部分时，按照调整后的结构来运行。

作为示例，所述修改操作可包括用于调整所述机器学习建模过程之中当前正运行的步骤的上游结构的结构调整操作，其中，响应于所述结构调整操作，运行装置20停止运行当前正运行的步骤，并且构建装置30调整所述机器学习建模过程的结构，其中，当再次接收到用于运行所述机器学习建模过程中的至少一个步骤的用户操作时，运行装置20从所述机器学习建模过程的最上游的被调整结构的部分开始运行，其中，当运行装置20运行到所述机器学习建模过程被调整结构的部分时，按照调整后的结构来运行。

作为示例，所述结构调整操作可包括：用于向机器学习建模过程添加步骤的操作、用于删除机器学习建模过程中的步骤的操作、以及用于改变机器学习建模过程中的步骤之间的逻辑关系的操作之中的至少一项。

作为示例，构建装置30可在运行装置20运行所述至少一个步骤的同时，接收用户对所述有向无环图中的节点的选择操作；响应于所述选择操作，向用户显示用于配置与所选择的节点对应的步骤的配置项的控件；并接收用户对显示的控件的输入操作。

作为示例，构建装置30可在运行装置20运行所述至少一个步骤的同时，接收用户对所述有向无环图中的节点的选择操作；响应于所述选择操作，在所选择的节点的周围显示分别用于展示与所述节点对应的步骤的至少一个输出元素的至少一个控件，并响应于用户对所述至少一个控件之一的选择操作，向用户展示与所选择的控件对应的输出元素的输出结果。

作为示例，构建装置30可在运行装置20运行所述至少一个步骤的同时，在所述图形界面的预定区域显示节点列表，并接收从所述节点列表中选择并拖动节点连接到所述有向无环图中的节点的用户操作。

作为示例，构建装置30可在运行装置20运行所述至少一个步骤的同时，响应于针对所述有向无环图中的一个节点的一个连接点的用户操作，向用户推荐所述节点通过所述连接点能够连接到的节点和/或节点组合；并接收用户从推荐的节点和/或节点组合中选择一个节点或一个节点组合连接到所述连接点的操作。

作为示例，构建装置30可在运行装置20运行所述至少一个步骤的同时，接收用户在所述图形界面中构建另一个机器学习建模过程的构建操作，并响应于所述构建操作，在运行所述至少一个步骤的同时，构建所述另一个机器学习建模过程。

作为示例，运行装置20可响应于用于运行所述另一个机器学习建模过程中的至少一个步骤的用户操作，在运行所述机器学习建模过程中的所述至少一个步骤的同时，运行所述另一个机器学习建模过程中的所述至少一个步骤。

作为示例，构建装置30可在运行装置20运行所述另一个机器学习建模过程中的所述至少一个步骤的同时，接收用户的用于修改所述另一个机器学习建模过程的修改操作，并响应于所述修改操作，对所述另一个机器学习建模过程进行修改，其中，当运行装置20运行到所述另一个机器学习建模过程的被修改的部分时，基于修改后的机器学习建模过程来运行。

应该理解，根据本发明示例性实施例的用于构建机器学习建模过程的系统的具体实现方式可参照结合图1至图5描述的相关具体实现方式来实现，在此不再赘述。

根据本发明示例性实施例的用于构建机器学习建模过程的系统所包括的装置可被分别配置为执行特定功能的软件、硬件、固件或上述项的任意组合。例如，这些装置可对应于专用的集成电路，也可对应于纯粹的软件代码，还可对应于软件与硬件相结合的模块。此外，这些装置所实现的一个或多个功能也可由物理实体设备(例如，处理器、客户端或服务器等)中的组件来统一执行。

应理解，根据本发明示例性实施例的用于构建机器学习建模过程的方法可通过记录在计算可读介质上的程序来实现，例如，根据本发明的示例性实施例，可提供一种用于构建机器学习建模过程的计算机可读介质，其中，在所述计算机可读介质上记录有用于执行以下方法步骤的计算机程序：在用于构建机器学习建模过程的图形界面中显示构建的机器学习建模过程；响应于用于运行所述机器学习建模过程中的至少一个步骤的用户操作，运行所述至少一个步骤；在运行所述至少一个步骤的同时，接收用户的用于修改所述机器学习建模过程的修改操作；响应于所述修改操作，对所述机器学习建模过程进行修改，其中，当运行到所述机器学习建模过程的被修改的部分时，基于修改后的机器学习建模过程来运行。

上述计算机可读介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，应注意，所述计算机程序还可用于执行除了上述步骤以外的附加步骤或者在执行上述步骤时执行更为具体的处理，这些附加步骤和进一步处理的内容已经参照图1至图5进行了描述，这里为了避免重复将不再进行赘述。

应注意，根据本发明示例性实施例的用于构建机器学习建模过程的系统可完全依赖计算机程序的运行来实现相应的功能，即，各个装置与计算机程序的功能架构中与各步骤相应，使得整个系统通过专门的软件包(例如，lib库)而被调用，以实现相应的功能。

另一方面，根据本发明示例性实施例的用于构建机器学习建模过程的系统所包括的各个装置也可以通过硬件、软件、固件、中间件、微代码或其任意组合来实现。当以软件、固件、中间件或微代码实现时，用于执行相应操作的程序代码或者代码段可以存储在诸如存储介质的计算机可读介质中，使得处理器可通过读取并运行相应的程序代码或者代码段来执行相应的操作。

例如，本发明的示例性实施例还可以实现为计算装置，该计算装置包括存储部件和处理器，存储部件中存储有计算机可执行指令集合，当所述计算机可执行指令集合被所述处理器执行时，执行用于构建机器学习建模过程的方法。

具体说来，所述计算装置可以部署在服务器或客户端中，也可以部署在分布式网络环境中的节点装置上。此外，所述计算装置可以是PC计算机、平板装置、个人数字助理、智能手机、web应用或其他能够执行上述指令集合的装置。

这里，所述计算装置并非必须是单个的计算装置，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。计算装置还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子装置。

在所述计算装置中，处理器可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。

根据本发明示例性实施例的用于构建机器学习建模过程的方法中所描述的某些操作可通过软件方式来实现，某些操作可通过硬件方式来实现，此外，还可通过软硬件结合的方式来实现这些操作。

处理器可运行存储在存储部件之一中的指令或代码，其中，所述存储部件还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，所述网络接口装置可采用任何已知的传输协议。

存储部件可与处理器集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储部件可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储部件和处理器可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得处理器能够读取存储在存储部件中的文件。

此外，所述计算装置还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。计算装置的所有组件可经由总线和/或网络而彼此连接。

根据本发明示例性实施例的用于构建机器学习建模过程的方法所涉及的操作可被描述为各种互联或耦合的功能块或功能示图。然而，这些功能块或功能示图可被均等地集成为单个的逻辑装置或按照非确切的边界进行操作。

例如，如上所述，根据本发明示例性实施例的用于构建机器学习建模过程的计算装置可包括存储部件和处理器，其中，存储部件中存储有计算机可执行指令集合，当所述计算机可执行指令集合被所述处理器执行时，执行下述步骤：在用于构建机器学习建模过程的图形界面中显示构建的机器学习建模过程；响应于用于运行所述机器学习建模过程中的至少一个步骤的用户操作，运行所述至少一个步骤；在运行所述至少一个步骤的同时，接收用户的用于修改所述机器学习建模过程的修改操作；响应于所述修改操作，对所述机器学习建模过程进行修改，其中，当运行到所述机器学习建模过程的被修改的部分时，基于修改后的机器学习建模过程来运行。

以上描述了本发明的各示例性实施例，应理解，上述描述仅是示例性的，并非穷尽性的，本发明不限于所披露的各示例性实施例。在不偏离本发明的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。因此，本发明的保护范围应该以权利要求的范围为准。

Claims (22)

1.一种用于构建机器学习建模过程的方法，包括：

在用于构建机器学习建模过程的图形界面中显示构建的机器学习建模过程；

响应于用于运行所述机器学习建模过程中的至少一个步骤的用户操作，运行所述至少一个步骤；

在运行所述至少一个步骤的同时，接收用户在所述图形界面中执行的用于修改所述机器学习建模过程的修改操作；

响应于所述修改操作，对所述机器学习建模过程进行修改，

其中，当运行到所述机器学习建模过程的被修改的部分时，基于修改后的机器学习建模过程来运行，

其中，所述方法还包括：

在运行所述至少一个步骤的同时，接收用户在所述图形界面中构建另一个机器学习建模过程的构建操作；

响应于所述构建操作，在运行所述至少一个步骤的同时，构建所述另一个机器学习建模过程；

响应于用于运行所述另一个机器学习建模过程中的至少一个步骤的用户操作，在运行所述机器学习建模过程中的所述至少一个步骤的同时，运行所述另一个机器学习建模过程中的所述至少一个步骤；

在运行所述另一个机器学习建模过程中的所述至少一个步骤的同时，接收用户的用于修改所述另一个机器学习建模过程的修改操作；

响应于所述修改操作，对所述另一个机器学习建模过程进行修改，

其中，当运行到所述另一个机器学习建模过程的被修改的部分时，基于修改后的机器学习建模过程来运行。

2.根据权利要求1所述的方法，其中，在用于构建机器学习建模过程的图形界面中显示构建的机器学习建模过程的步骤包括：

在用于构建机器学习建模过程的图形界面中显示用于表示构建的机器学习建模过程的有向无环图，其中，所述有向无环图中的节点与所述机器学习建模过程中的步骤一一对应。

3.根据权利要求1所述的方法，其中，所述修改操作包括用于修改当前正运行的步骤的下游步骤的配置的配置操作，其中，响应于所述修改操作对所述机器学习建模过程进行修改的步骤包括：

响应于所述配置操作，在运行所述至少一个步骤的同时，对所述配置操作所针对的步骤的配置进行修改，

其中，当运行到被修改的步骤时，基于修改后的配置来运行所述被修改的步骤。

4.根据权利要求1所述的方法，其中，所述修改操作包括用于修改当前正运行的步骤的配置或当前正运行的步骤的上游步骤的配置的配置操作，其中，响应于所述修改操作对所述机器学习建模过程进行修改的步骤包括：

响应于所述配置操作，停止运行当前正运行的步骤，并对所述配置操作所针对的步骤的配置进行修改，

其中，所述方法还包括：当再次接收到用于运行所述机器学习建模过程中的至少一个步骤的用户操作时，从最上游的被修改的步骤开始运行，

其中，当运行到被修改的步骤时，基于修改后的配置来运行所述被修改的步骤。

5.根据权利要求1所述的方法，其中，所述修改操作包括用于调整所述机器学习建模过程之中当前正运行的步骤的下游结构的结构调整操作，其中，响应于所述修改操作对所述机器学习建模过程进行修改的步骤包括：

响应于所述结构调整操作，在运行所述至少一个步骤的同时，调整所述机器学习建模过程的结构，

其中，当运行到所述机器学习建模过程被调整结构的部分时，按照调整后的结构来运行。

6.根据权利要求1所述的方法，其中，所述修改操作包括用于调整所述机器学习建模过程之中当前正运行的步骤的上游结构的结构调整操作，其中，响应于所述修改操作对所述机器学习建模过程进行修改的步骤包括：

响应于所述结构调整操作，停止运行当前正运行的步骤，并调整所述机器学习建模过程的结构，

其中，所述方法还包括：当再次接收到用于运行所述机器学习建模过程中的至少一个步骤的用户操作时，从所述机器学习建模过程的最上游的被调整结构的部分开始运行，

其中，当运行到所述机器学习建模过程被调整结构的部分时，按照调整后的结构来运行。

7.根据权利要求5或6所述的方法，其中，所述结构调整操作包括：用于向机器学习建模过程添加步骤的操作、用于删除机器学习建模过程中的步骤的操作、以及用于改变机器学习建模过程中的步骤之间的逻辑关系的操作之中的至少一项。

8.根据权利要求2所述的方法，其中，在运行所述至少一个步骤的同时接收用户的用于修改所述机器学习建模过程的修改操作的步骤包括：

在运行所述至少一个步骤的同时，接收用户对所述有向无环图中的节点的选择操作；

响应于所述选择操作，向用户显示用于配置与所选择的节点对应的步骤的配置项的控件；

接收用户对显示的控件的输入操作。

9.根据权利要求2所述的方法，其中，所述方法还包括：

在运行所述至少一个步骤的同时，接收用户对所述有向无环图中的节点的选择操作；

响应于所述选择操作，在所选择的节点的周围显示分别用于展示与所述节点对应的步骤的至少一个输出元素的至少一个控件，并响应于用户对所述至少一个控件之一的选择操作，向用户展示与所选择的控件对应的输出元素的输出结果。

10.根据权利要求2所述的方法，其中，在运行所述至少一个步骤的同时接收用户的用于修改所述机器学习建模过程的修改操作的步骤包括：

在运行所述至少一个步骤的同时，在所述图形界面的预定区域显示节点列表，并接收从所述节点列表中选择并拖动节点连接到所述有向无环图中的节点的用户操作；

和/或，在运行所述至少一个步骤的同时，响应于针对所述有向无环图中的一个节点的一个连接点的用户操作，向用户推荐所述节点通过所述连接点能够连接到的节点和/或节点组合；并接收用户从推荐的节点和/或节点组合中选择一个节点或一个节点组合连接到所述连接点的操作。

11.一种用于构建机器学习建模过程的系统，包括：

显示装置，用于在用于构建机器学习建模过程的图形界面中显示构建的机器学习建模过程；

运行装置，用于响应于用于运行所述机器学习建模过程中的至少一个步骤的用户操作，运行所述至少一个步骤；

构建装置，用于在运行装置运行所述至少一个步骤的同时，接收用户在所述图形界面中执行的用于修改所述机器学习建模过程的修改操作，并响应于所述修改操作，对所述机器学习建模过程进行修改，

其中，当运行装置运行到所述机器学习建模过程的被修改的部分时，基于修改后的机器学习建模过程来运行，

其中，构建装置在运行装置运行所述至少一个步骤的同时，接收用户在所述图形界面中构建另一个机器学习建模过程的构建操作，并响应于所述构建操作，在运行所述至少一个步骤的同时，构建所述另一个机器学习建模过程，

其中，运行装置响应于用于运行所述另一个机器学习建模过程中的至少一个步骤的用户操作，在运行所述机器学习建模过程中的所述至少一个步骤的同时，运行所述另一个机器学习建模过程中的所述至少一个步骤；构建装置在运行装置运行所述另一个机器学习建模过程中的所述至少一个步骤的同时，接收用户的用于修改所述另一个机器学习建模过程的修改操作，并响应于所述修改操作，对所述另一个机器学习建模过程进行修改，

其中，当运行装置运行到所述另一个机器学习建模过程的被修改的部分时，基于修改后的机器学习建模过程来运行。

12.根据权利要求11所述的系统，其中，显示装置在用于构建机器学习建模过程的图形界面中显示用于表示构建的机器学习建模过程的有向无环图，其中，所述有向无环图中的节点与所述机器学习建模过程中的步骤一一对应。

13.根据权利要求11所述的系统，其中，所述修改操作包括用于修改当前正运行的步骤的下游步骤的配置的配置操作，其中，响应于所述配置操作，在运行装置运行所述至少一个步骤的同时，构建装置对所述配置操作所针对的步骤的配置进行修改，

其中，当运行装置运行到被修改的步骤时，基于修改后的配置来运行所述被修改的步骤。

14.根据权利要求11所述的系统，其中，所述修改操作包括用于修改当前正运行的步骤的配置或当前正运行的步骤的上游步骤的配置的配置操作，其中，响应于所述配置操作，运行装置停止运行当前正运行的步骤，并且，构建装置对所述配置操作所针对的步骤的配置进行修改，

其中，当再次接收到用于运行所述机器学习建模过程中的至少一个步骤的用户操作时，运行装置从最上游的被修改的步骤开始运行，

其中，当运行装置运行到被修改的步骤时，基于修改后的配置来运行所述被修改的步骤。

15.根据权利要求11所述的系统，其中，所述修改操作包括用于调整所述机器学习建模过程之中当前正运行的步骤的下游结构的结构调整操作，其中，响应于所述结构调整操作，在运行装置运行所述至少一个步骤的同时，构建装置调整所述机器学习建模过程的结构，

其中，当运行装置运行到所述机器学习建模过程被调整结构的部分时，按照调整后的结构来运行。

16.根据权利要求11所述的系统，其中，所述修改操作包括用于调整所述机器学习建模过程之中当前正运行的步骤的上游结构的结构调整操作，其中，响应于所述结构调整操作，运行装置停止运行当前正运行的步骤，并且构建装置调整所述机器学习建模过程的结构，

其中，当再次接收到用于运行所述机器学习建模过程中的至少一个步骤的用户操作时，运行装置从所述机器学习建模过程的最上游的被调整结构的部分开始运行，

其中，当运行装置运行到所述机器学习建模过程被调整结构的部分时，按照调整后的结构来运行。

17.根据权利要求15或16所述的系统，其中，所述结构调整操作包括：用于向机器学习建模过程添加步骤的操作、用于删除机器学习建模过程中的步骤的操作、以及用于改变机器学习建模过程中的步骤之间的逻辑关系的操作之中的至少一项。

18.根据权利要求12所述的系统，其中，构建装置在运行装置运行所述至少一个步骤的同时，接收用户对所述有向无环图中的节点的选择操作；响应于所述选择操作，向用户显示用于配置与所选择的节点对应的步骤的配置项的控件；并接收用户对显示的控件的输入操作。

19.根据权利要求12所述的系统，其中，构建装置在运行装置运行所述至少一个步骤的同时，接收用户对所述有向无环图中的节点的选择操作；响应于所述选择操作，在所选择的节点的周围显示分别用于展示与所述节点对应的步骤的至少一个输出元素的至少一个控件，并响应于用户对所述至少一个控件之一的选择操作，向用户展示与所选择的控件对应的输出元素的输出结果。

20.根据权利要求12所述的系统，其中，构建装置在运行装置运行所述至少一个步骤的同时，在所述图形界面的预定区域显示节点列表，并接收从所述节点列表中选择并拖动节点连接到所述有向无环图中的节点的用户操作；

和/或，构建装置在运行装置运行所述至少一个步骤的同时，响应于针对所述有向无环图中的一个节点的一个连接点的用户操作，向用户推荐所述节点通过所述连接点能够连接到的节点和/或节点组合；并接收用户从推荐的节点和/或节点组合中选择一个节点或一个节点组合连接到所述连接点的操作。

21.一种计算机可读介质，其中，在所述计算机可读介质上记录有计算机程序，该计算机程序被处理器执行时，执行如权利要求1至10任一所述的用于构建机器学习建模过程的方法。

22.一种计算装置，包括存储部件和处理器，其中，存储部件中存储有计算机可执行指令集合，当所述计算机可执行指令集合被所述处理器执行时，执行如权利要求1至10任一所述的用于构建机器学习建模过程的方法。

Images