CN113449877A - 用于展示机器学习建模过程的方法及系统 - Google Patents

Abstract

提供一种用于展示机器学习建模过程的方法及系统。所述方法包括：在用于构建机器学习建模过程的图形界面中展示用于表示构建的机器学习建模过程的有向无环图，其中，所述有向无环图中的节点与所述机器学习建模过程中的步骤一一对应；接收用户对展示的有向无环图中的节点的选择操作；以及响应于所述选择操作，向用户展示与所选择的节点对应的步骤的运行信息和/或输出结果。根据所述方法及系统，用户能够便捷地查看机器学习建模过程中的步骤的运行信息和/或输出结果，提高了信息展示效率，提升了用户体验。

Description

用于展示机器学习建模过程的方法及系统

本申请是申请日为2018年5月30日、申请号为201810538629.X、题为“用于展示机器学习建模过程的方法及系统”的专利申请的分案申请。

技术领域

本发明总体说来涉及人工智能领域，更具体地讲，涉及一种用于展示机器学习建模过程的方法及系统。

背景技术

随着海量数据的出现，人们倾向于使用机器学习技术来从数据中挖掘出价值。机器学习是人工智能研究发展到一定阶段的必然产物，其致力于通过计算的手段，利用经验来改善系统自身的性能。在计算机系统中，“经验”通常以“数据”形式存在，通过机器学习算法，可从数据中产生“模型”，也就是说，将经验数据提供给机器学习算法，就能基于这些经验数据产生模型，在面对新的情况时，模型会提供相应的判断，即，预测结果。可以看出，如何基于经验数据产生模型(即，机器学习建模过程)是机器学习技术的关键。

用户在构建机器学习建模过程时，需要不断地配置或修改机器学习建模过程中的步骤直至达到其要求，为此，用户需要不断地查看机器学习建模过程中的步骤的相关信息。然而，现有的机器学习系统难以有效地查看机器学习建模过程中的步骤的相关信息，例如，信息展示内容或效率会受到限制，给建模过程带来了一定难度，导致难以在非代码编写的场景中快速有效地训练或应用机器学习模型。

发明内容

本发明的示例性实施例在于提供一种用于展示机器学习建模过程的方法及系统，以解决现有技术存在的不能便捷地查看机器学习建模过程中的步骤的相关信息的问题。

根据本发明的示例性实施例，提供一种用于展示机器学习建模过程的方法，包括：在用于构建机器学习建模过程的图形界面中展示用于表示构建的机器学习建模过程的有向无环图，其中，所述有向无环图中的节点与所述机器学习建模过程中的步骤一一对应；接收用户对展示的有向无环图中的节点的选择操作；以及响应于所述选择操作，向用户展示与所选择的节点对应的步骤的运行信息和/或输出结果。

可选地，所述运行信息包括步骤配置和/或运行状态；并且/或者，所述输出结果包括当前输出结果和/或历史输出结果。

可选地，所述方法还包括：响应于用于运行所述有向无环图中的至少一个节点的用户操作，运行与所述至少一个节点对应的步骤，并自动向用户展示当前正运行的步骤的运行信息和/或输出结果，其中，当与所选择的节点对应的步骤不同于当前正运行的步骤时，向用户展示与所选择的节点对应的步骤的运行信息和/或输出结果。

可选地，响应于所述选择操作向用户展示与所选择的节点对应的步骤的运行信息的步骤包括：响应于所述选择操作，在所述图形界面的预定区域中展示所述运行信息。

可选地，所述运行信息包括步骤配置和运行状态，其中，在所述图形界面的预定区域中展示所述运行信息的处理还包括：根据用户的选择来在所述预定区域中切换步骤配置和运行状态的展示；并且/或者，当与所选择的节点对应的步骤正在运行时，在所述预定区域中优先展示运行状态；并且/或者，当与所选择的节点对应的步骤未正在运行时，在所述预定区域中优先展示步骤配置。

可选地，响应于所述选择操作向用户展示与所选择的节点对应的步骤的输出结果的步骤包括：响应于所述选择操作，在所选择的节点的周围显示分别用于展示与所述节点对应的步骤的至少一个输出元素的至少一个控件，并响应于用户对所述至少一个控件之一的选择操作，向用户展示与所选择的控件对应的输出元素的输出结果。

可选地，响应于所述选择操作向用户展示与所选择的节点对应的步骤的运行信息和输出结果的步骤包括：响应于所述选择操作，在所述图形界面的预定区域中展示与所选择的节点对应的步骤的运行信息，并在所选择的节点的周围显示分别用于展示与所述节点对应的步骤的至少一个输出元素的至少一个控件；以及响应于用户对所述至少一个控件之一的选择操作，在所述预定区域中展示与所选择的控件对应的输出元素的输出结果，以补充或替换所展示的运行信息。

可选地，向用户展示与所选择的控件对应的输出元素的输出结果的处理还包括：在所述有向无环图中提示与所选择的控件对应的输出元素被应用到的后续节点。

可选地，所述方法还包括：响应于用于运行所述有向无环图中的至少一个节点的用户操作，运行与所述至少一个节点对应的步骤，其中，所述至少一个控件被显示的视觉效果用于区分地提示对应的输出元素是否具有本次运行的结果。

可选地，所述方法还包括：响应于用于运行所述有向无环图中的至少一个节点的用户操作，运行与所述至少一个节点对应的步骤；在运行完与所述至少一个节点对应的步骤之后，自动或响应于用户的请求操作，向用户展示包括所述至少一个节点及与所述至少一个节点对应的步骤的全部输出元素的视图；以及响应于用户对所述视图中的输出元素的选择操作，向用户展示所选择的输出元素的输出结果，其中，在所述视图中，按照与所述至少一个节点对应的步骤被运行的先后顺序来排列所述至少一个节点，所述至少一个节点中的每个节点与与其对应的步骤的输出元素相连接，并且，如果所述至少一个节点的数量大于1时，则所述至少一个节点之中任意两个节点仅经由对应的输出元素相连接，其中，所述对应的输出元素是与所述任意两个节点中的一个节点对应的步骤的输出元素，并且所述对应的输出元素作为与所述任意两个节点中的另一个节点对应的步骤的输入。

可选地，在所述视图中，节点和输出元素被施加不同的视觉效果以区别显示。

可选地，所述运行信息包括步骤配置，其中，所述方法还包括：响应于用户对所述视图中的节点的选择操作，向用户展示与所选择的节点对应的步骤的步骤配置以及用于设置所述步骤配置中的至少一个配置项的控件；以及响应于用户针对所述控件的设置操作，对相应的配置项进行设置。

可选地，所述方法还包括：响应于针对所述有向无环图中的一个节点的一个连接点的用户操作，向用户推荐所述节点通过所述连接点能够连接到的节点和/或节点组合；以及响应于用户从推荐的节点和/或节点组合中选择一个节点或一个节点组合的操作，在所述有向无环图中新增选择的节点或节点组合。

可选地，所述方法还包括：自动将所述节点通过所述连接点连接到新增的节点或节点组合。

可选地，向用户推荐所述节点通过所述连接点能够连接到的节点和/或节点组合的步骤包括：在所述连接点的周围展示所述节点通过所述连接点能够连接到的节点和/或节点组合。

可选地，所述针对所述有向无环图中的一个节点的一个连接点的用户操作包括：在所述有向无环图中的一个节点的一个连接点上悬停，并在所述连接点响应于所述悬停操作进入待连接状态之后，单击所述连接点。

可选地，所述有向无环图中的节点，按照所对应的步骤所属的类别被施加对应的视觉效果，其中，不同类别对应的视觉效果不同。

根据本发明的另一示例性实施例，提供一种用于展示机器学习建模过程的系统，包括：展示装置，用于在用于构建机器学习建模过程的图形界面中展示用于表示构建的机器学习建模过程的有向无环图，其中，所述有向无环图中的节点与所述机器学习建模过程中的步骤一一对应；操作接收装置，用于接收用户对展示的有向无环图中的节点的选择操作，其中，展示装置响应于所述选择操作，向用户展示与所选择的节点对应的步骤的运行信息和/或输出结果。

可选地，所述运行信息包括步骤配置和/或运行状态；并且/或者，所述输出结果包括当前输出结果和/或历史输出结果。

可选地，所述系统还包括：运行装置，用于响应于用于运行所述有向无环图中的至少一个节点的用户操作，运行与所述至少一个节点对应的步骤，其中，展示装置自动向用户展示当前正运行的步骤的运行信息和/或输出结果，并当与所选择的节点对应的步骤不同于当前正运行的步骤时，向用户展示与所选择的节点对应的步骤的运行信息和/或输出结果。

可选地，展示装置响应于所述选择操作，在所述图形界面的预定区域中展示所述运行信息。

可选地，所述运行信息包括步骤配置和运行状态，其中，展示装置根据用户的选择来在所述预定区域中切换步骤配置和运行状态的展示；并且/或者，展示装置当与所选择的节点对应的步骤正在运行时，在所述预定区域中优先展示运行状态；并且/或者，展示装置当与所选择的节点对应的步骤未正在运行时，在所述预定区域中优先展示步骤配置。

可选地，展示装置响应于所述选择操作，在所选择的节点的周围显示分别用于展示与所述节点对应的步骤的至少一个输出元素的至少一个控件，并响应于用户对所述至少一个控件之一的选择操作，向用户展示与所选择的控件对应的输出元素的输出结果。

可选地，展示装置响应于所述选择操作，在所述图形界面的预定区域中展示与所选择的节点对应的步骤的运行信息，并在所选择的节点的周围显示分别用于展示与所述节点对应的步骤的至少一个输出元素的至少一个控件，并且响应于用户对所述至少一个控件之一的选择操作，在所述预定区域中展示与所选择的控件对应的输出元素的输出结果，以补充或替换所展示的运行信息。

可选地，展示装置在所述有向无环图中提示与所选择的控件对应的输出元素被应用到的后续节点。

可选地，所述系统还包括：运行装置，用于响应于用于运行所述有向无环图中的至少一个节点的用户操作，运行与所述至少一个节点对应的步骤，其中，所述至少一个控件被显示的视觉效果用于区分地提示对应的输出元素是否具有本次运行的结果。

可选地，所述系统还包括：运行装置，用于响应于用于运行所述有向无环图中的至少一个节点的用户操作，运行与所述至少一个节点对应的步骤，其中，展示装置在运行完与所述至少一个节点对应的步骤之后，自动或响应于用户的请求操作，向用户展示包括所述至少一个节点及与所述至少一个节点对应的步骤的全部输出元素的视图，并响应于用户对所述视图中的输出元素的选择操作，向用户展示所选择的输出元素的输出结果，其中，在所述视图中，按照与所述至少一个节点对应的步骤被运行的先后顺序来排列所述至少一个节点，所述至少一个节点中的每个节点与与其对应的步骤的输出元素相连接，并且，如果所述至少一个节点的数量大于1时，则所述至少一个节点之中任意两个节点仅经由对应的输出元素相连接，其中，所述对应的输出元素是与所述任意两个节点中的一个节点对应的步骤的输出元素，并且所述对应的输出元素作为与所述任意两个节点中的另一个节点对应的步骤的输入。

可选地，在所述视图中，节点和输出元素被施加不同的视觉效果以区别显示。

可选地，所述运行信息包括步骤配置，其中，展示装置响应于用户对所述视图中的节点的选择操作，向用户展示与所选择的节点对应的步骤的步骤配置以及用于设置所述步骤配置中的至少一个配置项的控件，并且，所述系统还包括：配置装置，用于响应于用户针对所述控件的设置操作，对相应的配置项进行设置。

可选地，所述系统还包括：节点推荐装置，用于响应于针对所述有向无环图中的一个节点的一个连接点的用户操作，向用户推荐所述节点通过所述连接点能够连接到的节点和/或节点组合；以及节点增加装置，用于响应于用户从推荐的节点和/或节点组合中选择一个节点或一个节点组合的操作，在所述有向无环图中新增选择的节点或节点组合。

可选地，节点增加装置自动将所述节点通过所述连接点连接到新增的节点或节点组合。

可选地，节点推荐装置在所述连接点的周围展示所述节点通过所述连接点能够连接到的节点和/或节点组合。

可选地，所述针对所述有向无环图中的一个节点的一个连接点的用户操作包括：在所述有向无环图中的一个节点的一个连接点上悬停，并在所述连接点响应于所述悬停操作进入待连接状态之后，单击所述连接点。

可选地，所述有向无环图中的节点，按照所对应的步骤所属的类别被施加对应的视觉效果，其中，不同类别对应的视觉效果不同。

根据本发明的另一示例性实施例，提供一种计算机可读介质，其中，在所述计算机可读介质上记录有用于执行如上所述的用于展示机器学习建模过程的方法的计算机程序。

根据本发明的另一示例性实施例，提供一种计算装置，包括存储部件和处理器，其中，存储部件中存储有计算机可执行指令集合，当所述计算机可执行指令集合被所述处理器执行时，执行如上所述的用于展示机器学习建模过程的方法。

根据本发明示例性实施例的用于展示机器学习建模过程的方法及系统，用户能够便捷地查看机器学习建模过程中的步骤的运行信息和/或输出结果，提高了信息展示效率，提升了用户体验。此外，还能够针对用于表示机器学习建模过程的有向无环图中的节点向用户推荐该节点能够连接到的节点。

将在接下来的描述中部分阐述本发明总体构思另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本发明总体构思的实施而得知。

附图说明

通过下面结合示例性地示出实施例的附图进行的描述，本发明示例性实施例的上述和其他目的和特点将会变得更加清楚，其中：

图1示出根据本发明示例性实施例的用于展示机器学习建模过程的方法的流程图；

图2和图3示出根据本发明示例性实施例的向用户展示机器学习建模过程中的步骤的运行状态的示例；

图4示出根据本发明示例性实施例的用于展示与所选择的节点对应的步骤的输出元素的控件的示例；

图5至图7示出根据本发明示例性实施例的向用户展示与所选择的节点对应的步骤的运行信息和输出结果的示例；

图8示出根据本发明示例性实施例的包括与运行的步骤对应的节点及运行的步骤的全部输出元素的视图的示例；

图9示出根据本发明示例性实施例的向用户推荐有向无环图中的节点能够连接到的节点和/或节点组合的示例；

图10示出根据本发明示例性实施例的用于展示机器学习建模过程的系统的框图。

具体实施方式

现将详细参照本发明的实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本发明。

图1示出根据本发明示例性实施例的用于展示机器学习建模过程的方法的流程图。这里，作为示例，所述方法可通过计算机程序来执行，也可由专门的用于执行机器学习过程的硬件设备或软硬件资源的集合体来执行，例如，可由用于实现机器学习相关业务的机器学习平台来执行所述方法。

参照图1，在步骤S10中，在用于构建机器学习建模过程的图形界面中展示用于表示构建的机器学习建模过程的有向无环图(DAG图)。这里，所述有向无环图中的节点与所述机器学习建模过程中的步骤一一对应。

作为示例，可当接收到用户打开表示机器学习建模过程的文件的操作时，显示所述图形界面，并在所述图形界面中展示用于表示所述文件的内容限定的机器学习建模过程的有向无环图；也可当接收到用户请求创建机器学习建模过程的操作时，显示所述图形界面，并实时响应于用于构建机器学习建模过程的用户操作，例如，添加并连接与各个步骤对应的各个节点，在所述图形界面中展示表示用户已构建的机器学习建模过程的有向无环图。

应该理解，可根据用户操作，对用于构建机器学习建模过程的图形界面中展示的DAG图进行编辑，例如，新增节点、删除节点、对节点的配置项进行设置等。作为示例，可在所述图形界面的画布区域中展示用于表示构建的机器学习建模过程的DAG图，从而用户可通过对在画布区域中显示的DAG图的编辑操作，来编辑所述DAG图的节点。

作为示例，构建的机器学习建模过程可包括以下步骤之中的至少一个步骤：数据导入、数据拼接、数据拆分、特征抽取、模型训练、模型测试和模型评估。具体说来，数据导入步骤用于导入一个或多个包含历史数据记录的数据集(例如，数据表)；数据拼接步骤用于对导入的多个数据集中的数据记录进行拼接；数据拆分步骤用于将拼接后的数据记录拆分为训练集和测试集，或者，将导入的一个数据集中的数据记录拆分为训练集和测试集，其中，训练集中的数据记录用于转换为训练样本以训练出模型，而测试集中的数据记录用于转换为测试样本，以根据训练出的模型针对测试样本的测试结果来评估模型效果；特征抽取步骤用于对训练集和测试集进行特征抽取，以生成训练样本和测试样本；模型训练步骤用于按照机器学习算法，基于训练样本来训练出机器学习模型；模型测试步骤用于获得训练出的机器学习模型针对测试样本的测试结果；模型评估步骤用于基于测试结果的准确性来评估训练出的机器学习模型的效果。

作为示例，所述有向无环图中的节点，可按照所对应的步骤所属的类别被施加对应的视觉效果，其中，不同类别对应的视觉效果不同。应该理解，可依据适当的逻辑规则来划分机器学习建模过程中的步骤的类别，例如，可按照该步骤所针对的对象(例如，数据、特征、模型等对象)来划分类别。根据上述示例性实施例，用户能够通过DAG图中的节点的视觉效果，直观地获知属于同一类别的节点或属于不同类别的节点，方便用户对DAG图进行编辑操作。进一步地，作为示例，可提供用于选择类别的控件，并且，响应于用户对一个类别的选择操作，向用户展示所述有向无环图中与该类别对应的节点。通过上述方式，能够方便用户对机器学习建模过程中的属于同一类别的全部步骤进行统一查看。

在步骤S20中，接收用户对展示的有向无环图中的节点的选择操作。

作为示例，对展示的有向无环图中的节点的选择操作可以是通过鼠标左键单击节点的操作。此外，也可以是其他适当的对节点的选择操作。

这里，用户的选择操作既可针对处于运行状态的有向无环图(即，整个有向无环图对应的机器学习任务被提交到后台)，也可针对处于非运行状态的有向无环图，或者，进一步地，与用户通过选择操作所选择的节点对应的步骤当前既可以处于运行状态，也可处于非运行状态。也就是说，根据本发明的示例性实施例，用户既可查看整体处于运行状态或非运行状态的机器学习建模过程中的各个步骤，也可分别就当前正在运行或当前并未运行的步骤进行查看。

在步骤S30中，响应于所述选择操作，向用户展示与所选择的节点对应的步骤的运行信息和/或输出结果。

作为示例，所述运行信息可包括步骤配置和/或运行状态。向用户展示与所选择的节点对应的步骤的步骤配置的处理可包括：向用户展示与该步骤的至少一个配置项对应的至少一个控件，其中，所述控件可用于显示配置项的具体内容，还可用于对配置项的内容进行设置。向用户展示与所选择的节点对应的步骤的运行状态的处理可包括：向用户展示该步骤的实时运行日志、运行中的关键信息、和/或运行统计信息。图2和图3示出根据本发明示例性实施例的展示特征抽取步骤的运行状态的示例，如图2所示，可根据用户选择向用户展示实时运行日志、运行中的关键信息、和/或运行统计信息，如图3所示，特征抽取步骤的运行统计信息可包括已抽取的特征的数量、已运行该步骤的时间等。在现有技术中，通常仅能在运行机器学习建模过程中的步骤时，向用户提供已运行的时间以及整体的运行进度，用户不能获知更为详细的运行情况。而根据本发明的示例性实施例，能够向用户展示针对每个步骤更为详细的运行状态以使用户能够获知每个步骤的具体运行情况，方便用户根据步骤的具体运行情况对步骤进行确认、设置等。

作为示例，所述输出结果可包括当前输出结果和/或历史输出结果。这里，当前输出结果即本次运行与所选择的节点对应的步骤后得到的输出结果，历史输出结果即在本次运行之前运行与所选择的节点对应的步骤后得到的输出结果。向用户展示与所选择的节点对应的步骤的输出结果的处理可包括：向用户展示该步骤输出的至少一个元素(以下，称为输出元素)的输出结果。作为示例，输出元素的输出结果可以是输出元素的具体输出内容本身，也可以是具体输出内容的相关信息，例如，可以是具体输出内容的大小、用于访问具体输出内容的通道入口等。应该理解，同一步骤的多个输出元素的类型可相同或不同，不同步骤的输出元素的类型可相同或不同。作为示例，输出元素的类型可包括以下类型之中的至少一种：数据表、用于限定机器学习模型的信息、评估报告、分析报告。例如，关于数据表，可以是数据拆分步骤输出的作为训练集的数据表和作为测试集的数据表，可以是特征抽取步骤输出的作为训练样本的数据表和作为测试样本的数据表，还可以是模型测试步骤输出的指示测试结果的数据表；用于限定机器学习模型的信息可以是机器学习模型的参数；评估报告可以是用于评估机器学习模型的测试效果的报告；分析报告可以是关于运行步骤的过程中所进行的分析的报告，例如，关于在运行特征抽取步骤的过程中所进行的特征重要性分析的报告。

作为示例，响应于用户对展示的有向无环图中的节点的选择操作，可在所述图形界面的预定区域中展示与所选择的节点对应的步骤的运行信息和/或输出结果。例如，可通过减小所述图形界面中用于展示有向无环图的区域(例如，画布区域)来得到所述预定区域并在其中展示与所选择的节点对应的步骤的运行信息和/或输出结果。作为示例，可根据用户的选择来在所述预定区域中切换步骤配置和运行状态的展示。

作为示例，根据本发明示例性实施例的用于展示机器学习建模过程的方法还可包括：响应于用于运行所述有向无环图中的至少一个节点的用户操作，运行与所述至少一个节点对应的步骤。作为示例，当与所选择的节点对应的步骤正在运行时，可在所述预定区域中优先展示运行状态(例如，该步骤运行中的实时信息)。作为示例，当与所选择的节点对应的步骤未正在运行时，可在所述预定区域中优先展示步骤配置。

作为另一示例，响应于用户对展示的有向无环图中的节点的选择操作，可在所选择的节点的周围显示分别用于展示与所述节点对应的步骤的至少一个输出元素的至少一个控件，并响应于用户对所述至少一个控件之一的选择操作，向用户展示与所选择的控件对应的输出元素的输出结果。作为示例，所述至少一个控件可与所述至少一个输出元素一一对应。作为示例，所述至少一个控件可按照所对应的输出元素的类型被施加对应的视觉效果，其中，不同类型对应的视觉效果不同。

此外，在机器学习建模任务被提交到后台进行运行的情况下，所选择的节点周围的用于展示输出元素的控件可在视觉上表示出其所对应的输出元素是否具有本次运行的结果。例如，响应于用于运行所述有向无环图中的至少一个节点的用户操作，可运行与所述至少一个节点对应的步骤，相应地，所述至少一个控件被显示的视觉效果还可用于区分地提示对应的输出元素是否具有本次运行的结果。

如图4所示，响应于用户对展示的有向无环图中的节点的选择操作，可在所选择的节点的周围显示分别用于展示与所述节点对应的步骤的至少一个输出元素的至少一个控件，该步骤的多个输出元素的类型可相同或不同，且不同类型的输出元素所对应的控件被区分显示。此外，作为示例，可在所述图形界面的预定区域中展示与所选择的控件对应的输出元素的输出结果。

作为示例，向用户展示与所选择的控件对应的输出元素的输出结果的处理还可包括：在所述有向无环图中提示与所选择的控件对应的输出元素被应用到的后续节点。通过这种方式，可方便地提示用户该输出元素被下游的哪些节点所应用，尤其有助于直观地理解相对复杂的建模过程。

例如，在包括多个步骤的机器学习建模过程所对应的有向无环图中，所选择的节点可与中间的某个步骤对应，在所选择的节点周围显示的某个控件被选择时，其所对应的输出元素被应用到的后续节点与所述所选择的节点之间的连线可被突出显示(例如，高亮显示)，以指示该输出元素被应用到的后续节点，上述效果的示例可从图6和图7中看出。

作为另一示例，响应于用户对展示的有向无环图中的节点的选择操作，可在所述图形界面的预定区域中展示与所选择的节点对应的步骤的运行信息，并在所选择的节点的周围显示分别用于展示与所述节点对应的步骤的至少一个输出元素的至少一个控件；响应于用户对所述至少一个控件之一的选择操作，在所述预定区域中展示与所选择的控件对应的输出元素的输出结果，以补充或替换所展示的运行信息。通过上述特定的交互过程，能够帮助用户方便有效地了解或处理机器学习建模过程中涉及的数据、进程或历史等各个主要方面，降低了机器学习系统的使用门槛。

以下，将结合图5至图7来描述根据本发明示例性实施例的向用户展示与所选择的节点对应的步骤的运行信息和输出结果的具体方式。如图5所示，可响应于在DAG图中选择与数据拆分步骤对应的数据拆分节点的用户操作(例如，用鼠标左键单击该节点)，在所述图形界面的预定区域中展示数据拆分步骤的运行信息，并同时在数据拆分节点的周围显示分别用于展示数据拆分步骤的两个输出元素(如图5所示，两个输出元素的类型均为数据表)的两个控件。这里，数据拆分步骤的运行信息可包括步骤配置和/或运行状态，作为示例，可根据用户的选择来在所述预定区域中切换步骤配置和运行状态的展示。其中，可通过在所述预定区域中显示用于显示和设置数据拆分步骤的配置项的控件来向用户展示数据拆分步骤的步骤配置。

如图6所示，可响应于用户对在数据拆分节点的周围显示的控件的选择操作，在所述预定区域中展示与所选择的控件对应的输出元素的输出结果以替换所展示的运行信息，并将数据拆分节点与所选择的控件对应的输出元素被应用到的后续节点(即，特征抽取节点)之间的连线突出显示(例如，高亮显示)。其中，可通过在所述预定区域中显示与所选择的控件对应的输出元素的具体输出内容的大小、用于访问该具体输出内容的通道入口等来向用户展示数据拆分步骤的输出结果，此外，还可在所述预定区域中显示用于该输出元素的预览、下载、导出的控件。如图7所示，可根据用户选择来在所述预定区域中切换当前输出结果和历史输出结果的展示。应理解，本发明的示例性实施例在向用户展示与所选择的节点对应的步骤的运行信息和输出结果时的具体交互场景及操作细节不限于图5至图7所示的示例。

此外，也可通过其他适当的方式向用户展示与所选择的节点对应的步骤的运行信息和/或输出结果。例如，响应于用户对展示的有向无环图中的节点的选择操作，可弹出用于展示与所选择的节点对应的步骤的运行信息和/或输出结果的对话框。

作为另一示例，根据本发明示例性实施例的用于展示机器学习建模过程的方法还可包括：响应于用于运行所述有向无环图中的至少一个节点的用户操作，运行与所述至少一个节点对应的步骤，并自动向用户展示当前正运行的步骤的运行信息和/或输出结果，其中，当与所选择的节点对应的步骤不同于当前正运行的步骤时，向用户展示与所选择的节点对应的步骤的运行信息和/或输出结果。通过这种方式，当有向无环图或其中的一部分被提交到后台运行时，可随着运行进度，默认显示当前运行步骤的运行信息和/或输出结果，在此过程中，如果用户手动选择了期望进一步了解的其他节点时，默认显示的内容则被替换为用户选择的节点所对应步骤的运行信息和/或输出结果。

作为另一示例，根据本发明示例性实施例的用于展示机器学习建模过程的方法还可包括：响应于用于运行所述有向无环图中的至少一个节点的用户操作，运行与所述至少一个节点对应的步骤，在运行完与所述至少一个节点对应的步骤之后，自动或响应于用户的请求操作，向用户展示包括所述至少一个节点及与所述至少一个节点对应的步骤的全部输出元素的视图；并响应于用户对所述视图中的输出元素的选择操作，向用户展示所选择的输出元素的输出结果。

这里，在所述视图中，按照与所述至少一个节点对应的步骤被运行的先后顺序来排列所述至少一个节点，所述至少一个节点中的每个节点与与其对应的步骤的输出元素相连接，并且，如果所述至少一个节点的数量大于1时，则所述至少一个节点之中任意两个节点仅经由对应的输出元素相连接(即，任意两个节点不直接相连)，其中，所述对应的输出元素是与所述任意两个节点中的一个节点对应的步骤的输出元素，并且所述对应的输出元素作为与所述任意两个节点中的另一个节点对应的步骤的输入。通过向用户展示包括与运行的步骤对应的节点及运行的步骤的全部输出元素的视图，能够便于用户更好地理解不同步骤之间的内在关系，不同步骤的输出结果之间的上下游关系。

作为示例，在所述视图中，节点和输出元素可被施加不同的视觉效果以区别显示。例如，如图8所示的视图，节点可被显示为圆形、输出元素可被显示为长方形。

作为示例，所述运行信息包括步骤配置，根据本发明示例性实施例的用于展示机器学习建模过程的方法还可包括：响应于用户对所述视图中的节点的选择操作，向用户展示与所选择的节点对应的步骤的步骤配置以及用于设置所述步骤配置中的至少一个配置项的控件；并响应于用户针对所述控件的设置操作，对相应的配置项进行设置。即，用户可对所述视图中显示的节点的配置项进行设置，此外，也可对所述视图中显示的节点进行其他交互操作，本发明对此不作限制。

在现有技术中，当用户通过用于构建机器学习建模过程的图形界面来构建用于表示机器学习建模过程的有向无环图时，用户需要从节点库(即，机器学习建模过程中所需的节点的集合)中选择节点，将选择的节点拖入到用于编辑有向无环图的画布区域，并将画布区域中原有的一个节点的一个连接点(以下，称为第一连接点)连接到该新增的节点的一个连接点(以下，称为第二连接点)，例如，在第一连接点上悬停，并在第一连接点响应于所述悬停操作进入待连接状态之后，按住第一连接点并尝试连接到第二连接点，此时，如果两个连接点之间在建模过程中无法建立从第一连接点到第二连接点的连接关系，则提示用户两个连接点之间不能连接。也即，用户在选择节点时，并不知道两个节点之间是否能够连接，只有到进行实际连接操作时，才能获知两者是否能够连接，降低了用户构建机器学习建模过程的效率，影响了用户体验。

针对现有技术存在的上述问题，作为示例，根据本发明示例性实施例的用于展示机器学习建模过程的方法还可包括：响应于针对所述有向无环图中的一个节点的一个连接点的用户操作，向用户推荐所述节点通过所述连接点能够连接到的节点和/或节点组合；并响应于用户从推荐的节点和/或节点组合中选择一个节点或一个节点组合的操作，在所述有向无环图中新增选择的节点或节点组合。这里，可根据建模过程中步骤的顺序以及当前节点对应的步骤细节，推算出建议连接的单个或组合候选节点，从而能够方便用户快捷、准确地在有向无环图中新增适合的节点或节点组合。

作为示例，根据本发明示例性实施例的用于展示机器学习建模过程的方法还可包括：自动将所述节点通过所述连接点连接到新增的节点或节点组合。

作为示例，向用户推荐所述节点通过所述连接点能够连接到的节点和/或节点组合的步骤可包括：在所述连接点的周围展示所述节点通过所述连接点能够连接到的节点和/或节点组合。

作为示例，所述针对所述有向无环图中的一个节点的一个连接点的用户操作可包括：在所述有向无环图中的一个节点的一个连接点上悬停，并在所述连接点响应于所述悬停操作进入待连接状态之后，单击所述连接点。例如，如图9所示，可通过将被悬停操作的连接点显示为“+号”，来提示用户该节点已进入待连接状态。相应地，可在该节点的附近显示推荐连接的节点或节点组合。当用户从推荐的节点或节点组合中选择了期望的后续节点或节点组合时，被选择的节点或节点组合可自动添加到画布中，或进一步地实现当前节点与添加的节点或节点组合之间的自动连接。

图10示出根据本发明示例性实施例的用于展示机器学习建模过程的系统的框图。如图10所示，根据本发明示例性实施例的用于展示机器学习建模过程的系统包括：展示装置10和操作接收装置20。

具体说来，展示装置10用于在用于构建机器学习建模过程的图形界面中展示用于表示构建的机器学习建模过程的有向无环图，其中，所述有向无环图中的节点与所述机器学习建模过程中的步骤一一对应。

作为示例，所述有向无环图中的节点，可按照所对应的步骤所属的类别被施加对应的视觉效果，其中，不同类别对应的视觉效果不同。

操作接收装置20用于接收用户对展示的有向无环图中的节点的选择操作，其中，展示装置10响应于所述选择操作，向用户展示与所选择的节点对应的步骤的运行信息和/或输出结果。

作为示例，所述运行信息可包括步骤配置和/或运行状态；并且/或者，所述输出结果可包括当前输出结果和/或历史输出结果。

作为示例，展示装置10可响应于所述选择操作，在所述图形界面的预定区域中展示所述运行信息。

作为示例，所述运行信息包括步骤配置和运行状态，其中，展示装置10可根据用户的选择来在所述预定区域中切换步骤配置和运行状态的展示。

作为示例，展示装置10可响应于所述选择操作，在所选择的节点的周围显示分别用于展示与所述节点对应的步骤的至少一个输出元素的至少一个控件，并响应于用户对所述至少一个控件之一的选择操作，向用户展示与所选择的控件对应的输出元素的输出结果。

作为示例，展示装置10可响应于所述选择操作，在所述图形界面的预定区域中展示与所选择的节点对应的步骤的运行信息，并在所选择的节点的周围显示分别用于展示与所述节点对应的步骤的至少一个输出元素的至少一个控件，并且响应于用户对所述至少一个控件之一的选择操作，在所述预定区域中展示与所选择的控件对应的输出元素的输出结果，以补充或替换所展示的运行信息。

作为示例，展示装置10可在所述有向无环图中提示与所选择的控件对应的输出元素被应用到的后续节点。

作为示例，根据本发明示例性实施例的用于展示机器学习建模过程的系统还可包括：运行装置(未示出)。

运行装置用于响应于用于运行所述有向无环图中的至少一个节点的用户操作，运行与所述至少一个节点对应的步骤。作为示例，展示装置10可自动向用户展示当前正运行的步骤的运行信息和/或输出结果，并当与所选择的节点对应的步骤不同于当前正运行的步骤时，向用户展示与所选择的节点对应的步骤的运行信息和/或输出结果。

作为示例，展示装置10当与所选择的节点对应的步骤正在运行时，可在所述预定区域中优先展示运行状态。

作为示例，展示装置10当与所选择的节点对应的步骤未正在运行时，可在所述预定区域中优先展示步骤配置。

作为示例，与所选择的节点对应的步骤的至少一个输出元素的至少一个控件被显示的视觉效果可用于区分地提示对应的输出元素是否具有本次运行的结果。

作为示例，展示装置10可在运行完与所述至少一个节点对应的步骤之后，自动或响应于用户的请求操作，向用户展示包括所述至少一个节点及与所述至少一个节点对应的步骤的全部输出元素的视图，并响应于用户对所述视图中的输出元素的选择操作，向用户展示所选择的输出元素的输出结果，其中，在所述视图中，按照与所述至少一个节点对应的步骤被运行的先后顺序来排列所述至少一个节点，所述至少一个节点中的每个节点与与其对应的步骤的输出元素相连接，并且，如果所述至少一个节点的数量大于1时，则所述至少一个节点之中任意两个节点仅经由对应的输出元素相连接，其中，所述对应的输出元素是与所述任意两个节点中的一个节点对应的步骤的输出元素，并且所述对应的输出元素作为与所述任意两个节点中的另一个节点对应的步骤的输入。

作为示例，在所述视图中，节点和输出元素可被施加不同的视觉效果以区别显示。

作为示例，所述运行信息包括步骤配置，其中，展示装置10响应于用户对所述视图中的节点的选择操作，向用户展示与所选择的节点对应的步骤的步骤配置以及用于设置所述步骤配置中的至少一个配置项的控件，并且，根据本发明示例性实施例的用于展示机器学习建模过程的系统还可包括：配置装置(未示出)，用于响应于用户针对所述控件的设置操作，对相应的配置项进行设置。

作为示例，根据本发明示例性实施例的用于展示机器学习建模过程的系统还可包括：节点推荐装置(未示出)和节点增加装置(未示出)。

具体说来，节点推荐装置用于响应于针对所述有向无环图中的一个节点的一个连接点的用户操作，向用户推荐所述节点通过所述连接点能够连接到的节点和/或节点组合。

作为示例，节点推荐装置可在所述连接点的周围展示所述节点通过所述连接点能够连接到的节点和/或节点组合。

作为示例，所述针对所述有向无环图中的一个节点的一个连接点的用户操作可包括：在所述有向无环图中的一个节点的一个连接点上悬停，并在所述连接点响应于所述悬停操作进入待连接状态之后，单击所述连接点。

节点增加装置用于响应于用户从推荐的节点和/或节点组合中选择一个节点或一个节点组合的操作，在所述有向无环图中新增选择的节点或节点组合。

作为示例，节点增加装置可自动将所述节点通过所述连接点连接到新增的节点或节点组合。

应该理解，根据本发明示例性实施例的用于展示机器学习建模过程的系统的具体实现方式可参照结合图1至图9描述的相关具体实现方式来实现，在此不再赘述。

根据本发明示例性实施例的用于展示机器学习建模过程的系统所包括的装置可被分别配置为执行特定功能的软件、硬件、固件或上述项的任意组合。例如，这些装置可对应于专用的集成电路，也可对应于纯粹的软件代码，还可对应于软件与硬件相结合的模块。此外，这些装置所实现的一个或多个功能也可由物理实体设备(例如，处理器、客户端或服务器等)中的组件来统一执行。

应理解，根据本发明示例性实施例的用于展示机器学习建模过程的方法可通过记录在计算可读介质上的程序来实现，例如，根据本发明的示例性实施例，可提供一种用于展示机器学习建模过程的计算机可读介质，其中，在所述计算机可读介质上记录有用于执行以下方法步骤的计算机程序：在用于构建机器学习建模过程的图形界面中展示用于表示构建的机器学习建模过程的有向无环图，其中，所述有向无环图中的节点与所述机器学习建模过程中的步骤一一对应；接收用户对展示的有向无环图中的节点的选择操作；以及响应于所述选择操作，向用户展示与所选择的节点对应的步骤的运行信息和/或输出结果。

上述计算机可读介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，应注意，所述计算机程序还可用于执行除了上述步骤以外的附加步骤或者在执行上述步骤时执行更为具体的处理，这些附加步骤和进一步处理的内容已经参照图1至图9进行了描述，这里为了避免重复将不再进行赘述。

应注意，根据本发明示例性实施例的用于展示机器学习建模过程的系统可完全依赖计算机程序的运行来实现相应的功能，即，各个装置与计算机程序的功能架构中与各步骤相应，使得整个系统通过专门的软件包(例如，lib库)而被调用，以实现相应的功能。

另一方面，根据本发明示例性实施例的用于展示机器学习建模过程的系统所包括的各个装置也可以通过硬件、软件、固件、中间件、微代码或其任意组合来实现。当以软件、固件、中间件或微代码实现时，用于执行相应操作的程序代码或者代码段可以存储在诸如存储介质的计算机可读介质中，使得处理器可通过读取并运行相应的程序代码或者代码段来执行相应的操作。

例如，本发明的示例性实施例还可以实现为计算装置，该计算装置包括存储部件和处理器，存储部件中存储有计算机可执行指令集合，当所述计算机可执行指令集合被所述处理器执行时，执行用于展示机器学习建模过程的方法。

具体说来，所述计算装置可以部署在服务器或客户端中，也可以部署在分布式网络环境中的节点装置上。此外，所述计算装置可以是PC计算机、平板装置、个人数字助理、智能手机、web应用或其他能够执行上述指令集合的装置。

这里，所述计算装置并非必须是单个的计算装置，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。计算装置还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子装置。

在所述计算装置中，处理器可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。

根据本发明示例性实施例的用于展示机器学习建模过程的方法中所描述的某些操作可通过软件方式来实现，某些操作可通过硬件方式来实现，此外，还可通过软硬件结合的方式来实现这些操作。

处理器可运行存储在存储部件之一中的指令或代码，其中，所述存储部件还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，所述网络接口装置可采用任何已知的传输协议。

存储部件可与处理器集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储部件可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储部件和处理器可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得处理器能够读取存储在存储部件中的文件。

此外，所述计算装置还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。计算装置的所有组件可经由总线和/或网络而彼此连接。

根据本发明示例性实施例的用于展示机器学习建模过程的方法所涉及的操作可被描述为各种互联或耦合的功能块或功能示图。然而，这些功能块或功能示图可被均等地集成为单个的逻辑装置或按照非确切的边界进行操作。

例如，如上所述，根据本发明示例性实施例的用于展示机器学习建模过程的计算装置可包括存储部件和处理器，其中，存储部件中存储有计算机可执行指令集合，当所述计算机可执行指令集合被所述处理器执行时，执行下述步骤：在用于构建机器学习建模过程的图形界面中展示用于表示构建的机器学习建模过程的有向无环图，其中，所述有向无环图中的节点与所述机器学习建模过程中的步骤一一对应；接收用户对展示的有向无环图中的节点的选择操作；以及响应于所述选择操作，向用户展示与所选择的节点对应的步骤的运行信息和/或输出结果。

以上描述了本发明的各示例性实施例，应理解，上述描述仅是示例性的，并非穷尽性的，本发明不限于所披露的各示例性实施例。在不偏离本发明的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。因此，本发明的保护范围应该以权利要求的范围为准。

Claims (10)

1.一种用于展示机器学习建模过程的方法，包括：

在用于构建机器学习建模过程的图形界面中展示用于表示构建的机器学习建模过程的有向无环图，其中，所述有向无环图中的节点与所述机器学习建模过程中的步骤一一对应；

接收用户对展示的有向无环图中的节点的选择操作；以及

响应于所述选择操作，向用户展示与所选择的节点对应的步骤的运行信息和/或输出结果。

2.根据权利要求1所述的方法，其中，所述运行信息包括步骤配置和/或运行状态；并且/或者，所述输出结果包括当前输出结果和/或历史输出结果。

3.根据权利要求1所述的方法，还包括：

响应于用于运行所述有向无环图中的至少一个节点的用户操作，运行与所述至少一个节点对应的步骤，并自动向用户展示当前正运行的步骤的运行信息和/或输出结果，

其中，当与所选择的节点对应的步骤不同于当前正运行的步骤时，向用户展示与所选择的节点对应的步骤的运行信息和/或输出结果。

4.根据权利要求1所述的方法，其中，响应于所述选择操作向用户展示与所选择的节点对应的步骤的运行信息的步骤包括：响应于所述选择操作，在所述图形界面的预定区域中展示所述运行信息。

5.根据权利要求4所述的方法，其中，所述运行信息包括步骤配置和运行状态，其中，在所述图形界面的预定区域中展示所述运行信息的处理还包括：

根据用户的选择来在所述预定区域中切换步骤配置和运行状态的展示；

并且/或者，当与所选择的节点对应的步骤正在运行时，在所述预定区域中优先展示运行状态；

并且/或者，当与所选择的节点对应的步骤未正在运行时，在所述预定区域中优先展示步骤配置。

6.根据权利要求1所述的方法，其中，响应于所述选择操作向用户展示与所选择的节点对应的步骤的输出结果的步骤包括：

响应于所述选择操作，在所选择的节点的周围显示分别用于展示与所述节点对应的步骤的至少一个输出元素的至少一个控件，并响应于用户对所述至少一个控件之一的选择操作，向用户展示与所选择的控件对应的输出元素的输出结果。

7.根据权利要求1所述的方法，其中，响应于所述选择操作向用户展示与所选择的节点对应的步骤的运行信息和输出结果的步骤包括：

响应于所述选择操作，在所述图形界面的预定区域中展示与所选择的节点对应的步骤的运行信息，并在所选择的节点的周围显示分别用于展示与所述节点对应的步骤的至少一个输出元素的至少一个控件；以及

响应于用户对所述至少一个控件之一的选择操作，在所述预定区域中展示与所选择的控件对应的输出元素的输出结果，以补充或替换所展示的运行信息。

8.一种用于展示机器学习建模过程的系统，包括：

展示装置，用于在用于构建机器学习建模过程的图形界面中展示用于表示构建的机器学习建模过程的有向无环图，其中，所述有向无环图中的节点与所述机器学习建模过程中的步骤一一对应；

操作接收装置，用于接收用户对展示的有向无环图中的节点的选择操作，

其中，展示装置响应于所述选择操作，向用户展示与所选择的节点对应的步骤的运行信息和/或输出结果。

9.一种计算机可读介质，其中，在所述计算机可读介质上记录有用于执行如权利要求1至7任一所述的用于展示机器学习建模过程的方法的计算机程序。

10.一种计算装置，包括存储部件和处理器，其中，存储部件中存储有计算机可执行指令集合，当所述计算机可执行指令集合被所述处理器执行时，执行如权利要求1至7任一所述的用于展示机器学习建模过程的方法。

Images