CN114546365B - 一种流程可视化的建模方法、服务器、计算机系统及介质 - Google Patents

Abstract

本发明公开一种流程可视化的建模方法、服务器、计算机系统及介质。在一具体实施方式中，所述建模方法包括：响应于用户在交互界面上对图形化组件的第一操作，构建有向无环图，其中所述有向无环图包括由所述图形化组件生成的多个中间组件及表征所述中间组件之间数据流向的连接线；响应于用户对所述有向无环图中任一中间组件的第二操作，执行对所述任一中间组件的模型训练；响应于用户对执行模型训练后的中间组件的第三操作，可视化显示训练结果；响应于用户对执行模型训练后的中间组件的第四操作，对所述中间组件进行实例化，从而生成模型。

Description

一种流程可视化的建模方法、服务器、计算机系统及介质

技术领域

本发明涉及计算机建模领域。更具体地，涉及一种流程可视化的建模方法、服务器、计算机系统及介质。

背景技术

现有的模型创建过程非常繁琐，以创建机器学习模型为例，其创建过程通常包括：特征分析、模型训练、模型验证、模型调优、模型导出和模型加载。其中，每个阶段都需要独立进行编码，尤其是创建和分析过程非常繁琐及耗时，需要数据分析师及工程师投入大量的时间。

并且，目前机器学习领域大量的工具都是编程性的机器学习库，譬如R、Python以及深度学习库Caffe等，这些机器学习工具都具有一定的门槛，学习曲线比较高，不适合一般的业务和数据分析人员。因此，需要一种适用于一般业务和数据分析人员的可视化机器学习工具，以解决上述问题。

CN107169575A公开了及一种可视化机器学习训练模型的建模系统和方法。该方法通过拖拽图形化算法组件即可形成训练模型中的各个模块，并在各个模块间建立相应的数据流向，构建训练模型，同时，还可以在可视化流程画布中显示流程设计、模型验证和中间结果，实现了可视化的流程设计。

然而，该方案仅公开了对整个模型进行验证的方案，尽管其提及了能够显示中间结果，然而“显示中间结果”在说明书中具体是指显示中间各阶段的状态及计算进度等。这种情况下，如果中间某一步的计算逻辑有误，就需要重新对模型进行重构，因此，相关技术中的可视化建模方法无法保证整个建模过程的建模准确性。

发明内容

本发明的目的在于提供一种流程可视化的建模方法、服务器、计算机系统及介质，以解决现有技术存在的问题中的至少一个。

为达到上述目的，本发明采用下述技术方案：

本发明第一方面提供了一种流程可视化的建模方法，包括：

响应于用户在交互界面上对图形化组件的第一操作，构建有向无环图，其中所述有向无环图包括由所述图形化组件生成的多个中间组件及表征所述中间组件之间数据流向的连接线；

响应于用户对所述有向无环图中任一中间组件的第二操作，执行对所述任一中间组件的模型训练；

响应于用户对执行模型训练后的中间组件的第三操作，可视化显示训练结果；

响应于用户对执行模型训练后的中间组件的第四操作，对所述中间组件进行实例化，从而生成模型。

进一步的，所述响应于用户对所述有向无环图中任一中间组件的第二操作，执行对所述任一中间组件的模型训练，包括：

通过Octopus接口，接收来自所述交互界面的请求，并将所述请求经过任务分配模块处理后分发给对应的任务执行模块；

所述任务执行模块将任务信息通过Livy接口发送到spark计算引擎进行执行；

存储所述执行结果。

进一步的，所述存储所述执行结果，包括：

将数据表存储在HDFS中；

将训练好的模型、模型算子、字典类型输出以及列表类输出存储在Postgres中。

进一步的，所述响应于用户对执行模型训练后的中间组件的第三操作，可视化显示训练结果，包括：

利用presto查询存储的执行结果；

将查询结果通过Octopus接口转换后发送到所述交互界面进行显示。

进一步的，所述响应于用户在交互界面上对图形化组件的第一操作，构建有向无环图，包括：

响应于用户对组件区中图形化组件的第五操作，在设计区呈现所选择的中间组件；

响应于用户对设计区呈现的中间组件中目标组件的第六操作，在参数设置区设置目标组件的参数；

响应于用户对目标组件的第七操作，建立所有中间组件中任意两个目标组件之间的数据流向，从而生成有向无环图。

进一步的，所述将查询结果通过Octopus接口转换后发送到所述交互界面进行显示，还包括：

筛选前N条查询结果进行可视化；

或者

筛选满足预设条件的查询结果进行可视化；

或者

按照平均值或最大值或最小值对查询结果做聚合进行可视化，聚合后的数据支持表格和图形展示。

进一步的，还包括：

发布实例化的模型。

进一步的，所述发布所述实例化的模型，包括：

将所述实例化的模型发布到设备端。

本发明第二方面提供了一种存储介质，该程序被执行时实现本发明第一方面提供的方法。

本发明第三方面提供了一种服务器，所述处理器执行程序时实现本发明第一方面提供的方法。

本发明第四方面提供了一种计算系统，包括

根据本发明第三方面提供的服务器；以及

设备端，所述服务器将实例化的模型发布到设备端，以供设备端运行。

本发明的有益效果如下：

本发明实施例的建模方法，利用有向无环图表征整个建模过程以及该过程中存在的数据流向关系，并通过对有向无环图中的中间组件进行模型训练、可视化训练结果以及实例化，从而得到模型，整个建模过程操作简洁明了，使得非数据分析人员也能够进行建模，并且本实施例通过对任一中间组件进行模型训练、可视化训练结果以及实例化操作，能够减少建模过程中的错误，提高建模效率以及建模准确性。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明。

图1示出本发明一个实施例的流程可视化的建模方法的流程示意图；

图2示出本发明实施例的交互界面的示意图；

图3示出本发明实施例的数据预处理组件的界面示意图；

图4示出本发明实施例的统计分析组件的界面示意图；

图5示出本发明实施例的机器学习组件的界面示意图；

图6示出本发明实施例的深度学习组件的界面示意图；

图7示出本发明实施例的逻辑控制组件的界面示意图；

图8示出本发明实施例的模型评估器组件的界面示意图；

图9示出本发明实施例的步骤S1的流程示意图；

图10示出本发明实施例的步骤S3的流程示意图；

图11示出本发明实施例的执行步骤S31~S35的模块架构示意图；

图12示出本发明实施例的步骤S5的流程示意图；

图13示出本发明实施例的交互界面进行可视化以及实例化的示意图；

图14示出本发明实施例的交互界面显示中间组件可视化的数据示意图；

图15示出本发明的另一个实施例的种计算系统架构示意图。

具体实施方式

为了更清楚地说明本发明，下面结合实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。

如图1所示，本发明第一个实施例提出一种流程可视化的建模方法，包括：

S1、响应于用户在交互界面上对图形化组件的第一操作，构建有向无环图，其中所述有向无环图包括由所述图形化组件生成的多个中间组件及表征所述中间组件之间数据流向的连接线；

S3、响应于用户对所述有向无环图中任一中间组件的第二操作，执行对所述任一中间组件的模型训练；

S5、响应于用户对执行模型训练后的中间组件的第三操作，可视化显示训练结果；

S7、响应于用户对执行模型训练后的中间组件的第四操作，对所述中间组件进行实例化，从而生成模型。

本发明实施例的建模方法，利用有向无环图表征整个建模过程以及该过程中存在的数据流向关系，并通过对有向无环图中的中间组件进行模型训练、可视化训练结果以及实例化，从而得到模型，整个建模过程操作简洁明了，使得非数据分析人员也能够进行建模，并且本实施例通过对任一中间组件进行模型训练、可视化训练结果以及实例化操作，能够减少建模过程中的错误，提高建模效率以及建模准确性。

现以具体示例，对本发明实施例的建模方法进行说明：

S1、响应于用户在交互界面上对图形化组件的第一操作，构建有向无环图。

图2示出了本实施例的交互界面的示意图，如图2所示，交互界面的左侧区域为组件区，该组件区中示出了多种功能的图形化组件。

在一个可选的实施例中，图形化组件包括数据源组件、数据预处理组件、统计分析组件、机器学习组件、深度学习组件、逻辑控制组件、模型评估器组件等多种应用于建模过程中的组件，通过上述各图形化组件的组合设计，能够实现不同目的建模过程，即，本实施例能够应用于不同设计需求、不同领域技术人员以及不同设计模型的建模流程，使得应用场景扩大化。

每一图形化组件根据不同的建模需求下设多种次级图形化组件。示例性的，如图2所示，数据源组件包括用于调取用于建模数据的数据调取组件，等等。在另一个示例中，如图3所示，数据预处理组件包括对建模数据进行处理的多种组件，处理后的建模数据能够有效提高建模效率以及模型精度。示例性的，数据预处理组件包括数据清洗、数据规约、数据转换、数据集成以及矩阵运算等多种对数据进行处理的方式，根据不同的目的从而对建模数据进行不同方式或者组合方式的处理。

在另一个示例中，如图4所示，统计分析组件包括多种对建模数据进行统计的各个组件，例如，统计分析组件包括假设检验组件、基本统计组件、按行列统计组件、偏度组件、熵值法组件、行列距离度量组件等等的各组件。

在另一个示例中，如图5所示，机器学习组件包不同的机器学习的组件，例如回归组件、聚类组件、分类组件、时间序列分析组件以及自然语言处理组件等等，示例性的，以回归组件为例，回归组件进一步包括线性回归、逐步回归、决策树回归等等不同类型的回归组件。

在另一个示例中，如图6所示，深度学习组件包括卷积神经网络（CNN）、环神经网络（RNN）、长短期记忆人工神经网络（LSTM）以及动态神经网络（DNN）等多种深度学习的组件。

在另一个示例中，如图7所示，逻辑控制组件包括循环开始组件、循环结束组件等等的基于逻辑的组件。

在一个具体示例中，如图8所示，模型评估器组件包括对不同训练后的中间组件进行评估的各类评估组件，例如回归评估器组件、聚类评估器组件、二分类评估器组件、TF分类评估器以及多分类评估器组件等等。

值得说明的是，上述各具体组件的说明仅为示例性说明，本发明的各个组件包括但不限于上述组件，本实施例的各个组件的类型以及各个组件所包括的次级组件的数量可不断增加，以满足不同的建模流程为设计准则，在此不再赘述。

还值得说明的是，本实施例不限制图形化组件在交互界面所展示的形式，例如图2所示的文字或者图案，图形化组件还可以为英文、拼音、各类语言等等，本领域技术人员能够根据实际应用进行设计，在此不再赘述。

示例性的，本发明实施例的第一操作操作包括但不限于点击操作、拖动操作、选中操作以及快捷操作等，如通过拖动操作，将图形化组件拖拽到交互界面中的设计区进行显示，又或者通过单击、Ctrl多选、框选等方式选中图形化组件后，触发交互界面中的设计区显示被选中的图形化组件。

如图3所示，第一操作为点击操作，响应于用户的点击操作，数据清洗组件的次级组件被展开，显示更多的属于数据清洗组件的建模所用到的组件，例如：清除缺失值、差值、数据重采样、去重等次级组件。

在一个可选的实施例中，如图9所示，步骤S1“响应于用户在交互界面上对图形化组件的第一操作，构建有向无环图”包括：

S11、响应于用户对组件区中图形化组件的第五操作，在设计区呈现所选择的中间组件。

示例性的，如图2所示，设计区位于交互界面中间区域。第五操作为与第一操作相同的包括但不限于点击操作、拖动操作、选中操作以及快捷操作等。示例性的，如图2所示，通过拖动操作，将图形化组件“数据源组件”中的“数据调取组件”拖拽到交互界面中的设计区，显示在设计区的“数据调取组件”即为本发明实施例的用于构建有向无环图的中间组件。在另一个示例中，将隶属于“数据预处理”-“数据清洗”中的“滑动窗口组件”拖拽到设计区。在另一个示例中，将隶属于“数据预处理”-“数据转换”-“函数”组件中的“类型转换” 组件拖拽到设计区。在另一个示例中，将隶属于“机器学习算法”-“聚类”组件中的“KMeans”组件拖拽到设计区。在另一个示例中，将隶属于“建模”组件中的“训练模型”组件拖拽到设计区。在另一个示例中，将隶属于“建模”组件中的“应用模型”组件拖拽到设计区。

通过上述步骤S11，本发明实施例能够将与整个建模流程相关的图形化组件设置在设计区，从而在设计区显示由中间组件构成的待形成的有向无环图。

S13、响应于用户对设计区呈现的中间组件中目标组件的第六操作，在参数设置区设置目标组件的参数。

本实施例中，目标组件为中间组件中待进行设置的组件，如图2所示，以设计区显示的多个中间组件中的训练模型组件为目标组件，交互界面响应于用户的对该训练模型组件的选中操作，该训练模型组件呈现为被标记状态（图2中黑色圆圈标识），以区别目标组件和其他中间组件。

并且，在设计区右侧的参数设置区，交互界面响应于用户的对该训练模型组件的选中操作，参数设置区显示当前的目标组件所需要的设计参数。如图2所示，以训练模型组件为目标组件，参数设置区所展示的参数包括：特征数量、随机种子数量、相似性、以及列选择器等。用户可通过选中、输入等操作在参数设置区进行参数设置，以便后续进行该模型组件的模型训练。

值得说明的是，图2所示的本发明实施例的参数设置区的各个参数为示例性说明，对于不同的目标组件，涉及的相关参数也可能不同，例如不同的机器学习算法需要不同的设计参数，不同的深度学习的模型也涉及不同的参数，又例如，数据预处理组件和机器学习算法组件所涉及的参数也不相同，本领域技术人员根据实际应用设计不同组件所对应的参数，以响应于用户对目标参数的参数设置的相关操作，在参数设置区显示需设置的参数为设计准则，在此不再赘述。

示例性的，本实施例的第六操作包括但不限于点击操作、框选操作、输入操作以及快捷操作等，本发明实施例以响应于用户对目标参数的参数设置的相关操作，在参数设置区显示以及更改需设置的参数为设计准则，在此不再赘述。

S15、响应于用户对目标组件的第七操作，建立所有中间组件中任意两个目标组件之间的数据流向，从而生成有向无环图。

本实施例中，表征整个建模流程的有向无环图不仅包括由图形化组件生成的中间组件，还包括表征中间组件之间数据流向的连接线。步骤S13中对中间组件的参数进行单独设置，本实施例中，对存在数据关联的两目标组件进行关联设置，使得构建的有向无环图能够准确地表征整个建模流程。

本实施例的第七操作包括但不限于点击操作、滑动操作、框选操作、连接操作以及快捷操作等，响应于第七操作，示例性的，如图2所示，数据调取组件和滑动窗口组件之间、滑动窗口组件和类型转换组件之间、类型转换组件和训练模型组件之间、训练模型和应用模型组件之间以及其他的两个中间组件之间都形成有连接线。

在一个具体示例中，如图2所示，用户在设计区选择数据调取组件作和滑动窗口组件为目标组件，响应于该选择操作，交互界面上显示为在两个目标组件的边部分别形成锚点，进一步的，第七操作还可为连接操作，如图2所示，数据调取组件的数据传输至滑动窗口组件，因此，本实施例的连接线的方向为自数据调取组件的锚点至滑动窗口组件的锚点。

在另一个示例中，如图2所示，滑动窗口组件通过连接线表示数据传输至类型转换组件，K均值聚类算法（KMeans）组件的数据通过连接线表示传输至训练模型组件，训练模型组件的数据通过连接线表示传输至应用模型组件。

本实施例中，一个目标组件具有至少一条连接线，即，每一目标组件所接收的数据以及每一目标组件所输出的数据存在多个数据的情况，如图2所示，训练模型组件所接收的数据是来自多个中间组件的，例如，训练模型组件通过多条连接线分别与KMeans组件、类型转换组件以及与聚类评估器组件连接，接收这几个组件所传输的数据。在另一个示例中，如图2所示，应用模型组件通过多条连接线分别与训练模型组件、类型转换组件以及与聚类评估器组件连接，接收这几个组件所传输的数据。

基于上述步骤，本实施例通过包括多个中间组件以及连接线构建了能够表征建模过程的有向无环图，该过程能够减少建模流程上的流程错误，以可视化的有向无环图展示出整个建模过程，直观简洁，降低了应用难度，便于非专业人员的建模工作。

值得说明的是，本实施例不限制设置中间组件中目标组件的参数以及形成连接线的流程先后顺序，也就是说，本领域技术人员既可以先进行设置目标组件参数的设置后形成连接线；本领域技术人员还可以选择先进行目标组件件连接线的设计后进行目标组件参数的设置，在此不再赘述。

S3、响应于用户对所述有向无环图中任一中间组件的第二操作，执行对所述任一中间组件的模型训练。

基于上述步骤S1，本发明实施例通过有向无环图确定了整个建模过程的具体流程，将每一步骤细化为中间组件，进一步的，本实施例通过对这些中间组件进行模型训练，明确中间组件所具体执行的与整个建模过程相关的执行任务。

在一个可选的实施例中，如图10所示，步骤S3“响应于用户对所述有向无环图中任一中间组件的第二操作，执行对所述任一中间组件的模型训练”进一步包括：

S31、通过Octopus接口，接收来自所述交互界面的请求，并将所述请求经过任务分配模块处理后分发给对应的任务执行模块。

S33、所述任务执行模块将任务信息通过Livy接口发送到spark计算引擎进行执行。

S35、存储所述执行结果。

考虑到本实施例是通过组件的方式对生成模型的过程进行拆分，因此，每一组件所执行的具体任务还需要进行训练，图11示出了步骤S31~S35的各个模块的执行过程，通过上述步骤实现了对中间组件的模型训练。

也就是说，本实施例所述的“模型训练”包括但不限于对机器学习模型、深度学习模型的模型训练，还包括对如图2所示的“类型转换组件”、“滑动窗口组件”以及“聚类评估器”进行的模型训练，通过对不同中间组件的模型训练，使得构建的有向无环图能够准确执行，从而生成最后的模型。

S31、通过Octopus接口接收来自所述交互界面的请求，并将所述请求经过任务分配模块处理后分发给对应的任务执行模块。

在步骤S31之前，用户对多个中间组件中的一个进行模型训练，示例性的，用户在交互界面选择待进行模型训练的中间组件，响应于用户的选择操作，交互界面生成该中间组件的模型训练请求，该模型训练请求通过Octopus接口输出至任务分配模块，利用可扩展性极强的特点，能够获取多个中间组件的不同的模型训练请求，提高建模效率。

由于一个中间组件的模型训练过程涉及大量数据的处理和计算，因此，本实施例通过任务分配模块将该模型训练过程中涉及的训练任务进行分配，将任务信息传输至不同的任务执行模块进行处理，从而实现模型训练中多项训练任务的并行处理，从而提高中间组件的训练速度。

示例性的，以执行KMeans模型组件的训练为例，KMeans属于聚类算法的一种，通过迭代将样本分为K个互不重叠的子集。对于KMeans聚类而言，首先要确定的第一个参数就是聚类个数K。本实施例中，任务分配模块所接收的任务信息之一即为确定聚类个数K，示例性的，第一任务信息为通过目的导向的获取聚类个数K，第二任务信息为通过比较多个K值的聚类结果选取拐点值的方式获取聚类个数K，第三任务信息为计算样本与聚类中心点的距离，第四任务信息为移动聚类中心点，样本分类完毕之后，重新计算各个样本与聚类中心点的距离，第五任务信息为多次迭代，以聚类中心点的位置不发生变化为确认结果，基于这些任务信息，本实施例将KMeans模型组件的训练过程进行分解，提高后续的模型训练效率。

S33、所述任务执行模块将任务信息通过Livy接口发送到spark计算引擎进行执行。

如图11所示，本实施例通过Livy接口进行任务信息的传输，Livy接口能够简化spark计算引擎与一些应用程序之间的交互，使得spark计算引擎能够用于web应用(比如Hue)，从而扩大化本实施例的交互界面的应用场景。

本实施例通过任务分配模块和spark计算引擎的交互，把需要进行大量计算的模型训练的数据进行拆分，实现海量数据的分布式计算，进一步提高了中间组件的模型训练效率。

S35、存储所述执行结果。

示例性的，执行结果以及执行结果对应的存储格式包括：

数据表，存储格式为：DTYPE_DF = "Dataframe"；

评估器的输出，存储格式为：DTYPE_EVALUATOR = "Evaluator"；

训练好的模型（有评估器和模型算子），存储格式为：DTYPE_MODEL = "Model"；

模型算子，存储格式为：DTYPE_DAESTIMATOR = "DAEstimator"

字典类型输出，如基本统计组件的输出包括有字表类型的输出，存储格式为：DTYPE_DICT = "Dict"；

列表类型输出，如数据对象组件的输出包括有列表类型的输出，存储格式为：DTYPE_LIST = "List"；

训练好的模型（无评估器和模型算子），如spc组件的输出包括有该种的输出，存储格式为：DTYPE_FEAMODEL = "FeatureModel"。

存储后的执行结果能够在建模过程中响应于用于的查询操作随时查看。

在一个可选的实施例中，有向无环图还包括表征所述执行结果被存储的位置的存储标识，该存储标识响应于用户的第八操作显示在连接线上。

在一个可选的实施例中，步骤S31“通过Octopus接口接收来自所述交互界面的请求，并将所述请求经过任务分配模块处理后分发给对应的任务执行模块”还包括：响应于用户的第八操作，通过Octopus接口接收来自所述交互界面的存储请求，将所述存储请求经过任务分配模块处理后生成存储执行结果的存储指令。

示例性的，如图2所示，当用户需要对类型转换组件输出至应用模型组件的数据进行存储时，用户可通过点击操作、拖拽操作、选中操作或者快捷操作等方式，交互界面响应于该操作，在类型转换组件和应用模型组件之间的连接线上显示出存储标识，在完成该类型转换组件的模型训练后，根据存储指令将类型转换组件生成的执行结果进行存储。

在另一个具体示例中，用户还需要对聚类评估器组件输出至应用模型组件的数据进行存储，用户可通过点击操作、拖拽操作、选中操作或者快捷操作等方式，交互界面响应于该操作，在聚类评估器组件和应用模型组件之间的连接线上显示出存储标识，在完成该聚类评估器组件的模型训练后，根据存储指令将聚类评估器组件生成的执行结果进行存储。

示例性的，为简化有向无环图，聚类评估器组件的执行结果和类型转换组件的均输出至聚类评估器组件，因此将两个数据存储标识合并显示在交互界面上。

利用本实施例的执行结果能够自由存库的特点，能够将可重复利用的数据进行存储，进一步解决了数据质量低、数据处理效率低、模型精度低的问题。在一个具体示例中，对原始数据经过任务分配模块处理后得到的更有意义的数据进行存储，能解决工业场景采集回来的原始数据质量低的问题。

在一个可选的实施例中，所述存储所述执行结果，包括：

将数据表存储在HDFS中；

将训练好的模型、模型算子、字典类型输出以及列表类输出存储在Postgres中。

本实施例中，通过对执行结果的数据进行分类存储，将与原始数据有关的数据存储在HDFS中，例如，以表格形式体现的原始数据的数据表；将与中间组件的模型训练过程相关的训练数据存储在Postgres中，例如，执行结果中的“训练好的模型、模型算子、字典类型输出以及列表类输出”的相关数据，本实施例利用HDFS和Postgres两个数据库共同存储的方式，既能够支撑数量多以及内存大的数据存储，又能够实现扩展性和开源性。

S5、响应于用户对执行模型训练后的中间组件的第三操作，可视化显示训练结果。

本实施例中，考虑到上述步骤执行模型训练的中间组件可能存在逻辑错误导致执行结果错误的情况，相关技术中，如果出现了中间建模过程中的错误，则需要重新对模型进行重构，但是本实施例首先通过构建有向无环图的方式将模型的建模过程拆分多个中间组件和连接线，避免由于建模的复杂性影响建模准确性的问题，并且本实施例还对中间组件执行可视化，能够实时对中间组件进行验证，进一步解决了建模过程中逻辑错误影响整个模型的问题，能够实现建模流程的节点化设计以及节点化验证。

在一个可选的实施例中，如图11和图12所示，步骤S5还包括：

S51、利用presto模块查询存储的执行结果。本实施例利用presto模块，能够同时连接HDFS和Postgres数据库，并且查询速度快，效率高。

S53、将查询结果通过Octopus接口转换后发送到所述交互界面进行显示。

在一个示例中，用户在交互界面做出点击、输入或查询等第三操作，交互界面响应于用户的查询操作，生成查询请求，查询请求通过octopus接口传输至presto模块，presto模块根据该查询请求调取存储在HDFS数据库或Postgres数据库的数据，调取的数据通过octopus接口显示在交互界面，供用户查阅。

示例性的，当需要对训练模型组件训练完成后的执行结果进行查询时，示例性的，第三操作可为左键点选，在界面的快捷键中选择可视化；在另一个示例中，第三操作可为右键点选，在弹出的菜单中选择可视化，如图13所示，弹出的菜单中包括建模过程中设计区进行设计的指令，例如执行指令、可视化指令、模型实例化指令、删除、复制以及粘贴等指令。

响应于用户选择的可视化指令，如图14所示，交互界面显示出该训练模型组件对应的数据，示例性的，本实施例的数据以表格的形式显示在交互界面上，如图14所示，表格中包括多个特征名称以及特征名称对应的各类数据。

本实施例的可视化的数据包括但不限于上述的表格图形，示例性的，还可以折线图、直方图、散点图、热力图、箱线图等图形的方式实现可视化，供用户对当前中间组件的训练进行验证。

考虑到可视化的效率受模型训练过程中的数据量，数据可视化的效率受数据量大小影响，如果在web界面显示可视化数据，如果存储的数据量比较大，直接可视化可能会导致浏览器直接崩溃并且可视化效果不尽人意，因此，本实施例对可视化的方式进行设计，以提高可视化效率和可视化效果。

在一个可选的实施例中，所述将查询结果通过Octopus接口转换后发送到所述交互界面进行显示，还包括：

筛选前N条查询结果进行可视化。在一个具体示例中，N的数值可为1200，也就是说，在交互界面显示前1200条数据进行可视化，供用户审阅。在另一个示例中，若用户选择查看全部的执行结果对应的数据，则将N设置为0。该筛选数值N为本领域技术人员根据实际应用进行设计，在此不再赘述。

在一个可选的实施例中，所述将查询结果通过Octopus接口转换后发送到所述交互界面进行显示，还包括：

筛选满足预设条件的查询结果进行可视化。示例性的，预设条件为至少两种逻辑条件的组合，例如，“AND”和“OR”的不同特征的组合，实现更准确的可视化效果。

在一个可选的实施例中，所述将查询结果通过Octopus接口转换后发送到所述交互界面进行显示，还包括：按照平均值或最大值或最小值对查询结果做聚合进行可视化，聚合后的数据支持表格和图形展示。

本领域技术人员能够根据数据的数量选择不同的筛选方式，如上述的筛选前N条查询结果进行可视化的方式，又例如上述的筛选满足预设条件的查询结果进行可视化，还例如按照平均值或最大值或最小值对查询结果做聚合进行可视化，又例如，同时采用上述可视化方式中的一种或者几种筛选方式进行筛选，在此不再赘述。

基于上述步骤，本发明实施例通过对中间组件的可视化设计，能够对中间组件的训练结果及时查看，能够对中间组件所接收的数据以及根据中间组件所输出的数据进行对比查看，以验证中间组件的训练质量，例如确定当前中间组件的所接收的来自上一中间组件的数据质量，又例如确定当前中间组件的最优的逻辑算子，又例如确定当前的中间组件的输出是否正确等等，实现了对模型建模过程中的中间组件的验证，进一步确保建模的准确性。

基于上述论述，本发明实施例的建模方法中，在模型训练过程中，使用工作流的概念表示整个建模过程，每个建模步骤作为一个中间组件，多个中间组件经连接线数形成数据关联后形成表征整个建模过程的有向无环图。

本实施例建模方法中，当前训练的中间组件的训练依据为上一个数据输入的中间组件，即需要根据业务目标和上一步中间组件的处理结果来决定下一中间组件，该方法能够准确且灵活选择每一的中间组件，提高建模效率且最优化建模流程。进一步的，本实施例通过可视化中间组件的训练结果的方式，及时对当前的中间组件进行验证，能够有效防止模型搭建过程中的逻辑错误的问题，避免出现在每次搭建模型快完成时，才看到中间某一步的计算逻辑有误，需要重新编辑建模的现象，极大提高了模型的建模效率以及建模准确性，并且能够使得非专业人员进行建模，扩展了应用前景。

S7、响应于用户对执行模型训练后的中间组件的第四操作，对所述中间组件进行实例化，从而生成模型。

由于本发明实施例的建模方法是将模型的建模流程拆分为中间组件的方式，也就是说，当目标的模型包括多个次级模型时，有的相关的中间组件整合后能够形成一个次级模型，另一些其他的相关的中间组件整合后形成另一个次级模型，因此，本实施例通过实例化的方式，将相关的中间组件进行整合，从而生成完整的模型。

示例性的，当本实施例建模的模型包括卷积神经网络和卷积神经网络串联的残差网络时，此时，卷积神经网络为一个次级模型，残差网络为另一个次级模型，而在前述的步骤中，本实施例将卷积神经网络的建模过程拆分为多个中间组件，以及将残差网络的建模过程拆分为多个中间组件，进行每一中间组件的参数设置、数据流向以及模型训练后，可通过可视化进行所选择的中间组件的验证，验证无误后，通过实例化的方式，将与卷积神经网络相关的中间组件进行整合，以及将与残差网络有关的中间组件进行整合，并将整合后的卷积神经网络和整合后的残差网络进行实例化，从而形成本实施例的包括卷积神经网络和卷积神经网络串联的残差网络的模型。

示例性的，第四操作可为左键点选，在界面的快捷键中选择实例化；在另一个示例中，如图13所示，第四操作可为右键点选，在弹出的菜单中选择实例化。

在一个可选的实施例，如图2所示，该方法还包括：发布实例化的模型。在一个具体示例中，实例化后的模型发表在网页端，经该方法生成的多个模型以表格的形式显示在交互界面，实现多样化展示。

在另一个示例中，本实施例所述的“建模方法”以及最后生成“模型”的包括但不限于上述的“机器学习模型”、“深度学习模型”，还包括以构建模型为目的的各种应用，例如数据处理模型、数据筛选模型、数据关联性等等的能够以流程表达输出可视化结果的各种应用，示例性的，应用本实施例的建模方法构建了风电功率曲线模型、缸套压力线性回归模型、汽车价格预测模型、设备健康系数预测模型、测试预警模型等等的各种应用于不同领域的模型，整个建模过程操作简洁明了，使得非数据分析人员也能够进行建模，并且本实施例通过对任一中间组件进行模型训练、可视化训练结果以及实例化操作，能够减少建模过程中的错误，提高建模效率以及建模准确性。在一个可选的示例中，所述发布所述实例化的模型，包括：将所述实例化的模型发布到设备端。

示例性的，本实施例的模型建模完成后，能够在Web端的网页界面上展示，响应于用户的需求，将该模型发送到其他的设备端，例如计算机设备所发送的模型。在一个具体示例中，在Web端能够实时监控发布到设备端的模型状态，以及在Web端设置发布到设备端的模型的执行任务，例如模型执行次数、执行频率、执行时间、模型结果保存等设置。

在另一个具体示例中，发布到设备端的模型在应用过程中所生成的数据可传输到网络边缘侧，示例性的，网络边缘侧是搭载着融合网络、计算、存储、应用核心能力的边缘计算平台，可以为设备端和Web端的用户提供实时、动态和智能的服务计算，从而实现模型的“端-边-云”的应用。

本发明的另一个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现：响应于用户在交互界面上对图形化组件 的第一操作 ，构建有向无环图，其中所述有向无环图包括由所述图形化组件生成的多个中间组件及表征所述中间组件之间数据流向的连接线；响应于用户对所述有向无环图中任一中间组件的第二操作 ，执行对所述任一中间组件的模型训练；响应于用户对执行模型训练后的中间组件的第三操作 ，可视化显示训练结果；响应于用户对执行模型训练后的中间组件的第四操作 ，对所述中间组件进行实例化，从而生成模型。

在实际应用中，所述计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

本发明的另一个实施例提供了一种服务器，包括处理器，所述处理器执行程序时实现本发明上述实施例的建模方法。

如图15所示，本发明的另一个实施例提供了一种计算系统，包括，本发明上述实施例服务器；以及设备端，所述服务器将实例化的模型发布到设备端，以供设备端运行。

图15示出了可以应用本申请的用于执行本申请的建模方法的服务器以及将实例化的模型发布到设备端的示例性系统架构100。

如图15所示，系统架构100可以包括设备端101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用设备端101、102、103通过网络104与服务器105交互，以接收服务器所发布的模型等。

设备端101、102、103可以是硬件，也可以是软件。当设备端101、102、103为硬件时，可以是具有显示屏并且支持图像识别的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当设备端101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。

服务器105可以是提供模型的服务器，服务器105还可以是监控设备端模型执行状态的服务器。需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。

应该理解，图15中的设备端、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意合适数目的设备端、网络和服务器。

在本发明的描述中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于本领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (9)

1.一种流程可视化的建模方法，其特征在于，包括：

响应于用户在交互界面上对图形化组件的第一操作，构建有向无环图，其中所述有向无环图包括由所述图形化组件生成的多个中间组件及表征所述中间组件之间数据流向的连接线；

响应于用户对所述有向无环图中任一中间组件的第二操作，执行对所述任一中间组件的模型训练；

响应于用户对执行模型训练后的中间组件的第三操作，可视化显示训练结果；

响应于用户对执行模型训练后的中间组件的第四操作，对所述中间组件进行实例化，从而生成模型；

其中，所述响应于用户对所述有向无环图中任一中间组件的第二操作，执行对所述任一中间组件的模型训练，包括：

通过Octopus接口，接收来自所述交互界面的请求，并将所述请求经过任务分配模块处理后分发给对应的任务执行模块；

所述任务执行模块将任务信息通过Livy接口发送到spark计算引擎进行执行；

存储所述执行结果，该步骤包括：

将数据表存储在HDFS中，所述数据表为以表格形式体现的原始数据；

将训练好的模型、模型算子、字典类型输出以及列表类输出存储在Postgres中，所述训练好的模型、模型算子、字典类型输出以及列表类输出为与所述中间组件的模型训练过程相关的训练数据。

2.根据权利要求1所述的方法，其特征在于，所述响应于用户对执行模型训练后的中间组件的第三操作，可视化显示训练结果，包括：

利用presto查询存储的执行结果；

将查询结果通过Octopus接口转换后发送到所述交互界面进行显示。

3.根据权利要求1-2中任一项所述的方法，其特征在于，所述响应于用户在交互界面上对图形化组件的第一操作，构建有向无环图，包括：

响应于用户对组件区中图形化组件的第五操作，在设计区呈现所选择的中间组件；

响应于用户对设计区呈现的中间组件中目标组件的第六操作，在参数设置区设置目标组件的参数；

响应于用户对目标组件的第七操作，建立所有中间组件中任意两个目标组件之间的数据流向，从而生成有向无环图。

4.根据权利要求3所述的方法，其特征在于，所述将查询结果通过Octopus接口转换后发送到所述交互界面进行显示，还包括：

筛选前N条查询结果进行可视化；

或者

筛选满足预设条件的查询结果进行可视化；

或者

按照平均值或最大值或最小值对查询结果做聚合进行可视化，聚合后的数据支持表格和图形展示。

5.根据权利要求1所述的方法，其特征在于，还包括：

发布实例化的模型。

6.根据权利要求5所述的方法，其特征在于，所述发布所述实例化的模型，包括：

将所述实例化的模型发布到设备端。

7.一种存储介质，存储有程序，其特征在于，所述程序被执行程序时实现权利要求1-6中任一项所述的方法。

8.一种服务器，包括处理器，其特征在于，所述处理器执行程序时实现权利要求1-6中任一项所述的方法。

9.一种计算系统，其特征在于，包括

根据权利要求8所述的服务器；以及

设备端，所述服务器将实例化的模型发布到设备端，以供设备端运行。

Images