CN113626116B - 智能学习系统及数据分析方法 - Google Patents

Abstract

本发明公开了一种智能学习系统及数据分析方法。智能学习系统，包括：树形菜单栏，用于提供多种数据集和多种算法；svg画布，用于基于多种数据集和多种算法，构建DAG流程图；属性页，用于修改数据集以及算法的属性参数，以构建专题类分析模型；流程交互区，用于保存、删除、运行以及发布专题类分析模型。采用本发明，可以简化专题类分析模型构建过程，提高数据分析效率，避免代码的二次开发。

Description

智能学习系统及数据分析方法

技术领域

本发明涉及计算机领域，尤其涉及一种智能学习系统及数据分析方法。

背景技术

信息化时代，数据爆发式增长，数据潜在价值的挖掘分析变得十分必要，运用大数据挖掘分析与人工智能技术，对用户数据进行智能化处理，自助式可视化探索分析，数据深度挖掘分析，在线进行模型参数智能化自动化调优成为当前亟待解决的问题。现市场上数据智能分析软件产品主要分为三类：(1)单机版的机器学习软件，典型软件如R Studio，Matlab等。此类软件平台多为单机版软件，内置了机器学习的基础算法接口，用户通过二次开发使用接口实现自己数据的智能分析。此类软件多被应用在小型数据集，研究型应用中，无法支持海量数据集。(2)基于分布式集群的开源架构的数据智能分析类软件，典型软件如Spark Mlib。此类平台基于分布式集群构建，部分算法基于分布式计算方法实现。需要用户具备分布式计算基础，多适用于具体领域具体需求的应用场景。(3)企业级数据智能分析平台。现有企业级的数据智能分析平台主要为各大互联网公司根据各自领域业务应用、已有的存储计算控件以及现有算法进行封装构建而成。企业级数据智能分析平台典型的有微软AzureML，百度Jarvis，阿里PAI等。其中微软数据智能分析平台应用算法涵盖较全面，但不支持分布式的机器学习算法，很难实现大数据量集数据深度挖掘应用；百度Jarvis平台，为向导式的数据智能分析平台，用户必须上传符合软件规范内的数据并按照既定流程进行分析应用，较难实现应用的扩展；阿里PAI平台，搭积木式组装式数据智能分析平台，用户通过拖拉拽方式拖拽数据、算法形成业务应用模型，目前PAI平台支持分布式的计算分析，但不支持模型应用的发布与快速部署。

发明内容

本发明实施例提供一种智能学习系统及数据分析方法，用以解决背景技术中提到的数据智能分析平台软件存在的问题。

根据本发明实施例的智能学习系统，包括：

树形菜单栏，用于提供多种数据集和多种算法；

svg画布，用于基于多种所述数据集和多种所述算法，构建DAG流程图；

属性页，用于修改所述数据集以及所述算法的属性参数，以构建专题类分析模型；

流程交互区，用于保存、删除、运行以及发布所述专题类分析模型。

根据本发明的一些实施例，所述算法包括数据处理算子、数据分析算子、以及ETL类算子中的至少一种。

根据本发明的一些实施例，所述算法通过将SparkMlib、Tensorflow、以及Pytorch中的基础算子、数据、处理流程均封装获得。

根据本发明的一些实施例，所述数据集和所述算法均适于通过拖拽的方式移动至所述svg画布。

根据本发明的一些实施例，所述树形菜单栏和所述属性页分别位于所述svg画布的两侧，所述流程交互区位于所述svg画布的下方。

根据本发明的一些实施例，所述智能学习系统还包括：

画布辅助功能框，包括放大编辑按钮、缩小编辑按钮、位置还原按钮以及全屏显示按钮。

根据本发明实施例的数据分析方法，所述方法基于如上所述的智能学习系统实现，所述方法包括：

从树形菜单栏获取待构建专题类分析模型所需的至少一个数据集和至少一个算法，并移动至svg画布；

基于所述待构建专题类分析模型，通过连线将至少一个所述数据集和至少一个所述算法连接起来，以构建DAG流程图；

修改所述算法和所述数据集的属性参数，以构建专题类分析模型；

运行所述专题类分析模型。

根据本发明的一些实施例，所述从树形菜单栏获取待构建专题类分析模型所需的至少一个数据集和至少一个算法，并移动至svg画布，包括：

将待构建专题类分析模型所需的至少一个数据集和至少一个算法从树形菜单栏拖拽至svg画布。

根据本发明的一些实施例，所述修改所述算法和所述数据集的属性参数，包括：

在svg画布中单击所述算法或所述数据集，以在属性页显示所述算法或所述数据集的属性参数；

在所述属性页中修改所述算法或所述数据集的属性参数。

根据本发明的一些实施例，所述方法还包括：

右击所述连线、所述算法或所述数据集，以删除所述连线、所述算法或所述数据集。

采用本发明实施例，可以简化专题类分析模型构建过程，提高数据分析效率，避免代码的二次开发。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。在附图中：

图1是本发明实施例中智能学习系统结构示意图；

图2是本发明实施例中智能学习系统组成示意图；

图3是本发明实施例中智能学习系统工作原理图；

图4是本发明实施例中属性页效果图；

图5是本发明实施例中运行日志效果图。

图6是本发明实施例中画布辅助功能框示意图；

图7是本发明实施例中节点操作图；

图8是本发明实施例中删除连线效果图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

当前企业级的数据智能分析平台软件研制较少，并且主要存在如下问题：(1)传统数据智能分析软件需要二次开发，无法支持海量数据集；分布式开源架构操作复杂，需要一定的开发技术背景。(2)现有企业级数据智能分析平台，部分为向导式数据操作，需要用户按照系统规定的数据集、规定的操作方式进行输入和输出，可扩展性差；(3)另外一部分支持用户自由拖拽方式实现分析模型构建，但智能化程度不高，无法进行模型的自动化参数调优，需要用户手动进行参数配置。

基于此，本发明第一方面实施例提出一种智能学习系统，如图1所示，包括：

树形菜单栏，用于提供多种数据集和多种算法；这里的算法包括算子和模型，这些数据集和算法以树形结构显示，从而方便用户定位以及获取所需数据集和算法。

svg画布，用于基于多种所述数据集和多种所述算法，构建DAG流程图。可以理解的是，从树形菜单栏获取的数据集和算法可以在svg画布显示，而且，在svg画布中还可以通过连线将这些数据集和算法连接起来，形成DAG流程图。

属性页，用于修改所述数据集以及所述算法的属性参数，以构建专题类分析模型。可以理解的是，属性页可以呈现数据集以及算法的属性参数，并且在属性页中可以对这些属性参数进行编辑，从而可以实现在线参数调优以及定制化参数或算法模型的在线配置。

流程交互区，用于保存、删除、运行以及发布所述专题类分析模型。

采用本发明实施例，可以简化专题类分析模型构建过程，提高数据分析效率，避免代码的二次开发。

在上述实施例的基础上，进一步提出各变型实施例，在此需要说明的是，为了使描述简要，在各变型实施例中仅描述与上述实施例的不同之处。

根据本发明的一些实施例，树形菜单栏中的数据集和算法可以实时更新。在svg画布中构建的专题类分析模型也可以保存在树形菜单栏中。

根据本发明的一些实施例，所述算法包括数据处理算子、数据分析算子、以及ETL类算子中的至少一种。

根据本发明的一些实施例，所述算法通过将SparkMlib、Tensorflow、以及Pytorch中的基础算子、数据、处理流程均封装获得。

根据本发明的一些实施例，所述数据集和所述算法均适于通过拖拽的方式移动至所述svg画布。

如图1所示，根据本发明的一些实施例，所述树形菜单栏和所述属性页分别位于所述svg画布的两侧，所述流程交互区位于所述svg画布的下方。

如图6所示，根据本发明的一些实施例，所述智能学习系统还包括：

画布辅助功能框，包括放大编辑按钮、缩小编辑按钮、位置还原按钮以及全屏显示按钮。

本发明第二方面实施例提供一种数据分析方法，所述方法基于如上第一方面实施例所述的智能学习系统实现，所述方法包括：

从树形菜单栏获取待构建专题类分析模型所需的至少一个数据集和至少一个算法，并移动至svg画布；

基于所述待构建专题类分析模型，通过连线将至少一个所述数据集和至少一个所述算法连接起来，以构建DAG流程图，如图4所示；

修改所述算法和所述数据集的属性参数，以构建专题类分析模型；

运行所述专题类分析模型。图5为运行日志效果图。

采用本发明实施例，可以简化专题类分析模型构建过程，提高数据分析效率，避免代码的二次开发。

在上述实施例的基础上，进一步提出各变型实施例，在此需要说明的是，为了使描述简要，在各变型实施例中仅描述与上述实施例的不同之处。

根据本发明的一些实施例，所述从树形菜单栏获取待构建专题类分析模型所需的至少一个数据集和至少一个算法，并移动至svg画布，包括：

将待构建专题类分析模型所需的至少一个数据集和至少一个算法从树形菜单栏拖拽至svg画布。

根据本发明的一些实施例，所述修改所述算法和所述数据集的属性参数，包括：

在svg画布中单击所述算法或所述数据集，以在属性页显示所述算法或所述数据集的属性参数；

在所述属性页中修改所述算法或所述数据集的属性参数。

根据本发明的一些实施例，所述方法还包括：

右击所述连线、所述算法或所述数据集，以删除所述连线、所述算法或所述数据集，如图7-图8所示。

下面参照图1-图8以一个具体的实施例详细描述根据本发明实施例的智能学习系统及数据分析方法。值得理解的是，下述描述仅是示例性说明，而不是对本发明的具体限制。凡是采用本发明的相似结构及其相似变化，均应列入本发明的保护范围。

现有企业级数据智能分析平台，部分为向导式数据操作，需要用户按照系统规定的数据集、规定的操作方式进行输入和输出，可扩展性差；另外一部分支持用户自由拖拽方式实现分析模型构建，但智能化程度不高，无法进行模型的自动化参数调优，需要用户手动进行参数配置。

针对这些缺点，本发明实施例通过将SparkMlib，Tensorflow，Pytorch等开源机器学习计算框架中的基础算子、数据、处理流程均封装为一个个流程模块，实现数据处理算子、数据分析算子、ETL类算子的分布式计算与单机模式计算，各类算子参数的界面化配置，支持参数的实时在线编辑调优，以及参数的自动化智能调优。并提供交互式拖拉拽的操作界面构建有向无环图DAG形成专题类分析模型；最后实现专题类分析模型分析的任务提交，进度查看，任务中止、任务重新提交等操作，主要流程如图3所示。

本发明实施例的智能学习系统由前台和后台两个部分组成，组成结构图可见图2。智能学习前台为面向使用者的Web页面，该页面分为四个部分。第一部分为左侧的树形菜单栏，用来展示数据集，算法等数据。第二部分为中间svg画布，用来制作流程图。右侧的属性页为第三部分，第四部分位于页面下方，负责进行任务交互。页面示例如图1。从左侧的树形导航栏中拖动节点到画布中，并完成连线，点击保存模型按钮，进行选择当前画布图中的节点属于哪个模型，保存模型后，点击节点，在右侧属性页中设置参数信息。当参数信息设置完成后，点击开始运行，将dag画布的描述信息和参数，用户信息传入后台进行解析，生成可执行的xml，上传至hdfs，oozie调度，将执行成功节点的状态传入前台，前台实时更新这个状态，将效果展示到前台。下次点左侧树形节点中的模型，会显示当前的模型的状态。

在前台页面可以对在有向无环图画布上执行各类编辑操作，具体功能如下：

拖拽；在左侧的树形结构上，选中某个树节点，向右进行拖拽，此时形成矩形的图案，并且内部有相应的图标，和当前节点的名称。进入画布区域并松开鼠标，当前节点落在鼠标所在的位置，若拖拽至画布区域外，松开鼠标当前节点消失。

连线；节点上下各有五个空心圆代表要连线的起始点和结束点。鼠标悬浮节点的边缘，当鼠标样式从手型变为十字架时，上下的节点开始出现。按下鼠标进行移动到结束的位置，结束的位置为目标节点的上方的结束点。不可以形成回环，如图4所示。

节点右击弹框；右击画布上的节点，进行弹框，可以对当前节点进行操作，如图7所示。

连线编辑；在画布中点击连线可以弹出删除菜单，继续操作可以删除流程图中的连线，如图8所示。

画布辅助功能；提供一系列辅助功能以支持对DAG的编辑，如图6所示。第一个+为放大当前流程图，每次放大一倍；第二个-为缩小当前流程图，每次缩小一倍；第三个按钮，点击后会将流程图恢复到画布拖动前的位置；第四个按钮，点击后会进入全屏模式。

模型节点属性加载展示；单击模型节点后，右侧属性页中出现当前模型的状态码，摘要和描述信息，可修改，如图4所示。单击模型节点后，如果上次运行节点或者保存节点后，画布中出现流程图，并显示相关的状态。节点如果执行后错误，可查看错误信息。单击画布中的节点，右侧属性页中出现相应的样式，不同的节点出现不同的样式，输入参数后，进行判断是否合法。在第二次点击当前节点时，显示上一次输入的参数信息。并选中当前画布中的节点。

流程交互模块负责前台流程图与后台智能学习任务的交互，主要功能如下：

开始运行；点击开始运行，系统依次进行如下检查：1).画布中是否存在节点；2).初始节点是否为数据集；3).是否创建了实验；4).节点是否存在参数。如果检查通过，就将前台的流程图提交后台。

暂停运行；如果当前实验正在运行中，点击暂停运行，会停止当前实验，实验状态变为SUSPENDED。如果当前实验失败或者没有运行，则提示运行失败或者当前实验未运行。

结束DAG；当实验处在运行状态或者暂停状态，此时点击结束任务按钮，会杀死当前任务。节点状态变为kill。

DAG运行日志；在画布的右下方添加图标，点击图标，呼出一个页面，有动画效果，如图5所示，包含：当前节点运行结束的时间、当前节点的名称、当前节点运行的状态(成功或失败)。若当前节点运行失败，出现错误信息。此外，页面的高度是一定的，所以超出当前这个高度时，出现滚动条。

后台负责对流程图进行处理，编译成相应任务。后台包括DAG流程描述解析模块、DAG调度执行模块以及执行状态查询显示模块。三个模块主要的设计依据为DAG存储格式规范和DAG任务提交接口规范。

DAG描述存储格式信息由前台编辑生成，采用JSON字典格式分别各个节点和边。在后台t_dag_job表中有一个字段，用来存储dag的描述信息，将dag数据以json的形式存储，方便前端展示。在后台t_dag_job_node表中存储dag描述信息的各个节点的详细信息。

本发明实施例的关键在于：将有向无环图的编辑和执行运用到智能学习系统中，将智能学习平台的实现分成前台和后台两个部分。前台包括树形菜单栏、DAG流程图制作画布、数据集和算子属性页，以及流程交互区四个组成部分。后台包括DAG流程描述解析模块、DAG调度执行模块以及执行状态查询显示模块。三个模块主要的设计依据为DAG存储格式规范和DAG任务提交接口规范。允许在前台页面对在有向无环图画布上执行各类编辑操作，具体包括拖曳、连线、节点右击弹框、连线编辑、画布辅助功能以及模型节点属性加载展示。通过流程交互模块负责前台流程图与后台智能学习任务的交互。具体交互方式包括：开始运行DAG、暂停运行DAG、结束DAG以及查看DAG日志。通过DAG存储格式规范和表3所定义的DAG任务提交接口规范对流程图进行处理，编译成相应任务并执行，最后将执行结果返回。DAG存储格式规范包括表1所述的连线信息属性描述说明以及表2所述的节点信息属性描述说明。通过以上各表中的属性规范完整定义了DAG任务提交接口以及DAG的存储格式。

表1连线信息属性描述说明

表2节点信息属性描述说明

节点标识	说明
		id	节点的ID(唯一，不能重复)
pos_x	节点横坐标
		pos_y	节点纵坐标
name	节点的名称
		icon	节点所在的图标
in_ports	结束连线节点的下标
		out_ports	开始连线节点的下标
isAlgorithm	是否为算法0是1否
		labelId	当前节点在数据库中的id
bc	当前节点的颜色

表3 DAG任务提交接口规范

本发明实施例具体如下优点：

(1).支持通过拖拉拽方式利用丰富的算子算法模型进行构建，不再需要代码二次开发；

(2).各表中的属性规范完整定义了DAG任务提交接口以及DAG的存储格式，支持模型的在线参数调优以及定制化参数或算法模型的在线配置；

(3).通过在前台的拖曳、连线、节点右击弹框、连线编辑、画布辅助功能以及模型节点属性加载等操作支持参数的实时在线编辑调优以及参数的自动化智能调优。

本发明可以为数据分析师提供如下功能：(1)通过拖拉拽方式对各自领域的算法模型进行构建，不再需要进行代码二次开发；(2)支持模型的在线参数调优以及定制化参数或算法模型的在线配置；(3)将模型发布在数据智能应用平台，供其他用户以服务的方式进行调度或使用。

需要说明的是，以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

Claims (4)

1.一种智能学习系统，其特征在于，包括：

树形菜单栏，用于提供多种数据集和多种算法；

svg画布，用于基于多种所述数据集和多种所述算法，构建DAG流程图；

属性页，用于修改所述数据集以及所述算法的属性参数，以构建专题类分析模型；

流程交互区，用于保存、删除、运行以及发布所述专题类分析模型；

所述树形菜单栏将开源机器学习计算框架中的基础算子、数据、处理流程均封装为一个个算子，实现数据处理算子、数据分析算子、ETL类算子的分布式计算与单机模式计算；所述开源机器学习计算框架包括SparkMlib、Tensorflow、以及Pytorch；

所述属性页，用于实现各类算子参数的界面化配置，支持参数的实时在线编辑调优，以及参数的自动化智能调优；

所述svg画布可执行的编辑操作包括：

拖拽，在树形菜单栏上，选中某个节点，向右进行拖拽，此时形成矩形的图案，并且内部有相应的图标，和当前节点的名称；进入svg画布并松开鼠标，当前节点落在鼠标所在的位置，若拖拽至svg画布外，松开鼠标当前节点消失；

连线，节点上下各有五个空心圆代表要连线的起始点和结束点，鼠标悬浮节点的边缘，当鼠标样式从手型变为十字架时，上下的节点开始出现，按下鼠标进行移动到结束的位置，结束的位置为目标节点的上方的结束点；

节点右击弹框，右击svg画布上的节点，进行弹框，可以对当前节点进行操作；

连线编辑，在svg画布中点击连线可以弹出删除菜单，继续操作可以删除流程图中的连线。

2.如权利要求1所述的智能学习系统，其特征在于，所述树形菜单栏和所述属性页分别位于所述svg画布的两侧，所述流程交互区位于所述svg画布的下方。

3.如权利要求1所述的智能学习系统，其特征在于，所述智能学习系统还包括：

画布辅助功能框，包括放大编辑按钮、缩小编辑按钮、位置还原按钮以及全屏显示按钮。

4.一种数据分析方法，其特征在于，所述方法基于权利要求1-3中任一项所述的智能学习系统实现，所述方法包括：

从树形菜单栏获取待构建专题类分析模型所需的至少一个数据集和至少一个算法，并移动至svg画布；

基于所述待构建专题类分析模型，通过连线将至少一个所述数据集和至少一个所述算法连接起来，以构建DAG流程图；

修改所述算法和所述数据集的属性参数，以构建专题类分析模型；

运行所述专题类分析模型；

所述从树形菜单栏获取待构建专题类分析模型所需的至少一个数据集和至少一个算法，并移动至svg画布，包括：

将待构建专题类分析模型所需的至少一个数据集和至少一个算法从树形菜单栏拖拽至svg画布；

所述修改所述算法和所述数据集的属性参数，包括：

在svg画布中单击所述算法或所述数据集，以在属性页显示所述算法或所述数据集的属性参数；

在所述属性页中修改所述算法或所述数据集的属性参数；

所述方法还包括：

右击所述连线、所述算法或所述数据集，以删除所述连线、所述算法或所述数据集。