CN116954587A - 前端智能拖拽引擎、建立数据处理流程的方法 - Google Patents

Abstract

本发明公开了一种前端智能拖拽引擎、建立数据处理流程的方法，该前端智能拖拽引擎包括：对应不同任务模式的组件库和操作语句库、以及流程模板库；所述组件库，用于提供构建数据处理流程的组件；所述流程模板库，用于提供构建数据处理流程的流程模板；所述操作语句库，用于提供对各组件及连接关系的操作语句；推荐功能单元，用于在用户建立数据处理流程过程中，实时检测当前在建数据处理流程与所述流程模板库中各流程模板的重合度，向用户推荐重合度大于设定值的流程模板。利用本发明方案，可以降低整套拖拽组件使用门槛，为前端数据处理流程的建立提供智能化辅助，提升效率及准确性。

Description

前端智能拖拽引擎、建立数据处理流程的方法

技术领域

本发明涉及数据处理流程技术领域，具体涉及一种前端智能拖拽引擎、建立数据处理流程的方法。

背景技术

在现有技术中，在前端配置数据处理流程时，需要利用可拖拽组件，人工串联和/或并联实现所需数据流程。具体地，采用前端可视化组件拖拽连线的方式，将整个数据处理流程完整编写在面板中，并给其中组件配置相应参数，给整个任务配置相应参数。

这种方式有较大的学习成本，并且在配置过程中，需要人工填写的内容较多，若其中参数配置错误，人工查错修改过程繁琐。而且，相似的数据处理流程需要重复构建，效率低。

发明内容

本发明提供一种前端智能拖拽引擎、建立数据处理流程的方法，以降低整套拖拽组件使用门槛，为前端数据处理流程的建立提供智能化辅助，提升效率及准确性。

为此，本发明提供如下技术方案：

一方面，本发明提供一种前端智能拖拽引擎，所述引擎包括：对应不同任务模式的组件库和操作语句库，还包括：流程模板库、加载单元、推荐功能单元；

所述组件库，用于提供构建数据处理流程的组件；基于Flink框架，制定两套组件适配离线任务和实时任务；组件以树形结构进行分类展示，其中包含数据源和处理行为两个大分类；树形结构上每一个叶子节点都可拖拽至面板中，面板中节点包含参数配置内容，不同组件所需要配置的参数不同；

所述操作语句库，用于提供对各组件及连接关系的操作语句；所述操作语句库还提供模板语言，在使用时选择要操作的组件，填写要修改的参数即可；

所述流程模板库，用于提供构建数据处理流程的流程模板；

所述加载单元，用于在用户建立数据流程时，根据任务模式加载对应的组件库和操作语句库；

所述推荐功能单元，用于在用户建立数据处理流程过程中，实时检测当前在建数据处理流程与所述流程模板库中各流程模板的重合度，向用户推荐重合度大于设定值的流程模板。

可选地，所述任务模式包括：离线任务、和/或实时任务。

可选地，所述引擎还包括：回收功能单元，用于将运行成功的数据处理流程作为流程模板保存至所述流程模板库中。

可选地，所述引擎还包括：搜索功能单元，用于接收用户输入的关键词，根据所述关键词从所述流程模板库中获取相匹配的流程模板并展现给用户。

可选地，所述关键词包括：任务名称、和/或任务步骤。

一方面，本发明还提供一种建立数据处理流程的方法，适用于所述的前端智能拖拽引擎，所述方法包括：

接收用户新建任务请求；

获取用户选择的任务模式，并根据所述任务模式加载对应的组件库、和操作语句库；

在用户在面板上建立数据处理流程的过程中，实时检测当前在建数据处理流程与所述流程模板库中各流程模板的重合度；

向用户推荐重合度大于设定值的流程模板。

可选地，所述用户在面板上建立数据处理流程包括：

将所述组件库中的组件拖拽到面板上；

利用所述操作语句库对拖拽到面板上的组件进行操作并建立不同组件之间的连接关系；

保存数据处理流程。

可选地，所述利用所述操作语句库对拖拽到面板上的组件进行操作包括：点击所述数据处理流程中的组件，填入组件相关参数。

可选地，所述方法还包括：运行建立的数据处理流程，并在所述数据处理流程运行成功后，将所述数据处理流程保存至所述流程模板库中。

可选地，所述方法还包括：

接收用户输入的关键词；

根据所述关键词从所述流程模板库中获取相匹配的流程模板并展现给用户。

本发明提供的前端智能拖拽引擎、建立数据处理流程的方法，通过提供对应不同任务模式的组件库和操作语句库，可以使用户脱离纯手工配置，简化用户拖拽操作流程，降低了整套拖拽组件的使用门槛及复杂度，使用户利用结构化操作语句即可完成对流程的操作，大大提升了流程建立效率和准确性。而且，通过推荐功能单元对当前在建数据处理流程的实时检测及流程模板的推荐，可以为用户建立数据处理流程提供智能化的操作辅助。

进一步地，通过提供回收功能，可以将运行成功的数据处理流程自动收录至流程模板库中，从而使流程模板库不断更新，为用户提供更丰富全面的流程模板，满足不同用户所需各种不同数据处理流程的需求。

进一步地，通过搜索功能单元向用户提供探索功能，可以使用户方便、快速地从流程模板库中获取相匹配的流程模板，进一步提高了流程建立效率。

附图说明

图1是本发明提供的前端智能拖拽引擎的一种结构示意图；

图2是本发明提供的前端智能拖拽引擎的另一种结构示意图；

图3是本发明提供的前端智能拖拽引擎的另一种结构示意图；

图4是本发明提供的建立数据处理流程的方法的一种流程图；

图5是本发明提供的建立数据处理流程的方法的另一种流程图；

图6是本发明提供的建立数据处理流程的方法的另一种流程图；

图7是用户利用本发明方法建立数据处理流程的一种流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。

针对现有技术中在前端配置数据处理流程时操作复杂、效率低的问题，本发明提供一种前端智能拖拽引擎、以及基于该前端智能拖拽引擎建立数据处理流程的方法，通过该前端智能拖拽引擎提供智能化辅助，可以简化用户操作，提升数据处理流程的建立效率和准确性。

如图1所示，是本发明提供的前端智能拖拽引擎的一种结构示意图。

该实施例的前端智能拖拽引擎100包括对应不同任务模式的组件库101和操作语句库102，另外还包括：流程模板库103、加载单元104、以及推荐功能单元105。其中：

所述组件库101用于提供构建数据处理流程的组件；

所述操作语句库102，用于提供对各组件及连接关系的操作语句；

所述加载单元104，用于在用户建立数据流程时，根据任务模式加载对应的组件库和操作语句库；

所述流程模板库103用于提供数据处理流程模板；

所述推荐功能单元105用于在用户建立数据处理流程过程中，实时检测当前在建数据处理流程与所述流程模板库中各流程模板的重合度，向用户推荐重合度大于设定值的流程模板。

所述任务模式可以包括但不限于：离线任务、和/或实时任务。不同任务模式对应的组件及操作语句库可以相同或者部分相同。

本发明实施例中，可以基于Flink框架，制定两套组件适配离线任务和实时任务，组件以树形结构进行分类展示。其中包含数据源和处理行为两个大分类。树形结构上每一个叶子节点都可拖拽至面板中，面板中节点包含参数配置等内容，不同组件所需要配置的参数不同。

在Flink框架中，应用程序由用户自定义算子转换而来的流式dataflows所组成。这些流式dataflows形成了有向图，以一个或多个源（source）开始，并以一个或多个汇（sink）结束，Flink应用程序可以消费来自消息队列或分布式日志这类流式数据源（例如Apache Kafka 或 Kinesis）的实时数据，也可以从各种的数据源中消费有界的历史数据。同样，Flink应用程序生成的结果流也可以发送到各种数据表中。

本发明实施例中，所述操作语句库用于提供对各组件及连接关系的操作语句，类似于sql语句的增加、删除、修改、查询等操作功能。该操作语句库可以为专业的数据分析工作人员提供更丰富的组件操作方式。

所述操作语句库提供模板语言，在使用时只需选择要操作的组件，填写要修改的参数即可。例如，可以有以下操作语句：

1）增加Insert into componentID values（PREVIOUSID，NEXTID，CONNECT）

该语句用于在面板中增加某个组件（componentID），它的前置组件是PREVIOUSID，后置组件是NEXTID，CONNECT为true则需要连线，否则不连线。相关的前置后置组件可以通过点击面板中的组件获取。

2）删除Delete componentID；批量删除delete componentID1，componentID2

该语句用于在面板中删除某个组件（componentID），默认删除相关连线。直接点击需要删除的所有组件获取到组件ID后，执行该语句即可。

3）修改Update componentID set Name= 111

点击需要修改的某个组件时，自动获取可修改的相关属性参数，填入修改值，执行该语句即可。

所述推荐功能单元105可以利用FP-growth算法（FP-growth算法是一种更快的关联规则挖掘算法，它可以有效地发现频繁项集，从而推断出有价值的关联规则），在流程模板库中寻找出与相应组件相关联的已有任务，为用户提供参考。用户建立的数据处理流程越长，推荐越准确。

本发明实施例提供的前端智能拖拽引擎，通过提供对应不同任务模式的组件库和流程模板，可以使用户脱离纯手工配置，简化用户拖拽操作流程，降低了整套拖拽组件的使用门槛及复杂度，使用户利用结构化操作语句即可完成对流程的操作，大大提升了流程建立效率和准确性。而且，通过推荐功能单元对当前在建数据处理流程的实时检测及流程模板的推荐，可以为用户建立数据处理流程提供智能化的操作辅助。

利用本发明实施例提供的前端智能拖拽引擎，用户可根据处理行为流程提示，选择输入组件、数据处理行为组件和输出组件拖拽到主面板区域构建数据处理流程，比如实时数据报表、广告投放、实时推荐等数据处理流程。

如图2所示是本发明提供的前端智能拖拽引擎的另一种结构示意图。

与图1所示实施例不同的是，在该实施例中，所述前端智能拖拽引擎100还可进一步包括回收功能单元106，用于将运行成功的数据处理流程作为流程模板保存至所述流程模板库103中。

需要说明的是，回收功能单元106还可进一步记录所述运行成功的数据处理流程的关键步骤，提取该数据处理流程的关键词进行记录保存。

另外，所述前端智能拖拽引擎还可进一步包括：模板库维护单元（未图示），用于对所述流程模板库进行定期维护，具体地，可以利用存储的一些模拟数据，将流程模板库中的流程模板重新运行一遍，保留运行成功的流程模板，删除运行未成功的流程模板。

本发明实施例提供的前端智能拖拽引擎，通过提供回收功能，可以将运行成功的数据处理流程自动收录至流程模板库中，从而使流程模板库不断更新，为用户提供更丰富全面的流程模板，满足不同用户所需各种不同数据处理流程的需求。

如图3所示，是本发明提供的前端智能拖拽引擎的另一种结构示意图。

与图1所示实施例不同的是，在该实施例中，所述前端智能拖拽引擎100还可进一步包括搜索功能单元107，用于接收用户输入的关键词，根据所述关键词从所述流程模板库102中获取相匹配的流程模板并展现给用户。

所述关键词可以包括但不限于：任务名称、和/或任务步骤。

通过搜索功能单元向用户提供探索功能，可以使用户方便、快速地从流程模板库中获取相匹配的流程模板，进一步提高了流程建立效率。

比如，在电商行业中，网站点击量是统计PV（Page View，页面浏览量）、UV（UniqueVisitor，独立访客数）的重要来源，也是如今“流量经济”的最主要数据指标。很多公司的营销策略，比如广告的投放，也是基于点击量来决定的。另外，在网站上提供给用户的实时推荐，往往也是基于当前用户的点击行为做出的。网站获得的点击数据可能是连续且不均匀的，还可能在同一时间大量产生，这是典型的数据流。为此，可以将此类的数据处理流程格式化存入流程模板库中，并为其打上电商、广告投放、实时推荐等标签。用户进行模板搜索后，就可以引入一整套的完整流程，从而可以大大提升数据处理流程的构建效率。

需要说明的是，上述搜索功能单元107同样可以适用于图2所示实施例中。

相应地，基于上述前端智能拖拽引擎，本发明还提供一种建立数据处理流程的方法，如图4所示，是该方法的一种流程图。

该建立数据处理流程的方法包括以下步骤：

步骤401，接收用户新建任务请求。

步骤402，获取用户选择的任务模式，并根据所述任务模式加载对应的组件库和操作语句库。

步骤403，在用户在面板上建立数据处理流程的过程中，实时检测当前在建数据处理流程与所述流程模板库中各流程模板的重合度。

用户在面板上建立数据处理流程主要包括以下操作：

将所述组件库中的组件拖拽到面板上；

利用所述操作语句库对拖拽到面板上的组件进行操作并建立不同组件之间的连接关系，比如点击所述数据处理流程中的组件，填入组件相关参数，并录入数据处理步骤中所需的其它参数、保存数据处理流程等操作。

另外，用户还可对在建的数据处理流程进行修改：可手动拖拽修改、或使用流程图操作语句进行修改。

检测当前在建数据处理流程与所述流程模板库中各流程模板的重合度可以基于已有的流程模板库，用户在完成任务组件拖拽后，即时对当前的流程图（即数据处理流程）进行检测，抽取出当前流程图的简要模型，与流程模板库进行匹配。一旦发现步骤流程重合，就可实时推荐该流程模板。

步骤404，向用户推荐重合度大于设定值的流程模板。

需要说明的是，本发明实施例采用逐步推荐策略，用户自建流程越长，推荐结果也就越准确。

本发明实施例提供的建立数据处理流程的方法，通过提供对应不同任务模式的组件库和流程模板，可以使用户脱离纯手工配置，简化用户拖拽操作流程，降低了整套拖拽组件的使用门槛及复杂度，使用户利用结构化操作语句即可完成对流程的操作，大大提升了流程建立效率和准确性。而且，通过推荐功能单元对当前在建数据处理流程的实时检测及流程模板的推荐，可以为用户建立数据处理流程提供智能化的操作辅助。

如图5所示，是本发明提供的建立数据处理流程的方法另的一种流程图，包括以下步骤：

步骤501，接收用户新建任务请求。

步骤502，获取用户选择的任务模式，并根据所述任务模式导入对应的组件库和操作语句库。

步骤503，在用户在面板上建立数据处理流程的过程中，对用户推荐流程模板。

具体推荐方法可参见图4所示实施例中步骤403和步骤404中的描述，在此不再赘述。

步骤504，运行建立的数据处理流程，并在所述数据处理流程运行成功后，将所述数据处理流程保存至所述流程模板库中。

该实施例提供的建立数据处理流程的方法，通过将运行成功的数据处理流程自动收录至流程模板库中，可以使流程模板库不断更新，为用户提供更丰富全面的流程模板，满足不同用户所需各种不同数据处理流程的需求。

如图6所示，是本发明提供的建立数据处理流程的方法另的一种流程图，包括以下步骤：

步骤601，接收用户新建任务请求。

步骤602，获取用户选择的任务模式，并根据所述任务模式导入对应的组件库和操作语句库。

步骤603，接收用户输入的关键词。

所述关键词可以包括但不限于：任务名称、和/或任务步骤等信息。

步骤604，根据所述关键词从所述流程模板库中获取相匹配的流程模板并展现给用户。

具体地，可以对所述关键词与各流程模板进行关联分析，比如：可以利用任务名称进行关联匹配，或者从涉及的相关任务步骤进行关联分析。

在所述流程模板库中，不仅存储有流程模板，还可存储有关键步骤与模板之间的关联关系，例如“去除重复记录”组件，在A、B流程模板中都使用到，A流程模板仅仅是完成去除重复记录这一任务，B流程模板中该组件只是其中一个流程，该流程中可能还包含了“值映射、字符串替换”等组件，针对一个流程较长的数据处理任务，简单的任务描述不能高度概括这个流程，所以可以从组件去关联任务。需要说明的是，进行关联分析时，主要以组件为基准，发散式地去关联各种数据处理流程，具体的关联分析方法本发明实施例不做限定。

需要说明的是，展现给用户的相匹配的流程模板可以有一个或多个，在有多个的情况下，用户可以根据自己的需求选取其中一个流程模板，在该流程模板的基础上进行修改，生成自己所需要的数据处理流程。

当然，在该实施例中，在用户在面板上建立数据处理流程的过程中，还可以实时检测当前在建数据处理流程与所述流程模板库中各流程模板的重合度；向用户推荐重合度大于设定值的流程模板。

进一步地，在用户建立的数据处理流程运行成功后，可以将所述数据处理流程保存至所述流程模板库中，从而丰富流程模板库中的模板，满足各种不同应用的需求。

本发明提供的前端智能拖拽引擎、建立数据处理流程的方法，在用户建立数据处理流程过程中，通过智能化推荐大部分符合该流程的流程模板，使用户只需改变其中极少的配置即可完成数据处理流程的建立，大大减少了人工成本及门槛，提升了构建效率。

图7示出了用户利用本发明方法建立数据处理流程的一种流程图，包括以下步骤：

步骤1、新建数据处理任务：任务名称要尽可能地能够准确描述任务的功能。

步骤2、选择任务模式：可以选择实时任务和离线任务，不同任务类型导入的组件，流程模板可以不同。

步骤3、数据处理流程初始化：可手动拖拽建立流程、或输入任务目标后，根据输入关键词进行流程搜索，选择流程模板建立流程，或者是两种方式交叉使用。

步骤4、数据处理流程修改：可手动拖拽修改、或使用操作语句库中的流程图操作语句进行修改。流程图操作语句填写组件关键信息时，可直接点击面板对应组件，一键填入。

步骤5、填写数据处理组件相关参数，录入数据处理步骤中需要的其它参数。

步骤6、保存数据处理流程，进入步骤7。

步骤7、确定是否仅保存；如果是，仅保存则结束当前操作流程；如果否，进入步骤8。

步骤8、确定是否重新编辑；如果是，返回第四步进行编辑；如果否，进入步骤9。

步骤9、运行数据处理流程。

需要说明的是，已保存的数据处理流程才可运行，在数据处理流程运行过程中参数是不可修改的。成功则收录进数据处理流程库，失败返回第四步对当前流程进行修改后，重新保存运行。

步骤10、判断运行是否成功；如果是，则执行步骤11；如果否，则返回到步骤4对数据处理流程修改，或者直接结束。

步骤11、将运行成功的数据处理流程收录进流程模板库。

可见，利用本发明方案，可以简化用户拖拽操作流程，使用户利用结构化操作语句方便地完成对流程的操作；而且为用户实时提供数据处理流程构建辅助，大大提升数据处理流程构建效率。

关于上述各模块及设备的具体实现方式可参照前面本发明方法实施例中的描述，在此不再赘述。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语 “包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。而且，以上所描述的系统实施例仅仅是示意性的，其中作为分离部件说明的模块和单元可以是或者也可以不是物理上分开的，即可以位于一个网络单元上，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上对本发明实施例进行了详细介绍，本文中应用了具体实施方式对本发明进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及系统，其仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围，本说明书内容不应理解为对本发明的限制。因此，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种前端智能拖拽引擎，其特征在于，所述引擎包括：对应不同任务模式的组件库和操作语句库，还包括：流程模板库、加载单元、推荐功能单元；

所述组件库，用于提供构建数据处理流程的组件，基于Flink框架，制定两套组件适配离线任务和实时任务；组件以树形结构进行分类展示，其中包含数据源和处理行为两个大分类；树形结构上每一个叶子节点都可拖拽至面板中，面板中节点包含参数配置内容，不同组件所需要配置的参数不同；

所述操作语句库，用于提供对各组件及连接关系的操作语句；所述操作语句库还提供模板语言，在使用时选择要操作的组件，填写要修改的参数即可；

所述流程模板库，用于提供构建数据处理流程的流程模板；

所述加载单元，用于在用户建立数据流程时，根据任务模式加载对应的组件库和操作语句库；

所述推荐功能单元，用于在用户建立数据处理流程过程中，实时检测当前在建数据处理流程与所述流程模板库中各流程模板的重合度，向用户推荐重合度大于设定值的流程模板。

2.根据权利要求1所述的前端智能拖拽引擎，其特征在于，所述任务模式包括：离线任务、和/或实时任务。

3.根据权利要求1所述的前端智能拖拽引擎，其特征在于，所述引擎还包括：

回收功能单元，用于将运行成功的数据处理流程作为流程模板保存至所述流程模板库中。

4.根据权利要求1至3任一项所述的前端智能拖拽引擎，其特征在于，所述引擎还包括：

搜索功能单元，用于接收用户输入的关键词，根据所述关键词从所述流程模板库中获取相匹配的流程模板并展现给用户。

5.根据权利要求4所述的前端智能拖拽引擎，其特征在于，所述关键词包括：任务名称、和/或任务步骤。

6.一种建立数据处理流程的方法，适用于权利要求1至5任一项所述的前端智能拖拽引擎，其特征在于，所述方法包括：

接收用户新建任务请求；

获取用户选择的任务模式，并根据所述任务模式加载对应的组件库、和操作语句库；

在用户在面板上建立数据处理流程的过程中，实时检测当前在建数据处理流程与所述流程模板库中各流程模板的重合度；

向用户推荐重合度大于设定值的流程模板。

7.根据权利要求6所述的建立数据处理流程的方法，其特征在于，所述用户在面板上建立数据处理流程包括：

将所述组件库中的组件拖拽到面板上；

利用所述操作语句库对拖拽到面板上的组件进行操作，并建立不同组件之间的连接关系；

保存数据处理流程。

8.根据权利要求7所述的建立数据处理流程的方法，其特征在于，所述利用所述操作语句库对拖拽到面板上的组件进行操作包括：

点击所述数据处理流程中的组件，填入组件相关参数。

9.根据权利要求6所述的建立数据处理流程的方法，其特征在于，所述方法还包括：

运行建立的数据处理流程，并在所述数据处理流程运行成功后，将所述数据处理流程保存至所述流程模板库中。

10.根据权利要求6至9任一项所述的建立数据处理流程的方法，其特征在于，所述方法还包括：

接收用户输入的关键词；

根据所述关键词从所述流程模板库中获取相匹配的流程模板并展现给用户。