CN109710231A - 一种可视化脚本编辑方法与装置 - Google Patents

Abstract

本发明提供了一种可视化脚本编辑方法与装置，涉及大数据分布式流式处理技术领域。通过接收一数据处理指令，再依据数据处理指令显示预存储的多个脚本语言与流引擎，然后依据一选择指令从多个脚本语言与流引擎选择目标脚本语言与目标流引擎，最后依据数据处理指令、目标脚本语言以及目标流引擎生成流计算脚本文件。本发明提供的可视化脚本编辑方法与装置具有方便技术人员操作，提高了流式处理开发效率的优点。

Description

一种可视化脚本编辑方法与装置

技术领域

本发明涉及大数据分布式流式处理技术领域，具体而言，涉及一种可视化脚本编辑方法与装置。

背景技术

分布式流处理是对无边界数据集进行连续不断的处理、聚合和分析的过程，与MapReduce类似是一种通用计算框架，期望延迟在毫秒或秒级别。这类系统一般采用有向无环图(DAG)。DAG是任务链的图形化表示，用它来描述流处理作业的拓扑，目前比较主流的流式处理引擎Spark、Storm、Flink。

流式数据处理逻辑及流引擎需要根据实际业务需求结合才可发挥各类流引擎的自身价值。然而，在实际的业务场景中，由于技术人员的技术偏好不同，可能导致流处理开发效率较低。

有鉴于此，如何解决上述问题，是本领域技术人员关注的重点。

发明内容

有鉴于此，本发明的目的在于提供一种可视化脚本编辑方法，以解决现有技术中由于技术人员的技术偏好不同，导致流处理开发效率较低的问题。

本发明的另一目的在于提供一种可视化脚本编辑装置，以解决现有技术中由于技术人员的技术偏好不同，导致流处理开发效率较低的问题。

为了实现上述目的，本发明实施例采用的技术方案如下：

一方面，本发明实施例提供了一种可视化脚本编辑方法，所述可视化脚本编辑方法包括：

接收一数据处理指令；

依据所述数据处理指令显示预存储的多个脚本语言与流引擎；

依据一选择指令从所述多个脚本语言与流引擎选择目标脚本语言与目标流引擎；

依据所述数据处理指令、所述目标脚本语言以及所述目标流引擎生成流计算脚本文件。

另一方面，本发明实施例还提供了一种可视化脚本编辑装置，所述可视化脚本编辑装置包括：

信息接收单元，用于接收一数据处理指令；

显示单元，用于依据所述数据处理指令显示预存储的多个脚本语言与流引擎；

选择单元，用于依据一选择指令从所述多个脚本语言与流引擎选择目标脚本语言与目标流引擎；

处理单元，用于依据所述数据处理指令、所述目标脚本语言以及所述目标流引擎生成流计算脚本文件。

相对现有技术，本发明具有以下有益效果：

本发明提供了一种可视化脚本编辑方法与装置，通过接收一数据处理指令，再依据数据处理指令显示预存储的多个脚本语言与流引擎，然后依据一选择指令从多个脚本语言与流引擎选择目标脚本语言与目标流引擎，最后依据数据处理指令、目标脚本语言以及目标流引擎生成流计算脚本文件。由于本发明提供的可视化脚本编辑方法与装置能够实现技术人员根据自己的技术偏好选用不同的脚本语言与流引擎，从而生成更适合技术人员需求的流引擎脚本，方便技术人员操作，提高了流式处理开发效率。同时，由于技术人员仅需要根据自己的喜好选择出脚本与流引擎，系统即自动生成流计算脚本文件，因此对于技术人员而言，其操作简单且易上手。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明的实施例提供的服务器的功能模块示意图。

图2示出了本发明的实施例提供的可视化脚本编辑方法的流程图。

图3示出了本发明的实施例提供的图2的步骤S107的子步骤的流程图。

图4示出了本发明实施例提供的可视化脚本编辑装置的模块示意图。

图5示出了本发明实施例提供的处理单元的子模块示意图。

图标：10-服务器；12-存储器；13-存储控制器；14-处理器；100-可视化脚本编辑装置；110-请求响应单元；120-显示单元；130-信息接收单元；140-选择单元；150-处理单元；151-模板确定模块；152-处理模块；153-存储模块；154-命名模块；160-元数据提取单元；170-存储单元。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

第一实施例

如图1所示，是本发明提供的服务器10的功能模块示意图。该服务器10包括可视化脚本编辑装置100、存储器12、存储控制器13以及处理器14。

所述存储器12、存储控制器13以及处理器14各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述可视化脚本编辑装置100包括至少一个可以软件或固件(firmware)的形式存储于所述存储器12中或固化在所述服务器10的操作系统(operating system，OS)中的软件功能模块。所述处理器14用于执行存储器12中存储的可执行模块，例如所述可视化脚本编辑装置100包括的软件功能模块或计算机程序。

其中，存储器12可以是，但不限于，随机存取存储器12(Random Access Memory，RAM)，只读存储器12(Read Only Memory，ROM)，可编程只读存储器12(Programmable Read-Only Memory，PROM)，可擦除只读存储器12(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器12(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器12用于存储程序，所述处理器14在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的服务器10所执行的方法可以应用于处理器14中，或者由处理器14实现。

处理器14可能是一种集成电路芯片，具有信号的处理能力。上述的处理器14可以是通用处理器14，包括中央处理器14(Central Processing Unit，简称CPU)、网络处理器14(Network Processor，简称NP)等；还可以是数字信号处理器14(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器14可以是微处理器14或者该处理器14也可以是任何常规的处理器14等。

请参阅图2，是本发明较佳实施例提供的应用于图1所示的可视化脚本编辑方法的流程图。下面将对图2所示的具体流程进行详细阐述。

步骤S101，响应一脚本编辑请求。

在本实施例中，当技术人员需要编辑，需要通过服务器10进入相应的脚本编辑页面，此时用户需要向服务器10发送一脚本编辑请求。其中，该脚本编辑请求可以为技术人员点击服务器10的特定区域实现的，服务器10在接收到脚本编辑请求后，即可响应该请求，并执行相应操作。

步骤S102，依据所述脚本编辑请求显示可视化脚本编辑页面。

在服务器10接收到脚本编辑请求后，会依据该脚本编辑请求显示相应的脚本编辑页面，其中，本实施例提供的脚本编辑页面为可视化脚本编辑页面，便于技术人员的编辑。

步骤S103，接收一数据处理指令。

在本实施例中，可视化脚本编辑页面包括脚本编辑框，用户首先可根据在脚本编辑框内编辑的内容对源数据进行编辑。

具体地，本实施例所述的数据处理指令至Sql脚本语言，技术人员可通过可视化脚本编辑页面编辑Sql脚本语言，其中，Sql脚本语言即为数据处理逻辑。即通过该Sql脚本语言生成的流计算脚本文件能够实现技术人员编辑的功能，以实现后续生成的流计算脚本文件对源数据的过滤与统计等处理。其中，源数据指初始数据，在生成流计算脚本文件后，服务器10能够对源数据进行调用与编辑。

步骤S104，依据所述数据处理指令显示预存储的多个脚本语言与流引擎。

在技术人员输入数据处理指令后，服务器10显示预存储的多个脚本语言与流引擎供用户进行选择。其中，脚本语言包括但不限于java、python、scala等语言，流引擎包括但不限于Spark、Storm、flink等流引擎。同时，需要说明的是，服务器在多个脚本语言与流引擎时，其可以在用户输入数据处理指令的步骤之前，也可以在用户输入数据处理指令的步骤之后，或二者同时进行，本实施例对此并不做任何限定。

步骤S105，依据一选择指令从所述多个脚本语言与流引擎选择目标脚本语言与目标流引擎。

在显示多个脚本语言与流引擎后，技术人员可根据业务场景需求及开发人员的技术偏好选择脚本生成的语言，并同时根据业务场景及需求选择流引擎，从而从多个脚本语言与流引擎中确定出目标脚本语言与流引擎。

需要说明的，在技术人员进行选择时，技术人员可通过下拉的方式显示不同的脚本语言与流引擎。利用，技术人员可选择java语言与Spark流引擎，或选择java语言与Storm流引擎。

步骤S106，依据所述目标脚本语言、所述目标流引擎对所述目标数据的进行处理，以生成流计算脚本文件。

在技术人员选择了相应的目标脚本语言与目标流引擎后，服务器10即可依据上述配置生成流计算脚本文件。

其中，由于该流计算脚本文件通过技术人员的技术偏好生成，因此该流计算脚本文件更加适合该技术人员的使用，从而能够提高流式处理开发效率。同时，由于技术人员仅需要根据自己的喜好选择出脚本与流引擎，服务器10即可自动生成流计算脚本文件，因此对于技术人员而言，其操作简单且易上手。

具体地，在本实施例中，步骤S106包括：

子步骤S1061，依据所述目标脚本语言与所述目标流引擎从预存储的多个模板中确定目标模板。

在本实施例中，服务器10中存储有多个流式计算上下文初始化模板，并且，根据目标脚本语言与目标流引擎能够在该多个模板中确定出目标模板，例如，java语言与Spark流引擎能够确定出A模板，而java语言与Storm流引擎能够确定出B模板。

子步骤S1062，依据所述目标模板、所述数据处理指令、所述目标脚本语言以及所述目标流引擎在内存中生成流计算脚本文件。

在确定目标模板后，服务器10会依据该目标模板对用户选择的配置进行整合，以生成流计算脚本文件。即通过目标模板对数据处理指令、目标脚本语言以及目标流引擎进行整合，生成流计算脚本文件。其中，该步骤在内存中完成，内存指运行内存，其并不占据存储空间。

子步骤S1063，将所述流计算脚本文件按照文件流的方式输出至硬盘进行存储。

在服务器10获取流计算脚本文件后，会将该流计算脚本文件进行存储，以便于在技术人员后期的使用过程中，能够调用该流计算脚本文件。其中，本实施例按照文件流的方式将流计算脚本文件输出至硬盘进行存储。

子步骤S1064，对所述流计算脚本文件按照预设定规则进行命名。

为了便于技术人员后期对于流计算脚本文件的调用，需要对生成的流计算脚本文件赋值唯一标识，其中，本实施例通过按照预设定规则进行命名的方式赋值唯一标识。

具体地，本实施例提供的预设定规则为以流式处理的任务名称+日期做为文件名称，即任务名称与日期即可作为唯一标识进行对流计算脚本文件的识别与调用。当然地，在其它的一些实施例中，预设定规则也可以为其它规则，本是私立对此并不做任何限定。

步骤S107，提取所述流计算脚本文件的元数据。

为了便于流计算脚本文件的调用，本实施例提供的服务器10还会将提取流计算脚本文件的元数据。其中，元数据(Metadata)，又称中介数据、中继数据，为描述数据的数据(data about data)，主要是描述数据属性(property)的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。即能够通过该元数据确定出流计算脚本文件的存储位置。

步骤S108，将所述元数据存储至预设定的数据库中。

在本实施例中在，预设定的数据库包括Mysql数据库，将元数据存储于Mysql数据库中，能够方便技术人员后期对于流计算脚本文件的调用。

其中，请参阅表1，元数据以字段的形式进行存储。

表1

第二实施例

本发明较佳实施例提供的图1所示的基于可视化脚本编辑装置100的功能单元示意图。需要说明的是，本实施例所提供的基于可视化脚本编辑装置100，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本发明实施例部分未提及之处，可参考上述的实施例中相应内容。该基于可视化脚本编辑装置100包括：

请求响应单元110，用于响应一脚本编辑请求。

可以理解地，通过请求响应单元110可执行步骤S101。

显示单元120，用于依据所述脚本编辑请求显示可视化脚本编辑页面。

可以理解地，通过显示单元120可执行步骤S102。

信息接收单元130，用于接收一数据处理指令。

可以理解地，通过信息接收单元130可执行步骤S103。

显示单元120，用于依据所述数据处理指令显示预存储的多个脚本语言与流引擎。

可以理解地，通过显示单元120可执行步骤S104。

选择单元140，用于依据一选择指令从所述多个脚本语言与流引擎选择目标脚本语言与目标流引擎。

可以理解地，通过选择单元140可执行步骤S105。

处理单元150，用于依据所述数据处理指令、所述目标脚本语言以及所述目标流引擎生成流计算脚本文件。

可以理解地，通过处理单元150可执行步骤S106。

其中，处理单元150包括：

模板确定模块151，用于用于依据所述目标脚本语言与所述目标流引擎从预存储的多个模板中确定目标模板。

可以理解地，通过模板确定模块151可执行子步骤S1061。

处理模块152，用于依据所述目标模板、所述数据处理指令、所述目标脚本语言以及所述目标流引擎在内存中生成流计算脚本文件。

可以理解地，通过处理模块152可执行子步骤S1062。

存储模块153，用于将所述流计算脚本文件按照文件流的方式输出至硬盘进行存储。

可以理解地，通过存储模块153可执行子步骤S1063。

命名模块154，用于对所述流计算脚本文件按照预设定规则进行命名。

可以理解地，通过命名模块154可执行子步骤S1064。

元数据提取单元160，用于提取所述流计算脚本文件的元数据。

可以理解地，通过元数据提取单元160可执行步骤S107。

存储单元170，用于将所述元数据存储至预设定的数据库中。

可以理解地，通过存储单元170可执行步骤S108。

综上所述，本发明提供了一种可视化脚本编辑方法与装置，通过接收一数据处理指令，再依据数据处理指令显示预存储的多个脚本语言与流引擎，然后依据一选择指令从多个脚本语言与流引擎选择目标脚本语言与目标流引擎，最后依据数据处理指令、目标脚本语言以及目标流引擎生成流计算脚本文件。由于本发明提供的可视化脚本编辑方法与装置能够实现技术人员根据自己的技术偏好选用不同的脚本语言与流引擎，从而生成更适合技术人员需求的流引擎脚本，方便技术人员操作，提高了流式处理开发效率。同时，由于技术人员仅需要根据自己的喜好选择出脚本与流引擎，系统即自动生成流计算脚本文件，因此对于技术人员而言，其操作简单且易上手。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

Claims (10)

1.一种可视化脚本编辑方法，其特征在于，所述可视化脚本编辑方法包括：

接收一数据处理指令；

依据所述数据处理指令显示预存储的多个脚本语言与流引擎；

依据一选择指令从所述多个脚本语言与流引擎选择目标脚本语言与目标流引擎；

依据所述数据处理指令、所述目标脚本语言以及所述目标流引擎生成流计算脚本文件。

2.如权利要求1所述的可视化脚本编辑方法，其特征在于，所述依据所述数据处理指令、所述目标脚本语言以及所述目标流引擎生成流计算脚本文件的步骤包括：

依据所述目标脚本语言与所述目标流引擎从预存储的多个模板中确定目标模板；

依据所述目标模板、所述数据处理指令、所述目标脚本语言以及所述目标流引擎在内存中生成流计算脚本文件；

将所述流计算脚本文件按照文件流的方式输出至硬盘进行存储。

3.如权利要求2所述的可视化脚本编辑方法，其特征在于，在所述将所述流计算脚本文件按照文件流的方式输出至硬盘进行存储的步骤之后，所述可视化脚本编辑方法还包括：

对所述流计算脚本文件按照预设定规则进行命名。

4.如权利要求1所述的可视化脚本编辑方法，其特征在于，在依据所述数据处理指令、所述目标脚本语言以及所述目标流引擎生成流计算脚本文件的步骤之后，所述可视化脚本编辑方法还包括：

提取所述流计算脚本文件的元数据；

将所述元数据存储至预设定的数据库中。

5.如权利要求1所述的可视化脚本编辑方法，其特征在于，在所述接收一数据处理指令的步骤之前，所述可视化脚本编辑方法包括：

响应一脚本编辑请求；

依据所述脚本编辑请求显示可视化脚本编辑页面。

6.一种可视化脚本编辑装置，其特征在于，所述可视化脚本编辑装置包括：

信息接收单元，用于接收一数据处理指令；

显示单元，用于依据所述数据处理指令显示预存储的多个脚本语言与流引擎；

选择单元，用于依据一选择指令从所述多个脚本语言与流引擎选择目标脚本语言与目标流引擎；

处理单元，用于依据所述数据处理指令、所述目标脚本语言以及所述目标流引擎生成流计算脚本文件。

7.如权利要求6所述的可视化脚本编辑装置，其特征在于，所述处理单元包括：

模板确定模块，用于依据所述目标脚本语言与所述目标流引擎从预存储的多个模板中确定目标模板；

处理模块，用于依据所述目标模板、所述数据处理指令、所述目标脚本语言以及所述目标流引擎在内存中生成流计算脚本文件；

存储模块，用于将所述流计算脚本文件按照文件流的方式输出至硬盘进行存储。

8.如权利要求7所述的可视化脚本编辑装置，其特征在于，所述处理单元还包括：

命名模块，用于对所述流计算脚本文件按照预设定规则进行命名。

9.如权利要求6所述的可视化脚本编辑装置，其特征在于，所述可视化脚本编辑装置还包括：

元数据提取单元，用于提取所述流计算脚本文件的元数据；

存储单元，用于将所述元数据存储至预设定的数据库中。

10.如权利要求6所述的可视化脚本编辑装置，其特征在于，所述可视化脚本编辑装置包括：

请求响应单元，用于响应一脚本编辑请求；

显示单元，用于依据所述脚本编辑请求显示可视化脚本编辑页面。