CN111176624A - 一种流式计算指标的生成方法及装置 - Google Patents

Abstract

本申请提供了一种流式计算指标的生成方法及装置，首先从数据流中接收待处理的多个目标数据源；接收用户发送的目标处理逻辑，所述目标处理逻辑包括所述多个目标数据源的之间的处理逻辑；接着将所述目标处理逻辑转换为标准处理逻辑；然后将所述多个目标数据源和标准处理逻辑组合得到指标业务清单；根据所述指标业务清单生成流式计算指标，以便进行数据流的处理。如此，通过对目标数据源和目标处理逻辑进行转换，得到标准的指标业务清单，并根据指标业务清单自动生成流式计算指标，业务开发人员无需掌握结构化流技术也能完成指标的开发，提高了开发效率。

Description

一种流式计算指标的生成方法及装置

技术领域

本申请涉及数据处理领域，尤其涉及一种流式计算指标的生成方法及装置。

背景技术

在传统的数据处理批流程中，可以先进行数据的收集并存储，然后在需要处理数据时，从存储空间中获取数据并进行处理。这种数据处理方法对于静态数据的处理效果很好。但是对于具有大量、快速、时变特点的流数据，传统的处理方式处理起来较为困难。为此，开发人员可以使用结构化流技术，通过构建流式计算指标对流数据进行处理。

但是，目前使用结构化流技术时，处理不同的流数据需要构建不同的流式计算指标，而流式计算指标又需要开发人员手动创建。所以当开发新的业务时，开发人员需要花费大量时间设计并编写流式计算指标的代码，完成流式计算指标的创建。由于流式计算指标的代码中包含了大量与当前业务无关的框架代码，导致创建流式计算指标的效率较低，从而降低了开发人员的工作效率。另外，编写流式计算指标要求开发人员熟练掌握结构化流技术，提高了开发门槛。

发明内容

有鉴于此，本申请实施例提供了一种流式计算指标的生成方法及装置，旨在提供一种不需要关注流式计算指标底层实现的流式计算指标生成方法

为了实现上述目的，本申请提供了以下技术方案：

一种流式计算指标的生成方法，所述方法包括：

根据需求从外部数据源中选择目标数据源，并将所述目标数据源转换为标准数据源；

接收用户发送的目标处理逻辑，所述目标处理逻辑包括所述目标数据源的之间的处理逻辑；

将所述目标处理逻辑转换为标准处理逻辑；

将所述标准数据源和标准处理逻辑组合得到指标业务清单；

根据所述指标业务清单生成流式计算指标，以便进行数据流的处理。

可选地，所述接收用户发送的目标处理逻辑包括：

向用户发送所述标准数据源，以便用户确定所述标准数据源之间的关系；

接收用户发送的数据源处理指令；

根据所述数据源处理指令确定所述目标处理逻辑。

可选地，所述将所述目标处理逻辑转换为标准处理逻辑包括：

选择所述目标处理逻辑对应的标准数据源；

根据所述标准数据源对应的数据类型选择标准逻辑模板；

利用所述标准逻辑模板将目标处理逻辑转换为标准处理逻辑。

可选地，所述将所述标准数据源和标准处理逻辑组合得到指标业务清单包括：

根据所述标准数据源的数量选择业务清单模板，所述业务清单模板包括多个数据源栏位和连接所述多个数据栏位的逻辑栏位；

将所述标准数据源填入所述业务清单模板的数据源栏位中；

根据所述标准数据源和标准处理逻辑之间的关系，将所述标准处理逻辑填入对应的逻辑栏位中，得到指标业务清单。

可选地，所述根据所述指标业务清单生成流式计算指标包括：

提取所述指标业务清单中包含的标准处理逻辑和所述标准处理逻辑对应的标准数据源；

选择和所述标准处理逻辑对应的逻辑实现语句；

将和所述标准处理逻辑对应的标准数据源填入所述逻辑实现语句中。

可选地，在得到指标业务清单后，所述方法还包括：

获取指标输出渠道并添加至所述指标业务清单，所述指标输出渠道包括指标处理完成后的输出渠道。

一种流式计算指标的生成装置，所述装置包括：

第一获取模块，用于根据需求从外部数据源中选择目标数据源，并将所述目标数据源转换为标准数据源；

逻辑接收模块，用于接收用户发送的目标处理逻辑，所述目标处理逻辑包括所述标准数据源的之间的处理逻辑；

逻辑转换模块，用于将所述目标处理逻辑转换为标准处理逻辑；

清单组合模块，用于将所述标准数据源和标准处理逻辑组合得到指标业务清单；

指标生成模块，用于根据所述指标业务清单生成流式计算指标，以便进行数据流的处理。

可选地，所述逻辑接收模块包括：

发送模块，用于向用户发送所述标准数据源，以便用户确定所述标准数据源之间的关系；

指令接收模块，用于接收用户发送的数据源处理指令；

逻辑确定模块，用于根据所述数据源处理指令确定所述目标处理逻辑。

可选地，其特征在于，所述逻辑转换模块包括：

数据选择模块，用于选择所述目标处理逻辑对应的标准数据源；

逻辑选择模块，用于根据所述标准数据源对应的数据类型选择标准逻辑模板；

转换模块，用于利用所述标准逻辑模板将目标处理逻辑转换为标准处理逻辑。

可选地，所述清单组合模块包括：

清单选择模块，用于根据所述标准数据源的数量选择业务清单模板，所述业务清单模板包括多个数据栏位和连接所述多个数据栏位的逻辑栏位；

数据填入模块，用于将所述标准数据源填入所述业务清单模板中；

逻辑填入模块，用于根据所述标准数据源和标准处理逻辑之间的关系，将所述标准处理逻辑填入对应的逻辑栏位中，得到指标业务清单。

本申请实施例提供了一种流式计算指标的生成方法及装置，首先从数据流中接收待处理的多个目标数据源；接收用户发送的目标处理逻辑，所述目标处理逻辑包括所述多个目标数据源的之间的处理逻辑；接着将所述目标处理逻辑转换为标准处理逻辑；然后将所述多个目标数据源和标准处理逻辑组合得到指标业务清单；根据所述指标业务清单生成流式计算指标，以便进行数据流的处理。如此，通过对目标数据源和目标处理逻辑进行转换，得到标准的指标业务清单，并根据指标业务清单自动生成流式计算指标，业务开发人员无需掌握结构化流技术也能完成指标的开发，提高了开发效率。

附图说明

为更清楚地说明本实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的流式计算指标的生成方法流程图。

图2为本申请实施例提供的流式计算指标的生成过程示意图。

图3为本申请实施例提供的流式计算指标的生成装置的一种结构示意图。

图4为本申请实施例提供的流式计算指标的生成装置的一种结构示意图。

图5为本申请实施例提供的流式计算指标的生成装置的一种结构示意图。

图6为本申请实施例提供的流式计算指标的生成装置的一种结构示意图。

具体实施方式

随着计算机技术的发展，流数据的分析处理成为了数据处理的热门方向。流数据可以是网络监控、传感器网络、航空航天、气象测控和金融服务等应用场景产生的，具有顺序、大量、快速、连续到达的特点。一般情况下，流数据可被视为一个随时间延续而无限增长的动态数据集合。

传统的数据处理方法大多针对静态数据，不适合处理具有强时变性的流数据进行处理。为此，目前已经出现了专用的结构化流技术对流数据进行处理。开发人员可以通过构建流式计算指标，控制处理引擎从特定的数据源获取流数据，并根据流式计算指标设定的处理逻辑对流数据进行处理、输出，完成流数据的分析处理。

但是目前使用结构化流技术执行流数据计算任务时，进行不同的流计算任务需要构建不同的流式计算指标，而流式计算指标又需要开发人员手动创建。所以当进行新的流计算任务时，开发人员需要花费大量时间设计并编写流式计算指标的代码，完成流式计算指标的创建。由于流式计算指标的代码中包含了大量与当前业务无关的框架代码，导致创建流式计算指标的效率较低，从而降低了开发人员的工作效率。另外，编写流式计算指标要求开发人员熟练掌握结构化流技术，提高了开发门槛。

为了给出在现有结构化流技术的基础上，能够自动生成流式计算指标的技术方案，本申请提供了一种流式计算指标的生成方法及装置，以下将从服务器的角度对本申请优选实施例进行说明。

参见图1，图1为本申请实施例提供的流式计算指标的生成方法流程图，包括：

S101：根据需求从外部数据源中选择目标数据源，并将所述目标数据源转换为标准数据源。

用于流计算的服务器可以通过多个接口与多个数据源相连。但是在一个任务中，处理引擎可能只需要对一个或多个数据源发送的数据进行处理，此时，服务器可以根据需求选择目标数据源。如此，处理引擎根据流式计算指标执行流计算任务时，可以开放目标数据源对应的接口，从根据需求从目标数据源获取数据。

进一步地，由于与服务器相连的数据源可能来自不同的模块或设备，不同数据源输出的数据格式也可能具有较大差异。而处理引擎在进行流式计算时，可能要求多个数据源输入的数据格式一致。为此，服务器可以在选择目标数据源时就将目标数据源转换成具有相同数据输出格式的标准数据源。

S102：接收用户发送的目标处理逻辑。

处理引擎在执行流计算任务时，可以对从不同数据源获取的流数据进行处理运算从而完成数据的分析。这个过程中对何种数据进行处理、使用什么方法进行运算都是根据流式计算指标中的处理逻辑确定的。因此，本实施例在自动生成流式计算指标时，服务器可以接收用户发送的数据处理需求，并将其作为目标处理逻辑。

进一步地，控制系统可以将标准数据源发动给用户对应的设备，通过可视化显示的方法在用户对应的设备上显示。接着用户可以在自己的设备上设计流式计算指标对应的数据处理过程，也就是在流计算任务中要对来自标准数据源的流数据进行怎样的处理，即数据源处理指令。接着，用户可以将所述数据源处理指令发送至服务器，由服务器对数据源处理指令进行解析，提取其中的处理逻辑，从而确定所述目标处理逻辑。如此，通过将标准数据源发送给用户，用户可以很容易地确定各个标准数据源之间的关系，得到数据源处理指令，无需用户逐一分析标准数据源，提高了流式计算指标生成的效率。

S103：将所述目标处理逻辑转换为标准处理逻辑。

由于目标处理逻辑是用户发送的，其语法规则、先后顺序等更加接近于自然语言，所以处理引擎难以直接使用目标处理逻辑执行流计算任务。因此，服务器可以在生成流式计算指标时，对用户发送的目标处理逻辑进行转换，得到易于处理引擎使用的标准处理逻辑。

进一步地，服务器中可以预先存储多个符合处理引擎使用的语法规则的标准逻辑模板，每个标准逻辑模板对应一种逻辑关系。服务器在将所述目标处理逻辑转换为标准处理逻辑时，可以先任选一个或多个目标处理逻辑对应的标准数据源，接着根据所述标准数据源对应的数据类型选择标准逻辑模板，从而利用所述标准逻辑模板将目标处理逻辑转换为标准处理逻辑。如此，选择和目标处理逻辑对应的目标数据源，再根据目标数据源对应的数据类型选择标准逻辑模板，可以容易地将目标处理逻辑转换为标准处理逻辑，以便处理引擎执行流计算任务时使用。

S104：将所述标准数据源和标准处理逻辑组合得到指标业务清单。

在得到标准数据源和标准处理逻辑后，服务器可以将标准数据源和标准处理逻辑按照对应关系进行组合，从而得到指标业务清单。

具体地，与步骤S103类似，服务器中可以预先存储多个业务指标清单，所述业务清单模板包括多个数据源栏位和连接所述多个数据栏位的逻辑栏位，相当于指标业务清单的大致框架。在进行组合时，服务器可以先根据所述标准数据源的数量选择业务清单模板；然后将所述标准数据源填入所述业务清单模板的数据源栏位中；根据所述标准数据源和标准处理逻辑之间的关系，将所述标准处理逻辑填入对应的逻辑栏位中，得到指标业务清单。如此，将标准数据源和标准处理逻辑填入指标业务清单，可以将本次流式计算指标的相关信息进行整合，以便后续流式计算指标的生成及使用。

S105：根据所述指标业务清单生成流式计算指标。

在得到指标业务清单后，服务器可以对指标业务清单进行进一步地转换，根据清单内的相关信息，自动整理并编写流式计算指标的底层实现，完成流式计算指标的生成。

本实施例提供了一种流式计算指标的生成方法，首先从数据流中接收待处理的多个目标数据源；接收用户发送的目标处理逻辑，所述目标处理逻辑包括所述多个目标数据源的之间的处理逻辑；接着将所述目标处理逻辑转换为标准处理逻辑；然后将所述多个目标数据源和标准处理逻辑组合得到指标业务清单；根据所述指标业务清单生成流式计算指标，以便进行数据流的处理。如此，通过对目标数据源和目标处理逻辑进行转换，得到标准的指标业务清单，并根据指标业务清单自动生成流式计算指标，业务开发人员无需掌握结构化流技术也能完成指标的开发，提高了开发效率。

在一些可能地实现方式中，流式计算指标内还可以包括处理结果的输出渠道，也就是处理引擎完成流数据计算任务后计算结果的输出渠道。对于这种情况，服务器可以获取指标输出渠道并添加至所述指标业务清单，所述指标输出渠道包括指标处理完成后的输出渠道。整个流式计算指标生成的流程如图2所示。

以上为本申请实施例提供流式计算指标的生成方法的一些具体实现方式，基于此，本申请还提供了对应的装置。下面将从功能模块化的角度对本申请实施例提供的上述装置进行介绍。

参见图3所示的流式计算指标的生成装置的结构示意图，该装置300包括：

第一获取模块310，用于根据需求从外部数据源中选择目标数据源，并将所述目标数据源转换为标准数据源。

逻辑接收模块320，用于接收用户发送的目标处理逻辑，所述目标处理逻辑包括所述标准数据源的之间的处理逻辑。

逻辑转换模块330，用于将所述目标处理逻辑转换为标准处理逻辑。

清单组合模块340，用于将所述标准数据源和标准处理逻辑组合得到指标业务清单。

指标生成模块350，用于根据所述指标业务清单生成流式计算指标，以便进行数据流的处理。

本实施例提供了一种流式计算指标的生成方法，首先从数据流中接收待处理的多个目标数据源；接收用户发送的目标处理逻辑，所述目标处理逻辑包括所述多个目标数据源的之间的处理逻辑；接着将所述目标处理逻辑转换为标准处理逻辑；然后将所述多个目标数据源和标准处理逻辑组合得到指标业务清单；根据所述指标业务清单生成流式计算指标，以便进行数据流的处理。如此，通过对目标数据源和目标处理逻辑进行转换，得到标准的指标业务清单，并根据指标业务清单自动生成流式计算指标，业务开发人员无需掌握结构化流技术也能完成指标的开发，提高了开发效率。

可选地，参见图4，在图3所示装置的基础上，所述逻辑接收模块320包括：

发送模块321，用于向用户发送所述标准数据源，以便用户确定所述标准数据源之间的关系。

指令接收模块322，用于接收用户发送的数据源处理指令。

逻辑确定模块212，用于根据所述数据源处理指令确定所述目标处理逻辑。

如此，通过将标准数据源发送给用户，用户可以很容易地确定各个标准数据源之间的关系，得到数据源处理指令，无需用户逐一分析标准数据源，提高了流式计算指标生成的效率。

可选地，参见图5，在图3所示装置的基础上，所述逻辑转换模块330包括：

数据选择模块331，用于选择所述目标处理逻辑对应的标准数据源。

逻辑选择模块332，用于根据所述标准数据源对应的数据类型选择标准逻辑模板。

转换模块333，用于利用所述标准逻辑模板将目标处理逻辑转换为标准处理逻辑。

如此，选择和目标处理逻辑对应的目标数据源，再根据目标数据源对应的数据类型选择标准逻辑模板，可以容易地将目标处理逻辑转换为标准处理逻辑，以便处理引擎执行流计算任务时使用。

可选地，参见图6，在图3所示装置的基础上，所述清单组合模块340包括：

清单选择模块341，用于根据所述标准数据源的数量选择业务清单模板，所述业务清单模板包括多个数据栏位和连接所述多个数据栏位的逻辑栏位。

数据填入模块342，用于将所述标准数据源填入所述业务清单模板中。

逻辑填入模块343，用于根据所述标准数据源和标准处理逻辑之间的关系，将所述标准处理逻辑填入对应的逻辑栏位中，得到指标业务清单。

如此，将标准数据源和标准处理逻辑填入指标业务清单，可以将本次流式计算指标的相关信息进行整合，以便后续流式计算指标的生成及使用。

本申请实施例中提到的“标准逻辑模板”、“业务清单模板”“指标业务清单”等名称中的“模板”、“清单”只是用来做名字标识，用于形象地体现该名词的作用，并不代表所述名词就是物理意义上的清单、模板。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如只读存储器(英文：read-only memory，ROM)/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如路由器等网络通信设备)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本申请示例性的实施方式，并非用于限定本申请的保护范围。

Claims (10)

1.一种流式计算指标的生成方法，其特征在于，所述方法包括：

根据需求从外部数据源中选择目标数据源，并将所述目标数据源转换为标准数据源；

接收用户发送的目标处理逻辑，所述目标处理逻辑包括所述目标数据源的之间的处理逻辑；

将所述目标处理逻辑转换为标准处理逻辑；

将所述标准数据源和标准处理逻辑组合得到指标业务清单；

根据所述指标业务清单生成流式计算指标，以便进行数据流的处理。

2.根据权利要求1所述的方法，其特征在于，所述接收用户发送的目标处理逻辑包括：

向用户发送所述标准数据源，以便用户确定所述标准数据源之间的关系；

接收用户发送的数据源处理指令；

根据所述数据源处理指令确定所述目标处理逻辑。

3.根据权利要求1所述的方法，其特征在于，所述将所述目标处理逻辑转换为标准处理逻辑包括：

选择所述目标处理逻辑对应的标准数据源；

根据所述标准数据源对应的数据类型选择标准逻辑模板；

利用所述标准逻辑模板将目标处理逻辑转换为标准处理逻辑。

4.根据权利要求1所述的方法，其特征在于，所述将所述标准数据源和标准处理逻辑组合得到指标业务清单包括：

根据所述标准数据源的数量选择业务清单模板，所述业务清单模板包括多个数据源栏位和连接所述多个数据栏位的逻辑栏位；

将所述标准数据源填入所述业务清单模板的数据源栏位中；

根据所述标准数据源和标准处理逻辑之间的关系，将所述标准处理逻辑填入对应的逻辑栏位中，得到指标业务清单。

5.根据权利要求1所述的方法，其特征在于，所述根据所述指标业务清单生成流式计算指标包括：

提取所述指标业务清单中包含的标准处理逻辑和所述标准处理逻辑对应的标准数据源；

选择和所述标准处理逻辑对应的逻辑实现语句；

将和所述标准处理逻辑对应的标准数据源填入所述逻辑实现语句中。

6.根据权利要求1所述的方法，其特征在于，在得到指标业务清单后，所述方法还包括：

获取指标输出渠道并添加至所述指标业务清单，所述指标输出渠道包括指标处理完成后的输出渠道。

7.一种流式计算指标的生成装置，其特征在于，所述装置包括：

第一获取模块，用于根据需求从外部数据源中选择目标数据源，并将所述目标数据源转换为标准数据源；

逻辑接收模块，用于接收用户发送的目标处理逻辑，所述目标处理逻辑包括所述标准数据源的之间的处理逻辑；

逻辑转换模块，用于将所述目标处理逻辑转换为标准处理逻辑；

清单组合模块，用于将所述标准数据源和标准处理逻辑组合得到指标业务清单；

指标生成模块，用于根据所述指标业务清单生成流式计算指标，以便进行数据流的处理。

8.根据权利要求7所述的装置，其特征在于，所述逻辑接收模块包括：

发送模块，用于向用户发送所述标准数据源，以便用户确定所述标准数据源之间的关系；

指令接收模块，用于接收用户发送的数据源处理指令；

逻辑确定模块，用于根据所述数据源处理指令确定所述目标处理逻辑。

9.根据权利要求7所述的装置，其特征在于，所述逻辑转换模块包括：

数据选择模块，用于选择所述目标处理逻辑对应的标准数据源；

逻辑选择模块，用于根据所述标准数据源对应的数据类型选择标准逻辑模板；

转换模块，用于利用所述标准逻辑模板将目标处理逻辑转换为标准处理逻辑。

10.根据权利要求7所述的装置，其特征在于，所述清单组合模块包括：

清单选择模块，用于根据所述标准数据源的数量选择业务清单模板，所述业务清单模板包括多个数据栏位和连接所述多个数据栏位的逻辑栏位；

数据填入模块，用于将所述标准数据源填入所述业务清单模板中；

逻辑填入模块，用于根据所述标准数据源和标准处理逻辑之间的关系，将所述标准处理逻辑填入对应的逻辑栏位中，得到指标业务清单。

Images