CN109992561A - 工业实时计算方法、存储介质和计算设备 - Google Patents

Abstract

本发明公开了一种可动态地快速地配置实时计算的工业实时计算方法、存储介质和计算设备。所述工业实时计算方法包括：获取计算规则；根据所述计算规则，分析计算规则步骤；根据所述计算规则步骤开发计算服务；根据所述计算规则步骤和所述计算服务进行拓扑配置。相比于现有技术，本发明中只有一个实现计算逻辑的系统，优化了系统结构，将实时计算中的计算逻辑简化为调用计算服务，从而降低了开发难度且易于维护。

Description

工业实时计算方法、存储介质和计算设备

技术领域

本发明涉及工业计算技术领域，具体地说，涉及一种可动态地快速地配置实时计算的工业实时计算方法、存储介质和计算设备。

背景技术

随着工业信息化建设加快，需要对数据的分析监控要求越来越高，同时对云计算的要求也更高，越来越多的计算应用到了基于实时计算引擎的实时计算框架中。实时计算引擎是一个分布式的、可靠的、容错的数据流处理系统，实时计算引擎提交运行的一个计算逻辑称为一个拓扑，拓扑运行时把工作任务委托给不同类型的组件，每个组件负责处理一项任务，计算的输入流由一个被称作初始节点的组件管理，初始节点会读取外部的数据源并把读取的数据传递给计算节点，计算节点对得到的数据进行特定的处理逻辑或者把数据保存到存储器，还可以把数据传递给其它的计算节点。

现有技术中，一种工业计算运用到实时计算框架上的过程涉及到如下步骤：i)获取计算规则；ii)根据计算规则开发计算服务，这些计算服务在接受到计算请求时进行计算并返回结果；iii)根据计算规则开发符合实时计算引擎规范的计算拓扑，拓扑包含实现获取数据和计算逻辑的初始节点和计算节点，以实现该计算规则的实时计算。如图1所示，现有系统由计算服务和实时计算两个系统实现，计算服务在从客户端接收到计算请求时执行计算逻辑并将计算结果返回给客户端，实时计算中的初始节点获取数据并将该数据发送到计算节点，计算节点对得到数据进行特定的处理逻辑，并且还可以把数据传递给其它的计算节点。如果在实施之后用户需要修改计算逻辑，则需要开发人员修改计算服务和实时计算的计算逻辑。而且，各种计算逻辑复杂，不同用户对计算的要求不同，开发符合实时计算引擎规范的计算系统的同时还需要保留原来的计算应用系统，导致同一种计算需要开发两个或者更多的系统，增加开发难度，给平台实时计算框架的应用带来了极大的技术困难。因此，现有系统的开发和维护难度都比较大。

发明内容

本发明的目的在于提供一种可动态地快速地配置实时计算的工业实时计算方法、存储介质和计算设备，以解决现有计算系统应用到实时计算框架上开发难度大的技术问题。

本发明第一方面提供了一种工业实时计算方法，所述工业实时计算方法包括：获取计算规则；根据所述计算规则，分析计算规则步骤；根据所述计算规则步骤开发计算服务；根据所述计算规则步骤和所述计算服务进行拓扑配置。

优选的是，在实时计算框架服务配置页面上进行所述拓扑配置。

优选的是，所述拓扑配置包括：用拓扑图表达实时计算步骤；配置计算拓扑；配置拓扑节点。

优选的是，所述拓扑图中的节点包括初始节点、计算节点和存储节点，其中，所述初始节点用于从数据源获取数据，所述计算节点用于传递参数和调用计算应用系统来获得计算结果，所述存储节点用于将参数存储到数据存储系统中。

优选的是，所述配置计算拓扑包括：用拓扑名称标记所配置的拓扑；通过拖拽方式新增节点；通过点击前后节点来连线，配置计算步骤。

优选的是，所述配置拓扑节点包括配置拓扑节点的信息，其中，所述拓扑节点包括初始节点、计算节点和存储节点。

优选的是，所述初始节点的信息包括名称、并行度和数据源类型，所述计算节点的信息包括名称、并行度、计算类型和计算参数，所述存储节点的信息包括名称、并行度、存储类型和存储的数据项。

优选的是，所述工业实时计算方法还包括：在完成所述拓扑配置后，将所配置的计算逻辑应用到实时计算框架中。

本发明第二方面提供了一种存储介质，所述存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行上述的工业实时计算方法。

本发明第二方面提供了一种计算设备，所述计算设备包括：处理器；以及存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行上述的工业实时计算方法。

本发明带来了以下有益效果：相比于现有技术，本发明的计算中只有一个实现计算逻辑的系统，优化了系统结构，将实时计算中的计算逻辑简化为调用计算服务，从而降低了开发难度且易于维护。此外，本发明还提供了可视化操作页面，利用计算服务配置出对应的实时计算逻辑，简化了实时计算系统的实现逻辑。通过在可视化操作页面可快速配置各种实时计算，不仅解决了现有技术中同一种计算需要开发两个或多个计算系统的问题，旧的计算系统也可以配置到实时计算框架中，平台实时计算框架的应用带来了极大的便利。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要的附图做简单的介绍：

图1是现有技术中的工业实时计算系统的示意图；

图2是本发明实施例的工业实时计算系统的示意图；

图3是本发明实施例的工业实时计算方法的流程图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

为了解决了现有计算系统应用到实时计算框架上开发难度大的问题，本发明提供一种可动态地快速地配置多种实时计算的系统。图2示出了本发明实施例的系统的示意图。如图2所示，实时计算中的初始节点从指定的数据源获取数据并将该数据发送到计算节点，计算节点调用指定的计算服务来对得到数据执行特定的计算逻辑，并且还可以把数据传递给其它的计算节点。计算服务在从客户端接收到计算请求时执行计算逻辑并将计算结果返回给客户端。由此可知，本发明的计算系统中只有一个实现计算逻辑的系统，优化了系统结构，将实时计算中的计算逻辑简化为调用计算服务，从而降低了开发难度且易于维护。

如图3所示，本发明中一种工业计算运用到实时计算框架上的过程包括如下步骤：步骤S101，获取计算规则(根据具体问题来获取计算规则)；步骤S102，根据计算规则，分析计算规则步骤；步骤S103，根据计算规则步骤开发计算服务；步骤S104，根据计算规则步骤和所述计算服务进行拓扑配置。具体地，根据计算规则步骤和计算服务在实时计算框架服务配置页面上配置一个拓扑。如果用户需要将已有计算系统运用到实时计算框架上，则直接进行配置即可。如果用户需要修改计算逻辑，则在配置页面修改配置信息即可。如果其中一个步骤需要修改维护，则开发人员只需要计算服务一个步骤的计算逻辑。因此，已有的计算服务或系统需要进行实时计算则不需要进一步开发，配置一个新的拓扑即可。

下面将对本发明的拓扑配置方法进行具体描述。首先，在步骤1，本发明提供了一种友好的操作页面，将基于实时计算引擎技术的实时计算步骤用拓扑图来表达，将拓扑中的节点分为初始节点、计算节点和存储节点。初始节点的功能为从某一个数据源获取需要的数据，计算节点的功能是传递必要的参数并通过某种方式调用已有的计算应用系统得到计算结果，存储节点的功能是将必要的参数持久化到某一个数据存储系统。这些节点功能中所涉及到的数据源、参数、调用方式、计算应用、数据库都是可配置的。计算的步骤通过节点之间的有向连线来表示，节点的数量和顺序可以按照需求进行配置。

在步骤2，配置计算拓扑，可以用拓扑名称来标记所配置的拓扑，操作页面中可通过拖拽的方式新增节点，通过点击前后节点来连线，配置计算步骤。

在步骤3，拓扑节点的配置，初始节点的信息包括名称、并行度和数据源类型，计算节点的信息包括名称、并行度、计算类型和计算必需的参数，存储节点的信息包括名称、并行度、存储类型和需要存储的数据项。其中，名称和并行度可以直接输入，并行度需要根据实际需要来配置，数据源类型、计算类型和存储类型在本系统中提供选择。

数据源类型中选择的数据湖类型，是指从系统默认的数据湖获取数据，还可以选择提供取数服务接口的数据源类型，然后输入数据源取数服务地址。计算类型中有RESTful类型、WebService类型和JAR类型，这些类型是确定该计算节点所要调用的计算服务提供的接口类型，选择RESTful类型则需要输入计算服务RESTful接口地址，选择WebService类型则需要输入WebService地址和要调用的方法，选择JAR类型则需要上传对应的JAR文件和输入调用的主类。这种类型的好处是可以利用多种计算服务，包括一些JAR运行程序。存储类型可以选择数据湖类型，是指将计算结果存入到系统默认的数据湖结果集中，还可以选择提供存数服务接口的数据存储类型，然后输入数据存储服务地址。

计算节点的参数和存储节点的数据项，通过一种数据来源和数据名称一一对应的配置方式来指定参数或者数据项的来源，来源通过特定的配置表达式来实现。

计算节点新增一条参数，输入源参和入参即可，存储节点同理。计算节点的入参是指调用计算服务的时候需要传递的参数名称，而一个入参的值来源于初始节点获取的数据或者计算步骤中在此节点之前的节点计算得到的结果数据。源参的作用就是指定这个来源，源参的格式为#[节点编码].[过滤条件].[字段名]，通过这种方式就可以找到指定节点的数据中符合过滤条件的指定字段，进行计算获取到该字段的值即成功映射到入参，然后传递参数调用计算服务。存储节点的数据项别名是指存储的字段名，源数据项和源参的配置方式相同，可以指定数据来源。

步骤4，拓扑配置完成之后保存并启动即可将所配置的计算逻辑应用到实时计算框架中，用户可以高效地管理计算拓扑，如果用户对计算的步骤不满意即可停止拓扑并对配置信息进行修改，体现了本发明的高可扩展性和高可用性。

接下来，将描述本发明实施例的一个具体实例，即，根据罐量计算需求实现了罐量计算RESTful服务。这里，以整个罐量计算合为一个计算步骤配置实时计算拓扑示例，名称和并行度根据实际需要进行配置。取数节点配置数据源类型选择数据湖类型，罐容计算节点配置计算类型选择RESTful类型，选择请求类型，然后输入计算服务地址，参数配置上新增源参和入参。存储节点配置存储类型选择数据湖类型，参数配置原理和罐容计算节点的参数配置原理相同，启动拓扑后会将罐量计算的结果存入数据湖。

综上所述，相比于现有技术，本发明的计算中只有一个实现计算逻辑的系统，优化了系统结构，将实时计算中的计算逻辑简化为调用计算服务，从而降低了开发难度且易于维护。此外，本发明还提供了可视化操作页面，利用计算服务配置出对应的实时计算逻辑，简化了实时计算系统的实现逻辑。通过在可视化操作页面可快速配置各种实时计算，不仅解决了现有技术中同一种计算需要开发两个或多个计算系统的问题，旧的计算系统也可以配置到实时计算框架中，平台实时计算框架的应用带来了极大的便利。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种工业实时计算方法，其特征在于，包括：

获取计算规则；

根据所述计算规则，分析计算规则步骤；

根据所述计算规则步骤开发计算服务；

根据所述计算规则步骤和所述计算服务进行拓扑配置。

2.根据权利要求1所述的工业实时计算方法，其特征在于，在实时计算框架服务配置页面上进行所述拓扑配置。

3.根据权利要求1所述的工业实时计算方法，其特征在于，所述拓扑配置包括：

用拓扑图表达实时计算步骤；

配置计算拓扑；

配置拓扑节点。

4.根据权利要求3所述的工业实时计算方法，其特征在于，所述拓扑图中的节点包括初始节点、计算节点和存储节点，其中，所述初始节点用于从数据源获取数据，所述计算节点用于传递参数和调用计算应用系统来获得计算结果，所述存储节点用于将参数存储到数据存储系统中。

5.根据权利要求3所述的工业实时计算方法，其特征在于，所述配置计算拓扑包括：

用拓扑名称标记所配置的拓扑；

通过拖拽方式新增节点；

通过点击前后节点来连线，配置计算步骤。

6.根据权利要求3所述的工业实时计算方法，其特征在于，所述配置拓扑节点包括配置拓扑节点的信息，其中，所述拓扑节点包括初始节点、计算节点和存储节点。

7.根据权利要求6所述的工业实时计算方法，其特征在于，所述初始节点的信息包括名称、并行度和数据源类型，所述计算节点的信息包括名称、并行度、计算类型和计算参数，所述存储节点的信息包括名称、并行度、存储类型和存储的数据项。

8.根据权利要求1至7中任一项所述的工业实时计算方法，其特征在于，所述工业实时计算方法还包括：

在完成所述拓扑配置后，将所配置的计算逻辑应用到实时计算框架中。

9.一种存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至8中任一项所述的工业实时计算方法。

10.一种计算设备，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至8中任何一项所述的工业实时计算方法。