CN109508177B - 一种实时计算方法、装置、服务器及存储介质 - Google Patents

Abstract

本发明实施例公开了一种实时计算方法、装置、服务器及存储介质。通过采用上述技术方案，获取基于页面配置的数据源信息，其中，所述数据源信息包括待处理数据的数据类型和第一存储位置，获取基于页面配置的对数据源进行计算之后的计算结果存储信息，其中，所述计算结果存储信息包括计算结果的数据存储类型和第二存储位置，获取基于页面配置的计算数据源的计算逻辑，其中，所述计算逻辑为一条或多条SQL语句，然后将同一个实时任务的数据源信息、计算结果存储信息和计算逻辑打包成可执行文件，并将该可执行文件发送到集群系统以运行，实现通过在页面配置提交SQL语句的方式快速高效的完成实时数据处理，从而提高软件开发的效率，且节省人力成本。

Description

一种实时计算方法、装置、服务器及存储介质

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种实时计算方法、装置、服务器及存储介质。

背景技术

对于社交类应用来说，通过实时计算技术得到的数据能实时感知好友的动态，他们都在玩什么、关注什么，从而实时发现群体的兴趣迁移。对于电商类业务来说，通过实时计算技术得到的数据能实时感知什么样的商品受什么人群的欢迎，以便及时调整物品推荐的定向策略。对于游戏产品来说，通过实时计算技术得到的数据可以实时感知并预测玩家的感受，对于连续失败、受挫的用户，为避免流失，可以为他们提供个性化运营策略，比如降低难度、调整随机概率等等。另外，通过实时计算技术得到的数据还能实时感知用户的兴趣、位置、环境的变化，实时感知商家的优惠策略变化，对需要制定营销策略的人群来说非常有吸引力。

目前，处理这类实时计算需求的技术较为丰富，但在企业中的实施仍然存在较大难度，主要原因是成本高，需求上线周期长等，而产生这样问题的原因分两个方面：一是企业组织结构，二是技术。如果各个业务方自己既负责开发实现各种实时计算程序，同时还需要维护一套实时计算软件环境，不仅效率低效，对公司的开发资源和硬件资源也是极大的浪费。如此，业务团队开发效率低，不能满足公司各种精细化运营和监控的要求。

发明内容

本发明实施例提供一种实时计算方法、装置、服务器及存储介质，通过将业务需求以SQL逻辑的方式在页面提交，以降低业务系统开发和管理的成本，提高效率和复用性。

第一方面，本发明实施例提供了一种实时计算方法，该方法包括：

获取基于页面配置的数据源信息，其中，所述数据源信息包括待处理数据的数据类型和第一存储位置；

获取基于页面配置的对所述数据源进行计算之后的计算结果存储信息，其中，所述计算结果存储信息包括计算结果的数据存储类型和第二存储位置；

获取基于页面配置的计算所述数据源的计算逻辑，其中，所述计算逻辑为一条或多条SQL语句；

将同一个实时任务的所述数据源信息、计算结果存储信息和计算逻辑打包成可执行文件，并将所述可执行文件发送到集群系统以运行。

第二方面，本发明实施例还提供了一种实时计算装置，该装置包括：

数据源获取模块，获取基于页面配置的数据源信息，其中，所述数据源信息包括待处理数据的数据类型和第一存储位置；

结果数据获取模块，获取基于页面配置的对所述数据源进行计算之后的计算结果存储信息，其中，所述计算结果存储信息包括计算结果的数据存储类型和第二存储位置；

计算逻辑获取模块，获取基于页面配置的计算所述数据源的计算逻辑，其中，所述计算逻辑为一条或多条SQL语句；

数据中转模块，将同一个实时任务的所述数据源信息、计算结果存储信息和计算逻辑打包成可执行文件，并将所述可执行文件发送到集群系统以运行。

第三方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例提供的实时计算方法。

第四方面，本发明实施例还提供了一种服务器，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例提供的实时计算方法。

本发明实施例，获取基于页面配置的数据源信息，其中，所述数据源信息包括待处理数据的数据类型和第一存储位置，获取基于页面配置的对数据源进行计算之后的计算结果存储信息，其中，所述计算结果存储信息包括计算结果的数据存储类型和第二存储位置，获取基于页面配置的计算数据源的计算逻辑，其中，所述计算逻辑为一条或多条SQL语句，然后将同一个实时任务的数据源信息、计算结果存储信息和计算逻辑打包成可执行文件，并将该可执行文件发送到集群系统以运行，实现通过在页面配置提交SQL语句的方式快速高效的完成实时数据处理，从而提高软件开发的效率，且节省人力成本。

附图说明

图1是本发明实施例提供的一种实时计算方法的流程示意图；

图2是本发明实施例提供的另一种实时计算方法的流程示意图；

图3是本发明实施例提供的另一种实时计算方法的流程示意图；

图4是本发明实施例提供的另一种实时计算方法的流程示意图；

图5是本发明实施例提供的一种实时计算装置的结构示意图；

图6是本发明实施例提供的一种服务器的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

图1为本发明实施例提供的一种实时计算方法的流程示意图，该方法可以由本发明实施例提供的服务器来执行，该服务器可采用软件和/或硬件方式实现，该方法具体包括如下步骤：

步骤110、获取基于页面配置的数据源信息，其中，所述数据源信息包括待处理数据的数据类型和第一存储位置；

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。Kafka集群包含一个或多个服务器，这种服务器被称为broker，每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。可以理解为，物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处。

基于Kafka的上述特性，本实施例中，数据源存储在Kafka中，业务人员在页面上根据具体需求配置数据源信息。示例性的，数据源信息包括待处理数据的数据类型和第一存储位置，其中，所述数据类型在页面上的配置项为“数据类型”，该“数据类型”对应的值由程序预设，业务人员可通过界面上的下拉选项选择；所述第一存储位置在页面上的配置项为“kafka_topic”和“引用源表名称”，“kafka_topic”表示Kafka里的某个topic，“引用源表名称”表示该topic里某个表的名称，“kafka_topic”对应的值由程序预设，业务人员可通过界面上的下拉选项选择，在确定Kafka里的topic之后，业务人员在界面录入待选择的该topic里表的名称。

需要说明的是，本发明中数据源的存储类型不局限于Kafka，也可为其他消息存储系统。

步骤120、获取基于页面配置的对所述数据源进行计算之后的计算结果存储信息，其中，所述计算结果存储信息包括计算结果的数据存储类型和第二存储位置；

本实施例中，业务人员在页面上根据具体需求配置对数据源进行计算之后的计算结果存储信息。示例性的，计算结果存储信息包括计算结果的数据存储类型和第二存储位置，其中，所述数据存储类型在页面上的配置项为“类型”，该“类型”对应的值由程序预设，业务人员可通过界面上的下拉选项选择，该数据存储类型可为多种，例如：Hbase、HDFS、MySQL、Kafka、Phoenix等，如此，结果数据形式丰富多样，可满足用户各种不同的需求。所述第二存储位置在页面上的配置项为“库”、“列名”、“分区列名”和“表”，“库”表示数据库名称，“表”表示数据库里的某张表名，“列名”表示涉及的数据库里某张表的字段名，“分区列名”表示涉及的数据库里某张表进一步分区后对应的字段名。所述第二存储位置对应的配置项由业务人员在界面录入。

进一步的，所述第一存储位置和第二存储位置在页面上的配置项包括但不局限于上述列举的配置项，可根据客户实际需求增加或减少。

步骤130、获取基于页面配置的计算所述数据源的计算逻辑，其中，所述计算逻辑为一条或多条SQL语句；

本实施例中，业务人员在页面上根据具体需求配置计算数据源的计算逻辑，该计算逻辑为SQL语句，可为1条或多条SQL语句。对于一条SQL语句实现不了的需求，业务人员可在界面录入多条SQL语句来实现，多条SQL语句之间可以存在依赖和嵌套的关系。

步骤140、将同一个实时任务的所述数据源信息、计算结果存储信息和计算逻辑打包成可执行文件，并将所述可执行文件发送到集群系统以运行。

其中，业务人员在页面上配置完数据源信息、计算结果存储信息和计算逻辑之后，对应的创建了一个实时任务。业务人员在页面上配置不同的数据源信息、计算结果存储信息和计算逻辑，对应创建不同的实时任务。在获取到同一个实时任务的数据源信息、计算结果存储信息和计算逻辑之后，将这些数据打包成可执行文件，然后将该可执行文件发送到集群系统以进行实时计算。

本实施例的技术方案，获取基于页面配置的数据源信息，其中，所述数据源信息包括待处理数据的数据类型和第一存储位置，获取基于页面配置的对数据源进行计算之后的计算结果存储信息，其中，所述计算结果存储信息包括计算结果的数据存储类型和第二存储位置，获取基于页面配置的计算数据源的计算逻辑，其中，所述计算逻辑为一条或多条SQL语句，然后将同一个实时任务的数据源信息、计算结果存储信息和计算逻辑打包成可执行文件，并将该可执行文件发送到集群系统以运行，实现通过在页面配置提交SQL语句的方式快速高效的完成实时数据处理，从而提高软件开发的效率，且节省人力成本。

图2是本发明实施例提供的另一种实时计算方法的流程示意图，参见图2，该方法进一步包括如下步骤：

步骤210、获取基于页面配置的同一个实时任务的计算资源，其中，所述计算资源为集群系统的一台或多台计算机的CPU和内存资源；

本实施例中，业务人员在创建了一个实时任务之后，该实时任务需要审核人员在审核页面配置对应的计算资源，所述计算资源包括执行该实时任务所需的计算机资源，例如：CPU、内存等。需要说明的是，为了给各个实时任务合理分配计算资源，在保证不浪费硬件资源的同时，使企业已有的计算机资源得到最大化的利用，故配置数据源信息、计算结果存储信息和计算逻辑的角色和配置计算资源的角色不同，也就是说，业务人员与审核人员是一个开发项目的两个不同人物角色，两者的系统权限不一样，审核人员的权限高于业务人员，可以理解为，审核人员拥有系统管理员权限，而业务人员不是管理员，审核人员优选开发人员。进一步的，也可根据获取的实时任务信息，系统自动配置对应的计算资源。

步骤220、将所述实时任务和对应配置的计算资源打包成可执行文件，并将所述可执行文件发送到集群系统以运行。

其中，在获取到一个实时任务以及对应的计算资源后，将其打包成可执行文件，该可执行文件包括配置文件和运行的包等文件，然后将该可执行文件发送到集群系统以运行。示例性的，集群系统在接收到一个实时任务的可执行文件时，获取该可执行文件的计算资源，并根据该计算资源分配对应的执行主机给该实时任务，以使对应的执行主机运行这个实时任务的可执行文件。比如：实时任务1需要3个主机，各主机的内存为2GB，集群系统会根据自身的调度策略，分配给实时任务1对应的主机。

本实施例的技术方案，通过在页面配置实时任务的计算资源，从而自动生成配置文件，如此可以避免手动配置实时任务的脚本文件可能出错，且效率低的情况，还保证了实时任务的计算资源是合理分配的，不会造成资源浪费。

图3是本发明实施例提供的另一种实时计算方法的流程示意图，参见图3，该方法进一步包括如下步骤：

步骤310、在接收到调试指令时，判断所述计算逻辑的语法是否符合规则；

步骤320、若符合规则，则获取测试数据并将所述测试数据作为所述计算逻辑的输入，并在页面显示对应的输出以供用户校验；

步骤330、若不符合规则，则发送所述计算逻辑语法错误的提示信息。

步骤340、在接收到提交指令时，发送所述计算逻辑验证成功的提示信息。

本实施例中，提供一种对上述实施例配置的计算逻辑进行验证的方法，该方法由业务人员进行实施。具体地，业务人员提交验证请求，系统在接收到该验证请求对应的调试指令时，首先判断计算逻辑的语法是否符合规则，比如，计算逻辑为“select max(amount)from root_tmp_view”，系统会自动检测该SQL语句的语法正确性，例如关键字有无写错，有无少空格，有无字符错误等，若符合规则无错误，系统获取预存的测试数据并将该测试数据作为该计算逻辑的输入，并在页面显示对应的输出以供业务人员校验。需要说明的是，系统是对SQL语句的正确性进行校验，若SQL语句正确无误，系统会给出该测试数据通过计算逻辑计算之后的正确结果数据以供业务人员进行判断，此处需要业务人员人为判断，是考虑到若业务人员将计算逻辑对应的SQL语句误写成另一个计算逻辑对应的SQL语句，此时，若SQL语句无误，系统是无法检测出来的，故需要业务人员做判断。比如：求最大值的一个计算逻辑，若业务人员不小心写成了求最小值的计算逻辑，SQL语句正确的情况下，业务人员是可以轻易的根据结果数据判断自己写的SQL语句哪里出现了问题。若不符合规则存在语法错误，系统发送该计算逻辑语法错误的提示信息，该提示信息可在系统页面显示并给出详细的错误提示，以供业务人员及时做对应的修改。

进一步的，在业务人员验证计算逻辑无误后，需要在页面上提交该计算逻辑对应的实时任务。系统在接收到提交指令时，发送该计算逻辑验证成功的提示信息，如此，计算逻辑系统验证成功，系统记录相关信息。

本实施例的技术方案，通过对计算逻辑的验证，保证了实时任务与真实需求的一致性，从前期工作以及细节处提高了实时计算的正确性。

图4是本发明实施例提供的另一种实时计算方法的流程示意图，参见图4，该方法进一步包括如下步骤：

步骤410、在接收到基于实时任务的修改指令时，获取修改之后的所述实时任务的数据源信息、计算结果存储信息和计算逻辑；

步骤420、将获取的修改之后的所述数据源信息、计算结果存储信息和计算逻辑打包成可执行文件，并将所述可执行文件发送到集群系统以运行。

本实施例的技术方案，基于上述实施例，若后续需求有变更，不需修改代码或重新进行软件开发，只需查询到该需求对应的实时任务，根据具体的需求变更，修改该实时任务的数据源信息、计算结果存储信息、计算逻辑和计算资源中的一项或多项即可。该方案可以有效的节省人力和时间，缩短了项目开发周期。此外，若有新需求提出，在该需求已确认及落地的基础上，可快速通过页面配置实现该需求，为企业节省了人力成本资源，同时该方案可控性极强，便于及时了解项目当前进展并作出对应调整。

图5是本发明实施例提供的一种实时计算装置的结构示意图，该装置适用于执行本发明任意实施例提供的实时计算方法，如图5所示，该装置包括：数据源获取模块501、结果数据配置模块502、计算逻辑获取模块503和数据中转模块504。

数据源获取模块501，获取基于页面配置的数据源信息，其中，所述数据源信息包括待处理数据的数据类型和第一存储位置；

结果数据配置模块502，获取基于页面配置的对所述数据源进行计算之后的计算结果存储信息，其中，所述计算结果存储信息包括计算结果的数据存储类型和第二存储位置；

计算逻辑获取模块503，获取基于页面配置的计算所述数据源的计算逻辑，其中，所述计算逻辑为一条或多条SQL语句；

数据中转模块504，将同一个实时任务的所述数据源信息、计算结果存储信息和计算逻辑打包成可执行文件，并将所述可执行文件发送到集群系统以运行。

进一步的，数据获取模块500包括数据源获取模块501、结果数据配置模块502和计算逻辑获取模块503，在具体实现中，数据获取模块500优选实施例为实时计算管理服务，该服务提供页面以供用户在页面进行参数配置和功能选择，示例性的，页面提供实时任务创建功能，页面提供实时任务的数据源信息、计算结果存储信息和计算逻辑的参数配置功能，页面提供各功能操作选项(实时任务上线、下线、定时检测拉起任务、告警等功能)供用户选择。

此外，实时计算装置还包括数据处理模块505，在具体实现中，数据中转模块504优选实施例为LauncherServer，该服务将实时任务打包成可执行文件，并将实时计算管理服务获取的数据传输给数据处理模块505，该服务还接收实时计算管理服务的命令，执行上线、下线、检测告警等功能，以避免实时计算管理服务的负载过重，影响系统运行的性能。其中，数据处理模块505优选实施例为Yarn集群，Yarn集群的各个节点执行实时任务，并对实时任务进行统一的资源调度管理。

本实施例提供的实时计算装置，获取基于页面配置的数据源信息，其中，所述数据源信息包括待处理数据的数据类型和第一存储位置，获取基于页面配置的对数据源进行计算之后的计算结果存储信息，其中，所述计算结果存储信息包括计算结果的数据存储类型和第二存储位置，获取基于页面配置的计算数据源的计算逻辑，其中，所述计算逻辑为一条或多条SQL语句，然后将同一个实时任务的数据源信息、计算结果存储信息和计算逻辑打包成可执行文件，并将该可执行文件发送到集群系统以运行，实现通过在页面配置提交SQL语句的方式快速高效的完成实时数据处理，从而提高软件开发的效率，且节省人力成本。

在上述实施例的基础上，还包括：

计算资源获取模块，用于获取基于页面配置的同一个实时任务的计算资源，其中，各个实时任务包括数据源信息、计算结果存储信息和计算逻辑，所述计算资源为集群系统的一台或多台计算机的CPU和内存资源；

数据中转模块504，还用于将所述实时任务和对应配置的计算资源打包成可执行文件，并将所述可执行文件发送到集群系统以运行。

在上述实施例的基础上，还包括：

验证模块，用于在接收到调试指令时，获取测试数据以验证所述计算逻辑；

提示模块，用于在接收到提交指令时，发送所述计算逻辑验证成功的提示信息。

在上述实施例的基础上，验证模块包括：

在接收到调试指令时，判断所述计算逻辑的语法是否符合规则；

若符合规则，则获取测试数据并将所述测试数据作为所述计算逻辑的输入，并在页面显示对应的输出以供用户校验；

若不符合规则，则发送所述计算逻辑语法错误的提示信息。

在上述实施例的基础上，数据处理模块505还包括：

所述集群系统在接收到实时任务的可执行文件时，根据打包文件分配所述可执行文件所配置的CPU和内存资源；

根据所述CPU和内存资源分配对应的执行主机以执行所述实时任务。

在上述实施例的基础上，配置所述数据源信息，计算结果存储信息，计算逻辑的角色为第一用户。

在上述实施例的基础上，配置所述计算资源的角色为第二用户，所述第二用户的权限高于第一用户的权限。

在上述实施例的基础上，还包括：

任务修改模块，用于在接收到基于实时任务的修改指令时，获取修改之后的所述实时任务的数据源信息、计算结果存储信息和计算逻辑；

数据中转模块504，还用于将获取的修改之后的所述数据源信息、计算结果存储信息和计算逻辑打包成可执行文件，并将所述可执行文件发送到集群系统以运行。

本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明所有实施例提供的实时计算方法：也即，该程序被处理器执行时实现：获取基于页面配置的数据源信息，其中，所述数据源信息包括待处理数据的数据类型和第一存储位置，获取基于页面配置的对数据源进行计算之后的计算结果存储信息，其中，所述计算结果存储信息包括计算结果的数据存储类型和第二存储位置，获取基于页面配置的计算数据源的计算逻辑，其中，所述计算逻辑为一条或多条SQL语句，然后将同一个实时任务的数据源信息、计算结果存储信息和计算逻辑打包成可执行文件，并将该可执行文件发送到集群系统以运行。

可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

图6是本发明实施例提供的一种服务器的结构示意图，该服务器可集成本发明实施例提供的实时计算装置。参见图6，服务器600可以包括：存储器601，处理器602及存储在存储器601上并可在处理器602运行的计算机程序，所述处理器602执行所述计算机程序时实现如本发明实施例所述的实时计算方法。

本发明实施例提供的服务器，获取基于页面配置的数据源信息，其中，所述数据源信息包括待处理数据的数据类型和第一存储位置，获取基于页面配置的对数据源进行计算之后的计算结果存储信息，其中，所述计算结果存储信息包括计算结果的数据存储类型和第二存储位置，获取基于页面配置的计算数据源的计算逻辑，其中，所述计算逻辑为一条或多条SQL语句，然后将同一个实时任务的数据源信息、计算结果存储信息和计算逻辑打包成可执行文件，并将该可执行文件发送到集群系统以运行。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种实时计算方法，其特征在于，包括：

获取基于页面配置的数据源信息，其中，所述数据源信息包括待处理数据的数据类型和第一存储位置；

获取基于页面配置的对所述数据源进行计算之后的计算结果存储信息，其中，所述计算结果存储信息包括计算结果的数据存储类型和第二存储位置；

获取基于页面配置的计算所述数据源的计算逻辑，其中，所述计算逻辑为一条或多条SQL语句；

将同一个实时任务的所述数据源信息、计算结果存储信息和计算逻辑打包成可执行文件，并将所述可执行文件发送到集群系统以运行；

获取基于页面配置的计算所述数据源的计算逻辑之后，所述实时计算方法还包括：

获取基于页面配置的同一个实时任务的计算资源，所述计算资源为集群系统的一台或多台计算机的CPU和内存资源；

将所述实时任务和对应配置的计算资源打包成可执行文件，并将所述可执行文件发送到集群系统以运行；

所述实时计算方法还包括：

在接收到基于实时任务的修改指令时，获取修改之后的所述实时任务的数据源信息、计算结果存储信息和计算逻辑；

将获取的修改之后的所述数据源信息、计算结果存储信息和计算逻辑打包成可执行文件，并将所述可执行文件发送到集群系统以运行；

所述数据存储类型在页面上的配置项为类型。

2.根据权利要求1所述的方法，其特征在于，获取基于页面配置的计算所述数据源的计算逻辑之后，还包括：

在接收到调试指令时，获取测试数据以验证所述计算逻辑；

在接收到提交指令时，发送所述计算逻辑验证成功的提示信息。

3.根据权利要求2所述的方法，其特征在于，在接收到调试指令时，获取测试数据以验证所述计算逻辑，包括：

在接收到调试指令时，判断所述计算逻辑的语法是否符合规则；

若符合规则，则获取测试数据并将所述测试数据作为所述计算逻辑的输入，并在页面显示对应的输出以供用户校验；

若不符合规则，则发送所述计算逻辑语法错误的提示信息。

4.根据权利要求1所述的方法，其特征在于，将所述可执行文件发送到集群系统以运行，包括：

所述集群系统在接收到实时任务的可执行文件时，根据打包文件分配所述可执行文件所配置的CPU和内存资源；

根据所述CPU和内存资源分配对应的执行主机以执行所述实时任务。

5.根据权利要求1所述的方法，其特征在于，配置所述数据源信息，计算结果存储信息，计算逻辑的角色为第一用户。

6.根据权利要求1所述的方法，其特征在于，配置所述计算资源的角色为第二用户，所述第二用户的权限高于第一用户的权限。

7.一种实时计算装置，其特征在于，包括：

数据源获取模块，获取基于页面配置的数据源信息，其中，所述数据源信息包括待处理数据的数据类型和第一存储位置；

结果数据获取模块，获取基于页面配置的对所述数据源进行计算之后的计算结果存储信息，其中，所述计算结果存储信息包括计算结果的数据存储类型和第二存储位置；

计算逻辑获取模块，获取基于页面配置的计算所述数据源的计算逻辑，其中，所述计算逻辑为一条或多条SQL语句；

计算资源获取模块，用于获取基于页面配置的同一个实时任务的计算资源，其中，各个实时任务包括数据源信息、计算结果存储信息和计算逻辑，所述计算资源为集群系统的一台或多台计算机的CPU和内存资源；

数据中转模块，将同一个实时任务的所述数据源信息、计算结果存储信息和计算逻辑打包成可执行文件，并将所述可执行文件发送到集群系统以运行；还用于将所述实时任务和对应配置的计算资源打包成可执行文件，并将所述可执行文件发送到集群系统以运行；

任务修改模块，用于在接收到基于实时任务的修改指令时，获取修改之后的所述实时任务的数据源信息、计算结果存储信息和计算逻辑；

所述数据中转模块，还用于将获取的修改之后的所述数据源信息、计算结果存储信息和计算逻辑打包成可执行文件，并将所述可执行文件发送到集群系统以运行；

所述数据存储类型在页面上的配置项为类型。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的实时计算方法。

9.一种服务器，其特征在于，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-6中任一所述的实时计算方法。

Images