CN109445799A - 分布式计算系统及其运行方法 - Google Patents

Abstract

本发明涉及数据处理技术，公开了一种分布式计算系统及其运行方法。在本申请的分布式计算系统中，提供了javascript脚本编程接口，可以由javascript语言编写的脚本控制计算逻辑和任务分发，并且通过管理节点可以方便快捷地操作脚本在计算节点上的部署和修改，从而可以面向更广层面的用户使用。

Description

分布式计算系统及其运行方法

技术领域

本发明涉及数据处理技术，特别涉及分布式计算系统及其运行方法。

背景技术

近年来大数据计算、分布式计算越发受到关注，同时也产生了很多相关的技术框架，比如Storm、Spark等。

这些开源框架虽然都有着强大的功能，并提供了一些简化底层操作的应用程序接口(Application Program Interface,简称“API”)，但其计算策略编写依然需要比较专业的编程知识，一般是JAVA的编程知识。另外，计算策略分发需要先进行编译打包，整套环境的初始化部署也需要较为专业的技术支持。总的来说，这些开源框架入门门槛较高，尤其对于非本专业人员学习难度较大。

因此，亟需一种便于非本专业人员操作的分布式计算系统。

发明内容

本发明的目的在于提供一种分布式系统及其运行方法，以方便计算策略的开发和修改，以及使得任务分发更加方便快捷。

为解决上述技术问题，本发明的实施方式公开了一种分布式计算系统，其中分布式计算系统的计算逻辑和任务分发由javascript语言编写的脚本控制，该分布式计算系统包括：

管理节点，用于构建并管理多个计算节点，并将脚本分发给多个计算节点；以及

多个计算节点，用于从数据源获取数据并基于所分发的脚本对数据进行分布式计算。

本发明的实施方式还公开了一种分布式计算系统的运行方法，其中分布式计算系统的计算逻辑和任务分发由javascript语言编写的脚本控制，该分布式计算系统包括管理节点和多个计算节点；该运行方法包括以下步骤：

管理节点构建并管理多个计算节点；

管理节点将脚本分发给多个计算节点；以及

多个计算节点从数据源获取数据并基于所分发的脚本对数据进行分布式计算。

本发明实施方式与现有技术相比，主要区别及其效果在于：

在本申请中，提供了javascript脚本编程接口，可以由javascript语言编写的脚本控制计算逻辑和任务分发，并且通过管理节点可以方便快捷地操作脚本在计算节点上的部署和修改，从而可以面向更广层面的用户使用。

进一步地，在各节点中提供多种javascript数据接口，可以通过脚本灵活控制数据的发送。

进一步地，通过javascript脚本控制计算节点之间互发数据，可以使得数据的发送更为灵活。

进一步地，计算节点集成多个数据库API并提供javascript接口，可以直接用脚本控制数据的分布式存储。

进一步地，使用图形化管理配置界面来管理脚本，使得用户操作更方便。

附图说明

图1是本申请第一实施方式中一种分布式计算系统的结构示意图。

图2是本申请第一实施方式中一种分布式计算系统中计算节点的结构示意图。

图3是本申请第二实施方式中一种分布式计算系统的结构示意图。

图4是本申请第三实施方式中一种分布式计算系统的运行方法的流程示意图。

图5是本申请第四实施方式中一种分布式计算系统的运行方法的示意图。

具体实施方式

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。并且，说明书中提到的各技术特征之间都可以互相组合(除非产生矛盾)，以构成新的或优选的技术方案。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本申请第一实施方式涉及一种分布式计算系统。图1是根据一个实施例的分布式计算系统的结构示意图。在该分布式计算系统中，计算逻辑和任务分发由javascript语言编写的脚本控制，即计算策略可以由javascript语言来编写。如图1所示，该分布式计算系统包括管理节点(management node)以及多个计算节点(engine node)。

管理节点用于构建并管理多个计算节点，并将脚本分发给多个计算节点。在一实施例中，管理节点可以基于云平台(例如阿里云)进行节点的弹性扩充和自动部署。用户只需要根据预算确定节点数量，管理节点会调用集成的云平台API自动创建节点，并完成相关软件的安装。可以理解，管理节点也可以通过其他方式进行节点扩充和自动部署，例如可以通过虚拟机管理软件，比如VMware ESX提供的接口进行管理，也可以通过docker管理命令进行管理，并不限于上述云平台。

在一实施例中，管理节点可以包括图形化管理配置界面(即网络用户界面)以进行脚本的上传、在线编辑和分发。不同的脚本可以分发到不同的计算节点。使用图形化管理配置界面来管理脚本，使得用户操作更方便。可以理解，在本申请的其他实施方式中也可以通过其他方式上传、编辑和分发脚本，例如可以在本地用文本编辑器编辑脚本，然后通过shell命令将脚本文件拷贝到不同节点的对应位置，再调用计算节点的接口来加载脚本，不限于上述图形化管理配置界面。

多个计算节点用于从数据源获取数据并基于所分发的脚本对数据进行分布式计算。计算节点是该分布式计算系统的核心，众多的计算节点组成了计算集群，负责所有数据的计算处理。可以通过javascript数据接口向各个计算节点和/或在各个计算节点之间互相发送数据，从而可以通过脚本控制任务分发。

在本实施方式的分布式计算系统中，提供了javascript脚本编程接口，可以由javascript语言编写的脚本控制计算逻辑和任务分发，并且通过管理节点可以方便快捷地操作脚本在计算节点上的部署和修改，从而可以面向更广层面的用户使用。

图2示出了根据一个实施例的计算节点的结构示意图，在该计算节点中集成了脚本引擎以对javascript语言编写的脚本进行解析处理。如图2所示，计算节点可以包括事件接收器(event receiver)和脚本引擎(javascript engine)。脚本引擎可以包括事件处理驱动器(event handler driver)和脚本管理接口(script management interface)。其中，脚本管理接口用于与管理节点交互以在事件处理驱动器中添加、删除和/或更新脚本中定义的事件处理函数。脚本的添加/删除/更新操作不影响其他脚本的运行，所以用户在管理节点上分发新的脚本的时候可以根据资源情况选择已有计算节点或新建计算节点，分发操作不会影响其他策略脚本的运行。

事件接收器用于将从数据源接收到的事件数据发送给事件处理驱动器。事件处理驱动器包括所有分发过来的脚本里的事件处理函数以运行策略处理数据，即事件处理驱动器可以用于根据事件数据查找并调用相应的事件处理函数进行计算。由上可以看到，在一个实施例中，我们关于javascript脚本采取了事件驱动的方式，在脚本里注册不同的事件处理函数，当收到数据包时会触发对应的事件。可以理解，在本申请的其他实施方式中，也可以采用面向过程等其他方式来处理数据，不限于上述的事件驱动。

以下为一段脚本的例子：

由上可以看到，首先定义一个OriginType，即数据源类型，然后就可以在其上调用.on(<event type>,<handler function>)接口注册事件处理函数。发送到计算节点的数据报文包含消息头和消息体两部分，消息头中包含数据源类型、事件类型(event type)、事件ID(event ID)三项数据，事件处理驱动器依靠消息头中的数据查找并调用事件处理函数。我们通过将事件数据发送到不同的计算节点来实现分布式计算中任务的分发。

本发明第二实施方式涉及一种分布式计算系统。图3是根据另一个实施例的分布式计算系统的结构示意图。第二实施方式在第一实施方式的基础上主要进行了以下两个改进。

第一个改进是在各节点中提供多种javascript数据接口，可以通过脚本灵活控制数据的发送。

如图3所示，管理节点还可以用于构建并管理数据转换节点(agent node)。可以理解，数据转换节点负责数据的预处理，用于将数据源的数据转换成满足计算节点的数据格式要求的数据，并将转换后的数据发送给计算节点进行处理。在本申请的各个实施例中，上述数据源可以包括Openflow、SNMP、股票市场数据等各种数据源。此外，数据转换节点还可以通过插件开发支持新的数据源。

数据转换节点将数据发往计算节点的时候会实现一次任务分发。在一实施例中，数据转换节点可以用于将上述数据源的数据(例如事件数据)通过定向发送或以消息发布/订阅的方式向相应计算节点发送。计算节点可以以事件ID作为关键字订阅想要的数据。当然，计算节点也可以以其他参数作为关键字来订阅想要的数据。这些规定定义在数据转换节点和计算节点的配置文件中。可以理解，在本申请的其他实施方式中，也可以以其他方式发送数据源的数据。

在一实施例中，计算节点与计算节点之间可以互发数据，例如计算节点用于基于脚本对获取的数据进行计算，并将计算结果进行存储或发送到另一计算节点，从而使得数据的发送更为灵活。例如，对计算节点提供.emit()接口，可以定义新的数据并发送到指定的某一个或几个计算节点；或对计算节点提供.pub()和.sub()接口以支持消息的发布/订阅方式等等。

第二个改进是计算节点集成多个数据库API并提供javascript接口，可以直接用脚本控制数据的分布式存储。

上述分布式计算系统还可以包括数据存储集群(DB cluster)，计算节点处理后的数据如果需要持久化保存则可以存储到数据存储集群中。如图3所示，该数据存储集群支持多种数据库，例如Cassandra DB、InfluxDB、Redis等数据库。

计算节点包括多个数据库的javascript接口，计算节点用于在脚本中调用多个数据库的javascript接口以将计算后的数据存储到数据存储集群中。

本发明第三实施方式涉及一种分布式计算系统的运行方法。图4是根据一个实施例的该分布式计算系统的运行方法的流程示意图。分布式计算系统的计算逻辑和任务分发由javascript语言编写的脚本控制，该分布式计算系统包括管理节点和多个计算节点。如图4所示，该运行方法包括以下步骤：

在步骤401中，管理节点构建并管理多个计算节点。可以理解，多个计算节点可以由管理节点根据具体任务来构建。例如在如图5所示的实施例中，管理节点构建了三个计算节点1－3。

此后进入步骤402，管理节点将脚本分发给多个计算节点。不同的脚本可以分发到不同的计算节点。在一实施例中，管理节点提供图形化管理配置界面以进行脚本的上传、在线编辑和分发。使用图形化管理配置界面来管理脚本，使得用户操作更方便。可以理解，在本申请的其他实施方式中也可以通过其他方式上传、编辑和分发脚本，例如可以在本地用文本编辑器编辑脚本，然后通过shell命令将脚本文件拷贝到不同节点的对应位置，再调用计算节点的接口来加载脚本，不限于上述的图形化管理配置界面。

此后进入步骤403，多个计算节点从数据源获取数据并基于所分发的脚本对数据进行分布式计算。

需注意的是，由于脚本的添加/删除/更新操作不影响其他脚本的运行，步骤402可以与步骤403同时进行，甚至在有新脚本出现时，会在步骤403之后进行新脚本的分发步骤402，并不限于图4中所示的顺序。同样，计算节点也会随时根据任务情况进行扩充和调整，步骤401可能会在任何时候进行，也并不限于图4中所示的顺序。

在本实施方式的分布式计算系统的运行方法中，提供了javascript脚本编程接口，可以由javascript语言编写的脚本控制计算逻辑和任务分发，并且通过管理节点可以方便快捷地操作脚本在计算节点上的部署和修改，从而可以面向更广层面的用户使用。

在一个实施例中，如图2所示，计算节点包括事件接收器和脚本引擎，脚本引擎包括事件处理驱动器和脚本管理接口。

在步骤402中，脚本管理接口与管理节点交互以在事件处理驱动器中添加、删除和/或更新脚本中定义的事件处理函数；

步骤403中包括以下步骤：

事件接收器将从数据源接收到的事件数据发送给事件处理驱动器；以及

事件处理驱动器根据事件数据查找并调用相应的事件处理函数进行计算。我们通过将事件数据发送到不同的计算节点来实现分布式计算中任务的分发。可以理解，在本申请的其他实施方式中，也可以采用面向过程等其他方式来处理数据，不限于上述的事件驱动。

第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

本发明第四实施方式涉及一种分布式计算系统的运行方法。第四实施方式在第三实施方式的基础上主要进行了以下两个改进。

第一个改进是在各节点中提供多种javascript数据接口，可以通过脚本灵活控制数据的发送。

上述运行方法还可以包括以下步骤：管理节点构建并管理数据转换节点。

在一实施例中，在步骤403前包括以下步骤：数据转换节点将数据源的数据通过定向发送或以消息发布/订阅的方式向相应计算节点发送。

在一实施例中，在步骤403中，计算节点可以基于脚本对获取的数据进行计算，并将计算结果进行存储或发送到另一计算节点。通过javascript脚本控制计算节点之间互发数据，可以使得数据的分发更为灵活。

第二个改进是计算节点集成多个数据库API并提供javascript接口，可以直接用脚本控制数据的分布式存储。

如图3所示，上述分布式计算系统还可以包括数据存储集群，计算节点包括多个数据库的javascript接口。

在一实施例中，在步骤403后还包括以下步骤：计算节点在脚本中调用多个数据库的javascript接口以将计算后的数据存储到数据存储集群中。

以下将结合图5以清洗股票市场数据，计算分钟K线和日K线数据为例对上述分布式计算系统的运行方法进行更为详细的描述：

1.首先需手动安装搭建管理节点(management node)和数据存储集群(DBCluster)，然后通过管理节点构建一个数据转换节点(agent node)和三个计算节点(engine node)。可以理解，数据转换节点和计算节点的数量可以根据需要自行调整和设置。

2.然后使用javascript语言编写分钟K线和日K线的清洗策略脚本，通过管理节点将分钟K线的策略脚本分发到计算节点1和计算节点2，将日K线策略脚本分发到计算节点3。

3.数据转换节点接收市场数据，将市场数据转换成各计算节点所需要的格式，例如将OriginType设置为FIN、Event Type设置为MarketData、EventID设置为股票代码等。

4.数据转换节点以消息发布/订阅的方式将消息发送到各计算节点。计算节点1订阅股票代码首位是基数(即符合1*，3*，5*，7*，9*)的数据，计算节点2订阅股票代码首位是偶数的数据。

5.计算节点1和计算节点2的策略脚本的逻辑为：

1)对各股票分别记录数据，每收到新数据时和老数据比较，计算最高价、最低价、成交量、成交额等信息。

2)当发现收到新一分钟的第一个数据时，将该股票之前记录的数据作为上一分钟的K线数据存入数据库，同时将这一数据发送到计算节点3，如图5的箭头所示。清除老数据，以新收到的数据开始计算新一分钟的K线数据。

3)计算节点3缓存各股票的分钟K线数据，利用javascript的time函数设置定时任务，每天停盘后，进行一次计算，依次计算出各股的日K线数据，并存入数据库。

可以理解，以上仅为本申请的一优选例。可以对上述各步骤中的配置进行添加、修改和/或删除，仍然能够实现本申请的技术方案。

本说明书中提到的各节点可以由各种类型的服务器和/或docker容器来实现。

第二实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第二实施方式中。

综上，本申请的分布式计算系统实现了完善的分布式流式计算功能，包括可扩展的流式计算及多种分布式对象存储数据库支持，支持多数据源，使用javascript语言编写实现计算策略的脚本，简单上手，从而可以提供简单的API接口来进行灵活的任务分发。

另外提供图形化的网络用户界面(WEBUI)，可以进行策略脚本的上传、在线编辑、分发功能。同时该网络用户界面还提供了支持公有云和多私有云框架的节点弹性扩展功能。在提供强大功能的同时极大的降低了使用难度，这样像网络运维、舆情监控、金融量化分析等领域的人员也可以方便的使用该系统编写策略，处理各种领域内的数据。

本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等)。同样，存储器可以例如是可编程阵列逻辑(Programmable ArrayLogic，简称“PAL”)、随机存取存储器(Random Access Memory，简称“RAM”)、可编程只读存储器(Programmable Read Only Memory，简称“PROM”)、只读存储器(Read-Only Memory，简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM，简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc，简称“DVD”)等等。

需要说明的是，在本专利的权利要求和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种分布式计算系统，其特征在于，所述分布式计算系统的计算逻辑和任务分发由javascript语言编写的脚本控制，所述分布式计算系统包括：

管理节点，用于构建并管理多个计算节点，并将所述脚本分发给所述多个计算节点；以及

多个计算节点，用于从数据源获取数据并基于所分发的脚本对所述数据进行分布式计算。

2.根据权利要求1所述的分布式计算系统，其特征在于，所述计算节点包括事件接收器和脚本引擎，所述脚本引擎包括事件处理驱动器和脚本管理接口；

所述脚本管理接口用于与所述管理节点交互以在所述事件处理驱动器中添加、删除和/或更新所述脚本中定义的事件处理函数；

所述事件接收器用于将从所述数据源接收到的事件数据发送给所述事件处理驱动器；

所述事件处理驱动器用于根据所述事件数据查找并调用相应的事件处理函数进行计算。

3.根据权利要求1所述的分布式计算系统，其特征在于，所述管理节点还用于构建并管理数据转换节点，

所述数据转换节点用于将所述数据源的数据通过定向发送或以消息发布/订阅的方式向相应计算节点发送。

4.根据权利要求1所述的分布式计算系统，其特征在于，所述计算节点用于基于所述脚本对获取的数据进行计算，并将计算结果进行存储或发送到另一计算节点。

5.根据权利要求1所述的分布式计算系统，其特征在于，所述分布式计算系统还包括数据存储集群；

所述计算节点包括多个数据库的javascript接口，所述计算节点用于在所述脚本中调用所述多个数据库的javascript接口以将计算后的数据存储到所述数据存储集群中。

6.根据权利要求1至5中任一项所述的分布式计算系统，其特征在于，所述管理节点包括图形化管理配置界面以进行所述脚本的上传、在线编辑和分发。

7.一种分布式计算系统的运行方法，其特征在于，所述分布式计算系统的计算逻辑和任务分发由javascript语言编写的脚本控制，所述分布式计算系统包括管理节点和多个计算节点；所述运行方法包括以下步骤：

所述管理节点构建并管理所述多个计算节点；

所述管理节点将所述脚本分发给所述多个计算节点；以及

所述多个计算节点从数据源获取数据并基于所分发的脚本对所述数据进行分布式计算。

8.根据权利要求7所述的运行方法，其特征在于，所述计算节点包括事件接收器和脚本引擎，所述脚本引擎包括事件处理驱动器和脚本管理接口；

在所述管理节点将所述脚本分发给所述多个计算节点的步骤中，所述脚本管理接口与所述管理节点交互以在所述事件处理驱动器中添加、删除和/或更新所述脚本中定义的事件处理函数；

在所述多个计算节点从数据源获取数据并基于所分发的脚本对所述数据进行分布式计算的步骤中包括以下步骤：

所述事件接收器将从所述数据源接收到的事件数据发送给所述事件处理驱动器；以及

所述事件处理驱动器根据所述事件数据查找并调用相应的事件处理函数进行计算。

9.根据权利要求7所述的运行方法，其特征在于，所述分布式计算系统还包括数据转换节点；

所述运行方法还包括以下步骤：所述管理节点构建并管理所述数据转换节点；

在所述多个计算节点从数据源获取数据并基于所分发的脚本对所述数据进行分布式计算的步骤前包括以下步骤：所述数据转换节点将所述数据源的数据通过定向发送或以消息发布/订阅的方式向相应计算节点发送。

10.根据权利要求7所述的运行方法，其特征在于，所述分布式计算系统还包括数据存储集群，所述计算节点包括多个数据库的javascript接口；

在所述多个计算节点从数据源获取数据并基于所分发的脚本对所述数据进行分布式计算的步骤后还包括以下步骤：所述计算节点在所述脚本中调用所述多个数据库的javascript接口以将计算后的数据存储到所述数据存储集群中。