CN111431999B

CN111431999B - 一种基于Paxos算法的云函数分布式系统

Info

Publication number: CN111431999B
Application number: CN202010209821.1A
Authority: CN
Inventors: 高海; 顾湘余; 思尚赟
Original assignee: Hangzhou Xiaoying Innovation Technology Co ltd
Current assignee: Hangzhou Xiaoying Innovation Technology Co ltd
Priority date: 2020-03-23
Filing date: 2020-03-23
Publication date: 2022-11-25
Anticipated expiration: 2040-03-23
Also published as: CN111431999A

Abstract

本发明公开了一种基于Paxos算法的云函数分布式系统。它具体包括如下步骤：创建云端节点；装载作业执行器：装载过程是自动化的，在部署开始前需要指定作业执行器类型：作业类型或者检查类型；作业类型的作业执行器通过HTTP服务模块监听到HTTP请求时，通过结合调度算法与繁忙积分模块中的繁忙积分算法优选出一部分作业执行器，被优选出的执行器使用主动竞争模块抢注该请求的处理权，由成功者处理该作业请求；检查类型的作业执行器通过RPC通信模块主动统计缓存各作业执行器的状态，并对作业执行器进行优化或横向扩容。本发明的有益效果是：降低系统作业执行器的计算量；优化整体资源使用率；动态计算决定整体系统是否要横向扩容。

Description

一种基于Paxos算法的云函数分布式系统

技术领域

本发明涉及数据处理相关技术领域，尤其是指一种基于Paxos算法的云函数分布式系统。

背景技术

现有技术中存在以下方案：(1)一种适用于LINUX操作系统的云函数执行系统及方法，该方法针对的是在同一个Linux系统中创建一个沙箱环境用来构建执行用户提交的函数，并输出结果；在沙箱内做了各个函数进程之间的隔离。该技术所述云函数只依赖单点Linux服务，云函数健壮性几乎没有。该技术没有体现如何保障在并发状态下创建沙箱环境，执行结果的数据一致性；即横向扩展能力几乎没有。

(2)分布式计算系统，该方案主要描述了分布式协调服务器在得知配置信息变更时向对应的计算节点发送修改请求，然后该节点在不重启系统即更新配置。该现有技术需要有一个分布式协调服务器，分布式协调服务器的存在降低了服务内聚性，节点变得不透明，再去发送修改指令给计算节点；这没有体现分布式计算的去中性化，横向扩展能力低。该技术没有提到高并发状态下如何保障各个计算节点的结果数据一致性。该技术的健壮性依赖于协调服务器，整体健壮性比较低。

发明内容

本发明是为了克服现有技术中存在上述的不足，提供了一种横向扩展能力高的基于Paxos算法的云函数分布式系统。

为了实现上述目的，本发明采用以下技术方案：

一种基于Paxos算法的云函数分布式系统，具体包括如下步骤：

(1)创建云端节点：基于Zookeeper分布式服务框架，创建奇数个云端节点，每个节点选择使用容器化服务来部署；

(2)装载作业执行器：每个作业执行器包含HTTP服务模块、云函数执行模块、主动竞争模块、繁忙积分模块、RPC通信模块和检查模块；装载过程是自动化的，部署即视为装载，在部署开始前需要指定作业执行器类型：作业类型或者检查类型；

(3)作业类型的作业执行器通过HTTP服务模块监听到HTTP请求时，通过结合调度算法与繁忙积分模块中的繁忙积分算法优选出一部分作业类型的作业执行器，被优选出的作业类型的作业执行器使用主动竞争模块抢注该请求的处理权，由成功者处理该作业请求；

(4)检查类型的作业执行器通过检查模块升级为节点检查器，节点检查器通过RPC通信模块主动统计缓存各作业执行器的状态，并对作业执行器进行优化或横向扩容。

PAXOS指的是一种分布式系统下保障数据的线性一致性算法。分布式系统一般指高度内聚，低耦合，容错能力强，任意节点都透明的系统。分布式系统遵循CAP定理。其中Paxos算法提供了CAP中的一致性“C”(Consistency)的保障。这可以推导出，分布式系统更加的健壮、可靠、复用性强等特点。云函数指的是：在云计算场景下一种无状态的事件驱动应用程序，函数即服务。本发明是一种函数即服务(Faas)系统，基于自身节点主动竞争机制的调度系统，基于繁忙分与调度算法的分布式作业系统，基于Leader、Follower、Observer角色的服务自治分布式作业系统，基于单一职责、服务自治、RPC通信的分布式作业系统，节点检查器缓存部分计算结果降低系统作业执行器的计算量；优化整体资源使用率；动态计算决定整体系统是否要横向扩容。

作为优选，在步骤(2)中，当作业执行器以作业类型部署时：每个节点都会调用主动竞争模块进行HTTP服务的抢注Leader，成功抢注Leader的节点将获得提供web服务的优先权，其称为Leader状态执行器；抢注失败的则称为Follower状态执行器；当作业执行器以检查类型部署时：该节点自动转变成节点检查器，节点检查器若创建则只能设置一个，一旦作业执行器部署成节点检查器，则该节点不再参与作业执行，其称为Observer状态执行器。

作为优选，在步骤(3)中，具体操作方法为：Leader状态执行器开启HTTP服务模块监监听到HTTP请求时，通过结合调度算法与繁忙积分算法优选出一部分作业类型的作业执行器用于云函数执行权的竞争，被优选出的作业类型的作业执行器继续使用主动竞争模块抢注该请求的处理权，由成功者处理该作业请求；Follower状态执行器通过RPC通信模块定时ping节点检查器，若没有检查器则ping Leader状态执行器，如果Leader状态执行器存在则回复pong；如果没有接收到pong或者超时，则使用主动竞争模块抢注HTTP服务的Leader状态执行器。

作为优选，在步骤(3)中，若HTTP请求操作类型是云函数调用，则Leader状态执行器调用云函数执行模块，执行函数并启动异常重试机制，执行结果输出；若HTTP请求操作类型是云函数管理，则Leader状态执行器调用云函数执行模块，但在发布函数的操作时，需要记录操作版本号，进行增量操作，只能修改或者创建，删除需要权限控制，之后执行函数并启动异常重试机制，执行结果输出。

作为优选，在步骤(4)中，对作业类型的作业执行器进行优化或横向扩容的具体操作方法为：Observer状态执行器检测到Leader状态执行器有错误异常，判断是否导致作业失败，如果未导致作业失败，则根据整体的繁忙积分是否上升来确定是否需要进行横向扩容增加作业类型的作业执行器节点；而如果导致作业失败，那么Observer状态执行器标记异常的Leader状态执行器，并判断该异常的Leader状态执行器中作业是否完全结束，如果作业完全结束则删除该异常的Leader状态执行器，然后进行横向扩容增加作业类型的作业执行器节点。

作为优选，调度算法采用HRRF响应比最高者优先，该算法调度选择依据的公式是：ResponseRatio＝max((w+s)/s)，其中w为作业等待时间，s为作业处理时间。

作为优选，繁忙积分算法需要定义繁忙权重n、过载权重m、性能指标超过红色个数M、性能指标超过黄色个数N、性能指标正常个数P，性能指标由：CPU、内存、作业执行个数、节点存活时长、捕获异常数量、是否为Leader角色组成，最终计算公式为：busyScore＝(N*n+M*m+P*1)/(N+M+P)。

本发明的有益效果是：节点检查器缓存部分计算结果降低系统作业执行器的计算量；优化整体资源使用率；动态计算决定整体系统是否要横向扩容。

附图说明

图1是本发明的作业执行器创建逻辑图；

图2是本发明的作业执行器执行逻辑图；

图3是本发明的作业执行器横向扩容逻辑图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步的描述。

如图1所述的实施例中，一种基于Paxos算法的云函数分布式系统，具体包括如下步骤：

(1)创建云端节点：基于Zookeeper分布式服务框架，创建奇数个云端节点，每个节点选择使用容器化服务来部署；Zookeeper的一致性算法是ZAB和Raft，但实际上也是基于Paxos的。Paxos算法使用过半依据来实现消息的容错能力，所以节点数量应该保证是大于等于3且为奇数。

(2)装载作业执行器：每个作业执行器包含HTTP服务模块、云函数执行模块、主动竞争模块、繁忙积分模块、RPC通信模块和检查模块；装载过程是自动化的，部署即视为装载，在部署开始前需要指定作业执行器类型：作业类型或者检查类型；其中：HTTP服务模块提供web服务，监听与处理HTTP请求；如果是leader则根据调度算法通知follower或自己来处理，比如函数的增加、修改、查询、启停请求；云函数执行模块执行函数，并监控出、入参数，执行结果输出，错误重试等机制；主动竞争模块对请求或者注册服务发起竞争，竞争胜利者获得执行权力；繁忙积分模块繁忙积分模块使用繁忙算法计算总分数，该分数由执行器所在节点的系统性能指标通过权重计算生成；RPC通信模块为节点检查器提供通信服务，节点检查器通过定时广播来确定执行器当前的健康状态以及繁忙积分；针对检查模块：某个作业执行器节点一旦开启检查模块，那么它将升级为节点检查器，节点检查器不再参与作业执行。

当作业执行器以作业类型部署时：每个节点都会调用主动竞争模块进行HTTP服务的抢注Leader，成功抢注Leader的节点将获得提供web服务的优先权，其称为Leader状态执行器，Leader状态执行器根据调度算法与繁忙积分算法来决定自己是否参与HTTP请求处理或者作业执行；抢注失败的则称为Follower状态执行器；当作业执行器以检查类型部署时：该节点自动转变成节点检查器，节点检查器若创建则只能设置一个，一旦作业执行器部署成节点检查器，则该节点不再参与作业执行，其称为Observer状态执行器。

(3)作业类型的作业执行器通过HTTP服务模块监听到HTTP请求时，通过结合调度算法与繁忙积分模块中的繁忙积分算法优选出一部分作业类型的作业执行器，被优选出的作业类型的作业执行器使用主动竞争模块抢注该请求的处理权，由成功者处理该作业请求；如图2所示，具体操作方法为：Leader状态执行器开启HTTP服务模块监监听到HTTP请求时，通过结合调度算法与繁忙积分算法优选出一部分作业类型的作业执行器用于云函数执行权的竞争，被优选出的作业类型的作业执行器继续使用主动竞争模块抢注该请求的处理权，由成功者处理该作业请求；Follower状态执行器通过RPC通信模块定时ping节点检查器，若没有检查器则ping Leader状态执行器，如果Leader状态执行器存在则回复pong；如果没有接收到pong或者超时，则使用主动竞争模块抢注HTTP服务的Leader状态执行器。

调度算法采用HRRF响应比最高者优先，该算法调度选择依据的公式是：ResponseRatio＝max((w+s)/s)，其中w为作业等待时间，s为作业处理时间。HRRF算法使用非抢占式调度，不会产生“饥饿问题”，吞吐量高，有较好的响应时间。

繁忙积分算法需要定义繁忙权重n、过载权重m、性能指标超过红色个数M、性能指标超过黄色个数N、性能指标正常个数P，性能指标由：CPU、内存、作业执行个数、节点存活时长、捕获异常数量、是否为Leader角色组成，最终计算公式为：busyScore＝(N*n+M*m+P*1)/(N+M+P)。

如图2所示，若HTTP请求操作类型是云函数调用，则Leader状态执行器调用云函数执行模块，执行函数并启动异常重试机制，执行结果输出；若HTTP请求操作类型是云函数管理，则Leader状态执行器调用云函数执行模块，但在发布函数的操作时，需要记录操作版本号，进行增量操作，只能修改或者创建，删除需要权限控制，删除只能有管理员操作，之后执行函数并启动异常重试机制，执行结果输出。

(4)检查类型的作业执行器通过检查模块升级为节点检查器，节点检查器通过RPC通信模块主动统计缓存各作业执行器的状态，并对作业执行器进行优化或横向扩容；如图3所示，对作业类型的作业执行器进行优化或横向扩容的具体操作方法为：Observer状态执行器检测到Leader状态执行器有错误异常，判断是否导致作业失败，如果未导致作业失败，则根据整体的繁忙积分是否上升来确定是否需要进行横向扩容增加作业类型的作业执行器节点；而如果导致作业失败，那么Observer状态执行器标记异常的Leader状态执行器，并判断该异常的Leader状态执行器中作业是否完全结束，如果作业完全结束则删除该异常的Leader状态执行器，然后进行横向扩容增加作业类型的作业执行器节点。

关于作业类型的作业执行器状态变化过程的说明：当作业类型的作业执行器初始化部署成功后会使用主动竞争模块到Zookeeper节点上抢注Leader，该Leader主要提供HTTP服务(用于云函数注册与管理)以及调用云函数的执行模块扫描一些定时或延时触发的云函数(当云函数被注册为定时或延时执行的方式)；Leader也会参与云函数的作业，即参与云函数的执行权竞争流程(本发明中称为Leader状态的执行器)，剩余的其他作业类型的作业执行器则变成Follower状态的执行器。

关于云函数的执行过程：如果是非定时触发或延时触发的云函数，那么一般由HTTP的API或者RPC协议调用；如果是定时触发或延时触发的云函数那么由Leader状态的执行器扫描到函数正确的触发时间后会通过内部的RPC通信模块进行广播(包含Leader自己)，然后进入竞争函数的执行权流程。

关于云函数执行权的竞争流程：执行云函数作业任务由作业消息(可以是HTTP的API形式，或者是RPC通信调用的方式)触发，然后调度算法与繁忙积分模块中的繁忙积分算法会优选出一部分作业类型的作业执行器(包含Leader状态的执行器与Follower状态的执行器)，他们再次使用主动竞争模块到Zookeeper服务上以函数名称与相关属性作为Zookeeper节点Path名称进行抢注作业执行权(根据ZAB/PAXOS一致性算法只有一个作业类型的作业执行器会抢注成功，Leader状态的执行器与Follower状态的执行器都可以)，当该执行器开始行使执行权时，就是云函数正式执行的过程，执行完毕后删除该节点Path路径(这个Path路径也是作业检查器判断云函数是否在执行的依据)。

作业执行器的三种状态：这些状态中Leader状态的执行器与Follower状态的执行器参与云函数执行权的竞争与云函数的真正执行；即他们两个是作业类型的作业执行器。Observe状态的执行器则不参与。

Leader状态的执行器：主要提供HTTP服务(用于云函数注册与管理)以及调用云函数的执行模块扫描一些定时或延时触发的云函数(当云函数被注册为定时或延时执行的方式)；Leader状态的执行器也会参与云函数的作业，即参与云函数的执行权竞争流程。

Follower状态的执行器：它们的工作只有两件事，一是通过作业类型的作业执行器的RPC模块订阅云函数执行消息只进行执行权的竞争；二是通过RPC模块检查Leader状态的执行器是否存活(ping与pong的机制)。当Leader状态的执行器死亡时，Follower状态的执行器会自动发起Leader竞争，重新选出一个成为新的Leader状态的执行器。

Observe状态的执行器：这个状态的作业执行器是被部署为检查类型的作业执行器，它不参与云函数的执行流程；仅仅起到健康检查或者扩容的作用，它可以不被部署。

本发明是一种函数即服务(Faas)系统，基于自身节点主动竞争机制的调度系统，基于繁忙分与调度算法的分布式作业系统，基于Leader、Follower、Observer角色的服务自治分布式作业系统，基于单一职责、服务自治、RPC通信的分布式作业系统，节点检查器缓存部分计算结果降低系统作业执行器的计算量，在允许的时间精度以内缓存繁忙积分，缓存时间是可以配置的；优化整体资源使用率，若某些作业执行器节点异常较多则进行删除操作；动态计算决定整体系统是否要横向扩容，如果整体的繁忙积分不断上升则需要横向扩容增加更多的作业执行器节点。

Claims

1.一种基于Paxos算法的云函数分布式系统，其特征是，具体包括如下步骤：

（1）创建云端节点：基于Zookeeper分布式服务框架，创建奇数个云端节点，每个节点选择使用容器化服务来部署；

（2）装载作业执行器：每个作业执行器包含HTTP服务模块、云函数执行模块、主动竞争模块、繁忙积分模块、RPC通信模块和检查模块；装载过程是自动化的，部署即视为装载，在部署开始前需要指定作业执行器类型：作业类型或者检查类型；当作业执行器以作业类型部署时：每个节点都会调用主动竞争模块进行HTTP服务的抢注Leader，成功抢注Leader的节点将获得提供web服务的优先权，其称为Leader状态执行器；抢注失败的则称为Follower状态执行器；当作业执行器以检查类型部署时：该节点自动转变成节点检查器，节点检查器若创建则只能设置一个，一旦作业执行器部署成节点检查器，则该节点不再参与作业执行，其称为Observer状态执行器；

（3）作业类型的作业执行器通过HTTP服务模块监听到HTTP请求时，通过结合调度算法与繁忙积分模块中的繁忙积分算法优选出一部分作业类型的作业执行器，被优选出的作业类型的作业执行器使用主动竞争模块抢注该请求的处理权，由成功者处理该作业请求；

（4）检查类型的作业执行器通过检查模块升级为节点检查器，节点检查器通过RPC通信模块主动统计缓存各作业执行器的状态，并对作业执行器进行优化或横向扩容；对作业类型的作业执行器进行优化或横向扩容的具体操作方法为：Observer状态执行器检测到Leader状态执行器有错误异常，判断是否导致作业失败，如果未导致作业失败，则根据整体的繁忙积分是否上升来确定是否需要进行横向扩容增加作业类型的作业执行器节点；而如果导致作业失败，那么Observer状态执行器标记异常的Leader状态执行器，并判断该异常的Leader状态执行器中作业是否完全结束，如果作业完全结束则删除该异常的Leader状态执行器，然后进行横向扩容增加作业类型的作业执行器节点。

2.根据权利要求1所述的一种基于Paxos算法的云函数分布式系统，其特征是，在步骤（3）中，具体操作方法为：Leader状态执行器开启HTTP服务模块监听到HTTP请求时，通过结合调度算法与繁忙积分算法优选出一部分作业类型的作业执行器用于云函数执行权的竞争，被优选出的作业类型的作业执行器继续使用主动竞争模块抢注该请求的处理权，由成功者处理该作业请求；Follower状态执行器通过RPC通信模块定时ping节点检查器，若没有检查器则ping Leader状态执行器，如果Leader状态执行器存在则回复pong；如果没有接收到pong或者超时，则使用主动竞争模块抢注HTTP服务的Leader状态执行器。

3.根据权利要求1或2所述的一种基于Paxos算法的云函数分布式系统，其特征是，在步骤（3）中，若HTTP请求操作类型是云函数调用，则Leader状态执行器调用云函数执行模块，执行函数并启动异常重试机制，执行结果输出；若HTTP请求操作类型是云函数管理，则Leader状态执行器调用云函数执行模块，但在发布函数的操作时，需要记录操作版本号，进行增量操作，只能修改或者创建，删除需要权限控制，之后执行函数并启动异常重试机制，执行结果输出。

4.根据权利要求1或2所述的一种基于Paxos算法的云函数分布式系统，其特征是，调度算法采用HRRF响应比最高者优先，该调度算法选择依据的公式是：ResponseRatio=max((w+s)/s)，其中 w 为作业等待时间，s 为作业处理时间。

5.根据权利要求1或2所述的一种基于Paxos算法的云函数分布式系统，其特征是，繁忙积分算法需要定义繁忙权重n、过载权重m、性能指标超过红色个数M、性能指标超过黄色个数N、性能指标正常个数P，性能指标由：CPU、内存、作业执行个数、节点存活时长、捕获异常数量、是否为Leader角色组成，最终计算公式为：busyScore=(N*n+M*m+P*1)/(N+M+P)。